Changes between Version 6 and Version 7 of GENIRacksHome/InstageniRacks/AcceptanceTestStatus/IG-MON-3


Ignore:
Timestamp:
05/18/12 13:13:24 (12 years ago)
Author:
chaos@bbn.com
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • GENIRacksHome/InstageniRacks/AcceptanceTestStatus/IG-MON-3

    v6 v7  
    508508After about 8 minutes, things became available again.  I went looking for logs of my dataplane file copy activity to see whether the dataplane had been interrupted, at which point i found out that sshd on the dataplane does not appear to be logged anywhere, either in `/var/log` within the container or on pc5 itself.  That's not a rack requirement, but it seems non-ideal for experimenters.  I opened [instaticket:27] to report it.
    509509
     510=== Results of testing: 2012-05-18 13:00 ===
     511
     512I briefly revisited this test at 13:00, because Luisa had started 45 experiments on pc5, consuming all available resources, so i wanted to look at pc5 again briefly.
     513 * For the record, the machine's load average is high, but the machine is responsive, and the CPU is still somewhat idle.  Here's the header of top output:
     514{{{
     515top - 11:06:22 up 1 day, 20:06,  1 user,  load average: 10.13, 9.29, 7.58
     516Tasks: 1283 total,   2 running, 1281 sleeping,   0 stopped,   0 zombie
     517Cpu(s):  7.7%us,  1.2%sy,  0.0%ni, 34.2%id, 56.3%wa,  0.0%hi,  0.6%si,  0.0%st
     518Mem:  49311612k total,  7634748k used, 41676864k free,   255532k buffers
     519Swap:  1050168k total,        0k used,  1050168k free,  4821552k cached
     520}}}
     521 * Here is the output of `vzlist`:
     522{{{
     523vhost1,[/var/emulab],11:07(0)$ sudo vzlist
     524      CTID      NPROC STATUS    IP_ADDR         HOSTNAME
     525         1         19 running   -               virt1.ecgtest.pgeni-gpolab-bbn-com.utah.geniracks.net
     526         2         11 running   -               virt1.ecgtest2.pgeni-gpolab-bbn-com.utah.geniracks.net
     527         3         11 running   -               host2.what-image.pgeni-gpolab-bbn-com.utah.geniracks.net
     528         4         11 running   -               host1.what-image2.pgeni-gpolab-bbn-com.utah.geniracks.net
     529         5         11 running   -               host2.what-image3.pgeni-gpolab-bbn-com.utah.geniracks.net
     530         6         15 running   -               host1.singlevm-1.pgeni-gpolab-bbn-com.utah.geniracks.net
     531         7         15 running   -               host1.singlevm-2.pgeni-gpolab-bbn-com.utah.geniracks.net
     532         8         15 running   -               host1.singlevm-3.pgeni-gpolab-bbn-com.utah.geniracks.net
     533         9         15 running   -               host1.singlevm-4.pgeni-gpolab-bbn-com.utah.geniracks.net
     534        10         15 running   -               host1.singlevm-5.pgeni-gpolab-bbn-com.utah.geniracks.net
     535        11         15 running   -               host1.singlevm-6.pgeni-gpolab-bbn-com.utah.geniracks.net
     536        12         15 running   -               host1.singlevm-7.pgeni-gpolab-bbn-com.utah.geniracks.net
     537        13         15 running   -               host1.singlevm-8.pgeni-gpolab-bbn-com.utah.geniracks.net
     538        14         15 running   -               host1.singlevm-9.pgeni-gpolab-bbn-com.utah.geniracks.net
     539        15         15 running   -               host1.singlevm-10.pgeni-gpolab-bbn-com.utah.geniracks.net
     540        16         15 running   -               host1.singlevm-11.pgeni-gpolab-bbn-com.utah.geniracks.net
     541        17         15 running   -               host1.singlevm-12.pgeni-gpolab-bbn-com.utah.geniracks.net
     542        18         15 running   -               host1.singlevm-13.pgeni-gpolab-bbn-com.utah.geniracks.net
     543        19         11 running   -               host1.singlevm-14.pgeni-gpolab-bbn-com.utah.geniracks.net
     544        20         15 running   -               host1.singlevm-15.pgeni-gpolab-bbn-com.utah.geniracks.net
     545        21         15 running   -               host1.singlevm-16.pgeni-gpolab-bbn-com.utah.geniracks.net
     546        22         15 running   -               host1.singlevm-17.pgeni-gpolab-bbn-com.utah.geniracks.net
     547        23         15 running   -               host1.singlevm-18.pgeni-gpolab-bbn-com.utah.geniracks.net
     548        24         15 running   -               host1.singlevm-19.pgeni-gpolab-bbn-com.utah.geniracks.net
     549        25         15 running   -               host1.singlevm-20.pgeni-gpolab-bbn-com.utah.geniracks.net
     550        26         16 running   -               host1.singlevm-21.pgeni-gpolab-bbn-com.utah.geniracks.net
     551        27         16 running   -               host1.singlevm-22.pgeni-gpolab-bbn-com.utah.geniracks.net
     552        28         15 running   -               host1.singlevm-23.pgeni-gpolab-bbn-com.utah.geniracks.net
     553        29         15 running   -               host1.singlevm-24.pgeni-gpolab-bbn-com.utah.geniracks.net
     554        30         15 running   -               host1.singlevm-25.pgeni-gpolab-bbn-com.utah.geniracks.net
     555        31         15 running   -               host1.singlevm-26.pgeni-gpolab-bbn-com.utah.geniracks.net
     556        32         15 running   -               host1.singlevm-27.pgeni-gpolab-bbn-com.utah.geniracks.net
     557        33         15 running   -               host1.singlevm-28.pgeni-gpolab-bbn-com.utah.geniracks.net
     558        34         15 running   -               host1.singlevm-29.pgeni-gpolab-bbn-com.utah.geniracks.net
     559        35         15 running   -               host1.singlevm-30.pgeni-gpolab-bbn-com.utah.geniracks.net
     560        36         15 running   -               host1.singlevm-31.pgeni-gpolab-bbn-com.utah.geniracks.net
     561        37         15 running   -               host1.singlevm-32.pgeni-gpolab-bbn-com.utah.geniracks.net
     562        38         15 running   -               host1.singlevm-33.pgeni-gpolab-bbn-com.utah.geniracks.net
     563        39         15 running   -               host1.singlevm-34.pgeni-gpolab-bbn-com.utah.geniracks.net
     564        40         15 running   -               host1.singlevm-35.pgeni-gpolab-bbn-com.utah.geniracks.net
     565        41         15 running   -               host1.singlevm-36.pgeni-gpolab-bbn-com.utah.geniracks.net
     566        42         15 running   -               host1.singlevm-37.pgeni-gpolab-bbn-com.utah.geniracks.net
     567        43         15 running   -               host1.singlevm-38.pgeni-gpolab-bbn-com.utah.geniracks.net
     568        44         15 running   -               host1.singlevm-39.pgeni-gpolab-bbn-com.utah.geniracks.net
     569        45         15 running   -               host1.singlevm-40.pgeni-gpolab-bbn-com.utah.geniracks.net
     570        46         15 running   -               host1.singlevm-41.pgeni-gpolab-bbn-com.utah.geniracks.net
     571        47         15 running   -               host1.singlevm-42.pgeni-gpolab-bbn-com.utah.geniracks.net
     572        48         15 running   -               host1.singlevm-43.pgeni-gpolab-bbn-com.utah.geniracks.net
     573        49         15 running   -               host1.singlevm-44.pgeni-gpolab-bbn-com.utah.geniracks.net
     574        50         11 running   -               host1.singlevm-45.pgeni-gpolab-bbn-com.utah.geniracks.net
     575}}}
     576 * Here is the iptables nat table, which is being used to forward sshd to each VM:
     577{{{
     578vhost1,[/var/emulab],11:08(0)$ sudo iptables -L -n -t nat
     579Chain PREROUTING (policy ACCEPT)
     580target     prot opt source               destination         
     581DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:30010 to:172.17.5.1:30010
     582DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:30266 to:172.17.5.2:30266
     583DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:30522 to:172.17.5.3:30522
     584DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:30778 to:172.17.5.4:30778
     585DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:31034 to:172.17.5.5:31034
     586DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:31290 to:172.17.5.6:31290
     587DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:31546 to:172.17.5.7:31546
     588DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:31802 to:172.17.5.8:31802
     589DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:32058 to:172.17.5.9:32058
     590DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:32314 to:172.17.5.10:32314
     591DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:32570 to:172.17.5.11:32570
     592DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:32826 to:172.17.5.12:32826
     593DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:33082 to:172.17.5.13:33082
     594DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:33338 to:172.17.5.14:33338
     595DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:33594 to:172.17.5.15:33594
     596DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:33850 to:172.17.5.16:33850
     597DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:34106 to:172.17.5.17:34106
     598DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:34362 to:172.17.5.18:34362
     599DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:34618 to:172.17.5.19:34618
     600DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:34874 to:172.17.5.20:34874
     601DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:35130 to:172.17.5.21:35130
     602DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:35386 to:172.17.5.22:35386
     603DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:35642 to:172.17.5.23:35642
     604DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:35898 to:172.17.5.24:35898
     605DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:36154 to:172.17.5.25:36154
     606DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:36410 to:172.17.5.26:36410
     607DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:36666 to:172.17.5.27:36666
     608DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:36922 to:172.17.5.28:36922
     609DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:37178 to:172.17.5.29:37178
     610DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:37434 to:172.17.5.30:37434
     611DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:37690 to:172.17.5.31:37690
     612DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:37946 to:172.17.5.32:37946
     613DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:38202 to:172.17.5.33:38202
     614DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:38458 to:172.17.5.34:38458
     615DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:38714 to:172.17.5.35:38714
     616DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:38970 to:172.17.5.36:38970
     617DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:39226 to:172.17.5.37:39226
     618DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:39482 to:172.17.5.38:39482
     619DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:39738 to:172.17.5.39:39738
     620DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:39994 to:172.17.5.40:39994
     621DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:40250 to:172.17.5.41:40250
     622DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:40506 to:172.17.5.42:40506
     623DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:40762 to:172.17.5.43:40762
     624DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:41018 to:172.17.5.44:41018
     625DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:41274 to:172.17.5.45:41274
     626DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:41530 to:172.17.5.46:41530
     627DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:41786 to:172.17.5.47:41786
     628DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:42042 to:172.17.5.48:42042
     629DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:42298 to:172.17.5.49:42298
     630DNAT       tcp  --  0.0.0.0/0            155.98.34.15        tcp dpt:42554 to:172.17.5.50:42554
     631
     632Chain POSTROUTING (policy ACCEPT)
     633target     prot opt source               destination         
     634ACCEPT     all  --  172.16.0.0/12        155.98.34.0/24     
     635ACCEPT     all  --  172.16.0.0/12        172.16.0.0/12       
     636SNAT       all  --  172.16.0.0/12        0.0.0.0/0           to:155.98.34.15
     637
     638Chain OUTPUT (policy ACCEPT)
     639target     prot opt source               destination         
     640}}}
     641 * As expected, `/var/emulab/{boot,logs,vms}` contain subdirectories or files related to each of the 50 running VMs.
     642 * As expected, a randomly-sampled experiment with dataplane interfaces does not list any mac addresses in the admin UI [https://boss.utah.geniracks.net/showexp.php3?experiment=379#details].  This is consistent with instaticket:26.
     643
    510644== Step 5: get information about terminated experiments ==
    511645