Changes between Version 11 and Version 12 of GENIRacksHome/ExogeniRacks/ConfirmationTestStatus/Wayne


Ignore:
Timestamp:
02/11/15 10:46:47 (10 years ago)
Author:
lnevers@bbn.com
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • GENIRacksHome/ExogeniRacks/ConfirmationTestStatus/Wayne

    v11 v12  
    595595
    596596External Checks for site aggregates. There is none.
     597
     598
     599== EG-CT-6 - Administrative Tests ==
     600
     601Administrator accounts on an ExoGENI rack are documented at https://wiki.exogeni.net/doku.php?id=public:operators:start,  with https://wiki.exogeni.net/doku.php?id=public:operators:start#authentication_authorization proving insight into accounts creation and usage.
     602
     603With requested account accessed rack head node and verified root access and group membership:
     604{{{
     605LNM:~$ ssh wsu-hn.exogeni.net
     606lnevers@wsu-hn.exogeni.net's password:
     607Creating home directory for lnevers.
     608|-----------------------------------------------------------------|
     609|                ____ ____ ____ ____ ____ ____ ____               |
     610|               ||E |||x |||o |||G |||E |||N |||I ||              |
     611|               ||__|||__|||__|||__|||__|||__|||__||              |
     612|               |/__\|/__\|/__\|/__\|/__\|/__\|/__\|              |
     613|                                                                 |
     614|-----------------------------------------------------------------|
     615[lnevers@wsu-hn ~]$ sudo whoami
     616
     617We trust you have received the usual lecture from the local System
     618Administrator. It usually boils down to these three things:
     619
     620    #1) Respect the privacy of others.
     621    #2) Think before you type.
     622    #3) With great power comes great responsibility.
     623
     624[sudo] password for lnevers:
     625root
     626[lnevers@wsu-hn ~]$ id
     627uid=2107(lnevers) gid=2000(nonrenci) groups=2000(nonrenci),2502(ncsuadmins),2508(osfadmins),2509(ucdadmins),2510(sladmins),2512(ncsu2admins),2513(tamuadmins),2515(wsuadmins),9510(bbnadmins)
     628[lnevers@wsu-hn ~]$
     629}}}
     630
     631From head node verified login and administrative access to each of the worker nodes that supply VMs.
     632{{{
     633[lnevers@wsu-hn ~]$ for i in 1 2 3 4 5 6 7 8; do sudo ssh root@wsu-w$i "echo -n 'Executing on: ' ; hostname;whoami;uname -a"; done
     634Executing on: wsu-w1
     635root
     636Linux wsu-w1 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     637Executing on: wsu-w2
     638root
     639Linux wsu-w2 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     640Executing on: wsu-w3
     641root
     642Linux wsu-w3 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     643Executing on: wsu-w4
     644root
     645Linux wsu-w4 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     646Executing on: wsu-w5
     647root
     648Linux wsu-w5 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     649Executing on: wsu-w6
     650root
     651Linux wsu-w6 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     652Executing on: wsu-w7
     653root
     654Linux wsu-w7 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     655Executing on: wsu-w8
     656root
     657Linux wsu-w8 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     658[lnevers@wsu-hn ~]$
     659}}}
     660
     661For each worker node execute the following:
     662{{{
     663[lnevers@wsu-hn ~]$ for i in 9 10; do sudo ssh root@wsu-w$i "echo -n 'Executing on: ' ; hostname;whoami;uname -a"; done
     664ssh: connect to host wsu-w9 port 22: No route to host
     665Executing on: wsu-w10
     666root
     667Linux wsu-w10 2.6.32-431.17.1.el6.x86_64 #1 SMP Wed May 7 23:32:49 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
     668
     669}}}
     670
     671Connect to the management switch:
     672{{{
     673[lnevers@wsu-hn ~]$ ssh wsu-8052.wsu.xo
     674The authenticity of host 'wsu-8052.wsu.xo (192.168.115.2)' can't be established.
     675DSA key fingerprint is f3:15:c9:97:6b:88:c4:40:eb:47:98:8b:5e:3f:7e:34.
     676Are you sure you want to continue connecting (yes/no)? yes
     677Warning: Permanently added 'wsu-8052.wsu.xo,192.168.115.2' (DSA) to the list of known hosts.
     678Enter radius password:
     679
     680IBM Networking Operating System RackSwitch G8052.
     681
     682
     683wsu-8052.wsu.xo>ena
     684
     685Enable privilege granted.
     686wsu-8052.wsu.xo#
     687wsu-8052.wsu.xo#show interface status
     688------------------------------------------------------------------
     689Alias   Port   Speed    Duplex     Flow Ctrl      Link       Name
     690------- ----   -----   --------  --TX-----RX--   ------     ------
     6911        1        any      any      no     no      down      1       
     6922        2        any      any      no     no      down      2       
     6933        3       1000     full      no     no       up       3       
     6944        4       1000     full      no     no       up       4       
     6955        5       1000     full      no     no       up       5       
     6966        6       1000     full      no     no       up       6       
     6977        7        100     full      no     no       up       7       
     6988        8       1000     full      no     no       up       8       
     6999        9       1000     full      no     no       up       9       
     70010       10      1000     full      no     no       up       10     
     70111       11      1000     full      no     no       up       11     
     70212       12      1000     full      no     no       up       12     
     70313       13      1000     full      no     no       up       13     
     70414       14      1000     full      no     no       up       14     
     70515       15       any      any      no     no      down      15     
     70616       16       100     full      no     no       up       16     
     70717       17       any      any      no     no      down      17     
     70818       18       any      any      no     no      down      18     
     70919       19       any      any      no     no      down      19     
     71020       20       any      any      no     no      down      20     
     71121       21       any      any      no     no      down      21     
     71222       22       any      any      no     no      down      22     
     71323       23       any      any      no     no      down      23     
     71424       24       any      any      no     no      down      24     
     71525       25       any      any      no     no      down      25     
     71626       26       any      any      no     no      down      26     
     71727       27       any      any      no     no      down      27     
     71828       28       any      any      no     no      down      28     
     71929       29       any      any      no     no      down      29     
     72030       30       any      any      no     no      down      30     
     72131       31       any      any      no     no      down      31     
     72232       32       any      any      no     no      down      32     
     72333       33       any      any      no     no      down      33     
     72434       34       any      any      no     no      down      34     
     72535       35      1000     full      no     no       up       iSCSI Appliance
     72636       36      1000     full      no     no       up       36     
     72737       37      1000     full      no     no       up       37     
     72838       38      1000     full      no     no       up       38     
     72939       39      1000     full      no     no       up       39     
     73040       40      1000     full      no     no       up       40     
     73141       41      1000     full      no     no       up       41     
     73242       42      1000     full      no     no       up       42     
     73343       43      1000     full      no     no       up       43     
     73444       44      1000     full      no     no       up       44     
     73545       45      1000     full      no     no       up       45     
     73646       46      1000     full      no     no       up       46     
     73747       47       any      any      no     no      down      headnode second embedded nic (em3)
     73848       48       any      any      no     no      down      48     
     739XGE1     49      1000*    full*     no*    no*     down      XGE1   
     740XGE2     50     10000     full      no     no       up       XGE2   
     741XGE3     51     10000     full     yes    yes       up       XGE3   
     742XGE4     52     10000     full      no     no       up       XGE4   
     743* = value set by configuration; not autonegotiated.
     744wsu-8052.wsu.xo#show version             
     745System Information at 10:41:18 Wed Feb 11, 2015
     746Time zone: America/US/Eastern
     747Daylight Savings Time Status: Enabled
     748
     749IBM Networking Operating System RackSwitch G8052
     750
     751Switch has been up for 261 days, 6 hours, 56 minutes and 45 seconds.
     752Last boot: 16:23:39 Wed Mar 21, 2000 (power cycle)
     753
     754MAC address: a8:97:dc:90:ad:00    IP (If 1) address: 192.168.115.2
     755Hardware Revision: 0
     756Board Revision: 2
     757Switch Serial No: Y013CM41T001
     758Hardware Part No: BAC-00069-00        Spare Part No: BAC-00069-00
     759Manufacturing date: 14/04
     760
     761MTM: 7309HC1
     762ESN: MM48327
     763Software Version 7.2.2.0 (FLASH image1), active configuration.
     764
     765
     766Temperature    Top: 31 C
     767Temperature Bottom: 36 C
     768Temperature Fan Ctrl 88: 35 C
     769Temperature Fan Ctrl 8a: 63 C
     770Temperature Fan Ctrl 8c: 46 C
     771Temperature Phy 0x01: 64 C
     772Temperature Phy 0x09: 61 C
     773Temperature Phy 0x11: 47 C
     774Temperature Phy 0x21: 48 C
     775Temperature Phy 0x29: 69 C
     776Temperature Phy 0x31: 66 C
     777
     778Warning at 55 C and Recover at 80 C
     779
     780Fan 1 in Module 1: Not Installed
     781Fan 2 in Module 1: Not Installed
     782Fan 3 in Module 2: RPM= 8108 PWM= 25 ( 9%) Back-To-Front [J]
     783Fan 4 in Module 2: RPM= 3094 PWM= 25 ( 9%) Back-To-Front [J]
     784Fan 5 in Module 3: RPM= 7190 PWM= 25 ( 9%) Back-To-Front [J]
     785Fan 6 in Module 3: RPM= 3026 PWM= 25 ( 9%) Back-To-Front [J]
     786Fan 7 in Module 4: RPM= 7681 PWM= 25 ( 9%) Back-To-Front [J]
     787Fan 8 in Module 4: RPM= 3080 PWM= 25 ( 9%) Back-To-Front [J]
     788
     789System Fan Airflow: Back-To-Front
     790
     791Power Supply 1: OK
     792Power Supply 2: OK
     793
     794  Power Faults: ()
     795    Fan Faults: ()
     796Service Faults: ()
     797
     798wsu-8052.wsu.xo#show vlan
     799VLAN                Name                Status            Ports
     800----  --------------------------------  ------  -------------------------
     8011     Default VLAN                      ena     17-34 36-44 47
     8021006  ExoGENI Management                ena     1-16 48-XGE4
     8031007  openstack workers                 ena     35 37-44 XGE2 XGE4
     8041008  baremetal workers                 ena     45 46 XGE2 XGE4
     8051011  openstack VMs                     ena     37-44 XGE2 XGE4
     806wsu-8052.wsu.xo#
     807
     808}}}
     809
     810Connect to the !OpenFlow switch:
     811{{{
     812[lnevers@wsu-hn ~]$ ssh wsu-8264.wsu.xo
     813The authenticity of host 'wsu-8264.wsu.xo (192.168.115.4)' can't be established.
     814DSA key fingerprint is fa:73:13:67:01:72:5e:6a:76:db:d7:24:77:7e:22:e1.
     815Are you sure you want to continue connecting (yes/no)? yes
     816Warning: Permanently added 'wsu-8264.wsu.xo,192.168.115.4' (DSA) to the list of known hosts.
     817Enter radius password:
     818Connection closed by 192.168.115.4
     819[lnevers@wsu-hn ~]$ ssh wsu-8264.wsu.xo
     820Enter radius password:
     821
     822IBM Networking Operating System RackSwitch G8264.
     823
     824------------------------------------------------------------------
     825Note: The current running configuration includes changes
     826      that have NOT been saved to FLASH.
     827------------------------------------------------------------------
     828
     829wsu-8264.wsu.xo>show interface status
     830-----------------------------------------------------------------------
     831Alias   Port   Speed    Duplex     Flow Ctrl      Link     Description
     832------- ----   -----   --------  --TX-----RX--   ------   -------------
     8331         1     40000     full      no     no       up        1       
     8345         5     40000     full      no     no       up        5       
     8359         9     40000     full      no     no       up        w9 mlnx port 1 (p2p1)
     83613        13    40000     full      no     no       up        w10 mlnx port 1 (p2p1)
     83717        17    10000     full      no     no       up        storage p2p1
     83818        18    10000     full      no     no       up        wsu-storage p5p1
     83919        19    10000     full      no     no       up        wsu-storage p2p2
     84020        20    10000     full      no     no       up        wsu-storage p5p2
     84121        21    10000     full      no     no       up        Headnode p5p2
     84222        22    10000     full      no     no       up        headnode p2p2
     84323        23    10000     full      no     no       up        23     
     84424        24    10000     full      no     no       up        24     
     84525        25    10000     full      no     no       up        25     
     84626        26    10000     full      no     no       up        26     
     84727        27    10000     full      no     no       up        27     
     84828        28    10000     full      no     no       up        28     
     84929        29    10000     full      no     no       up        29     
     85030        30    10000     full      no     no       up        30     
     85131        31    1G/10G    full      no     no      down       31     
     85232        32    1G/10G    full      no     no      down       32     
     85333        33    1G/10G    full      no     no      down       33     
     85434        34    1G/10G    full      no     no      down       34     
     85535        35    1G/10G    full      no     no      down       35     
     85636        36    1G/10G    full      no     no      down       36     
     85737        37    10000     full      no     no       up        Hybrid mode IXC port (to port 38); OpenFlow side
     85838        38    10000     full      no     no       up        Hybrid mode IXC port (to port 37); Traditional Ethernet side
     85939        39    1G/10G    full      no     no      down       39     
     86040        40    1G/10G    full      no     no      down       40     
     86141        41    10000     full      no     no       up        41     
     86242        42    10000     full      no     no       up        42     
     86343        43    10000     full      no     no       up        43     
     86444        44    10000     full      no     no       up        44     
     86545        45    10000     full      no     no       up        45     
     86646        46    10000     full      no     no       up        46     
     86747        47    10000     full      no     no       up        47     
     86848        48    10000     full      no     no       up        48     
     86949        49    1G/10G    full      no     no      down       49     
     87050        50    1G/10G    full      no     no      down       50     
     87151        51    1G/10G    full      no     no      down       51     
     87252        52    1G/10G    full      no     no      down       52     
     87353        53    1G/10G    full      no     no      down       53     
     87454        54    1G/10G    full      no     no      down       54     
     87555        55    1G/10G    full      no     no      down       55     
     87656        56    1G/10G    full      no     no      down       56     
     87757        57    1G/10G    full      no     no      down       57     
     87858        58    1G/10G    full      no     no      down       58     
     87959        59    1G/10G    full      no     no      down       59     
     88060        60    1G/10G    full      no     no      down       60     
     88161        61    1G/10G    full      no     no      down       61     
     88262        62    1G/10G    full      no     no      down       62     
     88363        63    10000     full      no     no       up        Mngt plane <-->  port 51 (XGE3)
     88464        64    10000     full      no     no       up        Data plane connection
     885MGT       65      any     auto     yes    yes      down       MGT 
     886wsu-8264.wsu.xo>show version       
     887System Information at 10:43:27 Wed Feb 11, 2015
     888Time zone: America/US/Eastern
     889Daylight Savings Time Status: Enabled
     890
     891IBM Networking Operating System RackSwitch G8264
     892
     893Switch has been up for 130 days, 18 hours, 23 minutes and 38 seconds.
     894Last boot: 17:21:26 Fri Oct  3, 2014 (reset from Telnet/SSH)
     895
     896MAC address: a8:97:dc:4b:ca:00    IP (If 1) address: 192.168.49.50
     897Management Port MAC Address: a8:97:dc:4b:ca:fe
     898Management Port IP Address (if 128): 0.0.0.0
     899Hardware Revision: 0
     900Hardware Part No:  BAC-00065-02
     901Switch Serial No:  Y010CM391046
     902Manufacturing date: 13/39
     903
     904MTM Value: 7309-HC3
     905ESN: 23A9380
     906
     907Software Version 7.9.10 (FLASH image1), active configuration.
     908Boot kernel version 7.9.10
     909
     910USB Boot: disabled
     911
     912
     913
     914Temperature Mother      Top : 42 C
     915Temperature Mother   Bottom : 30 C
     916Temperature Daughter    Top : 39 C       
     917Temperature Daughter Bottom : 27 C
     918Temperature Switch Asic Max : 51 C
     919
     920System Warning at 75 C / Shutdown at 90 C
     921
     922Fan 1 Module 1:  7573rpm  15pwm( 5% bias:0) Back-To-Front
     923Fan 2 Module 1:  3107rpm  15pwm( 5% bias:0) Back-To-Front
     924Fan 3 Module 2:  7616rpm  15pwm( 5% bias:0) Back-To-Front
     925Fan 4 Module 2:  3123rpm  15pwm( 5% bias:0) Back-To-Front
     926Fan 5 Module 3:  7377rpm  15pwm( 5% bias:0) Back-To-Front
     927Fan 6 Module 3:  3068rpm  15pwm( 5% bias:0) Back-To-Front
     928Fan 7 Module 4:  7500rpm  15pwm( 5% bias:0) Back-To-Front
     929Fan 8 Module 4:  2958rpm  15pwm( 5% bias:0) Back-To-Front
     930
     931System Fan Airflow: Back-To-Front
     932
     933Power Supply 1: Back-To-Front [DS450-3-002_REV0]
     934Power Supply 2: Back-To-Front [DS450-3-002_REV0]
     935
     936  Power Faults: None
     937    Fan Faults: None
     938Service Faults: None
     939
     940wsu-8264.wsu.xo>show vlan
     941VLAN                Name                Status            Ports
     942----  --------------------------------  ------  -------------------------
     9431     Default VLAN                      ena     1 5 9 13 23-37 39 40 51-62
     9442     orca_vlan_2                       ena     41-48
     9453     orca_vlan_3                       ena     41-48
     9464     orca_vlan_4                       ena     41-48
     9475     orca_vlan_5                       ena     41-50
     9486     orca_vlan_6                       ena     41-50
     9498     orca_vlan_8                       ena     41-48
     9509     orca_vlan_9                       ena     41-48
     95110    orca_vlan_10                      ena     41-48
     95211    orca_vlan_11                      ena     41-48
     9531006  Management subnet                 ena     63
     9541009  ORCA iSCSI A                      ena     17 41-50
     9551012  Headnode iSCSI A                  ena     18 21 22
     9561013  Headnode iSCSI B                  ena     19 21 22
     9571014  ORCA iSCSI B                      ena     20 41-50
     9584000  VLAN 4000                         ena     21 22 38 41-50 64
     9594095  Mgmt VLAN                         ena     MGT
     960
     961Primary  Secondary  Type             Ports                  vPorts               
     962-------  ---------  ---------------  ---------------------  ---------------------
     963wsu-8264.wsu.xo>
     964
     965}}}
     966
     967Verify FOAM and !FlowVisor configuration files ownership and paths:
     968{{{
     969[lnevers@wsu-hn ~]$ ls -l /etc/foam.passwd  /etc/flowvisor.passwd /etc/flowvisor/fvpasswd /opt/foam/etc/foampasswd
     970lrwxrwxrwx  1 root      flowvisor 21 Aug 13 16:25 /etc/flowvisor/fvpasswd -> /etc/flowvisor.passwd
     971-r--r-----  1 flowvisor wsuadmins 25 Aug 13 16:25 /etc/flowvisor.passwd
     972-r--r-----+ 1 root      wsuadmins 25 Aug 13 16:29 /etc/foam.passwd
     973lrwxrwxrwx  1 nginx     nginx     16 Aug 13 16:29 /opt/foam/etc/foampasswd -> /etc/foam.passwd
     974[lnevers@wsu-hn ~]$
     975}}}
     976
     977Check FOAM version and FOAM configuration for site.admin.email, geni.site-tag, email.from settings on the WSU head node:
     978{{{
     979[lnevers@wsu-hn ~]$ foamctl admin:get-version  --passwd-file=/etc/foam.passwd
     980{
     981 "version": "0.14.0"
     982}
     983[lnevers@wsu-hn ~]$ foamctl config:get-value --key="site.admin.email"  --passwd-file=/opt/foam/etc/foampasswd
     984{
     985 "value": "foam-admin@gpolab.bbn.com"
     986}
     987[lnevers@wsu-hn ~]$ foamctl config:get-value --key="geni.site-tag"  --passwd-file=/opt/foam/etc/foampasswd
     988{
     989 "value": "wsu-hn.exogeni.net"
     990}
     991[lnevers@wsu-hn ~]$ foamctl config:get-value --key="email.from"  --passwd-file=/opt/foam/etc/foampasswd
     992{
     993 "value": "WSU ExoGENI Admins <exogeni@lists.wayne.edu>"
     994}
     995[lnevers@wsu-hn ~]$ foamctl config:get-value --key="geni.approval.approve-on-creation"  --passwd-file=/opt/foam/etc/foampasswd
     996{
     997 "value": 2
     998}
     999[lnevers@wsu-hn ~]$
     1000}}}
     1001
     1002Show FOAM slivers details:
     1003{{{
     1004[lnevers@wsu-hn ~]$ foamctl geni:list-slivers --passwd-file=/opt/foam/etc/foampasswd
     1005{
     1006 "slivers": []
     1007}
     1008[lnevers@wsu-hn ~]$
     1009}}}
     1010
     1011Check the !FlowVisor version, list of devices, get details for a device, list of active slices, and details for one of the slices on the WSU Head node:
     1012{{{
     1013[lnevers@wsu-hn ~]$ /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd ping hello
     1014Got reply:
     1015PONG(fvadmin): FV version=flowvisor-0.8.1::hello
     1016[lnevers@wsu-hn ~]$ /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd listDevices
     1017Device 0: 00:01:a8:97:dc:4b:ca:00
     1018[lnevers@wsu-hn ~]$ /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd getDeviceInfo
     1019command 'getDeviceInfo' takes 1 args: only 0 given
     1020getDeviceInfo <dpid>
     1021[lnevers@wsu-hn ~]$ /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd listSlices
     1022Slice 0: fvadmin
     1023[lnevers@wsu-hn ~]$ /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd getSliceInfo fvadmin
     1024Got reply:
     1025connection_1=00:01:a8:97:dc:4b:ca:00-->/127.0.0.1:27945-->localhost/127.0.0.1:26993
     1026contact_email=fvadmin@localhost
     1027controller_hostname=localhost
     1028controller_port=26993
     1029creator=fvadmin
     1030[lnevers@wsu-hn ~]$
     1031}}}
     1032
    5971033----
    5981034{{{