Changes between Version 9 and Version 10 of GENIRacksHome/ExogeniRacks/ConfirmationTestStatus/UAF


Ignore:
Timestamp:
05/01/17 10:04:29 (8 years ago)
Author:
lnevers@bbn.com
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • GENIRacksHome/ExogeniRacks/ConfirmationTestStatus/UAF

    v9 v10  
    585585
    586586== EG-CT-5 - Experiment Monitoring ==
     587
     588
    587589== EG-CT-6 - Administrative Tests ==
     590
     591Administrator accounts on an ExoGENI rack are documented at https://wiki.exogeni.net/doku.php?id=public:operators:start,  with https://wiki.exogeni.net/doku.php?id=public:operators:start#authentication_authorization proving insight into accounts creation and usage.
     592
     593With requested account accessed rack head node and verified root access and group membership:
     594{{{
     595LNM:~$ ssh uaf-hn.exogeni.net
     596lnevers@uaf-hn.exogeni.net's password:
     597Last login: Sat Apr 29 02:15:19 2017 from dhcp152-54-9-188.europa.renci.org
     598|-----------------------------------------------------------------|
     599|                ____ ____ ____ ____ ____ ____ ____               |
     600|               ||E |||x |||o |||G |||E |||N |||I ||              |
     601|               ||__|||__|||__|||__|||__|||__|||__||              |
     602|               |/__\|/__\|/__\|/__\|/__\|/__\|/__\|              |
     603|                                                                 |
     604|-----------------------------------------------------------------|
     605[lnevers@uaf-hn ~]$ sudo whoami
     606[sudo] password for lnevers:
     607root
     608[lnevers@uaf-hn ~]$ id
     609uid=2556(lnevers) gid=2000(nonrenci) groups=2000(nonrenci),2500(fiuadmins),2501(uhadmins),2507(ufladmins),2508(osfadmins),2510(sladmins),2511(wvnadmins),2513(tamuadmins),2515(wsuadmins),2519(cienaadmins),2523(unfadmins),2524(ciena2admins),9500(xoadmins),9503(geni-imf),9510(bbnadmins)
     610[lnevers@uaf-hn ~]$
     611}}}
     612
     613From head node verified login and administrative access to each of the worker nodes that supply VMs.
     614{{{
     615[lnevers@uaf-hn ~]$ for i in 1 2 3 4 5 6 7 8; do sudo ssh root@uaf-w$i "echo -n 'Executing on: ' ; hostname;whoami;uname -a"; done
     616Executing on: uaf-w1
     617root
     618Linux uaf-w1 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     619Executing on: uaf-w2
     620root
     621Linux uaf-w2 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     622Executing on: uaf-w3
     623root
     624Linux uaf-w3 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     625Executing on: uaf-w4
     626root
     627Linux uaf-w4 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     628Executing on: uaf-w5
     629root
     630Linux uaf-w5 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     631Executing on: uaf-w6
     632root
     633Linux uaf-w6 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     634Executing on: uaf-w7
     635root
     636Linux uaf-w7 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     637Executing on: uaf-w8
     638root
     639Linux uaf-w8 2.6.32-642.6.2.el6.x86_64 #1 SMP Wed Oct 26 06:52:09 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
     640[lnevers@uaf-hn ~]$
     641}}}
     642
     643Connect to the management switch:
     644{{{
     645[lnevers@uaf-hn ~]$ ssh uaf-8052.uaf.xo
     646Enter radius password:
     647
     648IBM Networking Operating System RackSwitch G8052.
     649
     650
     651uaf-8052.uaf.xo>
     652Sep  8 12:08:39 uaf-8052.uaf.xo NOTICE  mgmt: lnevers(admin) login from host 192.168.117.10
     653ena
     654
     655Enable privilege granted.
     656uaf-8052.uaf.xo#show interface status
     657------------------------------------------------------------------
     658Alias   Port   Speed    Duplex     Flow Ctrl      Link       Name
     659------- ----   -----   --------  --TX-----RX--   ------     ------
     6601        1        any      any      no     no      down      1       
     6612        2        100     full      no     no       up       2       
     6623        3       1000     full      no     no       up       3       
     6634        4       1000     full      no     no       up       4       
     6645        5       1000     full      no     no       up       5       
     6656        6       1000     full      no     no       up       6       
     6667        7       1000     full      no     no       up       7       
     6678        8       1000     full      no     no       up       8       
     6689        9       1000     full      no     no       up       9       
     66910       10      1000     full      no     no       up       10     
     67011       11      1000     full      no     no       up       11     
     67112       12      1000     full      no     no       up       12     
     67213       13      1000     full      no     no       up       13     
     67314       14      1000     full      no     no       up       14     
     67415       15       any      any      no     no      down      15     
     67516       16       any      any      no     no      down      16     
     67617       17       any      any      no     no      down      17     
     67718       18       any      any      no     no      down      18     
     67819       19       any      any      no     no      down      19     
     67920       20       any      any      no     no      down      20     
     68021       21       any      any      no     no      down      21     
     68122       22       any      any      no     no      down      22     
     68223       23       any      any      no     no      down      23     
     68324       24       any      any      no     no      down      24     
     68425       25       any      any      no     no      down      25     
     68526       26       any      any      no     no      down      26     
     68627       27       any      any      no     no      down      27     
     68728       28       any      any      no     no      down      28     
     68829       29       any      any      no     no      down      29     
     68930       30       any      any      no     no      down      30     
     69031       31       any      any      no     no      down      31     
     69132       32       any      any      no     no      down      32     
     69233       33       any      any      no     no      down      33     
     69334       34       any      any      no     no      down      34     
     69435       35      1000     full      no     no       up       iSCSI Appliance
     69536       36       any      any      no     no      down      headnode second embedded nic (em3)
     69637       37      1000     full      no     no       up       37     
     69738       38      1000     full      no     no       up       38     
     69839       39      1000     full      no     no       up       39     
     69940       40      1000     full      no     no       up       40     
     70041       41      1000     full      no     no       up       41     
     70142       42      1000     full      no     no       up       42     
     70243       43      1000     full      no     no       up       43     
     70344       44      1000     full      no     no       up       44     
     70445       45       any      any      no     no      down      45     
     70546       46       any      any      no     no      down      46     
     70647       47       any      any      no     no      down      47     
     70748       48       any      any      no     no      down      48     
     708XGE1     49     10000     full     yes    yes      down      XGE1   
     709XGE2     50     10000     full      no     no       up       XGE2   
     710XGE3     51     10000     full     yes    yes       up       Link to 8264 port 63
     711XGE4     52     10000     full      no     no       up       XGE4   
     712
     713uaf-8052.uaf.xo#show version
     714System Information at 12:08:59 Mon Sep  8, 2002
     715Time zone: America/US/Eastern
     716Daylight Savings Time Status: Enabled
     717
     718IBM Networking Operating System RackSwitch G8052
     719
     720Switch has been up for 354 days, 10 hours, 59 minutes and 45 seconds.
     721Last boot: 14:01:42 Sun Sep 22, 2001 (power cycle)
     722
     723MAC address: a8:97:dc:8a:0d:00    IP (If 1) address: 192.168.117.2
     724Hardware Revision: 0
     725Board Revision: 2
     726Switch Serial No: Y013CM3CB367
     727Hardware Part No: BAC-00069-00        Spare Part No: BAC-00069-00
     728Manufacturing date: 13/49
     729
     730MTM: 7309HC1
     731ESN: MM09956
     732Software Version 7.2.2.0 (FLASH image1), active configuration.
     733
     734
     735Temperature    Top: 24 C
     736Temperature Bottom: 29 C
     737Temperature Fan Ctrl 88: 27 C
     738Temperature Fan Ctrl 8a: 56 C
     739Temperature Fan Ctrl 8c: 39 C
     740Temperature Phy 0x01: 61 C
     741Temperature Phy 0x09: 54 C
     742Temperature Phy 0x11: 40 C
     743Temperature Phy 0x21: 41 C
     744Temperature Phy 0x29: 61 C
     745Temperature Phy 0x31: 52 C
     746
     747Warning at 55 C and Recover at 80 C
     748
     749Fan 1 in Module 1: Not Installed
     750Fan 2 in Module 1: Not Installed
     751Fan 3 in Module 2: RPM= 7438 PWM= 25 ( 9%) Back-To-Front [J]
     752Fan 4 in Module 2: RPM= 2958 PWM= 25 ( 9%) Back-To-Front [J]
     753Fan 5 in Module 3: RPM= 7659 PWM= 25 ( 9%) Back-To-Front [J]
     754Fan 6 in Module 3: RPM= 3035 PWM= 25 ( 9%) Back-To-Front [J]
     755Fan 7 in Module 4: RPM= 7238 PWM= 25 ( 9%) Back-To-Front [J]
     756Fan 8 in Module 4: RPM= 3103 PWM= 25 ( 9%) Back-To-Front [J]
     757
     758System Fan Airflow: Back-To-Front
     759
     760Power Supply 1: OK
     761Power Supply 2: OK
     762
     763  Power Faults: ()
     764    Fan Faults: ()
     765Service Faults: ()
     766
     767uaf-8052.uaf.xo#show vlan
     768VLAN                Name                Status            Ports
     769----  --------------------------------  ------  -------------------------
     7701     Default VLAN                      ena     17-34 37-44 47
     7711006  ExoGENI Management                ena     1-16 48 XGE2-XGE4
     7721007  openstack workers                 ena     35 37-44 XGE2 XGE4
     7731008  baremetal workers                 ena     45 46 XGE2 XGE4
     7741010  Public Connectivity               ena     36 XGE1
     7751011  openstack VMs                     ena     37-44 XGE2 XGE4
     776uaf-8052.uaf.xo#
     777}}}
     778
     779Connect to the !OpenFlow switch:
     780{{{
     781[lnevers@uaf-hn ~]$  ssh lnevers@uaf-8264.uaf.xo
     782The authenticity of host 'uaf-8264.uaf.xo (192.168.117.4)' can't be established.
     783DSA key fingerprint is 0d:a7:22:8b:14:1e:cb:dd:35:5d:a5:cd:1b:fd:47:7f.
     784Are you sure you want to continue connecting (yes/no)? yes
     785Warning: Permanently added 'uaf-8264.uaf.xo,192.168.117.4' (DSA) to the list of known hosts.
     786Enter radius password:
     787
     788IBM Networking Operating System RackSwitch G8264.
     789
     790------------------------------------------------------------------
     791Note: The current running configuration includes changes
     792      that have NOT been saved to FLASH.
     793------------------------------------------------------------------
     794
     795uaf-8264.uaf.xo>show interface status
     796-----------------------------------------------------------------------
     797Alias   Port   Speed    Duplex     Flow Ctrl      Link     Description
     798------- ----   -----   --------  --TX-----RX--   ------   -------------
     7991         1     40000     full      no     no      down       w9 p2p1
     8005         5     40000     full      no     no      down       w10 p2p2
     8019         9     40000     full      no     no      down       w9 p2p2
     80213        13    40000     full      no     no      down       w10 p2p1
     80317        17    10000     full      no     no       up        storage p2p1
     80418        18    10000     full      no     no       up        storage p5p1
     80519        19    10000     full      no     no       up        storage p2p2
     80620        20    10000     full      no     no       up        storage p5p2
     80721        21    10000     full      no     no       up        Headnode p5p2
     80822        22    10000     full      no     no       up        Headnode p2p2
     80923        23    10000     full      no     no       up        23     
     81024        24    10000     full      no     no       up        24     
     81125        25    10000     full      no     no       up        25     
     81226        26    10000     full      no     no       up        26     
     81327        27    10000     full      no     no       up        27     
     81428        28    10000     full      no     no       up        28     
     81529        29    10000     full      no     no       up        29     
     81630        30    10000     full      no     no       up        30     
     81731        31    1G/10G    full      no     no      down       31     
     81832        32    1G/10G    full      no     no      down       32     
     81933        33    1G/10G    full      no     no      down       33     
     82034        34    1G/10G    full      no     no      down       34     
     82135        35    1G/10G    full      no     no      down       35     
     82236        36    1G/10G    full      no     no      down       36     
     82337        37    10000     full      no     no    disabled     Hybrid mode IXC port (to port 38); OpenFlow side
     82438        38    10000     full      no     no      down       Hybrid mode IXC port (to port 37); Traditional Ethernet side
     82539        39    1G/10G    full      no     no      down       39     
     82640        40    1G/10G    full      no     no      down       40     
     82741        41    10000     full      no     no       up        41     
     82842        42    10000     full      no     no       up        42     
     82943        43    10000     full      no     no       up        43     
     83044        44    10000     full      no     no       up        44     
     83145        45    10000     full      no     no       up        45     
     83246        46    10000     full      no     no       up        46     
     83347        47    10000     full      no     no       up        47     
     83448        48    10000     full      no     no       up        48     
     83549        49    1G/10G    full      no     no      down       49     
     83650        50    1G/10G    full      no     no      down       50     
     83751        51    1G/10G    full      no     no      down       51     
     83852        52    1G/10G    full      no     no      down       52     
     83953        53    1G/10G    full      no     no      down       53     
     84054        54    1G/10G    full      no     no      down       54     
     84155        55    1G/10G    full      no     no      down       55     
     84256        56    1G/10G    full      no     no      down       56     
     84357        57    1G/10G    full      no     no      down       57     
     84458        58    1G/10G    full      no     no      down       58     
     84559        59    1G/10G    full      no     no      down       59     
     84660        60    1G/10G    full      no     no      down       60     
     84761        61    1G/10G    full      no     no      down       61     
     84862        62    1G/10G    full      no     no      down       62     
     84963        63    10000     full      no     no       up        Mngt plane <-->  port 51 (XGE3)
     85064        64     1000     full      no     no       up        64     
     851MGT       65      any     auto     yes    yes      down       MGT     
     852uaf-8264.uaf.xo>ow version               
     853                 ^
     854% Invalid input detected at '^' marker.
     855uaf-8264.uaf.xo>show version
     856System Information at  9:49:26 Mon May  1, 2017
     857Time zone: America/US/Eastern
     858Daylight Savings Time Status: Enabled
     859
     860IBM Networking Operating System RackSwitch G8264
     861
     862Switch has been up for 350 days, 21 hours, 33 minutes and 9 seconds.
     863Last boot: 12:15:56 Sun May 15, 2016 (power cycle)
     864
     865MAC address: a8:97:dc:b4:09:00    IP (If 1) address: 192.168.49.50
     866Management Port MAC Address: a8:97:dc:b4:09:fe
     867Management Port IP Address (if 128): 0.0.0.0
     868Hardware Revision: 0
     869Hardware Part No:  BAC-00065-02
     870Switch Serial No:  Y014CM448150
     871Manufacturing date: 14/14
     872
     873MTM Value: 7309-HC3
     874ESN: MM43341
     875
     876Software Version 7.9.10 (FLASH image1), active configuration.
     877Boot kernel version 7.9.10
     878
     879USB Boot: disabled
     880
     881
     882
     883Temperature Mother      Top : 35 C
     884Temperature Mother   Bottom : 24 C
     885Temperature Daughter    Top : 33 C       
     886Temperature Daughter Bottom : 20 C
     887Temperature Switch Asic Max : 43 C
     888
     889System Warning at 75 C / Shutdown at 90 C
     890
     891Fan 1 Module 1:  7346rpm  15pwm( 5% bias:0) Back-To-Front
     892Fan 2 Module 1:  2952rpm  15pwm( 5% bias:0) Back-To-Front
     893Fan 3 Module 2:  6521rpm  15pwm( 5% bias:0) Back-To-Front
     894Fan 4 Module 2:  2904rpm  15pwm( 5% bias:0) Back-To-Front
     895Fan 5 Module 3:  7489rpm  15pwm( 5% bias:0) Back-To-Front
     896Fan 6 Module 3:  2926rpm  15pwm( 5% bias:0) Back-To-Front
     897Fan 7 Module 4:  7228rpm  15pwm( 5% bias:0) Back-To-Front
     898Fan 8 Module 4:  2855rpm  15pwm( 5% bias:0) Back-To-Front
     899
     900System Fan Airflow: Back-To-Front
     901
     902Power Supply 1: Back-To-Front [DS450-3-002_REV0]
     903Power Supply 2: Back-To-Front [DS450-3-002_REV0]
     904
     905  Power Faults: None
     906    Fan Faults: None
     907Service Faults: None
     908
     909uaf-8264.uaf.xo> show vl
     910uaf-8264.uaf.xo> show vlan
     911VLAN                Name                Status            Ports
     912----  --------------------------------  ------  -------------------------
     9131     Default VLAN                      ena     23-37 39 40 51-62
     91422    orca_vlan_22                      ena     41-48
     91523    orca_vlan_23                      ena     41-48
     91624    orca_vlan_24                      ena     41-48
     91725    orca_vlan_25                      ena     41-48
     91826    orca_vlan_26                      ena     41-48
     91927    orca_vlan_27                      ena     41-48
     92028    orca_vlan_28                      ena     41-48
     92129    orca_vlan_29                      ena     41-48
     92230    orca_vlan_30                      ena     41-48
     92331    orca_vlan_31                      ena     41-48
     92432    orca_vlan_32                      ena     41-48
     92533    orca_vlan_33                      ena     41-48
     92634    orca_vlan_34                      ena     41-48
     92735    orca_vlan_35                      ena     41-48
     92836    orca_vlan_36                      ena     41-48
     92937    orca_vlan_37                      ena     41-48
     93038    orca_vlan_38                      ena     41-48
     93139    orca_vlan_39                      ena     41-48
     93240    orca_vlan_40                      ena     41-48
     93341    orca_vlan_41                      ena     41-48
     93442    orca_vlan_42                      ena     41-48
     93543    orca_vlan_43                      ena     41-48
     93644    orca_vlan_44                      ena     41-48
     93745    orca_vlan_45                      ena     41-48
     93846    orca_vlan_46                      ena     41-48
     93947    orca_vlan_47                      ena     41-48
     94048    orca_vlan_48                      ena     41-48
     94149    orca_vlan_49                      ena     41-48
     94250    orca_vlan_50                      ena     41-48
     94351    orca_vlan_51                      ena     41-48
     94452    orca_vlan_52                      ena     41-48
     94553    orca_vlan_53                      ena     41-48
     94654    orca_vlan_54                      ena     41-48
     94755    orca_vlan_55                      ena     41-48
     94856    orca_vlan_56                      ena     41-48
     94957    orca_vlan_57                      ena     41-48
     95058    orca_vlan_58                      ena     41-48
     95159    orca_vlan_59                      ena     41-48
     95260    orca_vlan_60                      ena     41-48
     95361    orca_vlan_61                      ena     41-48
     95462    orca_vlan_62                      ena     41-48
     95563    orca_vlan_63                      ena     41-48
     95664    orca_vlan_64                      ena     41-48
     95765    orca_vlan_65                      ena     41-48
     95866    orca_vlan_66                      ena     41-48
     95967    orca_vlan_67                      ena     41-48
     96068    orca_vlan_68                      ena     41-48
     96169    orca_vlan_69                      ena     41-48
     96270    orca_vlan_70                      ena     41-48
     96371    orca_vlan_71                      ena     41-48
     96476    orca_vlan_76                      ena     41-48
     96577    orca_vlan_77                      ena     41-48
     9661006  Management subnet                 ena     63
     9671009  ORCA iSCSI A                      ena     1 13 17 41-48
     9681012  Headnode iSCSI A                  ena     18 21 22
     9691013  Headnode iSCSI B                  ena     19 21 22
     9701014  ORCA iSCSI B                      ena     1 13 20 41-48
     9711019  VLAN 1019                         ena     empty
     9724000  VLAN 4000                         ena     1 5 9 13 21 22 38 41-50 64
     9734095  Mgmt VLAN                         ena     MGT
     974
     975Primary  Secondary  Type             Ports                  vPorts               
     976-------  ---------  ---------------  ---------------------  ---------------------
     977uaf-8264.uaf.xo>
     978
     979}}}
     980
     981Verify FOAM and !FlowVisor configuration files ownership and paths:
     982{{{
     983[lnevers@uaf-hn ~]$ ls -l /etc/foam.passwd  /etc/flowvisor.passwd /etc/flowvisor/fvpasswd /opt/foam/etc/foampasswd
     984lrwxrwxrwx 1 root      flowvisor 21 Oct  3  2014 /etc/flowvisor/fvpasswd -> /etc/flowvisor.passwd
     985-r--r----- 1 flowvisor uafadmins 25 Oct  3  2014 /etc/flowvisor.passwd
     986-r--r----- 1 root      uafadmins 25 Oct  3  2014 /etc/foam.passwd
     987lrwxrwxrwx 1 root      root      16 Oct  3  2014 /opt/foam/etc/foampasswd -> /etc/foam.passwd
     988[lnevers@uaf-hn ~]$
     989}}}
     990
     991Check FOAM version and FOAM configuration for site.admin.email, geni.site-tag, email.from settings on the UAF head node:
     992{{{
     993
     994NO FOAM   
     995
     996sudo foamctl admin:get-version  --passwd-file=/etc/foam.passwd
     997sudo foamctl config:get-value --key="site.admin.email"  --passwd-file=/opt/foam/etc/foampasswd
     998sudo foamctl config:get-value --key="geni.site-tag"  --passwd-file=/opt/foam/etc/foampasswd
     999sudo foamctl config:get-value --key="email.from"  --passwd-file=/opt/foam/etc/foampasswd
     1000sudo foamctl config:get-value --key="geni.approval.approve-on-creation"  --passwd-file=/opt/foam/etc/foampasswd
     1001}}}
     1002Show FOAM slivers details:
     1003{{{
     1004sudo foamctl geni:list-slivers --passwd-file=/opt/foam/etc/foampasswd
     1005
     1006}}}
     1007
     1008Check the !FlowVisor version, list of devices, get details for a device, list of active slices, and details for one of the slices on the UAF Head node:
     1009{{{
     1010[lnevers@uaf-hn ~]$ sudo /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd ping hello
     1011Got reply:
     1012PONG(fvadmin): FV version=flowvisor-0.8.1::hello
     1013[lnevers@uaf-hn ~]$ sudo /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd listDevices
     1014[lnevers@uaf-hn ~]$ sudo /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd getDeviceInfo
     1015command 'getDeviceInfo' takes 1 args: only 0 given
     1016getDeviceInfo <dpid>
     1017[lnevers@uaf-hn ~]$ sudo /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd listSlices
     1018Slice 0: bob
     1019Slice 1: fvadmin
     1020Slice 2: alice
     1021[lnevers@uaf-hn ~]$ sudo /opt/flowvisor/bin/fvctl --passwd-file=/etc/flowvisor/fvpasswd getSliceInfo  fvadmin
     1022Got reply:
     1023contact_email=fvadmin@localhost
     1024controller_hostname=localhost
     1025controller_port=26328
     1026creator=fvadmin
     1027[lnevers@uaf-hn ~]$
     1028}}}
    5881029
    5891030----