Changes between Initial Version and Version 1 of GENIRacksHome/OpenGENIRacks/AcceptanceTestStatusApr2014/OG-MON-1


Ignore:
Timestamp:
05/23/14 11:34:00 (10 years ago)
Author:
lnevers@bbn.com
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • GENIRacksHome/OpenGENIRacks/AcceptanceTestStatusApr2014/OG-MON-1

    v1 v1  
     1= GR-MON-1: Control Network Software and VLAN Inspection Test =
     2
     3This page captures status for the test case GR-MON-1. For additional information see the [wiki:GENIRacksHome/GRAMRacks/AcceptanceTestStatusApr2014 Acceptance Test Status - April 2014] page overall status, or the [wiki:GENIRacksHome/AcceptanceTests/GRAMAcceptanceTestsPlan GRAM Acceptance Test Plan] for details about the planned evaluation.
     4
     5|| '''Step''' || '''State'''||''' Notes '''            || '''Tickets'''  ||
     6|| Step 1     ||[[span(Pass: most criteria, style=background-color: #98FB98)]]|| git internal, ~~No version code_tag~~  ||  66, ~~115~~           ||
     7|| Step 2     ||[[span(Pass, style=background-color: green )]] ||                         ||                ||
     8|| Step 3     ||[[span(Pass, style=background-color: green )]] ||                         ||                ||
     9       
     10
     11[[BR]]
     12|| '''State Legend'''                                   || '''Description'''                                                    ||
     13||[[span(Pass, style=background-color: green )]]        || Test completed and met all criteria                                  ||
     14||[[span(Pass: most criteria, style=background-color: #98FB98)]]|| Test completed and met most criteria. Exceptions documented  ||
     15||[[span(Fail, style=background-color: red)]]           || Test completed and failed to meet criteria.                          ||
     16||[[span(Complete, style=background-color: yellow)]]    || Test completed but will require re-execution due to expected changes ||
     17||[[span(Blocked, style=background-color: orange)]]     || Blocked by ticketed issue(s).                                        ||
     18||[[span(In Progress, style=background-color: #63B8FF)]]|| Currently under test.                                                ||
     19
     20= Test Plan Steps =
     21
     22== Step 1.  Identify processes and versions ==
     23
     24A site administrator enumerates processes on each of the server host, the Control VM, the VMOC VM, etc. and an experimental node configured for OpenStack, which listen for network connections from other nodes, identifies what version of what software package is in use for each, and verifies that we know the source of each piece of software and could get access to its source code.
     25
     26First get supported versions for the AM API and verify access to resources:
     27{{{
     28$ omni.py getversion -a https://clemson-clemson-control-1.clemson.edu:5001 
     2918:45:29 INFO     omni: Loading agg_nick_cache file '/home/lnevers/.gcf/agg_nick_cache'
     3018:45:29 INFO     omni: Loading config file /home/lnevers/.gcf/omni_config
     3118:45:29 INFO     omni: Setting option useSliceMembers based on omni_config setting
     3218:45:29 INFO     omni: Using control framework portal
     3318:45:29 INFO     omni: Member Authority is https://ch.geni.net/MA (from config)
     3418:45:29 INFO     omni: Slice Authority is https://ch.geni.net/SA (from config)
     3518:45:30 INFO     omni: AM URN: unspecified_AM_URN (url: https://clemson-clemson-control-1.clemson.edu:5001) has version:
     3618:45:30 INFO     omni: {   'geni_ad_rspec_versions': [   {   'extensions': [],
     37                                      'namespace': 'http://www.geni.net/resources/rspec/3',
     38                                      'schema': 'http://www.geni.net/resources/rspec/3/ad.xsd',
     39                                      'type': 'GENI',
     40                                      'version': '3'}],
     41    'geni_api': 3,
     42    'geni_api_versions': {   '2': 'https://clemson-clemson-control-1.clemson.edu:5002',
     43                             '3': 'https://clemson-clemson-control-1.clemson.edu:5001'},
     44    'geni_credential_types': [{   'geni_type': 'geni_sfa',
     45                                     'geni_version': '3'}],
     46    'geni_request_rspec_versions': [   {   'extensions': [],
     47                                           'namespace': 'http://www.geni.net/resources/rspec/3',
     48                                           'schema': 'http://www.geni.net/resources/rspec/3/request.xsd',
     49                                           'type': 'GENI',
     50                                           'version': '3'}]}
     5118:45:30 INFO     omni:  ------------------------------------------------------
     5218:45:30 INFO     omni:  Completed getversion:
     53Args: getversion
     54
     55  Result Summary:
     56Got version for https://clemson-clemson-control-1.clemson.edu:5001
     57 
     5818:45:30 INFO     omni:  ======================================================
     59}}}
     60
     61There is no aggregate version information (ticket #115)
     62
     63Then verify that resources are available for experimenters:
     64{{{
     65$ omni.py listresources -a gram  -o
     66}}}
     67
     68the following are major services for GRAM:
     69 - ''gram-am'' - the aggregate manager that handles AM API calls for resources
     70 - ''gram-vnoc'' - VMOC controller that manages OpenFlow traffic for switch(es) and experimenter controller(s). 
     71 - ''gram-ctrl''- Default controller that performs layer 2 MAC to port learning.
     72 - ''gram-mon''- Data collection, not sure how it fits in to current plan.
     73
     74On the Clemson rack, the GRAM software is installed in /home/gram/gram on the control node named "clemson-clemson-control-1" (130.127.88.98) and the GRAM services listed above are started by scripts in the /home/gram/gram/src/services directory:
     75{{{
     76$ ls -ltr /home/gram/gram/src/services
     77total 24
     78-rwxrwxr-x 1 gram gram 1802 Apr  8 12:21 gram-vmoc.conf
     79-rwxrwxr-x 1 gram gram 1499 Apr  8 12:21 gram-mon.conf
     80-rwxrwxr-x 1 gram gram 1898 Apr  8 12:21 gram-ctrl.conf
     81-rwxrwxr-x 1 gram gram 1514 Apr  8 12:21 gram-cni.conf
     82-rwxrwxr-x 1 gram gram 1476 Apr  8 12:21 gram-ch.conf
     83-rwxrwxr-x 1 gram gram 1655 Apr  8 12:21 gram-am.conf
     84}}}
     85
     86All services were verified to be running:
     87{{{
     88gram      2428     1  0 Apr08 ?        00:00:00 su -s /bin/sh -c exec python /home/gram/gram/src/monitor/gram-mon.py gram
     89gram      2561  2428  0 Apr08 ?        00:00:27 python /home/gram/gram/src/monitor/gram-mon.py
     90gram     17739     1  0 10:41 ?        00:00:00 su -s /bin/sh -c exec python /home/gram/gram/src/gram-am.py gram
     91gram     17740 17739  0 10:41 ?        00:00:08 python /home/gram/gram/src/gram-am.py
     92gram     26544 27283  0 19:05 pts/3    00:00:00 egrep --color=auto -i gram-am|gram-mon|vmoc|gram-ch
     93gram     29434     1  0 13:24 ?        00:00:44 python2.7 -u /opt/pox/pox.py log.level --DEBUG vmoc.VMOC --management_port=7001 --default_controller_url=https://localhost:9000
     94gram     29970     1  0 13:24 ?        00:00:40 python2.7 -u /opt/pox/pox.py log.level --DEBUG openflow.of_01 --port=9000 vmoc.l2_simple_learning
     95}}}
     96
     97Check that all processes are listening:
     98{{{
     99$ sudo netstat -anp | egrep ':\*.+LISTEN' | egrep -v '127.0.0.1'
     100tcp        0      0 0.0.0.0:8774            0.0.0.0:*               LISTEN      2455/python     
     101tcp        0      0 0.0.0.0:8775            0.0.0.0:*               LISTEN      2455/python     
     102tcp        0      0 0.0.0.0:9191            0.0.0.0:*               LISTEN      2383/python     
     103tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      29970/python2.7
     104tcp        0      0 0.0.0.0:5000            0.0.0.0:*               LISTEN      19190/python   
     105tcp        0      0 0.0.0.0:8776            0.0.0.0:*               LISTEN      2454/python     
     106tcp        0      0 0.0.0.0:6633            0.0.0.0:*               LISTEN      29434/python2.7
     107tcp        0      0 130.127.88.98:5001      0.0.0.0:*               LISTEN      17740/python   
     108tcp        0      0 130.127.88.98:5002      0.0.0.0:*               LISTEN      17740/python   
     109tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      2637/mysqld     
     110tcp        0      0 0.0.0.0:36171           0.0.0.0:*               LISTEN      3872/beam.smp   
     111tcp        0      0 0.0.0.0:9292            0.0.0.0:*               LISTEN      2393/python     
     112tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      4306/apache2   
     113tcp        0      0 0.0.0.0:4369            0.0.0.0:*               LISTEN      3415/epmd       
     114tcp        0      0 0.0.0.0:53              0.0.0.0:*               LISTEN      2460/dnsmasq   
     115tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      3384/sshd       
     116tcp        0      0 0.0.0.0:7001            0.0.0.0:*               LISTEN      29434/python2.7
     117tcp        0      0 0.0.0.0:3260            0.0.0.0:*               LISTEN      2546/tgtd       
     118tcp        0      0 0.0.0.0:35357           0.0.0.0:*               LISTEN      19190/python   
     119tcp        0      0 130.127.88.98:8000      0.0.0.0:*               LISTEN      2094/python     
     120tcp        0      0 0.0.0.0:9696            0.0.0.0:*               LISTEN      2443/python     
     121tcp        0      0 0.0.0.0:6080            0.0.0.0:*               LISTEN      2479/python     
     122tcp        0      0 0.0.0.0:8773            0.0.0.0:*               LISTEN      2455/python     
     123tcp6       0      0 :::5672                 :::*                    LISTEN      3872/beam.smp   
     124tcp6       0      0 :::53                   :::*                    LISTEN      2460/dnsmasq   
     125tcp6       0      0 :::22                   :::*                    LISTEN      3384/sshd       
     126tcp6       0      0 :::3260                 :::*                    LISTEN      2546/tgtd       
     127}}}
     128Stripping list of processes to get a list of PIDs, and determine what the processes that are listening:
     129{{{
     130$ sudo netstat -anp | egrep ':\*.+LISTEN' | egrep -v '127.0.0.1' >netstat-raw.txt
     131$ awk '{print $NF}' netstat-raw.txt | sed -r -e 's|/.*||' | sort -n | uniq > netstat-pids.txt
     132$ for pid in $(cat netstat-pids.txt) ; do ps -efwww | egrep "^[^ ]+ +$pid" ; done >& netstat-commands.txt
     133$ lnevers@bbn-cam-ctrl-1:~$ cat netstat-commands.txt
     134gram      2094  2093  0 Apr08 ?        00:00:10 python /opt/gcf/src/gcf-ch.py
     135glance    2383     1  0 Apr08 ?        00:00:00 /usr/bin/python /usr/bin/glance-registry
     136glance    2393     1  0 Apr08 ?        00:00:00 /usr/bin/python /usr/bin/glance-api
     137quantum   2443     1  0 Apr08 ?        00:09:09 python /usr/bin/quantum-server --config-file /etc/quantum/quantum.conf --log-file /var/log/quantum/server.log --config-file /etc/quantum/plugins/openvswitch/ovs_quantum_plugin.ini
     138cinder    2454     1  0 Apr08 ?        00:00:00 /usr/bin/python /usr/bin/cinder-api --config-file=/etc/cinder/cinder.conf --log-file=/var/log/cinder/cinder-api.log
     139nova      2455     1  0 Apr08 ?        00:00:00 /usr/bin/python /usr/bin/nova-api --config-file=/etc/nova/nova.conf
     140dnsmasq   2460     1  0 Apr08 ?        00:00:00 /usr/sbin/dnsmasq -x /var/run/dnsmasq/dnsmasq.pid -u dnsmasq -r /var/run/dnsmasq/resolv.conf -7 /etc/dnsmasq.d,.dpkg-dist,.dpkg-old,.dpkg-new
     141nova      2479     1  0 Apr08 ?        00:00:13 /usr/bin/python /usr/bin/nova-novncproxy --config-file=/etc/nova/nova.conf
     142root      2546     1  0 Apr08 ?        00:00:07 tgtd
     143mysql     2637     1 39 Apr08 ?        10:56:03 /usr/sbin/mysqld
     144root      3384     1  0 Apr08 ?        00:00:00 /usr/sbin/sshd -D
     145rabbitmq  3415     1  0 Apr08 ?        00:00:00 /usr/lib/erlang/erts-5.8.5/bin/epmd -daemon
     146rabbitmq  3872     1  1 Apr08 ?        00:29:47 /usr/lib/erlang/erts-5.8.5/bin/beam.smp -W w -K true -A30 -P 1048576 -- -root /usr/lib/erlang -progname erl -- -home /var/lib/rabbitmq -- -noshell -noinput -sname rabbit@clemson-clemson-control-1 -boot /var/lib/rabbitmq/mnesia/rabbit@clemson-clemson-control-1-plugins-expand/rabbit -kernel inet_default_connect_options [{nodelay,true}] -sasl errlog_type error -sasl sasl_error_logger false -rabbit error_logger {file,"/var/log/rabbitmq/rabbit@clemson-clemson-control-1.log"} -rabbit sasl_error_logger {file,"/var/log/rabbitmq/rabbit@clemson-clemson-control-1-sasl.log"} -os_mon start_cpu_sup true -os_mon start_disksup false -os_mon start_memsup false -mnesia dir "/var/lib/rabbitmq/mnesia/rabbit@clemson-clemson-control-1"
     147root      4306     1  0 Apr08 ?        00:00:02 /usr/sbin/apache2 -k start
     148gram     17740 17739  0 10:41 ?        00:00:08 python /home/gram/gram/src/gram-am.py
     149keystone 19190     1  0 06:30 ?        00:02:45 /usr/bin/python /usr/bin/keystone-all
     150gram     29434     1  0 13:24 ?        00:00:44 python2.7 -u /opt/pox/pox.py log.level --DEBUG vmoc.VMOC --management_port=7001 --default_controller_url=https://localhost:9000
     151gram     29970     1  0 13:24 ?        00:00:40 python2.7 -u /opt/pox/pox.py log.level --DEBUG openflow.of_01 --port=9000 vmoc.l2_simple_learning
     152}}}
     153
     154Additionally GRAM software configuration is captured on the control node:
     155{{{
     156$ more  /etc/gram/config.json
     157{
     158   "__001": "This file contains GRAM installation-specific",
     159   "__002": "parameters and structures. The values contained here",
     160   "__003": "override values in the gram.am.gram.config module.",
     161   "__004": "That is, a key/value pair  K, V  in this file",
     162   "__005": "sets gram.am.config.K = V",
     163   "__006": "An error is given if the field (K) does not exist, ",
     164   "__007": "Or the type of the value cannot be coerced",
     165   "__008": "Further any parameter whose value is None in config.py",
     166   "__009": "and set as null here must be set in this file:",
     167   "__010": "no default is provided",
     168
     169   "default_VM_flavor": "m1.small",
     170   "default_OS_image": "ubuntu-12.04",
     171   "default_OS_type": "Linux",
     172   "default_OS_version": "12",
     173
     174   "aggregate_id" : "urn:publicid:IDN+clemson-clemson-control-1.clemson.edu+authority+am",
     175
     176   "disk_image_metadata":
     177   {
     178   "ubuntu-12.04":
     179       {
     180        "os": "Linux",
     181        "version": "12.0",
     182        "description":" Standard Ubuntu"
     183        },
     184   "fedora-19":
     185       {
     186        "os": "Linux",
     187        "version": "19.0",
     188        "description":"Standard Fedora"
     189        }
     190   },
     191
     192   "external_interface": "ext",
     193   "external_address": "130.127.88.98",
     194   "external_netmask": "255.255.255.224",
     195
     196   "control_address": "10.10.8.100",
     197   "control_interface": "ctl",
     198   "data_interface": "dat",
     199   "data_address": "10.10.5.100",
     200   "management_interface": "mgt",
     201   "management_address": "10.10.6.100",
     202   "management_network_name": "GRAM-mgmt-net",
     203   "management_network_cidr": "192.168.10.0/24",
     204   "management_network_vlan": "2500",
     205   "mysql_user": "admin",
     206   "mysql_password": "os_pwd",
     207   "rabbit_password": "guest",
     208   "nova_password": "os_pwd",
     209   "glance_password": "os_pwd",
     210   "keystone_password": "os_pwd",
     211   "quantum_password": "os_pwd",
     212   "os_tenant_name": "admin",
     213   "os_username": "admin",
     214   "os_password": "admin_pass",
     215   "os_auth_url": "http://localhost:5000/v2.0/",
     216   "os_region_name" : "RegionOne",
     217   "os_no_cache" : "1",
     218   "service_token" : "clemson-clemson-control-1",
     219   "service_endpoint" : "http://localhost:35357/v2.0",
     220
     221   "public_gateway_ip" : "130.127.88.97",
     222   "public_dns_nameservers" : "130.127.255.250 130.127.255.251",
     223   "public_subnet_cidr" : "130.127.88.96/27",
     224   "public_subnet_start_ip" : "130.127.88.101",
     225   "public_subnet_end_ip" : "130.127.88.110",
     226
     227   "metadata_port" : "8775",
     228
     229   "backup_directory" : "/home/gram/.backup",
     230   "control_host" : "clemson-clemson-control-1.clemson.edu",
     231   "control_host_addr" : "10.10.8.100",
     232   "compute_hosts": {
     233                "clemson-clemson-compute-1":"10.10.8.101",
     234                "clemson-clemson-compute-2":"10.10.8.102"},
     235   "glance_images" : [],
     236   "internal_vlans": "1001-2000",
     237   "host_file_entries": {
     238                "clemson-clemson-control-1":"130.127.88.98",
     239                "clemson-clemson-compute-1":"130.127.88.99",
     240                "clemson-clemson-compute-2":"130.127.88.100"},
     241   "stitching_info" : {
     242       "aggregate_id" : "urn:publicid:IDN+clemson-clemson-control-1.clemson.edu+authority+am",
     243        "aggregate_url" : "https://clemson-clemson-control-1.clemson.edu:5001",
     244        "edge_points" : [
     245                {
     246                "local_switch" : "urn:publicid:IDN+clemson-clemson-control-1.clemson.edu+node+procurve2",
     247                "port" : "urn:publicid:IDN+clemson-clemson-control-1.clemson.edu+stitchport+procurve2:16",
     248                "local_link" : "urn:publicid:IDN+clemson-clemson-control-1.clemson.edu+interface+procurve2:16",
     249                "remote_switch": "urn:publicid:IDN+ion.internet2.edu+interface+rtr.atla:xe-0/3/0:clemson-gr",
     250                "vlans" : "3000-3009",
     251                "traffic_engineering_metric" : "22",
     252                "capacity": "1000000",
     253                "stitching_granularity":"1",
     254                "maximum_reservable_capacity": "1000000",
     255                "minimum_reservable_capacity": "1000",
     256                "interface_mtu": "1500"
     257                }
     258        ]
     259   },
     260   "public_ip": "130.127.88.101",
     261   "mgmt_ns": "qrouter-a03127ba-7184-42e6-bd5d-2e5957193b86"
     262}
     263}}}
     264
     265GRAM GIT Repository was successfully accessed internally:
     266{{{
     267LNM:~$  git clone git@superior.bbn.com:gram.git
     268Cloning into 'gram'...
     269remote: Counting objects: 12215, done.
     270remote: Compressing objects: 100% (3988/3988), done.
     271remote: Total 12215 (delta 8852), reused 11130 (delta 8026)
     272Receiving objects: 100% (12215/12215), 470.86 MiB | 441.00 KiB/s, done.
     273Resolving deltas: 100% (8852/8852), done.
     274Checking connectivity... done
     275}}}
     276
     277There is no BBN-external access to the GRAM Repository - ticket #66
     278
     279GRAM Software version installed on control node:
     280{{{
     281$ dpkg -p gram
     282Package: gram
     283Priority: optional
     284Maintainer: GRAM Developers <gram-dev@bbn.com>
     285Architecture: all
     286Version: 3.32
     287Depends: git, module-assistant, cloud-init, xmlsec1, ntp, vlan, bridge-utils
     288Size: 2195036
     289Description: GRAM installation package
     290}}}
     291
     292== Step 2. Review control network configuration ==
     293
     294A site administrator reviews the configuration of the rack control plane switch and verifies that each experimental node's control and console access interfaces are on the expected VLANs.  According to [https://superior.bbn.com/trac/bbn-rack/wiki/ClemsonRackDetails Details on Clemson GRAM Rack Installation and Configuration] document interfaces are configured as follows on the GRAM nodes:
     295    - eth0: Control network configured for 10.10.8.0
     296    - eth1 : Data plane network configured for 10.10.5.0
     297    - eth3 : Management network configured for 10.10.6.0
     298
     299Subnet masks for network are not listed.
     300
     301=== Control Node ===
     302
     303The following interfaces are configured on the control node (clemson-clemson-control-1/130.127.88.98):
     304{{{
     305gram@clemson-clemson-control-1:~$ /sbin/ifconfig
     306br-ex     Link encap:Ethernet  HWaddr a0:36:9f:11:0a:b2 
     307          inet addr:130.127.88.98  Bcast:130.127.88.127  Mask:255.255.255.224
     308          inet6 addr: fe80::a236:9fff:fe11:ab2/64 Scope:Link
     309          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     310          RX packets:1767593 errors:0 dropped:329916 overruns:0 frame:0
     311          TX packets:2647553 errors:0 dropped:0 overruns:0 carrier:0
     312          collisions:0 txqueuelen:0
     313          RX bytes:286297387 (286.2 MB)  TX bytes:2530830293 (2.5 GB)
     314
     315ctl       Link encap:Ethernet  HWaddr 90:b1:1c:0f:d6:49 
     316          inet addr:10.10.8.100  Bcast:10.10.8.255  Mask:255.255.255.0
     317          inet6 addr: fe80::92b1:1cff:fe0f:d649/64 Scope:Link
     318          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     319          RX packets:7567719 errors:0 dropped:0 overruns:0 frame:0
     320          TX packets:6985519 errors:0 dropped:0 overruns:0 carrier:0
     321          collisions:0 txqueuelen:1000
     322          RX bytes:1624052195 (1.6 GB)  TX bytes:3613462297 (3.6 GB)
     323          Interrupt:37 Memory:d4000000-d47fffff
     324
     325dat       Link encap:Ethernet  HWaddr a0:36:9f:11:0a:b0 
     326          inet addr:10.10.5.100  Bcast:10.10.5.255  Mask:255.255.255.0
     327          inet6 addr: fe80::a236:9fff:fe11:ab0/64 Scope:Link
     328          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     329          RX packets:1559187 errors:0 dropped:17 overruns:0 frame:0
     330          TX packets:399137 errors:0 dropped:0 overruns:0 carrier:0
     331          collisions:0 txqueuelen:1000
     332          RX bytes:149773816 (149.7 MB)  TX bytes:81043906 (81.0 MB)
     333
     334ext       Link encap:Ethernet  HWaddr a0:36:9f:11:0a:b2 
     335          inet6 addr: fe80::a236:9fff:fe11:ab2/64 Scope:Link
     336          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1
     337          RX packets:2933086 errors:0 dropped:265 overruns:0 frame:0
     338          TX packets:4313453 errors:0 dropped:0 overruns:0 carrier:0
     339          collisions:0 txqueuelen:1000
     340          RX bytes:1413216222 (1.4 GB)  TX bytes:2647059093 (2.6 GB)
     341
     342int-br-dat Link encap:Ethernet  HWaddr ca:dc:26:eb:65:79 
     343          inet6 addr: fe80::c8dc:26ff:feeb:6579/64 Scope:Link
     344          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     345          RX packets:1393949 errors:0 dropped:0 overruns:0 frame:0
     346          TX packets:404422 errors:0 dropped:0 overruns:0 carrier:0
     347          collisions:0 txqueuelen:1000
     348          RX bytes:141213388 (141.2 MB)  TX bytes:81611296 (81.6 MB)
     349
     350int-br-mgt Link encap:Ethernet  HWaddr be:da:ce:fe:46:ff 
     351          inet6 addr: fe80::bcda:ceff:fefe:46ff/64 Scope:Link
     352          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     353          RX packets:578605 errors:0 dropped:0 overruns:0 frame:0
     354          TX packets:1065223 errors:0 dropped:0 overruns:0 carrier:0
     355          collisions:0 txqueuelen:1000
     356          RX bytes:77999612 (77.9 MB)  TX bytes:1155087194 (1.1 GB)
     357
     358lo        Link encap:Local Loopback 
     359          inet addr:127.0.0.1  Mask:255.0.0.0
     360          inet6 addr: ::1/128 Scope:Host
     361          UP LOOPBACK RUNNING  MTU:16436  Metric:1
     362          RX packets:36888536 errors:0 dropped:0 overruns:0 frame:0
     363          TX packets:36888536 errors:0 dropped:0 overruns:0 carrier:0
     364          collisions:0 txqueuelen:0
     365          RX bytes:11093262695 (11.0 GB)  TX bytes:11093262695 (11.0 GB)
     366
     367mgt       Link encap:Ethernet  HWaddr 90:b1:1c:0f:d6:47 
     368          inet addr:10.10.6.100  Bcast:10.10.6.255  Mask:255.255.255.0
     369          inet6 addr: fe80::92b1:1cff:fe0f:d647/64 Scope:Link
     370          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     371          RX packets:930178 errors:0 dropped:0 overruns:0 frame:0
     372          TX packets:1061053 errors:0 dropped:0 overruns:0 carrier:0
     373          collisions:0 txqueuelen:1000
     374          RX bytes:107818204 (107.8 MB)  TX bytes:1163036100 (1.1 GB)
     375          Interrupt:36 Memory:d3000000-d37fffff
     376
     377phy-br-dat Link encap:Ethernet  HWaddr 72:8f:86:3b:36:84 
     378          inet6 addr: fe80::708f:86ff:fe3b:3684/64 Scope:Link
     379          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     380          RX packets:404422 errors:0 dropped:0 overruns:0 frame:0
     381          TX packets:1393949 errors:0 dropped:0 overruns:0 carrier:0
     382          collisions:0 txqueuelen:1000
     383          RX bytes:81611296 (81.6 MB)  TX bytes:141213388 (141.2 MB)
     384
     385phy-br-mgt Link encap:Ethernet  HWaddr 06:d7:7e:68:95:8a 
     386          inet6 addr: fe80::4d7:7eff:fe68:958a/64 Scope:Link
     387          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
     388          RX packets:1065223 errors:0 dropped:0 overruns:0 frame:0
     389          TX packets:578605 errors:0 dropped:0 overruns:0 carrier:0
     390          collisions:0 txqueuelen:1000
     391          RX bytes:1155087194 (1.1 GB)  TX bytes:77999612 (77.9 MB)
     392
     393gram@clemson-clemson-control-1:~$
     394}}}
     395
     396All connections on Control Node:
     397{{{
     398gram@clemson-clemson-control-1:~$ sockstat
     399USER     PROCESS              PID      PROTO  SOURCE ADDRESS            FOREIGN ADDRESS           STATE
     400gram     python               4835     tcp4   130.127.88.98:8000        *:*                       LISTEN
     401gram     python               5428     tcp4   130.127.88.98:5002        *:*                       LISTEN
     402gram     python               5428     tcp4   130.127.88.98:5001        *:*                       LISTEN
     403gram     python2.7            23275    tcp4   *:6633                    *:*                       LISTEN
     404gram     python2.7            23275    tcp4   10.10.8.100:6633          10.10.8.200:55511         ESTABLISHED
     405gram     python2.7            23275    tcp4   *:7001                    *:*                       LISTEN
     406gram     python2.7            23275    tcp4   130.127.88.98:36894       192.1.249.185:33019       ESTABLISHED
     407gram     python2.7            23275    tcp4   130.127.88.98:52614       130.127.88.98:9000        ESTABLISHED
     408gram     python2.7            23275    tcp4   130.127.88.98:52615       130.127.88.98:9000        ESTABLISHED
     409gram     python2.7            23275    tcp4   127.0.0.1:33549           127.0.0.1:9000            ESTABLISHED
     410gram     python2.7            32360    tcp4   *:9000                    *:*                       LISTEN
     411gram     python2.7            32360    tcp4   127.0.0.1:9000            127.0.0.1:33549           ESTABLISHED
     412gram     python2.7            32360    tcp4   130.127.88.98:9000        130.127.88.98:52614       ESTABLISHED
     413gram     python2.7            32360    tcp4   130.127.88.98:9000        130.127.88.98:52615       ESTABLISHED
     414}}}
     415All Know connection are explained:
     416{{
     417gram@clemson-clemson-control-1:~$ for i in `sockstat | awk '{print $3}' | grep -v PID | sort -u`; do ps -eaf|egrep $i|egrep -v grep; done
     418gram     23275     1  0 Apr19 ?        00:05:53 python2.7 -u -O /opt/pox/pox.py log.level --DEBUG vmoc.VMOC --management_port=7001 --default_controller_url=https://localhost:9000
     419gram     32360     1  0 14:10 ?        00:00:19 python2.7 -u -O /opt/pox/pox.py log.level --DEBUG openflow.of_01 --port=9000 vmoc.l2_simple_learning
     420gram      4835  4828  0 Apr21 ?        00:00:12 python /opt/gcf/src/gcf-ch.py
     421gram      5428  5421  0 Apr21 ?        00:00:35 python /home/gram/gram/src/gram-am.py
     422gram@clemson-clemson-control-1:~$ for i in `sockstat | awk '{print $3}' | grep -v PID | sort -u`; do ps -eaf|egrep $i|egrep -v grep; done
     423gram     23275     1  0 Apr19 ?        00:05:53 python2.7 -u -O /opt/pox/pox.py log.level --DEBUG vmoc.VMOC --management_port=7001 --default_controller_url=https://localhost:9000
     424gram     32360     1  0 14:10 ?        00:00:19 python2.7 -u -O /opt/pox/pox.py log.level --DEBUG openflow.of_01 --port=9000 vmoc.l2_simple_learning
     425gram      4835  4828  0 Apr21 ?        00:00:12 python /opt/gcf/src/gcf-ch.py
     426gram      5428  5421  0 Apr21 ?        00:00:35 python /home/gram/gram/src/gram-am.py
     427
     428}}}
     429
     430=== Compute Nodes ===
     431Information for host clemson-clemson-compute-1 (130.127.88.99):
     432{{{
     433  System information as of Tue Apr 22 18:53:57 EDT 2014
     434
     435  System load:  0.05               Users logged in:      0
     436  Usage of /:   1.3% of 297.06GB   IP address for dat:   10.10.5.101
     437  Memory usage: 1%                 IP address for mgt:   10.10.6.101
     438  Swap usage:   0%                 IP address for ctl:   10.10.8.101
     439  Processes:    254                IP address for br-ex: 130.127.88.99
     440}}}
     441There are no connections:
     442{{{
     443gram@clemson-clemson-compute-1:~$ sockstat
     444USER     PROCESS              PID      PROTO  SOURCE ADDRESS            FOREIGN ADDRESS           STATE
     445gram@clemson-clemson-compute-1:~$
     446}}}
     447
     448Information for host clemson-clemson-compute-2 (130.127.88.100):
     449{{{
     450  System information as of Tue Apr 22 18:56:21 EDT 2014
     451
     452  System load:  0.0                Users logged in:      0
     453  Usage of /:   1.4% of 297.06GB   IP address for dat:   10.10.5.102
     454  Memory usage: 1%                 IP address for mgt:   10.10.6.102
     455  Swap usage:   0%                 IP address for ctl:   10.10.8.102
     456  Processes:    257                IP address for br-ex: 130.127.88.100
     457}}}
     458There are no active connections:
     459{{{
     460gram@clemson-clemson-compute-2:~$ sockstat
     461USER     PROCESS              PID      PROTO  SOURCE ADDRESS            FOREIGN ADDRESS           STATE
     462gram@clemson-clemson-compute-2:~$
     463}}}
     464
     465
     466== Step3. Review MAC address ==
     467
     468On Control Node get list of MAC addresses:
     469{{{
     470gram@clemson-clemson-control-1:~$ arp -a
     471? (10.10.8.102) at 90:b1:1c:0f:f4:79 [ether] on ctl
     472? (10.10.8.101) at 90:b1:1c:0f:8a:79 [ether] on ctl
     473? (10.10.8.201) at d0:67:e5:a9:b1:9f [ether] on ctl
     474? (130.127.88.97) at 00:23:5e:a9:5c:ca [ether] on br-ex
     475? (10.10.8.200) at 00:01:e8:d7:58:9d [ether] on ctl
     476gram@clemson-clemson-control-1:~$
     477}}}
     478On Compute Node 1:
     479{{{
     480gram@clemson-clemson-compute-1:~$ arp -a
     481clemson-clemson-control-1 (10.10.8.100) at 90:b1:1c:0f:d6:49 [ether] on ctl
     482? (130.127.88.97) at 00:23:5e:a9:5c:ca [ether] on br-ex
     483gram@clemson-clemson-compute-1:~$
     484}}}
     485
     486On Compute Node 2:
     487{{{
     488gram@clemson-clemson-compute-2:~$ arp -a
     489? (130.127.88.97) at 00:23:5e:a9:5c:ca [ether] on br-ex
     490clemson-clemson-control-1 (10.10.8.100) at 90:b1:1c:0f:d6:49 [ether] on ctl
     491gram@clemson-clemson-compute-2:~$
     492}}}
     493
     494Verified MAC addresses for the Control Network interfaces on the switch.
     495