博科光纤交换机维护手册

（v1.0）

版本说明

第1章

1.1 1.2 第2章第3章

3.1 3.2 3.3 3.4 3.5 第4章

4.1 4.2 4.3 第5章第6章

6.1 6.2

应用系统概况 ........................................................................................................................................... 5 应用系统简介 ........................................................................................................................................... 5 应用系统物理拓扑图 ............................................................................................................................... 5 交换机介绍 ............................................................................................................................................... 6 SAN 系统实施准备 . ............................................................................................................................... 9 涉及交换机设备 ....................................................................................................................................... 9 环境要求 ................................................................................................................................................... 9 光纤布置 ................................................................................................................................................... 9 交换机管理IP 的分配 ............................................................................................................................ 10 管理控制台需求 ..................................................................................................................................... 11 安装实施过程 ......................................................................................................................................... 12 实施过程 ................................................................................................................................................. 12 微码升级 ................................................................................................................................................. 13 配置分区 ................................................................................................................................................. 14 和刀片交换机级联 ................................................................................................................................. 17 产品维护服务 ......................................................................................................................................... 19 日常维护 ................................................................................................................................................. 19 技术服务 ................................................................................................................................................. 21

应用系统概况

应用系统简介

中国建设银行在2007年7月启动了分行IT 基础设施资源整合项目，旨在将各分行的IT 架构都纳入到一个统一的SAN 架构中，这样做的好处是：可以实现存储的集中，可以实现统一的集中的LAN-Free 备份系统，可以很容易实现服务器的容灾系统，另外，通过数据的整合，可以以较低的成本实现数据容灾系统。

应用系统物理拓扑图

在SAN 架构设计时，有一个统一的原则，就是双冗余的设计，在这个设计中，所有的部件都实现了冗余，没有任何单点故障。所以整个系统的设计如下图所示：

生产中心

LAN

这是一个典型的SAN 架构设计图，上面的两台服务器做一个应用的HA ，都分别连接到两个冗余的Fabric 网络中，磁盘阵列和磁带库也冗余连接到两个Fabric 网络中，所有的部件都冗余连接，没有单点故障。

这个系统架构的优点是：

双网络设计，两个网络之间实现完全冗余，并互相独立；

目前一个Fabric 网络有一台Brocade 48000，如果需要扩充，可以通过级联的方式连接新的交换机，级联交换机之间可以采用即插即用的Trunk 相连。

交换机介绍

此次交换机都采用Brocade 48000，端口板都是48端口板，冗余电源和风扇配置。不同的分行采购的端口数不一样，如果是144口，就是3块端口板；如果是192口，就是4块端口板；如果是256口，就是6块端口板；具体端口数以实际合同为准。下面是交换机的相关参数： SILKWORM 48000 导向器参数：

SAN 系统实施准备

涉及交换机设备

环境要求

光纤布置

由于Brocade 48000端口密度较大，在布置光纤走线时要做到合理，为将来进行部件更换提供便利。下图是布线的合理布局：

由上图可以看出，所有的光纤都自然下垂，每一个端口板上的光纤为一捆，这样的好处是端口板之间没有交叉，可以在需要时很方便将端口板更换。

交换机管理IP 的分配

由于48000交换机上，有两块CP （CP0/CP1）板每块CP 板有一个物理网卡，同时块CP 板之间是HA 的关

备注：以上IP 地址为交换机默认值，在项目实施时，实际地址必须向网络管理员申请。备注：以上IP 地址必须在同一网段。

采用下面的命令来设置交换机的IP 地址：

switch:admin> ipaddrset -sw 0 设置交换机的SWITCH IP地址 Ethernet IP Address [192.168.166.148]:10.77.77.77 Ethernet Subnetmask [255.255.255.0]:255.255.255.0 Fibre Channel IP Address [none]: Fibre Channel Subnetmask [none]: Committing configuration...Done.

switch:admin> ipaddrset -cp 0 设置交换机的CP0 管理IP 地址 Ethernet IP Address [192.168.166.148]:10.77.77.75 Ethernet Subnetmask [255.255.255.0]:255.255.255.0 Fibre Channel IP Address [none]: Fibre Channel Subnetmask [none]: Committing configuration...Done.

switch:admin> ipaddrset -cp 1 设置交换机的CP1 管理IP 地址

Ethernet IP Address [192.168.166.148]:10.77.77.74 Ethernet Subnetmask [255.255.255.0]:255.255.255.0 Fibre Channel IP Address [none]: Fibre Channel Subnetmask [none]: Committing configuration...Done.

管理控制台需求

用户提供一台PC 作为管理控制台，安装Windows XP或2003操作系统，设置IP 地址为和交换机在同一网段，比如10.77.77.1，作为日常检查、升级微码和保持日常交换机配置的终端。这个终端上需要安装免费的Java 软件，版本JRE 1.5.x。在需要升级交换机微码时，在管理控制台服务器上开放FTP 服务。

安装实施过程

由于用户的实际情况差别较大，安装过程也不尽相同，我们用一个模版来具体说明。

实施过程

1. 物理安装：将2台Brocade 48000上架，固定；

2. 安装所有SFP 模块，将光纤连接到相应的端口，注意光纤的顺序和清洁； 3. 连接电源线，接通电源启动，待启动自检完成，此过程需要10分钟； 4. 检查硬件指示灯的状况，查看硬件运行是否正常；

telnet 登陆到交换机(用户名/admin;密码/password)，运行switchshow 命令：

switch:admin> switchshow switchName: switch switchType: 42.1 switchState: Online switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01

switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeacon: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF

FC Router BB Fabric ID: 1

Index Slot Port Address Media Speed State Proto =================================================== [output truncated]

80 8 0 035000 id N4 No_Light 81 8 1 035100 id N4 No_Light 82 8 2 035200 id N4 No_Light 83 8 3 035300 id N4 No_Light 84 8 4 035400 id N4 No_Light 85 8 5 035500 id N4 No_Light 86 8 6 035600 id N4 No_Light 87 8 7 035700 id N4 No_Light

88 8 8 035800 id N1 Online F-Port 10:00:00:00:c9:25:3d:43

如果可以看到所有的端口，说明端口都工作正常，No_Light表示该端口没有收到信号。 5. 检查微码是否是我们计划的版本，如果不是，升级微码到相应的版本；

运行命令firmwareshow ，查看现在的版本。

switch:admin> firmwareshow

Slot Name Primary/Secondary Versions Status

--------------------------------------------------------------- 5 CP0 v5.1.0 Active *

v5.1.0

6 CP1 v5.1.0 Standby

v5.1.0

如果现在的版本不少v5.3.0，需要升级到v5.3.0（注：最终的版本可能会改变）。具体的升级过程见下面章节。

6. 设置用户提供的IP 地址，询问用户有没有其它要求，设置修改系统参数；修改IP 地址在前面已经描述过。

7. 根据实际应用情况，配置分区，配置分区的过程见下面的章节；

微码升级

在安装过程中，我们会确定一个允许的最终版本，初步确定是v5.3.0。具体的升级方法是： 1、将微码拷贝到指定的管理控制台服务器上。打开ftp 服务（IP 地址：10.77.77.77，用户名root ，

口令是root ；将ftp 的根目录设定为„/v5.3.0）

2、登陆到交换机的Standby CP；键入firmwaredownload 命令。

switch:admin> firmwareDownload 10.77.77.77,root,/release.plist,root This command will upgrade both CPs in the switch. If you want to upgrade a single CP only, please use -s option.

You can run firmwareDownloadStatus to get the status of this command.

This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted. Do you want to continue [Y]:

FirmwareDownload has started in Standby CP. It may take up to 10 minutes. And you will the following on Standby CP: Start to install packages......

dir ################################################ terminfo ################################################ termcap ################################################ glibc ################################################ ......

sin ################################################ Write kernel image into flash. ........

Verification SUCCEEDED

Firmwaredownload completes successfully.

3、使用firmwareshow 命令查看升级是否完成，如果没有完成，耐心等待。 4、使用hashow 命令查看交换机的CP 工作是否正常。 switch:admin> hashow

Local CP (Slot 6, CP1): Active

Remote CP (Slot 5, CP0): Standby, Healthy HA Enabled, Heartbeat Up, HA State Synchronized

如果不是这个Synchronized 的状态，需要查找原因解决。

配置分区

由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，以重客系统为例。

创建分区的步骤如下：

分区配置是交换机安装的一个很重要的环节。但由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，下面举一个应用为例来说明。

北京分行有一个重客业务系统，使用DMX 磁盘阵列，磁带库有6个磁带机，每个Fabric （Switch ）上连接3台。系统的连接布局和Zoning 配置是：

我们做分区的原则是每一个HBA 做一个分区。这样做分区的步骤如下：

switch:admin> zonecreate "BJAP0511DMX1H0", "100,40;100,32" switch:admin> zonecreate "BJAP0521DMX1H0", "100,41;100,32" switch:admin> zonecreate "BJAP0511TL00H2", "100,288;,100,174;100,175;100,190"

switch:admin> cfgcreate "BJ_Prod_FA", " BJAP0511DMX1H0; BJAP0521DMX1H0; BJAP0511TL00H 2"

switch:admin> cfgenable " BJ_Prod_FA "

You are about to enable a new zoning configuration.

This action will replace the old zoning configuration with the current configuration selected.

Do you want to enable ' BJ_Prod_FA ' configuration (yes, y, no, n): [no] y

zone config " BJ_Prod_FA " is in effect Updating flash ...

加入将来需要增加新的ZONE 配置的话，执行如下命令：

switch:admin> zonecreate "BJAP0511DMX1H0_NEW", "100,45;100,33" switch:admin>cfgadd "BJ _Prod_FA", “BJAP0511DMX1H0_NEW” switch:admin>cfgenable "BJ_Prod_FA"

You are about to enable a new zoning configuration.

This action will replace the old zoning configuration with the current configuration selected.

Do you want to enable ' BJ_Prod_FA ' configuration (yes, y, no, n): [no] y

zone config " BJ_Prod_FA " is in effect Updating flash ...

如果还有新的应用，可以填入上面的表格，允许相同的命令，生成zone 和config ，并激活。

和刀片交换机级联

由于分行刀片服务器存储交换机是博科产品，如核心交换机是博科产品，则互联非常方便，具体步骤是： 1 检查刀片交换机的Domain ID，如果和核心交换机冲突，则根据《SFB 实施工艺-存储部署详细设计方案》中有关Domain ID使用规范予以分配. 。具体命令为：（假设Domain ID为102） switch:admin> configure Configure...

Fabric parameters (yes, y, no, n): [no] yes Domain: (1..239) [1] 102 BB credit: (1..27) [16]

2 连接完成后，查看相应的端口模式，如是E-Port ，则表明连接成功。具体命令为

switch:admin> switchshow switchName: switch switchType: 42.1 switchState: Online switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01

switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeacon: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF

FC Router BB Fabric ID: 1

Index Slot Port Address Media Speed State Proto =================================================== [output truncated]

80 8 0 035000 id N4 No_Light

81 8 1 035100 id N4 No_Light 82 8 2 035200 id N4 No_Light 83 8 3 035300 id N4 No_Light 84 8 4 035400 id N4 No_Light 85 8 5 035500 id N4 No_Light 86 8 6 035600 id N4 No_Light 87 8 7 035700 id N4 No_Light

88 8 8 035800 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream)

产品维护服务

日常维护

服务方公司将定期了解买方对系统的使用情况，及时听取买方对产品及系统工作状况的意见，帮助其合理地使用产品系统，并建立日常维护、保养机制。维护内容：包括交换机的电源，firmware 版本、光纤接口卡、以太网卡接口、日志信息、Zoning 的软硬件功能、运行性能、容量等。

(1)检查交换机系统板指示灯工作是否正常

(2)检查交换机电源指示灯工作是否正常：

（3）检查交换机风扇指示灯是否正常：

技术服务

安装结束后，博科公司将对分行进行2小时现场培训，内容包括用户如何进行现场简单的监控；如何报告发生的问题；如何修改Zoning 配置等。

验收完成后，博科公司为客户提供7×24保修和技术支持服务： ● 微码升级； ● 免费维护； ● 免费备件更换； ● 免费远程诊断及支持

技术支持热线：010－65888888；400－6500078

在热线服务时用户需要提供如下信息：交换机的序列号和WWN(通过Chassisshow/switchshow查看) ，用户要通过提供相关错误信息（通过supportshow 命令输出）

电子邮件: support @brocade. Com

在线提交服务申请http://www.brocade.com/support/contacts.jsp

博科光纤交换机维护手册

（v1.0）

版本说明

第1章

1.1 1.2 第2章第3章

3.1 3.2 3.3 3.4 3.5 第4章

4.1 4.2 4.3 第5章第6章

6.1 6.2

应用系统概况

应用系统简介

应用系统物理拓扑图

生产中心

LAN

这个系统架构的优点是：

双网络设计，两个网络之间实现完全冗余，并互相独立；

目前一个Fabric 网络有一台Brocade 48000，如果需要扩充，可以通过级联的方式连接新的交换机，级联交换机之间可以采用即插即用的Trunk 相连。

交换机介绍

SAN 系统实施准备

涉及交换机设备

环境要求

光纤布置

由于Brocade 48000端口密度较大，在布置光纤走线时要做到合理，为将来进行部件更换提供便利。下图是布线的合理布局：

由上图可以看出，所有的光纤都自然下垂，每一个端口板上的光纤为一捆，这样的好处是端口板之间没有交叉，可以在需要时很方便将端口板更换。

交换机管理IP 的分配

由于48000交换机上，有两块CP （CP0/CP1）板每块CP 板有一个物理网卡，同时块CP 板之间是HA 的关

备注：以上IP 地址为交换机默认值，在项目实施时，实际地址必须向网络管理员申请。备注：以上IP 地址必须在同一网段。

采用下面的命令来设置交换机的IP 地址：

switch:admin> ipaddrset -cp 1 设置交换机的CP1 管理IP 地址

Ethernet IP Address [192.168.166.148]:10.77.77.74 Ethernet Subnetmask [255.255.255.0]:255.255.255.0 Fibre Channel IP Address [none]: Fibre Channel Subnetmask [none]: Committing configuration...Done.

管理控制台需求

安装实施过程

由于用户的实际情况差别较大，安装过程也不尽相同，我们用一个模版来具体说明。

实施过程

1. 物理安装：将2台Brocade 48000上架，固定；

telnet 登陆到交换机(用户名/admin;密码/password)，运行switchshow 命令：

switch:admin> switchshow switchName: switch switchType: 42.1 switchState: Online switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01

switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeacon: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF

FC Router BB Fabric ID: 1

Index Slot Port Address Media Speed State Proto =================================================== [output truncated]

88 8 8 035800 id N1 Online F-Port 10:00:00:00:c9:25:3d:43

运行命令firmwareshow ，查看现在的版本。

switch:admin> firmwareshow

Slot Name Primary/Secondary Versions Status

--------------------------------------------------------------- 5 CP0 v5.1.0 Active *

v5.1.0

6 CP1 v5.1.0 Standby

v5.1.0

如果现在的版本不少v5.3.0，需要升级到v5.3.0（注：最终的版本可能会改变）。具体的升级过程见下面章节。

6. 设置用户提供的IP 地址，询问用户有没有其它要求，设置修改系统参数；修改IP 地址在前面已经描述过。

7. 根据实际应用情况，配置分区，配置分区的过程见下面的章节；

微码升级

口令是root ；将ftp 的根目录设定为„/v5.3.0）

2、登陆到交换机的Standby CP；键入firmwaredownload 命令。

switch:admin> firmwareDownload 10.77.77.77,root,/release.plist,root This command will upgrade both CPs in the switch. If you want to upgrade a single CP only, please use -s option.

You can run firmwareDownloadStatus to get the status of this command.

This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted. Do you want to continue [Y]:

FirmwareDownload has started in Standby CP. It may take up to 10 minutes. And you will the following on Standby CP: Start to install packages......

sin ################################################ Write kernel image into flash. ........

Verification SUCCEEDED

Firmwaredownload completes successfully.

3、使用firmwareshow 命令查看升级是否完成，如果没有完成，耐心等待。 4、使用hashow 命令查看交换机的CP 工作是否正常。 switch:admin> hashow

Local CP (Slot 6, CP1): Active

Remote CP (Slot 5, CP0): Standby, Healthy HA Enabled, Heartbeat Up, HA State Synchronized

如果不是这个Synchronized 的状态，需要查找原因解决。

配置分区

由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，以重客系统为例。

创建分区的步骤如下：

分区配置是交换机安装的一个很重要的环节。但由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，下面举一个应用为例来说明。

北京分行有一个重客业务系统，使用DMX 磁盘阵列，磁带库有6个磁带机，每个Fabric （Switch ）上连接3台。系统的连接布局和Zoning 配置是：

我们做分区的原则是每一个HBA 做一个分区。这样做分区的步骤如下：

switch:admin> zonecreate "BJAP0511DMX1H0", "100,40;100,32" switch:admin> zonecreate "BJAP0521DMX1H0", "100,41;100,32" switch:admin> zonecreate "BJAP0511TL00H2", "100,288;,100,174;100,175;100,190"

switch:admin> cfgcreate "BJ_Prod_FA", " BJAP0511DMX1H0; BJAP0521DMX1H0; BJAP0511TL00H 2"

switch:admin> cfgenable " BJ_Prod_FA "

You are about to enable a new zoning configuration.

This action will replace the old zoning configuration with the current configuration selected.

Do you want to enable ' BJ_Prod_FA ' configuration (yes, y, no, n): [no] y

zone config " BJ_Prod_FA " is in effect Updating flash ...

加入将来需要增加新的ZONE 配置的话，执行如下命令：

switch:admin> zonecreate "BJAP0511DMX1H0_NEW", "100,45;100,33" switch:admin>cfgadd "BJ _Prod_FA", “BJAP0511DMX1H0_NEW” switch:admin>cfgenable "BJ_Prod_FA"

You are about to enable a new zoning configuration.

This action will replace the old zoning configuration with the current configuration selected.

Do you want to enable ' BJ_Prod_FA ' configuration (yes, y, no, n): [no] y

zone config " BJ_Prod_FA " is in effect Updating flash ...

如果还有新的应用，可以填入上面的表格，允许相同的命令，生成zone 和config ，并激活。

和刀片交换机级联

Fabric parameters (yes, y, no, n): [no] yes Domain: (1..239) [1] 102 BB credit: (1..27) [16]

2 连接完成后，查看相应的端口模式，如是E-Port ，则表明连接成功。具体命令为

switch:admin> switchshow switchName: switch switchType: 42.1 switchState: Online switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01

switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeacon: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF

FC Router BB Fabric ID: 1

Index Slot Port Address Media Speed State Proto =================================================== [output truncated]

80 8 0 035000 id N4 No_Light

88 8 8 035800 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream)

产品维护服务

日常维护

(1)检查交换机系统板指示灯工作是否正常

(2)检查交换机电源指示灯工作是否正常：

（3）检查交换机风扇指示灯是否正常：

技术服务

安装结束后，博科公司将对分行进行2小时现场培训，内容包括用户如何进行现场简单的监控；如何报告发生的问题；如何修改Zoning 配置等。

验收完成后，博科公司为客户提供7×24保修和技术支持服务： ● 微码升级； ● 免费维护； ● 免费备件更换； ● 免费远程诊断及支持

技术支持热线：010－65888888；400－6500078

在热线服务时用户需要提供如下信息：交换机的序列号和WWN(通过Chassisshow/switchshow查看) ，用户要通过提供相关错误信息（通过supportshow 命令输出）

电子邮件: support @brocade. Com

在线提交服务申请http://www.brocade.com/support/contacts.jsp

博科光纤交换机维护手册

相关文章