配置Mellanox QM8790交换机端口拆分

欢迎大家来到IT世界,在知识的湖畔探索吧!

交换机：Mellanox MQM8790-HS2X_Ax，200G分2*100G一分二分支电缆

主机操作系统：centos7.9 2009

Mellanox QM8790交换机是40端口200G IB交换机，交换机没有console口，没有专用管理口，可以通过业务口采用mlxconfig进行管理和配置端口拆分

一、安装 Mellanox OFED 驱动

mlxconfig 是 Mellanox OFED（OpenFabrics Enterprise Distribution）驱动的一部分，因此需要先安装 Mellanox OFED。

1、访问官网下载OFED驱动

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

欢迎大家来到IT世界,在知识的湖畔探索吧!

选择下载tgz文件
MLNX_OFED_LINUX-23.10-4.0.9.1-rhel7.9-x86_64.tgz，scp到home文件夹

2、安装驱动

tar -xzf MLNX_OFED_LINUX-23.10-4.0.9.1-rhel7.9-x86_64.tgz cd MLNX_OFED_LINUX-23.10-4.0.9.1-rhel7.9-x86_64 sudo ./mlnxofedinstall sudo reboot

欢迎大家来到IT世界,在知识的湖畔探索吧!

3、验证安装

欢迎大家来到IT世界,在知识的湖畔探索吧!ibstat

二、安装opensm

OpenSM是InfiniBand 的子网管理器

1、安装opensm

sudo yum update -y sudo yum install opensm -y

2、启动opensm服务

欢迎大家来到IT世界,在知识的湖畔探索吧!sudo systemctl start opensm sudo systemctl status opensm

三、查询mst

/dev/mst 是 Linux 系统中用于访问 Mellanox 设备的设备路径。它通常用于管理 Mellanox 的 InfiniBand 和以太网设备，例如交换机和网卡。通过 /dev/mst，可以使用各种工具（如 mlxconfig、flint、mlxcables 等）来配置和管理 Mellanox 设备

1、开启mst

mst start

2、检索IB设备并加入数据库

欢迎大家来到IT世界,在知识的湖畔探索吧!mst ib add

3、检查设备状态和清单

mst status

其中，
/dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002就是交换机设备名

四、常用命令

1、mlxconfig

mlxconfig 是 Mellanox 提供的一个强大工具，用于管理和配置 Mellanox 设备（如网卡和交换机）。

使用方式

欢迎大家来到IT世界,在知识的湖畔探索吧!mlxconfig -d 指定要操作的 mst 设备 操作 操作命令 i[show_confs] 显示所有配置的信息 q[query] 查询支持的配置 s[set] 将配置设置为特定设备

例如：查询交换机信息

mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 query

查询端口21的拆分状态

欢迎大家来到IT世界,在知识的湖畔探索吧!mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 query SPLIT_PORT[21]

2、使用mlxlink查询端口状态

mlxlink 可以显示端口的详细状态信息，包括链路状态、速率、光模块信息等

查询端口20的详细状态

mlxlink -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 -p 20

查询端口 21 的链路状态和速率：

欢迎大家来到IT世界,在知识的湖畔探索吧!mlxlink -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 -p 21 -c

查询端口21的光模块信息

mlxlink -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 -p 21 -m

3、使用 ibstat 查看状态

4、查看IB设备到网络接口的映射

欢迎大家来到IT世界,在知识的湖畔探索吧!ibdev2netdev

5、查看IB设备详细信息

ibv_devinfo

五、配置交换机端口拆分

1、查询交换机端口拆分状态，默认是关闭

欢迎大家来到IT世界,在知识的湖畔探索吧!mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 query SPLIT_MODE

2、开启交换机端口拆分

mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 set SPLIT_MODE=1

3、重启交换机

欢迎大家来到IT世界,在知识的湖畔探索吧!flint -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 swreset

4、将端口21-29设置为拆分状态

mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 set SPLIT_PORT[21..29]=1

重启交换机

欢迎大家来到IT世界,在知识的湖畔探索吧!flint -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 swreset

5、检查交换机状态

mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 query SPLIT_MODE mlxconfig -d /dev/mst/SW_MT54000_Quantum_Mellanox_Technologies_lid-0x0002 query SPLIT_PORT[1..40]

六、关闭mst

欢迎大家来到IT世界,在知识的湖畔探索吧!mst save mst stop