在SUSE Linux Enterprise Server 11上使用inbox OFED
我们使用的解决方案主要是用Mellanox的Infiniband HCA,一般也都是用Mellanox厂商提供的OFED,因为原厂的设备和原厂的软件应该是兼容行最好的嘛。但是,有时候某些特定的平台,Mellanox没有给出编译好的OFED,我们也可以使用随着Linux软件发布的“inbox” OFED。
比如SLES 11 SP4 ,Mellanox给出的OFED最低版本是3.4,而这个版本和某些应用软件又不兼容,所以就需要使用inbox ofed。在SLES 11 SP4上安装OFED的方法比较简单:
http://www.rdmamojo.com/2014/10/31/working-rdma-sles-11-sp/ 这个帖子给出了详细的方法,实测sles 11 sp4 的命令应调整为:
yast2 –install libibverbs libipathverbs compat-dapl dapl libamso-rdmav2 libcxgb3-rdmav2 libcxgb4-rdmav2 libmlx4-rdmav2 libmthca-rdmav2 libnes-rdmav2 librdmacm ib-bonding ibsim ibutils ibvexdmtools infiniband-diags libibcm libibcommon1 libibmad5 libibumad3 libsdp ofed ofed-doc ofed-kmp-default ofed-kmp-trace opensm mstflint rds-tools ibutils libibcommon libibcommon1 srptools
安装后的配置工作和Mellanox的OFED一样,只是openib.conf的组织形式和包含的模块略有不同。
从某些包的信息看:
Inbox OFED的Vendor是SUSE Linux Products GmbH,代表这个是商用软件,感觉可靠性会和Mellanox提供的OFED差不多。
从上面的信息看,这些inbox的OFED应该是基于openfabrics的OFED 1.5.4 开发过来的,顿时开始怀疑是否支持56Gb IB,经过测试,是支持的:
(2号端口我的确是插在一个40Gb的IB switch上了)