Одинаковые МАС адреса для всех сетевых адаптеров блейд серверов, работающих в режиме NPAR.

Добрый день, коллеги.

Столнулись с фитчей/багом Lenovo, приводящем к установки одинаковых МАС адресов для всех сетевых адаптеров блейд серверов, работающих в режиме NPAR.

Мы использовали шасси 8721ALG и блейд серверы Lenovo Flex System x240 M5.

Сетевые адаптеры блейдов Qlogic 577xx/578xx 10 Gb Ethernet BCM57840, Broadcom NetXtreme II 2-Port 10GBEthernet Adapter BCM57840 – в разных блейдах могут быть разные адаптеры, соотношение типов 90% к 10% в пользу QLogic.

Все блейд серверы в шасси были настроены в режиме NPAR и работали штатно, была установлена ОС Linux, собраны bonding  и т. д.

 После того, как шасси было раскомплектованно для транспортировки и собрано вновь (изъяты блейдыи вставлены обратно), ВСЕ БЛЕЙДЫ  (тождественно для всех  используемых корзин) получили «фейковые» МАС адреса, а не реальные (как видно из скриншота ниже; формат адреса 00:0A:F7:56:85:Cx, где Х порядковый номер сетевой карты в ОС), что привело к неработоспособности сети, а так же ранее установленной ОС Linux. При этом, отчёт шасси показывал реальные МАС адреса.

Провозившись некоторое время нашли workarround для этой проблемы:

•  перевод сетевых адаптеров блейд в режим UFP;
•  сохранение настроек и рестарт блейда;
•  перевод адаптеров блейд в режим NPAR;
•  сохранение настроек и рестарт блейда;

с переводом в режим PNIC не сработает, сброс на блейдов на фабричные настройки эффекта не даёт.

Путаница с сетевыми адаптерами RELS 6.7 при использовании Switch Independent (NPAR) режим на Lenovo Flex 240 M5

Доброго дня.
Столкнулся с интересным багом или фитчей.

В проекте использовали блейды Lenovo Flex 240 M5  с сетевыми адаптерами (Qlogic 577xx/578xx 10 Gb Ethernet BCM57840 и Broadcom NetXtreme II 2-Port 10GB Ethernet Adapter BCM57840).

По производственной необходимости было принято решение о использовании Switch Independent виртуализации физических сетевых адаптеров (NPAR режим). Операционная система RELS 6.7 с ovirt агентом на борту (NetworkManager вначале был запущен).

В какой-то момент, на одном из блейдов я выключил виртуализацию сетевых адаптеров и настроил бондинг прямо на физике. Однако, трафик не шел... т.е. всё: от сети, заканчивая блейдом и бондом в режиме 5, работало штатно, но трафик не шел...network перезапускался штатно.

По совету вендора проверил файл /etc/udef/rules.d/70-persistentnetrules и выяснил, что по какой-то причине имена сетевых адаптеров были перепутаны!  Естественно имя адаптера не соответствовало его МАС адресу, что и вызывало проблемы.

После корректировки имён адаптеров - всё заработало.