Новый гипервизор: промежуточный отчет

Несколько месяцев назад я писал о завершении работы «старого гипервизора», который, напомню, был построен на базе материнской платы Asus P5KR, для которой я подготовил модифицированные BIOS и модифицированные образа VMWARE ESXi разных версий, процессора Intel Xeon E5450, 16GB памяти DDR2, дисковой подсистемы на основе контроллера HP P400, о котором я тоже неоднократно писал, и умещался в недорогой 2U корпус.

Со стабильностью и управляемостью у данной машины не было особых проблем, а вот производительности не хватало. Не хватало и оперативной памяти, и «диска» и процессора. Серьезный апгрейд в рамках данной платформы был не возможен. 256GB SSD кэша проблему не решали, дефицит был по всем направлениям.

Решение строить новый гипервизор было принято давно и в общем пути реализации этого решения тоже были выбраны: система на базе одного или двух процессоров LGA1366 или система на базе одного процессора G34. Система на базе Intel отскочила практически сразу и причин тому было несколько: во-первых, выяснилось что использовать ECC DDR3 RDIMM можно далеко не на всех платах, платы с возможностью установки хотя бы 96GB памяти в общем не очень доступны, а система с парой Intel Xeon X5650, двенадцатью модулями ECC UDIMM DDR3 1333 на 8GB, соответствующим корпусом и блоком питания сильно выбивается из моего бюджета, да и в плане управляемости и вообще работы такого самосбора возникает много вопросов. Основными кандидатами на покупку кстати были HP Z400 и HP Z800. На базе второй платы мы даже собрали с коллегой нормальный игровой компьютер 🙂

Ну а гипервизору стало быть суждено построиться на платформе G34.

Основой стала материнская плата SuperMicro H8SGL-F. Плата была куплена новой в России, с гарантией, но со скидкой — складской пересорт. На e-bay такие платы торгуются по гуманным ценам, можно найти и очень удачную связку CPU+MOBO+COOLER. Процессор был выбран по принципу много ядер, средняя частота, средняя цена. Им стал Opteron 6272. Процессор умеет всё, что должен уметь процессор для гипервизора, а по производительности на ядро не сильно отличается от старого E5450. Только вот ядер (потоков) не четыре, а шестнадцать. На самом деле, можно было половить и более высокочастотные шестнадцатиядерники или даже двенадцатиядерники, но мне мой процессор достался баксов за тридцать, половина из которых была ценой доставки из USA.

С памятью не всё вышло гладко с первого раза. Изначально я заряжался на 64GB ECC DDR3 RDIMM 1333MHz. Покупка была второй у данного продавца и если первая прошла хорошо, во второй послыке модули памяти были разные, а пара из восьми еще и сбоила. Отправлять память назад получалось не выгодно, так что пришлось продать шесть модулей на месте чтобы хоть как-то возместить затраты.

sm2

sm1

Имея на руках систему без памяти (чисто технически у меня было 2х8GB ECC DDR3 RDIM 1600MHz, но это даже не смешно) я начал штудировать ebay. В итоге из Израиля мне приехало четыре, а потом и еще четыре модуля SAMSUNG ECC DDR3 RDIM 1600MHz объёмом шестнадцать гигабайт каждый. В сумме получилось 128GB памяти.

128

Попутно выяснилась забавная штука — Memtest86+ легаси версии (4.х) в общем не умеет обрабатывать ошибки ECC. Версия 6.х умеет, но не стартует на машинах без UEFI. Т.е. на моей материнской плате, которая имеет ну очень стандартный (на столько, что в него даже удалось зашить SLIC) AMI BIOS, прогнать мемтест с какой-то пользой не выйдет. Так что я гонял 7zip под Windows и смотрел в консоли мониторинга за ошибками. С новой памятью ошибок не было.

Основой дисковой подсистемы я планировал оставить чипсетный контроллер, но оказалось что ни в режиме DotHill, ни в режиме Adaptec, ПО гипервизора не видит во встроенном контроллере RAID. Так что, на порты интегрированного контроллера были воткнуты SATA DVD, Intel S3500 SSD (версия 1.8″ для кэша чтения), а место контроллера занял почти Adaptec 5805, о котором я писал ранее. Надо сказать, выбор контроллера оказался неудачным. С мониторингом у данной железки хуже чем у HP P400, оснастки для мониторинга через vCenter или vSphere client для ESXi свежее четвертой версии просто нет. Только remote arcconf, что не очень удобно. В остальном же, контроллер отлично справляется с RAID массивом пятого уровня на четырех накопителях объёмом 2TB.

Корпус получился на вырост — «глубокий» FullTower от Chieftec. Сетевые карты и видеокарта интегрированные, а консоль по сети (ip kvm) — вообще сказка. Так что каких-то дополнительных устройств устанавливать не пришлось. Последнее, что отделяло гипервизор от завершенного состояния — кулер.

Казалось бы, такая фигня, но найдите что-то под 115W+, при этом тихое и доступное под Socket G34 🙂 Вот и я сходу ничего не нашел. Были кулеры от Nocuta (модель Noctua NH-U9DO A3), но дорогие и с дорогой доставкой, были кулеры от Directron, на них-то я и остановился. Выбирал между Dynatron A6 и A14, в итоге послушав первый, выбрал последний. Кулер ехал дольше всех. У кулеров фирмы Directron, вернее у их термоинтерфейса, есть одна особенность. Термоинтерфейс похож на тот, что был в поздних BOXовых кулерах от Intel под платформу Socket 478. Термопаста там практически сухая и для «усадки» она должна буквально расплавиться.

Сейчас система выглядит так:

xj78aa60kp4

Аптайм, да и личные ощущения, уже позволяют говорить о том, что гипервизор состоялся. Количество процессорных ядер увеличилось в 4 раза, памяти стало больше в 8 раз. Объём стораджа увеличился не так значительно — всего в полтора раза, но короткая пятерка на трех дисках и чуть более длинная на четырех ведут себя по разному. К тому же, в новом корпусе есть возможность удвоить количество дисков без особых проблем.

Из минусов, вернее, из того что не устраивает, хотелось бы отметить лишь два момента: первый — производительность на тред всё же маловата, и даже дорогой Opteron 63xx не привнесёт в систему серьезного увеличения быстродействия, второй — система не может pci passthrough. На самом деле не очень то и хотелось, но всё же. Система может pci passthrough, достаточно лишь активировать в BIOS опцию IOMMU, описание которой слегка недостоверно.

Да, на картинке выше видно три сетевых адаптера — в системе всё-таки стоит на всякий случай PCI (не PCI-E) версия адаптера Intel PRO100/1000MT.

В заключении хотелось бы отметить что если от системы нужно максимальное количество памяти за минимальную цену, а всякие забавные плюшки типа IP KVM совсем не лишние, системы на базе G34 и даже на базе C32 вполне конкурентоспособны. В их ценовом диапазоне Intel ничего предложить не может. Но, справедливости ради стоит отметить что много памяти и хорошее управление, но при этом «дохлый» процессор, мало кому сегодня нужны.

Запись опубликована в рубрике Железки с метками , . Добавьте в закладки постоянную ссылку.

10 комментариев на «Новый гипервизор: промежуточный отчет»

  1. Lubomir говорит:

    А не проще было купить HP dl360 g7. Оптимизация под ESX, ILO3, Smart Array p410i, 4 сетевые, 18 слотов под RAM. Сейчас их много на ебеи, если хорошо поторговатся и отправить по морю то очень дешево. Минус что HDD 2.5.

    • IdeaFix говорит:

      Едва ли этот вариант проще…

      1. ilo3 как ни странно требует лицензии, а ikvm бесплатен.
      2. Самый дешевый вариант получается аккурат вдвое дороже (с доставкой) того что я купил (считаю без памяти), а покупая такую машину хочется минимум пары x5650, что еще больше поднимает цену.
      3. 2u/2socket — очень шумная система.
      4. Как Вы уже сказали, диски. Объёмные 3.5″ диски у меня уже были, а в случае с 2U корпусом пришлось бы наверное городить внешнюю полку, что в при использовании P410i потребовало бы хитрой планки в корпус или вовсе отдельного контролера.

      К тому же, машины от HP у меня уже были и дома и на работе, а вот от микры как-то не было. Интересно же 🙂

      • Lubomir говорит:

        На ILO3 полно в сети серийников. И конроллеры для внешней полки под hp dl360 тоже я думаю можна дешево найти на ебеи. Но машина действительно шумит очень. Тут как кому выгоднее. )))

  2. Jack говорит:

    Добрый вечер.
    Купил райзер карту supermicro rsc-r1uu-ue16 для 1U. Поставил видеокарту Nvidia GTS. Нашёл статью про проброс видеокарты. Захожу в Configuration-Advanced settings-DirectPath I/O(vSphere Client). А там написано, что железо не поддерживает DirectPath I/O. Вопрос: может что-нибудь в биосе надо подправить или делать образ с ESXI подготовленный с драйверами,как у Вас? Или материнка не поддерживает?

  3. Jack говорит:

    Спасибо. Почитаю. А паяльником там много паять? или пару smd резисторов припаять?

  4. Павел говорит:

    Доброго времени суток.
    Может Вы проясните вопрос по Xeon55xx на 1366 сокет?
    Платы на этот сокет в большинстве своем дорогие, за одним исключением- плата от станции Dell T3500 (чипсет X58). Однако эта плата не работает с DDR3 Reg памятью (RDIMM), хотя процессора серии Xeon55xx такую память поддерживают, контроллер памяти размещен на процессоре и вроде никак не взаимодействует с X58 напрямую. Дело в том что планки DDR3 Reg существенно дешевле обычной, нерегистровой (UDIMM) памяти, и её много на вторичном рынке. Причем судя по всему разъёмы у UDIMM и RDIMM электрически совместимы, т.к. существуют серверные платы под Xeon55xx которые могут работать как с UDIMM, так и с RDIMM.
    Потому возник вопрос к Вам, как спецу BIOS. Возможно ли, что производитель (Dell) ограничил спектр доступного для платформы типа памяти средствами BIOS, и можно ли его как-либо «поправить» модифицировав BIOS Dill? В подкрепление такой версии выяснил что конкурент Dell, Lenovo на аналогичной своей платформе (Lenovo S20 X58) заявлял поддержку регистровых модулей RDIMM (хотя это не так- пользователи не могут пользоваться регистровой памятью, о чем писали в тех поддержку).

    • IdeaFix говорит:

      1. Поддержка ECC RDIMM вроде как сильно зависит и от процессора и от разводки платы. Даже Макинтоши на этом поколении железа имели ECC UDIMM. У гигабайтов были случаи когда первая ревизия платы умела RDIMM, а вторая уже нет.
      2. Не думаю что дело в BIOS. дело в железе. К тому же, главным плюсом RDIMM перед UDIMM всё же является объём, а не цена.
      3. Только хардкор, только Xeon X56**

Добавить комментарий для Lubomir Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *