Установка Nutanix Community Edition на гипервизор ESXi. Минимальная конфигурация и подводные камни

Update: Актуальная на 2021 год процедура установки доступна по ссылке.

Время сейчас такое, что многие работают из дома. Возможно, у кого-то появилось дополнительное время на чтение\изучение\саморазвитие. Для этого может пригодиться лаборатория, но не у всех есть значительные ресурсы для запуска систем и полноценного тестирования и иногда приходится запускаться в самой минимальной конфигурации.

В этой статье мы рассмотрим вариант установки Nutanix Community Edition (CE) на гипервизор ESXi, без SSD дисков, в виде однонодового варианта кластера, и пройдемся по всем подводным камням, которые могут возникнуть в процессе инсталляции.

В моем случае я использую старенький сервер с гипервизором ESXi 6 с единственным хранилищем, размещенным на локальных SATA дисках, без прямого подключения к сети интернет.

Естественно, ни о какой сети 10Gbe, SSD дисках речи не идет. Все это не позволит полностью раскрыть потенциал Nutanix, но мы здесь занимаемся не тестированием производительности, а изучением.

Прежде чем начать установку, просмотрим требования\ограничения к нашей будущей инсталляции.

Основные требования для к гипервизору\виртуальной машине для запуска, без которых никак:

1. 10 версия virtual hardware у виртуальной машины (на самом деле можно и меньше, но этот вариант мы не рассматриваем);
2. Включенная поддержка Intel VT-x на сервере, поскольку мы будем использовать вложенную (Nested) виртуализацию;
3. В настройках vSwitch необходимо перевести Promiscuous Mode в режим «Accept».

Основные требования к Community Edition:

1. Необходимо сменить пароль учетной записи admin;
2. Необходима учетная запись Nutanix Next, для авторизации CE;
3. Кластер должен иметь доступ в интернет по портам 80 и 8443 для передачи аварийных сообщений, статистики и пр.;
4. После выхода нового обновления, необходимо обновиться в течение 30 дней. Если обновление не будет выполнено, доступ к кластеру будет заблокирован.

Теперь рассмотрим минимально рекомендуемые характеристики CE:

1. 1 нода (Single-node Cluster). Максимум – 4;
2. 4 процессорных ядра на ноду. 2 ядра выделяются для CVM;
3. Минимум 16GB озу, рекомендовано 32 для включения всех функций CVM;
4. 500GB и выше дискового пространства для Cold Tier;
5. 200GB и выше дискового пространства SSD для Hot Tier/кэша и т.п.;
6. Загрузочное устройство на 8GB.

Я предполагаю, что вы уже зарегистрировались и скачали себе образ Nutanix CE по следующей ссылке.

Но на случай, если нет -план действий простой:

1. Регистрируемся;
2. Получаем по почте ссылку на портал next.nutanix.com, где будет ссылка для загрузки образа, а также ссылки на статьи\документацию\видео на любой вкус;
3. Получаем образ ce-2019.11.22-stable.img.gz.

Теперь к настройкам и запуску:

Скорее всего вы уже включили в BIOS вашего сервера функцию Intel VT-x, теперь, когда у нас есть загруженный образ Nutanix CE, перейдем к созданию виртуальной машины и настройке гипервизора.

В первую очередь убедимся, что на виртуальном свитче vSwitch, к которому будет подключена наша машина, выставлен Promiscuous Mode в режиме «Accept». Если нет, переводим его:

Теперь перейдем к созданию виртуальной машины. Ее характеристики следующие (в моем случае):

1. OS – Linux CentOS 4/5/6/7 64 Bit;
2. VMwersion 10 (compatible with ESXi 5.5 and later);
3. 16 vCPU;
4. 42GB Mem;
5. Disk 1 – 250GB Thin (scsi 0.0) – наш будущий “SSD”;
6. Disk 2- 500GB Thin (scsi 0.1) – наш будущий “HDD” для Cold Tier;
7. Сетевой адаптер e1000;
8. Дополнительный адаптер scsi 1.

В настройках CPU необходимо включить “Expose hardware assisted virtualization to the guest OS”.

Если эта опция отмечена серым, значит Intel VT-x не включен в настройках BIOS, либо он не поддерживается.

Мы создали виртуальную машину, теперь к ней необходимо подключить наш скачанный образ Nutanix CE.

Разархивируем ранее скачанный архив ce-2019.11.22-stable.img.gz (у вас он может отличаться в зависимости от актуальной на данный момент версии) и получаем файл ce-2019.11.22-stable.img.

Данный файл является образом диска, поэтому не стесняясь переименовываем его в ce–flat.vmdk:

Загружаем файл ce-flat.vmdk на хранилище нашего гипервизора в каталог виртуальной машины, которую мы создали ранее:

Загруженный файл flat, не представляет из себя особого интереса без файла-дескриптора vmdk. Его необходимо будет создать вручную. На эту тему есть KB VMware, но мы пройдем по всем шагам здесь, чтобы в случае необходимости не искать информацию в других местах.

Алгоритм создания файла дескриптора следующий:

1. Создается временный диск размером, как и у диска, которому необходим дескриптор;
2. В файле дескриптора временного диска указывается путь до диска, дескриптор которому необходимо создать;
3. Временный диск удаляется (файл –flat).

Подключаемся к гипервизору по SSH и переходим в datastore, содержащую нашу виртуальную машину:

# cd /vmfs/volumes/ESXi53_datastore1/vm_nutanix-ce-1/

Узнаем размер диска, для которого необходимо создать дескриптор:

# ls -l ./ce-flat.vmdk

Из полученного вывода узнаем размер нашего диска:

Создаем временный диск аналогичного размера:

# vmkfstools -c 7444889600 -d thin ./ce-temp.vmdk
Create: 100% done.

Удаляем временный диск, переименовываем файл дескриптора:

# rm ./ce-temp-flat.vmdk
# mv ./ce-temp.vmdk ./ce.vmdk

Редактируем файл дескриптора и ссылаемся на flat файл нашего образа:

# vi ./ce.vmdk

Либо меняем имя диска с временного, на название нашего flat-файла через sed:

# sed -i s/ce-temp-flat.vmdk/ce-flat.vmdk/ ./ce.vmdk

Если вы все сделали правильно, на данном этапе в каталоге с виртуальной машиной у вас должны быть файлы ce-flat.vmdk и ce.vmdk, который является дескриптором к первому файлу.

Не торопимся закрывать консоль. Для запуска CE нам необходим как минимум один диск SSD, которых у нас нет в наличии. Поэтому правим файл vmx нашей виртуальной машины. Если в вашей системе SSD присутствует, этот шаг можно пропустить.

Укажем, что наш первый диск (в моем случае 250GB) является SSD диском. Отредактируем файл виртуальной машины, добавив в него параметр scsi0:0.virtualSSD = 1:

# vi ./vm_nutanix-ce-1.vmx

На этом этапе консоль можно закрыть, с редактированием дисков и файлов мы закончили.

Теперь мы можем добавить диск с образом Nutanix CE к нашей виртуальной машине и запуститься. В свойствах виртуальной машины выбираем «Add Existing Hard Disk»:

Размещаем его на отельном scsi контроллере (1:0 в моем случае). Хотя, это и не обязательно:

Мы закончили с настройкой виртуальной машины. Следующим этапом необходимо запустить VM и в качестве загрузчика выбрать диск с Nutnaix CE (scsi 1:0). Для этого, при старте VM, нажимаем F2, переходим в настройки BIOS и редактируем параметры загрузки системы:

Порядок загрузки меняется с помощью +\- на клавиатуре.

Далее Exit > Exit Saving Changes > Yes.

Если на текущем этапе вы все сделали правильно, должен появиться загрузчик Nutnaix CE. Выбираем rescue mode:

На следующем экране консоль попросит вас ввести логин\пароль. Нам необходимо произвести еще один небольшой тюнинг перед началом процесса инсталляции.

Установочный образ тестирует наши диски на производительность (измеряет количество IOPS на чтение\запись), пытаясь определить, есть у нас в системе производительные диски, либо их нет.

Если диски выдают производительность меньше, чем указана в тестовом скрипте, инсталляция не начнется. Поэтому нам необходимо поправить скрипт:

Входим в систему пользователем root и паролем nutanix/4u и редактируем нужные параметры:

Нас интересует два параметра с говорящими именами, а именно SSD_rdIOS_thresh, SSD_wrIOPS_thresh:

Через “/” в vi можно использовать поиск. Либо, использовать sed.

Изменяем значения с 5000, например, на 5 и сохраняемся. Теперь скрипт должен пропустить нашу бюджетную лабораторию.

Выходим из сессии пользователя root:

# exit

На этом моменте я вам рекомендую выключить виртуальную машину и сделать ее клон\шаблон, чтобы в дальнейшем, если вы захотите развернуть кластер из 3-4 нод, у вас уже был готовый образ ноды и вы не тратили время.

Запускаем процесс инсталляции Nutanix CE. Для этого входим в систему пользователем install без пароля:

Запустится установочный скрипт, который опросит наши диски, а затем запустит проверку их производительности:

Если все тесты прошли успешно, а они должны пройти, загрузится следующее окно, в котором необходимо указать параметры нашей ноды. Мы используем Single-Node Cluster, поэтому обязательно отмечаем это:

Итак, мы указали адресацию нашего будущего гипервизора AHV, а также адресацию CVM и DNS сервер. Не забыли указать, что это Single-Node Cluster.

Ознакомимся с лицензионным соглашением, соглашаемся и начинаем установку нажатием enter по пункту меню «Start».

Далее на экран будет выводиться много информации касательно процесса установки. В первую очередь инсталлируется гипервизор AHV, после чего на нем создается и запускается виртуальная машина CVM, которая автоматически генерирует кластер, состоящий из одной ноды.

Данный процесс достаточно длительный, поскольку выполняются процедуры создания кластера.

Дожидаемся сообщения об успешной установке кластера:

Теперь нам необходимо зарегистрировать наш кластер. Но сделать это можно только при наличии доступа кластера в интернет.

Как я написал в самом начале, доступ в интернет у меня имеется только через прокси сервер, поэтому добавим его в настройки кластера.

Если у вас уже имеется подключение к интернету. Этот шаг можно пропустить.

Подключаемся к адресу, указанному ранее для CVM по SSH пользователем nutanix с паролем nutanix/4u и применяем настройки прокси для кластера:

nutanix@NTNX-abefb470-A-CVM:192.168.1.11:~$ ncli http-proxy add name=work address=192.168.1.6 port=3128 proxy-types=http,https

Дело за малым. Осталось зарегистрировать кластер и начать использование. Для этого переходим браузером в Prism Element по адресу нашей CVM, https://192.168.1.11:9440

Login: admin

Password: nutanix/4u

При первом входе, нас сразу же попросят сменить пароль пользователя, как было указано в начале:

Далее необходимо указать данные нашего NEXT аккаунта, который был создан ранее для регистрации кластера. В случае ошибок на данном этапе необходимо проверить работу DNS, интернета, а также корректности учетных данных:

Ваш Single-Node кластер готов. Поздравляю!

А что, если я хочу создать кластер из 3-4 нод? Ничего сложного, но уже без скриншотов:

1. Вы же сделали клон машины, как я советовал ранее? Если нет, создаете 3-4 машины, добавляете диски, правите файлы дескрипторов, параметры SSD;
2. На каждой машине запускаете процесс инсталляции Nutanix CE, но не указываете, что это single-node cluster. Данная процедура подготовит хосты и CVM, но не будет создавать кластер;
3. Когда версия Community Edition установлена на виртуальные машины, подключаемся к первой\последней\средней CVM на ваше усмотрение и создаем кластер вручную:

cluster –s 192.168.1.11,192.168.1.13,192.168.1.15 create (через запятую указываются адреса CVM)

Далее, когда кластер будет создан, так же настраивается доступ к proxy, подключение к Prism Element и регистрация кластера.

В качестве заключения:

Мне очень нравится, когда вендоры предоставляют доступ к виртуальным образам своих продуктов, которые можно полноценно проверять, изучать и тестировать. Спасибо Nutanix, что не остались в стороне.

Надеюсь, что данная статья поможет вам развернуть свою лабораторию для экспериментов без особых проблем. Я постарался описать все подводные камни, которые могли встретиться.

Изучайте новые технологии и, по крайней мере пока, делайте это из дома.