Не так давно вышел релиз Nutanix Community Edition 2.0 (CE 2.0), который основан на базе Nutanix AOS 6.5 – самой актуальной LTS версии на момент написания статьи.
Далее мы внимательно посмотрим на процедуру развертывания кластера Nutanix CE 2.0 из трех узлов в инфраструктуре VMware vSphere 8.
До того, как мы приступим к развертыванию и настройке, давайте посмотрим на основные существующие требования и ограничения.
Процессор:
Процессоры с поддержкой Intel VT-x, либо процессоры семейства AMD с архитектурой Zen Micro и выше.
Минимальный процессор должен иметь 4 ядра, из которых 2 выделяется CVM.
ОЗУ:
Минимум 20GB. Но, чем больше функционала и виртуальных машин планируется использовать – тем больше ОЗУ может потребоваться. Для использования большинства функций AOS рекомендуется 32GB и выше.
Жесткие диски:
Максимальное количество – 4 HDD/SSD на узел, но отмечается, что некоторые пользователи сообщали об успешном использовании и большего количества дисков.
Cold Tier – 500GB и выше;
Hot Tier – 200GB и выше – SSD.
Так же необходим отдельный диск объемом от 32GB на который будет установлен гипервизор. Это может быть, как USB, так и SATA DOM, M.2 SSD и т.п.
Рекомендуются надежные диски, способные выдерживать интенсивные нагрузки.
Кластер:
Кластер может состоять из 1 узла (Single-Node), а также из 3 или 4 узлов. Максимальный размер кластера – 4 узла.
Обратите внимание, что, если на этапе инсталляции был выбран Single-Node кластер, расширить его в дальнейшем до трех узлов не получится.
Гипервизор ESXi официально не поддерживается.
Прочие требования:
1. Пароль администратора обязательно должен быть изменен при первом входе в Prism;
2. При первом входе в Prism необходимо будет указать аккаунт с ранее пройденной регистрацией в .NEXT (об этом далее);
3. Должны быть открыты исходящие порты 80 и 8443 для работы Pulse, который отправляет статистику в Nutanix, такую как возникающие в кластере ошибки, и статику использования.
Когда мы разобрались с требованиями приступим к установке.
В первую очередь необходимо зарегистрироваться по ссылке и создать учетную запись.
Далее, на портале Next Nutanix, скачиваем ISO файл phoenix-ce2.0-fraser-6.5.2-stable-fnd-5.3.4-x86_64.iso, содержащий установочные файлы CE 2.0.
Когда все установочные файлы загружены. Можно заняться подготовкой виртуальной инфраструктуры и машин.
Прежде всего, необходимо заранее определиться с сетью и IP-адресацией. Для развертывания кластера из 3 узлов, минимально необходимое количество адресов – 7.
3 адреса будут задействованы под гипервизор AHV;
3 адреса будут задействованы для CVM;
1 адрес для Cluster IP.
Так же заранее стоит позаботиться об IP адресах для Data Services IP и для Prism Central, если планируется использовать в дальнейшем.
В виртуальной инфраструктуре первым шагом необходимо создать сеть, к которой будут подключены виртуальные машины Nutanix CE 2.0. Основной момент, которому нужно уделить внимание – это перевод Promiscuous mode, Mac address changes и Forged transmits в режим Accept:
Сеть может быть создана как на стандартном свитче, так и на распределенном. В моем примере используется распределенный свитч.
Далее займемся подготовкой трех виртуальных машин. Я не буду описывать весь процесс создания VM, но заострю внимание на некоторых важных моментах.
В качестве Guest OS я выбираю Linux – CentOS 7 (64-Bit):
На этапе Customize hardware, выделяем необходимое количество процессорных ресурсов и оперативной памяти. Не забываем выбрать нужную сеть.
А также добавляем 3 диска:
В моем случае Hard Disk 1 – для установки гипервизора;
Hard Disk 2 – Hot Tier (быстрое хранилище);
Hard Disk 3 – Cold Tier (медленное хранилище).
Разворачиваем вкладку CPU и включаем Hardware virtualization – Expose hardware assisted virtualization to the guest OS:
Перемещаемся из вкладки Virtual Hardware на вкладку Advanced Parameters и добавляем параметр disk.EnableUUID = TRUE:
Итоговый результат добавленного параметра выглядит следующим образом:
Необходимость в данном параметре я описал в статье вышедшей ранее.
На этом процесс подготовки виртуальной машины закончен. В итоге должно получиться 3 одинаково сконфигурированных VM:
Запускаем виртуальные машины, подключаем скачанный ранее ISO файл, после чего ожидаемо должен загрузиться установщик Nutanix CE:
На первом этапе установки необходимо обратить внимание на следующие моменты:
У дисков должно корректно отображается поле Serial. Если это не так, следует убедиться в наличии параметра disk.EnableUUID в значении True у VM.
Так же напротив дисков можно увидеть метки H, C, D.
H – диск, на который будет установлен гипервизор;
C – диск для CVM, Hot Tier, обычно более быстрый;
D – диск для данных.
Изначально наиболее объемный выбирается для CVM. Изменить это достаточно просто. С помощью кнопки Tab можно переместиться в раздел дисков и клавишами h, c, d выбрать нужные диски.
Так же с помощью Tab перемещаемся ниже и задаем IP адреса AHV, CVM:
Таким образом в примере выше я выбрал диск на 214GB для CVM (Буква C в поле Use) и диск на 429GB для Extent Store (Буква D, соответственно). Так же я задал IP адреса гипервизора и CVM, маску и шлюз. Обратите внимание, что гипервизор и CVM должны располагаться в одной сети.
Поскольку мы создаем кластер из трех узлов, отметку «Create single-node cluster?» ставить не нужно.
Переходим на следующий экран, где нужно ознакомиться с лицензионным соглашением и принять его:
По нажатию на Start начнется инсталляция, однако, если лицензионное сообщение не было дочитано до конца, можно встретить соответствующую ошибку:
По нажатию enter, мы вернемся на шаг назад и ознакомимся с лицензионным соглашением до конца:
Теперь процедура установки будет запущена:
Дожидаемся окончания, отключаем ISO образ и нажимаем «Y» для перезагрузки узла:
Аналогичным образом, устанавливаются два оставшихся сервера. Как итоговый результат работы, мы должны получить 3 сервера с установленным гипервизором Nutanix AHV и работающими на них CVM.
И AHV и CVM должны отвечать на ping, если они не отвечают, следует проверить корректность настройки сети в виртуальном свитче, а так же состояние CVM на хосте.
Сделать это можно подключившись к гипервизору с учетными данными root / nutanix/4u, а затем проверить запущенные виртуальные машины с помощью команды virsh list:
Ожидается, что на каждом из трех узлов должна работать одна виртуальная машина CVM.
При необходимости дальнейшего траблшутинга, можно подключиться к CVM непосредственно с гипервизора по SSH:
ssh nutanix@192.168.5.254Пароль в данном случае аналогичный – nutanix/4u.
Создание и конфигурация кластера.
После того, как все виртуальные машины готовы, установка CE 2.0 проведена, а гипервизоры и CVM доступны из сети. Можно приступить к конфигурации кластера.
Выполнить конфигурацию кластера можно подключившись к любой из CVM по SSH. Логин: nutanix, пароль: nutanix/4u
Запустим процедуру создания кластера:
nutanix@CVM:~$ cluster -s 192.168.22.214,192.168.22.215,192.168.22.216 createЧерез запятую указываются IP-адреса CVM, которые должны стать членами кластера.
Дожидаемся окончания процедуры формирования кластера и запуска сервисов. Как результат должно быть выведено что-то похожее на:
INFO cluster:2875 Success!Проверим статус кластера командой cluster status:
CVM: 192.168.22.214 Up
Zeus UP [12963, 13052, 13053, 13123, 13139, 13157]
Scavenger UP [15569, 15671, 15672, 15673]
Xmount UP [15566, 15641, 15642, 15822]
SysStatCollector UP [19469, 19547, 19548, 19549]
IkatProxy UP [20154, 20223, 20224, 20225]
IkatControlPlane UP [20443, 20515, 20516, 20517]
SSLTerminator UP [20463, 20571, 20572]
SecureFileSync UP [20484, 20621, 20622, 20623]
Medusa UP [20879, 20994, 20995, 21014, 21261]
DynamicRingChanger UP [21518, 21576, 21577, 21589]
Pithos UP [21540, 21669, 21670, 21680]
InsightsDB UP [21599, 21821, 21822, 21913]
Athena UP [21672, 21998, 21999, 22000]
Mercury UP [30468, 30532, 30533, 30539]
Mantle UP [22134, 22355, 22356, 22366]
VipMonitor UP [24211, 24212, 24213, 24214, 24219]
Stargate UP [22651, 22699, 22700, 22711, 22712]
InsightsDataTransfer UP [22937, 23046, 23047, 23050, 23051, 23052, 23053, 23054, 23055]
Ergon UP [22971, 23184, 23185, 23758]
GoErgon UP [22996, 23213, 23214, 23237]
Cerebro UP [23267, 23405, 23406, 23490]
Chronos UP [23328, 23471, 23472, 23476]
Curator UP [23424, 23582, 23583, 23626]
Prism UP [23616, 23839, 23840, 23856]
Hera UP [23722, 23991, 23992, 23993]
CIM UP [23802, 24074, 24075, 24077, 24088]
AlertManager UP [24034, 24580, 24581, 24613]
Arithmos UP [24471, 24825, 24826, 24849]
Catalog UP [24952, 25180, 25181, 25182, 25193]
Acropolis UP [25403, 25531, 25532, 29238]
Uhura UP [25450, 25589, 25590, 28171]
NutanixGuestTools UP [25546, 25670, 25671, 25677, 25694]
MinervaCVM UP [26988, 27090, 27091, 27092, 27276]
ClusterConfig UP [27009, 27184, 27185, 27186]
APLOSEngine UP [27094, 27245, 27246, 27247]
APLOS UP [28337, 28447, 28448, 28450]
PlacementSolver UP [28381, 28524, 28525, 28526]
Lazan UP [28486, 28674, 28675, 28676]
Polaris UP [28565, 28845, 28846, 28876]
Delphi UP [28729, 28975, 28976, 28977]
Security UP [28981, 29352, 29353, 29354]
Flow UP [29435, 29585, 29586, 29587]
Anduril UP [29503, 29634, 29635, 29636]
XTrim UP [29650, 29713, 29714, 29715]
ClusterHealth UP [27149, 27173, 27174, 27510, 27531, 27532, 27533, 27535, 27536, 27537, 27544, 27546, 27554, 27558, 27564, 27586, 27597, 27660, 27663, 29670, 29801, 29861, 29862, 29864, 29867, 29957, 29958, 29959, 29961, 29962, 29963, 29964, 29968, 29969, 29970, 29973, 29974, 29975, 30111, 30112, 30113, 30114, 30116, 30117]
Успешным результатом будет сообщение о том, что на всех CVM работают все службы.
Если не все службы запущены, попытаться запустить их можно командой cluster start.
Когда кластер создан, выполним некоторые базовые настройки.
Зададим название кластера:
nutanix@CVM:~$ ncli cluster edit-params new-name=ntnx-ce20
Cluster Name : ntnx-ce20Добавим свой DNS сервер:
nutanix@CVM:~$ ncli cluster add-to-name-servers servers="192.168.22.201"
Name Servers : 192.168.22.201, 8.8.8.8, 8.8.4.4Добавим NTP сервера:
nutanix@CVM:~$ ncli cluster add-to-ntp-servers servers="192.168.23.3,192.168.23.4,192.168.23.5"
NTP Servers : 1.pool.ntp.org, 0.pool.ntp.org, 192.168.23.3, 192.168.23.4, 192.168.23.5Как можно заметить, в списке присутствуют внешние NTP-пулы, которые я хотел бы удалить:
nutanix@CVM:~$ ncli cluster remove-from-ntp-servers servers="1.pool.ntp.org,0.pool.ntp.org"
NTP Servers : 192.168.23.3, 192.168.23.4, 192.168.23.5Зададим часовой пояс:
nutanix@CVM:~$ ncli cluster set-timezone timezone=Asia/Almaty
Daily/weekly/monthly DR schedules are impacted by cluster timezone change. Please remove existing daily/weekly/monthly DR schedules before proceeding and reconfigure those schedules later to follow the new timezone. Do you want to continue.(y/N)?: y
Please reboot the CVM or restart all services on the cluster so that logs are timestamped with the new Timezone.
Timezone : Asia/AlmatyПоскольку выход в интернет в данном случае необходим, но прямого доступа нет, я добавлю прокси:
nutanix@CVM:~$ ncli http-proxy add name=vmik-proxy address=192.168.22.201 port=3128 proxy-types=http,https
Status : trueПоследним шагом задаем Cluster IP, по которому будет доступен Web-интерфейс Prism Element:
nutanix@CVM:~$ ncli cluster set-external-ip-address external-ip-address="192.168.22.210"
External IP address : 192.168.22.210На этом конфигурация кластера завершена. Открываем веб браузер и переходим по ранее заданному Cluster IP адресу, указав порт 9440. Например, https://192.168.22.210:9440
Добро пожаловать в интерфейс Prism Element:
Авторизуемся учетной записью admin с паролем nutanix/4u, после чего будет предложено сменить пароль:
Авторизуемся с новым паролем. Теперь от нас потребуется указать учетную запись .NEXT, которую мы использовали ранее при процедуре регистрации:
Если учетные данные указаны правильно и в кластере присутствует доступ в интернет, все должно быть в порядке:
Кластер Nutanix CE 2.0 из трех узлов готов к использованию:
