Quick fix: VMware. Some of the disks of the virtual machine failed to load.

Столкнулся с данной проблемой у одной из запущенных VM под управлением VMware ESXi, 7.0.3, 20328353.

Симптомы:

1. VM запущена и работает. Жалоб от пользователей не поступает;

2. При попытке выполнить vMotion появлется ошибка:

The object or item referred to could not be found.

3. Далее в hostd.log можно увидеть записи следующего характера:

Failed to find file size for /vmfs/volumes/.../VM_NAME.nvram: No such file or directory

4. В vCenter UI статус виртуальной машины отображает следующее:

Some of the disks of the virtual machine VM_NAME failed to load. The information present for them in the virtual machine configuration may be incomple

5. На уровне хранения нет никаких проблем. Все файлы виртуальной машины находятся на datastore;

6. С другими виртуальными машинами на том же хосте\хранилище проблем нет;

7. Рекоммендации по типу “Rescan Datastore” не работают.

Решение.

Прежде, чем продолжить, убедитесь что есть резервная копия.

В моем случае решение было достаточно простым, но потребовало остановки VM:

  1. Останавливаем виртуальную машину;
  2. После этого VM будет отображаться как inaccessible;
  3. Удаляем машину из vCenter inventory;
  4. Переходим в datastore, находим виртуальную машину и файл vmx;
  5. Выделяем файл, клик по Register VM;
  6. После того, как машина вновь появилась в Inventory, включаем.

После включения машины никаких дальнейших проблем возникнуть не должно.

Loading

Вышло обновление VMware ESXi 8.0 Update 2b

Вышло обновление VMware ESXi 8.0 Update 2b, содержащее множество исправлений. Одним из которых я хочу упомянуть – баг в CBT:

Changed Block Tracking (CBT) might not work as expected on a hot extended virtual disk:

In vSphere 8.0 Update 2, to optimize the open and close process of virtual disks during hot extension, the disk remains open during hot extend operations. Due to this change, incremental backup of virtual disks with CBT enabled might be incomplete, because the CBT in-memory bitmap does not resize, and CBT cannot record the changes to the extended disk block. As a result, when you try to restore a VM from an incremental backup of virtual disks with CBT, the VM might fail to start.

В качестве обходного пути сейчас существует два решения: не использовать горячее расширение дисков и выполнять операции расширения, когда виртуальная машина выключена, либо периодически создавать полные резервные копии VM для сброса CBT.

Если вы используете ESXi версии 8.0 Update 2, следует рассмотреть возможность обновления до 8.0 Update 2b.

С Release Notes можно ознакомиться здесь.

Loading

Вышел vCenter Conver Standalone 6.4.0

Хорошие новости – для загрузки доступен vCenter Converter 6.4.0 с рядом очень приятных новшеств, основным из которых я бы отметил возможность конвертации систем в кластера под управлением vSphere 8, чего не было в предыдущей версии 6.3.0, вышедшей в октябре прошлого года.

С полным списком изменений можно ознакомиться по ссылке.

С документацией, основными возможностями и ограничениями можно ознакомиться здесь.

Loading

Как разворачивать Nutanix Community Edition 2.0 на VMware vSphere 8 в 2023 году?

Не так давно вышел релиз Nutanix Community Edition 2.0 (CE 2.0), который основан на базе Nutanix AOS 6.5 – самой актуальной LTS версии на момент написания статьи.

Далее мы внимательно посмотрим на процедуру развертывания кластера Nutanix CE 2.0 из трех узлов в инфраструктуре VMware vSphere 8.

Continue reading “Как разворачивать Nutanix Community Edition 2.0 на VMware vSphere 8 в 2023 году?”

Loading

При развертывании кластера Nutanix CE 2.0 на VMware vSphere, не запускается служба Medusa

С выходом Nutanix Community Edition 2.0 на форумах стал часто появляться один и тот же вопрос – при попытке сформировать кластер из 3-4 узлов, которые развернуты в виде виртуальных машин на VMware vSphere, кластер не собирается и «висит» на попытке запуска службы Medusa на двух узлах. При этом на одном из узлов служба запущена.

Иногда можно встретить ошибку следующего характера (особенно, если попытаться остановить\запустить кластер вручную):

Medusa ERROR: Cassandra gossip failed

Далее детальнее про проблему и ее решение.

Continue reading “При развертывании кластера Nutanix CE 2.0 на VMware vSphere, не запускается служба Medusa”

Loading

VMware vCenter Converter 6.3 и конвертация в vSphere 8

Не смотря на то, что новый vCenter Converter вышел примерно в одно и то же время, что и vSphere 8, поддержки новой версии vSphere в нем не оказалось и я столкнулся со следующей ошибкой при попытке конвертации:

FAILED: A specified parameter was not correct: ticketType

Однако, на форуме VMware выложили хороший пример, как все-таки можно сделать конвертацию в vSphere 8.

Далее детальное описание данной процедуры.

Continue reading “VMware vCenter Converter 6.3 и конвертация в vSphere 8”

Loading

ESXi 7 и зависший vmsyslog

Столкнулся с ситуацией, при которой ESXi 7 Update 3g (build 20328353) перестал отправлять логи на удаленный Syslog сервер, а при дальнейшем разбирательстве выяснилось, что локально логи он так же перестал писать и в /scratch/log журналы не обновляются. Место на диске есть.

В ходе диагностики были зафиксированы ошибки в журнале /var/log/.vmsyslogd.err следующего характера:

vmsyslog.main            : CRITICAL] Dropping messages due to log stress (qsize = 25000)

Адекватных KB по версии 7 на данную тематику я не нашел, была только KB по версии 6.5/6.7 с упоминанием данной ошибки, где было написано, что «проблема устранена».

Команда esxcli system syslog config get корректно выдает статус настроек, а esxcli system syslog reload к каким-то положительным результатам не приводит, логи локально писаться не начинают и, тем более, не отправляются на удаленный сервер.

Перезапуск службы из интерфейса управления хоста кнопкой Restart так же не приводит к каким-либо результатам. В логе можно увидеть только:

vmsyslog.main            : ERROR   ] reloading (3200395)

Что аналогично результату работы esxcli system syslog reload.

Остановить службу и запустить заново из интерфейса ESXi не удается, поскольку:

This service with 'vmsyslogd' is marked as 'required' and cannot be stopped.

Остается применить грубую силу и остановить его принудительно напрямую с хоста:

ps -cC | grep vmsyslog
3418096  3418096  vmsyslogd             /bin/python /usr/lib/vmware/vmsyslog/bin/vmsyslogd.pyc 1

Определяем PID vmsyslog, в данном случае 3418096 и убиваем его:

kill -9 3418096

В логе vmsyslog будет видно, что процесс был убит, а затем автоматически перезапущен:

vmsyslog.main            : ERROR   ] Watchdog 3418095 fired (child 3418096 died with status 9)!
vmsyslog.main            : ERROR   ] Watchdog 3418095 exiting
vmsyslog                 : CRITICAL] vmsyslogd daemon starting (3418940)

После перезапуска логи вновь начинают писаться локально и отправляться на удаленный сервер.

Loading

Пара документов от Nutanix и VMware для прочтения, вышедших в декабре 2022

В Nutanix выпустили документ, который невозможно обойти вниманием –AOS 6.5 with AHV On-Premises Design или же просто Nutanix Validated Design. Сам по себе он является примером дизайна виртуальной инфраструктуры на базе Nutanix и будет полезен не только архитекторам, занимающимся дизайном решений, но и инженерам. Основой для документа является документ Nutanix Hybrid Cloud Reference Architecture и с ним рекомендуется ознакомиться в первую очередь.

Кстати говоря, ориентироваться на данный документ можно при подготовке к экзаменам NCX и NPX, поскольку он затрагивает большую часть тем, если не все темы, которые необходимо включить в свой экзаменационный проект.

В VMware выпустили обновленный и многим известный документ Performance Best Practices for VMware vSphere 8.0 и, как можно догадаться из названия, обновлен он под не так давно вышедшую 8-ю версию VMware vSphere.

В документе содержится большое количество рекомендаций и хороших практик по практически всем аспектам виртуальной инфраструктуры. Настоятельно рекомендую к прочтению и последующему применению в работе.

Я же скоромно напомню, что в моем блоге есть «авторский перевод» данного документа по версии 7.

Loading

Состоялся релиз VMware vSphere 8.0

Буквально вчера vSphere 8.0 перешла в статус Initial Availability, а образы уже доступны для загрузки на соответствующем портале.

Для тех, кто не в курсе, VMware анонсировали новую модель релизов и теперь перед General Availability (GA) нас ожидает этап Initial Availability (IA).
К Initial Availability релизам применяются те же тесты и требование к качеству, что и к General Availability релизам, они так же «Production Ready» и сертифицированы партнерами. Ожидать GA релиз после выхода IA релиза можно в течение пары месяцев, после того как второй получит определенную долю распространения среди заказчиков.

Изменений и нового функционала в vSphere 8.0 много. Подробнее можно почитать здесь:
VMware vSphere 8.0;
VMware vSphere with Tanzu 8.0;
VMware vSAN 8.0;
VMware Host Client 2.5.0.

Так же, хоть и не относится к vSphere 8.0, состоялся релиз vCenter Converter 6.3, который еще совсем недавно был в статусе Beta.
Старый конвертер уже достаточно давно нельзя скачать, и вот, вышел новый. Список поддерживаемых систем как вырос, так и уменьшился одновременно. Теперь поддерживаются свежие системы, например, Windows Server 2019 и Windows 11, и в то же время перестали поддерживаться системы ниже Windows Server 2012, RHEL/CentOS 6 и Ubuntu 14.
Не факт, что конвертер не будет работать со старыми системами, но в списке поддерживаемых их нет.

Loading

Обновление гипервизоров VMware ESXi 7 с помощью Singe Cluster Image

С появлением Lifecycle Manager в vSphere 7, к привычным обновлениям с помощью настройки baselines был добавлен новый функционал, позволяющий управлять обновлениями с помощью формирования единого образа ESXi для всех узлов кластера.

После настройки образа, все узлы в кластере проверяются на соответствие, а затем обновляются, становясь полностью идентичными.

О том, как настроить образ и обновить кластер – под катом.

Continue reading “Обновление гипервизоров VMware ESXi 7 с помощью Singe Cluster Image”

Loading