Неожиданно перестало пускать в VCenter - ошибка 503, введите имя пользователя и пароль, не стартуют службы vmware-vpxd и vmware-vpxd-svc

Недавно столкнулся с ситуацией, что перестал работать VCenter (в моём случае версия 6.5 – VCSA, но подобное может быть с любой версией не зависимо от платформы).

При попытке зайти как под доменной учёткой, так и под локальным админом – не проходила проверка подлинности – постоянно писало – сперва, что неправильные имя пользователя или пароль, а затем и вовсе, что требуется ввести имя пользователя и пароль, хотя они само собой были введены.

После попытки перезагрузить сервер или все службы командами service-control --stop --all и service-control --start --all добрая половина служб не запускалась, при этом на главной странице vcenter – выскакивала ошибка 503

При переходе по адресу vcenter/ui – появлялась ошибка

[400] An error occurred while sending an authentication request to the vCenter Single Sign-On server. An error occurred when processing the metadata during vCenter Single Sign-on setup – null.

В моём случае проблема оказалась в протухшем STS сертификате. Далее я пишу для своего случая, именно для VCSA, если у вас vCenter на винде, то читайте KBшки, ссылки на которые указаны, там есть описания, что делать для виндовых случаев.

Чтобы посмотреть срок действия STS сертификатов нужно скачать ]]>скрипт из KB VMWare]]>. На всякий случай ]]>скопировал его]]>.

Скачать можно при помощи wget, ну или закинуть на сервере через WinSCP, ну или просто скопировать текст скрипта и вставить в файл на сервере.

Запускается он командой:

python checksts.py

После выполнения будут отображены действительные и просроченные STS сертификаты. Если найдется просроченный сертификат, то внизу будет подсказка ]]>на какую KB стоит посмотреть]]>.

В этой KB ]]>имеется скрипт]]>, на всякий случай – ]]>копия]]>, для обновления просроченных STS сертификатов, конечно как водится, перед запуском чего-бы то ни было – рекомендуется сделать бэкапы, снапшоты и т.д и т.п. Также обратите внимание, что если у вас в одном SSO домене находится несколько vCenter серверов – то запускать скрипт нужно только на одном.

В общем качаем скрипт, делаем его исполняемым и запускаем:

chmod +x fixsts.sh
./fixsts.sh

Если всё пройдет без ошибок – можно пробовать перезапустить все службы:

service-control --stop --all
service-control --start --all

Если окажется, что есть еще какие-нибудь протухшие сертификаты, то службы всё равно могут не стартануть. Найти все просроченные сертификаты поможет команда:

for i in $(/usr/lib/vmware-vmafd/bin/vecs-cli store list); \
do echo STORE $i; \
/usr/lib/vmware-vmafd/bin/vecs-cli entry list --store $i --text | \
egrep "Alias|Not After"; done

Соответственно нужно будет такие сертификаты обновить и снова попробовать перезапустить все службы. Либо, можно пойти простым и топорным путём, и перевыпустить вообще все сертификаты:

/usr/lib/vmware-vmca/bin/certificate-manager

Тут нужно будет выбрать 8й пункт, и далее следовать инструкциям на экране. Но используйте эту команду на свой страх и риск, если используются сторонние сервисы/плагины/кастомизированные шаблоны то это дело скорее всего нужно будет перенастраивать.

После описанных выше действий у меня vCenter починился, и работает нормально. Вообще какое-то странное решение у VMWare с этим ультраважным сертификатом. Возникает вопрос – почему нельзя было сделать, что б он автоматически перевыпускался, когда походит к концу срок его действия?