Back to overview
Downtime

Деградация кластера Nomad

Oct 01 at 07:40pm MSK
Affected services
Public API
Payments
GDPS / GhostCore
DB Panel
ParticleHub Server (Installers)

Resolved
Oct 02 at 11:12pm MSK

Решено. Через неделю после перехода на новый Nomad Workload Identity для интеграции с Consul, этот самый Identity потерялся и не смог обновиться. Проблема на стороне HashiCorp, а пока мы откатили изменения в ожидании патча.

Updated
Oct 01 at 10:05pm MSK

Вернули большую часть сервисов вручную

Updated
Oct 01 at 09:15pm MSK

Перезапуск не помог, решение проблем может занять больше времени, чем ожидалось...

Updated
Oct 01 at 08:50pm MSK

Дальнейшая деградация сервисов. Пытаемся реанимировать

Created
Oct 01 at 07:40pm MSK

Ошибки обновления маршрутов со стороны Consul. Разбираемся