Недоступность Widgets API

Сегодня c 11:00 до 20:00 по Москве наблюдалась частичная недоступность Widgets API. Мы не смогли быстро локализовать причину проблемы, поэтому использовали неправильные способы ее решения 😔.

Причиной оказался неэффективный запрос в индекс c отзывами в поисковом сервере Elasticsearch. Этот запрос стал причиной целого каскада проблем:

1. Большой трафик в локальной сети м/у физическими серверами забивал сеть (200mb/s на порт), поэтому некоторые сервисы переставали видеть друг друга (внутренний DNS сервер иногда не отвечал)
2. Утечка памяти в веб-воркерах, которые отправляли соответствующие запросы в поисковый сервер, приводила к увеличению нагрузки на CPU и локальный диск (своп).

Мы пропустили этот медленный запрос, т.к slowlog для данного индекса был отключен (считали, что это влияет на время запросов).

В данный момент медленные запросы временно выключены и работа всех сервисов восстановлена.

Что мы постараемся сделать в ближайшее время:

1. Включим логгирование медленных запросов.
2. Оптимизируем данный неэффективный запрос.

Приносим извинения за доставленные неудобства.