Статусы сервисов

Недоступность Widgets API

Закрыт
Widgets API
Перебои в работе

Сегодня c 11:00 до 20:00 по Москве наблюдалась частичная недоступность Widgets API. Мы не смогли быстро локализовать причину проблемы, поэтому использовали неправильные способы ее решения 😔.


Причиной оказался неэффективный запрос в индекс c отзывами в поисковом сервере Elasticsearch. Этот запрос стал причиной целого каскада проблем:

  1. Большой трафик в локальной сети м/у физическими серверами забивал сеть (200mb/s на порт), поэтому некоторые сервисы переставали видеть друг друга (внутренний DNS сервер иногда не отвечал)
  2. Утечка памяти в веб-воркерах, которые отправляли соответствующие запросы в поисковый сервер, приводила к увеличению нагрузки на CPU и локальный диск (своп).

Мы пропустили этот медленный запрос, т.к slowlog для данного индекса был отключен (считали, что это влияет на время запросов).


В данный момент медленные запросы временно выключены и работа всех сервисов восстановлена.


Что мы постараемся сделать в ближайшее время:

  1. Включим логгирование медленных запросов.
  2. Оптимизируем данный неэффективный запрос.

Приносим извинения за доставленные неудобства.