Как мы проверяем

Несколько свидетелей, один ответ

По каждому сервису мы собираем до четырёх независимых сигналов. Тревогу может поднять любой из них, а итог определяет самый серьёзный из тех, что ещё свежие. Источник, который замолчал или устарел, мы не учитываем, а не принимаем на веру.

Тестовые запросы, которые шлём мы сами

Если у нас есть доступ к API, небольшой робот раз в одну-две минуты отправляет крошечный потоковый запрос прямо в API вендора и засекает, как быстро приходит первый токен. Неудачную попытку он повторяет ещё дважды с паузой в двадцать секунд — только после этого она засчитывается. Ответы «превышен лимит» и ошибки в нашей собственной настройке выбрасываются, чтобы здоровый сервис не выглядел сломанным.

• Не работает три последние проверки подряд неудачны
• Частично лежит неудачна половина проверок за последние десять минут или больше
• Сбоит неудачна хотя бы каждая пятая проверка, либо первый токен приходит дольше 3 секунд и втрое медленнее медианы за сутки

Статус-страница самого вендора

Официальные статус-страницы мы читаем каждую минуту и смотрим только на то, что относится к нужному сервису: для ChatGPT — на компоненты ChatGPT, а не на всё хозяйство OpenAI. Если страница не обновлялась пятнадцать минут, мы её игнорируем: зависшая статус-страница не должна держать сервис ни зелёным, ни красным.

Живой трафик через OpenRouter

OpenRouter публикует, какая доля запросов проходит успешно у каждой модели у каждого провайдера. Мы смотрим на модели вендора на его собственных эндпоинтах. Если хотя бы две из них, и при этом не меньше половины, опускаются ниже 80% успешных за 30 минут и одновременно на десять пунктов ниже своего суточного уровня, сервис получает статус «сбоит»; если в среднем ниже 50% — «частично лежит».

Если в один момент проседают три вендора и больше, общий знаменатель — сам OpenRouter, и этот сигнал откладываем для всех.

Люди, которые нажимают кнопку

На странице каждого сервиса есть кнопка «У меня не работает». Десять и больше жалоб за пятнадцать минут, да ещё вчетверо чаще обычного для этого сервиса, переводят его в «сбоит». Одни только жалобы никогда не сделают статус «не работает», а каждого посетителя мы учитываем не чаще раза в полчаса на сервис и с потолком в час.

Как отсекаем ложные тревоги

Вердикт пересчитывается каждые 30 секунд. Чтобы вернуться в «работает», сервис должен продержаться без проблем три минуты подряд — иначе API, который мигает между «хорошо» и «плохо», мигал бы и здесь.

Как читать цветные полоски

Полоса за сутки — это 48 получасовых столбиков, полоса за 30 дней — по столбику на день. Цвет столбика — худшее состояние за его период. Серый значит, что данных тогда не было, а не что всё было хорошо.

Чего мы не видим

Наши роботы работают из дата-центра в Европе, поэтому сбой в одной стране, у одного мобильного оператора или в одном офисе может до нас не дойти. Лимитов и оплаты вашего аккаунта мы не видим. А у некоторых сервисов, например Midjourney, нет ни открытого API, ни статус-страницы — там мы опираемся только на жалобы.

Откуда берутся цифры

isAIlive — родственный проект llmlive.ai, который и ведёт мониторинг; оба сайта читают одни и те же измерения. Здесь показано только одно — работает ли прямо сейчас нужный вам инструмент.

llmlive.ai →

Что значат статусы

• Работает Ни один источник не видит проблем.
• Техработы Вендор объявил плановые работы.
• Сбоит Ошибки или замедление, но большинство запросов проходит.
• Частично лежит Не проходит большая доля запросов или отказала целая функция.
• Не работает У большинства сервис не работает.
• Нет данных Ни от одного источника нет свежих данных.