Мониторинг ИИ-моделей
Обычной HTTP-проверки для ИИ-сервиса часто недостаточно: гейтвей может отдавать 200 на любой запрос, пока модель за ним недоступна, перегружена или упёрлась в лимит. Новый тип монитора ИИ-модель следит за самой моделью.
Как работает
Укажите эндпоинт — официальное API провайдера, свой гейтвей или модель, развёрнутую у вас, — и формат API: OpenAI-совместимый или Anthropic-совместимый. Без ключа Statuser проверяет доступность эндпоинта, токены не расходуются. С API-ключом он отправляет модели запрос на один токен и убеждается, что ответ действительно пришёл.
Причина — в инциденте
Закончившиеся средства на балансе провайдера, отклонённый ключ и лимит запросов показываются разными причинами — сразу понятно, где чинить. Примерный расход токенов на проверки покажет калькулятор в форме монитора.