Groq
Groq предоставляет API размещённых языковых и речевых моделей. Разработчики используют SDK или интерфейс, совместимый с OpenAI, без обслуживания инфраструктуры исполнения. Проверяйте текущий каталог вместо старого списка моделей. В нём есть модели для продакшена, предварительные версии и модели только по корпоративному договору.
Небольшой процесс транскрибации
Выберите поддерживаемую модель распознавания и отправьте короткую запись с указанием языка и формата ответа. Сравните текст с аудио, особенно имена и специальные термины. Затем передайте проверенную расшифровку языковой модели для резюме или структурированного списка действий. Аудио и генерация текста учитываются в разных единицах. Записывайте оба расхода для расчёта стоимости.
Уровни Free и Developer
Free ограничивает запросы, токены или длительность аудио в зависимости от модели. Лимиты действуют на организацию. Достаточно достижения одного порога для остановки запроса. Страница Limits в консоли показывает значения вашего аккаунта. Обрабатывайте ответ 429 и указанный срок повторной попытки вместо постоянной отправки запросов.
Для Developer нужен способ оплаты. Использование оплачивается по тарифам модели, а лимиты увеличиваются. Также открываются Batch и Flex. Проверяйте возможности и цены по текущему каталогу. Опубликованная пропускная способность не является измерением полного времени ответа вашего приложения. Предварительные модели могут быть отключены.