Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

Последняя модель класса Meta (Llama 3.1), выпущенная в нескольких размерах и вариантах. Эта версия, оптимизированная для инструкций 70B, предназначена для высококачественных диалоговых сценариев. Она показала высокую производительность по сравнению с ведущими закрытыми моделями в оценках с участием людей. Чтобы узнать больше о выпуске модели, нажмите здесь. Использование этой модели регулируется Политикой допустимого использования Meta.

Модальности

Вход / выход за 1 млн

49,51 ₽ / 49,51 ₽

Контекст

131 072

Добавлена

23 июл. 2024 г.

Поставщики, endpoint’ы и маршрутизация

Один поставщик может предлагать несколько endpoint-вариантов: стандартный, flex, priority или региональный. Без дополнительных настроек выбирается самый дешёвый доступный endpoint.

Маршрут запроса

Сначала самый дешёвый доступный endpointrequest body

"provider": { "sort": "price" }

3 поставщика · 3 endpoint-вариантов

Поставщик / endpoint	Вход / 1 млн	Выход / 1 млн	Кэш / 1 млн	Задержка	Скорость	Доступность
DeepInfraДешевле deepinfra/turbo·FP8	49,51 ₽	49,51 ₽	—	329 мс	17 ток/с	99,86%
Amazon Bedrock amazon-bedrock·Стандарт	89,12 ₽	89,12 ₽	—	359 мс	22,5 ток/с	100,00%
CoreWeave coreweave/bf16·BF16	99,02 ₽	99,02 ₽	99,02 ₽	205 мс	42 ток/с	100,00%

Красный и жёлтый щиты отмечают предупреждения о данных. Наведите на значок для подробностей. Условия конкретного endpoint могут отличаться от общей политики провайдера.

Цены

Стоимость показана в рублях по текущему курсу пополнения. Итоговая сумма зависит от фактического usage ответа.

Операция	Стоимость
Входные токены	49,51 ₽за 1 млн токенов
Выходные токены	49,51 ₽за 1 млн токенов

Бенчмарки

Результаты стандартизированных оценок. Для индексов, ELO и точности большее значение означает лучший результат.

Для этой версии модели публичных результатов пока нет.

Параметры и модальности

Поддержка параметров синхронизирована с текущей версией модели.

Входные модальности

text

Выходные модальности

text

frequency_penaltylogit_biaslogprobsmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_logprobstop_p

Пример запроса

curl https://gorouter.ru/api/v1/chat/completions \
  -H "Authorization: Bearer $GOROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.1-70b-instruct",
    "messages": [{"role": "user", "content": "Привет!"}]
  }'