MythoMax 13B

gryphe/mythomax-l2-13b

Документация

Одна из самых производительных и популярных тонких настроек Llama 2 13B с богатыми описаниями и ролевой игрой. #merge

Модальности

Вход / выход за 1 млн

7,43 ₽ / 7,43 ₽

Контекст

8 192

Добавлена

2 июл. 2023 г.

Поставщики, endpoint’ы и маршрутизация

Один поставщик может предлагать несколько endpoint-вариантов: стандартный, flex, priority или региональный. Без дополнительных настроек выбирается самый дешёвый доступный endpoint.

Маршрут запроса

Сначала самый дешёвый доступный endpointrequest body

"provider": { "sort": "price" }

4 поставщика · 4 endpoint-вариантов

Поставщик / endpoint	Вход / 1 млн	Выход / 1 млн	Кэш / 1 млн	Задержка	Скорость	Доступность
NextBitДешевле nextbit/int4·INT4	7,43 ₽	7,43 ₽	—	527 мс	40 ток/с	100,00%
Parasail parasail/fp16·FP16	9,90 ₽	13,62 ₽	—	242 мс	100 ток/с	100,00%
DeepInfra deepinfra/fp16·FP16	49,51 ₽	49,51 ₽	—	252 мс	48 ток/с	100,00%
Mancer 2 mancer/fp8·FP8	43,32 ₽	74,27 ₽	—	428 мс	56 ток/с	100,00%

Красный и жёлтый щиты отмечают предупреждения о данных. Наведите на значок для подробностей. Условия конкретного endpoint могут отличаться от общей политики провайдера.

Цены

Стоимость показана в рублях по текущему курсу пополнения. Итоговая сумма зависит от фактического usage ответа.

Операция	Стоимость
Входные токены	7,43 ₽за 1 млн токенов
Выходные токены	7,43 ₽за 1 млн токенов

Бенчмарки

Результаты стандартизированных оценок. Для индексов, ELO и точности большее значение означает лучший результат.

Для этой версии модели публичных результатов пока нет.

Параметры и модальности

Поддержка параметров синхронизирована с текущей версией модели.

Входные модальности

text

Выходные модальности

text

frequency_penaltylogit_biaslogprobsmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetop_atop_ktop_logprobstop_p

Пример запроса

curl https://gorouter.ru/api/v1/chat/completions \
  -H "Authorization: Bearer $GOROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gryphe/mythomax-l2-13b",
    "messages": [{"role": "user", "content": "Привет!"}]
  }'