Для Llama 3.1 8B используйте Chat Completions API.

О модели

Llama 3.1 8B Instruct — текстовая модель Meta с 8 млрд параметров для многоязычного диалога и генерации кода.

Самая маленькая модель линейки Llama 3.1: 8 млрд параметров против 70 и 405 млрд при том же контексте 128 000 токенов. На MMLU набирает 69,4 % против 83,6 % у 70B и 87,3 % у 405B.

Принимает многоязычный текст, отвечает текстом и кодом. Meta называет задачами ассистентный чат, генерацию синтетических данных и дистилляцию.

Поддерживает вызов функций без примеров, но Meta предупреждает: 8B не умеет надёжно вести разговор при заданных определениях функций, а для сочетания диалога и вызова функций рекомендует 70B или 405B.

Стоимость

Текущая стоимость использования этой модели:

Токены

Стоимость за 1 млн токенов

Входные токены

2₽

Выходные токены

4₽

Чтение из кэша

2₽

Как считается расход

  • Учитываются все токены

    И входные (input), и сгенерированные моделью (output)

Характеристики

Параметр

Значение

Вход

Многоязычный текст

Выход

Текст и код

Контекст

128 000 токенов

Архитектура

Авторегрессионная модель, оптимизированный трансформер

Параметры модели

8 млрд

Языки

Английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский

Лицензия

Llama 3.1 Community License

Срез знаний

Декабрь 2023

Дата выхода

23 июля 2024

Сравнение с соседними моделями

Модель

Параметры

Контекст

Дата выхода

HumanEval

IFEval

Llama 3.1 8B (эта модель)

8 млрд

128 000 токенов

23 июля 2024

72,6 %

80,4 %

Llama 3.1 70B

70 млрд

128 000 токенов

23 июля 2024

80,5 %

87,5 %

Llama 3.3 70B

70 млрд

128 000 токенов

6 декабря 2024

88,4 %

92,1 %

Llama 3.1 405B

405 млрд

128 000 токенов

23 июля 2024

89,0 %

88,6 %

Бенчмарки

Бенчмарк

Результат

Условия

MMLU

69,4 %

Версия Instruct, 5 примеров, средняя точность

GPQA

30,4 %

Версия Instruct, без примеров, точное совпадение

HumanEval

72,6 %

Версия Instruct, без примеров, pass@1

MATH

51,9 %

Версия Instruct, без примеров, цепочка рассуждений, точное совпадение

API

Эндпоинт

http 
POST https://api.dslab.tech/v1/chat/completions
Текстовый запрос 
import osfrom openai import OpenAIclient = OpenAI(    api_key=os.environ["DSLAB_API_KEY"],    base_url="https://api.dslab.tech/v1",)response = client.chat.completions.create(    model="llama-3.1-8b",    messages=[        {"role": "system", "content": "Отвечай кратко и по делу."},        {"role": "user", "content": "Объясни, что такое идемпотентность."},    ],)print(response.choices[0].message.content)

Параметры

Параметр

Тип

По умолчанию

Описание

model

string

обязательный

ID модели: llama-3.1-8b.

messages

array

обязательный

История диалога: роли system, user, assistant и tool. content — текст.

max_tokens

integer

—

Максимальный ответ в токенах.

stream

boolean

false

Потоковый ответ.

tools

array

—

Ваши функции: type function, name, description и parameters в виде JSON Schema. Модель возвращает вызов, а выполняет его ваше приложение.

Важно знать

  • Определения функций передавайте только в запросах, где они нужны: в обычном диалоге уберите их из промпта.

  • Модель умеет формировать вызовы встроенных инструментов Brave Search, Wolfram Alpha и Code Interpreter, но сама их не выполняет.

  • Официально поддерживаются восемь языков (английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский); русского среди них нет.