Для Llama 3.3 70B используйте Chat Completions API.

О модели

Llama 3.3 70B Instruct — текстовая модель Meta с 70 млрд параметров для многоязычного диалога и генерации кода.

По таблице Meta, на IFEval набирает 92,1 % против 87,5 % у Llama 3.1 70B и 88,6 % у Llama 3.1 405B, на HumanEval — 88,4 % против 80,5 % у Llama 3.1 70B, на MATH — 77,0 % против 68,0 %.

Принимает многоязычный текст, отвечает текстом и кодом. Контекст — 128 000 токенов, как у всех моделей Llama 3.1. Meta называет задачами ассистентный чат, генерацию синтетических данных и дистилляцию.

Поддерживает вызов функций: определения можно передать в системном или пользовательском сообщении, ответ содержит несколько вызовов, в том числе параллельных. Модель только указывает, какие функции вызвать, а выполняет их ваше приложение.

Стоимость

Текущая стоимость использования этой модели:

Токены

Стоимость за 1 млн токенов

Входные токены

10₽

Выходные токены

32₽

Как считается расход

  • Учитываются все токены

    И входные (input), и сгенерированные моделью (output)

Характеристики

Параметр

Значение

Вход

Многоязычный текст

Выход

Текст и код

Контекст

128 000 токенов

Архитектура

Авторегрессионная модель, оптимизированный трансформер

Параметры модели

70 млрд

Языки

Английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский

Лицензия

Llama 3.3 Community License

Срез знаний

Декабрь 2023

Дата выхода

6 декабря 2024

Сравнение с соседними моделями

Модель

Параметры

Контекст

Дата выхода

HumanEval

IFEval

Llama 3.1 8B

8 млрд

128 000 токенов

23 июля 2024

72,6 %

80,4 %

Llama 3.1 70B

70 млрд

128 000 токенов

23 июля 2024

80,5 %

87,5 %

Llama 3.3 70B (эта модель)

70 млрд

128 000 токенов

6 декабря 2024

88,4 %

92,1 %

Llama 3.1 405B

405 млрд

128 000 токенов

23 июля 2024

89,0 %

88,6 %

Бенчмарки

Бенчмарк

Результат

Условия

MMLU

86 %

Версия Instruct, без примеров, цепочка рассуждений, средняя точность

MMLU Pro

68,9 %

Версия Instruct, 5 примеров, цепочка рассуждений, средняя точность

GPQA Diamond

50,5 %

Версия Instruct, без примеров, цепочка рассуждений, точность

HumanEval

88,4 %

Версия Instruct, без примеров, pass@1

API

Эндпоинт

http 
POST https://api.dslab.tech/v1/chat/completions
Текстовый запрос 
import osfrom openai import OpenAIclient = OpenAI(    api_key=os.environ["DSLAB_API_KEY"],    base_url="https://api.dslab.tech/v1",)response = client.chat.completions.create(    model="llama-3.3-70b",    messages=[        {"role": "system", "content": "Отвечай кратко и по делу."},        {"role": "user", "content": "Объясни, что такое идемпотентность."},    ],)print(response.choices[0].message.content)

Параметры

Параметр

Тип

По умолчанию

Описание

model

string

обязательный

ID модели: llama-3.3-70b.

messages

array

обязательный

История диалога: роли system, user, assistant и tool. content — текст.

max_tokens

integer

—

Максимальный ответ в токенах.

stream

boolean

false

Потоковый ответ.

tools

array

—

Ваши функции: type function, name, description и parameters в виде JSON Schema. Модель возвращает вызов, а выполняет его ваше приложение.

Важно знать

  • Официально поддерживаются восемь языков (английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский); русского среди них нет.

  • Модель умеет формировать вызовы встроенных инструментов Brave Search, Wolfram Alpha и Code Interpreter, но сама их не выполняет.