Для Qwen2.5-7B-Instruct используйте Chat Completions API.

О модели

Qwen2.5-7B-Instruct — текстовая модель Alibaba Qwen на 7,61 млрд параметров для выполнения инструкций, программирования, математики и генерации структурированных данных, включая JSON.

В семействе Qwen2.5 семь размеров — 0,5, 1,5, 3, 7, 14, 32 и 72 млрд параметров; 7B — компактная модель с тем же контекстом 131 072 токена, что у 72B, а лицензия Apache 2.0 действует для всех размеров, кроме 3B и 72B.

Поддерживает более 29 языков; контекст 131 072 токена, ответ до 8 192 токенов. Для входа длиннее 32 768 токенов в конфигурации включают YaRN.

По описанию Alibaba, вызов функций работает так же, как в API GPT: шаблон чата содержит разметку инструментов в стиле Hermes.

Стоимость

Текущая стоимость использования этой модели:

Токены

Стоимость за 1 млн токенов

Входные токены

10₽

Выходные токены

20₽

Как считается расход

  • Учитываются все токены

    И входные (input), и сгенерированные моделью (output)

Характеристики

Параметр

Значение

Вход

Текст

Выход

Текст

Контекст

131 072 токена (для входа длиннее 32 768 токенов нужна настройка YaRN)

Максимальный ответ

8 192 токена

Языки

Более 29, включая китайский, английский, французский, испанский и японский

Архитектура

Плотная модель, 28 слоёв

Параметры модели

7,61 млрд

Лицензия

Apache 2.0

Дата выхода

19 сентября 2024

Сравнение с соседними моделями

Модель

Параметры модели

Слои

Контекст

Максимальный ответ

Лицензия

Qwen2.5-7B-Instruct (эта модель)

7,61 млрд

28

131 072 токена

8 192 токена

Apache 2.0

Qwen2.5-14B-Instruct

14,7 млрд

48

131 072 токена

8 192 токена

Apache 2.0

Qwen2.5-32B-Instruct

32,5 млрд

64

131 072 токена

8 192 токена

Apache 2.0

Qwen2.5-72B-Instruct

72,7 млрд

80

131 072 токена

8 192 токена

Лицензия Qwen

API

Эндпоинт

http 
POST https://api.dslab.tech/v1/chat/completions
Текстовый запрос 
import osfrom openai import OpenAIclient = OpenAI(    api_key=os.environ["DSLAB_API_KEY"],    base_url="https://api.dslab.tech/v1",)response = client.chat.completions.create(    model="qwen2.5-7b",    messages=[        {"role": "system", "content": "Отвечай кратко и по делу."},        {"role": "user", "content": "Объясни, что такое идемпотентность."},    ],)print(response.choices[0].message.content)

Параметры

Параметр

Тип

По умолчанию

Описание

model

string

обязательный

ID модели: qwen2.5-7b.

messages

array

обязательный

История диалога: сообщения с ролями system, user, assistant и tool. content — строка.

max_tokens

integer

—

Максимальный ответ в токенах, до 8 192.

stream

boolean

false

Потоковый ответ: фрагменты приходят по мере генерации.

tools

array

—

Ваши функции: type function, name, description и parameters (JSON Schema).

Важно знать

  • Контекст 131 072 токена достигается настройкой YaRN; она статическая и, по данным Alibaba, может ухудшать качество на коротких текстах.