LLM API — Chat Completions и Embeddings

Базовый URL

https://llm.a5x.pro/v1

Authorization: Bearer YOUR_API_KEY. Формат совместим с OpenAI API; ключ — в личном кабинете A5X Cloud LLM.

Быстрый старт

curl -X POST "https://llm.a5x.pro/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen36-35b-a3b",
    "messages": [
      { "role": "system", "content": "Ты корпоративный ассистент A5X." },
      { "role": "user", "content": "Сформулируй краткое резюме встречи." }
    ],
    "temperature": 0.2
  }'

Модели

Поле	Тип	Описание
`qwen36-35b-a3b`	chat	Основная chat-модель для аналитики и ассистентов.
`bge-m3`	embedding	Мультиязычные эмбеддинги для RAG и семантического поиска.
`llama-3-* / mistral-*`	chat	Доступны на тарифах SMB и Enterprise по запросу.

RAG и корпоративные знания

Загрузите документы в кабинет A5X — индексация через embeddings и векторное хранилище.
В запросах chat/completions передавайте контекст из retrieval или используйте виджет аналитики с подключённой памятью звонков.
On-Premise: тот же API-контракт в закрытом контуре без выхода в публичный интернет.

Streaming

Для потоковой генерации добавьте "stream": true — ответ приходит в формате Server-Sent Events (data: {...}), как в OpenAI Chat Completions API.

Chat Completions

POSThttps://llm.a5x.pro/v1/chat/completions

Генерация ответа по истории сообщений. Совместимо с OpenAI Chat Completions.

Параметры запроса
Поле	Тип	Описание
`model`*	string	ID модели, например qwen36-35b-a3b.
`messages`*	object[]	Массив { role: system\|user\|assistant, content: string }.
`temperature`	number	0–2. По умолчанию 1.
`max_tokens`	integer	Лимит токенов ответа.
`stream`	boolean	true — SSE-поток чанков.
`chat_template_kwargs.enable_thinking`	boolean	Для моделей с reasoning: false отключает блок «размышлений».

200 OK

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "model": "qwen36-35b-a3b",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Краткое резюме: согласованы сроки поставки, клиент запросил скидку 5%."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 128,
    "completion_tokens": 42,
    "total_tokens": 170
  }
}

Коды ответов

HTTP	error.code	Ситуация
200	—	Успешный ответ (или SSE при stream=true).
400	`invalid_request_error`	Неверное тело запроса или неизвестная model.
401	`invalid_api_key`	Ключ отсутствует или недействителен.
429	`rate_limit_exceeded`	Превышен лимит запросов — повторите позже.
502	`api_error`	Временная недоступность inference — повторите запрос.

Embeddings

POSThttps://llm.a5x.pro/v1/embeddings

Векторное представление текста для семантического поиска и RAG.

Параметры запроса
Поле	Тип	Описание
`model`*	string	bge-m3 или другая embedding-модель.
`input`*	string \| string[]	Один текст или массив строк.

200 OK

{
  "object": "list",
  "model": "bge-m3",
  "data": [
    {
      "object": "embedding",
      "index": 0,
      "embedding": [0.012, -0.034, 0.089]
    }
  ],
  "usage": { "prompt_tokens": 12, "total_tokens": 12 }
}