Локальные нейросети
на своём железе

Небольшая лаборатория: запускаем открытые языковые модели на собственных видеокартах, меряем скорость и качество, отдаём их через API, совместимый с OpenAI и Anthropic.

Что крутится

Qwen3.8 Flash-Next

Основная модель — MoE (смесь экспертов): диалог, код, вызов функций, понимает картинки. Контекст 256К токенов, генерация около 100 токенов в секунду.

Basalt

Собственный движок для MoE-моделей: квантование IQ3, стриминг ответов, оба формата API нативно — без прокси-переводчиков.

Приватность

Запросы не уходят в облако и не используются для обучения. Логи содержимого не пишутся.

API

Доступ только по ключу. Поддерживаются оба популярных формата — подключайте любой SDK.

# OpenAI-совместимый формат
curl https://bdsmbog.xyz/v1/chat/completions \
  -H "Authorization: Bearer $KEY" -H "Content-Type: application/json" \
  -d '{"model":"qwen-flash","messages":[{"role":"user","content":"Привет!"}]}'

# Anthropic-совместимый формат
curl https://bdsmbog.xyz/v1/messages \
  -H "x-api-key: $KEY" -H "anthropic-version: 2023-06-01" -H "Content-Type: application/json" \
  -d '{"model":"qwen-flash","max_tokens":1024,"messages":[{"role":"user","content":"Привет!"}]}'

Модель по умолчанию сначала «думает». Выключить: в OpenAI-формате — "chat_template_kwargs": {"enable_thinking": false}, в Anthropic-формате — "thinking": {"type": "disabled"}.

Подключение к агентам

Ключ выдаёт администратор. Везде ниже замените ВАШ_КЛЮЧ на свой. Модель всегда называется qwen-flash — с другим именем сервер ответит 404.

Claude Code

Claude Code умеет работать через свой адрес API в формате Anthropic. Нужны адрес, ключ и имя модели — для основных задач, фоновых и подагентов.

Вариант 1 — постоянно, через файл настроек

Откройте ~/.claude/settings.json (в Windows — %USERPROFILE%\.claude\settings.json) и добавьте блок env:

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://bdsmbog.xyz",
    "ANTHROPIC_AUTH_TOKEN": "ВАШ_КЛЮЧ",
    "ANTHROPIC_MODEL": "qwen-flash",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen-flash",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen-flash",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen-flash",
    "CLAUDE_CODE_SUBAGENT_MODEL": "qwen-flash",
    "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "262144",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1"
  }
}

Вариант 2 — только в текущем терминале

export ANTHROPIC_BASE_URL=https://bdsmbog.xyz
export ANTHROPIC_AUTH_TOKEN=ВАШ_КЛЮЧ
export ANTHROPIC_MODEL=qwen-flash
export ANTHROPIC_DEFAULT_OPUS_MODEL=qwen-flash ANTHROPIC_DEFAULT_SONNET_MODEL=qwen-flash ANTHROPIC_DEFAULT_HAIKU_MODEL=qwen-flash
export CLAUDE_CODE_SUBAGENT_MODEL=qwen-flash CLAUDE_CODE_MAX_CONTEXT_TOKENS=262144
export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1
claude

Проверка

  1. Запустите claude и выполните /status: строка Anthropic base URL должна показать https://bdsmbog.xyz, а Auth token — ANTHROPIC_AUTH_TOKEN.
  2. Если раньше вы входили через claude.ai и появилось предупреждение о двух способах входа — выполните /logout.
  3. Задайте любой вопрос. Работают и инструменты: чтение и правка файлов, команды в терминале.

CLAUDE_CODE_MAX_CONTEXT_TOKENS сообщает Claude Code настоящий размер контекста модели (256К) — без него он считает 1 млн и сжимает переписку слишком поздно. CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC отключает фоновые запросы мимо нашего сервера (проверка обновлений, телеметрия). Чтобы вернуться к обычному Claude, удалите этот блок env.

DeepSeek Harness (dsh)

Открытый агент DeepSeek (@deepseek-ai/dsh, нужен Node.js 24.9 или новее). Наш сервер подключается как свой провайдер в формате Anthropic.

1. Ключ

Добавьте в ~/.dsh/.credentials.yaml и закройте файл от чужих глаз:

BOG_API_KEY: ВАШ_КЛЮЧ
chmod 700 ~/.dsh && chmod 600 ~/.dsh/.credentials.yaml

Можно и через окружение: export BOG_API_KEY=ВАШ_КЛЮЧ перед запуском dsh.

2. Провайдер и модель

Сохраните как bog.yml (или допишите в ~/.dsh/profiles/<профиль>/cordis.patch.yml — тогда флаг --patch не нужен):

- id: agent-default-model
  name: "@deepseek-ai/dsh-agent-default-model"
  config:
    provider: boglab
    model: qwen-flash
- id: llm-pi-ai
  name: "@deepseek-ai/dsh-llm-pi-ai"
  config:
    providers:
      boglab:
        displayName: BOG Lab
        apiKeyEnv: BOG_API_KEY
        api: anthropic-messages
        baseURL: https://bdsmbog.xyz
        models:
          - id: qwen-flash
            name: Qwen3.8 Flash-Next (BOG Lab)
            input: [text, image]

baseURL — без /v1: dsh сам дописывает /v1/messages. Если хотите формат OpenAI, замените на api: openai-completions и baseURL: https://bdsmbog.xyz/v1.

3. Запуск

# одна задача из терминала
npx @deepseek-ai/dsh headless --patch ./bog.yml "объясни, что делает этот проект"

# веб-интерфейс
npx @deepseek-ai/dsh web --patch ./bog.yml

В веб-интерфейсе провайдера можно добавить и руками: Settings → Models → свой провайдер, адрес https://bdsmbog.xyz, протокол Anthropic Messages, ключ, модель qwen-flash.

Если что-то не так

  • 401 — неверный ключ или он попал не в тот заголовок. Ключ работает и как Authorization: Bearer, и как x-api-key.
  • 404 model_not_found — имя модели не qwen-flash.
  • 502 — модель сейчас выключена на сервере. Напишите администратору.
  • Ответ обрывается на размышлениях — модель по умолчанию сначала «думает»; увеличьте лимит ответа или выключите размышления (см. раздел API).

Заметки

Почему MoE

В смеси экспертов на каждый токен работает лишь часть весов — большая модель отвечает со скоростью маленькой.

Квантование IQ3

3-битные «важностные» кванты помещают MoE в одну видеокарту; качество проседает меньше, чем у обычных 3-битных.

Агенты и инструменты

Вызов функций работает в обоих форматах API — локальную модель можно подставить в привычные инструменты.