Локальные нейросети
на своём железе
Небольшая лаборатория: запускаем открытые языковые модели на собственных видеокартах, меряем скорость и качество, отдаём их через API, совместимый с OpenAI и Anthropic.
Что крутится
Qwen3.8 Flash-Next
Основная модель — MoE (смесь экспертов): диалог, код, вызов функций, понимает картинки. Контекст 256К токенов, генерация около 100 токенов в секунду.
Basalt
Собственный движок для MoE-моделей: квантование IQ3, стриминг ответов, оба формата API нативно — без прокси-переводчиков.
Приватность
Запросы не уходят в облако и не используются для обучения. Логи содержимого не пишутся.
API
Доступ только по ключу. Поддерживаются оба популярных формата — подключайте любой SDK.
# OpenAI-совместимый формат
curl https://bdsmbog.xyz/v1/chat/completions \
-H "Authorization: Bearer $KEY" -H "Content-Type: application/json" \
-d '{"model":"qwen-flash","messages":[{"role":"user","content":"Привет!"}]}'
# Anthropic-совместимый формат
curl https://bdsmbog.xyz/v1/messages \
-H "x-api-key: $KEY" -H "anthropic-version: 2023-06-01" -H "Content-Type: application/json" \
-d '{"model":"qwen-flash","max_tokens":1024,"messages":[{"role":"user","content":"Привет!"}]}'
Модель по умолчанию сначала «думает». Выключить: в OpenAI-формате — "chat_template_kwargs": {"enable_thinking": false}, в Anthropic-формате — "thinking": {"type": "disabled"}.
Подключение к агентам
Ключ выдаёт администратор. Везде ниже замените ВАШ_КЛЮЧ на свой. Модель всегда называется
qwen-flash — с другим именем сервер ответит 404.
Claude Code
Claude Code умеет работать через свой адрес API в формате Anthropic. Нужны адрес, ключ и имя модели — для основных задач, фоновых и подагентов.
Вариант 1 — постоянно, через файл настроек
Откройте ~/.claude/settings.json (в Windows — %USERPROFILE%\.claude\settings.json) и добавьте блок
env:
{
"env": {
"ANTHROPIC_BASE_URL": "https://bdsmbog.xyz",
"ANTHROPIC_AUTH_TOKEN": "ВАШ_КЛЮЧ",
"ANTHROPIC_MODEL": "qwen-flash",
"ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen-flash",
"ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen-flash",
"ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen-flash",
"CLAUDE_CODE_SUBAGENT_MODEL": "qwen-flash",
"CLAUDE_CODE_MAX_CONTEXT_TOKENS": "262144",
"CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1"
}
}Вариант 2 — только в текущем терминале
export ANTHROPIC_BASE_URL=https://bdsmbog.xyz export ANTHROPIC_AUTH_TOKEN=ВАШ_КЛЮЧ export ANTHROPIC_MODEL=qwen-flash export ANTHROPIC_DEFAULT_OPUS_MODEL=qwen-flash ANTHROPIC_DEFAULT_SONNET_MODEL=qwen-flash ANTHROPIC_DEFAULT_HAIKU_MODEL=qwen-flash export CLAUDE_CODE_SUBAGENT_MODEL=qwen-flash CLAUDE_CODE_MAX_CONTEXT_TOKENS=262144 export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 claude
Проверка
- Запустите
claudeи выполните/status: строкаAnthropic base URLдолжна показатьhttps://bdsmbog.xyz, аAuth token—ANTHROPIC_AUTH_TOKEN. - Если раньше вы входили через claude.ai и появилось предупреждение о двух способах входа — выполните
/logout. - Задайте любой вопрос. Работают и инструменты: чтение и правка файлов, команды в терминале.
CLAUDE_CODE_MAX_CONTEXT_TOKENS сообщает Claude Code настоящий размер контекста модели (256К) —
без него он считает 1 млн и сжимает переписку слишком поздно. CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC
отключает фоновые запросы мимо нашего сервера (проверка обновлений, телеметрия). Чтобы вернуться к обычному
Claude, удалите этот блок env.
DeepSeek Harness (dsh)
Открытый агент DeepSeek (@deepseek-ai/dsh, нужен Node.js 24.9 или новее). Наш сервер подключается как
свой провайдер в формате Anthropic.
1. Ключ
Добавьте в ~/.dsh/.credentials.yaml и закройте файл от чужих глаз:
BOG_API_KEY: ВАШ_КЛЮЧ
chmod 700 ~/.dsh && chmod 600 ~/.dsh/.credentials.yaml
Можно и через окружение: export BOG_API_KEY=ВАШ_КЛЮЧ перед запуском dsh.
2. Провайдер и модель
Сохраните как bog.yml (или допишите в ~/.dsh/profiles/<профиль>/cordis.patch.yml —
тогда флаг --patch не нужен):
- id: agent-default-model
name: "@deepseek-ai/dsh-agent-default-model"
config:
provider: boglab
model: qwen-flash
- id: llm-pi-ai
name: "@deepseek-ai/dsh-llm-pi-ai"
config:
providers:
boglab:
displayName: BOG Lab
apiKeyEnv: BOG_API_KEY
api: anthropic-messages
baseURL: https://bdsmbog.xyz
models:
- id: qwen-flash
name: Qwen3.8 Flash-Next (BOG Lab)
input: [text, image]baseURL — без /v1: dsh сам дописывает /v1/messages. Если хотите формат OpenAI,
замените на api: openai-completions и baseURL: https://bdsmbog.xyz/v1.
3. Запуск
# одна задача из терминала npx @deepseek-ai/dsh headless --patch ./bog.yml "объясни, что делает этот проект" # веб-интерфейс npx @deepseek-ai/dsh web --patch ./bog.yml
В веб-интерфейсе провайдера можно добавить и руками: Settings → Models → свой провайдер, адрес
https://bdsmbog.xyz, протокол Anthropic Messages, ключ, модель qwen-flash.
Если что-то не так
- 401 — неверный ключ или он попал не в тот заголовок. Ключ работает и как
Authorization: Bearer, и какx-api-key. - 404 model_not_found — имя модели не
qwen-flash. - 502 — модель сейчас выключена на сервере. Напишите администратору.
- Ответ обрывается на размышлениях — модель по умолчанию сначала «думает»; увеличьте лимит ответа или выключите размышления (см. раздел API).
Заметки
Почему MoE
В смеси экспертов на каждый токен работает лишь часть весов — большая модель отвечает со скоростью маленькой.
Квантование IQ3
3-битные «важностные» кванты помещают MoE в одну видеокарту; качество проседает меньше, чем у обычных 3-битных.
Агенты и инструменты
Вызов функций работает в обоих форматах API — локальную модель можно подставить в привычные инструменты.