Switch LLM engine to Ornith-1.5-9B (Spark X2.5-4B not loadable in Ollama); robust nested-JSON parsing; update README

This commit is contained in:
n1kt4r committed 2026-09-14 17:28:40 +05:00
1 parent 89b73db8a4
commit a01f183680
5 files changed
+27 -99

No files matched your search

+10 -11
View File
@@ -2,17 +2,17 @@
Self-hosted автономный агент (MVP). Концепт позаимствован из
[Animus](https://github.com/Craigtut/animus) (Craigtut): heartbeat,
4 слоя памяти, persona в 8 слоёв. Движок — **Spark X2.5-4B** (локально, self-hosted).
4 слоя памяти, persona в 8 слоёв. Движок — **Ornith-1.5-9B** (локально, self-hosted, Ollama).
## Почему Spark X2.5-4B
## Почему Ornith-1.5-9B
- Локальный inference (llama.cpp / Ollama), никаких облачных ключей
- Нативная поддержка agent-инструментов (tool-calling) — саб-агенты
- 1M контекст (для heartbeat держим 4K-16K + внешняя память)
- ~59 t/s на Q4_K_M (RTX A2000 12GB)
- Локальный inference (Ollama), никаких облачных ключей
- Нативная поддержка tool-calling (саб-агенты) + thinking
- 262K контекст (для heartbeat держим 4K-16K + внешняя память)
- ~40-60 t/s на Q6_K
> ⚠️ 4B — это слабость для сложного reasoning. Стратегия:
> heartbeat-мысли на Spark (быстро/дёшево), саб-агенты на Ornith-9B (качественнее).
> ⚠️ Spark X2.5-4B не грузится в Ollama (unknown architecture 'spark2_5').
> Ornith-9B — рабочая замена: thinking + tools, дефицитный ресурс.
## Архитектура
@@ -57,9 +57,8 @@ npm run build # tsc -p tsconfig.json (проверка типов)
npm start # node dist/index.js
```
Spark X2.5-4B должен быть доступен по OpenAI-совместимому API:
- Ollama: `http://localhost:11434`
- llama.cpp: `http://localhost:8080/v1`
Ornith-1.5-9B должен быть доступен по OpenAI-совместимому API (Ollama):
- Ollama: `http://localhost:11434` (модель `ornith-1.5-9b:latest`)
## Roadmap