Switch LLM engine to Ornith-1.5-9B (Spark X2.5-4B not loadable in Ollama); robust nested-JSON parsing; update README
This commit is contained in:
1 parent
89b73db8a4
commit
a01f183680
5 files changed
+27
-99
No files matched your search
@@ -2,17 +2,17 @@
|
||||
|
||||
Self-hosted автономный агент (MVP). Концепт позаимствован из
|
||||
[Animus](https://github.com/Craigtut/animus) (Craigtut): heartbeat,
|
||||
4 слоя памяти, persona в 8 слоёв. Движок — **Spark X2.5-4B** (локально, self-hosted).
|
||||
4 слоя памяти, persona в 8 слоёв. Движок — **Ornith-1.5-9B** (локально, self-hosted, Ollama).
|
||||
|
||||
## Почему Spark X2.5-4B
|
||||
## Почему Ornith-1.5-9B
|
||||
|
||||
- Локальный inference (llama.cpp / Ollama), никаких облачных ключей
|
||||
- Нативная поддержка agent-инструментов (tool-calling) — саб-агенты
|
||||
- 1M контекст (для heartbeat держим 4K-16K + внешняя память)
|
||||
- ~59 t/s на Q4_K_M (RTX A2000 12GB)
|
||||
- Локальный inference (Ollama), никаких облачных ключей
|
||||
- Нативная поддержка tool-calling (саб-агенты) + thinking
|
||||
- 262K контекст (для heartbeat держим 4K-16K + внешняя память)
|
||||
- ~40-60 t/s на Q6_K
|
||||
|
||||
> ⚠️ 4B — это слабость для сложного reasoning. Стратегия:
|
||||
> heartbeat-мысли на Spark (быстро/дёшево), саб-агенты на Ornith-9B (качественнее).
|
||||
> ⚠️ Spark X2.5-4B не грузится в Ollama (unknown architecture 'spark2_5').
|
||||
> Ornith-9B — рабочая замена: thinking + tools, дефицитный ресурс.
|
||||
|
||||
## Архитектура
|
||||
|
||||
@@ -57,9 +57,8 @@ npm run build # tsc -p tsconfig.json (проверка типов)
|
||||
npm start # node dist/index.js
|
||||
```
|
||||
|
||||
Spark X2.5-4B должен быть доступен по OpenAI-совместимому API:
|
||||
- Ollama: `http://localhost:11434`
|
||||
- llama.cpp: `http://localhost:8080/v1`
|
||||
Ornith-1.5-9B должен быть доступен по OpenAI-совместимому API (Ollama):
|
||||
- Ollama: `http://localhost:11434` (модель `ornith-1.5-9b:latest`)
|
||||
|
||||
## Roadmap
|
||||
|
||||
|
||||
Reference in new issue
Block a user