fix(pegas-memory): web fetch SOCKS5h proxy fallback + stale_guard supported double-count fix
- ingest.parse_web: direct fetch; on block/timeout retry via socks5h://127.0.0.1:1080 (SOCKS_FALLBACK_PROXY); raises ValueError if both fail. - config: add SOCKS_FALLBACK_PROXY default (socks5h://127.0.0.1:1080). - self_improve.stale_guard: supported LLM verdict now sets status_change='supported' (authoritative), no fallthrough to age fallback -> no double-checked/skipped_no_source. - README: document auto-fallback.
This commit is contained in:
1 parent
eca8a11e23
commit
13e0b87446
4 files changed
+44
-15
No files matched your search
@@ -76,7 +76,10 @@ Cloudflare anti-bot (neo4j.com — 403). Поведение research-цикла:
|
||||
```bash
|
||||
export PROXY_URL="socks5://127.0.0.1:1080" # hysteria2
|
||||
```
|
||||
Когда прокси задан, `parse_web` ходит через него; иначе — напрямую.
|
||||
|
||||
**Авто-повор:** `parse_web` сначала грузит URL напрямую; при таймауте/блокировке повторяет запрос через `socks5h://127.0.0.1:1080` (дефолт,
|
||||
`SOCKS_FALLBACK_PROXY`). Если и проки недоступен — падает с
|
||||
`ValueError: no main content ... (direct + ... fallback failed)`.
|
||||
Поддержка SOCKS5 уже установлена (`httpx[socks]`).
|
||||
|
||||
## Управление пробелами (gaps)
|
||||
|
||||
Reference in new issue
Block a user