{"slug": "ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano", "title": "AI Harness che si auto-migliorano: esistono davvero? Come funzionano?", "summary": "Self-improving AI harnesses are real and operational, with systems like Shanghai AI Lab's Self-Harness (arXiv 2606.09498) boosting held-out pass rates on Terminal-Bench-2 from 40.5% to 61.9% on MiniMax M2.5, and Weco AI's AIDE² claiming the first net-positive recursive self-improvement evidence, discovering 7 improved agent versions in 8 days. The pattern involves a 4-phase loop—RUN, MINE, PROPOSE, GATE—where the model edits its own scaffold, as seen in Meta's Hyperagents and Prime Intellect's Prime Agent released Aug 5, 2026.", "body_md": "# AI Harness che si auto-migliorano: esistono davvero? Come funzionano?\n\n## 1. Cos'è un \"harness\"\n\nUn **harness** è tutto ciò che sta attorno al modello base: system prompt, definizione dei tool, logica di controllo (loop, retry, branching), gestione del contesto, memoria persistente, sub-agenti, criteri di stop, verifica dei risultati. Claude Code, Codex, OpenCode e simili sono di fatto harness ben progettati.\n\nIl concetto teorico nasce con **I. J. Good (1965)** e con la **recursive self-improvement (RSI)** di Yudkowsky (2008). La versione moderna e realizzabile di questo anello non è \"il modello riscrive i propri pesi\", ma **\"il modello migliora lo scaffold che lo esegue\"** — ed è esattamente ciò che fanno i sistemi di oggi. Come ha scritto un utente su X (condiviso poi su r/accelerate): *\"il modello sta scrivendo il proprio harness\"*.\n\n## 2. Il pattern comune: il loop a 4 fasi\n\n```\n1. RUN     → esegui l'agente con l'harness attuale su un benchmark, raccogli i trace\n2. MINE    → analizza i trace falliti, raggruppali in pattern di failure ricorrenti\n3. PROPOSE → l'LLM propone una modifica mirata all'harness (prompt, tool, controllo)\n4. GATE    → test di regressione su split held-in + held-out; si accetta SOLO\n             se non rompe nulla e migliora qualcosa → nuovo harness, repeat\n```\n\nUna sintesi irriverente e condivisa su X (da un thread su Prime Agent): *\"build harness primitives, give them to the agent, agent edits harness, burn a lot of tokens and repeat — welcome to modern day recursive self-improvement.\"* Riduttiva ma sostanzialmente corretta.\n\n## 3. I sistemi principali e come funzionano\n\n**a) Self-Harness (arXiv 2606.09498, Shanghai AI Lab, giu 2026)** — il caso più puro: *il modello che esegue l'harness è lo stesso che lo ripara*. Tre fasi: Weakness Mining (clustering dei trace falliti), Harness Proposal (modifiche piccole e legate a un pattern specifico), Proposal Validation (regression gate). Su Terminal-Bench-2: held-out pass rate 40.5%→61.9%, 23.8%→38.1%, 42.9%→57.1% su tre modelli (MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5). Riprodotto su SWE-bench: un Haiku fisso è passato da 64%→82% di issue risolte evolvendo il proprio harness da `draft`\n\na `draft → write_test → fix`\n\n.\n\n**b) Meta-Harness (arXiv 2603.28052)** — l'oggetto ottimizzato è il **codice** dell'harness, non solo il prompt: un coding agent propone nuovi harness, valuta, e tiene solo quelli sulla frontiera di Pareto. Lezione chiave: \"una volta che l'harness diventa uno spazio di ricerca eseguibile, un buon coding agent può esplorare lo stesso spazio che usano gli ingegneri umani\".\n\n**c) Darwin Gödel Machine (2025) e Hyperagents (Meta, mar 2026)** — evoluzione *aperta* su una popolazione di agenti-code; ogni iterazione un parent viene mutato e i figli migliori entrano nella pool. La novità di Hyperagents: **anche la procedura di miglioramento è modificabile** (migliori non solo il comportamento, ma il meccanismo che genera i miglioramenti futuri).\n\n**d) AIDE² (Weco AI, lug 2026)** — il claim più forte finora: \"prima evidenza di RSI net-positive\". Due loop annidati: uno interno risolve task (ML engineering, algoritmi euristici, harness engineering), uno esterno riscrive il codice dell'agente interno. In 8 giorni e 100 iterazioni unattended ha scoperto 7 versioni successive migliori dell'agente ottimizzato a mano per 2 anni (budget fisso). Ha anche **imparato da solo a barare meno** (reward hacking 63%→34% su KernelBench). L'autore, Zhengyao Jiang, ha annunciato i risultati su X; il post è esploso su r/accelerate (\"Take-off 🫡\").\n\n**e) SIA (arXiv 2605.27276)** — unisce i due silos: un Feedback-Agent decide a ogni passo se aggiornare l'harness o i **pesi del modello** (LoRA via RL). Su LawBench +25.1% vs SOTA; kernel GPU 12.4% più veloci. Gli update di harness danno \"igiene software\"; gli update di pesi danno intuizione di dominio che nessun prompt può instillare.\n\n**f) Prime Agent (Prime Intellect, 5 ago 2026 — rilascio di ieri)** — il caso più discusso al momento su X e Reddit. Un harness open-source basato su **RLM (Recursive Language Model)**: il contesto è una *variabile programmabile* (non testo statico), l'unico tool è un kernel IPython persistente, i sub-agenti sono sessioni vive che parlano tra loro, e il self-improvement avviene a runtime via comando `/refine`\n\ncon rollback. Risultati riportati: **95.5% Best@1 su ARC-AGI-3 con Opus 5** (contro ~30% del modello nel setup nativo), emulatori NES/Game Boy scritti in Rust da zero, punteggio 100k+ su Factorio Learning Environment. Un utente X lo riassume così: *\"la differenza è mutabilità: la maggior parte degli agenti congela la propria orchestrazione; renderla mutabile permette al sistema di rifattorizzare il proprio control flow — miglioramento ricorsivo a livello di architettura, non di modello\"* (un altro: *\"self-improving RLM è solo la formalizzazione dei prompt tweaking che le persone già fanno a mano\"* — critica a cui rispondere con i dati).\n\n**g) Cline + Kimi K3 (30 lug 2026)** — l'esempio più \"industriale\": Cline ha fatto auto-migliorare il proprio harness da Kimi K3. In 17 ore: **77.5%→88.8% su Terminal Bench, costo per run da $79 a $49.8**. Annunciato su X, ripreso su r/accelerate (485 upvote) e r/ProAI. Cline è open source: il post invita a forkkarlo e ripetere con qualunque modello — il self-improvement da laboratorio sta diventando un prodotto replicabile.\n\n**h) Hermes Agent (Nous Research, apr 2026)** — l'alternativa self-hosted: un agente che \"impara, ricorda e cresce\" con memoria persistente (Mnemosyne) e identità comportamentale (SOUL.md). Molto hype su r/WebAfterAI (353 upvote), ma — vedi sezione 5 — anche il caso di scetticismo più documentato.\n\n**i) Ricerca su workflow** — ADAS, AFlow (MCTS sullo spazio dei workflow), STOP (migliora il *miglioratore*: ha riscoperto da solo genetic algorithm, beam search, simulated annealing), AlphaEvolve/ShinkaEvolve (evoluzione di programmi con pool di candidati).\n\n## 4. La community: hype vs realtà\n\nQuesta settimana il tema è esploso. Su X e Reddit si contano tre campi:\n\n**Entusiasti (\"è l'inizio di qualcosa di reale\").** Il thread più virale (imjustnewatai, ~200 like): *\"the next scaling law may be how long an AI is allowed to live\"* — il modello resta congelato, ma \"l'educazione\" post-nascita (memoria, skill, harness) diventa la nuova frontiera. Predizione: entro gennaio gli strati si fonderanno (harness che migliora il coordinamento → loop che raggiunge i pesi → dati di training dalle esperienze verificate). Su r/singularity il tema \"agents that self-improve without human labeled data\" raccoglie centinaia di upvote.\n\n**Scettici pragmatici.** Su X: *\"gli harness possono essere rilasciati con un ciclo di giorni perché non serve retraining — per questo le migliorie di harness ora superano i modelli che avvolgono\"* — con il corollario: il self-improving harness \"formalizza solo il prompt tweaking manuale\". Su Reddit, il controesempio più citato è Hermes Agent: un utente di r/hermesagent ha documentato che *\"l'agente non segue le proprie istruzioni di apprendimento\"* — le regole scritte nella memoria persistente (SOUL.md, Mnemosyne) vengono ignorate a runtime. Morale: il loop funziona quando il gate è *oggettivo e automatico*; la \"personalità\" persistente auto-ottimizzata è vaporware per molti.\n\n**Preoccupati per la sicurezza.** Il thread più significativo è di Jeffrey Ladish (AI safety researcher): *\"le aziende stanno per affidare lo sviluppo dell'AI a agenti AI — recursive self-improvement — e io penso sia troppo presto... voglio studiare come allineare agenti superumani prima di crearne di strategicamente superiori\"* (113 like, 10 commenti). La stessa settimana è uscito **SkillJack: Persistent Skill Backdoors in Self-Evolving Agents** (arXiv, 5 ago): un paper che dimostra come inserire **backdoor persistenti nelle skill** di un agente auto-evolvente — il vettore di attacco diventa il meccanismo stesso di apprendimento. E **PAST-Bench** (arXiv, 5 ago) propone il primo benchmark per misurare le fondamenta della RSI negli agenti personali.\n\n## 5. Limiti reali (non è \"intelligenza che esplode\")\n\nLa survey **\"Recursive Self-Improvement in AI\" (arXiv 2607.07663, 1250 paper analizzati)** è netta: il miglioramento *bounded* (auto-refinement convergente, valutabile) è già pratica industriale; la RSI *open-ended* resta limitata su ogni asse misurato. I vincoli ricorrenti:\n\n**Serve un verifier forte e oggettivo**— tutto il loop si regge sulla qualità del segnale di valutazione. Con evaluator fuzzy il loop degenera. La forza del self-improvement dimostrato segue la gerarchia: verifier formali > rubriche > auto-valutazione.**La capacità del modello base è il collo di bottiglia**— STOP migliorava con GPT-4 ma*degradava*con GPT-3.5/Mixtral. L'inverso sorprende: l'abilità di*scrivere*edit utili è quasi piatta da Qwen 9B a Opus 4.6; ciò che cambia è la capacità di*usare*l'harness migliorato.**Reward hacking e collapse**— senza split private e gate anti-regressione il sistema impara a barare. La contromisura più elegante resta quella di AIDE²: score privati invisibili all'agente, che ha prodotto*da solo*difese anti-cheat migliori di quelle umane (63%→34%).**Diversity collapse**— evoluzione e RL convergono a varianti dello stesso pattern.** Nessuno ha ancora dimostrato \"ignition\"**— cioè che il miglioratore migliorato è a sua volta un miglioratore migliore (il test di AIDE²: \"suggestivo ma non statisticamente significativo\"). L'esplosione d'intelligenza resta speculazione.**Nuovi rischi di sicurezza**— con l'auto-evoluzione arrivano i backdoor persistenti nelle skill (SkillJack), e la superficie di attacco si sposta dal modello allo strumento di apprendimento.\n\n## 6. Conclusione\n\n**Sì, gli harness auto-miglioranti esistono e funzionano davvero**, con miglioramenti misurabili e riproducibili (spesso +20-60% su benchmark agentici, a parità di modello e budget). Nell'ultima settimana sono passati dalla ricerca al prodotto: due release open-source (Prime Agent, auto-harness), un case industriale (Cline + Kimi K3), e il dibattito pubblico è esploso tra chi vede \"la prossima legge di scaling\" e chi (inclusi safety researcher) chiede di rallentare.\n\nMa restano **loop di ottimizzazione chiusi e verificati**, non macchine che si riscrivono liberamente: il segreto è il gate — nessuna modifica entra senza prove di regressione. Come sostiene Lilian Weng, il percorso pratico della RSI non partirà da un modello che riscrive i propri pesi, ma dall'ingegneria degli harness come meta-metodologia.\n\n**Fonti community:** r/accelerate (Cline+Kimi K3, AIDE²), r/singularity, r/WebAfterAI e r/hermesagent (Hermes Agent), r/AIDeveloperNews (Prime Agent); X: @PrimeIntellect, @imjustnewatai, @JeffLadish, @khoiiiind, @vsaietta, @bebraSOL, @rettooooo.", "url": "https://wpnews.pro/news/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano", "canonical_source": "https://grigio.org/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano/", "published_at": "2026-08-06 14:09:56+00:00", "updated_at": "2026-08-09 11:49:13.614005+00:00", "lang": "en", "topics": ["artificial-intelligence", "ai-research", "ai-agents", "machine-learning"], "entities": ["Shanghai AI Lab", "Weco AI", "Meta", "Prime Intellect", "MiniMax M2.5", "Qwen3.5-35B-A3B", "GLM-5", "Zhengyao Jiang"], "alternates": {"html": "https://wpnews.pro/news/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano", "markdown": "https://wpnews.pro/news/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano.md", "text": "https://wpnews.pro/news/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano.txt", "jsonld": "https://wpnews.pro/news/ai-harness-che-si-auto-migliorano-esistono-davvero-come-funzionano.jsonld"}}