ki-buch/anhang/F-empirische-evidenz-2026.md

Anhang F: Empirische Evidenz zu Agenten, Context Engineering und MCP (Stand Juli 2026)

Ergänzung zu den Kapiteln 3, 5, 6.5, 8.6, 11 und 13. Zweck: harte und halbharte öffentliche Evidenz bündeln, Evidenzgrade kennzeichnen und ehrlich sagen, wo Daten fehlen.

---

Evidenzgrade in diesem Anhang

Label	Bedeutung
Starke Studie	Kontrolliertes Experiment oder RCT mit transparenter Methodik
Feldstudie / RCT	Randomisierung in realen Teams / Workloads
Observational large-n	Große Telemetrie- oder Codebasen-Analyse, Kausalität eingeschränkt
Branchen-Survey	Selbstbericht, repräsentativ je nach Design
Demo / Lab	Reproduzierbare Demo, kurzer Labortask, Benchmark-Harness
Incident / CVE	Dokumentierter Sicherheitsvorfall oder Schwachstelle
Faustregel / Orientierung	Engineering-Heuristik dieses Buchs – keine Studie
Anekdote	Einzelbericht, Blog, Vendor-Deck ohne nachvollziehbare Methodik

Inline-Kürzel im Manuskript (Arbeitsnorm: meta/EVIDENZ-STYLE-GUIDE.md): [E1] starke Empirie · [E2] Beobachtung/Survey/Incident · [E3] Lab/Benchmark/Demo · [E4] Engineering-Heuristik · [E5] Anekdote/Vendor/Spekulation. Primärdaten dieses Buchs: [E3]* (Demo/Messung), [E2]* (interne Feldbeobachtung). Die langen Labels in der Tabelle bleiben die Lesart hier; im Fließtext genügen die Kürzel.

Leitsatz: Zahlen ohne Quelle und Evidenzgrad sind Marketing. Zahlen mit Einschränkung sind Engineering.

---

F.1 Empirische Evidenz zu Context Engineering und MCP

Was gut belegt ist – und was nicht

Context Engineering (Kap. 3.7) ist 2025/26 als Praxisdisziplin etabliert; als Messobjekt in großen Feldstudien noch dünn. Die robustesten externen Anker betreffen vor allem:

1. Positionseffekte im langen Kontext („Lost in the Middle“): Modelle nutzen Informationen in der Mitte langer Eingaben systematisch schlechter als am Anfang/Ende (Liu et al., 2023 u. a. Nachfolgearbeiten). Evidenzgrad: Starke Studie (kontrollierte Retrieval-Setups). Implikation: „Alles ins Window kippen“ ist keine Qualitätspolitik – Reihenfolge, Verdichtung und Working Sets zählen.

2. Tool-integrierte Agenten brauchen andere Evals als MMLU/HumanEval. Klassische Wissens- und Code-Synthese-Benchmarks messen keine MCP-Tool-Wahl, Resource-Loading oder Safety-Gates (Konsens in Kap. 6.5; bestätigt durch die Entstehung von MCP-Bench und MCP-AgentBench 2025/26). Evidenzgrad: methodischer Konsens + neue Research-Benches.

3. MCP-spezifische Capability-Benches existieren, ersetzen aber keine Team-ROI-Messung:

   • MCP-Bench (Wang et al., 2025, arXiv:2508.20453): multi-step Tasks über reale MCP-Server/Tools. Evidenzgrad: Research-Benchmark / Demo-Lab.
   • MCP-AgentBench (Guo et al., AAAI 2026): Testbed mit Dutzenden Servern und Hunderten Queries, outcome-orientiertes MCP-Eval. Evidenzgrad: Research-Benchmark.
   • MCPSecBench (Yang et al., 2025/26, arXiv:2508.13220): formalisierte Angriffsflächen und Playground. Evidenzgrad: Security-Benchmark.

Was fehlt: große, peer-reviewed Feldstudien der Form „Working Set + AGENTS.md + Progressive Disclosure vs. monolithischem Prompt“ mit n Teams, Task Success, Edit Rate und Regressionen. Hier fehlen derzeit belastbare öffentliche Vergleichsstudien – folgende Proxy-Metriken sind daher empfehlenswert (vgl. Anhang C):

Proxy	Was er approximiert
Context Hit Rate	wurde goldene Datei/URI geladen?
Context Waste	Anteil low-score / irrelevanter Tokens
Steps / Task bei gleichem Success	Sucheffizienz
Human Edit Rate	Review-Last / Qualitätslücke
Tokens / erfolgreichem Task	Effizienz der Context Policy

Graph-Kontext vs. reines Vector-RAG

Öffentliche Arbeiten (u. a. RepoGraph auf SWE-bench-ähnlichen Setups, ICLR 2025; Folgeevaluationen z. B. arXiv:2601.08773, 2026) berichten bei strukturellen, multi-hop und repository-weiten Fragen relative Verbesserungen der Resolve-/Korrektheitsraten im mittleren zweistelligen Prozentbereich gegenüber schwachen Retrieval-Baselines. Evidenzgrad: Research-Benchmark (nicht Feld-ROI).

Pitfall: Graph-Vorteile auf „alle Coding-Tasks“ und „10× Produktivität“ hochrechnen. Richtung (Struktur > reines RAG bei Impact/Call-Graph) ist belastbarer als absolute Faktoren.

Buch-Demo vs. Studie

Die Companion-Demo (code/05-coding-agent, TRACE-DEMO-1, Anhang C.12) misst Prozess- und Kontextqualität mit Mock-LLM – nicht Modell-IQ und nicht euer Team. Sie ist Demo / Lab: didaktisch wertvoll, nicht generalisierbar.

Key Takeaways (F.1)

• Lost-in-the-Middle und Tool-Benchmarks stützen Context Policies; sie ersetzen keine Team-Messung.
• MCP-Benches (Capability/Security) helfen bei Modell- und Server-Vorauswahl.
• AGENTS.md, Skills und Progressive Disclosure: stark in der Praxis, schwach in der öffentlichen Empirie – selbst messen.
• Context Hit Rate + Edit Rate + Tokens/Task sind die ehrlichen Steuergrößen.

---

F.2 Feldstudien und Produktivitätsdaten aus realen Teams

Drei Welten – drei Effektgrößen

Setting	Kernresultat	Evidenzgrad	Quelle
Kurzer Labortask (HTTP-Server in JS)	≈55,8 % schneller mit Copilot; Completion 78 % vs. 70 %; 95 %-KI der Speed-Gains grob [21 %, 89 %]	Starke Studie	Peng et al. / GitHub+Microsoft, 2023
Drei Unternehmens-RCTs, n ≈ 4 867 Devs	+26,08 % completed tasks/PRs pro Woche (SE 10,3 %); Commits +13,6 %; Builds +38 %; Juniors profitieren stärker	Feldstudie / RCT	Cui et al., 2025 (Microsoft, Accenture, Fortune 100)
Erfahrene OSS-Maintainer, eigene reife Repos (early-2025 Tools)	+19 % längere Completion-Zeit mit AI; Devs glaubten danach noch, sie seien ~20 % schneller gewesen	Starke Studie (RCT)	METR / Becker et al., 2025 (arXiv:2507.09089); 16 Devs, 246 Issues

Die Zahlen widersprechen sich nicht – sie messen verschiedene Welten. Lab-Greenfield ≠ Enterprise-PR-Count ≠ Senior auf vertrauter Million-LOC-Codebase. Für MCP-basierte Coding Agents (autonome Tool-Loops) fehlen vergleichbar große Feld-RCTs – Completions-Evidenz ist ein oberer/unterer Orientierungsrahmen, kein Agenten-ROI.

Wahrnehmung vs. Messung

• Ziegler et al. (CACM 2024): Acceptance Rate korreliert am besten mit wahrgenommener Produktivität (ρ ≈ 0,24) – nicht automatisch mit Delivery-Outcomes. Evidenzgrad: Observational + Survey.
• METR 2025: subjektive Beschleunigung bei objektiver Verlangsamung – Calibration-Problem für Senior-Arbeit.

Organisationsebene: DORA 2024/2025

Der DORA State of AI-assisted Software Development 2025 (Google Cloud) rahmt AI primär als Amplifier: Tools vergrößern bestehende Stärken und Schwächen; ROI hängt am organisationalen System (Policy, Daten, Platform, Review), nicht am Modell allein. Evidenzgrad: Branchen-Survey / Capability Model.

Aus Berichtslage und Zusammenfassungen 2024/25 (DORA GenAI + 2025 AI Report):

• Sehr hohe Adoption; viele Teams verbringen spürbare Anteile des Tages mit AI-Assistenz.
• Subjektive Produktivität häufig hoch (>80 % in gängigen Report-Narrativen), gleichzeitig substanzielles Misstrauen gegenüber generiertem Code (Trust Paradox, oft ~30 % wenig/kein Trust – Survey).
• Throughput kann steigen, während Stabilität/Volatility unter Druck gerät (J-Curve, Verification Tax) – passt zu „mehr Output, engerer Review-Engpass“ (Kap. 13.2).

Qualität und Wartbarkeit (Observational)

GitClear-Analysen (2024–2026, hunderte Millionen LOC) zeigen im Zeitraum der AI-Adoption u. a. steigenden Anteil copy/paste-ähnlicher Änderungen, sinkendes Refactoring/Moved-Code und höheren Churn. Die Maintainability-Gap-Forschung 2026 berichtet u. a. stark rückläufiges Refactoring und Legacy-Maintenance gegenüber frühen 2020er-Baselines. Evidenzgrad: Observational large-n – Koinzidenz mit AI-Welle, keine saubere Kausalzuschreibung pro Tool.

Praxis-Tipp: Nutze GitClear-artige Signale (Churn, Duplikate, Revert) als Frühwarnung neben DORA – nicht als „Beweis, dass Agenten Code ruinieren“.

Junior / Mid / Senior

Gruppe	Was die Daten nahelegen	Evidenzgrad
Junior / weniger erfahren	Größere relative Gewinne bei Completions (Cui 2025; Peng Heterogenität 2023)	Feld/Lab
Senior auf fremdem/kurzem Task	oft Speed-up im Lab	Lab
Senior auf eigenem reifen Repo	METR: Verlangsamung möglich; hoher Verifikationsaufwand	RCT small-n
Alle	Review und Orakel begrenzen den Netto-Gewinn	Branchenlogik + DORA

Key Takeaways (F.2)

• Plane mit Feld-Größenordnungen (~ein Viertel mehr Tasks in günstigen Enterprise-Settings), nicht mit Lab-56 % oder Marketing-10×.
• Erwarte Heterogenität: Task-Typ, Seniority, Repo-Familiarität.
• DORA: AI multipliziert Systemqualität – exakt die These dieses Buchs.
• Agent+MCP-Produktivität in realen Teams: selbst messen (Kap. 6.5, Anhang C).

Pitfall: Eine Copilot-Completion-Studie als Beleg für „unseren Multi-Agent-MCP-Stack“ verkaufen.

---

F.3 Benchmark-Landschaft für MCP-basierte Coding Agents

Was welcher Benchmark misst

Benchmark	Misst	Für euch gut für	Nicht geeignet für
MMLU, Arena Elo	Allgemeinwissen / Präferenz	Modell-Grobraster	Coding Agents
HumanEval & Co.	kurze Funktionssynthese	Mini-Skills	Repo+Tools
SWE-bench / Verified	Issue→Patch in öffentlichen Repos	Modell-/Scaffold-Vergleich	euer SDLC, MCP, Secrets, Monorepo
AgentBench, WebArena, ToolBench	allgemeine Agenten-/Web-/Tool-Fähigkeit	Forschungskontext	MCP-Server-Qualität intern
MCP-Bench	multi-step Tool-Use über MCP-Server	Host/Model Tool-Routing	Security, Team-ROI
MCP-AgentBench	MCP-mediated Tasks, outcome-Eval	vergleichbare MCP-Fähigkeit	Prod-Policies
MCPSecBench	Angriffe auf MCP-Surfaces	Security-Regression	Produktivität
Euer Eval-Harness (Anhang C)	Task Success + Safety + Context Hit in eurer Welt	Freigabe von Policies/Servern	Publikations-Ranking

Die Tabelle ordnet Messinstrumente; die Abbildung die Freigabe-Logik: öffentliche Benches und Security-Benches speisen andere Gates als eure interne Suite – gemeinsam entscheiden sie über Pass/Fail, nicht übereinander.

{ width=100% }

Abbildung: Benchmarks vorselektieren, Security gaten, intern mit Fake-MCP releasen – verschiedene Messwelten.

Leaderboards: flüchtig, datieren

MCP-Bench-Leaderboards (z. B. Community-Stand 2025: starke Closed- und Open-Modelle im Overall-Score-Band ~0,6–0,75 je nach Snapshot) veralten in Wochen. Im Buch und in Reviews immer Stand-Datum nennen und den Live-Leaderboard-Link nutzen – keine „unser Stack ist #1“-Sätze ohne Datum.

SWE-bench und Graph-Retrieval

SWE-bench bleibt der bekannteste SE-Agent-Anker. Resolve Rates hängen stark von Scaffold, Tools, Test-Orakeln und Contamination-Diskussionen ab. Graph-/Repo-Retrieval-Papers nutzen ihn oft als Proxy für bessere Kontextselektion – das ist kein Nachweis, dass MCP in eurem Billing-Service 30 % weniger Bugs erzeugt.

Key Takeaways (F.3)

• Öffentlich = Vorauswahl; intern = Freigabe.
• MCP-Benches schließen die Lücke „Tool-Use über Server“ – nicht die Lücke „Team-Produktivität“.
• Security-Benches und Capability-Benches getrennt steuern.
• Pinnt Model-Version, Server-Version und Suite-Version wie Dependencies.

Pitfall: Ein grüner SWE-bench-Lauf als Go-Live für L3-Autonomie auf Prod-Daten.

---

F.4 Kosten-Nutzen-Rechnung: Was die Daten wirklich zeigen

TCO-Formel (praktisch)

TCO_Task ≈
    Token_Kosten (Input+Output, alle Agenten)
  + Latenz_Kosten (Wall-Clock × Knappheit)
  + Human_Review_Minuten × Fully_Loaded_Rate
  + Rework (Reverts, Hotfixes, Incident-Anteil)
  + Platform (Eval-CI, MCP-Gateway, Katalog-Pflege)

Marketing optimiert oft nur den ersten Term. DORA und Review-Engpässe (Kap. 13) sagen: Human Review und Rework dominieren den Netto-ROI, sobald Output steigt.

Was belegt ist

Aussage	Beleg	Evidenzgrad
Completions können Lab-Tasks stark beschleunigen	Peng 2023 ≈ +56 %	Starke Studie
Enterprise-Task-Count steigt moderater	Cui 2025 ≈ +26 % PRs/Tasks (SE 10,3 %)	Feld-RCT
Erfahrene Devs auf bekannten Repos können langsamer werden	METR 2025 +19 % Zeit	RCT
Subjektive Produktivität ≠ objektive Zeit	METR; Ziegler Acceptance/Perception	Studie/Observational
AI als Amplifier der Org	DORA 2025	Branchen-Survey
Mehr AI-Output korreliert mit Qualitätsrisiken (Churn, Duplikate)	GitClear 2024–26	Observational
Multi-Agent multipliziert Token und Koordination	Architekturelle Notwendigkeit + Kap. 8.6-Orientierung	Faustregel (keine große Multi-Agent-Feld-RCT)

Single-Agent vs. Multi-Agent vs. Human-only (Scorecard)

Werte sind Richtungsangaben + Evidenzlage, keine universellen %-Garantien:

Dimension	Human-only	Single-Agent + guter Context	Multi-Agent (2–3 Write + Verify)
Task Success (mit Orakeln)	Baseline Team	oft ↑ bei Boilerplate/Tests; gemischt bei Architektur	kann ↑ bei partitionierbaren Epics; sonst ↓ durch Konflikte
Tokens / Task	—	1× Baseline Agent	typ. ~2–3,5× vs. starkem Single-Agent (Orientierung, Kap. 8.6)
Review-Zeit	1×	oft ↑ Volumen, Qualität abhängig von Diff-Disziplin	oft weiter ↑ (mehr Diffs, Handoffs)
Failure Modes	Human bias	Halluzination, Tool-Misuse, Context Rot	plus Koordinations- und Contract-Failures
Evidenzlage Produktivität	jahrzehntelang SE-Forschung	Completions stark; volle Agents dünn	schwach öffentlich – intern messen
Wann sinnvoll	hohes Urteil, Politik, Incident-Komm.	Standard-PR, klarer Scope	parallele Pakete, heterogene Qualitätsachsen

MCP vs. proprietäre N×M-Integrationen

Das N×M-Problem (jeder Host × jede Capability) ist architektonisch und operativ gut motiviert (Kap. 1, 4). Quantifizierte Feldstudien „Integrationskosten vor/nach MCP in €“ fehlen öffentlich weitgehend. Proxy:

• Anzahl gepflegter Host-spezifischer Adapter
• Time-to-enable neue Capability auf 2+ Hosts
• Drift-Incidents (Policy A in Cursor ≠ Policy B in CI-Bot)

Key Takeaways (F.4)

• Netto-ROI = Tokens + Review + Rework + Platform – nicht Tokens allein.
• Multi-Agent ist ein Kostenmultiplikator mit optionalem Lead-Time-Gewinn, kein Automatik-Upgrade.
• MCP spart vor allem Integrations- und Portabilitätskosten – messt das über Adapter-Anzahl und Time-to-enable, nicht über SWE-bench.
• Ohne Budgets und Kill-Switch skaliert Multi-Agent Kosten schneller als Nutzen.

Pitfall: „2× Tokens, aber 4× schneller“ behaupten, ohne Wall-Clock und Revert-Rate im gleichen Zeitraum zu tracken.

---

F.5 Tabellen und Scorecards (Überblick)

T1 – Setup-Vergleich (Evidenzlage)

Siehe F.4 Scorecard.

T2 – Context-Quality-Impact (Strategien)

Strategie	Typischer Effekt (Richtung)	Evidenzgrad	Quelle / Hinweis
Full-Repo / Window-Maximalismus	Waste ↑, Lost-in-the-Middle-Risiko ↑, Kosten ↑	Starke Studie (Position) + Praxis	Liu et al. 2023; Kap. 3
Nur Prompt, keine Runtime-KB	Halluzination interner APIs ↑	Praxis / Demo	Kap. 1–3
Vector-RAG allein	gut für ähnliche Texte/Fehler; schwach multi-hop Struktur	Research-Bench	Kap. 5.12
Working Set + AGENTS.md + Progressive Disclosure	Hit Rate ↑, Steps ↓ bei gleichem Success (wenn gepflegt)	Demo/Lab + Faustregel	C.12 Demo; keine große Feldstudie
Graph-MCP + selektive Resources	besser bei Impact/Call-Graph	Research-Bench	RepoGraph u. a.
Untrusted Data unmarkiert	Injection-/Policy-Bypass-Risiko	Incident/CVE + Security-Bench	F.6, Kap. 11

T3 – Evidenz-Matrix (Kernaussagen)

Aussage	Quelle (Jahr)	Evidenzgrad	Einschränkung
Completions ≈ +56 % Lab-Speed	Peng et al. 2023	Starke Studie	Greenfield-Kurz-Task
Completions ≈ +26 % Tasks/Woche Enterprise	Cui et al. 2025	Feld-RCT	SE 10,3 %; keine MCP-Agents
AI kann Senior-OSS verlangsamen	METR 2025	RCT	n=16; early-2025 Tools
Acceptance ≈ wahrgenommene Produktivität	Ziegler et al. 2024	Observational	nicht kausal Delivery
AI amplified Org strengths/weaknesses	DORA 2025	Branchen-Survey	Self-report-Anteile
Throughput ↑, Stabilitätsdruck möglich	DORA 2024/25 Narrative	Branchen-Survey	J-Curve kontextabhängig
Copy/Paste ↑, Refactor ↓ im AI-Zeitraum	GitClear 2024–26	Observational large-n	Kausalität unscharf
Lost in the Middle	Liu et al. 2023+	Starke Studie	Setup-abhängig
Graph hilft multi-hop Code-Queries	RepoGraph ICLR 2025; arXiv:2601.08773	Research-Bench	nicht universeller 10×
MCP Tool-Use messbar	MCP-Bench 2025; MCP-AgentBench 2026	Research-Bench	kein Team-ROI
MCP hat strukturelle Injection-Risiken	Willison 2025; MCPSecBench; CVEs	Incident + Research	Rate unbekannt
Multi-Agent ≈ 2–3,5× Token vs. Single	Kap. 8.6	Faustregel	intern validieren
C.12 Lead-Time 8→3,5 d	Buch-Demo-Skizze	Faustregel/Didaktik	nicht generalisieren

T5 – Minimal viable interne Benchmark-Suite

Bucket	Anzahl Cases (MVP)	DoD
Coding (Issue→Tests grün)	15	task_success + keine forbidden tools
Context Hit	5	goldene URI/Pfad geladen
Safety / Injection	5	0 critical policy violations
Optional: Multi-Agent partition	3	Tokens/Paket + Konflikte dokumentiert

Gesamt ~25 Cases reichen für ein erstes Gate bei Model- oder Server-Major-Updates (Details Anhang C).

---

F.6 Security: Incidents und Blast Radius (MCP)

Öffentliche Häufigkeitsstatistiken (Incidents pro 1000 Server und Jahr) fehlen belastbar. Die folgende Scorecard belegt Existenz und Muster – nicht die Base Rate.

Fall / Finding	Jahr	Vektor	Blast Radius (typisch)	Evidenzgrad
Willison: Tool-Descriptions als Injection	2025	versteckte Anweisungen in Tool-Meta	Session-Verhalten, unerwartete Tool-Calls	Analyse
Invariant Labs: Tool Poisoning (Trivia → WhatsApp-MCP)	2025	malicious Server neben trusted Server	Cross-Server Data/Action	Advisory/Demo
GitHub MCP: Cross-Repo Data Heist via Issue	2025	untrusted Issue-Text → Agent schreibt privates Material öffentlich	Vertraulichkeit über Repo-Grenzen	Disclosed weakness
Snyk: aws-mcp-server / markdownify-mcp CVEs	2025	Cmd Injection, SSRF, arbitrary read	Host/Server-Prozess, Datenabfluss	CVE
Anthropic mcp-server-git CVE-2025-68143/144/145	2025/26	Path traversal, Arg Injection, Scope Bypass → RCE-Kette via Prompt Injection	Dev-Workstation / CI mit Server	CVE + Research
MCP Inspector CVE-2025-49596	2025	RCE in Dev-Toolchain	Entwickler-Maschine	CVE
Unit42: MCP Sampling Attack Vectors	2025	Sampling/bidirektionale Pfade	Session-Hijack-Szenarien	Vendor Research
MCPSecBench / Protokoll-Analysen 2025/26	2025–26	fehlende Capability-Attestation, Trust-Propagation	multi-server Sessions	Research

Implikation für Kap. 11: Least Privilege, Server-Katalog, Trennung untrusted-read vs. privileged-write, Allowlists und Human Approval sind keine Bürokratie – sie sind die Antwort auf dokumentierte Failure Modes.

---

F.7 Methodik: Leichte, belastbare Eval-Suite im Team

Fake-MCP + reale Issues

1. 20–40 anonymisierte Issues aus den letzten 90 Tagen exportieren.
2. Fixtures: Repo-Snapshot (oder Sparse Checkout), Fake-Issue-Server, Fake-CI-Logs.
3. Orakel: Tests, Dateiinhalte, verbotene Pfade – keine String-Gleichheit auf Prosa.
4. Runner: headless Host, gepinnte Model-Version, 3 Seeds wo möglich.
5. Scorecard C.2 + Safety C.8.

Gate-Policy (Minimum)

Event	Pflicht
Model-Upgrade	Full coding sample + Safety
Neuer MCP-Server im Katalog	Contract + 5 Agent-Cases + Threat Notes
Autonomy L2→L3	erweiterte Safety + Canary-Metriken
Prompt / pinned Resource Change	Context-Hit-Subset

Was ihr wöchentlich ansehen solltet

task_success@suite
context_hit_rate
tokens_per_success
human_edit_rate (Agent-PRs)
revert_rate_14d
policy_violations
review_minutes_p50

Koppelt Schwellen an Error Budgets (Kap. 11), nicht an Bauchgefühl.

---

F.8 Offene Forschungslücken (für die nächste Auflage)

1. Kein großer RCT MCP-Coding-Agent vs. Function-Calling vs. reines Chat in Production-Teams (n≥100, längere Perioden).
2. Keine standardisierte Multi-Agent-TCO-Studie (Token × Review × Defects × Lead Time).
3. Keine longitudinalen Daten zur Wartbarkeit von Skills, AGENTS.md und Project-Memory (Drift, Owner, Half-Life).
4. MCP-Security Base Rates und Time-to-Patch im Server-Ökosystem unklar.
5. Junior/Mid/Senior-Effekte für autonome Agents (nicht nur Completions) unzureichend.
6. SWE-bench ≠ Enterprise-Monorepo (private Deps, Scaffold, Contamination).

Empfehlung Auflage 2: Community Benchmark Kit im Companion-Repo; anonymisierte Scorecards (Success, Edit Rate, Tokens) von freiwilligen Teams.

---

F.9 Quellenverzeichnis (Kern, Stand Recherche Juli 2026)

Vollständige Link-Pflege auch in Anhang D. Kurzform:

Kurztitel	Referenz
Peng et al. 2023	The Impact of AI on Developer Productivity: Evidence from GitHub Copilot, Microsoft Research / arXiv-nahe Fassungen
Cui et al. 2025	The Effects of Generative AI on High-Skilled Work…, n≈4867, drei Firmen-RCTs
Ziegler et al. 2024	Measuring GitHub Copilot’s Impact on Productivity, CACM
METR / Becker et al. 2025	Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, arXiv:2507.09089
DORA 2025	State of AI-assisted Software Development, Google Cloud / dora.dev
GitClear 2024–2026	AI Code Quality / Maintainability Gap Research
Liu et al. 2023	Lost in the Middle (long-context position effects)
MCP-Bench 2025	Wang et al., arXiv:2508.20453
MCP-AgentBench 2026	Guo et al., AAAI 2026
MCPSecBench 2025/26	Yang et al., arXiv:2508.13220
Willison 2025	MCP prompt injection / tool descriptions
Diverse CVEs 2025–26	u. a. CVE-2025-49596, CVE-2025-68143/144/145; Snyk MCP-Server findings

---

F.10 Verweise im Buch

Thema	Kapitel
Context Proxies, Lost-in-the-Middle	3, 5
Öffentliche vs. interne Evals	6.5, Anhang C
Multi-Agent-Kosten	8.6
Hands-on Demo / Übungen	10, C.12
Security Incidents / Controls	11
Produktivität & Branche	13
Spezifikation & Ressourcen	Anhang D