Die tatsächlichen Auswirkungen von KI auf die Arbeit von Entwicklern zu messen, erfordert die Unterscheidung zwischen subjektiven Eindrücken und überprüfbaren Daten. Die Werkzeuge zur Codegenerierung nehmen zu, ebenso wie die Versprechen von Produktivitätsgewinnen. Der DORA-Bericht 2025 und mehrere aktuelle kontrollierte Studien ermöglichen es, diese Versprechen mit den in der Praxis beobachteten Ergebnissen zu vergleichen.
Produktivität von KI und Software-Stabilität: Was der DORA-Bericht 2025 misst
Der DORA-Bericht 2025 stellt eine positive Verbindung zwischen der Einführung von KI und der Liefergeschwindigkeit her. Teams, die Code-Assistenten verwenden, liefern in einem bestimmten Zeitraum mehr Funktionen.
Der gleiche Bericht identifiziert jedoch einen anhaltend negativen Zusammenhang mit der Stabilität von Produktionsbereitstellungen. Mit anderen Worten: Schneller zu produzieren garantiert nicht, besser zu produzieren. Die Vorfälle nach der Bereitstellung nehmen nicht proportional zur gelieferten Code-Menge ab.
Ein oft ignorierter Punkt in konkurrierenden Analysen: KI neigt dazu, bereits vorhandene Praktiken in einem Team zu verstärken. Ein Team mit guten Überprüfungs- und Testpraktiken sieht eine Verbesserung seiner Ergebnisse. Ein Team mit fragilen Prozessen sieht seine Schwächen sich verschärfen. Das Werkzeug ist kein Korrektiv, sondern ein Verstärker. Ressourcen wie codyx.org ermöglichen es, die verschiedenen Ansätze zur Codegenerierung in diesem Kontext zu erkunden.
Kontrollierte Studien zur Codegenerierung: widersprüchliche Ergebnisse
Die verfügbaren Studien kommen nicht zu einer einheitlichen Schlussfolgerung. Die folgende Tabelle fasst die beobachteten Unterschiede zwischen zwei Arten von aktuellen Studien zusammen.
| Studienart | Kontext | Beobachtetes Ergebnis |
|---|---|---|
| METR 2025 Studie | Erfahrene Entwickler, vertraute Open-Source-Projekte | Gemessene Dauer der Aufgaben nimmt zu, trotz des Eindrucks einer Beschleunigung |
| Feldstudien (3 Unternehmen) | Alltägliche Entwicklungsaufgaben, Zugang zu Copilot | Mehr abgeschlossene Aufgaben im beobachteten Zeitraum |
Die METR-Studie hebt eine auffällige Diskrepanz hervor: Die Entwickler schätzten, dass die KI sie beschleunigt hat, während die tatsächliche Dauer gestiegen ist. Diese Wahrnehmungsverzerrung stellt ein methodologisches Problem für jedes Unternehmen dar, das die KI ausschließlich auf der Grundlage der Eindrücke seiner Teams bewertet.
Die Feldstudien zeigen hingegen einen messbaren Gewinn an abgeschlossenen Aufgaben. Diese Ergebnisse messen nicht dasselbe und sind nicht auf alle Kontexte übertragbar. Die Art des Projekts, die Vertrautheit mit dem Code und das Erfahrungsniveau des Entwicklers verändern die Ausgangslage radikal.
Sicherheit des von KI generierten Codes: ein unterschätzter Aspekt
Die meisten Produktivitätsanalysen konzentrieren sich auf die Schreibgeschwindigkeit. Die Sicherheit des produzierten Codes bleibt ein wenig behandelter operativer Aspekt.
Die Sicherheitsüberprüfung und die menschliche Überprüfung können einen Teil der bei der ursprünglichen Erstellung gewonnenen Zeit absorbieren. Ein Entwickler, der eine Funktion in wenigen Sekunden generiert, aber anschließend zwanzig Minuten damit verbringt, sicherzustellen, dass sie keine Sicherheitsanfälligkeiten oder falsche Berechtigungsverwaltung enthält, hat nicht unbedingt netto Zeit gewonnen.
Dieses Phänomen führt eher zu einer Verschiebung der Belastung als zu einer Reduzierung. Die Schreibzeit nimmt ab, die Überprüfungszeit steigt. Für Teams, die an sensiblen Anwendungen (Gesundheit, Finanzen, Infrastruktur) arbeiten, sollte dieser Transfer quantifiziert werden, bevor globale Gewinne proklamiert werden.
- Die automatische Generierung überprüft nicht die Einhaltung der spezifischen Sicherheitsstandards des Projekts
- Die von der KI generierten Unit-Tests decken oft die nominalen Fälle ab, vernachlässigen jedoch Grenzfälle und Angriffsszenarien
- Die menschliche Codeüberprüfung bleibt die letzte Bastion, und ihre Zeit steigt, wenn das Volumen des produzierten Codes zunimmt
Sicherheit getrennt von der Geschwindigkeit messen
Ein Tool zur Codegenerierung ausschließlich nach der Anzahl der produzierten Zeilen oder abgeschlossenen Aufgaben zu bewerten, ist, als würde man die Geschwindigkeit eines Fahrzeugs messen, ohne die Bremsen zu überprüfen. Sicherheitsmetriken (nach der Generierung erkannte Schwachstellen, Korrekturquote vor der Bereitstellung) sollten in jedem Dashboard zur KI-Einführung enthalten sein.
Entwicklerempfindungen gegen gemessene Daten: Wie man KI bewertet
Die Diskrepanz, die in der METR-Studie zwischen Wahrnehmung und Messung festgestellt wurde, wirft eine praktische Frage für technische Verantwortliche auf. Auf welchen Indikatoren sollte eine Entscheidung über die Einführung oder Erneuerung einer Lizenz basieren?
- Das Volumen der pro Sprint abgeschlossenen Aufgaben gibt ein Signal über den Durchsatz, jedoch nicht über die Qualität des gelieferten Codes
- Die Rollback-Quote nach der Bereitstellung (DORA-Metrik) erfasst die tatsächliche Stabilität besser als die Teamwahrnehmung
- Die Zeit für die Codeüberprüfung pro Pull-Request, gemessen vor und nach der Einführung von KI, zeigt, ob der Schreibgewinn in eine Überprüfungsüberlastung umschlägt
Eine zuverlässige Bewertung kombiniert mindestens drei Indikatoren: Durchsatz, Stabilität und Überprüfungszeit. Sich ausschließlich auf Eindrücke oder das produzierte Codevolumen zu verlassen, führt zu falschen Schlussfolgerungen.
Der DORA-Bericht 2025 zeigt, dass die Teams, die tatsächlich Fortschritte machen, diejenigen sind, die bereits über solide Praktiken für automatisierte Tests und systematische Überprüfungen verfügen. KI hat diese Praktiken nicht ersetzt, sondern sie produktiver gemacht. Für die anderen hat das Werkzeug vor allem die Produktion technischer Schulden beschleunigt.
Die Herausforderung für die kommenden Monate besteht nicht darin, ob KI schneller Code generiert. Das tut sie. Die offene Frage betrifft die tatsächlichen Kosten dieses Codes, nachdem er über einen längeren Zeitraum bereitgestellt, gewartet und gesichert wurde.
