Sprachmodelle im Test

Studie stellt KI-Texten im Marketing schlechtes Zeugnis aus

Large Language Model (LLM), sprich große KI-Sprachmodelle, gelten längst als selbstverständliches Werkzeug in Marketing und Vertrieb. Doch wie tauglich ihre Texte tatsächlich sind, blieb bisher weitgehend unbelegt. Genau das hat nun die Münchner Textagentur Wortliga im Auftrag des SEO-Anbieters Sistrix überprüft. Analysiert wurden dabei 2.112 B2B-Texte aus elf Gattungen, von Social-Media-Beiträgen über Werbe-E-Mails bis zu SEO-Blogartikeln, Case Studies und Whitepapers. Das Fazit fällt für sämtliche getesteten Modelle eher ernüchternd aus.

Elf Textgattungen auf dem Prüfstand

Für vergleichbare Bedingungen griffen die Studienautor:innen direkt auf die Programmierschnittstellen der Modelle zu, wählten eine neutrale Temperatur-Einstellung und ließen jede Textsorte über acht unterschiedliche Prompts erzeugen. Auf diese Weise sollten sowohl gut durchdachte als auch bewusst nachlässige Arbeitsweisen abgebildet werden, wie sie im redaktionellen Alltag vorkommen.

Bewertet wurde jeder Text letztlich mit dem Wortliga-Score, der Lesbarkeit, sprachliche Hürden wie Schachtelsätze und Passiv-Jargon sowie Klang und Substanz zusammenfassen soll. Als verständlich gelte ein Text erst ab 60 Punkten, und dieser Wert markiert im gesamten Test die entscheidende Messlatte.

Claude vorn, überzeugend war dennoch keiner

An der Spitze landete Claude Opus 4.7 von Anthropic, das branchenübergreifend die stabilsten sprachlichen Resultate ablieferte. Von einer Bestnote ist das Modell allerdings weit entfernt: Mit durchschnittlich 47,7 Punkten bleibt auch der Testsieger deutlich unter der Verständlichkeitsgrenze von 60 Punkten.

Knapp dahinter folgt Googles Vorabversion Gemini 3.1 Pro mit 46,8 Punkten, die vor allem durch eine auffällige Häufung von Floskeln und Füllwörtern hervorstach. Das Schlusslicht bildet GPT 5.5 von OpenAI mit lediglich 37,7 Punkten, das laut Studie ohne klare Vorgaben rasch in Beamtendeutsch und komplexe Fachsprache abgleitet und damit Führungskräften und Entscheider:innen die Lektüre erschwert.

Für Studienleiter Gidon Wagner von Wortliga ist die Botschaft eindeutig: "Die Ergebnisse zeigen, dass die unkontrollierte KI-Kommunikation in Marketing und Vertrieb riskant ist." Die Studie belege, dass "KI-Modelle von Haus aus keine überzeugenden B2B-Texte schreiben", so Wagner.

Wenn ein schlechter Prompt den Stil kippt

Besonders aufschlussreich ist ein Nebeneffekt, den die Studie als "Chamäleon-Effekt" beschreibt. Übernimmt ein Modell den distanziert-förmlichen Tonfall eines unglücklich formulierten Prompts, bricht die Verständlichkeit dramatisch ein und sinkt im Schnitt auf magere 4,4 Punkte. Bei nachlässigen Vorgaben ignorieren die Systeme sogar die Konventionen einzelner Textsorten, sodass sich eine Werbe-E-Mail plötzlich wie ein Amtsschreiben liest. Am stärksten zeigte sich dieses Muster bei GPT 5.5.

"Ob ein Text von einem KI-System korrekt interpretiert wird, hängt unter anderem von seiner sprachlichen Klarheit und Struktur ab", erklärt Sistrix-Gründer und -CEO Johannes Beus. "Sprache ist keine Geschmacksfrage mehr. Was also lange als 'nice to have' galt, ist heute sowohl aus Accessibility-Sicht als auch aus der Perspektive maschinenlesbarer Inhalte ein starkes Qualitätskriterium." 

Die gesamte Studie können Sie hier nachlesen.

www.wortliga.de