Die Qualitätssicherung moderner Webanwendungen durch End-to-End- (E2E-)Tests ist

ein kritischer Erfolgsfaktor, der in der Praxis jedoch oft durch ressourcenintensive und

fehleranfällige manuelle Prozesse behindert wird. Diese Bachelorarbeit untersucht

empirisch, inwieweit Large Language Models (LLMs) die Transformation

natürlichsprachlicher Anforderungen in strukturierte Testspezifikationen und ausführbaren

Testcode automatisieren können.

In einem zweistufigen experimentellen Design wurde zunächst die semantische Fähigkeit

verschiedener Modelle (Gemini 3 Pro, GPT-5, Qwen 3) evaluiert, Anforderungen in

Gherkin-Szenarien zu überführen. Die Ergebnisse zeigen, dass die Prompting-Strategie

einen signifikanten Einfluss hat: Der Few-Shot-Ansatz erwies sich als überlegen,

während komplexere Verfahren wie Chain-of-Thought (CoT) im Kontext formaler Syntax

kontraproduktiv wirkten. Zudem wurde eine lineare Abhängigkeit zwischen der Qualität

der Eingabeanforderungen und der Präzision der Ausgabe nachgewiesen.

In der zweiten Phase wurde die technische Synthese von Java-Playwright-Code validiert.

Der Proof of Concept bestätigte zwar eine hohe syntaktische Kompetenz der Modelle mit

einer Parsing-Rate von 100%, offenbarte jedoch funktionale Grenzen bei der

Zustandsvalidierung (42,5% Erfolgsquote) aufgrund fehlender Laufzeit-Rückkopplung.

Die Arbeit kommt zu dem Schluss, dass LLMs aktuell nicht als autonome Test-Agenten,

sondern als hocheffiziente "Translation Engines" in einem hybriden "Human-in-the-Loop"-

Prozess eingesetzt werden sollten

Ensuring the quality of modern web applications through end-to-end (E2E) testing is a

critical success factor, yet in practice, it is often hindered by resource-intensive and errorprone manual processes. This bachelor thesis empirically evaluates the extent to which

Large Language Models (LLMs) can automate the transformation of natural language

requirements into structured test specifications and executable test code.

Using a two-stage experimental design, the semantic capability of various models

(Gemini 3 Pro, GPT-5, Qwen 3) to translate requirements into Gherkin scenarios was first

evaluated. The results indicate that the prompting strategy has a significant impact: The

Few-Shot approach proved to be superior, while more complex methods such as Chainof-Thought (CoT) were counterproductive in the context of formal syntax. Furthermore, a

linear dependency between the quality of input requirements and the precision of the

output was demonstrated.

In the second phase, the technical synthesis of Java Playwright code was validated.

While the proof of concept confirmed high syntactic competence of the models with a

parsing rate of 100%, it revealed functional limitations in state validation (42.5% success

rate) due to a lack of runtime feedback. The thesis concludes that current LLMs should

not be deployed as autonomous test agents but rather as highly efficient "Translation

Engines" within a hybrid "Human-in-the-Loop" process.