KURZFASSUNG:
Technologien wie Künstliche Intelligenz oder Virtuelle Realität werden weltweit weiterentwickelt, so dass neuartige Implementierungen mit funktionalen Verbesserungen und inhaltlichen Durchbrüchen aufwarten. Von neuen Verwendungsmöglichkeiten dieser Technologien wird fast täglich - zumeist sehr euphorisch - im Internet, der Wissenschaft und Wirtschaft berichtet. Häufig sind diese Berichte jedoch technologie-orientiert und selten problem- bzw. aufgaben-orientiert. Deshalb gibt es nach wie vor Problembereiche, in denen diese Technologien noch nicht hinreichend intensiv bzgl. ihres Einsatzpotenzials untersucht wurden. Das individuelle Vorbereiten auf ein Jobinterview basiert häufig auf einer mentalen Auseinandersetzung mit den zu erwartenden Herausforderungen anhand von Büchern und anderen Quellen für theoretisches Wissen.

Das Ziel dieser Masterarbeit besteht darin zu untersuchen, ob Künstliche Intelligenz und Virtuelle Realität in einer Anwendung miteinander verbunden werden können. Zusätzlich soll anhand der entstandenen Implementierung erforscht werden, ob sich damit eine Person auf sozial herausfordernde Situationen wie ein Jobinterview besser vorbereiten kann.

Deshalb lautet die Forschungsfrage: Ist es mittels von Deep-Learning-KI-Ansätzen, d.h. LLM-basierten Chatbots und online KI-Diensten für die Spracherkennung und Sentiment-Analyse, eine Social Training VR-Anwendung zu entwickeln, welche neuartige Nutzererlebnisse und nachhaltige Lernszenarios im Vergleich zu konventionellen Vorbereitungsmethoden schafft?

Um die Forschungsfrage zu beantworten, wurde eine prototypische Anwendung erstellt, welche mehrere KI-Dienste in eine singuläre VR-Umgebung integriert. Die Anwendung realisiert eine Simulation eines Jobinterviews mit einer aktiven Nutzerbeteiligung. Innerhalb der Simulation werden verschiedene Nutzerdaten erfasst, die zum Simulationsende als Feedback dem Probanten präsentiert werden.

Die entstandene Anwendung wurde von mehreren Personen bei spezifischen Rahmenbedingungen getestet. Die Testpersonen kamen aus verschiedenen Altersgruppen und besaßen wenig bis viel Vorwissen im IT-Bereich. Die Tests bestätigten positiv, dass eine sinnvolle Integration der genannten online KI-Dienste in eine VR-Anwendung möglich ist. Zur Nutzung der entstandenen VR-Anwendung wird neben VR-Headset und Internetverbindung keine zusätzliche Hardware benötigt. Die durch die KI-Dienste gelieferten Daten können ohne zusätzliche Software verwendet werden und erfordern lediglich einen singulären, vordefinierten und kostenlimitierten Account.

Die Testpersonen berichteten, dass die prototypische Implementierung bereits überwiegend positive Auswirkungen auf sie hatte und dadurch eine sehr gute zusätzliche Vorbereitungsmethode darstellt. Dabei ist wichtig, dass es keine vollkommene Alternative, sondern eine zusätzliche Ergänzung ist, weil die positive Wirkung nur dann entfaltet wird, wenn das grundlegende theoretische Wissen den Probanden vor ihrem Durchleben des VR-basierten Interviews bewusst ist.

Zu den positiven Effekten zählten eine erhöhte Spontanität und Flexibilität beim Antworten auf Fragen des Gesprächsleiters, ein besseres Zeitgefühl für das Antworten und eine Steigerung des Selbstvertrauens bzw. des Wirkungsgrades der Vorbereitungsarbeit außerhalb des Selbstgespräches.

Probleme sind vor allem im Bereich der Antwortzeiten von KI-Diensten aufgetreten. Die vorwiegend sehr hohe Verarbeitungsdauer unterbricht die Simulation zu Teilen auffällig. Ein weiterer Ausbau der VR-Anwendung müsste hierzu Verbesserungen erzielen. Ein inhaltlicher Ausbau sollte sich auch um eine weitere, textbasierte bzw. inhaltliche, Analyse des Gesprächsverlaufs kümmern und die Ergebnisse auch in das Feedback integrieren.

ABSTRACT:

Technologies such as artificial intelligence and virtual reality are being further developed worldwide, resulting in new implementations with functional improvements and conceptional breakthroughs. New applications of these technologies are reported almost daily - usually very euphorically - on the internet, in science and in business. However, these reports are often technology-oriented and rarely problem- or task-oriented. As a result, there are still problem areas in which these technologies have not yet been sufficiently examined due to their application potential. Individual preparation for a job interview is often based on a mental examination of the expected challenges using books and other sources of theoretical knowledge.

The aim of this master's thesis is to investigate whether artificial intelligence and virtual reality can be combined in one application. In addition, the resulting implementation will be used to investigate whether a person can use it to better prepare for socially challenging situations such as a job interview.

Therefore, the research question is: Is it possible to develop a social training VR application using deep learning AI approaches, i.e. LLM-based chatbots and online AI services for speech recognition and sentiment analysis, which creates novel user experiences and sustainable learning scenarios compared to conventional preparation methods?

To answer the research question, a prototype application was created that integrates several AI services into a singular VR environment. The application realizes a simulation of a job interview with active user participation. Various user data is recorded within the simulation and presented to the test person as feedback at the end of the simulation.

The resulting application was tested by several people under specific conditions. The volunteers came from different age groups and had little to a lot of prior knowledge in the IT sector. The tests positively confirmed that it is possible to integrate the aforementioned online AI services into a VR application in a meaningful way. Apart from a VR headset and an internet connection, no additional hardware is required to use the resulting VR application. The data provided by the AI services can be used without additional software for the dialogue and feedback. Only a unique, predefined and cost-limited account is required.

The volunteers reported that the prototype implementation had already a predominantly positive effect and was, therefore, a very good additional preparation. It is important to note that it is not a comprehensive alternative, but an additional supplement, because the positive effect can only be achieved if the volunteers are aware of the basic theoretical knowledge before they participate in the VR-based interview.

The positive effects included are an increase of spontaneity and flexibility when answering the interview partner's questions, a better sense of time for answering, and an increase in self-confidence as well as in the effectiveness of the preparation.

Problems have arisen primarily in the area of response times for AI services. The predominantly very long processing time interrupts the simulation noticeably in some cases. A further expansion of the VR application would have to achieve improvements in this area. A content-related expansion should also consider a text-based respectively content-related analysis of the dialogue and integrate the results into the feedback.