Proof-of-Concept Study: Utilizing AI for Streamlined Thematic Coding and Analysis in QES

In dieser Machbarkeitsstudie wird die Leistung von KI (künstliche Intelligenz) im Vergleich zur manuellen Standardeingabe als methodische Abkürzung im QES-Prozess bewertet, wobei der Schwerpunkt auf den Phasen der thematischen Kodierung und Analyse liegt. Insbesondere werden Unterschiede in Bezug auf Ressourcenbedarf, Genauigkeit, Tiefe und Übereinstimmung zwischen KI-gesteuerten und manuellen Ansätzen untersucht. Unter Verwendung eines adaptiven Protokolls, um der schnellen Entwicklung der KI Rechnung zu tragen, wird die Studie Claude 2 für die Analyse verwenden. Thematische Kodiervorgaben werden aus einer Zufallsstichprobe von nicht frei zugänglichen QESs generiert und von einem zweiten Forscher überprüft. Eine Zufallsstichprobe von 30 Studien aus drei unveröffentlichten QES zu verschiedenen gesundheitswissenschaftlichen Themen (PROSPERO CRD42024531522; PROSPERO CRD42023430908; PMCID: PMC890566) wird analysiert. Die Datenerfassung erfolgt über eine Excel-Tabelle, in der die Ergebnisse der manuellen und der KI-generierten Prozesse erfasst und verglichen werden. Die thematische Kodierung erfolgt durch Hochladen jeder Studie in Claude 2 mit Anweisungen zur Generierung von Codes und Zitaten, die dann mit der ursprünglichen QES auf Genauigkeit, Tiefe und Vollständigkeit verglichen werden. Ein verblindeter Forscher wird die Ergebnisse der thematischen Kodierung anhand einer 5-stufigen semantischen Ähnlichkeitsskala in Anlehnung an Wang et al. (2018) bewerten. Die Analysephase des QES-Prozesses umfasst sowohl manuelle als auch KI-gesteuerte Methoden, wobei die KI-Codes zur Bewertung hochgeladen werden. Die Übereinstimmung zwischen manuellen und KI-Analysen wird ebenfalls von einem verblindeten Forscher auf der Grundlage einer vorab festgelegten Taxonomie bewertet. Die Ergebnisse der thematischen Kodierung und Analyse werden narrativ zusammengefasst, um einen Gesamteindruck von der Nützlichkeit und Zuverlässigkeit der KI im QES-Prozess zu vermitteln.