Qualitätskriterien für die automatische Inhaltsanalyse.:Zur Integration von Verfahren des maschinellen Lernens in die Kommunikationswissenschaft

In der automatischen Inhaltsanalyse werden die standardisierte manuelle Inhaltsanalyse der Kommunikationswissenschaft und die automatische Textklassifikation des überwachten maschinellen Lernens verbunden, um die wachsende Menge medial vermittelter Inhalte zu beschreiben, analysieren und vergleichen. Qualitätskriterien für die manuelle Inhaltsanalyse zielen auf Validität und Reliabilität ab, während sich Gütekriterien für die automatische Textklassifikation größtenteils mit Reproduzierbarkeit befassen. Zweifel daran, ob Textklassifikationsmodelle inhaltlich relevante Features lernen anstatt auf Scheinkorrelationen oder Artefakte im Datensatz trainiert zu werden, deuten auf ein Validitätsproblem für die automatische Inhaltsanalyse hin: Kommunikationswissenschaftliche Forschung, die diese Methode nutzt, muss sicherstellen, dass die automatische Textklassifikation nicht lediglich zuverlässig reproduziert, sondern gültige Ergebnisse liefert. Diese Arbeit bündelt epistemologische Differenzen in Sozialwissenschaften und Informatik und zeigt daraus resultierende Reibungspunkte im Umgang mit Theorie, Methodologie, Qualitätskriterien und dem Forschungsprozess in der Kommunikationswissenschaft und dem Machine Learning auf. Im Vergleich der Forschungsprozesse zeigt sich, dass das Kriterium der Erklärbarkeit im maschinellen Lernen als Streben nach Validität zu verstehen ist. Daraufhin wird geprüft, welche Erklärbarkeitsstrategien im maschinellen Lernen für eine Validitätsprüfung nutzbar gemacht werden können. Empfehlungen für eine Weiterentwicklung der automatischen Inhaltsanalyse umfassen die Entwicklung übergreifender Qualitätskriterien, eines interdisziplinären Forschungsprozesses und die Auseinandersetzung mit den grundlegenderen epistemologischen und methodologischen Konflikten.