Zusammenfassung
Der Beitrag befasst sich mit der Praxis der Reliablitätsdokumentation in Aufsätzen, in denen standardisierte inhaltsanalytische Ergebnisse enthalten sind. Anhand einer standardisierten Meta-Inhaltsanalyse aller in den Zeitschriften Publizistik und Medien & Kommunikationswissenschaft veröffentlichten wissenschaftlichen Aufsätze aus den Jahren 2001 bis 2010 kann gezeigt werden, dass die Dokumentationspraxis zunehmend den Lehrbuchempfehlungen folgt. Häufig sind die Angaben zur Reliabilität jedoch wenig detailliert, in knapp einem Drittel aller untersuchten inhaltsanalytischen Aufsätze wird keinerlei Bezug auf Reliabilitätsaspekte genommen. Trotz der Autorenhinweise in den Fachzeitschriften bleibt die Praxis der Reliabilitätsdokumentation uneinheitlich. Die Formulierung von präzisen Qualitätskriterien der Inhaltsanalyse erscheint weiterhin notwendig.
Abstract
A content analysis of all articles published in Publizistik and Medien & Kommunikationswissenschaft between 2001 and 2010 shows that reliability documentation has improved considerably in Germany. However, this documentation if often imprecise and incomplete, and almost a third of all articles do not even mention coding reliability. Although both scholarly journals explicitly require certain documentation standards, the actual reporting practice varies considerably. Precise quality standards for content analyses are therefore necessary.
Notes
Früh (2011, S. 13–14) erwähnt in der Einleitung der 7. Aufl. seines Lehrbuchs die Ergebnisse einer bislang unveröffentlichten Meta-Inhaltsanalyse für einen vergleichbaren Zeitraum (2000 bis 2009) von sechs nationalen und internationalen Fachzeitschriften aus der Kommunikations- und Medienwissenschaft, Soziologie und Sozialpsychologie (vgl. hierzu ausführlich Früh und Früh 2012a sowie Früh und Früh 2012b).
Wir danken Carina Kordes und David Maurer für die Mitarbeit am Untersuchungsinstrument und die Codierung.
Die Herausgeber der Zeitschrift Communication Methods and Measures (Routledge) schreiben in diesem Zusammenhang in ihren Autorenrichtlinien (Hayes et al. 2011, S. 1): „[...] measures of the reliability of data resulting from subjective coding decisions should be chance-corrected. Percent agreement is not a defensible index of reliability [...]“.
Literatur
Barcus, F. E. (1959). Communication content: Analysis of the research, 1900–1958 (A content analysis of content analysis). Unveröffentlichte Dissertation, University of Illinois.
Brosius, H.-B. (1994). Integrations- oder Einheitsfach? Die Publikationsaktivitäten von Autoren der Zeitschriften „Publizistik“ und „Rundfunk und Fernsehen“ 1983–1992. Publizistik, 39, 73–90.
Brosius, H.-B. (1998). Publizistik- und Kommunikationswissenschaft im Profil. Wer publiziert in „Publizistik“ und „Rundfunk und Fernsehen“? Rundfunk und Fernsehen, 46, 333–347.
Brosius, H.-B., & Haas, A. (2009). Auf dem Weg zur Normalwissenschaft. Themen und Herkunft der Beiträge in „Publizistik“ und „Medien & Kommunikationswissenschaft“. Publizistik, 54, 168–190.
Brosius, H.-B., Koschel, F., & Haas, A. (2009). Methoden der empirischen Kommunikationsforschung. Eine Einführung (5. Aufl.). Wiesbaden: VS Verlag.
Donsbach, W., Laub, T., Haas, A., & Brosius, H. B. (2005). Anpassungsprozesse in der Kommunikationswissenschaft. Themen und Herkunft der Forschung in den Fachzeitschriften „Publizistik“ und „Medien & Kommunikationswissenschaft“. Medien & Kommunikationswissenschaft, 53, 46–72.
Fink, E. J., & Gantz, W. (1996). A content analysis of three mass communication research traditions: Social science, interpretive studies, and critical analysis. Journalism & Mass Communication Quarterly, 73, 114–134.
Früh, W. (2011). Inhaltsanalyse (7. Aufl.). Konstanz: UVK.
Früh, W., & Früh, H. (2012a). Empirische Methoden in den Sozialwissenschaften und die Rolle der Inhaltsanalyse. Eine Analyse deutscher und internationaler Fachzeitschriften 2000 bis 2009. Unveröffentlichtes Manuskript.
Früh, W., & Früh, H. (2012b). Qualitätsstandards der Inhaltsanalyse. Unveröffentlichtes Manuskript.
Gehrau, V., Fretwurst, B., Krause, B., & Daschmann, G. (2005). Auswahlverfahren in der Kommunikationswissenschaft. Köln: Herbert von Halem Verlag.
Hayes, A. F., Reid, S., & Matthes, J. (2011). New Submission Guidelines. http://www.tandf.co.uk/journals/pdf/HCMSsubmissionguide.pdf. Zugegriffen: 1. Juni 2012.
Hohlfeld, R., & Neuberger, C. (1998). Profil, Grenzen und Standards der Kommunikationswissenschaft. Eine Inhaltsanalyse wissenschaftlicher Fachzeitschriften. Rundfunk und Fernsehen, 46, 313–332.
Huber, N. (2010). Kommunikationswissenschaft als Beruf. Zum Selbstverständnis von Professoren des Faches im deutschsprachigen Raum. Köln: Herbert von Halem Verlag.
Kaase, M. (Hrsg.) (1999). Deutsche Forschungsgemeinschaft. Qualitätskriterien der Umfrageforschung: Memorandum. Berlin: Akademie Verlag.
Koch, U., Witte, H., & Witte, E. H. (1974). Die Inhaltsanalyse als Meßinstrument. Methodenkritische Aspekte einiger Inhaltsanalysen von Publikumszeitschriften. Publizistik, 17, 177–184.
Kolb, S. (2004). Verlässlichkeit von Inhaltsanalysedaten. Reliabilitätstest, Errechnen und Interpretieren von Reliabilitätskoeffizienten für mehr als zwei Codierer. Medien & Kommunikationswissenschaft, 52, 335–354.
Krippendorff, K. (2004a). Content analysis. An introduction to its methodology. Thousand Oaks: Sage.
Krippendorff, K. (2004b). Reliability in Content Analysis: Some Common Misconceptions and Recommendations. Human Communication Research, 30, 411–433.
Lauf, E. (2001). ‚.96 nach Holsti‘. Zur Reliabilität von Inhaltsanalysen und deren Darstellung in kommunikationswissenschaftlichen Fachzeitschriften. Publizistik, 46, 57–68.
Lauf, E. (2006). Methoden. In C. Holtz-Bacha, A. Kutsch, W. R. Langenbucher, & K. Schönbach (Hrsg.), Fünfzig Jahre Publizistik (S. 179–192). Wiesbaden: VS Verlag.
Löblich, M. (2010). Die empirisch-sozialwissenschaftliche Wende in der Publizistik- und Zeitungswissenschaft. Köln: Herbert von Halem Verlag.
Loosen, W., & Scholl, A. (2012). Methodenkombinationen in der Kommunikationswissenschaft: Methodologische Herausforderungen und empirische Praxis. Köln: Herbert von Halem Verlag.
Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2002). Content Analysis in Mass Communication. Assessment and Reorting of Intercoder Reliability. Human Communication Research, 28, 578–604.
Maurer, M., & Reinemann, C. (2006). Medieninhalte. Eine Einführung. Wiesbaden: VS Verlag.
Merten, K. (1995). Inhaltsanalyse. Einführung in Theorie, Methode und Praxis. Opladen: Westdeutscher Verlag.
Merten, K., & Grossmann, B. (1996). Möglichkeiten und Grenzen der Inhaltsanalyse. Rundfunk und Fernsehen, 44, 70–85.
Meyen, M., & Löblich, M. (2004). 80 Jahre Zeitungs- und Kommunikationswissenschaft in München. Bausteine zu einer Institutsgeschichte. Köln: Herbert von Halem Verlag.
Meyen, M., & Löblich, M. (2007). „Ich habe dieses Fach erfunden“. Wie die Kommunikationswissenschaft an die deutschsprachigen Universitäten kam. 19 biografische Interviews. Köln: Herbert von Halem Verlag.
Meyen, M., & Wendelin, M. (2008). Journalistenausbildung, Empirie und neue Bausteine zu einer Geschichte des Münchener Instituts für Kommunikationswissenschaft. Mit einer Bibliografie der Dissertationen von1925 bis 2007. Für Wolfgang R. Langenbucher zum 70. Geburtstag. Köln: Herbert von Halem Verlag.
Mochmann, E., & Immer, N. (1979). Forschungsarbeiten zur quantitativen Inhaltsanalyse in der Bundesrepublik Deutschland. In R. Mackensen & F. Sagebiel (Hrsg.), Soziologische Analysen: Referate aus den Veranstaltungen der Sektionen der Deutschen Gesellschaft für Soziologie und der ad-hoc-Gruppen beim 19. Deutschen Soziologentag (S. 729–736). Berlin: Technische Universität.
Raupp, J., & Vogelgesang, J. (2009). Medienresonanzanalyse. Eine Einführung in Theorie und Praxis. Wiesbaden: VS Verlag.
Riesmeyer, C., & Huber, N. (2012). Karriereziel Professorin. Wege und Strategien in der Kommunikationswissenschaft. Köln: Herbert von Halem Verlag.
Riffe, D., & Freitag, A. (1997). A content analysis of content analyses: Twenty-Five years of journalism quarterly. Journalism & Mass Communication Quarterly, 74, 515–524.
Rössler, P. (2010). Inhaltsanalyse (2. Auflage). Konstanz: UVK.
Scharkow, M. (2011). Zur Verknüpfung manueller und automatischer Inhaltsanalyse durch maschinelles Lernen. Medien & Kommunikationswissenschaft, 59, 545–562.
Scharkow, M. (2012). Automatische Inhaltsanalyse und maschinelles Lernen. Berlin: epubli.
Schatz, Kurt (1974). Die Informationseinheit als Forschungsinstrument der Inhaltsanalyse. Publizistik, 17, 301–310.
Scheufele, B., Haas, A., & Brosius, H.-B. (2011). Mirror or molder? A study of media coverage, stock prices, and trading volumes in Germany. Journal of Communication, 61, 48–70.
Schrott, P. R., & Lanoue, D. J. (1994). Trends and perspectives in content analysis. In I. Borg & P. Ph. Mohler (Hrsg.), Trends and Perspectives in Empirical Social Research (S. 327–346). Berlin: de Gruyter.
Stark, B., Magin, M., Jandura, O., & Maurer, M. (2012). Methodische Herausforderungen komparativer Forschungsansätze. Köln: Herbert von Halem Verlag.
Vogelgesang, J. (2012). Kommunikationswissenschaft studieren. Wiesbaden: Springer VS.
Wilke, J. (Hrsg.) (2005). Die Aktualität der Anfänge. 40 Jahre Publizistikwissenschaft an der Johannes Gutenberg-Universität Mainz. Köln: Herbert von Halem Verlag.
Wilke, J. (2010). Personen, Institutionen, Prozesse. Fachgeschichtliche Beiträge zur Kommunikationswissenschaft und Medienforschung. Köln: Herbert von Halem Verlag.
Wirth, W. (2001). Zum Stellenwert der Inhaltsanalyse in der kommunikations- und medienwissenschaftlichen Methodenausbildung. In W. Wirth & E. Lauf (Hrsg.), Inhaltsanalyse (S. 353–361). Köln: Herbert von Halem Verlag.
Wirth, W., & Lauf, E. (2001). Inhaltsanalyse. Köln: Herbert von Halem Verlag.
Woelke, J., Maurer, M., & Jandura, O. (2010). Forschungsmethoden für die Markt- und Organisationskommunikation. Köln: Herbert von Halem Verlag.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Vogelgesang, J., Scharkow, M. Reliabilitätstests in Inhaltsanalysen. Publizistik 57, 333–345 (2012). https://doi.org/10.1007/s11616-012-0154-9
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11616-012-0154-9