Skip to main content
Log in

Reliabilitätstests in Inhaltsanalysen

Eine Analyse der Dokumentationspraxis in Publizistik und Medien & Kommunikationswissenschaft

Reliability tests in content analyses

The documentation of reliability in Publizistik and Medien & Kommunikationswissenschaft

  • Forschungsnotiz
  • Published:
Publizistik Aims and scope Submit manuscript

Zusammenfassung

Der Beitrag befasst sich mit der Praxis der Reliablitätsdokumentation in Aufsätzen, in denen standardisierte inhaltsanalytische Ergebnisse enthalten sind. Anhand einer standardisierten Meta-Inhaltsanalyse aller in den Zeitschriften Publizistik und Medien & Kommunikationswissenschaft veröffentlichten wissenschaftlichen Aufsätze aus den Jahren 2001 bis 2010 kann gezeigt werden, dass die Dokumentationspraxis zunehmend den Lehrbuchempfehlungen folgt. Häufig sind die Angaben zur Reliabilität jedoch wenig detailliert, in knapp einem Drittel aller untersuchten inhaltsanalytischen Aufsätze wird keinerlei Bezug auf Reliabilitätsaspekte genommen. Trotz der Autorenhinweise in den Fachzeitschriften bleibt die Praxis der Reliabilitätsdokumentation uneinheitlich. Die Formulierung von präzisen Qualitätskriterien der Inhaltsanalyse erscheint weiterhin notwendig.

Abstract

A content analysis of all articles published in Publizistik and Medien & Kommunikationswissenschaft between 2001 and 2010 shows that reliability documentation has improved considerably in Germany. However, this documentation if often imprecise and incomplete, and almost a third of all articles do not even mention coding reliability. Although both scholarly journals explicitly require certain documentation standards, the actual reporting practice varies considerably. Precise quality standards for content analyses are therefore necessary.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Notes

  1. Früh (2011, S. 13–14) erwähnt in der Einleitung der 7. Aufl. seines Lehrbuchs die Ergebnisse einer bislang unveröffentlichten Meta-Inhaltsanalyse für einen vergleichbaren Zeitraum (2000 bis 2009) von sechs nationalen und internationalen Fachzeitschriften aus der Kommunikations- und Medienwissenschaft, Soziologie und Sozialpsychologie (vgl. hierzu ausführlich Früh und Früh 2012a sowie Früh und Früh 2012b).

  2. Wir danken Carina Kordes und David Maurer für die Mitarbeit am Untersuchungsinstrument und die Codierung.

  3. Die Herausgeber der Zeitschrift Communication Methods and Measures (Routledge) schreiben in diesem Zusammenhang in ihren Autorenrichtlinien (Hayes et al. 2011, S. 1): „[...] measures of the reliability of data resulting from subjective coding decisions should be chance-corrected. Percent agreement is not a defensible index of reliability [...]“.

Literatur

  • Barcus, F. E. (1959). Communication content: Analysis of the research, 1900–1958 (A content analysis of content analysis). Unveröffentlichte Dissertation, University of Illinois.

  • Brosius, H.-B. (1994). Integrations- oder Einheitsfach? Die Publikationsaktivitäten von Autoren der Zeitschriften „Publizistik“ und „Rundfunk und Fernsehen“ 1983–1992. Publizistik, 39, 73–90.

    Google Scholar 

  • Brosius, H.-B. (1998). Publizistik- und Kommunikationswissenschaft im Profil. Wer publiziert in „Publizistik“ und „Rundfunk und Fernsehen“? Rundfunk und Fernsehen, 46, 333–347.

    Google Scholar 

  • Brosius, H.-B., & Haas, A. (2009). Auf dem Weg zur Normalwissenschaft. Themen und Herkunft der Beiträge in „Publizistik“ und „Medien & Kommunikationswissenschaft“. Publizistik, 54, 168–190.

    Article  Google Scholar 

  • Brosius, H.-B., Koschel, F., & Haas, A. (2009). Methoden der empirischen Kommunikationsforschung. Eine Einführung (5. Aufl.). Wiesbaden: VS Verlag.

    Google Scholar 

  • Donsbach, W., Laub, T., Haas, A., & Brosius, H. B. (2005). Anpassungsprozesse in der Kommunikationswissenschaft. Themen und Herkunft der Forschung in den Fachzeitschriften „Publizistik“ und „Medien & Kommunikationswissenschaft“. Medien & Kommunikationswissenschaft, 53, 46–72.

    Google Scholar 

  • Fink, E. J., & Gantz, W. (1996). A content analysis of three mass communication research traditions: Social science, interpretive studies, and critical analysis. Journalism & Mass Communication Quarterly, 73, 114–134.

    Article  Google Scholar 

  • Früh, W. (2011). Inhaltsanalyse (7. Aufl.). Konstanz: UVK.

    Google Scholar 

  • Früh, W., & Früh, H. (2012a). Empirische Methoden in den Sozialwissenschaften und die Rolle der Inhaltsanalyse. Eine Analyse deutscher und internationaler Fachzeitschriften 2000 bis 2009. Unveröffentlichtes Manuskript.

  • Früh, W., & Früh, H. (2012b). Qualitätsstandards der Inhaltsanalyse. Unveröffentlichtes Manuskript.

  • Gehrau, V., Fretwurst, B., Krause, B., & Daschmann, G. (2005). Auswahlverfahren in der Kommunikationswissenschaft. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Hayes, A. F., Reid, S., & Matthes, J. (2011). New Submission Guidelines. http://www.tandf.co.uk/journals/pdf/HCMSsubmissionguide.pdf. Zugegriffen: 1. Juni 2012.

  • Hohlfeld, R., & Neuberger, C. (1998). Profil, Grenzen und Standards der Kommunikationswissenschaft. Eine Inhaltsanalyse wissenschaftlicher Fachzeitschriften. Rundfunk und Fernsehen, 46, 313–332.

    Google Scholar 

  • Huber, N. (2010). Kommunikationswissenschaft als Beruf. Zum Selbstverständnis von Professoren des Faches im deutschsprachigen Raum. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Kaase, M. (Hrsg.) (1999). Deutsche Forschungsgemeinschaft. Qualitätskriterien der Umfrageforschung: Memorandum. Berlin: Akademie Verlag.

    Google Scholar 

  • Koch, U., Witte, H., & Witte, E. H. (1974). Die Inhaltsanalyse als Meßinstrument. Methodenkritische Aspekte einiger Inhaltsanalysen von Publikumszeitschriften. Publizistik, 17, 177–184.

    Google Scholar 

  • Kolb, S. (2004). Verlässlichkeit von Inhaltsanalysedaten. Reliabilitätstest, Errechnen und Interpretieren von Reliabilitätskoeffizienten für mehr als zwei Codierer. Medien & Kommunikationswissenschaft, 52, 335–354.

    Google Scholar 

  • Krippendorff, K. (2004a). Content analysis. An introduction to its methodology. Thousand Oaks: Sage.

    Google Scholar 

  • Krippendorff, K. (2004b). Reliability in Content Analysis: Some Common Misconceptions and Recommendations. Human Communication Research, 30, 411–433.

    Google Scholar 

  • Lauf, E. (2001). ‚.96 nach Holsti‘. Zur Reliabilität von Inhaltsanalysen und deren Darstellung in kommunikationswissenschaftlichen Fachzeitschriften. Publizistik, 46, 57–68.

    Article  Google Scholar 

  • Lauf, E. (2006). Methoden. In C. Holtz-Bacha, A. Kutsch, W. R. Langenbucher, & K. Schönbach (Hrsg.), Fünfzig Jahre Publizistik (S. 179–192). Wiesbaden: VS Verlag.

    Google Scholar 

  • Löblich, M. (2010). Die empirisch-sozialwissenschaftliche Wende in der Publizistik- und Zeitungswissenschaft. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Loosen, W., & Scholl, A. (2012). Methodenkombinationen in der Kommunikationswissenschaft: Methodologische Herausforderungen und empirische Praxis. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2002). Content Analysis in Mass Communication. Assessment and Reorting of Intercoder Reliability. Human Communication Research, 28, 578–604.

    Article  Google Scholar 

  • Maurer, M., & Reinemann, C. (2006). Medieninhalte. Eine Einführung. Wiesbaden: VS Verlag.

    Google Scholar 

  • Merten, K. (1995). Inhaltsanalyse. Einführung in Theorie, Methode und Praxis. Opladen: Westdeutscher Verlag.

    Google Scholar 

  • Merten, K., & Grossmann, B. (1996). Möglichkeiten und Grenzen der Inhaltsanalyse. Rundfunk und Fernsehen, 44, 70–85.

    Google Scholar 

  • Meyen, M., & Löblich, M. (2004). 80 Jahre Zeitungs- und Kommunikationswissenschaft in München. Bausteine zu einer Institutsgeschichte. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Meyen, M., & Löblich, M. (2007). „Ich habe dieses Fach erfunden“. Wie die Kommunikationswissenschaft an die deutschsprachigen Universitäten kam. 19 biografische Interviews. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Meyen, M., & Wendelin, M. (2008). Journalistenausbildung, Empirie und neue Bausteine zu einer Geschichte des Münchener Instituts für Kommunikationswissenschaft. Mit einer Bibliografie der Dissertationen von1925 bis 2007. Für Wolfgang R. Langenbucher zum 70. Geburtstag. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Mochmann, E., & Immer, N. (1979). Forschungsarbeiten zur quantitativen Inhaltsanalyse in der Bundesrepublik Deutschland. In R. Mackensen & F. Sagebiel (Hrsg.), Soziologische Analysen: Referate aus den Veranstaltungen der Sektionen der Deutschen Gesellschaft für Soziologie und der ad-hoc-Gruppen beim 19. Deutschen Soziologentag (S. 729–736). Berlin: Technische Universität.

    Google Scholar 

  • Raupp, J., & Vogelgesang, J. (2009). Medienresonanzanalyse. Eine Einführung in Theorie und Praxis. Wiesbaden: VS Verlag.

    Google Scholar 

  • Riesmeyer, C., & Huber, N. (2012). Karriereziel Professorin. Wege und Strategien in der Kommunikationswissenschaft. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Riffe, D., & Freitag, A. (1997). A content analysis of content analyses: Twenty-Five years of journalism quarterly. Journalism & Mass Communication Quarterly, 74, 515–524.

    Article  Google Scholar 

  • Rössler, P. (2010). Inhaltsanalyse (2. Auflage). Konstanz: UVK.

    Google Scholar 

  • Scharkow, M. (2011). Zur Verknüpfung manueller und automatischer Inhaltsanalyse durch maschinelles Lernen. Medien & Kommunikationswissenschaft, 59, 545–562.

    Google Scholar 

  • Scharkow, M. (2012). Automatische Inhaltsanalyse und maschinelles Lernen. Berlin: epubli.

    Google Scholar 

  • Schatz, Kurt (1974). Die Informationseinheit als Forschungsinstrument der Inhaltsanalyse. Publizistik, 17, 301–310.

    Google Scholar 

  • Scheufele, B., Haas, A., & Brosius, H.-B. (2011). Mirror or molder? A study of media coverage, stock prices, and trading volumes in Germany. Journal of Communication, 61, 48–70.

    Article  Google Scholar 

  • Schrott, P. R., & Lanoue, D. J. (1994). Trends and perspectives in content analysis. In I. Borg & P. Ph. Mohler (Hrsg.), Trends and Perspectives in Empirical Social Research (S. 327–346). Berlin: de Gruyter.

    Chapter  Google Scholar 

  • Stark, B., Magin, M., Jandura, O., & Maurer, M. (2012). Methodische Herausforderungen komparativer Forschungsansätze. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Vogelgesang, J. (2012). Kommunikationswissenschaft studieren. Wiesbaden: Springer VS.

    Book  Google Scholar 

  • Wilke, J. (Hrsg.) (2005). Die Aktualität der Anfänge. 40 Jahre Publizistikwissenschaft an der Johannes Gutenberg-Universität Mainz. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Wilke, J. (2010). Personen, Institutionen, Prozesse. Fachgeschichtliche Beiträge zur Kommunikationswissenschaft und Medienforschung. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Wirth, W. (2001). Zum Stellenwert der Inhaltsanalyse in der kommunikations- und medienwissenschaftlichen Methodenausbildung. In W. Wirth & E. Lauf (Hrsg.), Inhaltsanalyse (S. 353–361). Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Wirth, W., & Lauf, E. (2001). Inhaltsanalyse. Köln: Herbert von Halem Verlag.

    Google Scholar 

  • Woelke, J., Maurer, M., & Jandura, O. (2010). Forschungsmethoden für die Markt- und Organisationskommunikation. Köln: Herbert von Halem Verlag.

    Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Jens Vogelgesang.

Rights and permissions

Reprints and permissions

About this article

Cite this article

Vogelgesang, J., Scharkow, M. Reliabilitätstests in Inhaltsanalysen. Publizistik 57, 333–345 (2012). https://doi.org/10.1007/s11616-012-0154-9

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11616-012-0154-9

Schlüsselwörter

Keywords

Navigation