Zusammenfassung:
Der Beitrag untersucht die Datenqualität einer kombinierten Telefon- und Onlinebefragung. Solche Mixed-Mode-Designs werden in der deutschen akademischen Sozialforschung noch relativ selten eingesetzt, obwohl damit eine Reihe von Vorteilen verbunden sein kann. Allerdings können sich auch negative Effekte aus einer Kombination von Daten aus verschiedenen Quellen ergeben. Im Rahmen eines randomisierten Experimentes werden eine Single-Mode-Telefonbefragung und eine Mixed-Mode-Telefon-/Onlinebefragung hinsichtlich mehrerer Indikatoren der Datenqualität untersucht. Vorteilhafte Effekte zeigt die Mixed-Mode-Erhebung bezüglich einer erhöhten Responserate. Zudem liegen die soziodemographischen Merkmale der Befragten näher an der Grundgesamtheit und Antworten auf sensitive Fragen weisen geringere Messfehler auf. Andererseits erhöht sich die Antwortverweigerung, allerdings nur unter sehr spezifischen (und vermeidbaren) Bedingungen.
Abstract :
This study investigates the data quality achieved by combining telephone and online surveys. Mixed-mode designs are rarely implemented in German academic social research, even though this procedure may offer several advantages. It is also possible that some negative effects may result from combining data from different sources. A randomized experiment is used to compare a single-mode telephone survey with a mixed-mode telephone and online survey which investigate a variety of indicators of data quality. In the mixed-mode condition the response rate was significantly higher, the composition of the sociodemographic variables of the sample is closer to the population distribution, and social desirability bias was also reduced. In some cases non-response rises, but these specific circumstances are easily avoidable.
Über die Autoren
Gerhard Krug, geb. 1974 in Bayreuth. Bis 2003 Studium der Soziologie in Bamberg. 2009 Promotion in Bamberg. Habilitation 2016 in Hannover. Seit 2003 Mitarbeiter am Institut für Arbeitsmarkt und Berufsforschung (IAB), Nürnberg. Seit 2010 gleichzeitig Akademischer Rat a.Z. an der Universität Erlangen-Nürnberg. Seit 2016 Vertretungsprofessor für empirische Wirtschaftssoziologie an der Universität Erlangen-Nürnberg.
Forschungsschwerpunkte: Arbeitsmarktsoziologie, Soziologische Netzwerkforschung, Gesundheitssoziologie, Methoden der empirischen Sozialforschung
Wichtigste Publikationen: In-work Benefits for Low-Wage Jobs: Can Additional Income Reduce Employment Stability? European Sociological Review 25, 2009: 459–474; Fehlende Daten bei der Verknüpfung von Prozess- und Befragungsdaten. Ein empirischer Vergleich ausgewählter Missing Data Verfahren. Methoden, Daten, Analysen. 4, 2010: 27–57; Zuletzt in dieser Zeitschrift: Network-based job search – An analysis of monetary and non-monetary labor market outcomes for the low-status unemployed (mit M. Rebien): ZfS 41, 2012, 316–333
Johann Carstensen, geb. 1984 in Hamburg. Bis 2010 Studium der Soziologie, Politischen Wissenschaft und Neueren deutschen Literatur- und Medienwissenschaft in Kiel. 2016 Promotion in Nürnberg. Von 2010 bis 2015 wissenschaftlicher Mitarbeiter an der CAU zu Kiel und der FAU Erlangen-Nürnberg. Seit 2015 wissenschaftlicher Mitarbeiter am Deutschen Zentrum für Hochschul- und Wissenschaftsforschung (DZHW).
Forschungsschwerpunkte: Bildungsforschung, Gesundheitssoziologie, soziale Ungleichheit.
Wichtigste Publikationen: Health Returns to Education and Educational Systems (mit Monika Jungbauer-Gans), in A. Hadjar & C. Gross (Hrsg.), Educational Systems and Educational Inequalities. International Comparisons, Bristol 2016; Die Messung von Gesundheit, in M. Jungbauer-Gans & P. Kriwy (Hrsg.), Handbuch Gesundheitssoziologie, Wiesbaden 2016.
Peter Kriwy, geb. 1970 in München. Bis 1998 Studium der Soziologie an der LMU München, 2007 Promotion an der CAU zu Kiel und 2013 Habilitation an der FAU Erlangen-Nürnberg. Seit 2014 ist er Professor für Soziologie mit Schwerpunkt Gesundheitsforschung an der TU Chemnitz. Zudem ist er seit 2014 Sprecher der Sektion Medizin- und Gesundheitssoziologie der Deutschen Gesellschaft für Soziologie.
Forschungsschwerpunkte: Evaluation gesundheitsbezogener Interventionen, Regionale gesundheitliche Ungleichheit, Analyse von seltenen Erkrankungen, Telemedizin, Gerechtigkeitsaspekte im Gesundheitswesen.
Wichtigste Publikationen: Handbuch Gesundheitssoziologie, Springer VS (im erscheinen) zusammen mit Monika Jungbauer-Gans. The influence of regional social inequality and labour market characteristics on health. In: Comparative Population Studies 38 (2013) 3: 769–794 zusammen mit Christiane Gross und Look Who’s Talking: Compositional Effects of Gender and Status on Verbal Contributions at Sociology Conferences. In: Gender, Work & Organization 20 (2013) 5: 545–560 zusammen mit Christiane Gross und Anja Gottburgsen.
Danksagung:
Wir danken dem Robert Koch-Institut (Berlin) für die Projektförderung (FKZ 1362/1-978), der ForschungsWerk GmbH für die fachkundige Durchführung der Telefoninterviews und den Projekthilfskräften Florian Leßmann, Frank Pisch und Aline Zucco für ihre Unterstützung bei der Feldarbeit. Frühere Versionen dieser Arbeit wurden u. a. auf den Joint Statistical Meetings 2011, der Tagung der European Survey Research Association 2011, dem DGS Kongress 2012, der Frühjahrstagung 2014 der Sektion „Methoden der empirischen Sozialforschung“ der DGS präsentiert. Bei den TeilnehmerInnen bedanken wir uns für ihre wertvollen Hinweise. Besonderer Dank gilt hierbei Andreas Diekmann, Frauke Kreuter und Mark Trappmann. Zudem danken wir den anonymen Gutachtern und den Herausgebern der ZfS für konstruktive Verbesserungsvorschläge.
Literatur
AAPOR (The American Association for Public Opinion Research), 2008: Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. Lenexa, Kansas: AAPOR.
Bronner, A. E. & T. Kuijlen, 2007: The Live or Digital Interviewer: A Comparison between CASI, CAPI and CATI with Respect to Differences in Response Behaviour. International journal of market research 49(2): 167–190.
Caliendo, M. & S. Kopeinig, 2008: Some Practical Guidance for the Implementation of Propensity Score Matching. Journal of Economic Surveys 22: 31–72.
Couper, M. P. & E. Coutts, 2006: Online-Befragung. Probleme und Chancen verschiedener Arten von Online-Erhebungen. Kölner Zeitschrift für Soziologie und Sozialpsychologie, Sonderheft 44: 217–243.
Couper, M. P., 2008: Designing Effective Web Surveys. New York: Cambridge University Press.
Couper, M. P., 2011: The Future of Modes of Data Collection. Public Opinion Quarterly 75(5): 889–908.
Curtin, R., S. Presser & E. Singer, 2005: Changes in Telephone Survey Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69(1): 87–98.
De Leeuw, E. D., 1992: Data Quality in Mail, Telephone and Face-to-Face Surveys: Amsterdam: TT-Publications.
De Leeuw, E. D., 2005: To Mix or Not to Mix Data Collection Modes in Surveys. Journal of Official Statistics 21(2): 233–255.
De Leeuw, E. D. & W. De Heer, 2002: Trends in Household Survey Nonresponse: A Longitudinal and International Comparison. Survey nonresponse: 41–54.
De Leeuw, E. D., J. Hox & S. Kef, 2003: Computer Assisted Self-Interviewing Tailored for Special Populations and Topics. Field Methods 15(3): 223–251.
De Leeuw, E. D., J. Hox & A. Scherpenzeel, 2011: Mode Effect or Question Wording: Measurement Error in Mixed-Mode Surveys. AAPOR. Online verfügbar unter https://www.amstat.org/sections/srms/Proceedings/y2010/Files/400117.pdf, zuletzt aktualisiert am 22.09.2010, zuletzt geprüft am 23.11.2011.
Dennis, M. J., C. Chatt, R. Li, A. Motto-Stanko & P. Pulliam, 2005: Data Collection Mode Effects Controlling for Sample Origins in a Panel Survey. Telephone versus Internet. Online verfügbar unter http://www.knowledgenetworks.com/ganp/docs/Research-0105.pdf.
Destatis, 2015: Fast jede zweite Person ab 65 Jahre nutzt das Internet. Online verfügbar unter https://www.destatis.de/DE/PresseService/Presse/Pressemitteilungen/2015/12/PD15_466_63931.html;jsessionid=0FA7DC5034C9B713B3AA4F293361C98A.cae3 – Angaben zur Internetnutzung in Deutschland vor 2014 sind auf Anfrage erhältlich.
Dillman, D. A., 1978: Mail and Telephone Surveys. The Total Design Method. New York: Wiley.
Dillman, D. A., R. L. Sangster, J. Tarnai & T. H. Rockwood, 1996: Understanding Differences in People’s Answers to Telephone and Mail Surveys. New Directions for Evaluation 1996 (70): 45–61.
Dillman, D. A., G. Phelps, R. Tortora, K. Swift, J. Kohrell, J. Berck & B. L. Messer, 2009: Response Rate and Measurement Differences in Mixed-Mode Surveys Using Mail, Telephone, Interactive Voice Response (IVR) and the Internet. Social Science Research 38: 1–18.
Dillman, D. A.; J. D. Smyth & L. M. Christian, 2014: Internet, phone, mail, and mixed-mode surveys: the tailored design method. New York: Wiley.
Diment, K. & S. Garrett-Jones, 2007: How Demographic Characteristics Affect Mode Preference in a Postal/Web Mixed-Mode Survey of Australian Researchers. Social Science Computer Review 25(3): 410–417.
Fricker, S., M. Galesic, R. Tourangeau & T. Yan, 2005: An Experimental Comparison of Web and Telephone Surveys. Public Opinion Quarterly 69(3): 370–392.
Gabler, S. & Häder, S., 1999: Erfahrungen beim Aufbau eines Auswahlrahmens für Telefonstichproben in Deutschland. ZUMA Nachrichten 44: 45–61.
Groves, R. M., 1989: Survey Errors and Survey Costs. New York: Wiley.
Groves, R. M. & R. L. Kahn, 1979: Surveys by Telephone: A National Comparison with Personal Interviews. New York: Academic Press.
Groves, R. M., F. J. Fowler Jr, M. P. Couper, J. M. Lepkowski, E. Singer & R. Tourangeau, 2004: Survey Methodology. New York: Wiley.
Hainmueller, J., 2012: Entropy Balancing for Causal Effects: A Multivariate Reweighting Method to Produce Balanced Samples in Observational Studies. Political Analysis 20 (1): 25–46.
Ho, D. E., K. Imai, G. King & E.A. Stuart, 2007: Matching as Nonparametric Preprocessing for Reducing Model Dependence in Parametric Causal Inference. Political Analysis 15: 199–236.
Hox, J. J. & E. D. De Leeuw, 1994: A Comparison of Nonresponse in Mail, Telephone, and Face-to-Face Surveys. Quality and Quantity 28(4): 329–344.
Initiative D21, 2008: Internetnutzung und Migrationshintergrund in Deutschland. Eine Sonderauswertung zum (N)ONLINER Atlas 2008. Online verfügbar unter http://www.initiatived21.de/wp-content/uploads/alt/08_NOA/NOA_Migration.pdf, zuletzt geprüft am 5.12.2016.
Jäckle, A., C. Roberts & P. Lynn, 2010: Assessing the Effect of Data Collection Mode on Measurement. International Statistical Review 78(1): 3–20.
Kleinert, C., M. Ruland & A. Trahms, 2013: Bias in einem komplexen Surveydesign. Ausfallprozesse und Selektivitäten in der IAB-Befragung ALWA. FDZ-Methodenreport 2/2013: 1–31.
Koch, A., 1997: Teilnahmeverhalten beim ALLBUS 1994. Soziodemographische Deter-minanten von Erreichbarkeit, Befragungsfähigkeit und Kooperationsbereitschaft. Kölner Zeitschrift für Soziologie und Sozialpsychologie 49: 98–122.
Koch, W. & B. Frees, 2016: Dynamische Entwicklung bei mobiler Internetnutzung sowie Audios und Videos. Ergebnisse der ARD/ZDF-Onlinestudie 2016. Media Perspektiven 9: 418–437.
Kreuter, F., S. Presser & R. Tourangeau, 2008: Social Desirability Bias in CATI, IVR, and Web Surveys. The Effects of Mode and Question Sensitivity. Public Opinion Quarterly 72 (5): 847–865.
Krosnick, J. A., 1991: Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied cognitive psychology 5(3): 213–236.
Krumpal, I., 2013: Determinants of Social Desirability Bias in Sensitive Surveys: A Literature Review. Quality & Quantity 47(4): 2025–2047.
Lozar Manfreda, K., M. Bosnjak, J. Berzelak, I. Haas, V. Vehovar & N. Berzelak, 2008: Web Surveys Versus Other Survey Modes: A Meta-Analysis Comparing Response Rates. Journal of the Market Research Society 50(1): 79–104.
Lynn, P. & O. Kaminska, 2012: The Impact of Mobile Phones on Survey Measurement Error. Public Opinion Quarterly 77(2): 586–605.
Marsden, P. V. & J. D. Wright, 2010: Handbook of Survey Research. 2. Aufl. Bingley: Emerald.
McDowell, I., 2006: Measuring Health: A Guide to Rating Scales and Questionnaires. Oxford: Oxford University Press.
Medway, R. L. & J. Fulton, 2012: When More Gets You Less: A Meta-Analysis of the Effect of Concurrent Web Options on Mail Survey Response Rates. Public Opinion Quarterly 76(4): 733–746.
Millar, M. M. & D. A. Dillman, 2011: Improving Response to Web and Mixed-Mode Surveys. Public Opinion Quarterly 75(2): 249–269.
Millar, M. M., A. C. O’Neill & D. A. Dillman, 2009: Are Mode Preferences Real? Technical Report 09-003. Pullman WA: Social & Economic Sciences Research Center. Washington State University.
Olson, K., J. D. Smyth & H. M. Wood, 2012: Does Giving People Their Preferred Survey Mode Actually Increase Survey Participation Rates? An Experimental Examination. Public Opinion Quarterly 76(4): 611–635.
Reuband, K.-H., 2014: Vom Festnetz zum Mobiltelefon. Stadtforschung und Statistik 2: 51–55.
RKI, 2011: Daten und Fakten: Ergebnisse der Studie „Gesundheit in Deutschland aktuell 2009“. Beiträge zur Gesundheitsberichterstattung des Bundes. Berlin.
RKI, 2012: Daten und Fakten: Ergebnisse der Studie „Gesundheit in Deutschland aktuell 2010“. Beiträge zur Gesundheitsberichterstattung des Bundes. Berlin.
RKI, 2014: Daten und Fakten: Ergebnisse der Studie „Gesundheit in Deutschland aktuell 2012“. Beiträge zur Gesundheitsberichterstattung des Bundes. Berlin.
RKI, 2015: Pilotstudie zur Durchführung von Mixed-Mode-Gesundheitsbefragungen in der Erwachsenenbevölkerung (Projektstudie GEDA 2.0). Beiträge zur Gesundheitsberichterstattung des Bundes. Berlin.
Rosenbaum, P. R. & D. B. Rubin, 1984: Reducing Bias in Observational Studies Using Subclassification on the Propensity Score. Journal of the American Statistical Association 79(387): 516–524.
Rubin, D. B., 2004: On Principles for Modeling Propensity Scores in Medical Research. Pharmacoepidemiology and Drug Safety 13: 855–857.
Sand, M., 2014: Dual-Frame-Telefonstichproben: Entwicklung, Handhabung und Gewichtung. GESIS-Technical Reports 2: 1–39.
Schnell, R., 2012: Survey-Interviews: Methoden standardisierter Befragungen. Wiesbaden: VS Verlag.
Shih, T.-H. & X.Fan, 2008: Comparing Response Rates from Web and Mail Surveys: A Meta-Analysis. Field Methods 20(3): 249–271.
Smyth, J. D., K. Olson & M. M. Millar, 2014: Identifying Predictors of Survey Mode Preference. Social Science Research 48: 135–144.
Smyth, J. D., L. M. Christian & D. A. Dillman, 2008: Does “Yes or No” on the Telephone Mean the Same as “Check-All-That-Apply” on the Web? Public Opinion Quarterly 72(1): 103–113.
Taddicken, M., 2008: Methodeneffekte bei Web-Befragungen. Einschränkungen der Datengüte durch ein „reduziertes Kommunikationsmedium“? Köln: von Halem.
Tarnai, J. & D. A. Dillman, 1992: Questionnaire Context as a Source of Response Differences in Mail and Telephone Surveys. S. 115–129 in: N. Schwarz & S. Sudman (Hrsg.), Context Effects in Social and Psychological Research. New York: Springer.
Tourangeau, R. & T. Yan, 2007: Sensitive Questions in Surveys. Psychological Bulletin 133(5): 859–883.
Tourangeau, R., L. J. Rips & K. Rasinski, 2000: The Psychology of Survey Response. Cambridge: Cambridge University Press.
Vannieuwenhuyze, J. & G. Loosveldt, 2013: Evaluating Relative Mode Effects in Mixed-Mode Surveys: Three Methods to Disentangle Selection and Measurement Effects. Sociological Methods & Research 42(1): 82–104.
Vannieuwenhuyze, J., G. Loosveldt & G. Molenberghs, 2011: A Method for Evaluating Mode Effects in Mixed-mode Surveys. Public Opinion Quarterly 74(5): 1027–1045.
Voogt, R. J. J. & W. E. Saris, 2005: Mixed-Mode Designs: Finding the Balance between Nonresponse Bias and Mode Effects. Journal of Official Statistics 21(3): 367–387.
Zusatzmaterial:
Die Onlineversion dieses Artikels (DOI 10.1515/zfsoz-2017-1006) bietet Zusatzmaterial für autorisierte Benutzer.
© 2017 by De Gruyter
