Skip to main content
main-content

01.12.2013 | Research article | Ausgabe 1/2013 Open Access

BMC Medical Research Methodology 1/2013

Prediction models for clustered data: comparison of a random intercept and standard regression model

Zeitschrift:
BMC Medical Research Methodology > Ausgabe 1/2013
Autoren:
Walter Bouwmeester, Jos WR Twisk, Teus H Kappen, Wilton A van Klei, Karel GM Moons, Yvonne Vergouwe
Wichtige Hinweise

Electronic supplementary material

The online version of this article (doi:10.​1186/​1471-2288-13-19) contains supplementary material, which is available to authorized users.

Competing interests

All authors (W Bouwmeester, JWR Twisk, TH Kappen, WA van Klei, KGM Moons, Y Vergouwe) state that they have no conflict of interests.

Authors’ contributions

Study design and analysis: WB, YV. Drafting manuscript: WB. Study design and reviewing the manuscript: JWRT, KGMM, THK, WAvK, YV. All authors read and approved the final manuscript.

Abstract

Background

When study data are clustered, standard regression analysis is considered inappropriate and analytical techniques for clustered data need to be used. For prediction research in which the interest of predictor effects is on the patient level, random effect regression models are probably preferred over standard regression analysis. It is well known that the random effect parameter estimates and the standard logistic regression parameter estimates are different. Here, we compared random effect and standard logistic regression models for their ability to provide accurate predictions.

Methods

Using an empirical study on 1642 surgical patients at risk of postoperative nausea and vomiting, who were treated by one of 19 anesthesiologists (clusters), we developed prognostic models either with standard or random intercept logistic regression. External validity of these models was assessed in new patients from other anesthesiologists. We supported our results with simulation studies using intra-class correlation coefficients (ICC) of 5%, 15%, or 30%. Standard performance measures and measures adapted for the clustered data structure were estimated.

Results

The model developed with random effect analysis showed better discrimination than the standard approach, if the cluster effects were used for risk prediction (standard c-index of 0.69 versus 0.66). In the external validation set, both models showed similar discrimination (standard c-index 0.68 versus 0.67). The simulation study confirmed these results. For datasets with a high ICC (≥15%), model calibration was only adequate in external subjects, if the used performance measure assumed the same data structure as the model development method: standard calibration measures showed good calibration for the standard developed model, calibration measures adapting the clustered data structure showed good calibration for the prediction model with random intercept.

Conclusion

The models with random intercept discriminate better than the standard model only if the cluster effect is used for predictions. The prediction model with random intercept had good calibration within clusters.
Zusatzmaterial
Additional file 1: Table S1: Simulation results in a domain with ICC = 5%, Pearson correlation X1 and random effect 0.4. Apparent performance. Table S2 Simulation results in a domain with ICC = 15%, Pearson correlation X1 and random effect 0.4. Table S3 Simulation results in a domain with ICC = 30%, Pearson correlation X1 and random effect 0.0. Table S4 Simulation results in a domain with ICC = 30%, Pearson correlation X1 and random effect 0.4. Table S5 Simulation results in a domain with ICC = 5%, Pearson correlation X1 and random effect 0.0, outcome incidence 3% in 1000 patients. (DOC 83 kb) (DOC 84 KB)
12874_2011_939_MOESM1_ESM.doc
Authors’ original file for figure 1
12874_2011_939_MOESM2_ESM.pdf
Authors’ original file for figure 2
12874_2011_939_MOESM3_ESM.pdf
Authors’ original file for figure 3
12874_2011_939_MOESM4_ESM.pdf
Literatur
Über diesen Artikel

Weitere Artikel der Ausgabe 1/2013

BMC Medical Research Methodology 1/2013 Zur Ausgabe

Technical advance

The agreement chart

Neu im Fachgebiet AINS

Meistgelesene Bücher aus dem Fachgebiet AINS

  • 2014 | Buch

    Komplikationen in der Anästhesie

    Fallbeispiele Analyse Prävention

    Aus Fehlern lernen und dadurch Zwischenfälle vermeiden! Komplikationen oder Zwischenfälle in der Anästhesie können für Patienten schwerwiegende Folgen haben. Häufig sind sie eine Kombination menschlicher, organisatorischer und technischer Fehler.

    Herausgeber:
    Matthias Hübler, Thea Koch
  • 2013 | Buch

    Anästhesie Fragen und Antworten

    1655 Fakten für die Facharztprüfung und das Europäische Diplom für Anästhesiologie und Intensivmedizin (DESA)

    Mit Sicherheit erfolgreich in Prüfung und Praxis! Effektiv wiederholen und im entscheidenden Moment die richtigen Antworten parat haben - dafür ist dieses beliebte Prüfungsbuch garantiert hilfreich. Anhand der Multiple-Choice-Fragen ist die optimale Vorbereitung auf das Prüfungsprinzip der D.E.A.A. gewährleistet.

    Autoren:
    Prof. Dr. Franz Kehl, Dr. Hans-Joachim Wilke
  • 2011 | Buch

    Pharmakotherapie in der Anästhesie und Intensivmedizin

    Wie und wieso wirken vasoaktive Substanzen und wie werden sie wirksam eingesetzt Welche Substanzen eignen sich zur perioperativen Myokardprojektion? 
    Kenntnisse zur Pharmakologie und deren Anwendung sind das notwendige Rüstzeug für den Anästhesisten und Intensivmediziner. Lernen Sie von erfahrenen Anästhesisten und Pharmakologen.

    Herausgeber:
    Prof. Dr. Peter H. Tonner, Prof. Dr. Lutz Hein
  • 2019 | Buch

    Anästhesie und Intensivmedizin - Prüfungswissen für die Fachpflege

    Egal ob Teilnehmer der Fachweiterbildung oder langjähriger Mitarbeiter: Mit diesem Arbeitsbuch können Sie alle Fakten der Intensivmedizin und Anästhesie für die Fachpflege gezielt überprüfen, vertiefen und festigen. Multiple-Choice-Fragen …

    Autor:
    Reinhard Larsen

Mail Icon II Newsletter

Bestellen Sie unseren kostenlosen Newsletter Update AINS und bleiben Sie gut informiert – ganz bequem per eMail.

Bildnachweise