Meta-análisis de generalización de la fiabilidad

  1. Laura Badenes-Ribera
  2. María Rubio-Aparicio
  3. Julio Sánchez-Meca
Journal:
Informació psicològica

ISSN: 0214-347X

Year of publication: 2020

Issue: 119

Pages: 17-32

Type: Article

DIALNET GOOGLE SCHOLAR lock_openDialnet editor

More publications in: Informació psicològica

Abstract

Un meta-análisis de generalización de confiabilidad (MA GF) es un método para integrar estadísticamente las estimaciones de fiabilidad obtenidas en diferentes aplicaciones de un test. El MA GF permite a los investigadores caracterizar la fiabilidad promedio de las puntuaciones obtenida en un test en múltiples estudios y situaciones y estimar el grado de variabilidad en los coeficientes de fiabilidad en diferentes tipos de medidas, muestras y contextos. Por lo tanto, sus resultados permiten ofrecer pautas a los investigadores y profesionales aplicados sobre qué escalas son más fiables para evaluar un constructo y en qué circunstancias. Así pues, los investigadores y profesionales necesitan saber qué son los MA GF, cómo se hacen y, lo que es más importante, cómo podemos hacer valoraciones críticas de ellos. El propósito de este artículo es presentar los MA GF, así como una guía orientativa sobre cómo hacer una lectura crítica de ellos. Para ello, un reciente MA GF es utilizado para ilustrar las guías propuestas. Finalmente, presentamos algunas observaciones finales.

Bibliographic References

  • Abad, F. J., Olea, J., Ponsoda, V. y García, C. (2011). Medición en ciencias sociales y de la salud. Madrid: Síntesis.
  • Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., y Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA publications and communications board task force report. American Psychologist, 73, 3–25.
  • Badenes-Ribera, L. (2016). Tamaño del efecto y su intervalo de confianza y meta-análisis en Psicología. Tesis Doctoral. Universitat de València.
  • Bonett, D. G. (2002). Sample size requirements for testing and estimating coefficient alpha. Journal of Educational and Behavioral Statistics, 27(4), 335–340. doi: 10.3102/10769 98602 7004335
  • Bonett, D. G. (2010). Varying coefficient meta-analytic methods for alpha reliability. Psychological Methods, 15, 368-385.
  • Borenstein, M., Hedges, L.V., Higgins, J. P. T. y Rothstein, H. (2009). Introduction to meta-analysis. Chichester, UK: Wiley.
  • Botella, J., y Gambara, H. (2002). ¿Qué es el meta-análisis? Madrid: Biblioteca Nueva.
  • Botella, J., y Sánchez-Meca, J. (2015). Meta-análisis en ciencias sociales y de la salud. Madrid: Síntesis.
  • Botella, J., y Suero, M. (2012). Managing heterogeneity of variances in studies of internal consistency generalization. Methodology, 8, 71-80.
  • Botella, J., Suero, M. y Gambara, H. (2010). Psychometric inferences from a meta-analysis of reliability and internal consistency coefficients. Psychological Methods, 15, 386-397.
  • Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability methods, and the clinical implications of low reliability. The Journal of General Psychology, 130, 290–304. doi: 10.1080/00221300309601160
  • Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessments instruments in psychology. Psychological Assessment, 6, 284–290. doi:10.1037/1040-3590.6.4.28
  • Crocker, L., y Algina, J. (1986). Introduction to classical and modern test theory. Nueva York: Holt, Rinehart, & Winston.
  • Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297–334. doi: 10.1007/ BF02310555
  • Flake, J. K., Pek, J., y Hehman, E. (2017). Construct validation in social and personality research: Current practice and recommendations. Social Psychological and Personality Science, 8, 370–378. doi: 10.1177/1948550617693063
  • Hakstian, A. R. y Whalen, T. E. (1976). A k-sample significance test for independent alpha coefficients. Psychometrika, 41, 219- 231.
  • Hedges, L. V., y Vevea, J. L. (1998). Fixedand random-effects models in meta-analysis. Psychological Methods, 3, 486–504. doi: 10.1037/1082-989X.3.4.486
  • Higgins, J. P. T. y Green, S. (Eds.) (2008). Cochrane handbook for systematic reviews of interventions. Chichester, UK: Wiley-Blackwell.
  • Higgins, J. P. T., Thompson, S. G., Deeks, J. J., y Altman, D. G. (2003). Measuring inconsistency in meta-analyses. British Medical Journal, 327, 557–560. doi: 10.1136/ bmj.327.7414.557
  • Huedo-Medina, T. B., Sánchez-Meca, J., Marín-Martínez, F., y Botella, J. (2006). Assessing heterogeneity in meta-analysis: Q statistic or I2 index? Psychological Methods, 11, 193-206. doi: 10.1037/1082-989X.11.2.193
  • Nunnally, J. C., y Bernstein, I. H. (1994). Psychometric Theory. New York, NY: McGraw Hill.
  • Raykov, T., y Marcoulides, G. A. (1971). Introduction to psychometric theory. New York, NY: Taylor and Francis Group.
  • Rodriguez, M. C., y Maeda, Y. (2006). Meta-analysis of coefficient alpha. Psychological Methods, 11, 306–322.
  • Rubio-Aparicio, M., Badenes-Ribera, L., Sánchez-Meca, J., Fabris, M. A., y Longobardi, C. (2020). A reliability generalization meta-analysis of self-report measures of muscle dysmorphia. Clinical Psychology: Science and Practice, 27, e12303. doi: 10.1111/cpsp.12303
  • Rubio-Aparicio, M., Sánchez-Meca, J., López-López, J.A., Marín-Martínez, F., y Botella, J. (2017). Analysis of categorical moderators in mixed-effects meta-analysis: Consequences of using pooled versus separate estimates of the residual between-studies variances. British Journal of Mathematical and Statistical Psychology, 70, 439–456. doi: 10.1111/ bmsp.12092
  • Rubio-Aparicio M., Sánchez-Meca, J., Marín-Martínez, F., y López-López, J. A. (2018). Guidelines for Reporting Systematic Reviews and Meta-analyses. Anales de Psicologia, 34, 412-420. doi: 10.6018/analesps.34.2.320131
  • Sánchez-Meca, J., y Botella, J. (2010). Revisiones sistemáticas y Meta-análisis: Herramientas para la práctica profesional. Papeles del Psicólogo, 31, 7-17.
  • Sánchez-Meca, J., y López-López, J. A. y López-Pina, J. A. (2013). Some recommended statistical analytic practices when reliability generalization studies are conducted. British Journal of Mathematical and Statistical Psychology, 66, 402-425.
  • Sánchez-Meca, J., y López-Pina, J. A. (2008). El enfoque meta-analítico de generalización de la fiabilidad. Acción Psicológica, 5, 37-64.
  • Sánchez-Meca, J., López-Pina, J. A., y López-López, J. A. (2009). Generalización de la fiabilidad: Un enfoque meta-analítico aplicado a la fiabilidad. Fisioterapia, 31, 262-270.
  • Sánchez-Meca, J., López-Pina, J. A., Rubio-Aparicio, M., Marín-Martínez, F., Núñez-Núñez, R. M., López-García, J. J., y López-López, J. A. (2017, Julio). REGEMA: Propuesta de una guía para la realización y reporte de meta-análisis de generalización de la fiabilidad. Comunicación presentada en el XV Congreso de Metodología de las Ciencias Sociales y de la Salud, Barcelona (España).
  • Sánchez-Meca, J., Rubio-Aparicio, M., López-Pina, J. A., Núñez-Núñez, R. M. y Marín-Martínez, F. (2015, Julio). El fenómeno de la inducción de la fiabilidad en ciencias sociales y de la salud. Comunicación presentada en el XIV Congreso de Metodología de las Ciencias Sociales y de la Salud (Palma de Mallorca).
  • Slaney, K. (2017). Validating psychological constructs. UK: Palgrave Macmillan. doi: 10.1057/978-1-137-38523-9
  • Sterne, J. A., Sutton, A. J., Ioannidis, J., Terrin, N., Jones, D. R., Lau, J., …, & Higgins, J. P. T. (2011). Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. British Medical Journal, 343, D4002. doi: 10.1136/bmj.d4002
  • Thompson, B. (1994). Guidelines for authors. Educational and Psychological Measurement, 54, 837-847.
  • Traub, R. E. (1994). Reliability for the social sciences: Theory and applications (Vol. 3). Thousand Oaks, CA: Sage.
  • Vacha-Haase, T. (1998). Reliability generalization: Exploring variance in measurement error affecting score reliability across studies. Educational and Psychological Measurement, 58, 6-20.
  • Vacha-Haase, T., y Henson, R. K., y Caruso, J. C. (2002). Reliability Generalization: Moving toward improved understanding and use of score reliability. Educational and Psychological Measurement, 62, 562–569. doi: 10.1177/0013164402062004002
  • Vacha-Haase, T., Kogan, L. R., y Thompson, B. (2000). Sample compositions and variabilities in published studies versus those of test manuals: Validity of score reliability inductions. Educational and Psychological Measurement, 60, 509–522. doi: 10.1177/ 00131640021970682
  • Vacha-Haase, T. y Thompson, B. (2011). Score reliability: A retrospective look back at 12 years of reliability generalization studies. Measurement and Evaluation in Counseling and Development, 44, 159-168
  • Wilkinson, L., y Task Force on Statistical Inference, American Psychological Association, Science Directorate. (1999). Statistical methods in psychology journal: Guidelines and explanations. American Psychologist, 54, 594–604. doi: 10.1037/0003-066X.54.8.594
Data source: Dialnet