Limitaciones del Meta – Análisis
El meta-análisis no está exento de críticas; aún cuando sea bien llevado, tiene limitaciones que han sido resumidas por Wolf (citado por Morales, 1993), y son las siguientes:
1. No está claro cuál debe ser el criterio para incluir un estudio en el meta-análisis. Algunos autores (Glass, 1976) son partidarios de incluir todos los estudios pertinentes, mientras que otros (Slavin, 1986, 1987), son más restricti¬vos al recomendar incluir sólo aquellos estudios que apor¬ten la mejor evidencia al meta-análisis.
2. Existen inconsistencias en la aplicación del meta-análisis, lo que conduce a resultados discrepantes sobre un mismo tema. Abrami, Cohen y D’Apollonia (1988) presentan un e¬jemplo al observar conclusiones distintas en diversos meta¬-análisis sobre la validez de la evaluación del profesor en la universidad.
3. El meta-análisis tiende a centrarse en el resultado final (el tamaño del efecto), descuidando las características de los estudios. En parte, esta limitación se minimiza si se analiza un número grande de estudios. De hecho, la validez del meta-análisis depende de que la revisión de estudios sea completa, o que los estudios seleccionados constituyan una muestra representativa.
4. Uno de los aspectos más criticados del meta-análisis es la integración de estudios muy diferentes que, aún cuando se incluyen estudios semejantes por tener la misma hipótesis, pueden ser distintos en muchas variables: el instrumento utilizado, el tipo de tratamiento, las condiciones experimentales, entre otras. Se puede analizar la misma variable dependiente, pero como el instrumento de medición es distinto, se corre el riesgo de estar estudiando rasgos dife¬rentes. A la crítica de que se corre el riesgo de mezclar manzanas con naranjas, Glass (citado por Morales, 1993) responde en defensa de su meta-análisis que lo que se pre¬tende es analizar frutas.
5. Muchos meta-análisis pretenden dar respuestas definitivas al problema en estudio por la exhaustividad de las revisio¬nes y por el prestigio de un método muy sistemático, muy ordenado y muy utilizado. Esta pretensión puede desanimar a otros investigadores que quieran hacer nuevos experimen¬tos o nuevos re-análisis.
Proceso del Meta-Análisis
El meta-análisis es, desde sus orígenes una metodología netamente cuantitativa, donde se utilizan procedimientos esta¬dísticos que no nacieron con ella, sino que ya eran ampliamente utilizados para integrar resultados, tales como prueba t, z, ji – cuadrado, f, coeficiente de correlación, etc. Sin embargo, tal como se dijo antes, el meta-análisis no es exclusivamente cuantitativo, ya que es posible hacer meta-análisis cualitativo usando procedimientos de integración de datos, donde la unidad de análisis son las investigaciones primarias de carácter cuali¬tativo, preferentemente.
Pasos en un Meta-análisis Cuantitativo
Bisquerra (1989) señala los siguientes pasos:
1. Buscar y reunir investigaciones sobre el tema de estudio.
2. Extraer los datos relevantes de estos estudios e
3. Integrar los datos recogidos en un análisis global.
Para acumular resultados a través de estudios, el mismo Bisquerra recomienda seguir el proceso siguiente:
1. Localizar la bibliografía pertinente.
2. Seleccionar el estadístico descriptivo más adecuado que esté presente en todos los estudios.
3. Calcular la media y la desviación típica del estadístico seleccionado a lo largo de todos los estudios.
4. Aplicar a la media y varianza las correcciones adecuadas para corregir el efecto del error muestral (Sampling error) y otros efectos, como el error de medición.
5. Analizar los datos resultantes mediante procedimientos estadísticos adecuados.
Por su parte, Morales (1993) puntualiza que hay varios enfoques y procesos del meta-análisis y que quizás ninguno sea todavía el definitivo. No obstante, integra las líneas básicas del proceso del meta-análisis en los siguientes pasos:
1. Seleccionar el tema o la hipótesis de interés.
2. Incluir todos los estudios localizados que cumplan los requisitos que previamente se hayan establecido y, justifica¬do. Sin embargo, esta inclusión exhaustiva no es fácil, y para algunos autores, tampoco es conveniente, por lo que proponen escoger solamente los mejores estudios, estable¬ciendo criterios de calidad que tienen que ver con la vali¬dez interna y externa. Además de los criterios de calidad, la inclusión de estudios debe considerar otros criterios, tales como la pertinencia del tema, que tiene que ver con el estudio de la misma hipótesis, y que en cada estudio particular se haya calculado la magnitud del efecto o estén presentes los datos que permitan calcularla.
3. Analizar y codificar los estudios seleccionados según cier¬tas características importantes. Para ello, se procede de la siguiente manera:
a. Se determina qué datos, características o información nos interesa buscar en cada estudio.
b. Se construyen cuadros que sinteticen la información más importante para facilitar: (1) el cálculo de la magnitud del efecto de cada estudio, si no viene ya calculada, (2) los análisis posteriores, como la re¬lación entre determinadas características y el efecto o la eficacia, (3) la presentación de la información y (4) los comentarios y síntesis posteriores.
La información más importante que debe incluirse en el cuadro depende del tipo de investigaciones selecciona¬das. Pero en todo caso debe incluir: el autor o los auto¬res, el título del estudio, la fecha, las características de la fuente, el número de sujetos, el tipo de muestra, las situaciones o características peculiares del estudio, la variable dependiente, el diseño o método de análisis (t de Student, ANOVA, Ji-cuadrado, etc.), los valores estadísti¬cos finales, y las conclusiones finales.
4. Calcular el tamaño del efecto en cada estudio y de la media de todos. Cada estudio particular presenta sus resultados con un valor de t, f, r, x2, etc., pero con la magnitud del efecto se reducen todos los resultados a una medida común que permite una comparación más clara entre los diversos estudios e integrar todos los tamaños del efecto individua¬les en una medida común.
Por su parte, Ruiz (1994) se refiere al meta-análisis como una técnica en la que se siguen los siguientes pasos:
1. Identificación y clasificación de estudios pertinentes al tema, de acuerdo con determinados criterios.
2. Codificación cuantitativa de cada estudio: sus hallazgos y las características del diseño de investigaciones, los tratamientos y los sujetos.
3. Aplicación de técnicas estadísticas que permitan describir los resultados y sus relaciones con las características del diseño de investigación, los tratamientos y los sujetos. Para ello, se calcula el tamaño o magnitud del efecto para cada variable dependiente estudiada; luego, se promedian los diferentes valores del tamaño del efecto; y finalmente, se establecen relaciones entre los valores del tamaño del efecto y las diferentes variables seleccionadas, en rela¬ción con las características de los diseños de los estu¬dios, de los tratamientos y de los sujetos.
(La tercera y última parte de trabajo de investigación concluye en la próxima entrega de esta revista).
