In eine Metaanalyse sollten nur Primärstudien eingehen, die gut vergleichbare Variablen untersuchen. Dabei ist eine gute Vergleichbarkeit der Operationalisierungsvarianten bei den abhängigen Variablen besonders wichtig.

Glass argued that "The question of 'sameness' is not an a priori question at all; apart from being a logical impossibility, it is an empirical question" (2000, p. 2). No two studies are the same and the only question of interest is how they vary across the factors we conceive as important.

A common criricism is 'that it combines "apples and oranges" and such combining of many seemingly disparate studies is fraught with difficulties. It is the case, however, that in the study of fruit nothing eise is sensible. The converse argument is absurd: no two things can be compared unless they are the same!

Der Metaanalyse wird gelegentlich vorgehalten, ihre Ergebnisse seien wenig valide, weil unkritisch jede thematisch einschlägige Studie unabhängig von ihrer methodischen Qualität berücksichtigt wird (Garbage-in- Garbageout- Argument) bzw. weil Studien verwendet werden, deren inhaltliche Kohärenz nicht überzeugt (Äpfel-und- Birnen-Argument).