Practical application of meta-analysis results: avoiding the double use of data

C V Minte-Vera, T A Branch, I J Stewart, M W Dorn
2005 Canadian Journal of Fisheries and Aquatic Sciences  
Meta-analysis is an important new tool for synthesizing scientific knowledge from many previous studies. In fisheries, meta-analyses can be used to obtain prior distributions or penalty functions for parameters used in stock assessment models. Two types of results are generally published in a meta-analysis: Type A, the updated results for each stock used in the meta-analysis, and Type B, the results that would best describe a new stock. Including these results in assessments for the individual
more » ... for the individual stocks would result in double use of the data if the assessments include the input data used in the meta-analyses, which they typically would. To solve this problem, we recommend that an additional form of results should be reported in meta-analyses: Type C, the results for a new stock obtained by sequentially excluding each stock's data set and repeating the meta-analysis. Type C results should be used whenever the assessment input data overlap with the meta-analysis input data, avoiding the double use of data. We illustrate the impact of this reporting change on the results of a recent meta-analysis. Résumé : La méta-analyse est un nouvel outil précieux pour faire la synthèse des informations scientifiques contenues dans un grand nombre d'études antérieures. Dans le cas des pêches, les méta-analyses peuvent servir à déterminer des distributions a priori et des fonctions de pénalité pour les paramètres dans les modèles d'évaluation des stocks. On publie généralement deux types de résultats dans une méta-analyse, les premiers, de type A, les données mises à jour de chacun des stocks utilisés dans la méta-analyse et les seconds, de type B, les résultats qui décriraient le mieux un nouveau stock. Inclure ces résultats dans des évaluations de stocks individuels reviendrait à utiliser deux fois les même données, si les évaluations comprennent les données originales d'entrée de la méta-analyse, ce qui arrive normalement. Pour éviter ce problème, nous recommandons d'inclure un troisième type de résultats dans les méta-analyses, le type C, soit les résultats pour un nouveau stock en excluant tour à tour les données de chaque stock et en répétant la métaanalyse. Les résultats de type C devraient être utilisés lorsque les données d'entrée de l'évaluation chevauchent celles de la méta-analyse, ce qui permettrait d'éviter une double utilisation des données. Nous illustrons les effets de ce changement de présentation sur les résultats d'une méta-analyse récente. [Traduit par la Rédaction] Minte-Vera et al. 929
doi:10.1139/f04-245 fatcat:333bea4bxreaphervgcxhwrkha