Bibliometriikka on hyvä renki mutta huono isäntä

Otto Auranen, Ja Anu, Nuutinen Keskustelua
unpublished
49 Atte Oksanen ja Pekka Räsänen käsittelevät Tie-teessä tapahtuu-lehden artikkelissaan Suomen Akatemian kulttuurin ja yhteiskunnan tutkimuk-sen toimikunnan rahoituspäätöksiä ja rahoitetun tutkimuksen tuloksellisuutta. Artikkelin aineistos-sa ja analyysissä on vakavia puutteita. Tämän vuok-si heidän johtopäätöksensä ovat ongelmallisia ja jopa virheellisiä. On tärkeää, että rahoituspäätös-ten perusteista sekä tutkimuksen tuottavuudes-ta ja vaikuttavuudesta keskustellaan. Samalla on kuitenkin
more » ... la on kuitenkin varmistettava, että käytetyt aineistot ja menetelmät soveltuvat kulloinkin valitun tarkaste-lun tavoitteisiin. Julkaisu-ja viittausmääriin perustuvilla tarkas-teluilla on oma roolinsa riittävän suurten ana-lyysiyksiköiden, esimerkiksi tieteenalojen, tut-kimusorganisaatioiden tai maiden arvioinnissa. Yksittäisten tutkimusrahoitushakemusten arvi-oinnin ja päätöksenteon tulee perustua ver-taisarviointiin. Rahoitetun hankkeen tuloksel-lisuutta ei myöskään voi tarkastella pelkästään julkaisu-tai viittausmäärien pohjalta. Tarkaste-lemme tässä puheenvuorossa tieteellisen tutki-muksen ja julkaisutoiminnan kvantitatiiviseen analyysiin kehitettyjen bibliometristen aineis-tojen ja menetelmien periaatteita ja rajoituksia. Bibliometriikka on hyvä työkalu vain oikein käytettynä Bibliometrisiä indikaattoreita käytetään kuvaile-maan yhdestä näkökulmasta tieteellisen julkai-sutoiminnan vaikuttavuutta tiedeyhteisössä. Tie-teenalojen julkaisu-ja viittauskäytännöt eroavat paljon toisistaan, siksi eri tieteenalojen julkaisu-ja viittausmäärien vertaaminen niitä normalisoi-matta on virheellistä. Oksasen ja Räsäsen analyy-sissä ei ole huomioitu tieteenalakohtaisia eroja, minkä takia johtopäätökset ovat harhaanjohtavia. Julkaisumäärät tutkijaa kohti vaihtelevat aloittain sekä Suomessa että muualla tieteen-alojen luonteen vuoksi. Julkaisukäytäntöjen tie-teenaloittaiset erot merkitsevät myös sitä, että usean tekijän yhteisjulkaisujen osuus vaihtelee tieteenaloittain. Aloilla, joilla on paljon yhteis-julkaisuja, tutkijat näyttäytyvät erittäin tuottavi-na verrattuina sellaisten alojen tutkijoihin, joil-la on vähemmän yhteisjulkaisuja. (Kyvik 1991; Puuska 2010.) Julkaisumäärien tarkastelussa yhteisjulkaisut usein ositetaan esimerkiksi teki-jämäärän mukaan, jotta aloja voidaan tarkastel-la rinnakkain. Oksanen ja Räsänen ilmoittavat kulttuurin ja yhteiskunnan tutkimuksen toimi-kunnan rahoittamien hankkeiden julkaisumää-rien olevan pieniä. He eivät kuitenkaan viittaa mihinkään tutkimustietoon siitä, kuinka paljon heidän tarkastelemillaan aloilla julkaistaan kes-kimäärin esimerkiksi vuosittain. He eivät nähtä-västi myöskään ota huomioon yhteisjulkaisemi-sen aloittaista vaihtelua vertaillessaan eri alojen tutkijoiden julkaisumääriä. Myös viittauskäytännöt alojen välillä eroa-vat suuresti toisistaan. Esimerkiksi psykologi-assa julkaisut saavat keskimäärin paljon enem-män viittauksia kuin humanistisissa tieteissä. Bibliometrisissä tarkasteluissa tulee kunkin alan viittausmäärät suhteuttaa saman alan julkaisu-jen saamiin viittausmääriin kansainvälisesti eli noudattaa tieteenalanormalisoinnin periaatetta (Hicks ym. 2015). Viittausten laskennassa tulee käyttää riittävän pitkää viittausikkunaa kunkin julkaisun julkaisuhetkestä lähtien, koska viit-tausten kertyminen vaihtelee aloittain. Lisäk-si, jos halutaan tarkastella Oksasen ja Räsäsen tavoin tiettynä ajanjaksona eli tutkimushank-keen aikana ilmestyneiden julkaisujen vaikutta
fatcat:5dfvapjafvacra3lj7jfwd4d7m