Actueel

Citatieanalyse voor sociale en geesteswetenschappen?
Terug naar:
Home

Is bibliometrische informatie voor de evaluatie van onderzoeksprogramma's in de sociale en geesteswetenschappen relevant?

Bibliometrie - of citatieanalyse- is staande praktijk in de zogeheten STEM onderzoeksgebieden (Natuurwetenschappen, technologie en (biomedische wetenschappen. Daardoor wordt vaak de suggestie gedaan dat andere wetenschapsgebieden precies hetzelfde zou moeten doen. Dat is echter geen uitgemaakte zaak.
  • Er is toenemende kritiek op het gebruik van indicatoren, ook in de STEM vakgebieden: Er is kritiek op het gebruik van de Journal Impact Factor en de H-index: zie bijvoorbeeld de DORA declaration voor kritiek onder natuurwetenschappelijke onderzoekers, en voor kritiek onder vooraanstaande bibliometrische onderzoekers het Leiden Manifesto .
  • Onderzoeksresultaten en communicatiekanalen in de sociale en geesteswetenschappen zijn enorm divers. Onderzoekers in deze velden (maar ook in veel andere multidisciplinaire velden) publiceren niet alleen in veel meer tijdschriften dan die welke in de traditionele bibliometrische databases staan - zoals Web of Science (tm) of Scopus (tm), er wordt ook veel meer gepubliceerd in bundels en boeken. Bovendien zijn er veel andere type uitkomsten van onderzoek. Te denken valt aan tekstuele vormen, digitaal (E-humanities) en in druk (catalogi, bijzondere uitgaven), maar ook in niet-tekstuele vormen: er zijn ontwerpen, artefacten, diensten). Dergelijke uitkomsten van onderzoek moeten ook deel uit kunnen maken van beoordeling. N.
  • De communicatiepatronen zijn ook veel meer divers dan in de STEM gebieden. Deze reiken van communicatie in het eigen specialisme naar die met vakgenoten en onderzoekers uit andere gebieden, maar zeker ook met publieken buiten universiteiten. Academische boeken en andere uitkomsten van onderzoek zijn vaak direct relevant voor bredere publieken. Dergelijke hybride uitkomsten van onderzoek staan ver af van "popularisering" en vormen een bijzondere categorie die kenmerkend is voor veel sociaal en geesteswetenschappelijk onderzoek. Al dergelijke soorten communicatie moet ook mee kunnen tellen, maar dit ontbreekt in traditionele bibliometrie.

Informatie en tegenwicht voor Peer Review

Er is wel een reden om bibliometrie of kwantitatieve analyse te overwegen. Peer review hangt vaak af van persoonlijke oordelen. Die kunnen ondersteund worden met concrete informatie als die informatie passend en toepasselijk is. In dat geval kan de informatie ook enig tegenwicht bieden bij onevenwichtige oordelen. Dergelijke kwantitatieve informatie dient een bescheiden rol in het evaluatie proces te hebben.


Google Scholar citatie analyse voor sociale en geesteswetenschappen

Onderzoeksresultaten in de sociale en geesteswetenschappen worden vaak slecht gerepresenteerd in traditionele databases. Analyses die gebruik maken van Google Scholar bieden wel 2,5 tot 8 meer informatie dan bijvoorbeeld Web of Science (tm). Dat blijkt uit een studie met CWTS, die gebaseerd is op twee bibliometrische analyses voor twee landelijke SEP evaluaties, een voor Antropologie, en een voor Onderwijskunde en Pedagogische Wetenschappen.

De resultaten van deze studie zijn gepresenteerd op de STI/ENID conferentie in Leiden (2014) ((Slideshare) en in 2016 gepubliceerd in Research Evaluation. Een vorige versie staat hier.

Google Scholar data moeten worden geschoond. Daar is een methode voor ontwikkeld. Er zijn ook mogelijkheden tot vergelijking met het eigen specifieke vakgebied. Maar de toepasbaarheid van deze en soortgelijke methoden hangt sterk af van het karakter van het vakgebied: de publicatie zowel als de communicatiecultuur.