Inlägg
Cope och Kalantzis' veritabla slakt av citeringar som ett mått på "impact" (jag väljer att kalla det avtryck fortsättningsvis)är både övertygande och upprörande. Under läsningen har jag känt pulsen stiga när de har övertygat mig om den fullständiga galenskapen i att använda popularitet som ett mått på avtryck inom olika forskningsområden, en strategi som i sak inte skiljer sig från idoldyrkan, bestsellerlistor eller kassasuccéer inom populärkulturen. Jag utvecklar detta lite närmre nedan.
All ny kunskap bygger på tidigare kunskapsarbetares arbeten; i den meningen finns en stark intertextualitet i de vetenskapliga texterna d.v.s de sneglar åt varandra. Ett sätt att mäta i vilken grad texter står i beroendeförhållande till andra är att mäta hur ofta något citeras. Ett bakomliggande antagande är att ju oftare en text är citerad av andra desto större är kunskapsbidraget från såväl författare som text. Antalet citeringar sammanlagt blir också ett mått på hur stort avtryck en viss tidskrift gör. Mest känt som räknare av citeringar är kanske Web of Science, numera Web of Knowledge; några andra är Scopus, CiteSeerX och Google Scholar.
Cope och Kalantzis' raka påstående är att citeringar som mått på kunskapsbidrag och avtryck brister i såväl validitet som reliabilitet, alltså att de inte mäter vad som avses att mätas och att mätningen är högst otillförlitlig. Låt mig börja med att rekapitulera några av de övertygande argument med vilka författarna avfärdar validiteten.
Bristande validitet
Det som mäts är hur ofta en text åberopas, alltså inte om texten har något verkligt inflytande för kunskapen. I själva verket är det en författares position i ett akademiskt nätverk snarare än det verkliga värdet av kunskapen som mäts.
Det är strategiskt lämpligt att förekomma så ofta och så mycket som möjligt och därför stöds inte sällan vänner och kollegor med honorary authorship d.v.s. att man kan få stå med bland författarna även om det egna bidraget är blygsamt.
Den kanske allvarligaste kritiken är dock att citeringarna är inte är ett mått på kvalitet utan istället ett mått på i vilken grad en text har uppmärksammats eller hur författaren har lyckats positionera sig; det är alltså samma logik som bakom bästsäljande romaner eller topplistor inom populärkulturen. Här brukar kritikerna normalt uppvisa en viss skepsis mot det som många faktiskt tycker om då det sällan är innovativt och krävande utan mer svarar mot kravet att "ge folk vad folk vill ha".
Sammanräknade citeringar för hela tidskrifter används för att värdera såväl tidskriften som de universitet där forskning bedrivs. Såväl forskare som universitet värderas således genom vilka tidskrifter de publicerar sig i och omvänt höjer förstås många citeringar en tidskrifts anseende. Även om de många citeringarna skulle bygga på enstaka "kioskvältare" kommer anseendet att sprida över till hela institutionen eller till den speciella tidskriften. Eftersom även tidskriften är beroende av att bli läst, citerad och skapa avtryck är det väl heller ingen orimlig tanke att redaktionen hellre publicerar artiklar som har stor chans att bli citerade än de som bedöms bli citerade av ett fåtal. Här finnns alltså en sorts dubbelt beroende som inte har direkt anknytning till kvaliteten av det enskilda forskningsresultatet.
Citeringsmåttet favoriserar dem som kan upparbeta nätverk och i övrigt är akademiska entrepenörer. Detta gör att det blir nödvändigt att nämna dem man vill hjälpa eller står i tacksamhetsskuld till. Man stöter sig inte gärna med den som kanske blir ens reviewer eller som kan citera mig vid något tillfälle. Det kan också vara en god strategi att citera de som ofta citeras i förhoppning att själv bli lite mer synlig. I grunden handlar det om om makt och position och detta missgynnar som vanligt kvinnor, men även icke-engelskspråkiga och de med annorlunda idéer.
Nog känns det lite grann som att "impacten" är mer beroende av marknadskrafter, nätverk och positionering än bara av forskningens kvalitet, eller? Kanske liknar citeringsmåttet på sätt och vis aktiemarknaden där kursen kan gå upp eller ner baserat på förväntningar snarare än på några verkliga förändringar.
Hur är det då med reliabiliteten?
Är en citering ett tillförlitligt mått på värdet av en artikel? Ta som exempel på en artikel som argumenterar för något som de flesta vill ta avstånd från; den kommer att citeras av många därför att man är mån om att ta avstånd. Med hjälp av citeringsmåttet kommer dock texten med de omöjliga argumenten att göra ett stort avtryck. Vid sådana tillfällen blir onekligen antalet citeringar milt sagt missvisande om de skall vara ett säkert mått på kunskapsbidrag och avtryck, eller?
Vad händer med tillförlitligheten om man citerar en källa i en översiktsartikel som citerar en annan källa och som kanske inte ens är rätt citerad? Kanske bör man också fråga sig om citerade artiklar verkligen lästs. Det finns studier som visar att bara bortåt en femtedel av alla texter som citeras faktiskt har lästs och att en stor del av de artiklar som citeras för en viss claim faktisk inte innehåller den ståndpunkt man tillvitar dem.
Tillförlitligheten begränsas också av att det är det endast är det som räknats som räknas. Ett begränsat antal tidskrifter kommer med i citeringsdatabaserna. Men hur väljs dessa ut? Av Cope och Kalantzis' artikel får man intrycket att urvalet av tidskrifter görs enligt högst subjektiva kriterier och att redaktionskommittén väljer vad som är mest lämpligt.
I den mån citeringar överhuvud taget kan vara ett relevant mått på avtryck så är det helt klart att det fungerar bättre för vissa innehåll än andra. Inom vissa naturvetenskapliga områden täcks nästan allt som skrivs medan humaniora och det konstnärliga området kraftigt missgynnas (ca 17% täckning). Bibliometri missgynnar också sådana kunskapsområden där man huvudsakligen skriver böcker.
Om man betänker att "impact factors" skapar prestige åt tidskriften och inte bara åt forskaren, så handlar det inte bara om att urvalsprocessen är ogenomskinlig utan det är också, som författarna här skriver, nästan som att sätta räven att vakta kycklingflocken d.v.s. att ha kontroll över alla de faktorer som gynnar de egna intressena. Kycklingarna å sin sida är tacksamma för varje liten ynnest.
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Unported License
Inga kommentarer:
Skicka en kommentar