Miért nem készíthető tökéletes folyóiratrangsor?

Csató László, a Mérnöki és Üzleti Intelligencia Kutatólaboratórium Operációkutatás és Döntési Rendszerek Kutatócsoport tudományos munkatársa a folyóiratok értékelésének kérdését vizsgálta. Megmutatta, hogy egyetlen, a folyóiratok presztízsének mérésére alkalmas rangsor sem lehet független azok - például szakterületi alapon történő - csoportokba osztásától. Az eredményeket összefoglaló tanulmány a tudománymetria egyik színvonalas folyóiratában, a „Journal of Informetrics”-ban jelent meg „Journal ranking should depend on the level of aggregation” címmel.

Az utóbbi években, akár az éppen zajló akadémiai átszervezésekkel, reformokkal kapcsolatban, egyre több szó esik a tudományos teljesítmény méréséről. A publikációk értékének számszerűsítéséhez elengedhetetlen az azokat megjelentető folyóiratok összehasonlítása, rangsoruk felállítása. A Magyar Tudományos Művek Tára (MTMT) például elsődlegesen a szabadon hozzáférhető SCImago szakterületi folyóiratrangsorokat használja, a sokak által jól ismert D1 (egy adott tudományterület folyóiratainak legjobb 10%-át jelentő), Q1 (legjobb 25%), Q2 (legjobb 50%) stb. kategóriákkal.

A folyóiratrangsorok alapját többnyire a benne megjelent cikkek idézettsége adja: egy hivatkozás felfogható egy „szavazatként”, amit a hivatkozó cikk/folyóirat a hivatkozott cikkre/folyóiratra adott le. Így a folyóiratok presztízsének mérése lényegében matematikai problémává válik: súlyozott irányított gráf csúcsainak sorba rendezésére egyszerűsödik. Azt gondoljuk, egy ilyen rangsoroló módszernek teljesítenie kell két tulajdonságot: önkonzisztens monotonitást és az aggregálásra való invarianciát. 

Az önkonzisztens monotonitás axiómája egy természetesnek tűnő követelményt fogalmaz meg: az A folyóirat legyen legalább olyan jó, mint a B, ha legalább olyan jó hivatkozási mutatókkal rendelkezik azonos presztízsű folyóiratokkal szemben, sőt, legyen szigorúan jobb, ha hivatkozási mutatói kedvezőbbek, vagy azokat színvonalasabb folyóiratokkal szemben érte el. Tegyük fel, hogy az A folyóirat két hivatkozást kapott C-től, B pedig szintén kettőt D-től. Az önkonzisztens monotonitás értelmében A folyóirat pontosan olyan presztízsű, mint B, ha az őket hivatkozó C és D is azonos színvonalú. Ha viszont D jobb a C-nél, akkor B-nek is jobbnak kell lennie A-nál. A tulajdonság nevében az önkonzisztens szó arra utal, hogy a rangsorral szemben megfogalmazott monotonitási elvárást a rangsor által mért presztízsen keresztül ellenőrizhetjük.

Számos esetben szükségessé válhat a folyóiratok aggregálása, összevonása. Például, amennyiben kifejezetten az operációkutatási folyóiratok színvonalára vagyunk kíváncsiak, akkor az orvosi folyóiratok kezelhetjük egyetlen entitásként: az orvosi lapok közötti belső hivatkozásokat töröljük, továbbá az összes orvosi lapból érkező, illetve azokra vonatkozó hivatkozást összeadva úgy kezeljük ezeket, mintha az egyetlen „fiktív” orvosi folyóirathoz kapcsolódnának. Tehát, ha A lap 2 hivatkozást kapott B-től és 1-et a C-től, valamint 4-et adott B-re és 3-at C-re, akkor a B és C alkotta csoporttal szemben A-nak 3 (= 2 + 1) hivatkozása van, és 7-et (= 4 + 3) adott. A kapcsolódó második axióma, az aggregálásra való invariancia azt követeli meg, hogy két folyóirat belső rangsora (melyikük a jobb) ne függjön a többi aggregálási szintjétől.

Központi állításunk egyszerűen megfogalmazható: nem létezik olyan folyóiratrangsor, ami egyszerre teljesítené az önkonzisztens monotonitás és az aggregálásra való invariancia feltételét. Más szavakkal, egyetlen, jól viselkedő, azaz monoton rangsor sem lehet minden körülmények között független az aggregálás szintjétől. A lehetetlenségi tétel robusztus, azaz nem sok remény van arra, hogy az axiómák gyengítésével vagy az értelmezési tartomány szűkítésével megkerüljük a negatív eredményt.

Tehát a tudománymetriában sem várhatunk csodát, számos más területéhez hasonlóan itt sem létezik ingyenebéd, soha nem fogjuk megtalálni a tökéletes folyóiratrangsort.

A teljes cikk ezen a linken olvasható. A szabadon hozzáférhető kézirat itt található.

Borítókép: olyan folyóiratok címlapja, amelyekbe a SZTAKI kutatói publikálnak