Noțiuni de bibliometrie și scientometrie

Cred că prin anul 2001 sau 2002, la o întâlnire informală cu respectatul profesor Mircea Miclea de la Universitatea „Babeș-Bolyai” din Cluj-Napoca, în vreme ce mă asculta cum debitam cai verzi pe pereți și idei fanteziste legate de simularea computerizată a comportamentului uman, mi-a sugerat dacă nu ar fi mai bine să mă gândesc la o modalitate de măsurare a plusului de cunoaștere pe care îl aduce o comunicare științifică. Pe vremea aceea habar nu aveam de scientometrie, dar dacă m-ar fi interesat ideea aș fi aflat că ratasem startul în favoarea lui Garfield.

Scientometria, știm deja, are în vedere o analiză cantitativă a valorii științifice a unui domeniu și se poate realiza prin intermediul bibliometriei, o analiză cantitativă a publicisticii din domeniul respectiv. Ambii termeni au fost propuși de Garfield, modalitatea concretă prin care se realizează acest lucru ținând de o nouă disciplină, numită analiza impactului citărilor (citation impact analysis). De fapt, analiza impactului citărilor și bibliometria sunt termeni sinonimi, prin urmare este corectă orice formă de exprimare. Dar cum se desfășoară o analiză a impactului citărilor? Care sunt indicatorii cantitativi ce măsoară valoarea unei publicații?

În primul rând, numărul de citări ale unui articol. Normal că un articol va avea un impact cu atât mai mare cu cât este mai frecvent consultat. Dacă informația din acel articol este relevantă, atunci va fi preluată prin citare (sau dacă enervează pe multă lume). Dacă nu este relevantă, va fi ignorată, articolul nu este citat, prin urmare nu a exercitat niciun fel de impact. Dar un articol nu s-a scris singur. El a fost scris de unul sau mai mulți autori. Este de presupus că un autor nu scrie doar un singur articol, ci mai multe. În momentul în care cităm un articol, implicit, cităm și autorii acestuia. Prin urmare, un alt indicator ar putea fi numărul de citări ale unui autor. Putem scrie un milion de articole, dacă nu ni le preia nimeni, dacă nu suntem citați în jurnale serioase, nu avem nicio valoare științifică. Dacă tot vorbim de jurnale, ei bine, și acestea pot fi valorizate bibliometric prin numărul mediu de citări, adică raportul dintre citările tuturor articolelor publicate în jurnal și numărul acestora.

Înțelegeți acum modul în care funcționează acest sistem? Orice jurnal dorește ca articolele publicate să aibă o influență cât mai mare. Asta aduce faimă și bani. Dar nu influență la culegătorii de ciuperci, ci influență, dacă se poate, la cei laureați cu premiul Nobel. Pentru a putea atinge acest obiectiv, un jurnal va fi interesat să atragă doar autori cu notorietate, ale căror articole vor fi citate, adică vor avea impact. Se intră, astfel, într-un cerc, în care autorii și jurnalele se controlează reciproc. Acceptarea unui articol slab va scădea impactul jurnalului, din acest motiv redactorii nu au nici un motiv să permită pseudoștiinței să se infiltreze. Totuși, acest lucru are loc, vom vedea și de ce anume.

Bibliometria se poate face, foarte bine, strict în baza informațiilor pe care le-am discutat până acum. Totuși, pentru a avea o imagine mai precisă a performanței cercetătorilor, au fost elaborați o serie de indicatori ceva mai rafinați, cel mai cunoscut fiind indicele h.

Indicele Hirsch al notorietăți autorilor

Indicele h, numit și indice Hirsch, a fost propus în anul 2005 de către fizicianul american Jorge Hirsch și urmărește evaluarea impactului operei unui cercetător, ținându-se cont de productivitatea autorului, măsurată prin numărul de publicații, cât și de impactul pe care îl are opera sa, exprimat prin numărul de citări (Hirsch, 2005). Calculul indicelui Hirsch nu este foarte complicat, fiind descris de un grup de cercetători canadieni (Ireland, MacDonald, & Stirling, 2013) astfel:

  • Se colectează toate articolele scrise de un autor, împreună cu citările pentru fiecare articol, și se ordonează descrescător în funcție de numărul citărilor. Să presupunem că cercetătorul Ion Ionescu a publicat 5 articole (vezi tabelul alăturat). Primul articol a fost citat de 20 de ori, al doilea articol de 16 ori, al treilea articol de 10 ori, al patrulea de 3 ori și al cincilea o singură dată.
  • Se începe apoi calculul indicelui de sus în jos. Primul articol are 20 de citări, se acordă un punct pentru indicele h (h=1), deoarece autorul are un articol citat cel puțin o dată. Mergem mai departe, la al doilea articol. Dacă autorul are două articole, trebuie să fie citate de cel puțin două ori fiecare pentru ca să crească indicele cu o unitate. Este clar că primul articol a fost citat de 20 de ori. Al doilea articol a fost citat de 16 ori, deci criteriul este îndeplinit (h=2). Dar autorul are mai multe articole, din acest motiv trecând la al treilea. În acest caz, fiecare ar trebui să fie citat de cel puțin 3 ori ca să mai crească indicele cu o unitate. Remarcăm că primele două articole nu pun probleme, deoarece unul are 20 de citări, altul 16, cu mult mai multe decât este necesar. Dar câte citări are al treilea articol? Ei bine, 10. Cum 10 este mai mare ca 3, putem crește indicele h al autorului (h=3). Iată, apare și al patrulea articol. Dacă autorul are 4 articole, atunci câte citări ar trebui să aibă fiecare articol ca să crească indicele Hirsch încă o dată? Desigur, 4, însă al patrulea articol are doar 3 citări și nu 4, cât ar trebui. Asta înseamnă că ultimele două articole nu au un impact semnificativ asupra operei autorului, prin urmare nu pot fi luate în considerare. Prin urmare, indicele Hirsch al cercetătorului Ionescu Ion este 3.

Această idee a prins atât de bine încât foarte multe baze de date indexate oferă și indicele Hirsch al autorilor, ca o măsură a notorietății acestora, exprimată atât cantitativ, cât și calitativ. Totuși, acest indicator nu este scutit de probleme.

Cam toate baze de date indexate solicită bibliografia separat sau au proceduri automate care extrag bibliografia, o prelucrează și, automat, recalculează numărul de citări. Dacă publicăm un articol și se indexează într-o astfel de bază de date, în momentul în care cineva ne citează, automat, numărul de citări ale articolului dumneavoastră va crește. Unii specialiști în scientometrie (Ferrara & Romero, 2013) atrag atenția că aceste motoare de indexare nu identifică auto-citările. Dacă vom publica multe articole în care ne vom auto-cita, vom obține un index Hirsch ridicat, nu pentru că opera este de calitate, ci pentru că ne-am auto-citat.

Alții (Bornmann & Daniel, 2008) atrag atenția asupra faptului că indicatorul nu poate fi folosit ca o măsură universală a notorietății cercetătorilor, ci permite, cel mult, comparații între cercetători din același domeniu. Una este publicistica în domeniul psihologiei, unde numărul de articole publicate de către un autor poate fi foarte mare, alta este să publici în domeniul fizicii sau în cel al matematicii, unde elementele de noutate și originalitate apar mult mai rar.

Având în vedere aceste critici și limitele evidente ale indexului Hirsch, s-au căutat soluții alternative. Astfel, s-a propus o normalizare a acestui indicator prin care să se ia în calcul și domeniul științific (Batista, 2006), însă determinarea ponderii domeniului s-a dovedit a fi atât de complicată, încât s-a renunțat la idee. Au existat și sugestii de raportare a indicelui h la numărul de ani de la prima publicație a autorului, așa-numitul „indice m”, însă ideea nu a fost foarte populară. În ciuda criticilor și a numeroaselor propuneri, indicele Hirsch nu a fost încă înlocuit și reprezintă cea mai populară și mai precisă metodă de evaluare a cantității și calității muncii cercetătorilor, chiar dacă prezintă importante dezavantaje.

Factorul de impact și eigenfactorul jurnalului

La nivelul autorilor lucrurile sunt destul de clare, existând, iată, acest index cu ajutorul căruia ne putem da seama cu ce fel de cercetător avem de a face. Cu cât indexul Hirsch este mai mare, cu atât persoana este mai de notorietate, are o operă mai bogată și mai valoroasă. Totuși, ca cercetători, publicăm în jurnale, interesul nostru fiind acela de a alege un jurnal serios, pe care îl citesc oameni de știință din elita mondială, nu un grup oarecare de persoane mai mult sau mai puțin avizate. Un articol științific îl puteți publica în revista facultății, în jurnalul pe care se chinuie să-l mențină câțiva profesori de-ai voștri sau în revista „Nature”. În primul caz veți fi citit de colegi, în al doilea caz este posibil să fiți remarcat de colegi și profesori de la alte universități iar în al treilea caz veți fi studiat și, poate, citat de savanți din elita lumii. Asta dacă reușiți să publicați acolo, desigur, pentru că și rigorile diferă. Dacă în primele două situații colegii sau profesorii vor fi foarte bucuroși să le trimiteți ceva ca să-și poată scoate numărul, în revista „Nature” tânjesc să publice milioane de oameni din întreaga lume. Așa că au de unde alege, iar ceea ce dumneavoastră vi de pare extraordinar, pentru ei s-ar putea să nu fie deloc relevant.

Unul dintre criteriile de performanță pentru un jurnal științific de care cu siguranță ați auzit, mai ales că este promovat de Thompson Reuter, este factorul de impact ISI. Numele ne duce cu gândul, evident, la impactul pe care îl are un jurnal științific asupra domeniului respectiv și nu reprezintă altceva decât numărul mediu de citări pe care reușesc să le strângă articolele relativ recent publicate. Prin urmare, factorul de impact al unui jurnal se calculează pe o anumită perioadă de timp (anual), are un caracter dinamic și este orientat în trecut. De exemplu, dacă un jurnal publică în 2015 un factor de impact de 1,62, acesta este valabil pentru anul 2014. Dar ce înseamnă, mai exact, acest număr pentru activitatea jurnalului din anul 2014?

Să presupunem că jurnalul a publicat în 2012 un număr de 50 de articole „citabile” (prin „articole citabile” înțelegând articole științifice, studii, cercetări, recenzii, articole metodologie, în general tot ceea ce poate fi de utilitate științifică, mai puțin editoriale, promovări de evenimente și altele asemănătoare), iar în 2013 un număr de 46 de articole. Așadar, în cei doi ani, activitatea jurnalului s-a concretizat prin publicarea unui număr de 96 de articole „citabile”.

În continuare, vom urmări câte citări au primit cele 96 de articole publicate în anii 2012 și 2013 în cursul anului 2014. Baza de date indexată ne spune, pentru fiecare dintre cele 96 de articole, de câte ori a fost citat, atenție, în anul 2014. Să presupunem că, în total, acele articole au fost citate în cursul anului 2014 de 103 ori. Atunci factorul de impact al jurnalului pentru anul 2014 ar fi fost de 103/96, adică 1,07. Dar dacă numărul de citări ar fi fost de doar 52? Atunci am fi avut un factor de impact de 52/96, adică 0,54.

Puteți intui la ce se referă factorul de impact. Dacă fiecare articol ar fi fost citat o singură dată în decursul anului, atunci am putea vorbi de un factor de impact 1. Valorile supraunitare arată că numărul de citări a fost mai mare decât numărul de articole, anumite articole fiind citate de mai multe ori, iar valorile subunitare arată situația contrară. De asemenea, putem remarca faptul că un jurnal poate avea un factor de impact abia la doi ani după ce a fost cotat ISI, neexistând suficiente informații până în acel moment. Când se referă la citări, Thompson Reuter are în vedere citările efectuate în alte publicații indexate. Dacă cităm un articol ISI în revista facultății, acea citare nu va avea cum să fie luată în calcul la factorul de impact.

Chiar dacă factorul de impact ISI nu reflectă întotdeauna valoarea unui jurnal, fiind și supus unui mare număr de critici, rămâne, totuși, principalul indicator de comparare a jurnalelor științifice din cadrul aceluiași domeniu.

Dacă factorul de impact al unui jurnal se calculează anual și are o valabilitate limitată, eigenfactorul reprezintă o evaluare a importanței generale a unui jurnal, pe toată durata de viață a acestuia, indicând valoarea sa pentru comunitatea științifică, ținând cont nu doar de numărul de citări ale articolelor, ci și de sursa acestora, de la citări provenite din articole slab cotate, la citări din articole foarte bine cotate. Eigenfactorul pare a fi o măsură mai relevantă pentru impactul unui jurnal, doar că este influențat de numărul de articole publicate. Un jurnal care publică multe articole sau care are o frecvență de apariție mai mare, tinde să obțină un eigenfactor mai ridicat, fapt care nu este tocmai criticabil. Pe baza acestui indicator se poate calcula și o altă măsură, numită influență medie a articolelor, comparabilă cu factorul de impact ISI.

Autorii (Bergstorm, West, & Wiseman, 2008) oferă detaliile calculării eigenfactorului (EF) și a indicelui mediu de influență a articolelor (AI) în materialul în care își prezintă metoda. Totuși, din cauză că se includ și valori ale jurnalelor din care se efectuează citările, care au, la rândul lor, alți eigenfactori, nu vom putea calcula prea ușor acest indicator. Din fericire, putem apela oricând la sistemul online dezvoltat de autori, căutăm jurnalul și putem vedea, în timp real, atât eigenfactorul cât și indicele mediu de influență. Mai mult, sistemul pune la dispoziție și graficul evoluției acestor doi indicatori, de la începerea monitorizării jurnalului. Spre exemplu, revista „Psychometrika” a avut cel mai ridicat eigenfactor în 2012 (0,0078), cu un indice mediu de influență de 1,9, cel mai scăzut eigenfactor fiind înregistrat în 2000 (0,003), cu un indice mediu de influență de 0,8. În acest moment, eigenfactorul revistei este de 0,006, cu un indice mediu de influență al articolelor de 2, nu prea rău dacă ne gândim la comunitatea extrem de restrânsă a cercetătorilor interesați de acest jurnal.

În mod clar, cei doi indicatori sunt mai relevanți în comparație cu factorul de impact ISI. Dar forța mediatică exercitată de Thomson Reuter are o influență foarte puternică, factorul de impact ISI fiind încă preferat.

Instrumente rapide de verificare a credibilității jurnalului

Bibliometria și scientometria sunt discipline nou apărute și, în ciuda potențialului lor, deocamdată indicatorii sunt criticabili, insuficient elaborați, nu reflectă pe deplin calitatea publicațiilor și valoarea autorilor. De cele mai multe ori, pentru un cercetător aflat în faza de documentare, contează foarte mult să afle dacă jurnalul din care își alege articolele este sau nu este credibil. În acest sens, revista „Scientific American”, publică un număr de instrumente ideale pentru o verificare rapidă a credibilității jurnalelor științifice (Swoger, 2014), dintre care ne vom opri la unul singur.

„JournalGuide” reprezintă o resursă excelentă în vederea documentării privind notorietatea unui jurnal, a unei edituri sau pentru a găsi cel mai bun jurnal în care să publicați un anumit articol, furnizând titlul articolului, rezumatul și cuvintele cheie. În momentul în care căutați un jurnal sau o editură, aplicația vă oferă o mulțime de informații, inclusiv politica editorială, prețuri, periodicitate, baze de date în care sunt indexate articolele sale, dar și, mai important, indicele SNIP (Source Normalized Impact per Paper), un indicator similar indicelui mediu de influență a articolelor, și care vă ajută să vă dați seama de notorietatea și impactul publicației. Poate cel mai bun lucru pe care îl oferă acest instrument gratuit este statutul „Verified journal”, care confirmă faptul că sursa este de încredere, confirmată de comunitatea științifică.

Vă recomand să-l folosiți și să verificați orice sursă din care preluați articole în vederea documentării. În cazul în care sursa nu este de încredere, renunțați la acel material. Sunt mari șanse să aveți de a face cu literatură din zona gri a științei, cu informație pseudoștiințifică sau de-a dreptul cu bazaconii (năzbâtii, ca să-l parafrazez pe un bun prieten, domnul Cristian Român).

Am făcut această prezentare destul de largă a scientometriei, plecând de la ideea unei clarificări a sistemelor de indexare, astfel încât termeni precum ISI, factor de impact, eigenfactor sau indice Hirsch să nu mai fie un mister. Ați putut vedea că ISI nu este o icoană la care ne închinăm, ci doar un sistem de indexare a articolelor științifice care pune la dispoziție și instrumente de control a calității, cu avantajele și cu problemele sale. Pe de altă parte, am insistat pe ideea furnizării unor surse de încredere și a unor instrumente cu ajutorul cărora să vă puteți controla sursele de informare. Documentarea din zone neștiințifice înseamnă nu doar timp pierdut, dar și o imensă țeapă pe care o puteți lua. Dacă veți credibiliza și veți folosi surse pseudoștiințifice, să nu vă mire faptul că sunteți ignorat și luat în râs de către comunitatea științifică.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *