Cum mi-am purtat hainele de doctorand. A treia parte – Dansul cu teza

Am trecut cu bine de anul pregătitor. Eram, în sfârșit, liber să mă ocup doar de teză, fără a mă mai preocupa de alte referate mai mult sau mai puțin utile. Și asta am făcut… cel puțin în prima săptămână. Ca o lucrare ce se respectă, trebuia să înceapă cu un istoric. Am făcut un istoric minunat, o sinteză a evoluției testelor și testării și de mândru ce-am fost, următoarele luni le-am petrecut admirând-o. Asta până când Ticu Constantin, oarecum îngrijorat de extazul meu în fața primului capitol, îmi telefonează:

– Ce mai faci? Merge teza? Poate nu știi, dar te apropii de susținerea primului referat. Sper că nu ai de gând să ne povestești despre istoricul textelor.

– Documentare, documentare fac, doar nu crezi că-i așa de simplu, mă îmbățoșez eu, nu foarte convingător, deja sfeclind-o pe jumătate.

– Documentează-te mai repede și spune când vii să susții referatul, îmi răspunde profesorul fără a fi impresionat de elanul meu.

Ușor de spus, însă inspirația întârzia să vină. Eram, totuși, în cel de-al doilea an de doctorat. Prima și prima dată m-am informat cât din referat poate reprezenta partea teoretică.

– Referatul poate avea o importantă componentă teoretică, fiind primul referat, însă trebuie să conțină și aspecte practice ale lucrării. Nu doar teorie, îmi spune sfătos Ticu Constantin.

Primul referat

Bună treabă, idei pauză! Dar trebuia să încep de undeva, nu-i așa? Cum lucrarea urma să trateze diferențele dintre evaluarea psihologică în care se folosesc probe clasice și cea bazată pe probe în care s-au utilizat modele de răspuns la item, ar fi fost un bun start să încep prin a prezenta diferențele majore dintre cele două teorii. Cu ajutorul indirect a lui Susan Embretson și al lui Steven Reise am reușit performanța de a înjgheba câteva criterii și de a prezenta comparativ ideile într-un număr de aproximativ 15 pagini. Apoi, vreo 20 de pagini au fost ocupate cu prezentarea și explicarea asumpțiilor modelelor de răspuns la item dar și a bazelor modelelor pe care intenționam să le folosesc. A ieșit un referat cât o teză, vreo 80 de pagini în total, de care eram mulțumit, mai ales că apăruse și ideea unui motto la care am ținut mult:

Un test prost construit, neadaptat sau invalid în psihologie

este ca un bisturiu ruginit în chirurgie.

Dacă nu te omoară, sigur lasă sechele.

Spre plăcuta mea surpriză, acest motto a prins atât de bine încât, peste ceva ani, doctoranzi de prin unele țări nordice mi-au cerut permisiunea de a-l folosi. Cum sună însă în daneză sau norvegiană, zău că nu am reușit să aflu nici până acum.

Susținerea referatului nu a pus probleme deosebite. Într-o după-amiază de început de vară, la sfârșitul lunii mai 2012, în laboratorul de dinamică de grup, montam videoproiectorul și așteptam cam morcovit întrunirea comisiei: coordonatorul, Ticu Constantin, Dorin Nastas și Cornel Havârneanu, ultimii doi făcând parte din comisia de îndrumare, alături de profesorul timișorean Alin Sava, căruia îi trimisesem referatul și urma să decidă. Desigur, am mai fiert în suc propriu vreo oră, deoarece profesorul Havârneanu era la un examen, până la urmă primind încuviințarea să începem.

Am început cu bine-cunoscuta introducere, încercând să încadrez tema, urmărind prezentările PowerPoint și având grijă să nu plictisesc cu detalii inutile, când se deschide ușa și auzim un milităresc „Bună ziuaaaa!” urmat de intrarea maiestuoasă a profesorului Cornel Havârneanu. Mie mi s-au încețoșat slide-urile și am răgușit instant.

– Ia să vedem. Ce spuneați acolo, domnul doctorand?

Eu dau să reiau, dregându-mi glasul cam mult, dar profesorul îmi spune:

– Lăsați astea teoretice, haideți să vedem concret ce ați lucrat acolo.

De aici am lăsat la o parte slide-urile și am început o lungă discuție, presărată cu numeroase „stai așa”-uri din partea celor prezenți. A fost pentru prima dată când am simțit că am un rol mult mai important decât acela de „prezentator de știri”, de biet doctorand „judecat”. Am realizat ce distinge evaluarea în cazul studiilor doctorale de celelalte evaluări. În realitate, aici tu ești în poziția expertului. Comisia dorește să afle de la tine noutăți, nu să te chinuie, iar această descoperire are efectul unei iluminări.

Lucrurile nu aveau cum să iasă decât foarte bine iar acest lucru mi-a dat un nou impuls. Credeam că am scăpat de ce-i mai greu, însă mă înșelam foarte tare.

Blocajul

Eram liber acum să scriu la teză, timp până la un al doilea referat aveam, însă învățasem din experiența trecută și nu m-am mai culcat pe o ureche. Totuși, teza mea era centrată pe teoria răspunsului la item și pe teste care se adaptează singure, ori acest lucru înseamnă concepte statistico-matematice destul de elaborate, programare și un volum foarte mare de date colectate. Am fost pus în situația în care aveam de ales între BigFive Plus, chestionarul de personalitate conceput de echipa coordonată de Ticu Constantin și testul de inteligență EVIQ, construit de echipa lui Alin Sava. Mi-aș fi dorit să le pot folosi pe amândouă, deoarece perspectivele comparării unui instrument de personalitate cu unul de inteligență sub aspectul celor două teorii erau fascinante, însă mi-am dat seama că nu aș fi putut duce la bun sfârșit o asemenea muncă. Cu regret am renunțat la EVIQ, deoarece multe studii în domeniul IRT au fost făcute cu instrumente de evaluare a aptitudinilor și am păstrat doar inventarul de personalitate.

Rămânea însă problema datelor. Spre deosebire de testele clasice, construcția unei probe bazate pe un model de răspuns la item necesită îndeplinirea riguroasă a unui număr destul de mare de condiții și, mai ales, existența unui volum uriaș de date colectate. Fără un minimum de 1500-2000 de administrări nici gând să pot face ceva iar aici aveam o problemă foarte serioasă. Cu toată implicarea mea și a amicilor mei, strânsesem circa 300 de protocoale iar șansele ca să pot avea suficiente informații în vederea testării unui model IRT în timpul rămas erau foarte mici. Așadar, îl sun pe coordonatorul meu și îi explic situația.

– Măi, eu am mai multe baze de date cu administrări ale BigFive, îmi spune Ticu Constantin, însă sunt complet nesistematizate. Dacă vrei, ți le spun la dispoziție și vezi tu cum le utilizezi.

– Da, însă aș avea nevoie nu de scorurile brute pe factori, ci de răspunsurile la itemi. Nu am ce face cu ele dacă proiectarea s-a făcut plecându-se de la notele brute.

– Răspunsurile sunt acolo trecute item cu item, fii fără grijă. Vezi doar să o purifici.

„Berzei chioare îi face Dumnezeu cuib”, cam așa mă simțeam. Rezolvasem cea mai dificilă problemă și, chiar dacă Ticu Constantin avea dreptate, după vreo trei zile de migală din mai multe cenușărese am obținut o Cosânzeană de bază de date, numai bună de analizat.

A venit și momentul în care trebuia să mă ocup de modelare și programare. Implementarea unor derivate parțiale nu a fost chiar cel mai complicat lucru, doar că în timpul îmbunătățirii CATS astfel încât să „știe” modele de răspuns la item, am trăit ziua în care a fost cât pe ce să renunț la doctorat. Scriam cod și denumisem foarte asemănător două variabile. La un moment dat, la numitorul unei fracții, le-am încurcat. Fiind un proces iterativ, ce se repeta de multe ori până la atingerea unui criteriu de convergență, programul funcționa la început, până la un punct, apoi începea să dea valori aberante. Mi-a luat aproape o săptămână să mă prind. Am încercat totul, inclusiv rularea codului pas cu pas și reluarea calculelor cu creionul pe hârtie. M-a cuprins disperarea, am dat cu pumnii și cu capul în pereți la propriu, am înjurat ca un birjar, am tropăit prin casă, pe seama mea firmele de țigări au făcut vânzări record.

Am început să cred că nu mă duce capul, că nu mai știu matematică nici cât să implementez o derivată parțială, că pur și simplu sunt prea prost să duc așa ceva la bun sfârșit, că mi-am luat o pălărie prea mare și că, în definitiv, poate nu merit să fiu doctor în psihometrie, cu atât mai mult cu cât o simplă răsfoire a revistei Psychometrika îmi adâncea instant depresia, văzând nivelul la care lucrează alții.

Prin a treia zi de chin decisesem că gata, renunț la doctorat, renunț la CATS, îmi bag elegant picioarele și asta este. Nu sunt capabil și gata. Nu toată lumea trebuie să fie doctor. E drept că mă și văicăream și, probabil, îi enervam teribil pe Mircea Miclea și Dragoș Iliescu la care mă lamentam ca o amantă părăsită. Le mulțumesc mult pentru că m-au sprijinit și mi-au oferit o viziune mai realistă asupra locului și a lumii în care mă aflu. Pentru început, nu am mai răsfoit Psychometrika. Apoi, când credeam că totul este pierdut, am găsit, bine ascunsă la numitor, variabila buclucașă. Strigătul de bucurie cred că mi-a băgat vecinii în sperieți și, brusc, mi-a revenit cheful de doctor.

Programul funcționa impecabil iar din entuziasmul găsirii soluției am început să scriu cod, ignorând lucrul la teză. Din fericire, aveam destul timp și trecusem pragul. Chiar dacă algoritmii mei erau funcționali, nu am reușit să-i optimizez prea bine pentru viteză, prin urmare programul mergea destul de greu. Acela a fost momentul în care am găsit cum să integrez limbajul R în platforma .NET și cum să-l combin cu C#. Deja jucam într-o altă ligă iar dacă sunteți curioși să vedeți cum arată acele derivate-minune, iată un exemplu:

Al doilea referat

Instrumentele erau pregătite, programele funcționau, datele existau, totul era pregătit, însă puteți intui existența unui „dar”. Într-adevăr, un mare „dar”, pentru că itemii aveau o problemă serioasă de unidimensionalitate. Cu alte cuvinte, nu se putea stabili, la unii itemi, factorul dominant care să-i încarce. Aveam de ales între a implementa modele multidimensionale sau a obține condiția unidimensionalității. Chestiunea era însă alta. Nu o puteam face prin metode clasice, deoarece mă interesa nu doar o analiză factorială simplă, ci și o analiză de structură internă a scalei, mai exact a modului în care itemii se abat în raport cu factorul latent. Din fericire am găsit metoda analizei componentelor principale pentru date categoriale (CATPCA), astfel debutând studiul instrumentului, prima mare cercetare a tezei și subiectul celui de-al doilea referat. De data asta știam bine ce aveam de făcut, prin urmare inventarul BigFive Plus a fost supus unei analize extrem de minuțioase care a îngrijorat, la propriu, coordonatorul. Iată o foarte mică parte a acesteia:

Am găsit atunci un lucru foarte interesant, anume faptul că scalele erau, într-adevăr, specifice unui factor latent, doar că mai exista și altceva, nu un factor ci o axă ce orienta factorul, motivul încălcării condiției unidimensionalității. Partea bună  a acestui lucru a fost că am publicat imediat două articole, îndeplinind astfel și o cerință esențială a finalizării tezei. Partea proastă, ei bine, a trebuit să elimin itemi, însă au fost create premisele unei revizii serioase a instrumentului.

După toată această aventură, rămânea doar un singur lucru de făcut. Calibrarea itemilor și estimarea parametrilor, subiectul celei de-a doua cercetări pe parte de instrument. De acum lucrurile se limpeziseră și treburile au mers unse:

M-a ajutat CATS, acum motorizat cu R și era o plăcere să urmărești viteza cu care ronțăia cele peste 4000 de date și cum genera tabele și figuri frumoase. Poate că mă înșelasem, poate că meritam să fiu doctor.

Al doilea referat a fost susținut exact după un an, în luna iunie a anului 2013, cu mult mai puține emoții. Cele 160 de pagini nu a mai beneficiat de vreo prezentare PowerPoint, având experiența perioadei trecute, însă au necesitat mult mai mult timp. Acum chiar aveam ce să spun și sunt convins că și interesul a fost pe măsură.

Mai era însă multă treabă și, din păcate, nu prea mai aveam timp. Cei trei ani oficiali expirau în decembrie, mai aveam cel mult 6 luni să închei, o lălăisem cu instrumentul și cu softul iar cea de-a treia cercetare, esența tezei, nici nu o începusem. Dar despre această ultimă aventură, cu plusurile și minusurile ei, în cel de-al patrulea articol, ultimul.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *