Prin primăvara lui 2013 am fost evaluator pentru o instituție [românească] cu care nu prea am de-a face de obicei - nici în calitate de evaluator extern (mă mai încumetasem doar o singură dată, în 2010), nici în calitate de candidat cu proiecte. Procesul de evaluare a mai fost cum a fost, dar așa-zisa întîlnire de mediere între evaluatori a fost cel puțin stupefiantă, iar în perioada imediat următoare anunțării rezultatelor s-a stîrnit o ditamai agitația legată de aceste rezultate (cel puțin la cîteva secțiuni, inclusiv la cea pentru care fusesem și eu evaluator). Colac peste pupăză (?), instituția respectivă are nerecomandata procedură de a de-confidențializa numele evaluatorilor imediat după încheierea definitivă a procesului de evaluare (după contestații), în condițiile în care evaluatorii mai sînt legați, o bună bucată de vreme, de o clauză de confidențialitate din contract - astfel încît m-am trezit, și eu, sub tirul nemulțumiților, fără să pot explica, particularizat, cum s-a derulat procesul și fără să-mi pot detalia propriile (numeroase) nemulțumiri cu privire la acesta.
Încă mai sînt constrîns de respectiva clauză de confidențialitate, deci nu voi putea intra în [acele] detalii pînă la un moment dat, în 2014. Ceea ce pot să fac, însă, pînă atunci, este să povestesc cîte ceva despre mecanismele generale ale unui astfel de proces de evaluare și, mai ales, să zic vreo două vorbe despre elementele pe care le urmărește un evaluator într-o candidatură de proiect. Evaluatorii nu prea povestesc așa ceva - decît, cel mult, în cadrul unor [bine plătite] cursuri de formare în design sau management de proiect :) Însă există destule elemente despre care se poate vorbi și în afara unor astfel de cursuri - în primul și-n primul rînd, pentru că simplifică semnificativ munca evaluatorului. Nu vă vine să credeți? Poftim un 'secret': evaluatorul trebuie să motiveze detaliat fiecare evaluare și să facă recomandări de îmbunătățire a candidaturii; or, în mod evident, tocmai candidaturile deficitare, necîștigătoare, sînt cele care consumă cele mai multe din resursele de timp și de nervi ale evaluatorului - pentru că sînt de înșiruit, acolo, multe chestii absolut elementare...
Cred că n-o să scriu aici prostii sinistre: am fost pentru prima oară evaluator extern de candidaturi de proiecte încă din 1997 (un program Phare) și am continuat să fac asta, pentru o serie de programe și instituții, pînă în ziua de azi - instituții pe care nu le precizez aici, din motive mai lesne și mai puțin lesne de înțeles (adică nu neapărat strict din cauză de clauze de confidențialitate). Pe parcursul acestui traseu am fost, de mai multe ori, evaluator extern și în proiecte, mai mari și mai mici. Deci, nu...:)
*** Disclaimer. Pe tot parcursul acestui text, ca și în orice altă intervenție de-a mea, scrisă sau vorbită, o să folosesc termenul de 'candidatură' ca echivalent al barbarismului 'aplicație'. Nu vreau să mă înțelegeți greșit: sînt absolvent de Litere, vorbesc fluent și scriu frecvent în engleză (ca fost jurnalist și ca manager / formator / evaluator / autor în zeci de proiecte cu parteneri internaționali), deci folosesc eu însumi, frecvent, englezisme atunci cînd mi se pare și stiu că vreo anume traducere curentă în română e nesatisfăcătoare. Dar folosirea [complet inadecvată a] termenului de 'aplicație' mi se pare o stupizenie gigantică - și mi se zbîrlește părul cînd îl văd folosit inclusiv în documente ale (și, implicit, pe site-urile) unor ministere care 'ar trebui să știe mai bine' (Ministerul Culturii și Ministerul Educației Naționale!). Și, da: mi se rupe sufletul că trebuie să pun 'aplicație' în tags/labels de dragul Google...:>
Procesul de evaluare. Un proces de evaluare care implică evaluatori externi se desfășoară, de regulă, pe trei nivele - în care instituția finanțatoare are strict un rol de administrator al acestuia.
* În prima etapă a acestui proces, candidatura ta ajunge la o persoană care verifică ceea ce se numește 'conformitatea administrativă' [cu cerințele finanțatorului]. Această persoană poate fi din interiorul instituției, pentru că ea nu face decît să verifice dacă dosarul de candidatură e complet, cu toate semnăturile, ștampilele și documentele suplimentare solicitate în apelul la candidaturi de proiecte.
* Într-o a doua etapă, candidatura ta ajunge la cîteva (2, rareori 3) persoane care evaluează efectiv, din punct de vedere al calității, dosarul de candidatură. Aceste persoane trebuie să fie evaluatori externi, subcontractați de către instituția cu pricina. În acest mod, se asigură obiectivitatea competiției de proiecte, astfel încît instituția finanțatoare să aibă doar un rol de administrare a procesului și să nu aibă pîrghii (mă rog, directe) de influențare a acestuia. Un proiect nu este niciodată văzut și punctat de un singur evaluator - pentru a se elimina subiectivitatea inerentă a unui unic punct de vedere.
* Într-o a treia etapă, rezultatele evaluării ajung la un 'comitet de evaluare' - care este, de fapt, un grup de persoane ce verifică doar corectitudinea și legalitatea procesului de evaluare (pe care îl validează - sau nu), persoane care NU pot modifica rezultatele generate de evaluarea calitativă.
Evaluarea calității candidaturii tale. Din cele de mai sus rezultă limpede că, în tot acest proces, evaluatorul [extern] este suveran absolut. Doar evaluatorul extern decide dacă proiectul tău este util sau nu, bine redactat și dezvoltat sau exhibînd cratere în care s-au prăbușit fie argumentația proiectului, fie chiar concepte elementare de management de proiect. Și pentru că și evaluatorii sînt oameni (parol, zău!), 'sistemul' are prevăzute niscaiva supape de siguranță care să le gestioneze 'umanitatea'...
Prima dintre ele este, evident, modul în care se produce selecția evaluatorilor (procedură, criterii). Printr-o procedură publică sau nu, gălăgioasă sau extrem de discretă, instituțiile în căutare de evaluatori externi trebuie să-și găsească niște inși care [ar trebui]:
* să aibă experiență considerabilă, concretă, verificabilă de management de proiect - căci nu poți evalua munca altuia dacă n-ai habar cu ce se confruntă respectivul;
* să se conformeze unor principii și situații concrete de evitare a conflictului de interese - astfel încît obiectivitatea evaluării să nu fie perturbată de inși care favorizează, direct sau indirect, proiecte și instituții de pe urma cărora au de profitat (și nu numai financiar);
* să aibă experiență prealabilă de evaluare de candidaturi de proiecte - acest criteriu garantează, oarecum, familiaritatea cu un proces standard de evaluare (dar, firește, și restricționează sever accesul în clubul select al evaluatorilor pentru cei născuți prea tîrziu sau pentru cei care au descoperit doar incidental că a decide cine primește mii sau zeci de mii de lei sau euro de la un finanțator poate fi o ocupațiune fun).
În practică, acest set minimal de criterii de selecție a evaluatorilor se aplică doar în programele cu finanțare occidentală; pentru varii instituții care operează strict cu fonduri românești este mai important ca evaluatorii să fie personalități (?) în domeniile lor, iar reglementarea conflictului de interese este laxă, după chipul și asemănarea legislației (tot românești).
Bun, acuma avem evaluatori (oameni, n-ați uitat? nu roboți sau scrumiere) ! Cum îi folosim?
Păi, le punem la dispoziție o grilă de evaluare. Această grilă reprezintă viziunea finanțatorului cu privire la ponderea, în punctajul general, a unor criterii pe care trebuie să le respecte o propunere de proiect demnă de a fi finanțată - plecînd de la premisa că natura acestor criterii este, de regulă, cam aceeași în orice grilă de evaluare de Terra: conformitatea cu (și relevanța pentru) prioritățile finanțatorului și specificitățile programului de finanțare, 'calitatea' candidatului și partenerilor, calitatea și funcționalitatea proiectului propriu-zis, impactul proiectului. Unele grile sînt publice, altele nu; unele grile sînt echilibrate (vezi ponderea criteriilor si sub-criteriilor), altele nu; unele grile au 'instrucțiuni de aplicare' foarte detaliate ("acordați 10-9 puncte în cazul în care candidatul a precizat... acordați 8-7 puncte în cazul în care candidatul a precizat că..."), altele nu. Ceea ce contează este faptul că această grilă de evaluare restricționează marja de subiectivitate a evaluatorului în procesul de apreciere a 'valorii' proiectului - încercînd (?) să echilibreze și să compenseze prezența sau absența unor abilități 'tehnice' ale celui care elaborează cererea de finanțare și, respectiv, valoarea intrinsecă a ideii care a generat proiectul.
Am lăsat la urmă regulamentul procesului de evaluare deoarece acesta nu reglementează decît aspectele tehnice și 'logistice' ale evaluării.
Da, deabia acum trecem la evaluatorul 'persoană fizică' - omul, nu robotul, nu scrumiera :) Cu precizarea că o să povestesc, evident, despre evaluatorul *corect*, fără conflicte de interese (o să povestesc și despre conflictele de interese, mai încolo). Însă, deoarece acest text s-a lungit absolut necontrolat, o să revin în cîteva (puține!) zile cu restul. Pînă atunci, o să mai scriu aici doar o chestie...
Într-o competiție de proiecte (și anume una în care banii sînt limitați - pe ansamblul programului și, respectiv, pe sesiune de finanțare - deci în care, la un moment dat, se trage o linie, într-un tabel, deasupra cuiva), orice evaluator care își respectă creierul și timpul procedează cam așa: înainte de a se apuca de evaluarea propriu-zisă, face un screening, o pre-vizualizare a maldărului de dosare de pe birou, aruncă doar o privire (mai rapidă sau mai puțin rapidă) peste ele. După care le împarte (provizoriu) în trei teancuri: unul de probabili cîștigători [ai finanțării], unul de vizibil perdanți și unul de proiecte care reclamă mult mai mult de o privire. (Precizez, firește, că mă bazez nu numai pe experiența proprie, ci și a altor mulți evaluatori cu care am lucrat. Unii recunosc imediat că așa procedează, unii se mai gîndesc înainte de a răspunde, foarte puțini neagă hotărît.)
În mod normal, v-aș întreba: dacă ați fi evaluator, cu care dintre teancurile de mai sus ați începe? Deși, poate nu aveți suficiente date...
'episodul' 2 (din 3) - aici
'episodul' 3 (din 3) - aici
No comments :
Post a Comment