Ministarstvo gospodarstva i održivog razvoja
Europska Unija - fondovi
Operativni program konkurentnost i kohezija
Ministarstvo gospodarstva i održivog razvoja
Europska Unija - fondovi
Operativni program konkurentnost i kohezija

Novosti

19.11.2019.

Provedeno vrednovanje sustava odabira projekata, primjene kriterija odabira i poštivanja horizontalnih načela, uključujući postupke izravne dodjele bespovratnih sredstava

Ministarstvo regionalnoga razvoja i fondova Europske unije u svojoj ulozi Upravljačkog tijela za Operativni programa „Konkurentnost i kohezija“, osigurava provođenje vrednovanja programa tijekom programskog razdoblja u skladu s važećim Planom vrednovanja.

Vrednovanje učinkovitosti, djelotvornosti i učinka pomoći iz Europskog fonda za regionalni razvoj i Kohezijskog fonda u okviru Operativnog programa „Konkurentnost i kohezija“, nužno je kako bi se poboljšala kvaliteta koncepta i provedbe programa te utvrdio njegov učinak u odnosu na ciljeve strategije Unije za pametan, održiv i uključiv rast. Kroz postupke vrednovanja Ministarstvo prikuplja pouzdane informacije temeljem kojih može ocijeniti djelotvornost provedbe Operativnog programa i njegovu relevantnost u odnosu na društveno-gospodarske okolnosti temeljem kojih može utvrditi postižu li se uloženim sredstvima očekivani ciljevi i rezultati predviđeni Programom. Uspješnost provedbe Operativnog programa uvelike ovisi o projektima odabranim za sufinanciranje, stoga je Ministarstvo, kao jedno od prvih vrednovanja, pokrenulo upravo vrednovanje sustava odabira projekata, primjene kriterija odabira i poštivanja horizontalnih načela, uključujući postupke izravne dodjele bespovratnih sredstava. Vrednovanje je obuhvatilo sve Prioritetne osi Operativnog programa, tj. postupak odabira projekata vrednovan je u svim Prioritetnim osima.

Primarni cilj vrednovanja bio je utvrditi osigurava li uspostavljeni sustav odabira projekata, uključujući primjenu odgovarajućih kriterija odabira projekata, da se u okviru provedbe Operativnog programa odabiru odgovarajući projekti koji su u skladu s njegovim specifičnim ciljevima i koji na najbolji način doprinose postizanju predviđenih rezultata programa. Vrednovanje je proveo tim nezavisnih stručnjaka (Zajednica ponuditelja Ecorys Hrvatska d.o.o., Ecorys South East Europe Ltd. i Instituta za razvoj i međunarodne odnose) uz korištenje sljedećih najvažnijih metoda i alata: analiza prikupljenih dokumenata, dubinska analiza na uzorku 34 odabrana poziva, Internet anketa i intervjui s ključnim dionicima.

U okviru analize prikupljenih dokumenata, tim za vrednovanje analizirao je relevantne dokumente i sekundarne izvore podataka relevantne za sustav odabira projekata (npr. Operativni program „Konkurentnost i kohezija“, Upute za prijavitelje i korisnike bespovratnih sredstava, Izvješća o napretku programa, zapisnike sa sastanaka Odbora za praćenje, Zajednička nacionalna pravila, podatke iz informacijskog sustava za upravljanje Kohezijskim fondom i strukturnim fondovima itd.).
U okviru Internet ankete i intervjua prikupljena su mišljenja relevantnih dionika, i to:
✓ tijela državne uprave i javnih tijela koja sudjeluju u provedbi i upravljanju Programom,
✓ članova Odbora za praćenje provedbe Operativnog programa,
✓ članova Odbora za odabir projekata, vanjske nezavisne ocjenjivače koji su sudjelovali u ocjeni i odabiru projekata,
✓ korisnika bespovratnih sredstava iz Operativnog programa (korisnici projekata), kao i
✓ prijavitelja na pozive za dodjelu bespovratnih sredstava (kako neuspješnih, tako i potencijalnih prijavitelja).

Uzorak ispitanika bio je velik, a odgovori su prikupljeni od različitih skupina. Iako je odaziv ključnih skupina dionika bio različit, bio je dovoljan kako bi se prikupljene informacije smatrale relevantnima.
2
Izrada materijala sufinancirana je sredstvima tehničke pomoći iz Operativnog programa „Konkurentnost i kohezija“, iz Europskog fonda za regionalni razvoj.
Ključni kriteriji vrednovanja bili su: relevantnost, učinkovitost, djelotvornost i dosljednost sustava odabira projekata, pri čemu su za ocjenu svakog od kriterija određena ključna pitanja, kako je niže navedeno: Kriterij vrednovanja Pitanja za vrednovanje Relevantnost (engl. relevance)
PITANJE 1: Kako odabir projekata podržava ciljeve regionalnog razvoja, poglavito umanjenja regionalnih nejednakosti? Djelotvornost (engl. effectiveness)
PITANJE 2: Do koje mjere primijenjeni kriteriji odabira i mehanizmi u raznim potporama vode do projekata koji su u skladu s ciljevima OPKK (u svim prioritetima)?
PITANJE 3: Jesu li odabrani projekti doprinijeli ostvarivanju horizontalnih načela i u kojoj mjeri? Učinkovitost (engl. efficiency)
PITANJE 4: Jesu li potrebne promjene (radi pojednostavljenja i povećanja učinkovitosti) u postupcima odabira i ocjenjivanja projekata kako bi se oni poboljšali? Ako da, koje? Dosljednost (engl. consistency)
PITANJE 5: Postoji li dosljednost između pokazatelja OPKK, kriterija odabira i obrasca za ocjenjivanje?
PITANJE 6: Jesu li kriteriji jasni, precizni s nedvosmislenim nazivima, opisima, metodama ocjenjivanja i ponderiranim bodovima?
PITANJE 7: Jesu li predloženi kriteriji dosljedni i pružaju li sveobuhvatno ocjenjivanje projekta?
Ovakvo vrednovanje sustava odabira projekata, koje predstavlja strateško vrednovanje usmjereno na poboljšanje procesa odabira, provedeno je po prvi puta, a njegovi rezultati od velikog su značaja kako za Upravljačko tijelo i dionike uključene u proces odabira projekata, tako i za sadašnje i buduće korisnike bespovratnih sredstava, ali isto tako za druga Upravljačka tijela u RH.
Važnost ovog vrednovanja i njegovih rezultata proizlazi i iz veličine uzorka i odaziva uključenih dionika koji su svojim doprinosom na raspolaganje Upravljačkom tijelu stavili vrijedne informacije osiguravajući osnovu za predstojeća unaprjeđenja sustava provedbe Operativnog programa „Konkurentnost i kohezija“. Ujedno snažno doprinoseći jačanju kulture vrednovanja javnih politika u Republici Hrvatskoj, kao i podizanju svijesti i znanja o značenju procesa vrednovanja.
Slijedom provedenog vrednovanja utvrđeni su sljedeći ključni zaključci:
✓ Sustav odabira projekata, u cjelini gledano, uređen je sustav s jasno uređenim procedurama i ulogama svih uključenih dionika.
✓ Sustav odabira projekata karakterizira visok stupanj standardiziranosti procedura čime se značajno umanjuje rizik od greške i netransparentnog postupanja tijekom odabira projekata.

3
Izrada materijala sufinancirana je sredstvima tehničke pomoći iz Operativnog programa „Konkurentnost i kohezija“, iz Europskog fonda za regionalni razvoj.
✓ Sustav odabira projekata omogućuje ravnopravan tretman svih potencijalnih prijavitelja prilikom provedbe postupka ocjenjivanja.
Sažeti rezultati vrednovanja po ključnim kriterijima vrednovanja i pripadajućim pitanjima dostupni su na sljedećim poveznicama. Kriterij vrednovanja Pitanja za vrednovanje Relevantnost (engl. relevance)
PITANJE 1: Kako odabir projekata podržava ciljeve regionalnog razvoja, poglavito umanjenja regionalnih nejednakosti?
Relevantnost sustava odabira projekata analizirana je isključivo s aspekta procjene doprinosa odabira projekata ciljevima regionalnog razvoja, odnosno smanjenju regionalnih nejednakosti.
Regionalni kriterij, odnosno primjena posebnih povoljnosti za prijavitelje iz potpomognutih područja, prisutna je u manje od trećine analiziranih Poziva za dostavu projekata, a model primjene regionalnog kriterija uglavnom se temelji na osiguranju dodatnih bodova za prijavitelje sa slabije razvijenih područja kod poziva za dostavu projekata koji imaju element natjecanja. Anketirani i intervjuirani dionici tijekom procesa vrednovanja pozitivno su se odredili vezano uz doprinos regionalnog kriterija ravnomjernom regionalnom razvoju, ali su isto tako istaknuli da ima poprilično prostora za njegovo poboljšanje. Takav zaključak opravdava i podatak da potpomognuta područja bilježe ispodprosječnu zastupljenost projekata, kako u pogledu broja, tako i u pogledu njihove vrijednosti.
Kada je u pitanju relevantnost sustava odabira, provedeno vrednovanje upućuje da je korištenje dodatnih bodova dominantan model primjene regionalnog kriterija te da takav sustav odabira projekata nedvojbeno ima pozitivne učinke na postizanje ravnomjernijeg regionalnog razvoja, ali ipak u ograničenom opsegu podržava umanjenje regionalnih nejednakosti te ne osigurava u dovoljnoj mjeri primjerenu razinu apsorpcije EU fondova na slabije razvijenim područjima.
Kriterij vrednovanja Pitanja za vrednovanje Djelotvornost (engl. effectiveness)
PITANJE 2: Do koje mjere primijenjeni kriteriji odabira i mehanizmi u raznim potporama vode do projekata koji su u skladu s ciljevima OPKK (u svim prioritetima)?
PITANJE 3: Jesu li odabrani projekti doprinijeli ostvarivanju horizontalnih načela i u kojoj mjeri?

4
Izrada materijala sufinancirana je sredstvima tehničke pomoći iz Operativnog programa „Konkurentnost i kohezija“, iz Europskog fonda za regionalni razvoj.
Pitanje 2:
Vrednovanjem je utvrđeno kako sustav odabira projekata ima ugrađene mehanizme koji, načelno, osiguravaju izbor projekata koji su u skladu s ciljevima Operativnog programa, ali prvenstveno u smislu utvrđenih i postojećih procedura odabira po svakom pozivu. Kada je u pitanju sam odabir projekata, odnosno prepoznavanja projekata koji pružaju veći doprinos ciljevima Operativnog programa, sustav je djelomično djelotvoran. Dijelom je spomenuti rezultat povezan s definicijom kriterija odabira koji se u svim pozivima za dostavu projektnih prijedloga koristi za procjenu djelotvornosti projektnih prijedloga („vrijednost za novac koju projekt donosi“), a koji je koncepcijski više usmjeren na učinkovitost nego djelotvornost projekata.
Tim za vrednovanje utvrdio je kako u utvrđenim procedurama odabira (u okviru Zajedničkih nacionalnih pravila) nedostaje kriterij koji bi se nedvosmisleno odnosio na ocjenu djelotvornosti, odnosno ocjenu doprinosa projekta ostvarenju ciljeva OPKK-a. Uz spomenuto, kod većeg je broja poziva utvrđen nizak bodovni prag koji prijavitelji moraju zadovoljiti u slučaju kriterija koji mjeri djelotvornost u ukupnom broju bodova, što također negativno utječe na ukupnu djelotvornost sustava odabira. Ipak, percepcija ispitanika vezana uz djelotvornost pozitivnija je od rezultata do kojih je došao tim vrednovanja provedbom dubinske analize dokumenata te većina ispitanika smatra da je sustav umjereno dobar u smislu odabira projekata koji osiguravaju najveći mogući doprinos ciljevima OPKK-a.
Kao nedostatke, pojedine skupine dionika ističu da se nedovoljno vrednuje doprinos projekata pokazateljima u ključnim područjima u kojima RH zaostaje u odnosu na prosjek EU. Također, neki od ispitanika ističu kako je uočljiv nešto manji doprinos ciljevima OPKK-a u slučaju pred odabranih projekata, odnosno projekata koji su unaprijed definirani. Također, neki od ispitanika drže kako se odabir i ocjenjivanje projekata provodi previše proceduralno i da nema prostora za primjenu sektorskih znanja i iskustava. Ukratko, kada je u pitanju kriterij djelotvornosti, nalazi dobiveni različitim metodama istraživanja pokazuju da su potrebne dopune i unaprjeđenja sustava u tom dijelu.
Pitanje 3:
Provedenim vrednovanjem utvrđeno je kako su odabrani projekti doprinijeli ostvarivanju horizontalnih načela, odnosno da je učinak kriterija odabira u tom smislu bio pozitivan i značajan. Takav stav primarno potvrđuju nalazi dubinske analize poziva za dostavu projekata, a posebno kada se rezultati usporede s ostalim evaluacijskim kriterijima prema kojima je najbolja ocjena dodijeljena za horizontalni doprinos kriterija odabira.
Primjena kriterija odabira koji se odnose na promicanje jednakih mogućnosti te socijalne uključenosti je obvezna pa je već time osiguran pozitivan doprinos kriterija odabira ostvarivanju horizontalnih načela. Ipak, kad se govori o horizontalnim načelima u kontekstu djelotvornosti, primjetno je da se razradi projektnih aktivnosti od strane prijavitelja, koje osiguravaju odgovarajući horizontalnih doprinos, nerijetko pristupa paušalno na način da se primarno zadovolji bodovanje iz kriterija ocjenjivanja. Dijelom je isto povezano s činjenicom da kriteriji ocjenjivanja horizontalnih načela najčešće nose relativno mali broj i udio bodova u ukupnoj ocjeni projekta, kao i s činjenicom da nije dovoljno dobro razrađena primjena horizontalnih načela u samim kriterijima.

5
Izrada materijala sufinancirana je sredstvima tehničke pomoći iz Operativnog programa „Konkurentnost i kohezija“, iz Europskog fonda za regionalni razvoj.
Kriterij vrednovanja Pitanja za vrednovanje Učinkovitost (engl. efficiency)
PITANJE 4: Jesu li potrebne promjene (radi pojednostavljenja i povećanja učinkovitosti) u postupcima odabira i ocjenjivanja projekata kako bi se oni poboljšali? Ako da, koje?
Vrednovanje je pokazalo kako je proces odabira projekata prilično sustavno organiziran s nizom pravila koja utvrđuju postupanja svakog od aktera u procesu odabira (prijavitelji, posrednička tijela, Upravljačko tijelo). No, glavni je zaključak da su postupci odabira projekata veoma kompleksni, da predugo traju i da su potrebne promjene koje će pojednostaviti i vremenski skratiti cijeli postupak.
Najčešći razlozi dugotrajnosti postupka odabira povezani su s nedostacima u obrascima za prijavu projekata, nedovoljnom automatizacijom procesa (preveliki udio ručnog unosa podataka u sustav eFondovi) i prevelikim administrativnim opterećenjem, nedostatnom proceduralnom fleksibilnosti te previše krutim pravila u pojedinim dijelovima odabira. Također, podjela uloga i odgovornosti u procesu odabira između tri strane (Upravljačko, tijelo, Posredničko tijelo 1 i Posredničko tijelo 2) kompleksna je i utječe na dugo vremensko trajanje postupka odabira.
Kriterij vrednovanja Pitanja za vrednovanje Dosljednost (engl. consistency)
PITANJE 5: Postoji li dosljednost između pokazatelja OPKK, kriterija odabira i obrasca za ocjenjivanje?
PITANJE 6: Jesu li kriteriji jasni, precizni s nedvosmislenim nazivima, opisima, metodama ocjenjivanja i ponderiranim bodovima?
PITANJE 7: Jesu li predloženi kriteriji dosljedni i pružaju li sveobuhvatno ocjenjivanje projekta?
Pitanje 5:
Prema rezultatima provedenog vrednovanja, dosljednost između pokazatelja OPKK, kriterija odabira i obrasca za ocjenjivanje postoji, ali još uvijek postoji prostor za poboljšanje razine dosljednosti. U više poziva utvrđeno je da čak četvrtina ili više specifičnih kriterija odabira nije razrađena kroz pitanja u obrascu za ocjenjivanje kvalitete, no utvrđeno je kako se ne radi o sustavnoj nekonzistentnosti, nego više o nedostatku jasnih uputa koje bi utvrdile točan pristup stvaranju poveznica između relevantnih kriterija OPKK, specifičnih kriterija odabira (odnosno kriterija odabira na razini specifičnog cilja OPKK) te pitanja za odabir na razini pojedinog poziva.

6
Izrada materijala sufinancirana je sredstvima tehničke pomoći iz Operativnog programa „Konkurentnost i kohezija“, iz Europskog fonda za regionalni razvoj.
Pitanje 6:Rezultati vrednovanja potvrdili su da su kriteriji odabira pretežito jasni, s uglavnom jasnim, nedvosmislenim nazivima, metodama rangiranja i sustavom bodovanja te da sustav bodovanja ne favorizira, niti diskriminira bilo koju grupu prijavitelja. Međutim, kao i u većini drugih područja sustava odabira projekata, tako i u ovom dijelu postoji još dosta prostora za poboljšanje. U nekim je pozivima uočeno preklapanje između kriterija prihvatljivosti i kriterija odabira, a što je povezano s (pre)velikim brojem primijenjenih kriterija. Velik broj poziva za dostavu projekata u ocjenjivanju kvalitete koristi binarni način ocjenjivanja (da/ne). Na taj način se, posebno u pozivima s natjecateljskim karakterom, smanjuje ukupna kvaliteta selekcijskog procesa jer se ne omogućava dovoljno razlikovanje više kvalitetnih od manje kvalitetnih projekata, a što posljedično također smanjuje i djelotvornost poziva. Također, prilikom razrade kriterija primjetna je primjena pristupa s velikim brojem podkriterija s vrlo malom bodovnom vrijednosti, što dovodi do fragmentiranosti bodovanja te smanjuje fokus na doprinos glavnim ciljevima OPKK-a.

Pitanje 7:Rezultati vrednovanja upućuju da postoji dosljednost procedura odabira projekta te da one pružaju dobar okvir za sveobuhvatno ocjenjivanje projekata. Pri tome se ističe kako uspostavljene procedure i poslovni procesi (u okviru Zajedničkih nacionalnih pravila) predstavljaju temeljni i vrlo čvrst (no, ipak ne u svim dijelovima savršen) okvir za ocjenjivanje projekata koji osigurava da se ocjenjivanje vrši na cjeloviti način. No, kao jedan od izazova ističe se značajno kvantificiranje ocjenjivanja pri kvalitativnoj procjeni u okviru kriterija odabira čime se ograničava interpretacija ocjenjivača kao kompetentne osobe koja treba dati svoje stručno mišljenje, a time posljedično utječe i na nedovoljno izdvajanje (odabir) projekata prema kvaliteti prijave.

Cjelovito Izvješće o provedenom vrednovanju