Jak hodnotit vědu: Hledání české cesty

Výsledky nového systému hodnocení výzkumu budou k dispozici nejdříve za čtyři roky, o jeho přípravě píše Jitka Moravcová a Daniel Münich.

Věda a vzdělávání
Daniel Münich | 06.08.2012

Nový šéfporadce premiéra pro vědu profesor Rudolf Haňka v nedávném rozhovoru pro ČESKOU POZICI mimo jiné hovořil o velkém významu, který připisuje hledání rozumné míry shody nad tím, jakým způsobem se v České republice bude v budoucnu provádět institucionální hodnocení výzkumu. Současný systém hodnocení (takzvaný kafemlejnek) označil za neudržitelný a naznačil možné směry, kudy se vydat. Zmínil tři paralelně běžící agendy, které se přípravy nového systému hodnocení týkají.

Jednou z nich je agenda Individuálního projektu národního „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (Ipn Metodika), který byl v únoru 2012 spuštěn na ministerstvu školství po dohodě s vládní Radou pro výzkum, vývoj a inovace (RVVI). Hlavní garantka projektu Ipn Metodika Jitka Moravcová a garant klíčové aktivity metodik hodnocení v tomto projektu Daniel Münich ve své reakci na rozhovor s profesorem Haňkou objasňují, že při přípravě nové metodiky nejde o „trojkolejnost“. „Byť jsou informace o tomto projektu dostupné na webové stránce ministerstva školství, rádi bychom čtenářům ČESKÉ POZICE podrobněji osvětlili, jak cíle projektu Ipn Metodika zapadají do celkového rámce, který je v rozhovoru s profesorem Haňkou zmíněn,“ napsala Moravcová s Münichem.

Z Auditu se rodí Metodika

Projekt Ipn Metodika je přirozeným pokračováním dobíhajícího projektu ministerstva školství Ipn Audit. V jeho rámci totiž došlo v letech 2010 až 2011 k jedinečné hloubkové analýze českého systému výzkumu a vývoje (VaV) nezávislými zahraničními experty sdruženými kolem renomované britské agentury Technopolis. Jeden z důležitých závěrů je totožný s pohledem profesora Haňky.

  • Konstatuje se v něm: Metodika hodnocení (kafemlejnek pozn. autorů) není vhodná pro účely, jimž má sloužit. Přináší pokřivení struktury i chování a je překážkou mnohým aspektům rozvoje národního systému výzkumu a inovací.
  • Na dalším místě se velice kriticky jinými slovy říká totéž: Hodnocení v českém systému VaVaI (výzkumu, vývoje a inovací pozn. autorů) funguje špatně. Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele. Je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V praxi hodnocení je třeba provést radikální změny a využít hodnocení pro dosažení zodpovědnosti a k tvorbě a zlepšování politik.

Zároveň Ipn Audit doporučil: Pro hodnocení výzkumu v České republice navrhujeme to, co se nazývá ,informed peer-review, totiž posuzování rozšířené o indikátory. (...) Peer-review bude prováděno objektivně a nezávisle vybranými (mezinárodními) kolegy z oboru. Pro méně obeznámené čtenáře upřesňujeme, že peer-review hodnocení znamená, že výsledky vědecké práce jedněch odborníků hodnotí jiní na nich nezávislí odborníci ve stejném oboru.

Dále je v závěrečné zprávě Ipn Audit uvedena řada konkrétních principů, kterých by se mělo české provedení informovaného peer-review hodnocení držet, a která se mimo jiné týkají výběru kvalitních nezávislých zahraničních hodnotitelů, delších časových intervalů mezi hodnoceními, oborovosti a samotných pravidel procesu hodnocení. Ohledně účelu hodnocení samotného se ve zprávě píše:

Hodnotící praxe by měla být od základu reformována s tím, že bude zaměřena na výsledky a dopady a bude přispívat k rozvoji politik a programů a k plánování. Kromě jiného bude zahrnovat implementaci ,kaskádového principu, jenž znamená, že úrovně řídící hierarchie používají nezávislou expertízu pro hodnocení nižších hierarchických úrovní, ale nehodnotí samy sebe.

Projekt Ipn Metodika tedy vychází z těchto doporučení Ipn Audit a podle doporučených zásad připravuje nový systém hodnocení, který bude adekvátně reflektovat specifika národních podmínek České republiky. Ale i bez toho projekt přípravy oborových metodik hodnocení předjímají dokumenty RVVI již zhruba od roku 2009 a potřebu nového způsobu hodnocení zmiňuje řada současných vládních strategických dokumentů včetně programového prohlášení této vlády z roku 2010.

Hledá se řešení pro přechodné období

Solidní systém hodnocení, jak ho doporučuje Ipn Audit a jak se realizuje v řadě zemí, však nebude jednoduché připravit. Vždyť i ve Velké Británii, kde se podobným systémem (RAE) hodnotilo již několikrát v minulosti a naakumulovaly se tam obrovské praktické zkušenosti i na straně hodnocených akademických institucí, se jeho modernizovaná verze REF připravuje již řadu let a proběhne až v roce 2014. Bylo by naivní, a dokonce škodlivé předpokládat, že v Česku, kde je velice nízká kultura hodnocení a mizivé nebo špatné zkušenosti, bude možno řádné hodnocení připravit a zavést během jednoho roku či dvou let.

Zobrazit diskusi
Reakcí:14

Komentáře

ČESKÁ POZICE ctí demokratickou diskusi. Prosíme vás však o respektování pravidel diskuse (viz Podmínky užívání služeb), jejichž smyslem je přispět k její korektnosti a smysluplnosti.

Vložením příspěvku potvrzujete svůj souhlas s těmito pravidly. Příspěvky, které se z nich vymykají, budeme nuceni odstranit.

Děkujeme vám za pochopení.

Česká cesta :-) a epistemologický problém současné přírodovědy

Že česká cesta k hodnocení vědy je cestou do naprosté vědecké nicoty nahlédne zajisté i laik. Zvlášte, když si na ní máme ještě pět let počkat. (Většina protagonistů IPN Metodika už bude v důchodu nebo těsně před ním.)  :-) Většiny členů řešitelského týmu si fakt vážím, ale ....

Přechod od RAE k REF (čtu si o něm v Times Higher Education) není jen jakousi reakcí na selhání staršího hodnocení. Odráží epistemologickou polemiku v současné přírodovědě - v terminologii konce 19. či počátku 20. století by bylo na místě říci epistemologickou krizi či otázku. Zjednodušeně, někdy před 20 lety vznikly elektronické referenční databáze a jejich tvůrci začali dělat různé statistiky. Tím vznikly žebříčky a když ukážete muži žebříček, můžete si být jisti, že se bude snažit v něm postoupit výše. Tím vznikl tlak na publikaci co nejvíce článků a pokud možno takových, aby je co nejvíc lidí do tří let citovalo. K čemu to vedlo nemá smysl opakovat.

Jak psal Wittgenstein "Ambice je smrt myšlení" (Wittgenstein, Vermischte Bemerkungen 1951 )

Bez ohledu na ostatní odlišnosti RAE a REF, zásadní je, podle mne, instŕukce pro hodnotitele nebrat při hodnocení článků ohled na impakt. Data be damned, zněl titulek článku v  Times Higher Education.

K otázce českého hodnocení bych si dovolil odcitovat jednoho nejmenovaného kolegu: "Dělat rozumná a férová přijímací řízení na nové zaměstnance je možné už teď. Chce to jen dobrou vůli a zdravý rozum. " A příklad CERGE-EI, odkud pochází doc. Münich, to jasně ukazuje. Bylo to zjevně možné  v zásadě kdykoliv v průběhu minulých 22 let. Což vypovídá cosi o skutečných cílech české vědecké obce v minulých letech a nejspíše i v současnosti.

Dnešní článek z The Scientist

V této souvislosti viz též dnešní článek v The Scientist

http://the-scientist.com/2012/08/07/opinion-bias-is-unavoidable/

Audit

Bohužel na Čechy žádný audit neplatí. Lidé v české kotlině přemýšlí jinak a bohužel ve vědě to není jiné. Je to tam ještě horší, neboť lidé zde mají povětšinou vyšší IQ a také minimální kontrolu nad sebou a to jak od svých vedoucích, tak i od sebe samotných. Důkazem je to, jak jsou jednotlivé instituty hodnoceny a jak tomu neodpovídají jejich skutečné výstupy a příjmy z této činnosti. Projídáme peníze z operačních programů a přínos je minimální, stačí se jen podívat na nesmyslnost Výzkumných center! Již teď vláda avizuje, že je socialisticky podrží. V této kotlině to chce nejdříve změnit myšlení lidí a pak teprve vymýšlet nějaké mechanismy hodnocení. Lidé musí mít zodpovědnost za svoje činnosti a ve vědecké popř. akademické sféře to platí desetinásobně!

Přechodné období

Mezi kapitalistickou a komunistickou společností — pokračuje Marx - je období revoluční přeměny prvé v druhou. Tomuto období odpovídá také politické přechodné období, jehož stát nemůže být ničím jiným než revoluční diktaturou proletariátu“...

http://www.marxists.org/cestina/lenin/1917/statar/ch5.htm

Přechodné období je obecně časem, kdy je možné se vypořádat s konkurencí.

Malá, leč důležitá námitka: ČR není vhodné srovnávat s UK , kde je řada vzájemně si konkurujících, velkých a světově významných univerzit a dalších vědeckých institucí.

Nejvěhlasnější univerzity nejsou státní, přestože ´královská ´ přání zvláštním způsobem ´respektují ´.

V zemi nepostižitelných politiků je na reformu školství a vědy brzy.

ČR není vhodné srovnávat s UK.....

Správně, srovnávejme se třeba s Mosambikem nebo Jižním Sůdánem.

 

Ale k věci: Jsem rád, že už se pomalu začíná konfrontovat s realitou nesmyslná představa, že na českou vědu šlo v posledních letech nějak výrazně málo peněz. Naopak. Ze statistik je celkem jasné, že v rámci postkomunistických zemí dávala ČR (vedle Slovinska) na vědu největší podíl HDP. Kdo nevěří statistikám, ať si, jako já vloni v listopadu, udělá výlet na bratislavský matfyz nebo lékařskou fakultu. To je návrat do roku 1987 + příslušná devastace za 25 let.

 

Všechny naše vlády vědě přály, koneckonců celá polistopadová garnitura je plná lidí z výzkumu, převážně z AV. Právě proto, nikoliv navzdory nim, se Akademie věd nerozpustila do klíčových pozic vysokých škol, jak by každý normální politik zavelel. AV vždycky měla k politikům blízko a Ústav státu a práva k lecčemu ochotně našel správné právní zdůvodnění.

 

Šanci jsme měli, nejen ve vědě, a trestuhodně jsme ji nevyužili.

nebo treba s Belgii, Rakouskem, Norskem,

ano, z Prognostickeho a Ekonomickeho ustavu ... Jak na tom jsou oba jmenovane ustavy nyni ?

Klausuv stret s prof Zahradnikem pri Klausove zmince o spatne urovni vedy na CSAV je znamy.

Jinak skoda mluvit .

Slyšel jste někdy o CERGE-EI ?

O jeho úspěších se píše v každém druhém Akademickém bulletinu. Doporučuji odkaz http://www.cerge-ei.cz/promotions/about-cerge-ei

Pro obecné publikum vyjímám z tamních webových stránek:

The Center for Economic Research and Graduate Education of Charles University (CERGE) was founded in 1991 as an American-style Ph.D. program in Economics taught entirely in English. In 1992, the Economics Institute of the Academy of Sciences of the Czech Republic (EI) was created as an economics research institution, seeking to carry out topical research of the highest international standards.

Recognizing their overlapping goals and interests, the two institutions entered into a cooperation agreement in 1993, which later evolved into a formal joint workplace agreement in 1999. Our partnership represents a unique example of cooperation in the Czech Republic and serves as a model of how to break down the artificial division between universities and research institutions that existed throughout the communist period. CERGE-EI reinforces the relationship of teaching and research by creating an environment of intellectual curiosity and scientific rigor.

Sotva lze najít vědeckou instituci v ČR, která by lépe ukazovala, jak se to mělo - a mohlo - udělat dobře. Nejlepší by bylo se vždy předem o věci poučit, než začnu něco autoritativně vykládat. :-((

No, a pokud jde o kvalitu přírodovědy na AV, pak můj názor je dobře znám. 5/11 ISTA, tj. cca 14 výzkumných skupin.

Vy jste věčný smolař, Dalibore

Až nejnovější studie institutu IDEA při CERGE-EI, kterou zpracovali ekonomové Daniel Münich a Štěpán Jurajda a kterou mají HN exkluzivně k dispozici, představuje vědecká pracoviště, která ve svých oborech vytvářejí špičkový výzkum.

 

Nejrespektovanější českou vědeckou institucí je Fyzikální ústav Akademie věd. Aspoň pokud se úspěšnost měří počtem citací v nejprestižnějších vědeckých časopisech světa.

Ústavu otiskly mezi roky 2006 a 2010 redakce 823 článků, čímž se tamní vědci zabývající se fyzikou pevných látek dostali na první místo v Česku.

Kolegové nedávno zesnulého Antonína Holého z Ústavu organické chemie a biochemie Akademie věd jsou zase s 223 články jasnými lídry české organické chemie. A nejnovější poznatky z oboru genetiky a molekulární biologie publikují vědci z Ústavu molekulární genetiky Akademie věd. 

 

http://zpravy.ihned.cz/cesko/c1-56960100-uspech-fyzikalniho-ustavu-akademie-ved-ve-svete-je-nejcitovanejsi-ceskou-instituci

 

 http://idea.cerge-ei.cz/documents/studie_2012_03.pdf

 

:-)))

Furt tomu nějak nerozumím. To přece říkal profesor Drahoš, že jen počtem publikací se věda neměří. Takže odteď zas jedeme podle kafemlejnku ? 

Například mnou vedený ÚFB publikoval v letech 2009-2011 mezi 65 a 92 články evidované ve wos.  Počet citací v roce 2011 asi 750 (nesedím u wos, vycházím ze staršího grafu). Však se také v citované studii v oboru biofyzika ocitáme hned na druhém místě, a to jen kvůli kvantitě, absolutnímu počtu, počet osob, který byl na dosažení výsledku třeba, se nezmiňuje. Jak jest možno předem nahlédnouti než něco nejapného napíšu. 

Navrhuji dělit počtem pracovníků, pak zvítězíme. 

Neboli - nesouhlasím, disciplína scientometrie má s kvalitou vědy málo společného. Nicméně v ní obstojím stejně dobře nebo lépe než mnozí jiní. 

Ale také dobře vím, za jako cenu bylo takových kvantitativních výsledků dosaženo. V pozitivním i negativním smyslu slova.

PS: Původní téma této niti diskuse bylo, že Ekonomický ústav zniknul. No, nezaniknul, a vy se na něj kupodivu odvoláváte. :-)) 

PPS: Fakt si myslíte, že ÚFB byl 2,1x lepší než MFF UK?

Při pohledu zvenku je tahle debata celkem sranda, ne?

 

Kdyź to píší experti z CERGE,

tak to bude pravda.

Oni provádějí haňkovské srovnání se světovou špičkou - počítají pouze kvalitní žurnály, čímž zohledňují IF.

No a nakonec mi napište, kde jsem uvedl, že Ekonomický ústav neexistuje. Dále mi osvětlete, proč ani CERGE není k nalezení zde: http://www.cas.cz/o_avcr/struktura/pracoviste/index.html

Je to všechno zatraceně komplexní.

Kdyź to píší experti z CERGE,

tak to bude pravda.

Oni provádějí haňkovské srovnání se světovou špičkou - počítají pouze kvalitní žurnály, čímž zohledňují IF.

No a nakonec mi napište, kde jsem uvedl, že Ekonomický ústav neexistuje. Dále mi osvětlete, proč ani CERGE není k nalezení zde: http://www.cas.cz/o_avcr/struktura/pracoviste/index.html

Je to všechno zatraceně komplexní.

Jsem na příjmu

Ale už nereaguji :-)

To děláte dobře

Na M. školství je razie kvůli informačnímu systému, na CzechInvestu razie kvůli primitivním zlodějnám, na Hospodářské komoře bude brzy odstraněn "likvidátor" Akademie věd, Kindl-Kinder Kužel, někdejší kandidát do RVVI. CERGE  dělá pozitivní PR ústavům AV ... Já jsem Vám už před časem psal, že se střetneme na frontě.

 

Dejte si poradit, Dalibore. ODS a tato vláda s jejími RVVI, HK, GAČR a TAČR nemohou uspět a nesmí jim být ponechány volné ruce k tunelování veřejných rozpočtů a nekompetentním zásahům (nejenom) do akademické sféry.

 

 

Na jaké frontě? Po tom všem, co jsme řekli?

Na tohle musím reagovat:

Někomu holt jde o kvalitu (a předtím vůbec o smysl) české vědy, někomu jen o dobro instituce na níž je mu zrovna teplíčko. Do žádného boje za AV nebo VŠ nebo průmysl se nevydávám. A nikdo, kdo se řídí rozumem, to neudělá. 

Ty jsi holt korunovanej ... Zajisté je podobně korunovaná většina náčelníků jimž tak nadšeně sloužíš. Což český výzkum zavedlo do těch konců v nichž dnes je.

Možná musíme fakt padnout až na dno - uznávám, že to je do značné míry náhled z AV, tam vidí sebemenší rozumnou změnu často jako totální katastrofu. Ale spíš to dopadne dobře, protože na naší polemiku reagovala řada lidí v našem věku velmi rozumně. 

Skrýt diskusi

Oblíbený obsah