Panelové hodnocení vědy: Jen abychom si neutrhli ostudu!
Nejrozumnější by bylo „peer review“ využít pro zkvalitnění nejen výzkumu, ale i špičkového univerzitního vzdělávání, píše Dalibor Štys.

KOMENTÁŘ Dalibora Štyse / Na stránkách ČESKÉ POZICE se odehrála zdánlivě nesmiřitelná diskuse na téma hodnocení a financování české vědy mezi Akademií věd (reprezentovanou profesory Jiřím Drahošem a Jiřím Chýlou) a univerzitami, zastoupenými především rektorem Univerzity Karlovy, profesorem Václavem Hamplem. Do diskuse přispěli též dva členové Rady pro výzkum, vývoj a inovace „za průmysl“, ing. Zbyněk Frolík a doc. Jiří Cienciala. Nakonec se problému lehce dotkl i nově jmenovaný poradce premiéra pro výzkum prof. Rudolf Haňka a komentovali jej i členové týmu integrovaného projektu národního Metodika doc. Daniel Münich a prof. Jitka Moravcová. Korunu všemu zasadila poměrně široce medializovaná studie think tanku IDEA při CERGE-EI.
- Představitelé Akademie věd vehementně zastávali stanovisko, že pouze na základě publikovaných výstupů se věda hodnotit nedá, a už vůbec se jím nemůže řídit financování vědy.
- Hlas z univerzit zněl (poněkud slaběji), že kafemlejnek – tedy rozdělování peněz čistě podle publikací – je přece lepší.
- Průmysl je toho názoru, že nelze jen přidávat do pokladnice světové vědy, ale je nutno podmínky nastavit i tak, aby se ze světové vědy především čerpalo.
- Tým projektu Metodika se nechal slyšet, že snad za čtyři roky budeme vědět, jak překonat českou skepsi vůči státní moci a českou tendenci každá pravidla využít a zneužít.
Shrnuto, byly to jen řeči nepodložené daty, možná i záměrně nebo tendenčně. V diskusích pod články se pak ukázalo, že na Akademii věd přes všechny výhrady působí řada „scientometristů“ až „scientometrofilů“, kteří v rozporu s názorem vedení instituce jsou kdykoliv ochotni bez rozmyslu scientometrii aplikovat.
Nejlepší výzkum se dělá...
Pokrokem aktuální studie IDEA s názvem „Kde se v ČR dělá nejlepší výzkum“ je, že přináší data a určitý názor. Ačkoliv se její autoři hned na začátku dlouze zaštiťují , že „oni jistě žádné hodnocení neprovádějí“, minimálně jedno hodnocení – kvality časopisů podle impakt faktoru – je úplným základem studie. Navíc jsou ve studii tabulky seřazené podle číselných hodnot, což samozřejmě ke srovnávání vede. A také hned druhý den byly takové tabulky komentovány v tisku ve stylu „Nejlepší fyzika v ČR se dělá na Fyzikálním ústavu AV ČR“.
Mezinárodní peer review
Určitě nezískáme nositele Nobelovy ceny k hodnocení ústavu, který má v daném oboru jen jeden podprůměrný článekBylo klasifikováno 84 oborů. Je třeba pokračovat i dalšími kroky hodnocení, především mezinárodním peer review, tedy hodnocením hodnotiteli z jiných institucí. To bude tak dobré, jak budou dobří hodnotitelé. Určitě nezískáme nositele Nobelovy ceny k hodnocení ústavu, který má v daném oboru jen jeden podprůměrný článek – i ty jsou v první desítce v předložené studii. Kolik institucí, které se mohou přihlásit k rigoróznímu peer review, vůbec máme?
Stanovme si nějakou hodnotu, například 100 publikací ve sledovaném období 2006 až 2010, jako minimální číslo pro to, aby byla daná instituce ve svém oboru ve světovém měřítku vůbec rozpoznatelná:
- Lehce dospějeme k závěru, že pouze ve 33 oborech máme alespoň jednu instituci, která by podle tohoto nejjednoduššího kritéria mohla vůbec usilovat o peer review a následně o institucionální podporu v daném oboru (vynechal jsem dvě disciplíny: ostatní lékařské obory a ostatní obory vnitřního lékařství, ze zřejmých důvodů).
- U dvou oborů nastal paradox, že pracoviště, které překračuje hodnotu 100 publikací, není tím, které je první v pořadí kvality.
- Nejkvalitnější pracoviště tuto hranici naopak nepřekračuje. Jsou to právě obory velmi úspěšné v sebeprezentaci v médiích, biochemie a ekologie společenstva.
Je požadavek alespoň na 100 publikací malý, nebo velký? Pro srovnání uvádím, že mně blízký Max-Planck-Institut für Biophysikalische Chemie měl za toto období 1257 publikací, srovnatelný český Biofyzikální ústav Akademie věd ČR si započítal 405 publikací. Nejspíš by se ve skutečnosti měla laťka posunout ještě výše, třeba na 300.
- Pro možnost psaní komentářů se přihlaste nebo zaregistrujte.







Komentáře
ČESKÁ POZICE ctí demokratickou diskusi. Prosíme vás však o respektování pravidel diskuse (viz Podmínky užívání služeb), jejichž smyslem je přispět k její korektnosti a smysluplnosti.
Vložením příspěvku potvrzujete svůj souhlas s těmito pravidly. Příspěvky, které se z nich vymykají, budeme nuceni odstranit.
Děkujeme vám za pochopení.
srovnavani
pekny clanek.
jen pro upresneni ...srovnani Biofyzikalniho ustavu zhlediska poctu publikaci pokulhava.
Max-Planck-Institut für Biophysikalische Chemie ma 850 zamestnancu a 31 vyzkumnych skupin. Biofyzikalni ustav mel v roce 2011 zamestnancu 198 a 9 vyzkumnych oddeleni. Srovnavat je tedy snad mozne tematicky nikoliv kapacitne a z hlediska absolutniho poctu publikaci v danem oboru.
Souhlas
Nás (ÚFB JU) bylo, mimochodem, ještě mnohem míň a ještě nám publikace odtahovali na BCAV a MBÚAV. Navíc je tam MFF s vynikající kvalitou publikací. Myslím, že biofyzika by prošla. Celá léta jsem vyhlížel z okna ústavu, že mezinárodní peer revieweři konečně potáhnou od rakouské hranice, nejlépe na bílých koních. No, nedočkal jsem se ....
Co takhle alespoň udělat jednu biofyzikální doktorandskou školu?
počet publikací v Ekologii společenstev
Nemohu si pomoct, ale Biologické centrum AVČR v dané studii vysoce přesahuje stanovený počet (100) publikací v oboru Ekologie společenstev. Je jich tam evidováno 167, z toho 53 v horním tercilu podle IF. A když tak koukám na druhý výslovně zmiňovaný obor, PřF UK se svými 106 publikacemi rovněž o fous překonává stanovenou hranici.
Pokud tedy textu dobře rozumím, je v tomto silně zavádějící.
BCAV ale není nejlepší
Nejvíce nejlepších článků maji ti, co nepřesahují 100 publikací - UK, přírodovědecká fakulta. Ty dvě věty patřily k sobě, rozdělili je editoři. No, abych si tedy skutečně přisadil - neměl jsem to v úmyslu, ale když se husa ozvala - Biologické centrum AVČR má v ekologii společenstev jen 31% publikací v horním tercilu. Naproti tomu PřF UK 77% . :-)
No jo, to máte těžký. Nedřív
No jo, to máte těžký. Nedřív byste si měl stanovit, podle jakého kritéria chcete hodnotit - jestli podle absolutního počtu publikací (jinak nemá Vámi stanovená hranice 100 publikací žádný smysl), podle počtu publikací v horním tercilu nebo podle procentuálního zastoupení počtu publikací v horním tercilu z celkového počtu publikací. Bez toho nemá žádné srovnávání větší význam a text (článku i duskuzních příspěvků) je zavádějící, protože argumentujete, jak se to zrovna hodí.
Ale ono je nakonec jedno, které pracoviště je první, druhé nebo páté, podle toho, jak se zrovna stanoví nějaká pevná hranice. I v citované zprávě proto používají dvě různá kritéria a uvádějí dva různé žebříčky. Důležité je ukázat, jaké rozdíly jsou mezi těmi, co jsou v oboru na předních místech a těmi, co jsou vzadu. A to je poměrně dobře viditelné. Ať se použije libovolné kritérium hodnocení kvality nebo kvantity, tohle se prakticky nemění.
IPN a financování
Jo, taky říkám, že po skončení IPN na tom budeme stejně jako pět let před jeho zahájením. Stačilo by vzít si metodiku z Holandska, ani by se nemusela překládat.
Pokud jde o to financování, nechápu, v čem se naše situace dnes liší od té dva kilometry na jihovýchod od našeho ústavu :-( Tedy pokud opominu, že přístroje i náhradní díly stojí víc a na opravu čekáme (i o rok) déle. To mohou zahraniční posuzovatelé dobře posoudit a říct jak to skutečně je. A taky jak by to mělo být, kdybychom to s konkurenceschopností naší vědy mysleli vážně.
(Pardon, toto je reakce na Roba, omlouvám se. )
Dobry den, pekny clanek,
Dobry den,
pekny clanek, jenom nevidim, jak by Vase uvahy sly aplikovat na obory, v nichz je zakladnim vystupem monografie (tj. typicky humanity). I tam sice v obecnosti plati, ze dobra instituce produkuje vic kvalitnich clanku nez instituce spatna, ale excelence se dle clanku poznat opravdu neda - je pak potreba sahnout primo do strev a kouknout se na realnou spolupraci se zahranicim a kvalitu monografii a jejich (treba) prekladanost. Paradoxne mohou v takovem posuzovani hrat daleko vetsi roli dnes zavrhovane sborniky.
A dalsi veci je znama disproporce frekvenci vystupu v jednotlivych oborech (ekonomie typicky jeden clanek za 2-3 roky, chemie 2-3 clanky za rok). Tedy ekonomicky ustav, ktery by presahl Vas prah, by musel byt radove vetsi, nez ustav se zamerenim na chemii.
Takze pro "normalizaci" prahu by bylo treba zavest vnitrooborove mezinarodni srovnani "vykonu". Mozna by se pak ukazalo, ze nektere "vykonne" instituce jsou mezinarodne podprumerne, zatimco v jinych oborech ty, ktere by pres Vas neprosly, jsou vlastne docela fajn.
Zdravi,
Sam Zajicek
Humanity
V praxi zrovna ekonomie je to tak, že když se sečte CERGE, Národohospodářský ústav a FSV UK, vznikne velmi slušná kapacita. A oni do značné míry už dohromady fungují.
Pokud jde, například, o českou historii a jiné národně-specifické disciplíny, tak tam její představitelé lavírují mezi tím být světoví lídři v české historii, bohemistice či špičkoví světoví slavisté nebo být strážci českého kulturního dědictví. Pokud jsou to druhé, pak mají žádat o granty na ministerstvu kultury nebo o granty regionálního rozvoje. (Což taky často úspěšně dělají.) Tím nechci preferovat jedno nebo druhé, ale jen říkám, že se jedná od dvě různé věci, které by se měly posuzovat i financovat odděleně.
Jen dve poznamky - 1)
Jen dve poznamky -
1) Neplati, ze humanity jsou pouze narodne specificke. Ale i u tech, ktere nejsou, je casto primarnim vystupem monografie. A monografie proste neumime hodnotit (je jasne, ze cesky samizdat ma asi jinou hodnotu, nez anglicka publikace vydana Cambridge Uni Press, ale jak to jemne kvantifikovat?), natoz zjistit jejich citovanost ci dopad.
2) I u vylozene narodne specifickych disciplin nelze zanedbat vedecky aspekt - a to i kdyby se jednalo primarne o Vami zminovanou "straz". To jednak. A po strance financni je jasne, ze bez institucionalni podpory neni udrzitelne nic - nelze provozovat instituci, kdyz nemate alespon strednedoby slib alespon zakladnich prostredku.
Jedna věc je hodnocení, druhá
Jedna věc je hodnocení, druhá financování.
Předložená studie IDEA myslím solidně identifikuje instituce, kde se dělá slušný výzkum na mezinárodní úrovni (tedy v oborech s dobrým zastoupením ve WoS). Základní srovnání institucí odděleně v rámci jednotlivých oborů podle kvalitních publikací (v první třetině časopisů v oboru seřazených dle IF a ne všech jak to dělá kafemlejnek) je OK. Myslím, že by neškodilo zařadit do tohoto scientometrického projektu i citace příslušných institucí (výsledky by samozřejmě korelovaly, ale snad by to přesvědčilo i prof. Zlatušku, který hodnocení podle výše IF odmítá...). Co ale žádná mechanická scientometrie neumí je identifikace „excelence“. Tady se už bez lidí neobejdeme a každá (nebo jen vybrané...?) instituce by pak předložily svých 10 nejlepších výsledků (nejen článků ale i knih, realizovaných (!) patentů, atd.) pro peer review, kde by se nehodnotilo podle výše IF, ale podle zhodnocení kvality a inovativnosti zahraničními experty. Dále bych do hodnocení zařadil získávání grantových financí, zejména ze zahraničí a zejména ERC granty...
Ono to hodnocení sice vyvolává emoce a bouřlivé diskuse, ale MFF UK a Fyzikální ústav AV dopadnou dobře (resp. skvěle) ať už se budou hodnotit současným kafemlejnkem, upraveným kafemlejnkem, studií IDEA, studií Technopolisu, nebo nějakou novou metodikou vzešlou z IPn Metodika. Spíš mám obavy až strach o to, jak se to hodnocení bude promítat do financování. O tom už prakticky nikdo nic nepíše... Tady už žádní zahraniční panelisté nebudou zapotřebí (nerozumí přece českým podmínkám), zasedne jako letos na jaře za zavřenými dveřmi komise léty prověřených českých zástupců akademie, univerzit a průmyslu, poštěkají se jak psi a nakonec něco „moudře“ odhlasují...?