Žebříčky jako ukazatele kvality vysokých škol?

Univerzita Karlova se v žebříčku univerzit ARWU 2012 umístila ve třetí světové stovce, tím se zařadila mezi dvě procenta nejlépe hodnocených.

Věda a vzdělávání
Jan Koucký | 17.08.2012
V roce 2012 obhájila své každoroční prvenství v žebříčku ARWU suverénní Harvardova Univerzita (USA)

Nejvýznamnější celosvětové žebříčky vysokých škol publikují světové instituce každým rokem v průběhu srpna až října. Jejich výsledky včetně komentářů k nim představí Jan Koucký, ředitel Střediska vzdělávací politiky Pedagogické fakulty UK, na textu spolupracoval jeho kolega Aleš Bartušek. V první dílu seriálu se autoři zabývají šanghajským žebříčkem Academic Ranking of World Universities(ARWU), jenž byl zveřejněn 15. srpna.

Přirozeným důsledkem globalizačních procesů, které vysokoškolské systémy jednotlivých zemí postupně propojují do celosvětového komplexu, se stal růst konkurence na celosvětovém „vysokoškolském trhu“ a s ním spojený rozmach informací o institucích a jejich kvalitě. Nepřehlédnutelným projevem tohoto trendu jsou zveřejňované celosvětové žebříčky vysokých škol a jejich dynamický vývoj.

Od publikování prvního žebříčku před necelými deseti lety se s nimi doslova roztrhnul pytel. Mnohé se snaží reagovat na oprávněné kritické výhrady, takže se postupně zdokonaluje jejich metodologie. Navíc vedle nejznámějších celosvětových vznikají v řadě zemí i národní žebříčky, využívající podrobnějších národních informačních zdrojů. A také například mezinárodní oborové žebříčky, které jsou zaměřeny vždy jen na určitý vysokoškolský segment a své postupy mohou díky tomu přizpůsobit jeho specifikům (nejznámější mezi nimi je asi hodnocení ekonomických vysokých škol).

Výrazně roste vliv, který mají žebříčky na chování a jednání vlád a politiků, samotných vysokoškolských institucí

Nejdůležitější však je, že výrazně roste vliv, který mají žebříčky na chování a jednání vlád a politiků, samotných vysokoškolských institucí a jejich jednotlivých částí i pracovníků. Vysokoškolské politiky a rozvoj vysokoškolských systémů jsou žebříčky ovlivňovány již do té míry, že dnes opravdu málokdo pochybuje, zda mají v oblasti hodnocení vysokých škol význam a budoucnost. Vážně se však diskutuje o tom, jak by se žebříčky měly dále rozvíjet, aby uživatelům (univerzitám, studentům, politikům i veřejnosti) poskytovaly co nejrelevantnější informace a spíše než k propagaci malé části světových univerzit přispívaly k rozvoji vysokoškolských systémů ve světě.

Dělat na základě výsledků žebříčků rychlé a jednoduché závěry je sice zvláště pro politiky velmi lákavé – a často to také dělají, ale zároveň většinou zavádějící a dokonce nebezpečné. Umístění jednotlivých vysokých škol, stejně jako jejich příčiny a souvislosti lze totiž objasnit až při dobré znalosti metodologie hodnocení. Proto jetřeba podívat se nejen na celkové výsledky a například pozici alma mater, ale také na méně viditelnou tvář žebříčků a na způsoby, jak jsou vytvářeny. Ani autoři žebříčků nezastírají řadu problémů k řešení.

Nový impuls dostávají diskuse o žebříčcích vysokých škol, jejich relevanci a využití každým rokem, a to poté, kdy jsou v průběhu srpna až října postupně žebříčky zveřejňovány. Proto jsme se rozhodli publikovat alespoň stručné rozbory několika nejvýznamnějších žebříčků vždy bezprostředně po jejich zveřejnění.

Začínáme prvním z nich, kterým je šanghajský Academic Ranking of World Universities (ARWU), jehož výsledky za rok 2012 (jubilejní desáté vydání) byly zveřejněny 15. srpna.

Co je ARWU

Šanghajský žebříček Academic Ranking of World Universities, známý pod zkratkou ARWU, je nejstarším mezinárodním žebříčkem vysokých škol vůbec. Poprvé byl žebříček ARWU publikován v roce 2003. Od té doby každý rok srovnává a podrobně hodnotí přes dva tisíce nejlepších světových univerzit (z celkového počtu přibližně 18 – 20 tisíc vysokých škol), a to především podle jejich výsledků ve vědě a výzkumu. Přibližně tisícovku z nich zařazuje do žebříčku, nicméně každý rok zveřejňuje pouze seznam nejlepších 500 institucí.

Původním cílem jeho autorů z Center for World-Class Universities (CWCU) na Univerzitě Jiao Tong v Šanghaji bylo zjistit, jaký je současný rozdíl mezi nejlepšími čínskými a elitními světovými univerzitami. Pokusili se proto seřadit světové výzkumné univerzity podle jejich akademických a výzkumných výsledků založených na mezinárodně srovnatelných a veřejně dostupných údajích. Na základě zájmu a ohlasů mnoha kolegů z celého světa padlo rozhodnutí začít žebříček ARWU zveřejňovat každoročně na webových stránkách.

Na rozdíl od jiných žebříčků se ARWU soustředí především na vědeckou úroveň institucí a výsledky jsou v čase poměrně stabilní

Na rozdíl od jiných známých žebříčků se ARWU soustředí především na vědeckou úroveň institucí a kritéria hodnocení, jejich ukazatele a váhy příliš nemění, takže výsledky jsou v čase poměrně stabilní. Pokládá se to sice za přednost ARWU, ale zároveň se upozorňuje, že žebříčky ARWU neprocházejí – na rozdíl od svých konkurentů – inovacemi a nereagují na měnící se očekávání veřejnosti.

První otázkou při hodnocení žebříčků je, jak se do něj vysoká škola může vůbec dostat. Při sestavování žebříčku ARWU je zkoumána každá instituce, která má ve svých řadách (absolventů či pracovníků) nositele Nobelovy ceny za fyziku, chemii, medicínu nebo ekonomii, Fieldsovy medaile za matematiku nebo vysoce citované výzkumníky, případně autory článků v časopisech Nature a Science. Navíc jsou analyzovány přední univerzity každé země s významným počtem článků v citačních databázích Science Citation Index-Expanded (SCIE) a Social Science Citation Index (SSCI).

Zobrazit diskusi
Reakcí:6

Komentáře

ČESKÁ POZICE ctí demokratickou diskusi. Prosíme vás však o respektování pravidel diskuse (viz Podmínky užívání služeb), jejichž smyslem je přispět k její korektnosti a smysluplnosti.

Vložením příspěvku potvrzujete svůj souhlas s těmito pravidly. Příspěvky, které se z nich vymykají, budeme nuceni odstranit.

Děkujeme vám za pochopení.

Diplomky

Myslím, že na hodně školách jde napsat diplomku, která nestojí za řeč. Bez ohledu na to, jestli se jedná o soukromou nebo státání vejšku. Pro srovnání na nejmenované státání univerzitě byly požadavky mnohem nižší než na Vysoké škole managementu v Brně

Nejedná se o analýzu žebříčku ARWU

Jan Koucký v textu uvádí "Následují již jen intervaly pořadí 101-150, 15-200, 201-300, 301-400 a 401-500 bez konkrétního umístění a skóre (po podrobném seznámení se s metodikou je však toto skóre možné dopočítat)."

 

Analýza založená na dopočítání a práci s takto konstruovaným pořadím podsouvá ARWU něco, co ze samotného žebříčku nevyplývá. Sestavovatelé ARWU jsou si nepochybně vědomi intervalů spolehlivosti, které údaje v příslušném zjednodušení mají. proto také podrobné pořadí dávají pouze stovce institucí, zatímco u ostatních poskytují pouze hrubý indikátor (variabilita příslušného procenta je příliš vysoká na to, aby podrobnější pořadí něco vypovídalo).

 

Jan Koucký jednoduše neanalyzuje výsledky prezentované v žebříčku ARWU s granularitou, kteoru ARWU nikoli bezdůvodně zvolili, nýbrž své vlasní "dopočítané" výsledky. To ale není žebříček ARWU jako takový.

 

Rýpat se v hypotetických "dopočítaných" pořadích je věcný nesmysl. Podrobnější analýzu by si v takovém případě zasloužily váhy kritérií, skutečnost, že komerční poskytovatel HiCi seznam neaktualizuje nebo má problematizovatelné oborové členění, atd.

 

Korektní analýza ARWU by se měla zaměřit na to, jak velká je možná chybovost v pořadí špičkových institucí, resp. zda je řádová chyba mezi umístěním institucí v první dvacítce a pořadí třeba 400-500 (resp. toho, zda je třeba u nás UK viditelně v daném profilu hodnocení převyšuje všechny ostatní tuzemské vysoké školy - což je asi tvrzení, které nikdo dost dobře nezpochybní).

Dejte chlapovi žebříček ....

Jak jsem již někde psal. Tvorba žebříčků publikací vedla k epistemologické krizi současné vědy, kdy odbornou debatu nahradil letmý pohled do databáze Thomson Reuters. Britové pro příští hodnocení vědy zakázali používat impakt faktor jako jakékoliv měřítko. Možná, že jim to vyjde, i když jak čtu THE, potenciální hodnotitelé jsou podezřívání z toho, že IF stejně používat budou.

I u vysokých škol lze dobře očekávat, že Číňani  a jiné národy snahou šplhat po žebříčku THE nebo QS zenmožní i jejich žebříčky. I když to naštěstí nebude tak snadné, protože jsou multidisciplinární  a mnohá kritéri jdou silně proti sobě. ARWU nemá smysl diskutovat, ten si udělali Číňani pro sebe. 

My Češi se v pozadí budem hrdlit jestli je dobré být 305 nebo jestli jsme ve skutečnosti at 317. Když dovedeme být 19. v pořadí národů na olympiádě, bylo by stejně tak dobře možné mít už alespoň jednu univerzitu v první stovce. Jestli ono to není v základu tím, že sportovce ani nenapadne, že by si mohli vytvořit vlastní český systém hodnocení. Zato akademiky to napadá několikrát do roka.  

Škola, na níž absolvoval

Škola, na níž absolvoval JuDr. Stanislav Gross, z jehož prací nelze citovat kvůli tomu, že je spláchla velká pražská voda, by měla přece být mezi první desítkou (česky "top ten") světových univerzit! Nechápu...

Tendenčně se zapomíná na Humboldtovu univerzitu,

která měla stejný osud jako UK. Ta je v Šanghajském žebříčku hodnocena jen v přírodních vědách 150-200. V jiných žebříčcích však tradičně vychází ještě lépe. 

setrvačnost HiCi

Slabinou subritéria HiCi je jeho setrvačnost, resp. relativní neprůhlednost jeho tvorby.

 

Demonstrovat to jde např. na skupině "Plant & Animal Science",

 

http://highlycited.com/categories/plant_animal_science/

 

ve které chybí relativně mladý a proto jen 10 let publikující Jiří Friml (9300 WOS citací, z toho 7840 bez autocitací), zatímco namátkou Nicole Benhamou jejích 6000/5300 citací k umístění stačí...

 

 

Skrýt diskusi

Oblíbený obsah