Aktuálně

Publikační výkonnost panelistů Grantové agentury ČR

17. 10. 2022 Nová studie zkoumá, nakolik vědecké výsledky členů hodnotících panelů GA ČR potvrzují jejich vědeckou erudovanost pro hodnocení návrhů Standardních projektů GA ČR. Studie se zaměřuje na publikační výkonnost panelistů v letech 2019-2021.

STÁHNOUT STUDII

 

Shrnutí

  1. Cílem výzkumu bylo zjistit, nakolik vědecké výsledky členů hodnotících panelů Grantové agentury České republiky (GA ČR) potvrzují jejich vědeckou erudovanost pro hodnocení návrhů Standardních projektů GA ČR.
  2. Jedním z hlavních cílů GA ČR je „financovat vědecké projekty základního výzkumu s vysokým potenciálem pro dosažení výsledků světové úrovně.“ Klíčovou roli při identifikování takových projektů hrají oborové hodnotící panely. Panely návrhy projektů vyhodnocují, vypracovávají posudky a připravují doporučení pro oborové komise. Každý panel sestává ze zhruba 10 vědců působících v příslušném oboru. Aby panely mohly dobře plnit svou úlohu, jejich členové by měli umět rozpoznat projekty s vysokým potenciálem. Je nasnadě, že špičkové výzkumné projekty dokáží lépe rozpoznat vědci, kteří sami špičkový výzkum dělali.
  3. Pomocí bibliometrických nástrojů jsme analyzovali, jaký podíl panelistů činných v GA ČR v letech 2019–2021 měl během předchozí dekády výrazně nižší publikační výkonnost než řešitelé projektů jimi hodnocených a posléze podpořených. Ukazujeme výsledky zvlášť pro každé ze 3 alternativních měřítek publikačního výkonu: i) kvalitativně nejvyšší skupinu vědeckých časopisů (např. top decil), kde daný vědec publikoval, ii) počet publikací ve vědecky významnější polovině časopisů a iii) celkový počet citací publikací daného vědce.

Obr6

  1. Hlavní zjištění studie jsou následující:

    -   Ve většině panelů se panelisté úrovní své publikační výkonnosti řešitelům podpořených projektů vyrovnají, a v řadě panelů je dokonce převyšují.

    -   Ve většině panelů je podíl neadekvátně publikačně výkonných panelistů nízký, až zanedbatelný. V průměrném panelu méně než čtvrtina panelistů vykazuje publikační výkonnost výrazně pod úrovní nadprůměrně výkonných řešitelů.

    -   U některých panelů je ale neadekvátně publikačně výkonných panelistů dost na to, aby jejich hodnocení mohlo ovlivnit doporučení vydaná příslušným panelem. Takových panelů je necelá třetina a podíl panelistů s publikační výkonností výrazně pod úrovní řešitelů v nich přesahuje 30 %.

    -   Vyšší podíl panelistů s publikační výkonností výrazně pod úrovní řešitelů pozorujeme především ve společenských a technických vědách. Ty i co do absolutní publikační výkonnosti v Česku zaostávají za jinými vědními oblastmi.

    -   I v oborech, kde vysoký podíl panelistů má neadekvátní publikační výkonnost, působí řada vědců s adekvátní publikační výkonností, kteří nikdy nebyli členy panelů GA ČR. V průměru v těchto oborech působí několik desítek vědců, jejichž publikační výkonnost je srovnatelná i s nadprůměrnými řešiteli.
  2. Z našich zjištění lze vyvozovat tato doporučení:

    1. U panelů s vysokým podílem panelistů s relativně nízkou publikační výkonností by měly orgány GA ČR při výběru z nominací klást větší důraz na publikační výkonnost nominovaných vědců a snažit se v daném oboru aktivně přilákat více nominací vynikajících vědců.

    2. Nejlepší vědci ve všech oborech, a obzvláště těch s vyšším podílem publikačně méně výkonných panelistů, kteří v hodnotících panelech GA ČR v nedávné době nepůsobili, by měli zvážit, jestli by se přece jenom nemohli rovněž zapojit. Bez jejich pomoci se situace v daných oborech zásadně nezmění.

    3. Ke zvýšení relativní vědecké úrovně panelistů by mohlo přispět větší zapojení panelistů ze zahraničí. Nejpřínosnější by bylo v oborech, kde je nedostatek kvalitních panelistů z domácích zdrojů. Větší zapojení panelistů ze zahraničí by šlo podpořit především zjednodušením nominací do panelů. Častější využití angličtiny jako pracovního jazyka a podpora online účasti ze zahraničí by rovněž mohly být v tomto směru přínosné.

IDEA Zpravodaj