Analizuj publikacje naukowe

Wykorzystaj system analityczny do podejmowania kluczowych decyzji związanych z Ewaluacją 2021

Pozostał rok do ewaluacji 2021

Do ewaluacji 2021 został już tylko rok. Zasady ewaluacji jednostek naukowych opublikowane w Rozporządzeniu z dnia 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej oraz w Przepisach wprowadzających ustawę – Prawo o szkolnictwie wyższym i nauce z dnia 3 lipca 2018 r. są skomplikowane. Dodatkowo Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 6 marca 2019 r. w sprawie danych przetwarzanych w Zintegrowanym Systemie Informacji o Szkolnictwie Wyższym i Nauce POL-on oraz uzupełnione ostatnio ministerialne wykazy czasopism, konferencji naukowych oraz wydawców wprowadzają duży niepokój.

Nie wiemy jak będzie wyglądał System Ewaluacji Dorobku Naukowego SEDN, nie wiemy jak przełożą się publikacje naukowców z lat 2017-2020 z Polskiej Bibliografii Naukowej do PBN 2.0, nie wiemy czy będą kolejne zmiany w wykazach czasopism, konferencji i wydawców. 

 

 

Nie wiemy jak należy traktować artykuły z czasopism z lat 2017-2018, które na liście ministerialnej z dnia 25.01.2017 roku otrzymały jeden, dwa, trzy lub cztery punkty, skoro artykuły nieuwzględnione na tej liście otrzymują wg zasad ewaluacji punktów pięć. Okazuje się, że lepiej jest w takich przypadkach nie być na liście ministerialnej niż na niej być.

Nie znamy definicji przekładu dzieła istotnego dla nauki lub kultury, edycji źródłowej, artykułu recenzyjnego, a przecież nie będzie można zamienić publikacji na inną w wykazie 3N publikacji dla dyscypliny w momencie zakwestionowania jej przez Komisję Ewaluacji Nauki. W Rozporządzeniu nie przewidziano ponownego zastosowania algorytmu optymalizującego w przypadku odrzucenia w ewaluacji danego osiągnięcia naukowego. Wydaje się więc, że tylko precyzyjne definicje pozwolą uniknąć błędów w kwalifikacji poszczególnych publikacji do ewaluacji.

Nie wiemy jak należy rozumieć afiliację publikacji wymaganą w opisach publikacji przy nazwisku autora przez Polską Bibliografię Naukową w wersji testowej PBN 2.0. 

 

W żadnym akcie prawnym dotyczącym ewaluacji 2021 nie ma mowy o afiliacji. Co w przypadku braku afiliacji w książce? Co w przypadku wielu afiliacji podanych przez autora w artykule? Co w przypadku dwóch afiliacji, z których jedna dotyczy polskiej uczelni a druga uczelni zagranicznej? Co w przypadku podania w afiliacji tylko nazwy uczelni zagranicznej?

Pytań, wątpliwości, niejasności jest dużo. 

Dodatkowo obserwujemy koncentrację na obliczaniu slotów publikacyjnych dla pojedynczych pracowników zaliczonych do liczby N, a nie na analizie wszystkich publikacji przypisanych do poszczególnych dyscyplin, a przecież w dostępnym na stronie Ministerstwa Nauki i Szkolnictwa Wyższego przewodniku pt. "Ewaluacja jakości działalności naukowej" czytamy:

"Należy jednak wyraźnie podkreślić, że systemu oceny jakości działalności naukowej prowadzonej przez podmioty nie należy absolutnie utożsamiać z oceną działalności naukowej poszczególnych naukowców. Zaprezentowane rozwiązania służą tylko i wyłącznie ocenie instytucjonalnej i nie powinny być przenoszone do kryteriów ocen indywidualnych. Szczególnie dotyczy to zastosowanych mechanizmów oceny punktowej publikacji."

Dlaczego analiza dorobku całej dyscypliny jest tak istotna?

W ewaluacji 2021 obowiązują limity zgłaszanych osiągnięć naukowych. Te limity dotyczą nie tylko pracowników, którzy mogą zgłosić maksymalnie 4 sloty publikacyjne, ale również dyscyplin, które mogą zgłosić do ewaluacji tylko 3N publikacji. Dodatkowo w ramach liczby 3N publikacji trzeba podać 1N artykułów opublikowanych w latach 2017-2018 (z wyłączeniem dyscyplin informatyka oraz informatyka techniczna i telekomunikacja). Artykuły te są punktowane niżej (otrzymują maksymalnie do 50 ptk), natomiast artykuły z lat 2019-2020 dużo wyżej (otrzymują do 200 ptk). Naukowiec wybierając artykuły do slotów publikacyjnych będzie kierował się jak najwyższą punktacją swojego dorobku, czyli artykuły z lat 2019-2020 będą wypierały artykuły z lat 2017-2018. W efekcie może okazać się, że przewodniczący rady dyscypliny nie będzie miał w slotach publikacyjnych zadeklarowanych przez naukowców żadnego artykułu z lat 2017-2018. A przecież jeśli ich nie zamieści to dyscyplina otrzyma za 1N artykułów z lat 2017-2018 zero punktów. 

Dlatego listę 3N publikacji z dyscypliny należy ustalać analizując cały dorobek publikacyjny pracowników znajdujący się w Polskiej Bibliografii Naukowej, biorąc pod uwagę ograniczenia wynikające z aktów prawnych dotyczących ewaluacji, pamiętając o tym że:

- należy zamieść 1N artykułów z lat 2017-2018,

- można zamieścić maksymalnie 20% 3-krotności liczby N monografii i redakcji naukowych tych monografii w przypadku nauk humanistycznych, społecznych, teologicznych,

- można zamieścić maksymalnie 5% 3-krotności liczby N monografii i redakcji naukowych tych monografii w przypadku pozostałych dziedzin nauki,

- można zamieścić maksymalnie 20% 3-krotności liczby N publikacji doktorantów odbywających kształcenie w szkole doktorskiej i osób niezaliczonych do liczby N a spełniających określone warunki zgodne z rozporządzeniem.

Oczywiście należy też pamiętać o zasadach dotyczących slotów publikacyjnych (połowa slotów musi przypadać na artykuły, a połowa na książki i rozdziały z książek, chyba że książki i rozdziały są opublikowane przez wydawców, którzy na liście ministerialnej otrzymali 200 ptk.), a także o całkowitej i przeliczeniowej wartości punktowej publikacji.

Przewodniczący rady dyscypliny, do której deklaracje złożyło 15 naukowców, może będzie w stanie bez pomocy algorytmu optymalizującego wybrać najlepszą opcję slotów dla poszczególnych naukowców i najkorzystniejszy wykaz 3N publikacji z dyscypliny. Natomiast wydaje się to absolutnie nierealne w przypadku dyscyplin reprezentowanych przez bardzo liczną grupę naukowców.

Jak wybrać optymalny wykaz 3N publikacji dla dyscypliny, do której deklaracje złożyło 150 pracowników, pamiętając o tym, że publikacje będą wprowadzane do Polskiej Bibliografii Naukowej do ostatniej chwili, a więc sytuacja zarówno w aspekcie przypisania konkretnych publikacji do slotów poszczególnych pracowników, jak i wyboru najlepszych publikacji z dyscypliny, cały czas będzie się zmieniać?

Bez pomocy algorytmu optymalizującego jest to nierealne. Ministerstwo Nauki i Szkolnictwa Wyższego zdaje sobie z tego sprawę i zapowiedziało, że taki algorytm się pojawi, ale nie wiemy, kiedy to nastąpi.

Natomiast już teraz pojawiła się możliwość sprawdzenia, jak wygląda sytuacja danej dyscypliny z danej uczelni w kontekście ewaluacji przy pomocy narzędzia analitycznego  AtMatic. Program proponuje też najkorzystniejsze dla dyscypliny sprawozdanie slotów publikacyjnych poszczególnych pracowników. Pozwala też sprawdzić czy do Polskiej Bibliografii Naukowej zostały sprawozdane wszystkie publikacje, które są dedykowane przez naukowców do ewaluacji dyscypliny oraz wyłapać błędy w opisach publikacji. Program generuje raport błędów w numerach DOI oraz w numerach ORCID. Pozwala lepiej przygotować opisy publikacji do ewaluacji 2021. AtMatic dostępny jest pod adresem internetowym: https://panel.atmatic.pl

Obecnie można skorzystać bezpłatnie z podstawowej wersji tego programu przez okres 2 tygodni i sprawdzić jego działanie. Produkt znajduje się w fazie testów, więc prosimy o uwagi i opinie dotyczące przydatności tego narzędzia w pracy zarówno bibliotekarzy, jak i członków rad dyscyplin oraz osób odpowiedzialnych za ewaluację. Jeśli AtMatic okaże się narzędziem pomocnym w przygotowaniach do ewaluacji istnieje możliwość wykupienia dostępu do podstawowej i rozszerzonej wersji systemu na okres jednego lub kilku miesięcy. 

AtMatic na pewno pozwala oswoić ewaluację 2021. Już po kilku godzinach pracy z programem widać, że te skomplikowane zasady, którymi rządzi się ewaluacja dyscyplin są do opanowania z systemem komputerowym. AtMatic podpowiada korzystne rozwiązania i działa uspokajająco.  Zaczynamy wierzyć, że sprostamy skomplikowanym wymaganiom tej ewaluacji.

 

 

Powiązane posty

Rejestracja konta
14-01-2020

Rejestracja konta

Film instruktażowy pokazujący proces rejestracji konta.