Хватит кормить зверя

Специальное обозрение
ПРЕДМЕТНЫЙ РЕЙТИНГ НАУЧНОЙ ПРОДУКТИВНОСТИ ВУЗОВ
Ведущие вузы страны отказываются от неэтичных практик и пытаются выйти на качественно новый уровень публикационной активности
Хватит кормить зверя

Аналитический центр «Эксперт» представляет третью волну исследования научной продуктивности российских университетов. За сравнительно недолгий период своего существования оно прошло большой путь. В обсуждении его методики с 2016 года участвуют руководители крупнейших вузов страны и специалисты в области наукометрии и компании Elsevier. Это позволило создать рейтинг, который на данный момент является одним из наиболее качественных инструментов анализа и оценки публикационной активности более чем ста высших учебных заведений.

Немного идеологии

Рейтинг научной продуктивности строится на двух ключевых принципах. Первый — узкая специализация и глубокое погружение в проблематику. Наиболее авторитетные российские и международные исследования — не важно, оценивают они вузы в целом или в отдельных предметных областях, — как правило, стремятся к комплексному анализу деятельности университетов. Их авторы изучают образовательный и научный процесс, успехи в коммерциализации исследований, достижения в международной кооперации и т. д. Мы же концентрируем внимание на одном направлении — статьях, которые опубликованы в журналах, индексируемых в международных базах. Единственным известным проектом, фокусирующимся, как и мы, на библиометрии, является Лейденский рейтинг (выпускается с 2007 года Центром науки и технологических исследований Лейденского университета).

Второй принцип — объективность. Все наши расчеты основаны на открытых данных. При желании вузы обратным счетом могут верифицировать все использованные нами исходные показатели. Преимущество такого подхода — возможность относительно легко объяснить причины успехов и неудач. Спорный момент — отсутствие в оценке репутационной составляющей. Мы пошли на ее исключение осознанно. Безусловно, имидж вуза — один из наиболее важных его активов. Однако подчас он затеняет истинное положение дел и за счет прошлых заслуг выталкивает на поверхность университеты, начавшие тонуть в той или иной предметной отрасли. Вместе с тем опросные показатели снижают прозрачность расчетов и создают практически непреодолимый барьер для новых и небольших университетов.

Используемые в рейтинге показатели разделены на три равнозначных блока: «Востребованность/качество», «Масштаб и устойчивость деятельности» и «Качество роста». Первый блок оценивает среднюю цитируемость, взвешенную цитируемость в той или иной предметной области, качество журналов. Второй — насколько устойчивы текущие результаты, получены они за счет одного-двух сильных исследователей или большой группы.

Чуть подробнее о третьем блоке. Он учитывает особенности роста университетских систем, его задача — фиксация и нейтрализация не совсем чистых практик. Мы включили в него два показателя: «Качество цитирований» (рассчитывает долю самоцитат в общем объеме цитирований, при достижении порогового значения 40% балл начинает серьезно снижаться) и «Концентрация статей» (оценивает, насколько широк круг журналов, где вуз представляет результаты исследований). Сильные результаты по эт

Основные положения методики расчета рейтинга

При подготовке рейтинга рассматриваются 13 направлений: инженерные науки, компьютерные науки, математика, материаловедение, науки о Земле, общественные науки, химические технологии, химия, энергетика, гуманитарные науки, науки о жизни, физика, экономика.

При расчете общего балла университета в рейтинге проводится оценка показателей университета по трем категориям (с равными долями по 33,3%):

1. Качество роста университета.

2. Востребованность научной деятельности.

3. Масштаб, устойчивость научной деятельности.

Категории имеют одинаковый вес при расчете финального результата.

В каждом предметном рейтинге участвуют университеты, которые опубликовали хотя бы 0,5% от общего количества российских научных статей, опубликованных за последние четыре года.

При расчете учитываются статьи, опубликованные в журналах, которые индексируются международной базой научного цитирования Scopus, за последние четыре года.

Конец «хищнического» периода

Ведущие вузы страны начали выводить из употребления неэтичные публикационные практики и делать акцент на научную репутацию, констатирует проректор по программам развития Новосибирского государственного университета Алексей Окунев.

— В области публикационной активности происходит слом парадигмы. Предыдущие несколько лет университеты концентрировались на увеличении числа публикаций. В итоге мы достаточно быстро достигли точки насыщения. И теперь приоритетом ведущих вузов становится качество статей. Они внедряют новые подходы к поощрению научной активности, к контролю ее качества.

Это уже привело к положительным результатам. Так, в 2016–2017 годах у ряда университетов снизилось число публикаций в так называемых хищнических журналах (претендуют на научность, взимают плату с авторов, но не предоставляют им полноценные услуги, в том числе в области рецензирования. «Эксперт»). Ранее массовым размещением статей в «мусорных» и по недосмотру индексируемых в Web of Science или Scopus изданиях не гнушались даже некоторые преподаватели ведущих вузов.

Одновременно мы зафиксировали резкое снижение активности в сегменте тезисов. Не секрет, что за один-два миллиона рублей можно договориться о публикации и индексировании 40–50 подобных материалов. И до 2016 года организаторы университетских конференций часто пользовались такой возможностью (для них это был относительно недорогой и легкий способ вырасти во всевозможных рейтингах).  

О том, что принятые вузами меры дают результат, можно судить еще по одному параметру — доле публикаций в издании первого квартиля. Если в 2016 году у ряда университетов этот показатель снижался, то в 2017-м он либо стабилизировался, либо пошел вверх.

Но, несмотря на позитивные сигналы, расслабляться не стоит. Опыт показывает, что любая университетская система KPI «взламывается» примерно за год. Люди из академической среды достаточно быстро понимают, как наименьшими усилиями выполнить необходимые целевые показатели. Ситуация напоминает фразу из фильма «Берегись автомобиля»: «Ты догоняешь, я удираю — привычка».

При этом я отчетливо осознаю, насколько трудно в этой ситуации руководству университетов. Оно постоянно находится меж двух огней. С одной стороны, очень важно, чтобы вуз показывал высокие результаты в области публикационной активности. С другой — репутация вуза является основой его капитализации, ключевым фактором привлекательности для абитуриентов. Ни один ректор не будет рисковать репутацией ради чего бы то ни было.

Учитывая все вышесказанное, я считаю, что рейтинг АЦ «Эксперт», несомненно, очень важен. Он, во-первых, дает внешнюю оценку наших усилий, а во-вторых, предоставляет дополнительный инструментарий для управления развитием науки.

 

Подготовил Сергей Ермак

«Дайте точки опоры»

Российским университетам нужны рейтинги, позволяющие по-новому взглянуть на научную деятельность и провести ее тонкую настройку, уверен ректор Уральского федерального университета Виктор Кокшаров.

 

— За последние пять лет число российских публикаций, индексируемых в базах Scopus и Web of Science, увеличилось на 80 процентов. По среднегодовой динамике мы обогнали все развитые государства и страны БРИКС. Вузы, участвующие в программе 5–100 (запущена в 2012 году. — «Эксперт»), показывают еще более впечатляющие цифры: им удалось нарастить количество статей в три с половиной раза, а долю в общем объеме публикаций — с 17 до 34 процентов.  

С одной стороны, это отличный результат. Он позволил университетам стать заметными на международном уровне. С другой — мы должны обратить пристальное внимание на качество продемонстрированного роста. Во многом он был достигнут за счет создания статей низкого уровня и применения «хищнических» практик: публикаций в так называемых мусорных журналах, договорного и самоцитирования, покупки иностранных ученых или места в коллаборациях.

Сегодня мировое научное сообщество понимает, что зацикленность на числовых показателях — это тупиковый путь. Ведущие российские университеты пересматривают политику в области публикационной активности, вводят механизмы, направленные на поддержку качественных статей. Одновременно происходят изменения в методологии оценки вузов. Мы видим, например, что в рейтинге Times Higher Education уже задумались над введением новых параметров, свидетельствующих об уровне статей.

Я убежден, что разнообразие рейтингов должно расти. Это позволит взглянуть на деятельность университетов под новым углом. Долгие годы у российских вузов было всего несколько точек опоры — QS, THE, ARWU. Но все они неидеальны. Тот же QS большой упор делает на репутационные показатели. И нам известны случаи, когда университет смог достаточно серьезно улучшить свои позиции по нескольким предметам только за счет плотной работы с несколькими экспертами (число и качество публикаций при этом почти не изменилось).

Нам необходимы региональные, предметные, фокусирующиеся рейтинги, рейтинги, позволяющие сравнивать факультеты. И с этой точки зрения я полностью поддерживаю появление новых отечественных исследований.

 

Подготовил Сергей Ермак

«Не в деньгах мысль»

Для роста качества публикационной активности финансовое стимулирование ученых должно совмещаться с инфраструктурной поддержкой, уверен и. о. ректора Сибирского федерального университета (СФУ) Владимир Колмаков.

 

— Владимир Иннокентьевич, считаете ли вы, что количественное наращивание публикаций более не актуально и университеты должны переходить к повышению качества научной продуктивности?

— Чисто формальное наращивание количества статей, как и формальный подход к квартилям, вызывает много вопросов. Считаю, что любая публикация в Web of Science или Scopus уже является значительным достижением ее авторов. Хотя бы потому, что становится видима для мирового сообщества. Особенно это актуально для гуманитарных, узких естественно-научных или технических направлений, где заведомо не могут трудиться большие коллективы. Например, специалистов в области бриологии, изучающих современные и ископаемые виды мхов, можно пересчитать по пальцам. По этому направлению в принципе не может быть много журналов и высоких импактов. От последних мы постепенно стараемся уходить. В будущем, возможно, найдется более универсальный критерий оценивания научной продуктивности.

— По каким параметрам в СФУ оценивается качество публикационной активности? Каким образом университет стимулирует его рост?

— Способы оценки и повышения качества публикационной активности прописаны в нашей программе 5–100. Мы традиционно делим журнал на квартили (но одновременно признаем журналы ВАК, что связано с особенностями функционирования университета), стремимся к попаданию наших статей в Web of Science и Scopus.

Объем зарезервированных по этому направлению средств — 55 миллионов рублей. Финансовую поддержку мы сочетаем с инфраструктурными механизмами, помогающими ученым создавать конкурентоспособный на глобальном уровне продукт. Яркий пример — курсы рабочего английского языка Learn to read and write science. В прошлом году их окончили 39 человек, написано 39 статей. Кроме того, мы запустили систему сплошного перевода Proof reading. Она ориентирована на ученых, пишущих на английском, но не уверенных в правильности его академического применения. В рамках данной практики университет также берет на себя перевод очень качественных статей, написанных на русском языке. Пока с помощью Proof reading мы планируем выпускать сто публикаций в год.

Какова политика университета в области академической мобильности? Каким образом развивается направление совместных исследований и публикаций с российскими и иностранными вузами?  

— У нас очень много совместных исследований, в том числе в рамках международных коллабораций. Поддерживая академическую мобильность, мы опираемся в первую очередь на сетевые взаимодействия: условно говоря, профессор едет к профессору. Количество таких контактов — более сотни.

— Ряд представителей вузов полагают, что один из лучших показателей качества и востребованности научной деятельности — публикации, написанные совместно с производственными партнерами. Согласны ли вы с таким суждением?

— Пожалуй, не соглашусь — несмотря на то, что такие публикации в университете есть. Совместную работу с производственными партнерами имеет смысл оценивать в объемах полученных средств. Именно коммерциализация здесь должна быть мерилом успешности. Публикация же — это все-таки оценка труда ученого или коллаборации научных коллективов.  

 

Подготовил Сергей Ермак