РЕЙТИНГ ФАКУЛЬТЕТОВ

6 июня 2016, 00:00

Аналитический центр «Эксперт» подготовил первый рейтинг российских университетов, позволяющий сравнить факультеты различных вузов. Этот проект закрывает последнее крупное белое пятно в национальной системе оценки университетов и предлагает новый инструмент оценки абитуриентам и работодателям

 58-02.jpg

«Пришел ко мне устраиваться на работу выпускник физико-технического факультета энского университета. Физтеховское образование — это то, с чем в нашу компанию с удовольствием берут, но после собеседования выяснилось, что товарищ закончил кафедру иностранных языков и по специальности лингвист. Какое отношение это имеет к физтеху, я до сих пор гадаю», — рассказывает руководитель крупной ИТ-компании. Конечно, от подобных новаций голодных 1990-х, когда к сильным советским университетским брендам пытались всеми силами прицепить все, что могло принести деньги, когда в одном вузе можно было обнаружить несколько экономических факультетов, ведущие вузы в основном избавились. Но тема осталась: абитуриент что в России, что за рубежом выбирает не только (а иногда не столько) университет, но и факультет (или направление подготовки). Сильный абитуриент предпочтет изучать экономику в Высшей школе экономики, даже если в МИФИ будет аналогичное направление. И наоборот, хотя оба университета имеют самые высокие рейтинги, входят во все возможные программы развития университетов. Ровно так же действуют работодатели и академические партнеры.

 

Понимая это, составители пяти наиболее авторитетных международных рейтингов университетов ежегодно формируют не только общие, но и предметные рейтинги. Однако для России тут есть две крупные проблемы. Во-первых, представленность российских университетов в этих рейтингах очень низкая (17 вузов в предметном рейтинге QS, по два-четыре вуза из РФ в предметных рейтингах ARWU и THE, а также несколько в менее популярных CWTS Leiden и The U. S. News & World Report). Во-вторых, за исключением QS Subject ranking остальные рейтинги содержат настолько укрупненную разбивку предметных областей, что, к примеру, даже лидер в области физики не сможет попасть в лидеры предметного рейтинга THE соответствующей предметной области (physical sciences), поскольку последняя включает в себя также материаловедение, химию, математику и так далее. Ни один российский рейтинг университетов (наиболее известные составляют «Эксперт РА» и «Интерфакс») позиции вузов в предметных областях до сих пор не измерял. Публикуемый рейтинг закрывает это белое пятно.

 

Качество или скорость

Мы не ставим перед собой цель создать автономный российский рейтинг «факультетов», как раз наоборот, одна из важнейших задач заключается в том, чтобы указать российским университетам вектор движения к вожделенной цели попадания в мировые предметные рейтинги. Поэтому основные критерии оценки (различные оценки на базе наукометрических показателей по научным журналам, используемым международными индексами научного цитирования) близки к тем, что используются международными рейтинговыми агентствами. Нетрудно заметить, что такая модель оценки применима только к исследовательским университетам, достижения которых можно измерить через качество научных публикаций. Это вузы, которые должны быть способны вести исследования в определенных областях науки на мировом уровне, а значит, давать образование того же класса в соответствующих областях. В России, как, впрочем, и в любой другой стране, на это в перспективе могут претендовать вряд ли больше 20% (немногим более сотни) университетов. Что не отменяет необходимости существования еще нескольких сотен вузов, ориентированных на массовое образование. Размер вуза или факультета в рейтинге не учитывается, значение имеет размер соответствующего научного коллектива (который, в свою очередь, определяется числом публикующихся ученых, количеством собственно публикаций и цитат). Огромный вуз, нацеленный на массовое образование, может не демонстрировать значимых научных результатов, и наоборот, небольшой университет, формата Европейского университета в Санкт-Петербурге, может демонстрировать выдающиеся публикационные показатели в области своей специализации.

 58-04.jpg

Вместе с тем мы считаем важным учесть несколько специфических для России факторов.

Во-первых, качество роста. Известны примеры китайских «каруселей» публикаций, когда на уровне нескольких университетов для достижения высоких показателей в международных рейтингах применялись модели взаимного цитирования, которые искусственно «накачивали» этот показатель. Подобные примеры есть и в России. Поэтому существенный вес при оценке достижений российских вузов в научных областях мы придали качеству роста, чтобы исключить два самых распространенных приема: выходящее за рамки разумного самоцитирование (цитирование ученых своего университета) и использование «лояльных» научных журналов для увеличения числа индексируемых публикаций. На публикуемых нами графиках нетрудно увидеть несколько университетов, которые умудрились опубликовать в области экономики свыше двух третей статей всего в одном журнале. Свыше десятка вузов, имеющих более или менее заметные научные результаты в этой предметной области, цитируют себя и своих коллег из вуза более чем в половине случаев (а отдельные фигуранты — в 90–100%). В области естественных наук подобные статистические выбросы встречаются реже, однако тоже имеют место. Разработанная в рамках подготовки методики математическая модель кластеризации университетов по уровню самоцитирования и журналам позволила отчасти нивелировать этот эффект.

Другой фактор, тоже специфический для России (и других стран, где интенсивно идет реформирование систем образования), — низкий уровень включенности национальных научных журналов в международные индексы научного цитирования. Далеко не все национальные научные журналы, по уровню способные претендовать на включение в индексацию международными базами научного цитирования (Scopus и Web of Science), включены в индексацию. Яркий пример — экономика. В этой области Россия, мягко говоря, не лидер, тем не менее три журнала — «Экономика региона» (выпускается Институтом экономики Уральского отделения РАН и Уральским федеральным университетом), «Форсайт» (Высшая школа экономики) и «Проблемы прогнозирования» (Институт народнохозяйственного прогнозирования РАН) вошли в Scopus. Вместе с тем такие общепризнанные лидеры, как «Вопросы экономики» и «Российский журнал менеджмента», ни одной из двух баз не индексируются. В естественных науках ситуация лучше, однако и там встречаются подобные искажения. Эту коллизию в рамках методики нам разрешить не удалось, поскольку переход к оценке публикационной активности по Российскому индексу научного цитирования сразу включил бы в рассмотрение большое число российских журналов низкого уровня. Возможно, эту проблему можно будет решить в следующем издании рейтинга.

 58-05.jpg

Третий важный момент методики — отказ от опросов. Три международных рейтинга из пяти в качестве важнейшего элемента включают в себя опрос работодателей и академического сообщества. Не углубляясь в детали, отметим, что смещенность выборки при опросах в пользу англоязычных стран дает сильные искажения в оценках репутации (справедливости ради отметим, что, как и в случае с научными журналами, усилиями рейтинговых агентств и российских университетов ситуация с каждым годом улучшается). Однако на данном этапе мы решили отказаться от опроса, чтобы при формировании рейтинга максимально снизить влияние субъективных факторов.

Последнее, что надо отметить, — горизонт исследования. Основные международные рейтинги стремятся снизить волатильность позиций университетов и делают период рассмотрения более длинным (пять лет). Такая консервативность не позволяет увидеть быстрые изменения (а по некоторым ведущим российским вузам за последние несколько лет число публикаций выросло в два-три раза). В связи с этим период, за который учитывались публикации, был сокращен до четырех лет.

Результаты

В рейтинг факультетов сумели войти свыше восьми десятков российских вузов, то есть большая часть потенциальных кандидатов. Почти половина участников (35 университетов) вошли в число лидеров только по одному направлению. Среди них такие яркие монопрофильные университеты, как Российская экономическая школа (РЭШ; второе место по экономике) и Европейский университет в Санкт-Петербурге (пятое место в общественных науках). На другом полюсе шесть университетов, которые попали во все предметные рейтинги: МГУ, СПбГУ, Новосибирский НИУ и три федеральных университета: Уральский, Дальневосточный и Казанский.

Первая пятерка позиций в каждом предметном ранжировании никаких сюрпризов не дает: те же вузы в основном входят в «хвосты» международных предметных рейтингов. Это МГУ, СПбГУ, Новосибирский НИУ, в естественных науках эту тройку «разбавляют» МФТИ и МИФИ, в гуманитарных — НИУ ВШЭ. Кроме того, в отдельных предметных областях появляются новые лидеры вроде уже упомянутой РЭШ по экономике. Так, в компьютерных науках и в химии в пятерку лучших вошел Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (ИТМО), в гуманитарных — два федеральных (Сибирский и Казанский), в науках о жизни — Уральский федеральный и Санкт-Петербургский политех, в энергетике — Томский госуниверситет.

Еще интереснее новые игроки, до сих пор не занимавшие заметные позициях ни в российских, ни в международных измерениях. Так, Белгородский университет вошел в десятку лучших в социальных науках, Тюменский государственный университет попал в лучшие в науках о жизни, имея в этой предметной области публикации в журналах самого высокого уровня (средний уровень цитирования). Большое число региональных вузов демонстрирует значимые научные результаты в химии, компьютерных, гуманитарных, общественных и экономических науках. И если в первых двух случаях вопросов не возникает, то последние нуждаются в комментариях. Дело в том, что в трех последних предметных областях общее число публикаций российских вузов невелико и разрыв между явными лидерами и прочими вузами очень значимый. Из-за этого в ранжирование попадают университеты с небольшим количеством статей и неустойчивыми научными результатами. Кроме того, в этих предметных областях начинают иметь значение междисциплинарные научные статьи (именно этим объясняется пятое место ИТМО в рейтинге по экономике: половина его статей в этой предметной области приходится на статьи, связанные с принятием решений). Обратная ситуация тоже имеет место: НИУ ВШЭ, не имея соответствующего направления подготовки, фигурирует в рейтинге по физике, поскольку ее исследователи публикуются совместно с физиками других вузов.

В заключение отметим, что около трети (!) участников рейтинга используют сомнительные модели (показатель качества роста), выдавая аномально высокий уровень самоцитирования либо цитирования своих коллег по университету и/или публикуя исследования в очень ограниченном числе журналов. В их числе нет общепризнанных лидеров, таких как МГУ, СПбГУ, МФТИ, однако замечены несколько университетов из программы 5–100. Это существенная проблема: в погоне за объемами теряется качество, что может привести к удару по репутации.

Эта «болезнь роста» уже привела к попаданию России в «антилидеры» по количеству публикаций в недобросовестных журналах («список Белла»), вместе с Индией и Китаем. А сравнив российские вузы по используемому в рейтинге показателю самоцитирования с университетами стран БРИКС, мы увидели, что по этому показателю мы уверенно лидируем даже по сравнению с китайскими и индийскими университетами. Наш рейтинг позволил отчасти очистить научные результаты университетов от последствий этой «болезни роста», однако картина полностью прояснится лишь после того, как будет устранен другой фундаментальный фактор — низкая включенность национальных научных журналов в международные индексы.