Как посчитать качество образования145

• Виктор Садовничий
• Владимир Шутилин
• Садовничий Виктор
• Виктор Кружалин
• Ирина Артюшина

В конце 2007 года в специализированном приложении к газете Times — Times Higher Education Supplement (THES) — в четвертый раз был опубликован рейтинг ведущих университетов мира. Для России результаты этого рейтинга оказались неутешительными: ни один из российских вузов не вошел в 200 лучших университетов мира! Этот факт заставляет повнимательнее посмотреть на сами глобальные рейтинги вузов.

Первый в мире рейтинг университетов, опубликованный в 1983 году журналом US News & World Report, обозначил развивающиеся процессы глобализации высшего образования. Рейтинги, публиковавшиеся затем несколькими зарубежными журналами на протяжении 80-х и 90-х годов, развили подходы к независимой оценке университетов и привели к появлению в начале XXI века целой индустрии сравнительной оценки основных субъектов «экономики знаний» — университетов и научно-исследовательских организаций; эти оценки проводят уже не только СМИ, но и специализированные исследовательские лаборатории.

В 2003 году Институт высшего образования (Institute of Higher Education) Шанхайского университета (Shanghai Jiao Tong University) впервые опубликовал академический рейтинг 500 ведущих университетов мира — ARWU-500 — и ежегодно его обновляет.

В 2004 году составлен первый ежегодный рейтинг THES (с 2005 года составляется совместно с компанией Quacquarelli Symonds, QS).

В 2004 году запущен проект Webometrics, нацеленный на формирование и периодическое обновление глобального рейтинга, содержащего сравнительные оценки четырех тысяч высших учебных заведений мира.

Глобальные рейтинги уже стали элементом объективной реальности, образовательной инфраструктуры, в которой функционируют российские институты и университеты.

Российские вузы в глобальных рейтингах

Позиции российских университетов в упомянутых рейтингах не могут устраивать ни отечественное академическое сообщество, ни органы управления образованием, ни студентов, ни общественность.

За пятилетнюю историю существования Шанхайского рейтинга лучший из российских вузов — Московский государственный университет им. М. В.

Ломоносова — не поднимался выше 66-го места (2004 год). Также в четвертой сотне этого рейтинга регулярно присутствует Санкт-Петербургский государственный университет (СПбГУ).

В рейтингах THES-QS МГУ за четыре года не смог подняться выше 79-го места. В разные годы в TOP-200 этого рейтинга включались Новосибирский государственный университет и уже упоминавшийся СПбГУ. В TOP-500 рейтинга THES-QS также регулярно включаются Томский и Казанский государственные университеты.

В последнем рейтинге Webometrics (4000 университетов) представлено 70 российских вузов. В TOP-1500 попали 12 российских вузов, лучшие позиции снова у МГУ — 150-е место).

Если смотреть в целом, то в Шанхайском рейтинге Россия занимает условное 15-е место, в рейтинге THES-QS (по данным 2006 года) — 19-е, в рейтинге Webometrics — 25-е место. Судя по результатам рейтингов, Россия уступает не только признанным образовательных державам (в частности, Великобритании и США), но и тем странам, которые еще 50 лет назад не могли даже рассматриваться как наши конкуренты в этой сфере, — Сингапуру, Китаю, Гонконгу, Тайваню и др.

Очевидно, что исключительно узкое представительство российских вузов в глобальных рейтингах должно не только вызывать самую серьезную тревогу академического сообщества, властей, потенциальных абитуриентов, наконец, но и включать механизмы влияния на государственную образовательную политику, на поддержку отечественных вузов в конкурентной борьбе на мировом рынке экспорта образовательных услуг.

Но пока такие сверхнизкие результаты оценки российских вузов в глобальных рейтингах университетов приводят лишь к локальным дискуссиям внутри академического сообщества и органов управления образованием на темы «разрушения лучшей в мире советской системы образования» и «недостаточности объемов инвестиций в сферу образования». В публичных дискуссиях все ограничивается перечислением мест, занимаемых российскими вузами в международных рейтингах.

На наш взгляд, необходимо подробно проанализировать глобальные рейтинги, подходы к их формированию, обоснованность выбора тех или иных критериев оценки, процедур сбора, обработки и анализа информации с тем, чтобы понять и объяснить степень обоснованности такого ограниченного представительства российских вузов в глобальных рейтингах университетов мира.

Шанхайский рейтинг: первый опыт составления глобального рейтинга

Шанхайский рейтинг, или Академический рейтинг университетов мира, стал первым опытом составления глобального рейтинга вузов и впервые был опубликован в 2003 году. В 2007 году этот рейтинг составлен уже в пятый раз. Вузы рассматриваются в нем прежде всего как исследовательские организации, а не образовательные. Первоначально рейтинг стал позиционироваться как инструмент оценки места китайского высшего образования в общемировой системе. Впоследствии представители других стран также стали использовать Шанхайский рейтинг при определении результатов своей деятельности.

Рейтинг составляется на основе шести показателей:

общее число выпускников данного вуза, получивших Нобелевскую премию или медаль Филдса (Alumni, 10%) (1);

общее число работников вуза, получивших Нобелевскую премию по физике, химии, медицине или экономике, или медаль Филдса по математике (Award, 20%);

число часто цитируемых исследователей, работающих в 21 предметной области наук о жизни, медицины, физики, инженерного дела и социальных наук (HiCi, 20%);

число статей, опубликованных авторами университета в журналах Nature и Science за последние пять лет (N&S, 20%);

общее число статей, вошедших в индексы научной цитируемости SCIE и SSCI в предыдущем году (SCI, 20%);

результат деления суммы баллов по предыдущим пяти показателям на число эквивалентов полной ставки (FTE) академического персонала (Size, 10%).

Что касается показателей Alumni и Award, то здесь можно выделить несколько серьезных недостатков: охват большого временного периода (с 1901 года по настоящее время); учет наиболее выдающихся исследователей (за все время медаль Филдса получили 48 человек, а Нобелевскую премию по физике, химии, медицине и экономике — менее 600 человек); исследовательская направленность (успешных бизнесменов и политиков не рассматривают). Еще три показателя Шанхайского рейтинга — HiCi, N&S и SCI — в большей или меньшей степени связаны с публикациями сотрудников вузов в различных журналах. Эти показатели действительно позволяют учесть результаты научно-исследовательской деятельности вуза, но результаты подобной деятельности обозначенными показателями не исчерпываются. Следуя логике составителей рейтинга, автор нескольких научных изобретений и открытий без большого числа статей оценивается ниже, чем преподаватель вуза, опубликовавший десятки статей, посвященных анализу изобретений и открытий других исследователей. Последний показатель — Size — не комментируется, т. к. он не привносит в общий рейтинг нового содержания, но позволяет отчасти привести первые пять показателей к масштабу университета.

Рейтинг THES-QS: как считает Times

После первой публикации Шанхайского рейтинга к формированию глобальных рейтингов начали возвращаться СМИ. В 2004 году увидел свет первый глобальный рейтинг британской газеты Times, в 2007 году рейтинг THES-QS составлен уже в четвертый раз.

Составители рейтинга обозначают несколько его целевых аудиторий: «Студенты должны быть подготовлены для поиска лучших образовательных программ за рубежом, фирмы заключают контракты на проведение исследований по всему миру, повышается академическая мобильность» (2). Главный недостаток рейтинга THES-QS — отсутствие четкой содержательной интерпретации. Реализуя проект глобального рейтинга, газета пытается работать сразу на несколько целевых аудиторий, что приводит к размыванию концепции рейтинга.

При составлении рейтинга THES-QS используется шесть показателей:

число упоминаний вуза академическим сообществом (Peer Review, 40%);

число упоминаний вуза профессиональными рекрутерами (Recruitment Review, 10%);

доля иностранных студентов вуза (International Students, 5%);

доля иностранных сотрудников вуза (International Faculty, 5%);

соотношение числа сотрудников и студентов вуза (Faculty / Student, 20%);

соотношение индекса цитируемости и сотрудников вуза (Citation/Faculty, 20%).

Первые два показателя рейтинга THES-QS собираются в ходе экспертных опросов. По мнению самих составителей рейтинга, показатель Peer Review — «стандартный путь определения качества работы академических сотрудников вуза». Показатель Recruitment Review отражает результаты образования с точки зрения его привязки к рынку труда: респондентов, представляющих различные компании из разных стран, просили назвать те вузы, из которых они отбирают сотрудников. Метод сбора этих показателей предъявляет повышенные требования к выборке опрашиваемых экспертов, которая, как нам представляется, не является достаточно качественной.

Еще два показателя — International Students и International Faculty — обозначают степень включенности вузов в мировую систему высшего образования. Но при этом данные показатели лишь в незначительной степени отражают успешность образовательной или научно-исследовательской деятельности вуза. В частности, в России показатель доли иностранных студентов слабо коррелирует с другими показателями качества образования. Что касается доли иностранных сотрудников, то составители рейтинга не учитывают их квалификацию. Кроме того, повышение доли иностранных преподавателей совершенно не означает роста качества образования.

Существующие глобальные рейтинги университетов не являются истиной в последней инстанции, это инструмент для решения определенного набора задач, в том числе политических

Показатель Faculty/Students достаточно важен с точки зрения возможного внимания, которое получит студент. Однако реальное внимание к студенту в вузе может серьезно отличаться от возможного. Последний показатель рейтинга THES-QS связан с уже рассматриваемыми индексами цитирования.

Рейтинг Webometrics: как интернет-сайты отражают уровень вузов

Впервые рейтинг Webometrics опубликован почти одновременно с рейтингом THES-QS. Составители (Cybermetrics Lab, Spain) интерпретируют рейтинг Webometrics как оценку результатов научно-исследовательской деятельности лучших вузов мира: «…мы верим, что интернет-сайты лучше всего отражают результаты деятельности профессоров и исследователей, так как являются наглядным отражением их деятельности». Недостаток содержательной интерпретации рейтинга состоит в том, что интернет-сайт вуза фактически становится единственным источником информации о деятельности вузов.

Рейтинг Webometrics составляется на основе четырех показателей:

число страниц сайта, покрываемых основными поисковыми системами (Size, 25%);

число уникальных внешних ссылок на страницы сайта (Visibility, 50%);

число «ценных» файлов, размещенных на сайте (Rich Files, 12,5%);

число страниц и ссылок на сайт вуза, обеспечиваемых специализированной поисковой системой Google Scholar (Scholar, 12,5%).

Показатели в целом соответствуют содержательной интерпретации рейтинга (сравнение качества и наполняемости официальных интернет-сайтов вузов). В то же время перечень показателей не является исчерпывающим, в чем заключается один из главных недостатков рейтинга. При подсчете итогового значения по вузу (рейтингового значения) показатели учитываются с разными весовыми коэффициентами, что предполагает существенную зависимость результатов рейтинга от величины показателя Visibility.

Достоинства и недостатки глобальных рейтингов вузов

Обобщая существующие глобальные рейтинги вузов, можно выделить ряд их достоинств и недостатков.

Достоинства глобальных рейтингов вузов

прозрачность используемых процедур, отраженная в презентационной форме рейтинга;

регулярность составления рейтинга;

повторяемость методики составления рейтинга.

Недостатки глобальных рейтингов вузов

нечеткая содержательная интерпретация рейтингов;

использование ограниченного набора показателей для составления рейтингов с заданной содержательной интерпретацией;

субъективность подбора весовых коэффициентов показателей рейтинга;

использование ограниченного числа методов сбора данных для подсчета показателей по всем исследуемым вузам, что существенным образом сказывается на наполняемости этих показателей.

Самый главный недостаток рассматриваемых рейтингов — недостаточное внимание к различным аспектам качества образования. В них анализируются вопросы научно-исследовательской деятельности вузов, официальные интернет-сайты, студенческая и академическая мобильность. При этом ни в одном из рассмотренных рейтингов в качестве базовой категории не рассматривается собственно качество образования.

Существующие глобальные рейтинги следует рассматривать как упрощенные исследовательские модели (это во многом связано с использованием при составлении рейтинга таких показателей, которые требуют минимальных затрат на сбор данных и в тоже время могут быть легко проверены). С этой точки зрения рейтинг не является истиной в последней инстанции, это инструмент для решения определенного набора задач, в том числе политических. Очень показательно с этой точки зрения высказывание американского профессора Филипа Альтбаха: «…американцы привыкли цитировать американцев». Как пишут австралиец С. Маргинсон и голландец М. ван дер Венде, «в 2005 году из числа высокоцитируемых исследователей 3568 работали в США, 221 — в Германии, 215 — в Японии, 162 — в Канаде, 135 — во Франции, 97 — в Австралии, 90 — в Швейцарии, 83 — в Нидерландах, 20 — в Китае и 10 — в Индии». Тем не менее этот показатель — цитиремость — является одним из основных в Шанхайском рейтинге.

Поэтому причины положения российских вузов в глобальных рейтингах стоит прежде всего искать не в объемах финансирования вуза, не в квалификации профессорско-преподавательского состава, а в тех слагаемых, на основе которых определяется рейтинговая позиция учебного заведения. Отечественные вузы существенно проигрывают по числу публикаций в мировых научных журналах, отечественные преподаватели мало цитируются иностранными исследователями; к тому же российские вузы уступают зарубежным университетам по таким показателям, как число иностранных студентов и число иностранных сотрудников.

Особых проблем в том, чтобы повысить рейтинг отечественных вузов, нет.

Вполне возможно стимулировать публикации российских исследователей в мировых научных журналах. Число иностранных студентов и сотрудников вуза также можно легко увеличить, создав для них льготные условия.

По-видимому, российским исследователям следует также начать публиковать результаты своих исследований и на языке международного общения — английском, причем не просто переводить абстракты статей, а готовить полные тексты публикаций на английском. Это еще более увеличит коммуникации между исследователями всего мира и позволит ускорить интеграцию наших вузов в мировую систему образования и науки.

Руководство учебных учреждений должно активнее развивать электронные библиотеки собственного контента. Надо помнить, что интернет-публикации представляют собой самый оперативный выход на гораздо более широкие аудитории, чем аудитории, обеспечиваемые специализированными научными журналами.

Активное размещение результатов исследований сотрудников вузов на сайтах, организация навигации в электронных хранилищах знаний приведут к более продуктивной работе исследователей, росту неформальных контактов исследователей разных университетов разных стран, что, несомненно, положительно отразится не только на репутации российских вузов, но и на их местах в глобальных рейтингах

Все это не бесполезно, но вовсе не будет означать повышения качества российского образования — как уже говорилось, само качество образования в существующих глобальных рейтингах практически не отражается.

Российский рейтинг ведущих университетов мира

Обобщая вышесказанное, отметим: очевидна необходимость создания рейтинга, который, сохраняя все достоинства существующих рейтингов в сравнении ведущих вузов мира, использовал бы и такую категорию, как качество образования. К разработке такого проекта, собственно, и приступил Институт комплексных исследований образования Московского государственного университета им. М. В. Ломоносова (ИКИО МГУ) совместно с Независимым рейтинговым агентством «РейтОР».

На сегодняшний день сформулировано несколько базовых принципов, которые должны стать основой концепции составления Российского рейтинга ведущих университетов мира. Ключевая проблема тут, очевидно, интерпретация качества образования как системной категории, которую можно было бы рассчитывать на основе понятных, объективных и прозрачных (легко проверяемых) показателей.

За основу решено было взять понимание качества образования как комплексной характеристики деятельности вуза, основанной на общественном признании уровня учебной и научной работы, компетентности преподавательского состава, наличия современной материально-технической базы и востребованности выпускников на рынке труда. Такой подход принят большинством представителей мирового научного сообщества. Исходя из этого разрабатываются и основные показатели рейтинга.

В качестве наиболее значимого показателя общественного признания учебной деятельности вуза можно рассматривать число основных образовательных программ (факультетов и кафедр). Это свидетельствует о степени разносторонности деятельности вуза. Общественное признание научной деятельности учебного учреждения можно измерять на основе оценки числа открытий и изобретений его сотрудников, а также учитывая число международных наград, полученных работниками вуза за определенный период. Эта информация является достаточно прозрачной и легко может быть перепроверена. При этом стоит отметить, что показатель числа международных наград должен быть существенно доработан и расширен по сравнению с Шанхайским рейтингом.

В качестве оценки уровня компетентности преподавательского состава может использоваться показатель числа публикаций работников вуза в журналах, входящих в базу Science Citation Index. Это показатель учитывается в Шанхайском рейтинге и продемонстрировал обоснованность использования ввиду значительных объемов базы данных (миллионы статей).

Уровень развития материально-технической базы вуза может быть оценен на основе данных об общей стоимости оборудования вуза, приравненной к единому валютному эквиваленту. При этом целесообразно считать общую стоимость оборудования вне зависимости от размера вуза, так как размер вуза не всегда удается определить корректно и адекватно. Кроме того, существует нелинейная зависимость между размером вуза и стоимостью оборудования, что позволяет маленьким вузам занимать первые места по этому показателю.

Уровень востребованности выпускников на рынке труда может быть оценен долей (вкладом) вуза в формирование элиты государства через своих выпускников. В данном случае элита понимается в достаточно широком контексте как совокупность не менее чем трех сегментов: элиты государственного управления, бизнес-элиты и академической элиты. Очевидно, что понятие рынка труда существенно шире понятия формирования элиты государства, однако анализ рынка труда в десятках государств мира не является, по нашему мнению, действенным инструментом сбора данных ввиду значительных социально-экономических различий между странами.

Еще одной особенностью нашего рейтинга является ориентация на множественность показателей по каждой характеристике, чтобы весовой коэффициент каждого из них был минимален. Такой подход дает возможность избежать перекосов и добиться именно комплексной оценки деятельности вузов.

Еще раз подчеркнем, что разработка Российского рейтинга ведущих университетов мира не завершена, а предлагаемый перечень показателей — далеко не окончательный. Хотелось бы надеяться, что предложения, изложенные в статье, вызовут дискуссию на темы качества высшего образования, представительства российских вузов в глобальных рейтингах и системных критериев оценки их деятельности. Поэтому предлагаем всем заинтересованным сторонам высказать свое мнение по этим проблемам.

• Все упорнее ходят слухи, что карьера министра образования Андрея Фурсенко близится к завершению. А вместе с ним достоянием истории может стать и главное его достижение — Единый государственный экзамен
• В Тольяттинском государственном университете начали реформу управления. Она нацелена на превращение рядового вуза в центр инновационной экономики будущего
• Каждое третье малое инновационное предприятие Сибири создается при томских вузах. К 2020 году в Томске будут работать не менее 950 инновационных компаний