Уроки оценивания
С 29 апреля по 3 мая 2013 года сотрудники ИСИЭЗ НИУ ВШЭ Станислав Заиченко и Сергей Бредихин проходили курс повышения квалификации по теме «Оценивание эффективности научно-технической и инновационной политики» в Институте исследований инноваций Университета Манчестера (Manchester Institute of Innovation Research, MIoIR).
С 29 апреля по 3 мая 2013 года сотрудники ИСИЭЗ НИУ ВШЭ Станислав Заиченко и Сергей Бредихин проходили курс повышения квалификации по теме «Оценивание эффективности научно-технической и инновационной политики» в Институте исследований инноваций Университета Манчестера (Manchester Institute of Innovation Research, MIoIR).
Оценивание является сквозным элементом научно-технической политики, применяется для измерения эффективности научных коллективов, организаций, институтов развития, программ превосходства и пр. Курс повышения квалификации по данной теме, который преподают под руководством профессора Якоба Эдлера (Jakob Edler) ведущие сотрудники Института исследований инноваций Университета Манчестера, создает у слушателей комплексное представление о базовых аспектах и современном дискурсе вокруг теории, методов и международной практики оценивания в научно-технической политике.
В первый день занятий, после представления преподавателей и слушателей курса друг другу, его руководитель профессор Эдлер прочел вводную лекцию, в которой кратко описал ключевые проблемы, практические задачи, основные подходы к оцениванию на разных уровнях научно-технической политики, а также перечислил связанные с данным направлением проекты MIoIR.
Старший преподаватель MIoIR Кейт Баркер (Kate Barker) ознакомила с универсальной процедурой планирования проектов оценивания, в терминологии лектора — «логической картой оценивания», и обозначила ее теоретические основы с позиций менеджмента, политики и экономики.
Вводная часть курса завершилась обзором методик оценивания в изложении доктора Пола Каннингема (Paul Cunningham). Лектор рассмотрел принципы выбора и применения различных индикаторов с учетом их преимуществ и недостатков, сделав акцент на том, что необходимо взвешивать все возможности и ограничения используемых индикаторов — вне зависимости от того, насколько удобными они представляются самим аналитикам.
В первый же день слушатели приступили, разделившись на несколько групп, к практическому занятию. Им предстояло подготовить организационную модель (программу) оценивания какого-либо реального или абстрактного объекта и обосновать ее реализуемость. В качестве вариантов для оценки были предложены: государственные программы в сфере науки; государственные инновационные программы; финансирующие организации (институты развития); научные организации; национальные системы научно-технической политики в целом. Результаты выполнения групповых мини-проектов были представлены на последнем занятии курса.
В лекциях второго дня были затронуты несколько тем, в частности, адекватность и состоятельность оценочных мероприятий, методы библиометрического анализа и оценки аддитивных эффектов (additionalities).
Пол Каннингем структурировал функции оценивания в составе мер научно-технической политики и привел критерии эффективности оценок в ракурсе поставленных исследователями целей и задач. Роза M. Фернандез (Rosa M. Fernández), советник по вопросам науки департамента бизнес-инноваций и компетенций правительства Великобритании, развивая эту тему, представила ее с точки зрения заказчиков оценивания — органов государственной власти. На примере сложившейся в Великобритании системы финансирования ИиР доктор Фернандез описала основные способы внедрения инструментов оценки в процессы распределения государственных средств между программами и институтами в сфере науки и технологий.
Джон Ригби (John Rigby), старший научный сотрудник MIoIR, прочел лекцию о библиометрическом анализе — важнейшем инструменте оценивания в сфере исследований и разработок, раскрыл базовые принципы, функции, ключевые понятия и направления данного метода, возможности его практического применения, а также известные ограничения.
Об относительной оценке государственной научно-технической политики сквозь призму изучения аддитивных эффектов рассказали Якоб Эдлер и Абдулла Гёк (Abdullah Gök), научный сотрудник MIoIR. Суть метода заключается в моделировании альтернативных сценариев поведения объектов политики (новых инструментов, программ, реформ) при гипотетической ситуации отсутствия воздействия на них. В рамках данного подхода объекты политики рассматриваются не как «черные ящики», а как наборы моделей поведения, анализируя которые можно попытаться измерить вклад оцениваемых объектов в экономический рост.
Третий день курса начался с лекции Кейт Баркер, посвященной системе оценивания исследовательской активности университетов Великобритании. Такая система действует в стране с 1986 года и опирается на методику ранжирования высших учебных заведений. Лектор ознакомила слушателей с ее задачами, дала основы базовой методики, а также описала характер воздействия самого процесса оценивания на поведение участников — его зачастую непредвиденные позитивные и негативные эффекты.
В трех лекциях доктора Марии Недевой (Maria Nedeva) была подробнейшим образом раскрыта — через систему вопросов, поиск ответов на которые и представляет собой в общем виде процесс оценивания, — проблематика измерения эффективности организаций, работающих в сфере науки и инноваций.
В первой был сделан акцент на деятельности агентств, финансирующих исследовательские проекты. Вторую лекцию доктор Недева посвятила теме воздействия управленческих решений на какие-либо общественные феномены. Охарактеризовав различные виды воздействия и способы его изучения, лектор сфокусировала внимание слушателей на проблемах измерения и выявления каузальных взаимосвязей, ключевых развилках в процессе выбора дизайна оценивания. В своей третьей лекции Мария Недева остановилась на работе с экспертными оценками, которые являются одним из ключевых элементов изучаемой в рамках курса деятельности. На этом занятии слушателям была обрисована системная картина организации процессов рецензирования и сбора экспертных оценок, а также обозначены наиболее частые проблемы их получения и использования.
Редкая возможность узнать подробности такого масштабного проекта, как Международный аудит исследований, разработок и инноваций в Чешской республике, представилась слушателям в четвертый день курсов — на лекции приглашенного докладчика доктора Эрика Арнольда (Erik Arnold), председателя «Группы Технополис» и управляющего директора «Технополис» в Великобритании. Он изложил в своей лекции особенности функционирования национальной инновационной системы Чехии. Описав выбранные в рамках упомянутого проекта методики оценивания, докладчик обозначил проблемы, с которыми столкнулись группы аудиторов, и привел практические рекомендации, подготовленные по результатам данного исследования.
Две лекции прочел профессор Филип Шапира (Philip Shapira), давний партнер Форсайт-центра ИСИЭЗ. Первую он посвятил оцениванию экономического воздействия программ исследований, технологий и инноваций, в частности, ознакомил с основными концепциями и методами его измерения. Представив алгоритм выбора оптимальной стратегии анализа экономического воздействия, профессор проиллюстрировал на ряде примеров и двух кейсах полный цикл оценивания на практике и описал реальные проблемы применения этого метода. На второй лекции Филип Шапира обратился к вопросу оценивания сравнительно новых инструментов научной и инновационной политики — так называемых инновационных «Х-призов». Суть такого способа стимулирования инноваций заключается в объявлении (компаниями, фондами или правительственными организациями) вознаграждения за некое достижение (например, разработку и применение новой технологии для решения актуальной задачи) на заранее оговоренных условиях. Участники курса смогли полнее осознать возможности такого необычного инструмента политики, а также проблему оценки результатов подобных «соревнований» в формате деловой игры. Профессор Шапира предложил слушателям, разделив их на группы, обсудить свои варианты «инновационного приза», продумать его ожидаемые результаты и механизм оценивания.
Заключительную лекцию курса прочел его руководитель Якоб Эдлер. Обобщая пройденный материал, он говорил об оценивании политики как таковой; перечислил принципы, вопросы и подходы, применяемые при оценивании всевозможных типов государственной политики; сделал обзор инструментов воздействия, основанных на спросе, и особенностей, связанных с оцениванием таких методов поддержки развития науки и инноваций.
Завершился курс поочередным выступлением представителей каждой из сформированных на первом занятии групп о результатах применения полученных знаний для решения конкретных исследовательских задач и их обсуждением с преподавателями MIoIR.
Материал подготовили Сергей Бредихин и Станислав Заиченко