Методика экспресс-оценки программ социально-экономического развития (ПСЭР)
Методика разработана в порядке выполнения Государственного контракта Финансово-Хозяйственного Управления Администрации Томской области и АНО «Томский центр содействия инновациям» от 7.06.08 г. на тему: «Проведение оценки и мониторинга реализации программ социально-экономического развития муниципальных образований Томской области на период 2008 – 2012 годы.
Алгоритм и критерии оценки программ, а также шкалы оценки ПСЭР по этим критериям были разработаны в соответствии с ТЗ Контракта.
При этом исходили из профессионального принципа управленческого консультирования, - «делать для клиента больше, чем он просит», а также ориентироваться не сколько на продукт (отчет, материалы экспертной оценки) - сколько на получение клиентом результата, превышающего его ожидания и способствующего повышению эффективности его управленческой деятельности.
Поэтому методика нацелена не только на простой продукт, - материалы экспертного анализа ПСЭР муниципальных образований, – а скорее на формирование системы сравнительной мотивирующей оценки стратегического индикативного планирования органами муниципального управления, как механизма их совершенствования. Для этой цели количество критериев оценки более чем вдвое превышает принятое в публикациях на эту тему.[1]
Также следуя указанным принципам, сверх предусмотренных ТЗ работ, в методике предусмотрена оценка качества индикаторов, используемых в ПСЭР и оценка их соответствия показателям эффективности деятельности муниципальных властей, разработанным на федеральном уровне.
Кроме этого, при разработке критериев сравнительной оценки ПСЭР исходили не сколько из «буквы» Стратегии развития Томской области, сколько из ее «духа» и основной «проактивной» ценности – инновационности. Поэтому постарались «поднять планку», введя в систему оценки ряд понятий современного стратегического управления и регионалистики. Сделано это также с целью получения Заказчиком результата, сверх запланированного, а именно - стимулирования качественно нового уровня стратегического мышления муниципальных управленцев, а значит и качества муниципальных программ, а следом – и качества жизни населения Томской области, что является главным приоритетом областной стратегии развития.
Необходимые свойства, критерии и алгоритм оценки программ социально-экономического развития
Программа должна содержать «установление этапов, порядка и механизма управления процессом последовательного достижения целей. При этом программа не может быть сведена к простой сумме мероприятий, а представляет собой систему взаимосвязанных мер, которые, развиваясь по своим особым закономерностям, вызывают синергетический эффект»[2]
Свойства и критерии оценки программ
Табл. 1. Необходимые свойства и критерии оценки ПСЭР[3]
|
№ |
Наименование свойств (критериев) |
Содержательная характеристика критериев |
|
1 1 |
«Клиентность» |
Ориентированность на реальные требования и интересы внутренних и внешних ключевых стейкхолдеров (и наличие механизма и методов их выявления). |
|
2 2 |
«Проактивность» |
Наличие инновационного долгосрочного видения (образа) будущего муниципального образования, изменения его места и роли в конкуренции территорий и развитии региона. |
|
3 3 |
«Актуальность» |
Ориентация программ на решение наиболее значимых проблем развития региона (может быть оценена при использовании корректных методов выявления проблем и структурирования проблемного поля). |
|
4 4 |
«Прогностическая ценность» |
Отражение в анализе, целях и действиях не столько ближайших, сколько долгосрочных, перспективных тенденций и вызовов социально-экономического развития региона, дающее ориентиры для внешних и внутренних заинтересованных лиц и организаций. |
|
5 5 |
«Синергичность» |
Создание новых сочетаний управленческого воздействия с ресурсами, порождающих не просто количественные изменения (рост), а появление нового качества, резкие улучшения в социально-экономической ситуации, формирующих новые конкурентные преимущества территории. |
|
6 6 |
«Научно-методический уровень» |
Использование современных представлений регионалистики (таких как кластерный подход, маркетинг, конкурентоспособность и обучаемость территорий, а также инструментов, моделей, методов и алгоритмов, стратегического анализа, планирования, управления и контроля, повышающих достоверность прогнозов и эффективность программ в целом. |
|
7 7 |
«Гибкость» |
Использование анализа наиболее вероятных сценариев развития событий, гибкого реагирования и альтернативных вариантов решения проблем. |
|
8 8 |
«Унифицированность» |
Соответствие структуры программ и их паспортов методическим рекомендациям региональных (областных) и федеральных органов власти и управления. |
|
9 9 |
«Вертикальная интегрированность» |
Согласованность с программами и стратегией регионального (областного) и федерального уровней по целям, приоритетам и индикаторам. |
|
110 |
«Целостность» |
Полнота и согласованность действий для достижения целей. Достигается за счет взаимной увязки целей задач, индикаторов и мероприятий. |
|
111 |
«Рациональность» |
Ориентация целей, приоритетов и проектов на оптимизацию соотношения затраты-выгоды, т.е. получения максимально полезного результата при наиболее полном и рациональном использовании ресурсов. |
|
112 |
«Реалистичность» |
Соответствие желаемого и возможного в целях, приоритетах и проектах с учетом имеющихся ресурсных ограничений. |
|
113 |
«Оцениваемость» |
Адекватность системы индикаторов целям и приоритетам, как возможность полноценно отслеживать динамику процессов, находящихся под воздействием программ и оценивать их соответствие целям. |
|
114 |
«Контролируемость» |
Наличие доступных для вышестоящих органов власти и управления способов проверки реальности получаемых результатов. |
|
115 |
«Чувствительность к сбоям» |
Использование методов выявления угроз и рисков, для достижения целей, а также методов их корректировки, обеспечиваемых детализацией программы и сокращением интервалов между контрольными точками. |
Эти свойства и критерии оценки программ подразделяются на две группы:
1. «Синергики» - с 1 по 7 критерий. Свойства программ, отвечающие за системную синергию, создающие конструктивное напряжение для разработчиков и задающие для них «высокую планку» «проактивного» подхода, формирующего новый облик и конкурентные преимущества территорий (в отличие от «реактивного» - пассивного следования за событиями). Синергики ориентированы на развитие и играют мотивирующую роль в системе сравнительной мотивирующей оценки.
2. «Синкретики» - с 8 по 15 критерий. Свойства, обеспечивающие управляемость, порядок, взаимную согласованность, вертикальную интегрированность и контролируемость программ. Синкретики ориентированы на стабилизацию качества программ и отвечают за их сравнимость между собой.[4]
Алгоритм оценки программ
Выбрано четыре уровня анализа и сравнительной оценки программ, отвечающих разным целям и группам потребителей.
1. Анализ качества каждой из программ в отдельности. Осуществляется по всем критериям, исключая 8 и 9. Наиболее полезна органам управления конкретных муниципальных программ и разработчикам.
2. Сравнительная оценка согласованности программ муниципального и регионального уровня. Осуществляется по критериям 8 и 9.Наиболее интересна органам власти областного и федерального уровня.
3. Оценка согласованности муниципальных программ с ориентирами федерального уровня. Интересна федеральным органам власти.
4. Интегральная сравнительная мотивирующая оценка, позволяющая ранжировать программы по их качеству, группировать и анализировать на основе разных свойств, принимать управленческие решения. Интересна как рычаг управления качеством программно-целевого управления региональным развитием для органов власти и управления областного и федерального уровня.
Сама процедура оценки программ унифицирована с оценкой качества индикаторов ПСЭР и описана ниже.
Оценка системности, полноты и качества индикаторов ПСЭР
Оценка индикаторов («контрольных показателей» в терминологии разработчиков Стратегии развития Томской области до 2020 г.) проведена:
1. На предмет их качества по 7 критериям;
2. На предмет системности, контекстности и полноты охвата;
3. На предмет соответствия официальным рекомендациям федеральных органов власти РФ.
Оценка качества индикаторов
За основу оценки качества индикаторов взяты 7 критериев, опубликованных в «Стратегии развития области…»[5], разработанных, в том числе в соответствии с методическими рекомендациями Министерства финансов и Министерства экономического развития и торговли Российской Федерации (табл. 2).
Таблица 2. Критерии качества контрольных показателей (индикаторов) согласно «Стратегии развития Томской области до 2020 г».(с. 18).| Требование к показателю | Обоснование |
|
Сфокусированность
|
Количество показателей для цели/задачи, как правило, не должно превышать 3-х
|
|
Адекватность
|
Показатель должен очевидным образом характеризовать прогресс в достижении цели или решении задачи
|
|
Достоверность
|
Способ сбора и обработки исходной информации должен допускать возможность проверки точности полученных данных
|
|
Однозначность
|
Определение показателя должно обеспечивать одинаковое понимание существа измеряемой характеристики, как специалистами, так и конечными потребителями услуг
|
|
Экономичность
|
Получение отчетных данных должно производиться с минимально возможными затратами
|
|
Сопоставимость
|
Выбор показателей следует осуществлять исходя из необходимости непрерывного накопления данных и обеспечения их сопоставимости за отдельные периоды времени
|
|
Ориентированность на результат
|
Для целей и задач рекомендуется использование показателей конечных общественно значимых результатов, характеризующих удовлетворение потребностей внешних потребителей. Показатели непосредственных результатов допускается использовать для корректировки мероприятий
|
Алгоритм оценки
Алгоритм оценки качества программ и индикаторов ПСЭР Муниципальных образований выглядит следующим образом (показан на примере оценки качества индикаторов).
1. Качество каждого индикатора ПСЭР МО независимо оценивается по 5-балльной шкале 5-7 экспертами, по каждому из 7 критериев;
2. По собранным оценкам этих 7 критериев рассчитываются средние показатели, считается и их вариабельность;
3. Считается интегральная оценка качества индикатора ПСЭР МО, как сумма средних показателей по 7 критериям.
4. Считается средняя удельная оценка качества всех индикаторов ПСЭР МО, как частное от деления суммарных оценок всех индикаторов на их общее количество в Программе МО.
Полученные показатели позволяют:
1. Анализировать качество индикаторов каждой Программы по каждому из 8 критериев;
2. Адресно совершенствовать систему индикаторов, «подтягивая» параметры, получившие низкие оценки;
3. Сравнивать качество разработки системы индикаторов ПСЭР разных МО между собой;
4. Прослеживать в системе мониторинга ПСЭР динамику качества применяемых МО индикаторов.
Для дальнейшего усовершенствования системы оценки в соответствии с меняющимся приоритетами по тем - или иным критериям, им можно присваивать коэффициенты, - «веса» критерия, «облегчающие» или наоборот,- «утяжеляющие» значимость критерия и его вклад в итоговую оценку.
Оценка системности, контекстности и полноты охвата набора индикаторов ПСЭР
Очевидно, что помимо качества отдельных индикаторов, применяемых в ПСЭР, необходимо оценивать репрезентативность и эвристическую ценность их совокупности, как системы, в частности по критериям, предлагаемым Агентством развития Томской области («Контекстность и полнота охвата», а также «системность»).
Критерием для этой оценки может быть сравнительный анализ степени соответствия набора индикаторов ПСЭР МО системе из 107 показателей социально-экономического развития региона, разработанной Фондом «Институт экономики города»[6].
Количественный показатель в данном случае рассчитывается как доля, в %, индикаторов, применяемых в данной ПСЭР, от общего количества рекомендуемых и подробно описанных Фондом «Институт экономики города».
Оценка соответствия системы индикаторов официальным критериям федеральных органов власти и управления РФ.
Оценивается количество и качество индикаторов по группам приоритетов стратегии Томской области на предмет их согласованности с федеральным списком критериев эффективности муниципальных программ, определенных Указом Президента РФ. [7]
Ниже приводится пример использования данного подхода на примере Программы одного из муниципальных северных районов Томской области (Табл. 3).
Таблица 3. Оценка соответствия ПСЭР Александровского района Томской области на 2007 – 2012 гг. необходимым свойствам программ стратегического управления (Шкала оценок, в баллах: 2 – полное соответствие; 1 – неполное соответствие; 0 – полное несоответствие).
|
№ |
Свойство программ |
Оце-нка |
Диагностика и комментарий |
|
Синергичность программы (по свойствам 1-7), всего баллов - 1 |
|||
|
1 |
«Клиентность» |
0 |
Ориентированность на реальные требования и интересы внутренних и внешних ключевых стейкхолдеров (и наличие механизма и методов их выявления) отсутствует. |
|
2 |
«Проактивность» |
0 |
Инновационное долгосрочное видение (как привлекательный образ будущего муниципального образования, изменяющий его место и роль в конкуренции территорий и развитии региона), отсутствует, инновационных предложений нет , имеющиеся декларации о конкурентных преимуществах района не обоснованы и методически некорректны. |
|
3 |
«Актуальность» |
1 |
Ориентация программы на решение наиболее значимых проблем развития района не обеспечена использованием комплекса специальных методов выявления проблем и структурирования проблемного поля. Попытки проблемного подхода присутствуют, но упоминаемые формулировки носят скорее характер назывных» жалоб, нежели проблем в управленческом смысле. |
|
4 |
«Прогностическая ценность» |
0 |
Отражение в анализе, целях и действиях долгосрочных тенденций и вызовов для развития района ( которое давало бы ориентиры для внешних и внутренних заинтересованных лиц и организаций), практически не проработано. Наработки стратегии области не задействованы. |
|
5 |
«Синергичность» |
0 |
Нет конкурентного анализа и задач создания новых сочетаний управленческого воздействия с ресурсами, порождающих появление нового качества, резкие улучшения в социально-экономической ситуации, формирующие конкурентные преимущества территории. Упомянутые «конкурентные преимущества» являются в лучшем случае превосходными отличиями, «фокус конкуренции» района и его отраслей не определялся. |
|
6 |
«Научно-методический уровень» |
0 |
Современные представления регионалистики (кластерный подход, маркетинг, конкурентоспособность и обучаемость территорий), не используются, также как и классические инструменты, модели и методы стратегического анализа и планирования. Единственный метод СВОТ анализа использован некорректно, - в урезанном виде и не содержит выводов. |
|
7 |
«Гибкость» |
0 |
Не используются подходы сценарного планирования и рассмотрения альтернативных вариантов решения проблем. |
|
Синкретичность программы (по свойствам 8-15), всего баллов - 5 |
|||
|
8 |
«Унифицирован-ность» |
2 |
Соответствие структуры программы, ее паспорта методическим рекомендациям областных органов управления неполное. |
|
9 |
«Вертикальная интегрированность» |
1 |
Согласованность с программами и стратегией областного уровня по целям, задачам и индикаторам относительно более высокая, чем у большинства других районов, - на уровне 27%, (см. соотв. Разделы настоящего отчета) |
|
10 |
«Целостность» |
1 |
Полнота и согласованность действий для достижения целей на низком уровне. Обычно достигается за счет взаимной увязки целей, задач, индикаторов и мероприятий. В данном случае трудно оценима из-за размытости формулировок задач и индикаторов, таких как создание условий, повышение, увеличение… |
|
11 |
«Рациональность» |
0 |
Ориентация целей, приоритетов и проектов на оптимизацию соотношения затраты-выгоды (т.е. получения максимально полезного результата при наиболее полном и рациональном использовании ресурсов) просматривается слабо. Из всех имеющихся (причем описанных) и потенциально возможных ресурсов территории для решения задач рассматривается только бюджетное финансирование, что отражает иждивенческий подход разработчиков. |
|
12 |
«Реалистичность» |
1 |
Соответствие желаемого и возможного в целях, приоритетах и проектах с учетом имеющихся ресурсных ограничений не рассматривается. Реалистичность в данном случае также трудно оценить из-за размытости формулировок. |
|
13 |
«Оцениваемость» |
0 |
Адекватность системы индикаторов целям и задачам, (как возможность полноценно отслеживать динамику процессов, находящихся под воздействием программ и оценивать их соответствие целям) относительно наиболее высокая, чем в других районах |
|
14 |
«Контролируемость» |
0 |
Возможности доступных для вышестоящих органов власти и управления способов проверки реальности получаемых результатов существенно выше, чем в других районах. |
|
15 |
«Чувствительность к сбоям» |
0 |
Метод выявления угроз и рисков, для достижения целей, а также методов корректировки задач, (обеспечиваемых детализацией программы и сокращением интервалов между контрольными точками) не используется. Такую роль частично мог бы играть СВОТ анализ, но угрозы там не проработаны. |
|
Итого баллов: |
7 |
Суммарная оценка соответствия, % - 23.3 |
|
Расчет общего показателя соответствия: Общий набор свойств Программ стратегического развития содержит 15 показателей, каждый из которых (при полном соответствии Программы МО данному свойству) оценен в 2 балла.
Соответственно, общая сумма баллов 2х15=30 баллов, для оценки в процентном отношении 30 приравниваем к 100%
Сумма оценок необходимых свойств ПСЭР Александровского района = 7 баллов, итоговая пропорция: 30-100%
7-Х%, Х=7х100:30 =23.3%
Таким образом, на уровне необходимых свойств стратегических программ ПСЭР Александровского района соответствует требованиям на 23.3%.
Предложения, описанные выше, могут использоваться сравнительной экспертной оценки качества муниципальных стратегических программ.
