Независимая оценка качества работы муниципальных организаций культуры: разработка методологии

Нормативно-правовые основания методологии независимой оценки качества услуг организаций культуры

Указом Президента РФ от 7.05.2012 № 597 «О мероприятиях по реализации государственной социальной политики» Правительству РФ было поручено совместно с общественными организациями до 1.04.2013 обеспечить формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности 5.

В целях реализации положений вышеназванного Указа Правительством РФ постановлением от 30.03.2013 № 286 были утверждены Правила формирования независимой системы оценки качества работы организаций, оказывающих социальные услуги 20. Одновременно распоряжением № 487-р одобрен План мероприятий по формированию независимой системы оценки качества работы организаций, оказывающих социальные услуги, на 2013– 2015 гг. 11.

Но только спустя два года, в 2014 г., понятие независимой оценки качества оказания услуг организациями в сфере культуры, социального обслуживания, охраны здоровья и образования появилось в текстах федеральных законов 3. В частности, соответствующие поправки были внесены в Закон Российской Федерации от 9.10.1992. № 3612-1 «Основы законодательства Российской Федерации о культуре» 14.

Появившаяся в Основах законодательства Российской Федерации о культуре статья 36.1 определяет независимую оценку качества оказания услуг организациями культуры как одну из форм общественного контроля, осуществляемого в целях предоставления гражданам информации о качестве оказания услуг организациями культуры, а также в целях повышения качества их деятельности 14.

Независимая оценка качества оказания услуг организациями культуры проводится в отношении организаций культуры, учредителями которых являются Российская Федерация, субъекты Российской Федерации или муниципальные образования, других организаций культуры, в уставном капитале которых доля Российской Федерации, субъекта Российской Федерации или муниципального образования в совокупности превышает пятьдесят процентов, а также в отношении иных негосударственных организаций культуры, которые оказывают государственные, муниципальные услуги в сфере культуры.

Независимая оценка качества оказания услуг организациями культуры не проводится в отношении создания, исполнения и интерпретации произведений литературы и искусства.

В целях создания условий для организации проведения независимой оценки качества оказания услуг организациями культуры:

• федеральный орган исполнительной власти, осуществляющий функции по выработке и реализации государственной политики и нормативноправовому регулированию в сфере культуры (далее – уполномоченный федеральный орган исполнительной власти), с участием специалистов, осуществляющих профессиональную деятельность в сфере культуры, общественных организаций в сфере культуры, общественных объединений потребителей (их ассоциаций, союзов) (далее – общественные организации) формирует общественный совет по проведению независимой оценки качества оказания услуг организациями культуры и утверждает положение о нем. Перечень организаций культуры, в отношении которых не проводится независимая оценка качества оказания ими услуг, утверждается уполномоченным федеральным органом исполнительной власти с предварительным обсуждением на общественном совете. В существующий перечень включены только федеральные учреждения 15;
  
• органы государственной власти субъектов Российской Федерации с участием общественных организаций формируют общественные советы по проведению независимой оценки качества оказания услуг организациями культуры, расположенными на территориях субъектов Российской Федерации, и утверждают положение о них;
  
• органы местного самоуправления с участием общественных организаций вправе формировать общественные советы по проведению независимой оценки качества оказания услуг организациями культуры, расположенными на территориях муниципальных образований, и утверждать положение о них.
  

Общественный совет по проведению независимой оценки качества оказания услуг организациями культуры формируется таким образом, чтобы была исключена возможность возникновения конфликта интересов. Состав общественного совета формируется из числа представителей общественных организаций 14.

Независимая оценка качества оказания услуг организациями культуры, организуемая общественными советами по ее проведению, проводится не чаще чем один раз в год и не реже чем один раз в три года.

Общественные советы по проведению независимой оценки качества оказания услуг организациями культуры:

• определяют перечни организаций культуры, в отношении которых проводится независимая оценка;
  
• формируют предложения для разработки технического задания для организации, которая осуществляет сбор, обобщение и анализ информации о качестве оказания услуг организациями культуры (далее – оператор), принимают участие в рассмотрении проектов документации о закупке работ, услуг, а также проектов государственного, муниципального контрактов, заключаемых уполномоченным федеральным органом исполнительной власти, органами государственной власти субъектов Российской Федерации или органами местного самоуправления с оператором;
  
• устанавливают при необходимости критерии оценки качества оказания услуг организациями культуры (дополнительно к установленным Основами законодательства РФ о культуре общим критериям);
  
• осуществляют независимую оценку качества оказания услуг организациями культуры с учетом информации, представленной оператором;
  
• представляют соответственно в уполномоченный федеральный орган исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления результаты независимой оценки качества оказания услуг организациями культуры, а также предложения об улучшении качества их деятельности 14.
  

Итак, важно отметить: общественные советы вправе установить дополнительные к предусмотренным Основами законодательства РФ о культуре критерии оценки качества оказания услуг организациями культуры (и, соответственно, этим дополняющим федерального законодателя критериям – характеризующие их показатели и способы оценки), но не обладают полномочиями по установлению дополнительных показателей, характеризующих уже предусмотренные федеральным законодателем общие критерии оценки качества оказания услуг организациями культуры 18. Равным образом общественные советы не вправе корректировать способы оценки показателей, предусмотренные законодателем (вводить дополнительные способы или заменять установленные законодательно на другие, представляющиеся общественному совету более правильными).

В то же время не для всех видов социальных услуг нормативные правовые акты федеральных органов власти устанавливают способы оценки показателей качества. В частности, такова ситуация с показателями, характеризующими общие критерии оценки качества образовательной деятельности организаций, осуществляющих образовательную деятельность 6. Представляется, что в этом случае Общественный совет по проведению независимой оценки качества оказания услуг может восполнить законодательный пробел, утвердив своим решением (протоколом заседания) способы оценки показателей качества на основании рекомендаций экспертов. Именно такой путь решения проблемы организации и проведения независимой оценки качества услуг организаций культуры в Екатеринбурге, где детские художественные школы выступают как образовательные учреждения культуры, был избран Общественным советом в 2016 г.

Заключение государственных, муниципальных контрактов на выполнение работ, оказание услуг по сбору, обобщению и анализу информации о качестве оказания услуг организациями культуры осуществляется в соответствии с законодательством Российской Федерации о контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд 4. Уполномоченный федеральный орган исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления по результатам заключения государственных, муниципальных контрактов оформляют решение об определении оператора, ответственного за проведение независимой оценки качества оказания услуг организациями культуры, а также при необходимости предоставляют оператору общедоступную информацию о деятельности данных организаций, формируемую в соответствии с государственной и ведомственной статистической отчетностью (в случае, если она не размещена на официальном сайте организации) 14.

Независимая оценка качества оказания услуг организациями культуры предусматривает оценку условий оказания услуг по таким общим критериям, как открытость и доступность информации об организации культуры; комфортность условий предоставления услуг и доступность их получения; время ожидания предоставления услуги; доброжелательность, вежливость, компетентность работников организации культуры; удовлетворенность качеством оказания услуг 14. Эти критерии получили развитие в списке конкретизирующих их показателей, закрепленных приказом Минкультуры России от 25.02.2015 № 288 17, на смену которому 5.10.2015 пришел приказ того же федерального министерства № 2515 18.

В соответствии с указанным приказом общие критерии оценки качества оказания услуг организациями культуры характеризуются нижеследующими показателями, дифференцированными по группам организаций культуры.

Критерий «открытость и доступность информации об организации культуры» конкретизирован такими показателями, как: 1) полное и сокращенное наименование организации культуры, место нахождения, почтовый адрес, схема проезда, адрес электронной почты, структура организации культуры, сведения об учредителе (учредителях), учредительные документы; 2) информация о выполнении государственного / муниципального задания, отчет о результатах деятельности организации культуры (оба показателя подлежат применению в отношении всех организаций культуры); 3) информирование о предстоящих выставках и экспозициях организации культуры, виртуальные экскурсии по организации культуры (этот показатель относится только к музеям); 4) информирование о предстоящих представлениях и постановках (только для театров); 5) информирование о новых мероприятиях (для культурно-досуговых центров). Предложены и способы оценки каждого показателя: для первых двух это – наличие информации на официальном сайте организации культуры; для третьего, четвертого и пятого – изучение мнения получателей услуг.

Комфортность условий предоставления услуг и доступность их получения предлагается оценивать девятью показателями. Для всех организаций культуры это: 1) уровень комфортности пребывания в организации культуры (места для сидения, гардероб, чистота помещений). Способ оценки показателя – изучение мнения получателей услуг; 2) перечень услуг, предоставляемых организацией культуры; ограничения по ассортименту услуг; ограничения по потребителям услуг, дополнительные услуги, предоставляемые организацией культуры: услуги, предоставляемые на платной основе; стоимость услуг; предоставление преимущественного права пользования услугами учреждения. Способ оценки показателя – наличие информации на официальном сайте организации культуры; 3) сохранение возможности навигации по сайту при отключении графических элементов оформления сайта, карты сайта; время доступности информации с учетом перерывов в работе сайта; наличие независимой системы учета посещений сайта; раскрытие информации независимой системы учета посещений сайта; наличие встроенной системы контекстного поиска по сайту; бесплатность, доступность информации на сайте; отсутствие нарушений отображения, форматирования или иных дефектов информации на сайте; дата и время размещения информации; доступ к разделу «Независимая оценка качества предоставления услуг» должен быть обеспечен не более чем за два перехода по сайту с использованием меню навигации. Способ оценки показателя – наличие информации на официальном сайте организации культуры; 4) транспортная и пешая доступность организации культуры (изучение мнения получателей услуг); 5) наличие электронных билетов / наличие электронного бронирования билетов / наличие электронной очереди / наличие электронных каталогов / наличие электронных документов, доступных для получения. Способ оценки показателя – наличие информации на официальном сайте организации культуры; 6) удобство пользования электронными сервисами, предоставляемыми учреждением посетителям (в том числе и с помощью мобильных устройств). Способ оценки показателя – изучение мнения получателей услуг. Для музеев и театров предложен дополнительный показатель «Наличие дополнительных услуг организации культуры (места общественного питания, проведение интерактивных игр, театрализованных мероприятий, аудиогид)», оцениваемый путем изучения мнения получателей услуг. Только для театров через изучение мнения потребителей оценивается показатель «Качество и содержание полиграфических материалов организаций культуры (программ, буклетов, флаеров)». Специальный показатель введен и для библиотек: «Стоимость дополнительных услуг (ксерокопирование, заказ книги в другой библиотеке, информирование о возврате нужной книги, возможность отложить книгу)». Способ оценки – изучение мнения получателей услуг.

Время ожидания предоставления услуги для всех организаций культуры оценивается по показателю «Удобство графика работы организации культуры». Способ оценки – изучение мнения получателей услуг. Этим же способом оценивается дополнительный показатель, введенный для театров и музеев: «Удобство процедуры покупки (бронирования) билетов», а также показатель, введенный дополнительно для библиотек: «Простота/удобство электронного каталога».

Критерий «Доброжелательность, вежливость, компетентность работников организации культуры» для всех организаций характеризуется двумя показателями: 1) доброжелательность, вежливость и компетентность персонала организации культуры (способ оценки – изучение мнения получателей услуг); 2) фамилии, имена, отчества, должности руководящего состава организации культуры, ее структурных подразделений и филиалов (при их наличии), режим, график работы; контактные телефоны, адреса электронной почты, раздел для направления предложений по улучшению качества услуг организации (способ оценки – наличие информации на официальном сайте организации культуры).

Наконец, последний критерий – «Удовлетворенность качеством оказания услуг» – конкретизирован через показатели: 1) уровень удовлетворенности качеством оказания услуг организации культуры в целом (группа организаций, подлежащих оценке, – все за исключением театров; способ оценки – изучение мнения получателей услуг); 2) порядок оценки качества работы организации на основании определенных критериев эффективности работы организаций, утвержденный уполномоченным федеральным органом исполнительной власти; результаты независимой оценки качества оказания услуг организациями культуры, а также предложения об улучшении качества их деятельности; план по улучшению качества работы организации (группа организаций, подлежащих оценке, – все организации культуры; способ оценки – наличие информации на официальном сайте организации культуры); 3) качество проведения экскурсий (группа организаций, подлежащих оценке, – музеи; способ оценки – изучение мнения получателей услуг); 4) разнообразие экспозиций организации культуры (группа организаций, подлежащих оценке, – музеи; способ оценки – изучение мнения получателей услуг); 5) наличие информации о новых изданиях (группа организаций, подлежащих оценке, – библиотеки; способ оценки – изучение мнения получателей услуг). Для культурно-досуговых организаций предусмотрены два дополнительных показателя, оцениваемых путем изучения мнения получателей услуг. Это: 1) разнообразие творческих групп, кружков по интересам; 2) качество проведения культурно-массовых мероприятий 18.

При проведении независимой оценки качества оказания услуг организациями культуры используется общедоступная информация об организациях культуры, размещаемая в том числе в форме открытых данных. Основами законодательства РФ о культуре (ст. 36.2) установлен принцип информационной открытости организаций культуры. В соответствии с ним организации, оказывающие государственные и муниципальные услуги в сфере культуры, обязаны обеспечивать открытость и доступность следующей информации:

• дата создания организации культуры, ее учредитель, учредители, место нахождения организации культуры и ее филиалов (при наличии), режим, график работы, контактные телефоны и адреса электронной почты;
  
• структура и органы управления организации культуры;
  
• виды предоставляемых услуг организацией культуры;
  
• материально-техническое обеспечение предоставления услуг;
  
• копия устава организации культуры;
  
• копия плана финансово-хозяйственной деятельности организации культуры, утвержденного в установленном законодательством Российской Федерации порядке, или бюджетной сметы (информация об объеме предоставляемых услуг);
  
• копия документа о порядке предоставления услуг за плату;
  
• информация, которая размещается, опубликовывается по решению организации культуры, а также информация, размещение и опубликование которой являются обязательными в соответствии с законодательством Российской Федерации;
  
• иная определяемая уполномоченным федеральным органом исполнительной власти необходимая для проведения независимой оценки качества оказания услуг организациями культуры информация 14.
  

Указанная информация подлежит размещению на официальных сайтах уполномоченного федерального органа исполнительной власти, органов государственной власти субъектов Российской Федерации, органов местного самоуправления и организаций культуры в сети «Интернет» в соответствии с требованиями к ее содержанию и форме предоставления, установленными уполномоченным федеральным органом исполнительной власти. Эти требования в настоящий момент установлены приказом Минкультуры России от 20.02.2015 № 277 «Об утверждении требований к содержанию и форме предоставления информации о деятельности организаций культуры, размещаемой на официальных сайтах уполномоченного федерального органа исполнительной власти, органов государственной власти субъектов Российской Федерации, органов местного самоуправления и организаций культуры в сети "Интернет"» 21

Уполномоченный федеральный орган исполнительной власти (Министерство культуры Российской Федерации), органы государственной власти субъектов Российской Федерации, органы местного самоуправления и организации культуры обеспечивают на своих официальных сайтах техническую возможность выражения мнений получателями услуг о качестве оказания услуг организациями культуры 14.

Говоря о критериях качества услуг, раскрывающих их показателях и способах оценки последних, подчеркнем еще раз: способ оценки для официально проводимой независимой оценки качества оказания услуг (а не для собственного исследовательского интереса) нужно использовать только и единственно тот, который указан законодателем. В большинстве случаев это изучение мнения потребителей, а не констатация наличия информации на сайте 18, размещаемой в целях реализации принципа информационной открытости организаций культуры. Но там, где законодатель указал способом оценки качества услуг наличие информации на сайте, общественный совет не вправе установить другие способы: нет таких полномочий у общественного совета – свои способы оценки изобретать по критериям и показателям, прямо указанным законодателем. Представляется, что организация, утвержденная решением общественного совета в качестве оператора для осуществления сбора, обработки и анализа информации при проведении независимой оценки качества, с одобрения общественного совета все же может использовать дополнительный исследовательский инструментарий, но это будет уже отдельное дополнительное исследование, итоги которого никоим образом не должны влиять на рейтинги организаций культуры, составленные по результатам независимой оценки качества. Однако итоги такого дополнительного исследования также могли бы вызвать интерес менеджеров организаций культуры и послужить основой разработки ими планов мероприятий по повышению качества оказания услуг. Именно так нам видится решение проблемы: «измерение в независимой оценке качества – «буква закона» или исследовательский креатив»?

В целях обеспечения единства основных подходов и требований к формированию и организации функционирования независимой оценки качества работы учреждений, оказывающих социальные услуги в сфере культуры, и оказания методической помощи органам исполнительной власти субъектов Российской Федерации, общественным советам при указанных органах, ответственным за проведение независимой оценки качества работы учреждений, оказывающих социальные услуги в сфере культуры, приказом Минкультуры России от 30.09.2013 № 1505 были введены в действие Методические рекомендации по формированию независимой оценки качества работы государственных (муниципальных) учреждений, оказывающих социальные услуги в сфере культуры 2. Эти рекомендации вступили в противоречие с закрепленным 21.07.2014 в Основах законодательства РФ о культуре перечнем критериев, по которым должна проводиться независимая оценка качества: в рекомендациях (подзаконный акт) таких критериев шесть, в Основах (законодательный акт) – пять. Критерий, не вошедший в Основы в качестве самостоятельного (ценовая доступность получения услуги), стал одним из показателей, характеризующих критерий «Комфортность условий предоставления услуг и доступность их получения». Однако эта правовая коллизия была устранена лишь 10.08.2015 приказом Минкультуры России от № 2179, которым Методические рекомендации по формированию независимой оценки качества работы государственных (муниципальных) учреждений, оказывающих социальные услуги в сфере культуры Методические рекомендации по формированию независимой оценки качества работы государственных (муниципальных) учреждений, оказывающих социальные услуги в сфере культуры, были признаны утратившими силу 7. Одновременно с устранением в нормативно-правовой базе независимой оценки качества оказания услуг организациями культуры противоречий она (база) на некоторое время потеряла важнейшую составляющую – официально признанную методологию, включающую принципы проведения, круг участников (независимых экспертов), рекомендуемые методы и этапы сбора информации, необходимой для проведения независимой оценки, и другие элементы. Приказ Минкультуры России от 25.02.2015 № 288 «Об утверждении показателей, характеризующих общие критерии оценки качества оказания услуг организациями культуры» 17 и пришедший ему на смену приказ Минкультуры России от 5.10.2015 № 2515 18 не давали ответа на эти вопросы, что предоставило общественным советам при органах управления культурой большую самостоятельность в организации независимой оценки оказания услуг в сфере культуры, в частности, в разработке ее инструментария, но одновременно могло служить причиной большого числа нареканий к авторам проектов по ее проведению. Лишь 20.11.2015 Минкультуры России издало приказ № 2830, которым были утверждены два документа: Методические рекомендации по проведению независимой оценки качества оказания услуг организациями культуры (для организаций культуры, учредителем которых является Министерство культуры Российской Федерации) и Методические рекомендации по проведению независимой оценки качества оказания услуг организациями культуры (для органов государственной власти субъектов Российской Федерации и органов местного самоуправления) 10. Каждый из утвержденных приказом документов содержит два приложения: «Порядок измерений при независимой оценке качества оказания услуг организациями культуры» и «Значимость информационных объектов для оценки уровня открытости и доступности информации организации культуры» 10.

В то же время актуальные для детских образовательных учреждений культуры Методические рекомендации по проведению независимой оценки качества образовательной деятельности организаций, осуществляющих образовательную деятельность, утвержденные Минобрнауки России 1.04.2015 7, законоположениям соответствовали и потому изменений не претерпевали.

Информация о результатах независимой оценки качества оказания услуг организациями культуры, поступившая соответственно в уполномоченный федеральный орган исполнительной власти, органы государственной власти субъектов Российской Федерации, органы местного самоуправления, подлежит обязательному рассмотрению указанными органами в месячный срок и учитывается ими при выработке мер по совершенствованию деятельности организаций культуры 14. Иными словами, информацию о результатах независимой оценки качества рассматривает учредитель. Он же разрабатывает рекомендации по улучшению качества обслуживания посетителей организации и доводит их до ее руководителя. Затем организации обязаны разработать план мероприятий по улучшению качества работы, который необходимо разместить на их официальных сайтах. Выполнение планов в дальнейшем станет одним из критериев оценки эффективности работы руководителей организаций культуры.

Информация о результатах независимой оценки качества оказания услуг организациями культуры размещается соответственно:

• уполномоченным федеральным органом исполнительной власти на официальном сайте для размещения информации о государственных и муниципальных учреждениях в сети «Интернет»;
  
• органами государственной власти субъектов Российской Федерации, органами местного самоуправления на своих официальных сайтах и официальном сайте для размещения информации о государственных и муниципальных учреждениях в сети «Интернет» 14.
  

Постановлением Правительства РФ от 14.11.2014 № 1203 уполномоченным федеральным органом исполнительной власти, определяющим состав информации о результатах независимой оценки качества образовательной деятельности организаций, осуществляющих образовательную деятельность, оказания услуг организациями культуры, социального обслуживания, медицинскими организациями и порядок ее размещения на официальном сайте для размещения информации о государственных и муниципальных учреждениях в информационно-телекоммуникационной сети «Интернет», назначено Министерство финансов РФ 9. Последнее приказом от 22.07.2015 № 116н утвердило Состав информации о результатах независимой оценки качества образовательной деятельности организаций, осуществляющих образовательную деятельность, оказания услуг организациями культуры, социального обслуживания, медицинскими организациями, размещаемой на официальном сайте для размещения информации о государственных и муниципальных учреждениях в информационно-телекоммуникационной сети «Интернет», и Порядок ее размещения 8.

В состав информации о результатах независимой оценки качества оказания услуг организациями культуры входят:

• сведения о федеральном органе исполнительной власти, осуществляющим функции по выработке и реализации государственной политики и нормативному правовому регулированию в сфере культуры, органах государственной власти субъекта Российской Федерации и органах местного самоуправления, осуществляющих размещение информации о независимой оценке качества на официальном сайте для размещения информации о государственных и муниципальных учреждениях в информационно-телекоммуникационной сети «Интернет»;
  
• сведения об общественных советах по проведению независимой оценки качества оказания услуг организациями культуры;
  
• сведения об организации, которая осуществляет сбор, обобщение и анализ информации о качестве оказания услуг;
  
• сведения о показателях, характеризующих общие критерии оценки качества оказания услуг;
  
• сведения о критериях оценки качества оказания услуг организациями, устанавливаемых общественными советами;
  
• перечни организаций, в отношении которых проводится независимая оценка качества оказания услуг, определенных общественными советами;
  
• перечни организаций культуры, в отношении которых не проводится независимая оценка качества оказания ими услуг;
  
• сведения об организациях, включенных в перечни организаций, в отношении которых проводится независимая оценка качества оказания услуг и в отношении которых не проводится независимая оценка качества оказания услуг;
  
• сведения о результатах независимой оценки качества оказания услуг организациями и предложениях об улучшении качества их деятельности, представленных общественными советами в уполномоченные органы;
  
• сведения о результатах рассмотрения уполномоченными органами сведений о результатах независимой оценки качества оказания услуг организациями и предложениях об улучшении качества их деятельности;
  
• иные информация и документы по вопросам проведения независимой оценки качества оказания услуг организациями, размещаемые уполномоченным органом на официальном сайте для размещения информации о государственных и муниципальных учреждениях в информационно-телекоммуникационной сети «Интернет» по решению уполномоченного органа 8.
  

Контроль за соблюдением процедур проведения независимой оценки качества оказания услуг организациями культуры осуществляется в соответствии с законодательством Российской Федерации.

Итак, особенность ситуации в сфере культуры заключается в том, что необходимость исследования качества услуг задана внешне. Критерии такой оценки прописаны нормативно. Однако общественные советы по проведению независимой оценки качества оказания услуг организациями культуры, созданные при муниципальных органах власти, вправе при необходимости установить дополнительно к закрепленным Основами законодательства РФ о культуре общим критериям дополнительные критерии оценки качества оказания услуг организациями культуры.

Многокритериальная оценка – методически многообещающий инструмент. Ключевая методическая проблема при многокритериальной оценке качества – собственно отбор критериев и оценка их значимости. И здесь важно учесть не только (а по нашему убеждению, и не столько) мнение потребителя, сколько мнение профессионалов. То есть основной методический принцип оценки качества сложных социальных услуг – оценку проводят потребители, субъективно оценивая те критерии, которые отобрали профессионалы. привлечение профессионалов из оцениваемой отрасли на этапе подготовки инструментария независимой оценки качества представляется продуктивным. О некоторых особенностях разработки методологии независимой оценки качества услуг муниципальных организаций культуры, проведенной в 2015 г., речь пойдет далее.

Методология «Тайный покупатель» (mystery shopping) применительно к оценке качества услуг муниципальных организаций культуры

Разработка методологии и методики оценки качества услуг муниципальных организаций культуры г. Екатеринбурга и проведение исследования основывались на критериях, указанных в Основах законодательства РФ о культуре: открытость и доступность информации об организации культуры; комфортность условий предоставления услуг и доступность их получения; время ожидания предоставления услуги; доброжелательность, вежливость, компетентность работников организации культуры; удовлетворенность качеством оказания услуг 14, а также характеризующих эти критерии показателях 1718.

Перед исследовательской командой стояла задача выбора адекватной исследовательской стратегии, которая соответствовала бы одновременно нескольким требованиям: 1) учет критериев оценки, сформулированных в Основах законодательства РФ о культуре; 2) учет имеющихся в распоряжении организатора-оператора финансовых средств и организационных ресурсов; 3) валидность – обоснованность и пригодность применения методик и результатов исследования в конкретных предлагаемых условиях оценки; 4) особенности сбора данных в различных типах учреждений культуры (детская школа искусств, театр, музей, библиотека, культурно-досуговый центр).

Фоновым условием послужил исследовательский стиль авторов проекта – использование современных, эффективных, показавших результативность стратегий конструирования исследовательского дизайна. Особенностями этого стиля можно считать ориентацию на триангулирование методов сбора данных (микс-стратегия – совместное использование количественных и качественных измерений), междисциплинарность анализа (маркетинговая и социологическая составляющие).

Использование нескольких исследовательских методов в современной науке считается единственным обоснованным способом получения достоверных эмпирических данных по сравнению с результатами, которые получены при применении какого-либо одного метода в отдельности 16, с. 93.

Имея данные, полученные с использованием разных исследовательских стратегий (количественной и качественной), мы получаем возможность произвести методическую триангуляцию, необходимость и возможность которой обосновал в свое время Н. Дензин 22. В нашем случае выполненный анализ можно отнести к триангуляции «между методами», в отличие от триангуляции «внутри метода» (с использованием нескольких массивов однородных данных – количественных или качественных). Опыт подобной триангуляции представлен в русскоязычной литературе А. Н. Олейником 1213.

В современной социологии использование смешанного дизайна эмпирического исследования является весьма востребованным. Важно, что понятие «комплексности» в использовании методов в определенном проекте больше не считается корректным. Как отмечают Е. В. Полухина и Д. В. Просянюк, слово «комплексный» скорее обозначает сложность, многокомпонентность составных частей исследования, а не идею сочетания методов. Понятие «смешивание» представляется адекватным с точки зрения деятельности, которая происходит в исследовательском процессе. Термин «смешивание» подходит, во-первых, когда необходимо формально соединить методы в одном исследовании, оставив сущностную уникальность качественного или количественного характера исследования, следуя прагматическому подходу; во-вторых, «перемешать до однородности», интегрировать, создать полуформализованный, полустандартизованный метод, находящийся на середине методического континуума (по степени формализации / стандартизации) 19. Таким образом, выбор методологии в пользу смешивания методов, исследовательских оптик, процедур сбора и анализа данных (mixed methods research) был обоснован для проекта по независимой оценке качества работы муниципальных учреждений культуры г. Екатеринбурга.

Mixed methods research – смешанная исследовательская стратегия – соответствует и другому критерию, который было необходимо учесть – прагматизму, эффективности, «подсчету ресурсов», ориентации на имеющиеся в распоряжении команды финансы и организационные ресурсы. «Гносеологической платформой стратегии смешивания методов является классический прагматизм, представленный в первую очередь идеями Ч. Пирса, У. Джеймса и Дж. Дьюи. Прагматизм – это своеобразное продолжение позитивизма, получившее развитие в Америке в конце XIX в. Быть прагматичным – быть эффективным в созданной ситуации. Прагматизм позволяет понять, как может быть достигнута наибольшая эффективность, полезность от объединения различных способов действия. Приверженцы школы прагматизма полагают, что научные методы должны быть применены для поиска «наилучшего» ответа из всех возможных» 19. Исследование было спланировано без использования массовых оценок потребителей – например, опрос зрителей после спектакля, родителей обучающихся в детских школах искусств по окончании учебного года и пр. Во-первых, такой вариант сбора данных (с учетом требований репрезентативной выборки) значительно дороже. Во-вторых, может быть использован прежде всего для оценки удовлетворенности услугой, а не оценки предоставления услуги. Необходимо отметить, что в работе министерств, управлений культуры некоторых муниципалитетов и субъектов РФ используется следующий примитивный прием сбора информации: на сайте размещена онлайн-анкета оценки качества работы того или иного учреждения и просьба ее заполнить. Любой посетитель сайта (даже случайный) может заполнить анкету, при этом даже не получая никогда соответствующую услугу. И наоборот, заполнение анкет может быть сконструировано – организовать дешевую «рабочую силу», чтобы получить высокие оценки работы, «дутые» высокие показатели удовлетворенности потребителей легко с учетом высокого проникновения Интернета в мегаполисах, особенно в среде молодежи. Вряд ли такой вариант сбора данных можно признать эффективным, а информацию – достоверной.

На методологию и методику сбора данных по поводу независимой оценки качества муниципальных учреждений культуры повлияла и сама постановка задачи: собрать информацию не столько об удовлетворенности услугой (просмотренным спектаклем, обучением в художественной школе и пр.), сколько о предоставлении / получении услуги в муниципальном учреждении. Поэтому крайне важными оказались индикаторы, характеризующие «внешние» оценки потребителя – простота поиска информации и приобретения услуги, комфортность пребывания, вежливость персонала и пр. Надо сказать, что такая исследовательская позиция и полученные в результате данные были весьма критично восприняты руководителями муниципальных учреждений культуры. На презентации результатов проекта директора детских школ искусств (ДШИ) выражали сомнения в значимости включения в независимую оценку таких индикаторов, как желание учить детей в школе после знакомства с сайтом учреждения или степень доброжелательности, приветливости сотрудника, который общался по телефону, или возможность оставить вещи (зонт, например) в гардеробе и пр. Все это некоторыми руководителями ДШИ воспринимается как незначимое по сравнению с достижениями обучающихся – победами в конкурсах и пр. Руководители же культурно-досуговых центров неоднозначно отнеслись к высоким критериям оценивания «сотрудника на входе» – как правило, это вахтер, который в соответствии с современными требованиями должен не только иметь опрятный вид, но и полностью владеть информацией об учреждении, а также излагать ее вежливо и грамотно. Факт непринятия некоторых критериев оценки качества работы руководителями учреждений культуры свидетельствует о том, что они в недостаточной мере усваивают современные критерии оценки работы, зачастую нечувствительны к требованиям современного потребителя, многие неспособны рационально и конструктивно отнестись к критике, выявленным проблемам.

Важной методологической и методологической задачей был учет специфики различных типов учреждений культуры. Музеи, театры, детские школы искусств, библиотеки и культурно-досуговые центры хоть и оказывают услуги в сфере культуры, однако имеют существенную специфику. Первое различие – время оказания услуги. Так, оценить услуги детской школы искусств оказывается нелегко без записи в школу, посещения уроков. Возникает много вопросов: а как потребитель может и должен выбрать учреждение для дополнительного образования ребенка? можно ли сделать это только на основании информации с сайта учреждения и посещения ДШИ? Гипотетически именно так и должно быть. Однако, оказывается, что в большинстве случаев в школу искусств посетителей «со стороны» не пускают внутрь, не разрешается осмотреть кабинеты и пр. В исследовании именно так шоппер должен был действовать – изучив информацию в Интернете (сайт и социальные сети), посетить учреждение для того, чтобы понять, как предоставляется услуга. Реальные трудности, возникшие в исследовании и описанные в аналитическом отчете (включен в данный сборник), легли в основу улучшения работы учреждений культуры.

Методологически важно было наполнить более или менее равным количеством индикаторов для оценивания все типы учреждений культуры, что было нелегко с учетом специфики работы. Например, услуги публичных библиотек по определению бесплатны для читателей, а значит, несколько индикаторов цены исключаются, также меньше «содержательных» критериев оценки предоставляемых библиотекой услуг. В проекте задача согласования объема индикаторов решалась путем перевзвешивания.

Частью смешанного эмпирического дизайна стал сбор экспертных оценок для формирования индикаторов измерения. «Разбивка» показателей на конкретные индикаторы произведена в ходе «мозгового штурма», прошедшего в мае 2015 г. в Общественном совете при Управлении культуры Администрации г. Екатеринбурга.

Поскольку критерии, на основе которых проводится независимая оценка качества, установлены законодателем, задача мозгового штурма сводилась, таким образом, к разработке системы индикаторов их измерения.

Мозговой штурм был длительным по времени (2,5 часа) и богатым по составу – участие в нем приняли около 30 экспертов. В ходе штурма участники сконцентрировались на разработке системы оценки для трех критериев, самых сложных и комплексных по содержанию:

• открытость и доступность информации;
  
• комфортность условий и доступность получения услуг, в том числе для граждан с ограниченными возможностями здоровья;
  
• доброжелательность, вежливость и компетентность работников.
  

Изначально были обговорены и заданы условия обсуждения, часть из которых соответствует общим правилам проведения мозговых штурмов, часть были разработаны в начале мозгового штурма. Соблюдался принцип «сначала идеи, потом критика», были заданы позиции, на которых должна ориентироваться критика всех идей для измерения показателей качества работы учреждений культуры:

• показатели должны быть простые, понятные всем – не только профессионалам, но и потребителям услуг;
  
• показатели должны быть измеримы. При этом они могут содержать субъективную оценку. При этом сама система измерения должна сочетать объективные показатели и субъективную оценку потребителя.
  

Мозговой штурм проходил в несколько этапов:

1. вводный этап. Введение в проблему, которую предполагалось обсуждать на мозговом штурме, определение целей штурма, «разминка»;
   
2. генерация идей. Разработка идей по измерению каждого из трех обсуждаемых критериев качества работы учреждений культуры. Применялись приемы работы в группах. Всего было три рабочих группы, каждая из которых работала над «своим критерием»;
   
3. этап критики и обсуждения учитывал специфику измерения показателей для разных типов учреждений культуры (музеи, детские школы искусств, культурно-досуговые учреждения, библиотеки, театры).
   

Критика и доработка идей также включала несколько этапов:

• круговое обсуждение в группах с обоснованной критикой каждого из показателей;
  
• пересмотр в «основной» группе своих предложений с учетом критических замечаний;
  
• результаты докладываются группой и критикуются уже на «открытом» обсуждении.
  

В результате мы получили систему индикаторов, которые, с одной стороны, позволяли комплексно оценить услугу, а с другой стороны – были измеримыми. За простотой эмпирической интерпретации и измеримостью мы особенно следили, модерируя мозговой штурм. Но не менее важно, что проведенный мозговой штурм сделал профессиональное сообщество работников сферы искусства партнерами в проведении мониторинга качества услуг и существенно снизил градус противодействия этому мероприятию.

По итогам коллективного обсуждения были утверждены десять форм – по две на каждый из видов учреждений культуры: формы для исследования методом «Тайный покупатель» (Mystery Shopping), бланк которого включал преимущественно субъективные оценки, и формы для самозаполнения. Бланк для заполнения самими учреждениями культуры включал объективные показатели (статистику).

Итак, чтобы обеспечить сочетание объективных и субъективных (потребительских) оценок, в исследовании выбрано два метода измерения показателей качества услуг учреждений культуры: 1) самозаполнение форм сотрудниками самих учреждений. Формы специально разрабатываются и содержат вопросы о фактах, количественные данные по показателям, важным для измерения качества услуг; 2) «Тайный покупатель». Метод представляет собой способ оценить услуги «здесь и сейчас» – непосредственно в ходе их получения.

Кратко суть метода такова: специально отобранный потребитель (шоппер) после инструктажа под видом клиента приходит в учреждение культуры и получает консультацию, либо делает покупку / пользуется услугой и оценивает процесс получения услуги поэтапно, на основе разработанных и известных ему заранее критериев, тщательно фиксируя ход исследования. Преимущества метода в следующем:

• метод позволяет сочетать объективные и субъективные показатели оценки, поскольку шоппер, с одной стороны, – это действительно потребитель услуг и оценивает услуги именно как потребитель. С другой стороны, субъективизм опроса снижен тем, что потребитель заранее знает показатели, на которые он должен обратить внимание и оценить их, поэтому он опирается не только на личные впечатления, но и на объективные обстоятельства. В нашем исследовании для усиления объективности одно из трех измерений по каждому из учреждений культуры проводил эксперт – член Общественного совета по проведению независимой оценки качества работы муниципальных учреждений культуры при Управлении культуры Администрации г. Екатеринбурга;
  
• метод позволяет осуществлять интегрированные оценки, включая как критерии полностью субъективно-оценочные (по принципу понравилось / не понравилось), так и оценки, основанные на фактах (например, наличие вывески, наличие каких-то материалов на сайте и пр.);
  
• метод сочетает количественное измерение (оценки по 5-балльной шкале) и качественные оценки, поскольку обязательным требованием являются комментарии шопперов в случае низкой оценки. Комментарии даются в свободной форме и представляют собой свободное выражение чувств, наблюдений, оценок шопперов.
  

Шопперы отбирались по ряду обязательных критериев, которые описывали как социально-демографические характеристики (возраст, наличие детей), так и показатели потребления услуг (опыт потребления подобных услуг, интерес к услугам).

Задание для шопперов состояло из нескольких этапов: зайти в интернет-поисковик (привычный) и набрать название учреждения, пройти по первой ссылке в выдаче поисковика; зайти на сайт и найти информацию о контактах, часах работы и текущих мероприятиях, расписании работы учреждения; посмотреть в Интернете информацию о сотрудниках; задать вопрос через сайт / социальную группу; попытаться получить услугу через сайт (купить билет, записаться – дойти до момента оплаты (не платить) или до момента – отправить форму); позвонить по телефону и уточнить вопросы, которые вызвали интерес; сходить и получить услугу (обязательно в ходе этого зайти в гардероб, в кассу за билетами (если нужны), в туалет и пр.).

В отношении каждого из этапов шоппер заполнял свою часть инструмента (опросного листа). Оценки, соответственно располагались в инструменте в «хронологическом» порядке: оценка поиска информации в Интернете; оценка телефонного контакта; оценка работы кассира, впечатления от покупки билета; описание посещения учреждения; результирующая оценка, общие впечатления об учреждении культуры.

Итоговый рейтинг рассчитывался на основе методики расчета индекса удовлетворенности клиента (CSI – Customer Satisfaction Index). Эта модель предполагает измерение качества по разным критериям и дальнейшее вычисление итогового индекса на основе средней взвешенной оценки. Преимущество этой методики в том, что в результате мы получаем единый индекс, но он может быть разложен на отдельные критерии, а оценка качества услуги, таким образом, становится комплексной и более инструментальной – управленцу понятно, какие именно атрибуты услуги работают на повышение общей оценки качества, а какие – на снижение.

Модель CSI полностью соответствует идее многокритериальной оценки услуг, предлагаемой в методических рекомендациях независимой оценки качества работы государственных (муниципальных) учреждений, оказывающих социальные услуги в сфере культуры.

Были сформированы две группы шопперов – из числа членов Общественного совета и группа реальных потребителей услуг учреждений культуры (их отбирали по особым критериям и Mystery Shopping для них был оплачиваемой работой). Обе команды посещали учреждения культуры в июне 2015 г., статистика собрана в августе. В ходе реализации проекта было совершено 105 шоппингов. С помощью методики расчета индекса удовлетворенности клиента лабораторией социологических исследований Екатеринбургской академии современного искусства был составлен общий рейтинг и рейтинги учреждений по типам: библиотеки, детские школы искусств, музеи, театры, культурно-досуговые центры.

Как уже говорилось, в пилотном проекте приняло участие 35 учреждений культуры Екатеринбурга.

Результаты исследования. Подсчет индекса потребительской удовлетворенности CSI продемонстрировал тот факт, что в целом учреждения культуры г. Екатеринбурга воспринимаются потребителями как оказывающие очень качественные услуги. Самая низкая оценка – 56 баллов из 100, а к неудовлетворительному уровню принято относить только оценки ниже 50 баллов.

Значительная группа учреждений культуры (18, что более половины) работает так, что заслуживает очень высоких оценок потребителей (оценки выше 80 баллов принято относить к очень высокому уровню удовлетворенности качеством услуги). Необходимо отметить, что в значительной степени на общие оценки влиял ценовой фактор, по которому выставлены самые низкие оценки в сравнении с другими индикаторами. Отчасти поэтому в числе лидеров много библиотек и Музей памяти воинов-интернационалистов «Шурави» – посещение этого музея и библиотек является бесплатным, поэтому влияния этого фактора недовольства потребителей на место в общем рейтинге нет. С другой стороны, заметим, что оценка ценовой доступности зависела отнюдь не только от уровня цен на услуги, но и от доступности, простоты получения информации о ценах, льготах, от удобства приобретения билетов онлайн и оффлайн.

В любом случае ценовой критерий оказывает существенное влияние. Мы попытались чуть нивелировать влияние этого фактора и рассчитать рейтинг без его влияния. Нейтрализация ценового фактора привела к тому, что изменились позиции лидеров рейтинга. На первых местах оказались учреждения культуры, вход в которые «по билету» – Музей истории Екатеринбурга и Театр юного зрителя. Интересно, что при этом аутсайдеры практически не изменились.

Еще один важный момент – очень высокий CSI при исключении ценового фактора получается у 21 учреждений культуры. То есть фактически 2/3 муниципальных учреждений культуры, принимавших участие в рейтинге, показали очень высокий уровень качества услуг.

Оценки же ниже 70 (что тоже довольно высокий уровень), остаются только у двух учреждений культуры. Но важно, что лидеры рейтинга меняются, а «аутсайдеры» – нет. То есть у ряда учреждений все же есть проблемы, которые требуют решения.

Каковы же факторы успеха? Лидеры рейтинга очень сильно выигрывают у аутсайдеров в комфортности получения услуги, ее доступности. Оценки содержания услуги, ее качества дифференцированы в гораздо меньшей степени. Иными словами, впечатления от содержания услуг остались хорошие у большинства шопперов, объективные показатели качества (к ним мы отнесли отсутствие жалоб, наличие и количество благодарностей) у большинства учреждений самые хорошие. А вот удобство и комфорт позитивно оцениваются не всегда, и это, безусловно, влияет на общий рейтинг учреждения.

Важно и то, что на лидирующих позициях оказываются учреждения культуры, которые представляются современными – это отражается и в использовании современных технологий, и в хорошем, современном состоянии зданий, и в предложении посетителям новых, интересных способов подачи информации, оказания услуги (например, интерактивные панели и аудиогид в музее), современное оформление театра, креативный сайт и т. д. Негативный отзыв об учреждении культуры, напротив, нередко звучит примерно так: «все хорошо, но будто с советских времен ничего не менялось».

Еще один важный фактор, дифференцирующий учреждения культуры – это работа персонала. Это очень важно именно для услуг, в том числе для услуг учреждений культуры – впечатления от них в значительной степени зависят от людей. Поэтому у лидеров рейтинга впечатления от взаимодействия с сотрудниками учреждений самые хорошие, и оценки очень высокие. Интересно, что часто на оценку влияет работа не специалистов, а тех работников, которые встречают посетителя либо отвечают по телефону – они создают первое впечатление об учреждении. Например, для театров и (в меньшей степени) музеев такой человек – кассир.

Можно резюмировать сильные и слабые стороны по критериям оценки – самые явные, без учета вида муниципальных учреждений.

По критерию открытости и доступности информации к числу позитивных оценок и сильных сторон были отнесены, как правило, хорошие сайты (кроме библиотек); информативное общение по телефону; интересные группы в социальных сетях (у некоторых учреждений культуры). Слабые стороны, проблемы – реакция на обращения онлайн, часто не отвечают на запросы с сайта, по электронной почте или в социальных сетях; не всегда информацию можно найти легко и просто (сайты бывают перегружены).

По критерию комфортности условий и доступности получения услуг, в том числе для граждан с ограниченными возможностями здоровья, констатировано: в большинстве учреждений очень приятная обстановка – уютно, приятно находиться; появляется бесплатный Wi-Fi, автоматы с напитками, снеками в местах для ожидания. Слабые стороны – навигация внутри учреждений, туалеты (в старых зданиях), места для ожидания (где это необходимо).

Оценка ценовой доступности получения услуги показала: услуги доступны, недороги у большинства учреждений. Проблематичны: онлайн продажа или бронирование билетов (есть далеко не везде, а если есть – иногда не срабатывают); информация о ценах на сайте представлена не всегда, еще реже – о льготах и скидках.

Анализ времени ожидания в очереди при получении услуги показывает: все услуги оказываются быстро. Исключение – культурно-досуговые центры, где летом безлюдно и трудно найти человека, который ответил бы на вопросы. Ждать приходится чаще при получении услуг онлайн, чем оффлайн. Доброжелательность, вежливость и компетентность работников практически всегда оценивается отлично. Незаинтересованность или неинформированность демонстрирует иногда «вспомогательный персонал» (вахтеры, охранники, кассиры). Но, как оказалось, он сильно влияет на общее впечатление от учреждения культуры.

Удовлетворенность качеством обслуживания. Позитивные оценки – большинство учреждений культуры оставляют позитивные впечатления, их хочется посетить вновь. Именно основная услуга (а не условия ее оказания) обычно оценивается очень высоко.

Итак, метод «Тайный покупатель» (Mystery Shopping) позволяет оценить услуги «здесь и сейчас», непосредственно в ходе их получения. Основывавшийся на нем опыт независимой оценки качества работы муниципальных учреждений культуры г. Екатеринбурга позволил прийти к следующим общим выводам. В целом, учреждения культуры Екатеринбурга воспринимаются потребителями как оказывающие очень качественные услуги, на что указывают высокие показатели CSI: самая низкая оценка – 56 баллов из 100, а к неудовлетворительному уровню принято относить только оценки ниже 50 баллов. Значительная группа учреждений культуры (первые 18 из 35 в рейтинге) работает так, что заслуживает очень высоких оценок потребителей (оценки выше 80 баллов принято относить к очень высокому уровню удовлетворенности качеством услуги). Принципиальное значение для оценки со стороны потребителей имеют следующие характеристики учреждения культуры: комфортность и доступность получения услуги, современность учреждения (среда и технологии), работа персонала. Социологический эксперимент удался. Общественный совет утвердил его результаты 1. Рейтинги будут использованы Управлением культуры Администрации г. Екатеринбурга для улучшения качества предоставления услуг в сфере культуры. Важно, что руководители учреждений культуры отчетливо понимают: обратная связь с потребителем – атрибут развития современной организации, а не повод для беспокойства.