2. 北京市海淀区气象局, 北京 100080;
3. 北京市房山区气象局, 北京 102488
2. Haidian District Meteorological Station, Beijing 100080;
3. Fangshan District Meteorological Station, Beijing 102488
随着社会经济的快速发展和人民生活水平的逐步提高,越来越多的政府决策部门、企事业单位以及社会公众通过使用气象信息或者接受气象服务,提高了决策科学性和风险应对意识,并带来了相应的经济社会效益[1]。但是,目前我国气象信息服务所发挥的效用与社会需求仍然存在相当大的差距,对气象服务而言,了解用户的需求是做好气象服务的必要条件之一。长期以来,国际上许多国家气象部门坚持对用户使用气象信息的需求状况进行深入调查和分析[2-3],重大决策气象服务作为我国气象服务的重要内容之一,气象部门有必要通过开展气象服务社会经济影响评估等工作,深入了解决策用户的需求和满意度情况,从用户角度对当前的决策气象服务提出改进措施,以全面提高气象服务水平。
近年来,气象服务效益评估越来越受到国内外相关机构或部门的重视,各种社会调查手段和分析评估方法已开始被广泛应用于公共气象信息服务的研究领域和日常服务中,例如广泛使用的Delphi法[4-5]被应用在行业气象服务效益评估中,Satty等学者提出的层次分析(AHP)模型法[6-7]被应用在公众气象服务效益评估中。该研究根据服务对象的特点,选取抽样调查[8-10]的方法和服务满意度评估[11-12]方法,对中华人民共和国成立60周年庆祝活动气象服务进行决策服务用户满意度评估,分析用户满意度与用户需求的差距,从而提出服务改进措施,为今后更好地组织做好重大活动气象服务保障积累经验。
1 国庆60周年气象服务满意度评估方法通过文献调研国内外气象服务效益评估方法,选取罗慧等[13-14]提出的气象服务满意度指数测量模型CSIWS(Customer Satisfaction Index of Weather Service)进行评价,该方法主要从高端用户群对气象服务的期望程度和满意程度角度进行满意度调查评估。
1.1 评估指标围绕着用户需求了解、气象产品质量属性、服务方式、现场服务能力、预警服务、应急保障服务和总体气象服务效益等确定了7类评估指标体系,并细分为11个具体调查问题(见表 1)。
依据设计问卷中的11个基础指标,采用5分值评分法,最高分为5分,最低分为1分。用户满意度计算公式如下:
$ {E_i} = \frac{{\sum\limits_{j = 1}^{11} {{X_{ij}}} }}{{11 \times 5}} $ | (1) |
$ {S_i} = \frac{{\sum\limits_{j = 1}^{11} {{Y_{ij}}} }}{{11 \times 5}} $ | (2) |
$ E{\rm{ = }}\frac{{\sum\limits_{i = 1}^k {} \sum\limits_{j = 1}^{11} {{X_{ij}}} }}{{11 \times 5 \times k}} $ | (3) |
$ {\rm{S = }}\frac{{\sum\limits_{i = 1}^k {} \sum\limits_{j = 1}^{11} {{Y_{ij}}} }}{{11 \times 5 \times k}} $ | (4) |
其中,Xij为第i个用户对第j个基础指标期望度的打分值,Yij为第i个用户对第j个基础指标满意度的打分值,Ei为第i个用户对11个基础指标的期望度;Si为第i个用户对11个基础指标的满意度。所有用户的平均期望度和满意度见式(3) 和式(4)。
E-S表示用户群的期望度和满意度差距,值越小说明用户期望度与实际感受到的满意度之间差距越小。S/E表示基于用户群预期的满意度指数,值越接近1,说明用户对气象服务的满意度指数越高。
2 国庆60周年气象服务满意度评估 2.1 调查对象分布国庆60周年庆祝活动由北京市筹委会办公室和调度中心及7个专项指挥部具体承办,即调查评估的主要对象。2009年8—10月,结合国庆60周年彩排演练和庆祝活动安排,共发放调查问卷41份,收回调查问卷30份。收回的调查问卷数据质量较好,无效问卷0份(无效问卷包括数据残缺、问卷回答问题前后矛盾、逻辑性差的问卷),有效问卷数量30份,有效问卷数量占100%。
在30名被调查者中,联欢晚会指挥部工作人员占30%,群众游行指挥部工作人员占37%,阅兵服务保障指挥部工作人员占13%,其他专项指挥部工作人员占20%。鉴于北京市筹委会办公室和调度中心属于联合办公,在北京市筹委会办公室和调度中心中的被调查者则被统计到其所属专项指挥部。调查对象的样本比例分布显示, 调查样本具有一定的代表性(如图 1)。
调查资料统计分析表明,国庆60周年气象服务以较高水平满足了决策用户的需求,各项评价指标的满意度指数(S/E)评分均在93%以上,平均值为97%。
决策服务用户对7项具体评价指标的满意度指数评价如图 2所示:气象服务的社会形象指标(现场服务人员的专业知识和服务水平)以及应急气象服务效果(突发公共事件应急保障)的用户满意度指数最高,达98%;而对高影响天气保障的满意度指数最低,为93%。通过现场服务人员面对面服务保障,能够提高服务用户有效使用气象服务产品的能力,增强服务效果;同时,在今后大型活动服务保障过程中应继续提升高影响天气服务能力。
结合国庆60周年气象服务保障工作情况对各项评估指标的决策服务用户期望度(E)和满意度(S)差距进行具体分析。决策服务用户群对国庆60周年气象服务保障的期望度与满意度评分平均差距约为4%,其中,高影响天气保障评价指标期望度和满意度评分差距较大,达6.7%(如图 3)。针对国庆气象服务保障的重要服务对象——国庆阅兵服务保障指挥部、联欢晚会指挥部和国庆群众游行指挥部进行用户满意度评价,评估结果显示:决策用户满意度从高到低依次为国庆阅兵服务保障指挥部96.8%、联欢晚会指挥部94.9%、国庆群众游行指挥部91.6%,与其期望度差距分别为1.8%、2.2%和6.0%。反映出重大活动决策气象服务还需要进一步细化不同用户的需求,前期和服务过程中,对于用户需求调查工作还要进一步深入。
(1) 用户需求对接度评价
气象服务是否以用户需求为牵引的评价指标,包括气象部门对国庆气象服务重视程度评价和气象部门对国庆气象保障需求调研情况评价。
北京市气象局通过走访座谈、发放气象服务需求调研表、电话联系等方式开展服务需求调研,并在服务期间派气象专家进驻北京市筹委会调度中心、联欢晚会指挥部现场办公,加强服务需求沟通。决策服务用户群对服务需求重视及调研工作情况的评价较高,满意度评分为94%,与用户实际期望度的差距为4.5%。
(2) 气象服务产品质量属性评价
气象服务产品的质量属性评价指标主要包括气象信息的准确性评价、气象信息内容的通俗易懂性评价、气象信息内容的针对性和指导性评价、气象信息的发布时间和预报时效评价,共4项评价指标。
由于国庆气象服务保障用户的服务关注点不一,国庆气象服务保障期间,气象部门提供了分类服务产品,即针对不同的服务用户提供不同的服务专报,如,针对联欢晚会指挥部焰火燃放方面的需求,增加了低层风预报;针对阅兵活动中空中飞行表演需求,增加了能见度、低云量预报;针对群众游行参演人员,特别是中小学生多等特点,增加了防寒保暖等人性化提示。同时,根据用户的决策过程,针对不同活动阶段,在气象服务专报中增加对前期准备、集结、演练、撤场的分段服务提示等。调查对象中的一位高级官员在评价国庆气象服务时特别提到:一份气象服务材料中,如果仅有预报,气象价值就不能得到充分的体现;这次国庆气象服务结合了阅兵、游行等活动的准备、集结等不同阶段的特点和需要,提供了有针对性的预报产品,给出了很具体的应对建议, 使预报服务价值真正体现在决策过程中。分析表明,决策服务用户群对气象信息服务产品的质量属性评价的满意度为91%,与其实际期望度差距为4.7%(图 3)。在这4项具体评价指标中,决策服务用户群对服务产品内容的通俗性和时效性满意度评价较高,分别达94%和93%;对气象服务产品的针对性和指导性评价次之;但对服务产品的准确性的满意度评价较低,为87%,与其期望度的差距最明显(图 4)。在调查中,有10%的调查对象提出气象服务信息有时不太准确;10%的调查对象提出向普通市民提供的气象服务产品,还应进一步提高服务语言的通俗性。
(3) 气象服务方式评价
气象服务方式评价指气象信息服务方式或传输渠道评价。
国庆气象服务方式主要为传真、电话、手机短信、面对面现场服务。在国庆演练及庆祝活动期间,北京市筹委会办公室和调度中心、联欢晚会指挥部、以及天安门城楼指挥所的现场服务人员根据天气情况以及服务流程及时报告最新天气实况及预报信息,并为现场领导做好服务咨询和解释工作。这种面对面的服务方式,大大增进了决策服务用户对服务产品的理解力。调查评估结果表明,决策服务用户群对气象服务方式的满意度为91%,与其实际期望度差距为4.7%,满意度指数为95%。
(4) 高影响天气保障评价
高影响天气气象服务保障评价指用户对高影响天气(降雨、雷电、大风等)预报预警的评价。
从大型活动气象服务保障的经验得知,高影响天气对大型户外活动影响非常大,关乎活动的成败。国庆60周年庆祝活动均在户外进行,且阅兵、游行和晚会活动中涉及的飞行表演、焰火燃放以及道具设备、参演人员等均易受到降雨、大风、雷电等天气影响。气象部门在4月份就向国庆各专项指挥部以及相关决策服务部门提交了国庆期间气候背景分析报告以及气象灾害风险评估报告,着重提示做好降雨等高影响天气应急处置准备工作。从调查问卷中反映的决策服务用户群对高影响天气预报预警的期望度高达98%,说明通过气象部门前期的有效服务,相关决策部门显著提高了对高影响天气的重视程度,同时,由于一系列重大活动气象保障的成功,决策部门对高影响天气气象服务保障的期望程度也极大地提高了。
在国庆演练及庆祝活动服务期间,气象部门针对易对国庆阅兵、观礼、游行和飞行表演等产生高影响的强降雨、阴天和极低能见度等天气加强监测预报服务,连续跟进地提供决策气象服务,确保了4次演练活动和庆祝活动的成功举行。例如,北京市筹委会根据气象部门9月5日夜间天安门地区有雨的预报将9月5日天安门地区综合演练活动推迟1天进行,演练活动在准确预报的降雨间歇进行,获得了满意的演练效果;9月30日,针对国庆庆祝活动准备阶段(9月30日20时至10月1日04时)有雨的情况,及时提供了国庆有关专项指挥部对游行彩车、演员、道具、电子设备等采取防雨措施的建议。分析显示,决策服务用户群对高影响天气预报服务的满意度评分为91%,表明决策用户对高影响天气服务效果给予了充分肯定。
同时,调查资料统计分析表明,决策服务用户群对高影响天气预报服务的用户满意度与其期望度之间还存在明显的差距,为6.7%。这与气象部门现阶段高影响天气预报能力以及用户对气象预报预测能力的理解程度差异有关。决策服务用户通常希望能尽早获取高影响天气预报以便提前进行决策,采取应对措施等,例如,在问卷调查中,有20%的调查对象提出气象部门应该提前2~3天提供雷雨、大风等天气的准确的定点预报信息。而根据目前的预报水平,对于一些具有明显的局地性、突发性等特点的强对流天气等高影响天气的预报预警时效较短,还不能达到用户的期望。
要缩短这种服务差距,一方面应积极开展气象服务宣传,提高用户对天气预报、气象信息产品的认知程度,提高用户应用气象信息的能力,最终帮助用户提高气象信息服务效果;另一方面应积极加强预报预警技术研发,提高天气预报准确率;同时,不断改进服务方式和服务手段,例如通过连续跟进式服务、现场服务等弥补预报能力的不足,如调查中,有用户提出可通过手机报等新的传媒手段拓宽气象服务渠道,还有用户反馈国庆气象服务保障期间,滚动式气象信息的提供方式,及时有效地方便了用户在最短时间内了解最新气象信息,以便及时采取预防或补救措施。
(5) 气象服务社会形象评价
气象服务社会形象评价是指用户对现场气象服务人员的专业知识和服务水平的评价。如前所述,国庆气象服务保障期间,现场服务人员面对面的服务方式有效提高了决策服务用户对气象信息的理解和应用能力。现场服务人员还随时通过短信、电话、面对面汇报等多种连续跟进的方式不断增强气象服务效果。评估结果表明,决策服务用户群对气象服务社会形象的评价相当高,满意度与其实际期望度的差距仅为2%,满意度指数为98%。
(6) 应急气象服务评价
应急气象服务评价是指用户对突发公共事件气象保障服务的评价。
评估结果显示,决策服务用户群对应急气象服务的满意度与其期望度的差距最小(2%),满意度指数为98%。从与决策用户面对面的访谈中了解到,正是气象信息在关键时刻的对重大决策的支持作用,使气象服务在应急保障中的作用日益突出,给决策用户群留下了深刻印象,也赢得了用户的高度重视和充分认可。
(7) 总体服务效果评价
总体服务效果的评价是指用户对新中国成立60周年庆祝活动及演练活动期间气象服务的总体效果或总体社会经济效益评价。
国庆60周年气象保障服务面临精细化要求高、非常规天气要素预报新、保障时间长等多难题,在4次综合演练和国庆庆祝活动气象服务保障期间,气象部门均提供了精细准确的天气预报、及时周到的跟进服务、快捷实效的应急保障,有力地保障了各项活动的成功举行,扩大了气象服务的社会影响。在北京市中华人民共和国成立60周年庆祝活动总结表彰大会上,首都国庆60周年北京市筹备委员会气象服务组被北京市委、市政府和市筹委会授予“最佳服务保障奖”。分析结果显示,决策服务用户群对总体服务满意度评分为94%,与实际期望度的差距为5%,满意度指数为95%。表明,决策用户对于国庆60周年气象服务的期望度非常高,气象部门以高水平的服务确保了整个活动的成功举行,取得了很好的社会、经济效益,同时,还需要继续以用户需求为导向,不断提高服务质量。
3 结论(1) 国庆60周年气象服务以较高水平满足了决策用户的需求,决策服务用户满意度指数达97%,其中,气象服务的社会形象指标以及应急气象服务效果的用户满意度指数最高,达98%;而对高影响天气保障的满意度指数稍低,为93%。
(2) 决策服务用户群对国庆60周年气象服务保障的满意度与期望度评分平均差距约为4%,其中,高影响天气保障评价指标的满意度和期望度评分差距较大(6.7%)。在气象服务产品质量属性评价指标中,决策服务用户群对服务产品内容的通俗性和时效性满意度评价较高,但对服务产品准确性的满意度评价较低,与其期望度的差距最明显。
(3) 为进一步提高今后大型活动气象服务保障效果,气象部门应继续加强预报预警技术研究,提高定时、定点预报以及高影响天气预报预警准确率;应加强服务水平,在服务针对性、时效性、人性化方面下功夫,弥补预报能力的不足;同时,针对目前有限的预报服务能力与不断提高的用户需求之间的差距,还应加强气象服务宣传,提高用户对气象信息的理解和应用能力。
通过气象服务效益评估工作的开展,有利于气象部门从用户角度了解气象服务保障效果及其差距,为今后做好重大活动气象服务保障工作积累丰富经验。
建议:气象部门今后应继续加强对重大活动气象服务质量及用户满意度调查评估工作,不断积累相关信息和用户调查资料,加强对数据的深层次挖掘和分析,建立更加客观的满意度指标体系。
[1] |
段欲晓, 潘进军, 李青春. 北京地区公众气象服务需求分析[J]. 干旱气象, 2009, 27(2): 172-176. |
[2] |
韩佳芮, 叶谦, 田青. 公众对气象信息需求的规律与公共气象服务[J]. 干旱气象, 2007, 25(2): 82-89. |
[3] |
姚秀萍, 吕明辉, 范晓青, 等. 我国气象服务效益评估业务的现状与展望[J]. 气象, 2010, 36(7): 62-68. DOI:10.7519/j.issn.1000-0526.2010.07.012 |
[4] |
气象服务效益评估研究课题组. 气象服务效益分析方法与评估[M]. 北京: 气象出版社, 1998: 2.
|
[5] |
周福. 德尔斐法在行业气象服务效益评估中德应用及结果分析[J]. 浙江气象科技, 1996, 7(3): 12-19. |
[6] |
Satty T. The Analytical Hierarchy Process[M]. New York: Mcgraw-Hill, 1980.
|
[7] |
扈海波, 王迎春, 李青春. 采用AHP方法的气象服务社会经济效益定量评估分析[J]. 气象, 2008, 34(3): 86-91. DOI:10.7519/j.issn.1000-0526.2008.03.013 |
[8] |
冯士雍, 施锡铨. 抽样调查-理论方法与实践[M]. 上海: 上海科学技术出版社, 1996.
|
[9] |
段欲晓, 王迎春, 叶谦, 等. 影响预报员应用先进天气预报技术的因素分析[J]. 气象, 2010, 36(6): 122-127. DOI:10.7519/j.issn.1000-0526.2010.06.020 |
[10] |
俞纯权, 王曰人. 论样本的代表性[J]. 统计与信息论坛, 2003, 18(2): 21-29. |
[11] |
刘武, 刘钊, 孙宇. 公共服务顾客满意度测评的结构方程模型方法[J]. 科技与管理, 2009, 11(4): 40-44. |
[12] |
刘新燕. 顾客满意度指数模型研究[M]. 北京: 中国财政经济出版社, 2004.
|
[13] |
罗慧, 谢璞, 薛允传, 等. 奥运气象服务社会经济效益评估的AHP/BCG组合分析[J]. 气象, 2008, 34(1): 59-65. DOI:10.11676/qxxb2008.006 |
[14] |
罗慧, 谢璞, 俞小鼎. 奥运气象服务社会经济效益评估个例分析[J]. 气象, 2007, 33(3): 90-94. |