引言

1998年, 依托9210工程系统建设的国内气象通信业务系统投入业务运行以来, 在支撑气象业务发展, 规范全国气象通信传输业务系统中发挥了非常重要的作用。近年来, 随着气象业务的发展, 各类观测数据、预报预测服务产品数据大量增加, 综合观测系统、预报预测系统、公共服务系统对信息技术支撑系统提出了越来越高的要求, 尤其是综合观测系统近年来的发展非常迅速, 信息量非常庞大且时效性的要求越来越高^[1-2], 现有的通信传输系统难以满足不断变化的业务需求, 国家和省级气象信息部门只能在现有通信传输系统之上根据各自的业务需求不断修修补补勉强完成传输任务, 造成信息传输流程越来越复杂, 涉及的单位和环节多而且不规范, 不可避免地造成部分信息传输时效满足不了业务要求^[3-5]。同时, 由于缺乏对传输业务流程现状的定性和定量分析, 无法准确找出现有流程中的问题与不合理之处, 所以无法进行有针对性的系统调整和优化工作。

为解决上述问题, 中国气象局在宽带网系统项目下支持了新一代国内气象通信系统的开发建设。基于此建设背景, 本文简要分析了国内气象通信系统的现状, 阐述了针对现有通信业务系统的不足而设计的新一代国内气象通信系统系统架构、系统数据流程、系统功能、系统部署业务测试、试运行情况。

1 国内气象通信系统现状

目前, 全国气象部门国内通信业务系统是1998年依托9210工程建设开发的。该系统十几年的业务运行中为气象事业的发展提供了基础支持。随着气象事业的发展, 各业务体系对气象通信的要求越来越高, 由于通信卫星传输带宽的局限性, 9210工程通信能力方面的弱点愈发突出。为此, 根据我国公共通信事业的发展状况, 中国气象局在2005年建立了基于国家公共地面光纤通信网络(SDH)的国家到省的星型气象宽带网络系统。为了满足不断增长的区域级和省级数据交换的需求, 2008年建立了基于中国电信MPLS/VPN网络的国家到省的网状宽带网络系统。两套并行的全国宽带网络在硬件和基础网络上满足了气象资料通信传输对网络资源的需求, 基本完成了通信业务传输的物理平台的搭建, 但是与之相配套的全国气象通信业务系统仍沿用9210的相关通信平台。在大量新的传输需求不断涌现的今天, 9210通信业务系统的不足逐一凸显出来, 主要表现为：通信系统对长文件名支持不够；支持的传输协议单一；缺少对数据惟一性的传输控制；通信监视C/S架构无法满足用户的要求；缺少对日志的统一管理机制；缺少对整个网络上的通信系统运行状态的监视等。9210通信业务系统产生这些不足的原因可以归纳为以下几个方面。

(1) 技术的原因

现有通信系统设计于20世纪90年代, 这一时期正是气象通信由报文线路(X.25、ASYN异步线路)向TCP/IP网络传输转变的时期, 具体表现为从传统的报文传输方式向基于IP网络的FTP传输方式的转变, 其他技术例如Web技术等, 在当时还处于技术应用的初步阶段, 因此技术的发展限制了系统的设计。

(2) 观测系统的发展

飞速发展的观测系统, 高频次、高时效的气象观测数据的大量涌现。在9210系统设计之初, 需要收集和传输的气象观测数据只有地面观测和高空观测等观测数据和少量的数值预报服务产品, 因此从数据和应用状况出发进行的系统设计, 满足了当时的用户需求, 但是系统设计无法预测出之后飞速发展的观测传输需求, 导致了系统设计的局限性。

(3) 系统定位问题

软件应用系统的设计与硬件和网络环境密切相关, 9210系统的运行环境是星形的卫星网络, 系统更多地关注于如何将气象数据快速收集, 而对于今天的多协议、多目的地址、多优先级等传输需求以及共享需求考虑不足。

(4) 系统升级问题

9210系统在1998年在全国投入业务运行以来, 一直没有随着IT技术的发展进行大的技术改造和系统升级工作, 原因是在此期间, 一直缺少大的工程项目对系统升级提供支持。

综上所述, 从现在技术的角度来看, 9210通信系统存在着一些不足和问题, 但是在当时的条件下, 9210通信系统较好地满足了气象数据传输和服务需求, 系统的推广和业务化为统一国家级和省级的气象数据传输平台、满足气象预报服务需求, 提供了很好的支持。

近些年来, 由于9210通信系统无法满足新型观测资料的传输和处理需求, 国家级和各个省级信息部门自行开发了传输系统来满足新增探测数据的传输业务需求。这些自行开发的系统缺乏统一的数据处理标准、软件水平也参差不齐, 导致数据传输业务质量和数据质量无法得到保障, 不仅增加了全国通信业务运行的不稳定性, 也增加了各级气象信息部门的运行环节和业务维护的难度。

新一代国内气象通信系统就是在这样一个背景下提出的。它的目标是设计搭建国家级和省级两级统一的实时气象资料传输、通信数据处理、数据服务、通信业务系统监视与控制和操作平台。

2 系统设计

在分析了现有业务系统的不足和问题以及目标系统需要解决的问题之后, 新一代气象通信系统的设计需求和设计重点主要考虑以下几个主要的方面：

(1) 提高整个系统的适应性, 满足观测系统和预报预测业务的发展需求, 系统提供多协议、多目的地址、多优先级的并发的传输支持, 提供基于数据流和文件方式的数据传输机制。

(2) 建立统一的省级和国家级两级的数据传输平台, 解决目前存在的传输标准不统一的问题。

(3) 建立统一的省级和国家级两级的通信数据处理平台, 强化数据的检查功能, 规范数据的检查标准, 统一数据传输的格式标准和处理标准。

(4) 建立统一的省级和国家级两级的系统监视平台, 提供B/S结构的通信系统本地运行监视和全网监视功能, 强化系统的运行的查询和统计功能和适度的数据服务功能。

(5) 提高系统的安全性和可靠性, 系统核心功能和系统其他辅助功能进行适当的分离, 降低耦合程度, 以提高整个系统运行效率和可靠性。

2.1 系统架构

新一代国内气象通信系统覆盖全国省级气象信息部门和国家中心, 在每个节点上部署一套完整的通信系统, 构成一个互联互通的网状通信结构。系统还包括对规范的管理, 对于实现收集分发数据的相关策略以及指标等的规范化管理功能, 包括信息网络传输规范、收发系统规范及业务用户管理规范、收集数据管理规范、分发数据管理规范等。整个国家级系统的组成结构如图 1所示。

2.2 数据流程

新一代国内气象通信系统在国家级和省级进行部署, 国家级与省级系统的系统架构、部署架构、数据流转、业务处理基本相同, 主要差异为：(1) 国家级系统在收集到气象资料之后, 将部分资料转交DVB卫星广播系统进行分发处理, 省级是通过DVB卫星广播系统接收卫星广播数据, 进行分发处理；(2) 由于国家级通信系统负责对全国数据进行处理, 数据量大约是省级的30倍, 因此在国家级的部署中, 采用了数据库的集群技术方案, 提高国家级通信系统的数据管理能力。

2.2.1 省级数据流

省级数据收集流程设计：台站和其他部门上传气象观测数据和预报服务产品, 实时收集业务系统对数据进行收集处理(文件名检查、报文格式检查、备份数据、计算来报时效并将信息保存等)、数据发送处理(打包处理、修改文件名、格式转换处理等), 提交给数据分发系统, 将资料转发给国家级通信系统和本地数据服务用户。

省级数据归档流程设计：实时收集系统在收到气象数据后, 首先将数据交给数据归档系统, 数据归档系统提取数据类别、数据时次等相关数据描述信息, 按照一定的目录层次结构对到的原始数据进行归档保存。省级系统的组成结构见图 2。

省级监视流程设计：新一代国内气象通信系统提供系统资源监控与传输实况监控功能。系统资源监控包括关键进程、文件系统、主机运行状态；传输实况监控包括资料分发状态、收发系统状态、发送目的主机状态、局域网连通状态。针对各个被监控对象, 设计相应的探针进程, 通过用户的配置信息, 定时对被监控资源的信息进行探测, 进行结果分析并存入数据库中。传输实况监控包括接收与发送监控, 实时采集系统在收到报文之后, 根据文件名匹配系统中定义的文件名模板, 从而获得该文件的类型、时效设置、是否需要统计时效等信息, 计算传输时效, 并更新数据库中该资料的传输时效状态字, 底层线程定时对这些状态字按类型进行统计, 得出某时次各种资料的传输及时率、逾限率和缺报率, 从而达到对传输时效的监控。实时发送系统提取发送数据的描述信息、发送时长、接收端状态等信息并计算数据的发送时效后, 存入数据库, 实现对数据发送的实时监视功能。

2.2.2 国家级数据流

国家级系统的数据归档流程与监视流程与省级系统一致, 所以此处仅描述国家级数据收集流程。

国家级数据流程设计：省级上传气象观测数据和预报产品, 国家级实时收集业务系统对资料进行收到数据处理(文件名检查、报文格式检查、备份数据、计算来报时效并将信息保存等)和发送数据处理(打包处理、压缩处理、文件名处理等), 然后通过分发系统将数据发送给DVB系统、数据库系统、同城系统等业务系统和数据服务用户。国家级系统的组成结构见图 3。

3 系统功能设计

新一代气象通信系统是气象部门在未来相当长的时间内资料传输和业务扩展的重要依托, 所以该系统的功能必须满足资料交换、资料加工处理、资料归档、系统监视、值班平台等业务需求。根据用户需求, 新一代通信系统设计为11个功能子系统(图 4), 下面将说明各子系统的在本系统中的角色与具体功能。

3.1 气象信息收发子系统

气象信息收发子系统是通信系统的核心系统, 它的主要设计目标是实现对实时气象数据的高效收集、处理和分发, 支持多种协议、多优先级、多个发送地址、主备地址切换和用户的灵活配置, 支持对数据的检查处理、格式转换处理、打包/解包处理、压缩/解压缩、定时处理等气象通信业务功能, 系统还要记录数据在系统流转过程中完整的日志信息, 具备完善的日志信息管理, 为系统监视提供数据支持。收发子系统由消息生成、数据收集、收集处理、发送处理、数据发送、TCP服务、用户配置和日志管理等8个功能组成。

3.2 数据存档子系统

数据存档子系统的主要设计目标是对通信接收的原始数据进行整理和暂存处理, 为用户提供一个可以查询数据的手段。用户通过修改配置文件中数据的存放目录、数据类型、存放时间等配置项, 对收到的数据进行分类和管理。系统提供对存档备份数据的管理功能, 用户可以根据磁盘的状况和收到数据量的状况自行配置数据的存储时间, 实现对于存放在磁盘上的存档备份数据进行定时清理和维护, 保证整个系统的平稳运行。

3.3 数据存档服务系统

数据存档服务子系统的主要设计目标是将多种不同格式的数据进行重新的组织和管理, 并对上层的数据调用提供统一的接口, 接收数据调用服务传递进来的元数据作为参数进行数据检索。主要数据接口包括：netCDF文件服务netcdfservice(), 采用netCDF java(version2.1) 接口进行解析, 将符合条件的数据统一组织并压缩打包以Datahandler形式返回；目录文件服务fileservice(), 采用Java的文件访问接口进行处理, 经过压缩打包等操作后以Datahandler形式返回；对于元数据信息访问, 直接调用JDBC统一进行管理, 虽然XML文件对元数据的表达更为准确和方便, 但是从程序执行效率看, 常用的元信息通过数据库读取效率更高。

3.4 系统监视子系统

系统监视子系统的主要设计目标是主要实现对新一代国内气象通信系统的运行状态、系统内部网络联通状态、主机系统资源(文件系统使用情况、进程等)、数据收集和数据分发状态进行统一的监视。监视子系统由界面、报警、数据收集监视(文件级、站级)、数据发送监视(文件级、站级)、数据时效监视、错报监视、远程查询等功能组成。

3.5 系统控制子系统

系统控制子系统的主要设计目标是实现对整个通信系统的配置和控制, 保证系统运行的稳定性。系统通过用户管理、系统配置、系统字典配置、系统运行统计、监视信息配置等功能, 实现对新一代国内通信系统的运行控制, 确保系统按照用户的定义和配置运行。

3.6 信息统计子系统

信息统计子系统的主要设计目标是实现对通信系统的系统运行状态信息、数据收集与数据分发状态信息、系统内部网络联通信息、主机系统资源使用信息等各种信息进行统计。系统引入数据库系统, 对系统各个环节产生的状态信息进行统一的管理, 采用存储过程定时生成各种统计信息报表, 并提供报表打印和报表导出功能。

3.7 信息服务子系统

信息服务子系统的主要设计目标是在不同节点上的通信系统间, 实现数据的下载服务和即时信息的发布。系统调用数据存档服务系统提供的统一数据访问接口, 为用户提供HTTP, FTP, Email三种形式的数据下载服务功能和订单服务功能；系统采用webservice技术, 实现即时信息的发布功能。

3.8 DVB-S数据广播接收监视及文件补调子系统

DVB-S数据广播接收监视及文件补调子系统的主要设计目标是实现DVB卫星广播系统与新一代国内气象通信系统的融合。系统提供了DVB系统的接收监视功能和通过地面宽带网络自动补调卫星数据广播接收系统缺收文件功能。通过该系统建立DVB卫星广播系统和新一代国内气象通信系统的联动机制, 为通信业务提供高效率、高可靠和完整的保障服务。

3.9 查询浏览子系统

查询浏览子系统的主要设计目标是为业务值班人员和业务管理人员提供一个交互的信息查询和浏览平台。系统通过Web技术, 实现了对通信系统运行期间记录的所有信息的查询和浏览, 并且经过统计算法进行可视化显示功能和查询浏览结果的打印和存储功能。

3.10 值班日志子系统

值班日志子系统的主要设计目标是为通信值班人员提供一个值班管理平台。系统功能包括：编辑日志记录、查询日志、录入值班计划、统计系统故障等功能, 用于记录值班人员在值班过程中记录值班日志、记录系统网络主机运行故障等信息, 提供值班计划的安排功能, 为管理人员排班提供帮助。同时提供历史日志的查询、浏览和统计功能。同时提供统计各种故障类型发生次数和各种故障发生的趋势分析功能。

3.11 GIS子系统

GIS子系统是新一代国内气象通信的选装系统, 主要设计目标是利用地理信息系统技术建设面向各级业务管理人员的实时查询统计的信息服务系统。功能包括动态监视各类实时资料的传输情况, 为用户提供实时的网络状态、文件级资料、站号级资料的实时传送情况, 对传输质量提供可视化浏览、检索、统计等功能和服务功能。

4 系统集群部署

集群(Cluster)即多台同构或异构的计算机作为一个整体向用户提供一组网络资源, 协同完成特定的任务。集群是一个系统, 而非多个计算机系统, 组成集群的单个计算机系统就是集群的节点(Node), 集群技术分为三类:高可用性集群、高性能计算集群和负载均衡群^[6]。新一代通信系统在国家级和31个省分别进行部署, 采用负载均衡集群技术, 旨在发挥集群中每台服务器的能力, 同时利用高可用性集群的功能提升系统整体可靠性, 保证7×24小时业务运行。

省级新一代国内气象通信集群采用赛门铁克集群技术和集群文件系统, 通过SAN存储网络和数据网络连接4台HP服务器, 每台服务器配置LVS, FTP, WWW, Apache, Tomcat和Mysql系统服务和MMS应用。通过设置虚拟IP地址, 向外部提供统一的FTP, WWW, Mysql和Tomcat服务。集群采用HA实现系统的高可用。其中省级节点系统SAN存储网络由两台Cisco光纤交换机和一台HP磁盘阵列组成, 整个存储网络为4 Gb点到点互联的光纤网络。磁盘阵列双控制器上的4个4 Gb FC主机端口分别连接到两台Cisco光纤交换机上；每台服务器配置双光纤HBA口, 分别连接至两台光纤交换机, 每台服务器上配置多路径软件, 从而实现主机到磁盘整列LUN的多条冗余路径互联。具体的部署架构如图 5所示。

5 结语

新一代国内气象通信系统开发完成和通过内部测试后, 首先在广东、四川、内蒙古、河北、广西等省区进行了半年时间的系统测试运行, 从测试运行的情况来看, 参加测试的省区都将所有观测数据和预报产品顺利上传到国家气象信息中心, 系统的稳定性和传输效率达到了设计目标。

从2009年8月开始在全国省级气象部门安装调试, 这部分工作已经完成。从2009年8月开始, 新一代国内气象通信系统应用于华南区域实时数据交换与数据共享工作, 系统运行良好, 为亚运会气象服务工作提供了有力的保障。2010年5月, 新一代国内气象通信系统软件通过了验收。2010年10月开始系统在全国范围内开展业务试运行, 全国31个省、市、自治区已经通过系统将所有观测数据和预报服务产品上传到国家气象信息中心。

新一代国内气象通信系统针对目前的业务需求, 采用成熟的技术、先进的架构设计开发, 解决了目前气象通信系统存在的难点问题, 满足了现有通信业务的需求, 同时也为今后国内业务通信的发展和建设提供了技术基础和可以借鉴的经验。