苏州燃气集团智慧燃气大数据平台建设与应用研发
苏州燃气集团智慧燃气大数据平台建设与应用研发
一、概述
苏州燃气集团搭建大数据基础平台的目的是为了打造一个面向整个燃气行业的服务平台，平台能够存储涵盖公司的安全管理、营销、用户服务等各类数据，并具备数据接入导入、实时数据处理、数据挖掘和可视化展示等功能，能够为苏州燃气集团提供能耗分析、安全管控、决策控制等服务内容。
二、平台建设
1.实施步骤
ApacheHadoop是针对大规模分布式数据而开发的软件框架，目前已经成为企业管理大数据的基础支撑技术，是解决企业数据中心大数据存储、大规模数据计算、快速数据分析的优秀基础数据平台。
基于Hadoop体系，本次建设的大数据基础平台主要实现数据采集、大数据平台、应用功能的搭建。
2.总体架构
本次建设服务器系统采用Ubuntu16.04，大数据平台搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)产品5.15.1版本，建设以Hadoop体系为核心，搭建以HDFS为基础的分布式文件存储系统，具备动态扩展和数据冗余备份特性。
3.主要成效
本次搭建的数据平台便于以后更便捷地使用燃气集团各个独立系统中的数据而又不影响现有系统的运行，可以统一规划管理这些数据，基本可以满足以下功能：
（1）数据接入功能;（2）数据管理功能;（3）数据输出功能。
三、数据应用
1.用户分析
燃气集团需要根据客户的行为偏好、行为特征，向不同燃气客户群体提供差异化服务。同时，燃气集团可以通过统计分析不同区域的客户群体的燃气信息来挖掘出区域性的偏好，可以大大提升企业对客户需求的洞察力，可以为营销和服务的策划、执行、评估、优化提供宝贵的指引，从而提高工作的主动性、精准度。
2.负荷预测
为保证用户的安全平稳用气,必须要掌握天然气负荷的变化规律，科学准确的负荷预测有利于保证管网的优化运行，提高管网投资的经济性和可靠性，是燃气管网安全平稳供气的基础。
该应用将影响燃气的相关因素（如天气、气温、节假日等）作为特征进行建模，使用机器学习算法（回归分析、时间序列、人工神经网络等）建模进行燃气负荷预测。
四、主要创新点
1.使用了开源的大数据平台，资料全面，便于学习、开发与测试。本次搭建的大数据平台安装了ClouderaManager安装部署管理工具，通过平台搭建工作，逐步熟悉大数据平台的技术特点。
2.自行研发的用户分析和用气负荷预测应用通过结合天气、节日等外围因素，通过燃气集团积累多年的历史数据来挖掘、发现用气规律及预测未来变化趋势，提升企业对客户需求的洞察力，为集团决策提供指引，提高工作的精准度。
苏州燃气集团搭建大数据基础平台的目的是为了打造一个面向整个燃气行业的服务平台，平台能够存储涵盖公司的安全管理、营销、用户服务等各类数据，并具备数据接入导入、实时数据处理、数据挖掘和可视化展示等功能，能够为苏州燃气集团提供能耗分析、安全管控、决策控制等服务内容。
二、平台建设
1.实施步骤
ApacheHadoop是针对大规模分布式数据而开发的软件框架，目前已经成为企业管理大数据的基础支撑技术，是解决企业数据中心大数据存储、大规模数据计算、快速数据分析的优秀基础数据平台。
基于Hadoop体系，本次建设的大数据基础平台主要实现数据采集、大数据平台、应用功能的搭建。
2.总体架构
本次建设服务器系统采用Ubuntu16.04，大数据平台搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)产品5.15.1版本，建设以Hadoop体系为核心，搭建以HDFS为基础的分布式文件存储系统，具备动态扩展和数据冗余备份特性。
3.主要成效
本次搭建的数据平台便于以后更便捷地使用燃气集团各个独立系统中的数据而又不影响现有系统的运行，可以统一规划管理这些数据，基本可以满足以下功能：
（1）数据接入功能;（2）数据管理功能;（3）数据输出功能。
三、数据应用
1.用户分析
燃气集团需要根据客户的行为偏好、行为特征，向不同燃气客户群体提供差异化服务。同时，燃气集团可以通过统计分析不同区域的客户群体的燃气信息来挖掘出区域性的偏好，可以大大提升企业对客户需求的洞察力，可以为营销和服务的策划、执行、评估、优化提供宝贵的指引，从而提高工作的主动性、精准度。
2.负荷预测
为保证用户的安全平稳用气,必须要掌握天然气负荷的变化规律，科学准确的负荷预测有利于保证管网的优化运行，提高管网投资的经济性和可靠性，是燃气管网安全平稳供气的基础。
该应用将影响燃气的相关因素（如天气、气温、节假日等）作为特征进行建模，使用机器学习算法（回归分析、时间序列、人工神经网络等）建模进行燃气负荷预测。
四、主要创新点
1.使用了开源的大数据平台，资料全面，便于学习、开发与测试。本次搭建的大数据平台安装了ClouderaManager安装部署管理工具，通过平台搭建工作，逐步熟悉大数据平台的技术特点。
2.自行研发的用户分析和用气负荷预测应用通过结合天气、节日等外围因素，通过燃气集团积累多年的历史数据来挖掘、发现用气规律及预测未来变化趋势，提升企业对客户需求的洞察力，为集团决策提供指引，提高工作的精准度。