2019年10月,数据猿推出“大数据的2019,我的2020”大型年度主题策划活动,发掘过去2019年中的优秀企业与不容错过的优秀产品,近3个月的活动,数百家企业参与其中,向组委会提交了众多案例与产品。 

经过数据猿内部与外部专家评审团严格评选,今日上榜名单终于揭晓。该榜单意在展示大数据以及与大数据相关的人工智能、物联网等行业的真正数据应用潜力与企业服务实力。此次评选,星环科技荣登2019大数据产业创新服务企业TOP 15,Transwarp Data Hub企业级大数据平台入围2019大数据产业创新服务产品榜TOP 40。

Transwarp Data Hub

上榜获奖产品

Transwarp Data Hub(简称TDH)是星环科技研发的企业级大数据平台, 经过数年的快速演进, 不断发展成熟, 在邮政、交通、金融等行业获得了大量的部署实施经验,同时向新生的大数据技术领域进行积极的拓展和探索。

Transwarp Data Hub主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp Hyperbase),数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。

服务客户/使用人数

星环大数据平台TDH在金融、交通、电力、能源、政府、物流、公共安全、电信运营商、零售、媒体、制造业、教育、医疗等细分领域落地,服务用户超过1600家。

市场价值

完成传统架构向大数据架构转变:

•横向扩展的存储能力

•横向扩展的计算能力

•不停机扩容能力

•低廉的软硬件成本

数据驱动的大数据创新应用:

•大规模数据仓库与交互式数据集市业务

•基于非结构化数据的综合搜索业务

•基于多源数据深层关系的数据挖掘业务

•基于实时数据的即时研判业务

建立健全数据治理体系:

•统一的数据存储与处理平台

•提高数据质量和数据可信度

•促进监管合规和安全管控

•提供更好的领导决策能力

2.国网上海市电力——智能配用电大数据应用平台建设

   本次星环科技申报案例

近年来,电力行业的快速增长提升的产能需要时间消化,以往的发展方式带来的增长已经放缓,结合新兴技术实现智能配用电成为中国电力行业务进一步发展理应选择的方向。

我国将大数据纳入国家发展战略,明确提出提高可再生能源的利用率,都在指向新型、更智慧化的能源体系建设。国网公司紧密响应国家发展战略,特别今年国网提出了“三型两网、世界一流”能源互联网企业的建设目标,“三型”即具有枢纽型、平台型、共享型特征的现代企业,“两网”即坚强智能电网和泛在电力物联网,展现了国家电网以全新形象站立在历史的临界线上,主动适应能源革命和数字革命发展的必由之路,让大数据发挥更大的价值。

在结合新技术实现智能配备用电的过程中有不少挑战。其中包括以下两点

海量的结构化和非结构化数据

多源异构数据集成存储、高效处理、应用挖掘的技术难题

(1)数据支持

在数据条件方面,集成了用户数据、电网数据和社会环境数据,汇集了浦东1210平方千米的236万户的用电数据,其中居民和第三产业用户占比高达97%,最高负荷738万千瓦,年用电量329亿度,这个规模约占上海全网四分之一。

集成的内外部数据源有10个,分别为用电信息采集系统、电能质量监测系统 、配电自动化系统、调度自动化系统 、营销应用系统 、客户服务系统、负荷控制系统、负荷监测系统、生产管理系统、故障抢修系统,整个数据量到现在已经接近8T。台账数据总量29.14万条。

结构化数据包括调度运行、生产管理、故障抢修、电能质量、用电信息、用户信息、营销管理、气象数据、社会数据、经济数据,共26.7T;非结构、半结构化数据包括地理信息图片、客户服务音频、气象云图和规划设计文档共300T。

(2)应用技术/实施过程

硬件配置

在硬件配置方面,实验室搭建了以分布式计算集群为核心,高性能计算集群为辅助的混合并行计算的大数据硬件集群, 集群节点数为42台,其中:8路2台,4路5台,2路34台,GPU服务器1台,可支持分布式和高性能的混合处理;配置了SAS+SATA存储1.3PB,SSD存储30T,内存4T,可支持不同需求的梯级存储。配置可满足未来3-5年电力大数据研发的需要。  

软件配置

在软件配置方面,实验室采用了星环科技的大数据平台。拥有Inceptor SQL引擎,支持完整的SQL语法,可降低应用开发难度;支持聚类、回归等通用算法和机器学习算法的调用,开发了面向电力应用算法的组件;基于Hyperbase列式数据库,开发了多种索引技术的组件,可实现范围查询、模糊查询等高速反馈;基于Sophon实现了数据建模及模型管理;通过对数据进行完整的安全管控,支持4A安全管理,实现了行列级安全控制,实现与Oracle一致的安全管理体系。

极致的性能

基于星环大数据平台TDH构建的智能配用电大数据应用系统汇集了浦东1210平方千米的236万户的用电数据,最高负荷738万千瓦,年用电量329亿度,占上海全网四分之一。集成的内外部数据源有10个,整个数据量到现在已经接近8个T了,台账的数据总量有29.14万条。

在多元数据集成及大数据平台基础之上,应用系统实现了用电查询,电力地图等基础功能及用户用电行为分析,节电用电预测网架优化和错峰调度等业务应用。

用电及能耗监测查询

首先基于多源异构数据的关联解析,和海量用电负荷实际数据存储、索引,实现了用电查询的基础应用,包括230万用户,26000个台区,4000余中压馈线的基本台账及用电数据的快速查询,并可以进行用户用电画像、地图定位、供电范围等数据的查询,服务响应时间在三秒以内。 

用电查询是大数据平台的基本功能,快速有效的查询,为进一步的业务应用提供了基础。电力地图是应用系统实现的另一基础功能,在这里可以查看浦东每个行业的用电量变化趋势,每个台区每个时刻的负债率,浦东各规划功能区块的用电密度图以及用电热,力图通过用户测到电网侧数据的关联集成,与GIS空间可视化技术融合,实现浦东全景用电监测及能耗监测,为城市及电网发展规划提供服务。

丰富的电力大数据算法及可视化展现

电力大数据分析和建模过程中含有大量的分类分析需求,会用到大量的算法和模型,因此星环科技针对电力大数据开发了通用和专用算法包。通过调研在电力企业中算法主要分为:数据转换类、基础类、通用算法类和电力专用算法类。电力专用算法主要是在现有算法不满足要求的情况下,对现有算法改进或者重写的某个特定算法和利用通用算法训练的解决某个业务问题的专用算法。最终实现了63个电力大数据通用算法包和11个电力大数据专用算法包的研发。

在了解数据分析建模中对组件化、工具化和可视化的需求,使得业务人员可以在不需要复杂培训的条件下,通过简单的鼠标拖拉操作即可实现操作,星环科技研发了电力大数据应用分析和建模工具应用平台,包括数据预处理组件、数据建模组件、数据治理组件、元数据管理组件、通用和专用可视化展现组件,还支持团队协作和共享,可以导入和导出报表。星环科技的电力大数据应用分析和建模工具应用平台作为一个便捷、可视化的大数据分析应用工具,将组件和算法包融合,电力大数据研发人员可以进行图形化的数据导入、数据预处理、数据建模,最终实现数据展示功能。

应用平台将电力大数据的研究成果应用于设备检测、电能质量分析、用户用电行为分析、用电预测、错峰调度等实际场景中,可以有效降低电力投入成本,节约电力投资,帮助电力公司更好的利用电力资源,产生直接和间接的经济效益。

星环科技研发的智能配用电大数据应用平台的建设带来了巨大的经济效益与社会效益。

针对上海电网,减少调峰电站投资52-87亿元、减少配电网建设投资20.88-34.8亿元、用户电费节省支出6.76-11.27亿元 。

拉动国产大数据相关产品的研究、开发和制造,完成产品转化后实现了年产值10亿元。

突破供电可靠性、电能质量等诸多配用电运营瓶颈,促进配用电的增值服务,通过大数据技术应用推动电力技术及管理实现飞跃。

全面提高供需两侧的能源经济、技术效率,支撑可再生能源的高效接入,为我国能源结构的绿色转型、各类污染物和温室气体排放的减少作出贡献。

星环科技专注于企业级容器云计算、大数据和人工智能核心平台的研发,领航大数据与人工智能基础软件新纪元。经过多年自主研发,星环科技建立了多个产品系列,并拥有多项专利技术。

产品已经在金融、交通、电力、能源、政府、物流、公共安全、电信运营商、零售、媒体、制造业、教育、医疗等二十多个行业落地,拥有用户1600多家。

未来,星环科技将继续进行产品研发,始终坚持自主创新,以关键核心技术为主攻方向,增强原始创新能力,为城市和国家发展作出更大贡献。