书名：数据之翼：引领中国大数据产业发展的创新技术pdf/doc/txt格式电子书下载

推荐语：

作者：《软件和集成电路》杂志社著

出版社：电子工业出版社

出版时间：2018-12-01

书籍编号：30457271

ISBN：9787121352430

正文语种：中文

字数：135685

版次：1

所属分类：互联网+-大数据

版权信息

书名：数据之翼：引领中国大数据产业发展的创新技术

作者：《软件和集成电路》杂志社

ISBN：9787121352430

版权所有 · 侵权必究

内容简介

大数据产业是在天空展翅翱翔的雄鹰，创新的大数据技术是雄鹰自由翱翔的双翼。正是有了创新技术的支撑，大数据产业才能不断进步，技术是推动大数据和传统产业融合的重要驱动力。

本书将从创新性、贡献力、实践力、发展潜力、推广性等五个维度对中国大数据产业发展进程中的创新突破性技术进行深入分析，探寻技术起源及技术本身给用户、产业所带来的深入影响和变革。

序一　将企业数字化转型作为大数据产业发展的重心

大数据的发展已经有七八年的时间，中国的大数据产业取得了很多的成绩，很多企业家也做出了很多的贡献。但我认为，在整个大数据产业的发展过程中，有一个十分重要的问题还没有得到充分的重视，那就是我们整体的大数据产业的发展方向还没有把重心转移到企业的数字化转型上来。

为什么这样说呢？有一个重要的原因是中国经济的发展迫切需要我们的企业进行数字化转型，并且数字化的转型一定要和大数据产业的发展紧紧地联系在一起。

当前，中国的经济发展正面临着转型的挑战，从宏观的角度看，就是要从过去追求数量的增长转向追求高质量的发展。高质量的发展要思考很多问题，包括如何保证供给和需求的平衡，如何提升全要素生产力，如何提升产品和服务的质量，如何确立品牌位置，如何增强我们行业的国际竞争力，以及如何防范各种风险等。

这些思考要落实到企业的实践中，落实到经济发展的具体应用中，重点就是要提升企业的竞争力，同时要提升企业的劳动生产效率，要增强企业的创新能力，而将这些重点发展的要素集合在一起就是要进行数字化转型。

一直以来，对任何一个企业来说，降低成本、提升生产效率都是企业追求的目标，如今要把数字化真正融入企业的各个业务流程、各个环节中，需要用创新的手段引领业务发展。

任何一个产业得以发展必须源于它能够对社会创造和贡献价值，大数据产业的发展也遵循这样的规律。而对社会贡献价值的是具体的各个产业部门，所以，各个产业部门与大数据产业进行融合，才能使得大数据产业在一个雄厚的基础之上发展。如果发展大数据不和各个产业的具体业务相结合，那数据的价值就不能被释放出来。综上所述，我们必须把企业的数字化作为大数据产业发展的重点方向，是所有大数据企业的发展重点。

近几年，我一直关注企业的变革和发展，我认为中国企业整体发展不平衡。我参观过一个全自动化的车间，里面一个人都没有，车间拥有这个行业内先进的装备和生产能力。但是有一道工序全部需要人来完成，大概要五百人，我研究了这道工序，我认为应该有很多企业能够帮助其实现自动化，这个自动化所需要的投入并不大，不仅能节省500人的支出成本，而且一年就能收回成本。但是，这个企业的管理者不知道该如何实现这道工序的自动化，而这个过程本质上就是数字化的过程。

当时我提出一条建议：一是把生产过程录下来，即把流程做得最好的工人的动作录下来，二是找到一个对口的公司，请其从生产装备到模型算法、软件开发提出一整套解决方案。但是，如果只有这一套流程，没有整个工艺过程的各个控制节点的数据支撑，就无法进行模型和算法的研究。我们认为，当前大数据缺的是数据，不是模型和算法。

目前，中国90%以上的工业、农业、服务业的企业都需要这样的转变，而这样的转变最核心的困难就是没有核心数据的支撑。

当我们在做高质量发展方向的转变时，我们需要落实到一个具体的业务过程中，如制造过程、加工过程、管理过程、服务过程、供应链过程等，把这样的过程全部进行智能化改造，这个过程最终无论是称为数字化转型还是其他，目标都是要扎扎实实地提升企业的竞争力，提升企业的生产效率。

面向未来，如何发展？如何提升？如何创新和转变？

在多年来的信息化建设进程中，我们一直在提“两化融合”，其实我们总会遇到一个难点，就是典型案例容易做，但是推广难。为什么会出现这样的难题？因为当大家开始推广某种典型案例的时候，就会面临着企业的个性化需求，包括具体的流程和业务特性，所以往往很难复制实施。

大数据发展的核心就是要做数字化转型，当我们进行一个工艺过程、供应链流程或设计流程的优化时，把中间共性的东西提炼出来，变成可复用的数字化的模型，就能提升数字化的价值。与此同时，典型案例在推广中就能真正地发挥作用，知识和经验也都变成了可复制的模板。

总结来看，我们需要提升和总结出一套共性的方案，把它变成具体化的、可重复利用的模型，这样推广就有了真正的技术基础。换一个角度看，我们大数据企业的效率和能力也在这个过程中得到发挥和提升。企业在市场竞争中有了基础和竞争力，未来才能有创新的空间和机会。

中国大数据产业生态联盟、《软件和集成电路》杂志社出版的《数据之翼：引领中国大数据产业发展的创新技术》这本书，从大数据创新技术的角度去探讨数字化转型的实现路径，正是希望将一些成功的典型案例变成知识和经验推广下去，帮助更多的企业实现数字化转型。

序二　智慧制造云中大数据技术的研究、实践和思考

智慧制造云概述

近年来，由新技术驱动的技术革命和产业变革正在进行。新互联网技术、新信息通信技术、新人工智能技术、新能源技术、新材料技术、新生物技术、新应用领域专业技术等7类新技术深度融合的综合性技术，特别是新互联网技术（传统的互联网、物联网、车联网、移动互联网、卫星网、天地一体化网、未来互联网等）、新信息通信技术（如云计算、大数据、5G，高性能计算、建模/仿真、区块链、量子计算等技术）和新人工智能技术（基于大数据智能、群体智能、人机混合智能、跨媒体推理智能、自主智能等）的飞速发展，正引发国民经济、国计民生和国家安全等领域的新模式、新手段和新生态系统的重大变革，即“新互联网+云计算+大数据+人工智能+”时代正在到来。

制造业作为国民经济、国计民生和国家安全的重要基石，同样面临全球新技术革命和产业变革的挑战，特别是新一代信息通信技术、智能科学技术与（大）制造技术的深度融合，使制造业的制造模式、制造手段、生态系统等必须发生重大变革。国内外纷纷制订国家制造战略规划以应对上述挑战。美国的“国家制造业创新网络（NNMI）计划”、德国的“工业4.0计划”和中国的“中国制造2025”等规划的核心内容都是“积极发展智能制造的技术、产业和应用”，实现“面向智能制造的新模式、新手段和新业态”。

自20世纪80年代以来，笔者团队一直从事制造业信息化研究与实践，于2009年提出了“云制造”的理念，并开始了以网络化、服务化为主要特征的云制造1.0的研究与实践。2012年，笔者团队提出并开始了以互联化、服务化、协同化、个性化（定制化）、柔性化、社会化为主要特征的“智慧云制造”（云制造2.0）的研究与探索。智慧云制造是一种基于新互联网，用户能按需、随时随地获取智慧制造资源、能力与产品服务，进行数字化、网络化、云化、智能化制造的新制造模式、技术手段和业态，它在制造模式、技术手段、支撑技术、应用等方面进一步发展了云制造1.0。

智慧制造云是一种基于“新互联网（云）+云计算+大数据+人工智能+”，将智慧制造的资源、产品与能力的人/机/物/环境/信息深度融合的智慧互联制造服务系统。智慧制造云体系架构（见图1）既适用于从产品、设备、单元（线）到工厂（企业）乃至区域、城市、行业、跨行业的系统纵向范围，也适用于制造全生命周期活动的系统横向范围。

图1　智慧制造云体系架构

智慧制造云中大数据技术的研究与实践

制造全系统及全生命周期活动中的人/组织、技术/设备、经营管理、数据、材料、资金（六要素）及人流、技术流、管理流、数据流、物流、资金流（六流）都将在智慧制造云中不断持续产生大数据，包括产品设计、生产、运行、质量、服务、价格等产品数据，人、组织、资金、业绩、信誉等能力数据，以及反映资源功能、性能、服务、维护的设备资源数据。智慧制造云中的这些大数据除了具备传统大数据的“4V”特性之外，还具备多源数据集成、复杂异构、时间序列相关、高度实时与不确定性等特点，而且更加强调数据质量（见图2）。

图2　智慧制造云中大数据的特点

为了使这些制造大数据能精准、高效、智能地用于云制造全生命周期的活动与全系统，笔者团队近年来围绕智慧制造云大数据的集成与清洗、存储与管理、分析与挖掘、可视化、标准与质量体系、安全等关键技术开展了深入的研究，相关技术需求和解决方案简述如下。

1.大数据集成与清洗技术

大数据集成与清洗技术的目标是把不同来源、格式、特点、性质的数据及数据源在逻辑上或物理上有机地接入平台，进行重新审查和校验，得到干净、一致的数据，并发送给存储系统或数据中间件系统做后续处理。

智慧制造云对大数据集成与清洗技术的特色需求包括：

（1）海量实时数据清洗。工业场景中实时数据源（制造设备、产品及现场产生的大量传感器和工业现场）占比很高，要求能够对实时数据源及工控网络协议进行兼容并实现快速地清洗。

（2）异构数据类型集成。包括传感数据等轻量结构化数据和监控视频、图片等非结构化数据等各类异构数据类型的集成接入。

采用基于流式计算的Kafka/Flume实时数据接入技术，针对智慧制造云中大数据在集成与清洗中的具体技术需求，笔者团队构建了云制造大数据集成清洗的解决方案，用于实现企业设备、业务系统数据等异构数据源的批量接入处理与异构转化。

2.大数据存储与管理技术

大数据存储与管理技术采用云存储和分布式存储技术、高吞吐量数据库技术与非结构化数据访问技术，实现云系统中数据的经济、高效、高可靠、容错的管理与服务。

智慧制造云对大数据存储与管理技术的特色需求包括：

（1）海量数据分布式存储。智慧制造云是连接各种工厂、车间、生产线的工业互联网络平台，仅接入智慧制造云的单个智慧工厂每天就产生数PB级的工业数据，而且这些工厂都分布于不同的企业和地域，因此必须能够适应海量数据分布式存储的需求。

（2）存储数据快速访问。为保证实时制造决策与工控指令反馈，需要对存储数据快速访问并实时分析，以支撑大数据应用的需要。

基于Gobblin/GFS/Lustre以及FastRAQ等技术，针对智慧制造云中大数据在存储与管理中的具体技术需求，笔者团队构建了云制造大数据治理系统的解决方案，用于实现企业的设备数据与业务系统数据的综合管理与异构访问。

3.大数据分析与挖掘技术

大数据分析与挖掘技术的目标是基于面向应用需求的数据分析模型，综合应用各类分析挖掘算法，从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识。

智慧制造云对大数据分析与挖掘技术的特色需求包括：

（1）应用目标导向算法：智慧制造云大数据应用目标广泛，需深度结合应用目标进行特征算法设计。

（2）多学科优化应用模型：云制造应用有很多是基于大数据实现的多学科优化，需要能够建立定量解析或人工智能分析模型来实现基于大数据的多学科优化。

一般而言，智慧制造云中的大数据分析挖掘主要包括两类数据分析：历史数据分析（通过对历史数据进行整合和分析，建立工业级的预测模型，以进行更有效的生产和运营）和实时数据分析（通过分析实时数据，检测设备状态，预防设备故障，优化生产过程），传统大数据领域的已有成果缺少智慧制造云应用需求的实际方案及算法技术。笔者团队基于大数据分析技术对智慧制造云中的大数据进行智能化的挖掘与分析，以支撑上层的智慧制造应用。主要成果包括：基于Apache Spark的分布式计算引擎架构、云制造大数据智能算法集、云制造大数据深度学习与智能分析架构，以及基于综合BI与JDBC/ODBC的交互式分析技术。

4.大数据可视化技术

大数据可视化技术是基于二维综合报表、VR/AR等可视化展示技术，将海量数据通过二维图形或三维图像的形式可视化地向用户展示并支持进行交互处理的一类关键技术。

智慧制造云对大数据可视化技术的特色需求包括：

（1）多维度数据的综合处理显示：制造云中的大数据往往是高维复杂的数据结构，如一个标准齿轮零件的全部产品数据可能高达20个维度，因此需要大数据可视化能够支持多个维度数据的综合处理与显示。

（2）交互式需求迫切：大数据可视化技术是面向用户的最直接结果呈现，是帮助用户快速地从海量数据中提取

....