书名：大数据搜索与日志挖掘及可视化方案——ELK Stack:Elasticsearch、Logstash、Kibana (第2版)pdf/doc/txt格式电子书下载

推荐语：

作者：高凯、

出版社：清华大学出版社

出版时间：2016-06-01

书籍编号：30305585

ISBN：9787302433286

正文语种：中文

字数：411155

版次：2

所属分类：互联网+-大数据

版权信息

书名：大数据搜索与日志挖掘及可视化方案——ELK Stack:Elasticsearch、Logstash、Kibana (第2版)

作者：高凯等

出版社：清华大学出版社

出版时间：2016-06-01

ISBN：9787302433286

免责声明：本站所有资源收集整理于网络，版权归原作者所有。
本站所有内容不得用于商业用途。本站发布的内容若侵犯到您的权益，请联系站长删除，我们将及时处理！

序言
Preface

云计算、智慧城市、移动互联网、大数据与物联网已经成为大数据时代的前瞻技术，实现了人、机器与实物的多维互联互通，监测数据、内容数据、社交数据、关系数据裂变式增长，大数据时代已全方位到来。大数据具有多（体量大）、快（生成速度快）、好（价值大）、省（高效）的特征，传统的信息搜索、数据挖掘与知识呈现技术难以满足当下多样化的需求。大数据的理念与理论已经成为人所共知的科学常识，但是大数据搜索、挖掘与可视化等落地的工程实践尚有较大距离，也是当下的工程急需。

本书从分布式大数据搜索、日志挖掘与可视化三个角度出发，以非结构化文本信息、半结构化的日志数据为处理对象，进行宏观解决方案与微观方法技巧的全面阐释。具体地说，如何利用在全文检索开源软件Lucene之上的Elasticsearch对大数据进行分布式计算与全文检索；如何利用Logstash对日志文件进行智能分析与处理；如何利用Web接口Kibana对日志进行高效的搜索、可视化、分析等，是本书的论述重点。

从工程实践的角度掌握ElasticSearch、Logstash、Kibana的基本使用方法和技巧，很有必要。目前，国内专门针对Elasticsearch、Logstash、Kibana进行介绍的书很少。本书是目前国内较早综合介绍ELK架构的图书，涉及范围广泛，内容新颖，条理清晰，组织合理。

高凯老师是我多年的朋友，我们都在大数据搜索与挖掘方向上从事教学、科研与开发工作。他严谨的治学态度、理论联系实际的做法以及敬业的态度也一直为我所学习。非常荣幸能够有这个机会来为高老师的新著作序。认真拜读后，我以为本书实战性很强，是大数据搜索与挖掘所需的上乘之作，是大数据“知著、见微、晓意”的必备工具，值得推荐！

（张华平　博士，副教授，北京理工大学大数据搜索挖掘实验室主任，ICTCLAS及NLPIR分词软件发明者。）

第2版前言
Foreword

本书第1版《实战Elasticsearch、Logstash、Kibana——分布式大数据搜索与日志挖掘及可视化解决方案》从出版发行到现在，虽过去短短的半年时间，但在这期间，伴随着《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》中国家大数据战略的实施，伴随着海量数据管理技术在国民经济以及互联网+、物联网、移动计算等各个领域的广泛应用，分布式大数据搜索与日志挖掘及可视化解决方案正日益受到各行各业人员的普遍关注。开源的、基于Lucene的全文搜索引擎Elasticsearch以其独到的分布式数据处理能力，正发挥着越来越重要的作用。根据国际权威的数据库产品评测机构DB-Engines统计，在2016年1月，Elasticsearch已超过Solr等，成为排名第一的搜索引擎类应用。

ELK Stack是以Elasticsearch、Logstash、Kibana三个开源软件为主的大数据处理工具集，也是目前开源的最流行的大数据分析解决方案，它为编程人员提供了一个分布式可扩展的信息存储和全文检索机制、基于Logstash的日志处理机制、基于Kibana的挖掘结果可视化的机制。不仅如此，ELK Stack还有Shield（安全和管理插件，如权限控制、加密通信、审计等）、Watcher（性能监控平台等）、Beats（官方提供了用来收集日志的Filebeat、用来收集系统基础设置数据的Topbeat、统计收集网络信息的Packetbeat）等中间件。在实时大数据处理的应用中，上述软件通常配合使用。因此，从实战的角度掌握Elasticsearch、Logstash、Kibana等软件的基本使用方法和技巧，很有必要。

考虑到部分读者对本书第1版的修改意见，我们对其中的部分内容进行了必要的补充和修改、完善。一方面，对ELK Stack的最新版本进行了简述，力求反映ELK Stack的最新成果；同时，考虑到与本书第1版的内容衔接，对部分使用上无差异的操作，仍旧以Elasticsearch、Logstash、Kibana的经典版本为基础进行介绍。另一方面，对Elasticsearch中涉及索引、检索、统计、Java实现、集群管理的内容（主要涉及第1版中的第2～6章的内容），给出了实例。同第1版一样，本书第2版仍强调实践和面向初学者，并通过实战讲解的方式，让读者更好地了解ELK Stack的应用。全书涵盖ELK Stack简介、文档索引与处理、信息检索与过滤、信息统计与分析、基于Java客户端的Elasticsearch功能实现、Elasticsearch配置与管理、基于Logstash的网络日志处理、基于Kibana的分析结果可视化、应用实例等内容。本书介绍的基于ELK Stack架构的分布式大数据搜索与日志挖掘及可视化是入门方案，对有一定基础的中、高级使用者亦有一定的参考和工程应用价值。

全书由高凯提出写作大纲。第1章、第6章和第7章中的部分内容由高凯撰写，其余各章由高莘撰写，最后由高凯完成全书通稿和审校工作，书中部分实验数据集亦由高凯提供。在本书的写作过程中，也得到了多方面的支持与帮助。第2～6章中的实例部分分别由何晓艺、张姗姗、孟天宏、刘多星等参加编写。同时，我们也参考了相关文献和互联网上众多热心网友提供的素材。本书的顺利完成也得益于参阅了大量的相关工作及研究成果，在此谨向这些文献的作者、热心网友，以及为本书提供帮助的老师，特别是那些由于篇幅所限未及在参考文献中提及的相关文献的作者和网站，致以诚挚的谢意和崇高的敬意。

由于我们的学识、水平均有限，书中不妥之处在所难免，恳请广大读者批评指正。

编　者

第1版前言
Foreword

建立在分布式系统之上的大数据搜索与挖掘应用，是当今IT业的研究与工程实践热点之一。在DB-Engines公布的2015年度最受欢迎的数据库系统中，Elasticsearch名列前茅。作为开源分布式检索与数据处理平台，Elasticsearch 不仅仅是一个数据库，它还是一个基于Lucene构建的开源、分布式、RESTful信息检索框架。基于Elasticsearch+Logstash+Kibana的信息处理架构，为编程人员提供了一种分布式可扩展的信息存储和全文检索机制以及基于Logstash的日志处理机制、基于Kibana的挖掘结果可视化机制。它不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析和可视化。因此，从实战的角度掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧，很有必要。

大数据这个术语的出现，大概可追溯到基于Lucene的Apache开源项目Nutch。从2009年开始，大数据开始成为互联网行业的流行词汇，也吸引了越来越多的关注。物联网、云计算、移动互联网、手机与平板电脑、PC以及遍布各个角落的各种各样的传感器，无一不是大数据的来源方或承载方。可以说，大数据就在我们身边。从阿里巴巴、1号店、京东商城等电子商务数据，到QQ等即时聊天内容，再到Google、Bing、百度，又到社会网络与微博、微信等，都在生产、承载着大数据。随着信息处理量的增大，对大数据的分布式存储、快速搜索与挖掘显得特别必要。例如，挖掘用户的行为习惯和喜好，从凌乱纷繁的大数据背后找到符合用户兴趣和习惯的产品和服务，并对产品和服务进行有针对性的调整和优化，本身就蕴含着巨大的商机。但是，传统的基于关系型数据库管理系统的方法，在高效处理大数据时显得有些力不从心。虽然开源的全文检索工具Lucene能处理非结构化和半结构化的信息，但其某些版本在分布式处理方面的不足限制了它在大数据方面的应用。我们希望找到一个快速的分布式信息检索解决方案，希望它是一个零配置和易于上手的全文检索模式，希望它能够简单地使用JSON通过HTTP索引数据，更希望它支持分布式处理并支持系统扩展，能够实时搜索，并且稳定、可靠。

Elasticsearch是一个基于Lucene的开源分布式信息检索架构和全文搜索工具。构建在Elasticsearch基础上的日志处理工具Logstash和信息可视化组件Kibana，能有效衔接并高效处理由Elasticsearch索引的分布式数据，三者优势互补，各司其职，共同完成网络大数据分布式存储、倒排索引、全文检索、Web日志处理、挖掘结果可视化这一整套的信息处理流程。目前，国内这方面的资料很少，仅有的几部译著所提及的Elasticsearch版本较低，且没有任何有关Logstash和Kibana的书籍。因此，我们萌发了一个想法，将Elasticsearch、Logstash、Kibana（统称为ELK）联袂奉献给广大软件开发者，帮助他们尽快熟悉ELK架构，并构建自己的Web应用程序，完成对分布式信息的检索与分析工作。

本书强调实践，内容新颖，条理清晰，组织合理。通过实战讲解的方式，让读者更好地了解ELK架构的实现细节。全书内容涵盖ELK简介、文档索引与处理、信息检索与过滤、信息统计与分析、基于Java客户端的Elasticsearch功能实现、Elasticsearch配置与管理、基于Logstash的网络日志处理、基于Kibana的分析结果可视化、应用实例等多个部分。

全书由高凯提出写作大纲，第1章和第6章由高凯撰写并完成全书通稿和审校工作，其余各章均由高莘撰写。其中，第1章概述Elasticsearch、Logstash、Kibana的主要功能，对涉及的一些概念进行简介，并从实用的角度出发，通过对实例的讲解，介绍索引、检索的实现机制；第2章对Elasticsearch中的索引、映射等进行说明；第3章介绍Elasticsearch中的检索功能；第4章介绍基于Facets、Aggregations的数据聚合与统计功能；第5章从工程实践的角度，介绍面向Java客户端的Elasticsearch部分功能的设计与实现；第6章介绍Elasticsearch的配置及一些高级功能、监控等的使用；第7章介绍日志处理及Logstash的应用；第8章介绍基于Kibana的可视化技术；第9章给出一个综合应用实例，该实例从网页采集、处理、存储、索引、日志处理、可视化展示等入手，介绍了基于ELK的分布式信息检索与日志挖掘解决方案。

本书的顺利完成也得益于参阅了大量的相关工作及研究成果，部分内容源自Elasticsearch、Logstash、Kibana的官方文档。在写作过程中，也参考了相关文献和互联网上众多热心网友提供的素材，在此谨向这些文献的作者、热心网友以及为本书提供帮助的老师，特别是那些由于篇幅所限未及在参考文献中提及的相关文献的作者和网站，致以诚挚的谢意和崇高的敬意。

由于我们的学识、水平均有限，书中不妥之处在所难免，恳请广大读者批评指正。

编　者

第1章　概述

“Elastic provides a growing platform of open source projects and commercial products designed to search，analyze，and visualize your data，allowing you to get actionable insight in real time．Our products are architected to seamlessly work together as a standalone solution or easily integrate into your existing infrastructure.
At the heart of it all are Elasticsearch，Kibana，Beats，and Logstash，four

....