Elastic Stack从入门到实践，自己动手搭建数据分析系统

〖课程介绍〗:

本课带你掌握Elastic Stack的组成及原理应用，详解Elasticsearch、Kibana、Beats及Logstash 的原理与应用技巧，助你快速收集、处理和分析数据，以达成助力业务增长的目标！

〖课程目录〗:

 

第1章 课程概述 试看2 节 | 25分钟

 

对课程整体进行介绍给出相关学习说明和建议

 

收起列表

• 视频：1-1 _课程导学 (20:26)试看
• 视频：1-2 说明和建议 (03:36)

 

第2章 Elasticsearch 篇之 入门6 节 | 25分钟

 

本章会对 Elasticsearch 篇进行一个总体的介绍，让大家对该篇每一章要讲解的内容有初步的了解。然后会讲解 Elasticsearch 中常见的术语、api，然后运行 Elasticsearch 并实际感受 api 的调用方式，为接下来的课程做好准备。

 

收起列表

• 视频：2-1 -术语介绍 (01:37)
• 视频：2-2 -Document介绍 (04:16)
• 视频：2-3 -Index介绍 (00:48)
• 视频：2-4 -restapi介绍 (02:38)
• 视频：2-5 -index_api (02:33)
• 视频：2-6 -document_api (12:52)

 

第3章 Elasticsearch 篇之倒排索引与分词 试看13 节 | 46分钟

 

本章会讲解搜索引擎的基础倒排索引，让大家对倒排索引有一个直观的认识，掌握它的组成。然后为大家讲解分词的相关知识，介绍 es 内置的分词器，还会介绍中文分词的常见解决方案。

 

收起列表

• 视频：3-1 -书的目录与索引 (02:14)
• 视频：3-2 -正排与倒排索引简介 (02:16)
• 视频：3-3 -倒排索引详解 (05:46)试看
• 视频：3-4 -分词介绍 (02:29)
• 视频：3-5 -analyze_api (05:30)
• 视频：3-6 -自带分词器 (07:12)
• 视频：3-7 -中文分词 (03:42)
• 视频：3-8 -自定义分词之CharacterFilter (02:09)
• 视频：3-9 -自定义分词之Tokenizer (02:07)
• 视频：3-10 -自定义分词之 TokenFilter (03:02)
• 视频：3-11 -自定义分词 (04:32)
• 视频：3-12 -分词使用说明 (03:13)
• 视频：3-13 -官方文档说明 (01:26)

 

第4章 Elasticsearch 篇之Mapping 设置13 节 | 51分钟

 

本章会讲解 Elasticsearch 中数据建模的基础–Mapping，即如何定义数据字段和类型。让大家熟悉 mapping 中常见的配置项，也会讲解 dynamic mapping 和 template 的相关知识。

 

收起列表

• 视频：4-1 -mapping简介 (02:17)
• 视频：4-2 -自定义 mapping (04:21)
• 视频：4-3 -mapping演示 (02:17)
• 视频：4-4 -copy_to参数说明 (02:18)
• 视频：4-5 -index参数说明 (01:40)
• 视频：4-6 -index_options参数说明 (02:45)
• 视频：4-7 -mapping文档说明 (01:07)
• 视频：4-8 -数据类型 (05:51)
• 视频：4-9 -dynamic-mapping简介 (05:02)
• 视频：4-10 -dynamic日期与数字识别 (03:40)
• 视频：4-11 -dynamic-template简介 (06:22)
• 视频：4-12 -自定义mapping的建议 (05:34)
• 视频：4-13 -索引模板.mp4 (07:30)

 

第5章 Elasticsearch 篇之Search API 介绍 试看13 节 | 69分钟

 

本章会讲解搜索特性，详细讲解 Search API 的组成和分类，带领大家逐个了解、掌握 API 的使用方法和技巧。

 

收起列表

• 视频：5-1 -SearchAPI概览 (02:20)
• 视频：5-2 -URISearch详解与演示 (20:52)试看
• 视频：5-3 -QueryDSL简介 (01:23)
• 视频：5-4 -字段类查询简介及match-query (07:01)
• 视频：5-5 -相关性算分.mp4 (10:12)
• 视频：5-6 -match-phrase-query_音频.mp4 (02:04)
• 视频：5-7 -query-string-query (02:10)
• 视频：5-8 -simple-query-string-query (02:21)
• 视频：5-9 -term-terms-query (02:13)
• 视频：5-10 -range-query (04:36)
• 视频：5-11 -复合查询介绍及ConstantScore (01:44)
• 视频：5-12 -bool-query (09:08)
• 视频：5-13 -count-and-source-filtering (02:43)

 

第6章 Elasticsearch 篇之分布式特性介绍9 节 | 62分钟

 

本章会讲解 Elasticsearch 集群是如何一步步搭建起来的，让大家了解不同节点类型的作用，shard 设计的意义以及文档是如何存储到 shard 上的，也会给大家介绍脑裂等问题。

 

收起列表

• 视频：6-1 -分布式介绍及cerebro (06:53)
• 视频：6-2 -构建集群 (05:12)
• 视频：6-3 -副本与分片 (04:35)
• 视频：6-4 -两个问题 (04:07)
• 视频：6-5 -集群状态 (05:02)
• 视频：6-6 -故障转移.mp4 (03:43)
• 视频：6-7 -文档分布式存储 (11:06)
• 视频：6-8 -脑裂问题 (03:48)
• 视频：6-9 -shard详解 (16:39)

 

第7章 Elasticsearch 篇之深入了解 Search 的运行机制7 节 | 63分钟

 

本章会深入讲解 Search 的运行机制，比如 Query 和 Fetch 阶段具体哪些工作，分片为相关性算分带来了哪些问题。另外还会讲解排序、分页与遍历的解决方案和相关问题。

 

收起列表

• 视频：7-1 -Query-Then-Fetch (03:38)
• 视频：7-2 -相关性算分 (08:43)
• 视频：7-3 -sorting-doc-values-fielddata (19:45)
• 视频：7-4 -分页与遍历-fromsize (09:28)
• 视频：7-5 -分页与遍历-scroll (09:53)
• 视频：7-6 分页与遍历-search_after (05:53)
• 视频：7-7 文档说明.mp4 (05:01)

 

第8章 Elasticsearch 篇之聚合分析入门9 节 | 97分钟

 

本章会介绍 Elasticsearch 聚合分析的功能，让大家了解其分类、组成，带领大家逐个了解、掌握每一个聚合 API 的使用方法和技巧，为后续 Kibana 使用打好基础。

 

收起列表

• 视频：8-1 -聚合分析简介 (09:30)
• 视频：8-2 -metric聚合分析 (16:26)
• 视频：8-3 -bucket聚合分析 (11:12)
• 视频：8-4 -bucket和metric聚合分析 (05:37)
• 视频：8-5 -pipeline聚合分析 (15:59)
• 视频：8-6 -作用范围 (08:41)
• 视频：8-7 -排序 (06:35)
• 视频：8-8 -原理与精准度问题 (19:27)
• 视频：8-9 -文档说明 (02:52)

 

第9章 Elasticsearch 篇之数据建模8 节 | 70分钟

 

本章会介绍使用 Elasticsearch 中要注意的数据建模常见问题以及优化思路和方案，让大家可以根据自己的业务场景设置最合理的模型。

 

收起列表

• 视频：9-1 -数据建模简介 (08:23)
• 视频：9-2 -ES数据建模配置相关介绍 (12:04)
• 视频：9-3 -ES数据建模实例.mp4 (10:22)
• 视频：9-4 -Nested_Object (07:00)
• 视频：9-5 -Parent_Child (07:30)
• 视频：9-6 -nested_vs_parent_child (01:06)
• 视频：9-7 -reindex (12:12)
• 视频：9-8 其他建议 (11:00)

 

第10章 Elasticsearch 篇之集群调优建议5 节 | 41分钟

 

本章会介绍 Elasticsearch 集群在搭建、配置上的注意事项，也会讲解读写性能优化的方案和调优的方式。

 

收起列表

• 视频：10-1 生产环境部署建议 (10:55)
• 视频：10-2 写性能优化 (10:31)
• 视频：10-3 读性能优化 (03:56)
• 视频：10-4 如何设定shard数 (03:42)
• 视频：10-5 xpack监控功能介绍 (11:52)

 

第11章 Logstash 篇之入门与运行机制7 节 | 43分钟

 

本章会介绍 Logstash 的作用、使用方法，让大家了解其组成和运行机制，带领大家实际操作 Logstash 来收集1个日志文件。

 

收起列表

• 视频：11-1 入门及架构简介 (07:49)
• 视频：11-2 -Life_of_an_Event (03:30)
• 视频：11-3 -queue简介 (07:17)
• 视频：11-4 -线程简介 (06:29)
• 视频：11-5 配置简介 (07:09)
• 视频：11-6 多实例运行 (04:34)
• 视频：11-7 pipeline配置简介 (05:44)

 

第12章 Logstash 篇之插件详解11 节 | 76分钟

 

本章会详细介绍 Input、Filter、Ouput 以及 Codec 插件 的作用和相关配置，让大家了解常见相关插件的使用场景和效果，以及如何合理选择各个插件来实现自己的业务需求。

 

收起列表

• 视频：12-1 input插件详解及glob讲解 (13:40)
• 视频：12-2 -codec插件详解 (11:01)
• 视频：12-3 filter插件简介及date插件讲解 (04:16)
• 视频：12-4 filter插件之grok简介（上） (12:26)
• 视频：12-5 filter插件之grok简介（下） (09:31)
• 视频：12-6 filter插件之dissect讲解 (07:46)
• 视频：12-7 filter插件之mutate 讲解 (08:18)
• 视频：12-8 filter插件之 json讲解 (02:05)
• 视频：12-9 filter 插件之geoip和ruby 讲解 (02:30)
• 视频：12-10 output插件简介 (02:20)
• 视频：12-11 文档说明 (01:50)

 

第13章 Logstash 篇之实例分析5 节 | 61分钟

 

本章会以实例的形式为大家演示如何使用 Logstash 收集各种类型的数据，比如日志文件、数据库、tcp/udp 等。

 

收起列表

• 视频：13-1 -Logstash实战建议 (06:06)
• 视频：13-2 -实战之apacheLogs（上） (18:03)
• 视频：13-3 实战之apacheLogs（下） (17:11)
• 视频：13-4 实战之csv (10:59)
• 视频：13-5 监控运维建议 (08:15)

 

第14章 Beats 篇之Filebeat5 节 | 37分钟

 

本章会介绍 Beats 的作用和组成，然后为大家详细介绍 Filebeat 的功能和常见配置，同时会详细讲解如何使用 Module 模块来快速完成日志的收集到分析工作。

 

收起列表

• 视频：14-1 beats简介 (03:03)
• 视频：14-2 Filebeat_Demo (04:19)
• 视频：14-3 Filebeat 简介及流程介绍 (11:17)
• 视频：14-4 Filebeat常见架构及ingest_node介绍 (12:15)
• 视频：14-5 Filebeat_Module简介 (05:44)

 

第15章 Beats 篇之Metricbeat3 节 | 19分钟

 

本章会介绍 Metricbeat 的功能和使用技巧，让大家对 Metricbeat 的使用有一个直观的感受。

 

收起列表

• 视频：15-1 -简介 (05:37)
• 视频：15-2 -Module简介 (02:55)
• 视频：15-3 -实战.mp4 (09:55)

 

第16章 Beats 篇之Packetbeat2 节 | 12分钟

 

本章会介绍 Packetbeat 的功能和使用技巧，带领大家用 Packetbeat 来收集网络数据并进行分析，让大家对 Packetbeat 有一个直观的感受。

 

收起列表

• 视频：16-1 1-简介 (05:48)
• 视频：16-2 2-实战 (06:10)

 

第17章 Beats 篇之其他 beat2 节 | 8分钟

 

本章会介绍其他众多beat的作用和应用场景，带领大家去发现社区提供的多种多样的beat,以满足日常业务开发的需求。

 

收起列表

• 视频：17-1 1-Heartbeat (04:29)
• 视频：17-2 2-Community_beats (03:16)

 

第18章 Kibana 篇之 入门与管理2 节 | 22分钟

 

本章会介绍 Kibana 的入门知识，让大家对 Kibana 有一个整体的了解，另外还会详细介绍Management 的功能，熟悉 Kibana 的配置。

 

收起列表

• 视频：18-1 -配置与线上部署建议 (03:32)
• 视频：18-2 -Index_Pattern_Objects_Settings使用 (17:31)

 

第19章 Kibana 篇之 数据探索 Discovery2 节 | 18分钟

 

本章会介绍 Kibana 的数据探索功能，让大家了解 Discovery 的功能和使用技巧。

 

收起列表

• 视频：19-1 -导入数据 (01:43)
• 视频：19-2 -Discover实战 (16:09)

 

第20章 Kibana 篇之 可视化分析9 节 | 74分钟

 

本章会介绍Kibana 的可视化分析功能，首先会带领大家逐个操作 Kibana 提供的每一个图表，并会介绍时序分析工具 Timelion，然后会介绍如何使用 Dashboard功能来整合图表后讲故事或者做报表，也会讲解 Dashboard 使用中要注意的问题和使用技巧。 …

 

收起列表

• 视频：20-1 -可视化简介 (01:23)
• 视频：20-2 -Basic_Charts_介绍 (17:17)
• 视频：20-3 -Basic_Charts_其他说明 (05:46)
• 视频：20-4 -Data图表介绍 (06:17)
• 视频：20-5 -Map图表介绍 (08:58)
• 视频：20-6 -Timelion介绍 (15:42)
• 视频：20-7 -VisualBuilder介绍 (11:53)
• 视频：20-8 -other图表介绍 (02:14)
• 视频：20-9 -Dashboard介绍 (03:28)

 

第21章 实践篇 之搜索项目2 节 | 30分钟

 

本章会讲解一个搜索引擎相关的实践项目，带领大家通过编写少量的代码，快速基于 Elastic Stack 来构建一个具备常见搜索功能的系统，比如类似 Airbnb 的搜房系统、豆瓣电影等。

 

收起列表

• 视频：21-1 -项目介绍 (11:36)
• 视频：21-2 项目实战 (17:28)

 

第22章 实践篇 之日志分析项目3 节 | 49分钟

 

本章会根据慕课网的日志为大家展示如何使用 Elastic Stack 来快速分析日志数据，带领大家一步步完成数据收集、处理、存储到可视化分析的步骤，最终打造属于自己的 Dashboard。

 

收起列表

• 视频：22-1 介绍和数据导入 (12:28)
• 视频：22-2 -实战（上） (17:33)
• 视频：22-3 -实战（下） (18:56)

 

第23章 实践篇 之数据分析项目3 节 | 39分钟

 

本章会为大家展示如何使用 Elastic Stack 来分析身边的数据，比如空气质量分析、订单数据分析等等，让大家通过本章的学习可以快速将 Elastic Stack 应用到实际生活中。

 

收起列表

• 视频：23-1 项目简介 (08:11)
• 视频：23-2 实战（上） (13:44)
• 视频：23-3 实战（下） (16:06)

 

第24章 课程总结1 节 | 8分钟

 

本章会为大家总结本课程的内容，为大家再次梳理 Elastic Stack 的知识点，并为大家接下来的进阶学习提供一些建议和思路。

 

收起列表

• 视频：24-1 课程总结 (07:38)

 

〖视频截图〗: