提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
转帖|使用教程|编辑:我只采一朵|2017-07-20 17:23:39.000|阅读 8911 次
概述:在本文中,主要讲解下如何使用Elastic search和Kibana实现EDA。
# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>
探索性数据分析(EDA)帮助我们认识底层的数据基结构及其动力学,以此来最大限度发掘出数据的可能性。EDA是提取重要变量和检测异常值的关键。尽管存在着很多种机器学习算法,但EDA仍被视为理解和推动业务的最关键算法之一。
其实有很多种方式都能够执行实现EDA,例如Python的matplotlib、seaborn库,R语言的ggplot2,而且网络上有很多很好的资源,例如John W. Tukey的“探索性数据分析”, Roger D. Peng 的“用R进行探索性数据分析”等,不胜枚举。
在本文中,我主要讲解下如何使用Elastic search和Kibana实现EDA。
原文作者:Supreeth Manyam
1. Elastic search
2. Kibana
3. 创建数据表
4. 搜索栏
Elastic Search是一个开放源码,RESTful分布式和可扩展的搜索引擎。由于其简单的设计和分布式特性,Elastic Search从大量级数据(PB)中进行简单或复杂的查询、提取结果都非常迅速。另外相较于传统数据库被模式、表所约束,Elastic Search工作起来也更加容易。
Elastic Search提供了一个具有HTTP Web界面和无模式JSON文档的分布式、多租户的全文搜索引擎。
ES安装
安装和初始化是相对简单的,如下所示:
Elasticsearch实例在默认配置的浏览器中进行本地运行。
Kibana是一个基于Elasticsearch的开源数据挖掘和可视化工具,它可以帮助用户更好地理解数据。它在Elasticsearch集群索引的内容之上提供可视化功能。
安装
安装和初始化的过程与Elasticsearch类似:
Kibana实例在默认配置的浏览器中进行本地运行.
将运行Kibana的终端保持打开状态,可以保证实例不断的运行。你也可以使用nohup模式在后台运行实例。
使用ES和Kibana创建仪表板主要有三个步骤。接下来我将会用贷款预测的实际问题的数据来示例如何创建一个仪表板。请注册该问题,以便能够下载数据。请检查数据字典以获得更多详细信息。
注:在本文中,我将使用python读取数据并将数据插入到Elasticsearch中,并通过Kibana进行可视化。
读取数据
import pandas as pd
train_data_path = '../loan_prediction_data/train_u6lujuX_CVtuZ9i.csv' test_data_path = '../loan_prediction_data/test_Y3wMUE5_7gLdaTN.csv' train = pd.read_csv(train_data_path); print(train.shape) test = pd.read_csv(test_data_path); print(test.shape)
结果:
(614, 13) (367, 12)
3.1 数据索引
Elasticsearch将数据索引到其内部数据格式,并将其存储在类似于JSON对象的基本数据结构中。请找到下面的Python代码,将数据插入到ES当中。
请如下所示安装pyelasticsearch库以便通过Python索引。
pip install pyelasticsearch
from time import time from pyelasticsearch import ElasticSearch CHUNKSIZE=100 index_name_train = "loan_prediction_train" doc_type_train = "av-lp_train" index_name_test = "loan_prediction_test" doc_type_test = "av-lp_test"
def index_data(data_path, chunksize, index_name, doc_type): f = open(data_path) csvfile = pd.read_csv(f, iterator=True, chunksize=chunksize) es = ElasticSearch('//localhost:9200/') try : es.delete_index(index_name) except : pass es.create_index(index_name) for i,df in enumerate(csvfile): records=df.where(pd.notnull(df), None).T.to_dict() list_records=[records[it] for it in records] try : es.bulk_index(index_name, doc_type, list_records) except : print("error!, skiping chunk!") pass
index_data(train_data_path, CHUNKSIZE, index_name_train, doc_type_train) # Indexing train data
index_data(test_data_path, CHUNKSIZE, index_name_test, doc_type_test) # Indexing test data
DELETE /loan_prediction_train [status:404 request:0.010s]
DELETE /loan_prediction_test [status:404 request:0.009s]
3.2 链接Kibana
对loan_prediction_test重复上述4个步骤。 现在kibana已经与训练数据链接,并测试数据是否已经存在于elastic search中。
3.3可视化
例一
选择垂直条形图,并选择绘制Loan_status分布的训练索引。
将y轴作为计数,x轴代表贷款状态
Voila!! Dashboard 生成啦!
例二
例三
类似的性别分布。这一次我们将使用饼图。
最后,创建所有可视化的仪表板将如下所示!
是不是很漂亮!
剩下将由你来探索更多的elasticsearch和Kibana了,并创建多种多样的可视化效果。
搜索栏允许用户通过字符串来搜索来数据,这便有助于我们理解数据中的更改,并在一个特定属性中进行更改,这对于可视化来说是不容易的。
举例
观点:大多数信用记录为0的客户没有收到贷款(贷款状态为N = 92.1%)
以上为全文。
原文地址:
本文转载自:36大数据
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn
本文探讨 SQL Server 中 NULL 和空值之间的区别,并讨论如何有效地处理它们。
Unity 是一款功能极其丰富的游戏引擎,允许开发人员将各种媒体集成到他们的项目中。但是,它缺少最令人兴奋的功能之一 - 将 Web 内容(例如 HTML、CSS 和 JavaScript)直接渲染到 3D 场景中的纹理上的能力。在本文中,我们将介绍如何使用 DotNetBrowser 在 Unity3D 中将 Web 内容渲染为纹理。
DevExpress v24.2帮助文档正式发布上线了,请按版本按需下载~
本教程将向您展示如何用MyEclipse构建一个Web项目,欢迎下载最新版IDE体验!
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@pclwef.cn
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢