提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
转帖|使用教程|编辑:龚雪|2017-04-17 10:47:02.000|阅读 342 次
概述:如果你是一个机器学习的初学者,本系列文章将教你用R语言开启机器学习之旅
# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>
文|陆勤
我们将要使用iris这个数据集。这个数据集是非常有名的,因为这是机器学习和统计学里的”hello world”类数据集,这对于每个人来说都非常实用。
这个数据集含有150个观测值,而且这个数据集有4列,这些列表示花的直径的测量。而这个数据集的第五列就是花的类型,而所有的观测值则是3种花里的其中一种。
关于这个数据集的更多细节,你可以上维基百科寻找,网址:
接下来,我们要对这个数据集进行如下操作:
1 以一个简单的方式导入iris数据集
2 以CSV格式(其它格式也可以)导入iris数据集
3 把这个数据集分解成训练数据集和验证数据集
你可以自行选择方法导入这些数据,或者直接按照上面的步骤执行。
幸运的是,iris这个数据集是系统自带的,也就是说安装好R以后就有。现在,按照以下操作导入数据:
#attach the iris dataset to the environment data(iris) #rename the dataset dataset <- iris
这时你已经完成了iris数据集的导入,现在,你需要检验这个数据集了。
我喜欢把载入的数据称为“数据集”。如果你想对你的项目和数据集(它们之间总是名字相同)之间进行代码的粘贴,那么,这里确实会给到你帮助。
也许,你是一个纯粹主义者,而且,你是想以你自己的方式导入CSV格式的数据集到你的机器学习项目的话,可以参照下面的做法:
从
UCIMachine Learning Repository
(这里有一个直接找到这个数据集的 链接 )
这里下载iris数据集。
把文件以iris.csv的形式保存的你的工作目录中。
载入CSV格式数据详细操作如下:
#define the filename filename <- "iris.csv" #load the CSV file from the local directory dataset <- read.csv(filename, header=FALSE) #set the column names in the dataset colnames(dataset) <- c("Sepal.Length","Sepal.Width","Petal.Length","Petal.Width","Species")
你现在已经载入好iris数据集,同时也可以使用里面的变量了。
我们需要知道我们现在所建立的模型足够好。
然后,我们会在那些未知的数据中运用相关统计方法建模以预测这些模型的精度。我们还需要进行更多高质量的模型精度测试以估计出这个模型是否在这些未知的数据中是最好的,这样我们要通过对真实的未知的数据进行估计。
这时,我们需要看回我们的数据集,而我们所用的算法将看不到这些数据,而我们就是要用这些数据来得到其次而独立的,关于如何知道最好的模型大致是怎样的情况这一定论。
我们要把这个数据集进行分离操作,80%的数据用于进行进行训练,而剩下的20%则用来进行验证。
#create a list of 80% of the rows in the original dataset we can use for training validation_index <- createDataPartition(dataset$Species, p=0.80, list=FALSE) #select 20% of the data for validation validation <- dataset[-validation_index,] #use the remaining 80% of data to training and testing the models dataset <- dataset[validation_index,]
在数据集中你现在有了训练数据集和将在后来要用到的验证变量的验证集。
注意我们采用80%的样本数据取代我们的数据集,这个尝试为了让我们后面代码更简洁和可读。
现在,是时候要看看我们的数据了。
在这一步,我们会用不同的方法来看这个数据集:
1这个数据集的维度。
2属性的类型。
3查看你的数据集。
4分类属性的层次。
5每一类所产生的异常值。
6对于所有属性的统计归纳。
不要担心,看到的数据都是以一行命令的形式展现。这些命令是非常有用的,尤其是你想要进行你项目的后续工作时。
我们快速浏览一下dim函数里一共有多少实例(行)以及多少个属性(列)。
#dimensions of dataset dim(dataset)
你应该能看到120个实例和5个属性:
1120 5
得到这些属性的相关信息是一个不错的主意。它们可以是双精度值、整数值、字符串、因子和其它类型。
知道这些类型是很重要的,就像告诉你怎样更好的汇总你所得到的数据以及它们的类型的转换形式那样,你也许在建模之前就会这样的去准备数据。
#list types for each attribute sapply(dataset, class)
你应该能看到输入值是双精度类型,而它的分类类型则是因子。
Sepal.Length Sepal.Width Petal.Length Petal.Width Species "numeric" "numeric" "numeric" "numeric""factor"
预览一下你的数据也是一个不错的主意。
#take a peek at the first 5 rows of the data head(dataset)
你可以看一下前5行的数据:
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3.0 1.4 0.2 setosa
3 4.7 3.2 1.3 0.2 setosa
5 5.0 3.6 1.4 0.2 setosa
6 5.4 3.9 1.7 0.4 setosa
7 4.6 3.4 1.4 0.3 setosa
分类变量就是因子的一种形式。一个因子的分类有很多分类标签或层次,让我们看看这些层次:
#list the levels for the class levels(dataset$Species)
留意一下我们上面是怎样把数据集里的属性转换成合适的名字的形式。下面的结果我们可以看到3个标签:
1“setosa” “versicolor” “virginica”
这是一个多层次或多项的分类问题。这里如果有2个层次,那么它是一个二次分类问题。
现在,我们看一下数据集里的实例(行)都属于什么类型。我们可以以绝对值和百分数的形式观察它们:
1#summarize the class distribution 2percentage <- prop.table(table(dataset$Species)) * 100 3cbind(freq=table(dataset$Species), percentage=percentage)
我们可以看到,每个层次都有相同数量的实例(这个数据集的40%或33%)。
1freq percentage
2setosa 40 33.33333
3versicolor 40 33.33333
4virginica 40 33.33333
现在到了最后,我们看一下统计归纳以后各属性的相关信息。
这里包含平均值、最值,以及分位数(25分位数、中位数、75分位数等等处在分位点的数,只要我们要求哪个分位点的数表示出来,它都可以在相关属性中展现出来)。
#summarize attribute distributions summary(dataset)
我们现在看到了所有数值属性都含有相同的刻度(厘米)以及相似的厘米区间[0,0.8]。
1 Sepal.Length Sepal.Width Petal.Length Petal.Width Species
2 Min. :4.300 Min. :2.00 Min. :1.000 Min. :0.100 setosa :40
3 1st Qu.:5.100 1st Qu.:2.80 1st Qu.:1.575 1st Qu.:0.300 versicolor:40
4 Median :5.800 Median :3.00 Median :4.300 Median :1.350 virginica:40
5 Mean :5.834 Mean :3.07 Mean :3.748 Mean :1.213
6 3rd Qu.:6.400 3rd Qu.:3.40 3rd Qu.:5.100 3rd Qu.:1.800
7 Max. :7.900 Max. :4.40 Max. :6.900 Max. :2.500
现在,我们对数据集进行初步的探索。我们需要运用数据可视化操作进行更深层次的探索。
接下来,我们将要看到2种图像:
1画单变量图以了解每个属性的相关信息。
2画多变量图来了解每个属性之间存在的关系。
我们从单变量图像开始,看看图像里每个变量大致的分布情况。
运用可视化操作把数据里的输入属性和输出属性转化为相关信息。现在我们开始画单变量图像,且设输入变量为x,输出变量为y(或者层次):
1 # split input and output
2 x <- dataset[,1:4]
3 y <- dataset[,5]
我们看到输入变量是数值形式,接下来,我们画一下箱图和条形图:
par(mfrow=c(1,4)) for(i in 1:4) { boxplot(x[,i],main=names(iris)[i]) }
这样就把输入变量的分布情况清清楚楚的展现出来:
我们也可以对特殊的层次变量作条形图来得到数据里各个分类在图像里的分布情况(通常来说它看起来很无趣,因为这种图像看起来平的)。
plot(y)
现在,我们看一下变量之间的相关关系。
首先,我们对所有的属性两两的作散点图,并通过它们的层次设置不同的颜色。此外,由于散点图在展示每个层次的点都是分开来的,我们可以在这些点周围画一个椭圆。
#scatterplot matrix featurePlot(x=x, y=y,plot="ellipse")
现在,我们对分类变量里的输入变量属性和输出变量属性直接的关系有了清楚的认识:
我们也可以再一次以箱图和晶须图的形式观察输入变量,但是这一次我们要根据层次把这些点分开来。这能让我们在各层次之间的线性分离中有效地提取相关信息。
featurePlot(x=x,y=y, plot=”box”)
这对于我们清楚观察每个层次的值的属性的不同分布是非常有用的。
接下来,我们从每个属性的分布中提取相关信息,我们再一次运用箱图和晶须图,同样把层次的值进行分离。有时使用直方图能取得良好的效果,但这一次,我们会使用密度函数图像,并配上平滑的曲线来展示每一个属性的分布情况:
1 # density plots for each attribute by class value 2 scales <- list(x=list(relation="free"), y=list(relation="free")) 3 featurePlot(x=x, y=y, plot="density", scales=scales)
就像箱图所展示的那样,我们可以看到不同层次里每个熟悉的分布。我们也可以看到每个属性所呈现的高斯分布(钟形曲线)图像:
英文链接:
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn
本文探讨 SQL Server 中 NULL 和空值之间的区别,并讨论如何有效地处理它们。
Unity 是一款功能极其丰富的游戏引擎,允许开发人员将各种媒体集成到他们的项目中。但是,它缺少最令人兴奋的功能之一 - 将 Web 内容(例如 HTML、CSS 和 JavaScript)直接渲染到 3D 场景中的纹理上的能力。在本文中,我们将介绍如何使用 DotNetBrowser 在 Unity3D 中将 Web 内容渲染为纹理。
DevExpress v24.2帮助文档正式发布上线了,请按版本按需下载~
本教程将向您展示如何用MyEclipse构建一个Web项目,欢迎下载最新版IDE体验!
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@pclwef.cn
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢