【R教程】R做你的第一个机器学习项目教程（二）

编者按：

延续R做你的第一个机器学习项目教程（一），大家在阅读过程中有什么建议或者反馈，请给我们留言。

2载入数据

我们将要使用iris这个数据集。这个数据集是非常有名的，因为这是机器学习和统计学里的”hello world”类数据集，这对于每个人来说都非常实用。

这个数据集含有150个观测值，而且这个数据集有4列，这些列表示花的直径的测量。而这个数据集的第五列就是花的类型，而所有的观测值则是3种花里的其中一种。

关于这个数据集的更多细节，你可以上维基百科寻找，网址：https://en.wikipedia.org/wiki/Iris_flower_data_set。

接下来，我们要对这个数据集进行如下操作：

1 以一个简单的方式导入iris数据集

2 以CSV格式（其它格式也可以）导入iris数据集

3 把这个数据集分解成训练数据集和验证数据集

你可以自行选择方法导入这些数据，或者直接按照上面的步骤执行。

2.1以一个简单的方式导入iris数据集

幸运的是，iris这个数据集是系统自带的，也就是说安装好R以后就有。现在，按照以下操作导入数据：

# attach the iris dataset to the  environment data(iris) # rename the dataset dataset <- iris

这时你已经完成了iris数据集的导入，现在，你需要检验这个数据集了。

我喜欢把载入的数据称为“数据集”。如果你想对你的项目和数据集（它们之间总是名字相同）之间进行代码的粘贴，那么，这里确实会给到你帮助。

2.2载入CSV格式数据

也许，你是一个纯粹主义者，而且，你是想以你自己的方式导入CSV格式的数据集到你的机器学习项目的话，可以参照下面的做法：

从 UCIMachine Learning Repository （这里有一个直接找到这个数据集的链接）这里下载iris数据集。

把文件以iris.csv的形式保存的你的工作目录中。

载入CSV格式数据详细操作如下：

# define the filename filename <- "iris.csv" # load the CSV file from the local  directory dataset <- read.csv(filename,  header=FALSE) # set the column names in the  dataset colnames(dataset) <- c("Sepal.Length","Sepal.Width","Petal.Length","Petal.Width","Species")

你现在已经载入好iris数据集，同时也可以使用里面的变量了。

2.3创建一个验证数据集

我们需要知道我们现在所建立的模型足够好。

然后，我们会在那些未知的数据中运用相关统计方法建模以预测这些模型的精度。我们还需要进行更多高质量的模型精度测试以估计出这个模型是否在这些未知的数据中是最好的，这样我们要通过对真实的未知的数据进行估计。

这时，我们需要看回我们的数据集，而我们所用的算法将看不到这些数据，而我们就是要用这些数据来得到其次而独立的，关于如何知道最好的模型大致是怎样的情况这一定论。

我们要把这个数据集进行分离操作，80%的数据用于进行进行训练，而剩下的20%则用来进行验证。

# create a list of 80% of the rows  in the original dataset we can use for training validation_index <-  createDataPartition(dataset$Species, p=0.80, list=FALSE) # select 20% of the data for  validation validation <-  dataset[-validation_index,] # use the remaining 80% of data to  training and testing the models dataset <-  dataset[validation_index,]

在数据集中你现在有了训练数据集和将在后来要用到的验证变量的验证集。

注意我们采用80%的样本数据取代我们的数据集，这个尝试为了让我们后面代码更简洁和可读。

3．对数据集进行汇总

现在，是时候要看看我们的数据了。

在这一步，我们会用不同的方法来看这个数据集：

1这个数据集的维度。

2属性的类型。

3查看你的数据集。

4分类属性的层次。

5每一类所产生的异常值。

6对于所有属性的统计归纳。

不要担心，看到的数据都是以一行命令的形式展现。这些命令是非常有用的，尤其是你想要进行你项目的后续工作时。

3.1数据集的维度

我们快速浏览一下dim函数里一共有多少实例（行）以及多少个属性（列）。

# dimensions of dataset dim(dataset)

你应该能看到120个实例和5个属性：

[1]120 5

3.2属性的类型

得到这些属性的相关信息是一个不错的主意。它们可以是双精度值、整数值、字符串、因子和其它类型。

知道这些类型是很重要的，就像告诉你怎样更好的汇总你所得到的数据以及它们的类型的转换形式那样，你也许在建模之前就会这样的去准备数据。

#  list types for each attribute sapply(dataset,  class)

你应该能看到输入值是双精度类型，而它的分类类型则是因子。

Sepal.Length  Sepal.Width Petal.Length Petal.Width Species  "numeric" "numeric"  "numeric" "numeric" "factor"

3.3查看你的数据集

预览一下你的数据也是一个不错的主意。

#  take a peek at the first 5 rows of the data head(dataset)

你可以看一下前5行的数据：

 

1 2 3 4 5 6 7

Sepal.Length Sepal.Width  Petal.Length Petal.Width Species 1  5.1 3.5 1.4 0.2 setosa 2  4.9 3.0 1.4 0.2 setosa 3  4.7 3.2 1.3 0.2 setosa 5  5.0 3.6 1.4 0.2 setosa 6  5.4 3.9 1.7 0.4 setosa 7  4.6 3.4 1.4 0.3 setosa

3.4分类的层次

分类变量就是因子的一种形式。一个因子的分类有很多分类标签或层次，让我们看看这些层次：

#  list the levels for the class levels(dataset$Species)

留意一下我们上面是怎样把数据集里的属性转换成合适的名字的形式。下面的结果我们可以看到3个标签：

[1]"setosa" "versicolor" "virginica"

这是一个多层次或多项的分类问题。这里如果有2个层次，那么它是一个二次分类问题。

3.5类别的分布

现在，我们看一下数据集里的实例（行）都属于什么类型。我们可以以绝对值和百分数的形式观察它们：

1 2 3

#  summarize the class distribution percentage  <- prop.table(table(dataset$Species)) * 100 cbind(freq=table(dataset$Species),  percentage=percentage)

 

我们可以看到，每个层次都有相同数量的实例（这个数据集的40%或33%）。

1 2 3 4

freq percentage setosa      40 33.33333 versicolor  40 33.33333 virginica  40  33.33333

3.6统计归纳

现在到了最后，我们看一下统计归纳以后各属性的相关信息。

这里包含平均值、最值，以及分位数(25分位数、中位数、75分位数等等处在分位点的数，只要我们要求哪个分位点的数表示出来，它都可以在相关属性中展现出来)。

# summarize attribute distributions summary(dataset)

我们现在看到了所有数值属性都含有相同的刻度（厘米）以及相似的厘米区间[0,0.8]。

1 2 3 4 5 6 7

Sepal.Length  Sepal.Width  Petal.Length  Petal.Width    Species  Min.   :4.300 Min.    :2.00 Min.   :1.000 Min.   :0.100  setosa    :40  1st Qu.:5.100 1st Qu.:2.80 1st Qu.:1.575 1st  Qu.:0.300 versicolor:40  Median :5.800 Median :3.00 Median :4.300  Median :1.350 virginica :40  Mean   :5.834 Mean    :3.07 Mean   :3.748 Mean   :1.213  3rd Qu.:6.400 3rd Qu.:3.40 3rd Qu.:5.100 3rd  Qu.:1.800  Max.   :7.900 Max.    :4.40 Max.   :6.900 Max.   :2.500

4. 数据可视化操作

现在，我们对数据集进行初步的探索。我们需要运用数据可视化操作进行更深层次的探索。

接下来，我们将要看到2种图像：

1画单变量图以了解每个属性的相关信息。

2画多变量图来了解每个属性之间存在的关系。

4.1单变量图像

我们从单变量图像开始，看看图像里每个变量大致的分布情况。

运用可视化操作把数据里的输入属性和输出属性转化为相关信息。现在我们开始画单变量图像，且设输入变量为x，输出变量为y（或者层次）：

1 2 3

#  split input and output x  <- dataset[,1:4] y  <- dataset[,5]

 

我们看到输入变量是数值形式，接下来，我们画一下箱图和条形图：

# boxplot for each attribute on oneimage

par(mfrow=c(1,4))

  for(i in 1:4) {

  boxplot(x[,i],main=names(iris)[i])

}

 

这样就把输入变量的分布情况清清楚楚的展现出来：

我们也可以对特殊的层次变量作条形图来得到数据里各个分类在图像里的分布情况（通常来说它看起来很无趣，因为这种图像看起来平的）。

plot(y)

4.2多变量图像

现在，我们看一下变量之间的相关关系。

首先，我们对所有的属性两两的作散点图，并通过它们的层次设置不同的颜色。此外，由于散点图在展示每个层次的点都是分开来的，我们可以在这些点周围画一个椭圆。

# scatterplot matrix

featurePlot(x=x, y=y,plot="ellipse")

现在，我们对分类变量里的输入变量属性和输出变量属性直接的关系有了清楚的认识：

我们也可以再一次以箱图和晶须图的形式观察输入变量，但是这一次我们要根据层次把这些点分开来。这能让我们在各层次之间的线性分离中有效地提取相关信息。

#box and whisker plots for each attribute

featurePlot(x=x,y=y, plot="box")

这对于我们清楚观察每个层次的值的属性的不同分布是非常有用的。

接下来，我们从每个属性的分布中提取相关信息，我们再一次运用箱图和晶须图，同样把层次的值进行分离。有时使用直方图能取得良好的效果，但这一次，我们会使用密度函数图像，并配上平滑的曲线来展示每一个属性的分布情况：

1 2 3

#  density plots for each attribute by class value scales  <- list(x=list(relation="free"),  y=list(relation="free")) featurePlot(x=x,  y=y, plot="density", scales=scales)

就像箱图所展示的那样，我们可以看到不同层次里每个熟悉的分布。我们也可以看到每个属性所呈现的高斯分布（钟形曲线）图像：

英文链接：http://machinelearningmastery.com/machine-learning-in-r-step-by-step/

作者介绍：

品言译，陆勤审。

品言，热爱英语和数据科学。

陆勤，深圳数据挖掘师，热爱数据，专注从数据中学习。

严禁修改，可以转载，请注明出自数据人网和原文链接：http://shujuren.org/index.php/Article/update/aid/171

更多精彩内容，请点击阅读原文。

数据人网（http://shujuren.org)，数据人学习、交流和分享的家园，专注于从数据中学习，努力发觉数据之洞见，积极利用数据之价值。为“让人懂数据、用数据”之使命坚持做点事情。大家可以来投稿，做分享和传播，可以给反馈。您有什么想法，请反馈给我们，谢谢。数据人网，我们共建和共享。

数据人网构建了数据人圈子，诚邀热爱数据和利用数据朋友入群。加小编微信：luqin360，注明入圈子。

       数据人网官方公众号：数据科学自媒体，分享数据科学干货。