• 主页
  • 课程

    关于课程

    • 课程归档
    • 成为一名讲师
    • 讲师信息
    同等学历教学

    同等学历教学

    免费
    阅读更多
  • 特色
    • 展示
    • 关于我们
    • 问答
  • 事件
  • 个性化
  • 博客
  • 联系
  • 站点资源
    有任何问题吗?
    (00) 123 456 789
    weinfoadmin@weinformatics.cn
    注册登录
    恒诺新知
    • 主页
    • 课程

      关于课程

      • 课程归档
      • 成为一名讲师
      • 讲师信息
      同等学历教学

      同等学历教学

      免费
      阅读更多
    • 特色
      • 展示
      • 关于我们
      • 问答
    • 事件
    • 个性化
    • 博客
    • 联系
    • 站点资源

      R语言

      • 首页
      • 博客
      • R语言
      • 【R教程】R做你的第一个机器学习项目教程(二)

      【R教程】R做你的第一个机器学习项目教程(二)

      • 发布者 weinfoadmin
      • 分类 R语言
      • 日期 2016年2月26日
      测试开头

      编者按:

      延续R做你的第一个机器学习项目教程(一),大家在阅读过程中有什么建议或者反馈,请给我们留言。

      2载入数据

      我们将要使用iris这个数据集。这个数据集是非常有名的,因为这是机器学习和统计学里的”hello world”类数据集,这对于每个人来说都非常实用。

      这个数据集含有150个观测值,而且这个数据集有4列,这些列表示花的直径的测量。而这个数据集的第五列就是花的类型,而所有的观测值则是3种花里的其中一种。

      关于这个数据集的更多细节,你可以上维基百科寻找,网址:https://en.wikipedia.org/wiki/Iris_flower_data_set。

      接下来,我们要对这个数据集进行如下操作:

      1 以一个简单的方式导入iris数据集

      2 以CSV格式(其它格式也可以)导入iris数据集

      3 把这个数据集分解成训练数据集和验证数据集

      你可以自行选择方法导入这些数据,或者直接按照上面的步骤执行。

      2.1以一个简单的方式导入iris数据集

      幸运的是,iris这个数据集是系统自带的,也就是说安装好R以后就有。现在,按照以下操作导入数据:

      # attach the iris dataset to the  environment

      data(iris)

      # rename the dataset

      dataset <- iris

      这时你已经完成了iris数据集的导入,现在,你需要检验这个数据集了。

      我喜欢把载入的数据称为“数据集”。如果你想对你的项目和数据集(它们之间总是名字相同)之间进行代码的粘贴,那么,这里确实会给到你帮助。

      2.2载入CSV格式数据

      也许,你是一个纯粹主义者,而且,你是想以你自己的方式导入CSV格式的数据集到你的机器学习项目的话,可以参照下面的做法:

      从 UCIMachine Learning Repository (这里有一个直接找到这个数据集的链接)这里下载iris数据集。

      把文件以iris.csv的形式保存的你的工作目录中。

      载入CSV格式数据详细操作如下:

      # define the filename

      filename <- "iris.csv"

      # load the CSV file from the local  directory

      dataset <- read.csv(filename,  header=FALSE)

      # set the column names in the  dataset

      colnames(dataset)

      <- c("Sepal.Length","Sepal.Width","Petal.Length","Petal.Width","Species")

      你现在已经载入好iris数据集,同时也可以使用里面的变量了。

      2.3创建一个验证数据集

      我们需要知道我们现在所建立的模型足够好。

      然后,我们会在那些未知的数据中运用相关统计方法建模以预测这些模型的精度。我们还需要进行更多高质量的模型精度测试以估计出这个模型是否在这些未知的数据中是最好的,这样我们要通过对真实的未知的数据进行估计。

      这时,我们需要看回我们的数据集,而我们所用的算法将看不到这些数据,而我们就是要用这些数据来得到其次而独立的,关于如何知道最好的模型大致是怎样的情况这一定论。

      我们要把这个数据集进行分离操作,80%的数据用于进行进行训练,而剩下的20%则用来进行验证。

      # create a list of 80% of the rows  in the original dataset we can use for training

      validation_index <-  createDataPartition(dataset$Species, p=0.80, list=FALSE)

      # select 20% of the data for  validation

      validation <-  dataset[-validation_index,]

      # use the remaining 80% of data to  training and testing the models

      dataset <-  dataset[validation_index,]

      在数据集中你现在有了训练数据集和将在后来要用到的验证变量的验证集。

      注意我们采用80%的样本数据取代我们的数据集,这个尝试为了让我们后面代码更简洁和可读。

      3.对数据集进行汇总

      现在,是时候要看看我们的数据了。

      在这一步,我们会用不同的方法来看这个数据集:

      1这个数据集的维度。

      2属性的类型。

      3查看你的数据集。

      4分类属性的层次。

      5每一类所产生的异常值。

      6对于所有属性的统计归纳。

      不要担心,看到的数据都是以一行命令的形式展现。这些命令是非常有用的,尤其是你想要进行你项目的后续工作时。

      3.1数据集的维度

      我们快速浏览一下dim函数里一共有多少实例(行)以及多少个属性(列)。

      # dimensions of dataset

      dim(dataset)

      你应该能看到120个实例和5个属性:

      [1]120 5

      3.2属性的类型

      得到这些属性的相关信息是一个不错的主意。它们可以是双精度值、整数值、字符串、因子和其它类型。

      知道这些类型是很重要的,就像告诉你怎样更好的汇总你所得到的数据以及它们的类型的转换形式那样,你也许在建模之前就会这样的去准备数据。

      #  list types for each attribute

      sapply(dataset,  class)

      你应该能看到输入值是双精度类型,而它的分类类型则是因子。

      Sepal.Length  Sepal.Width Petal.Length Petal.Width Species

       "numeric" "numeric"  "numeric" "numeric" "factor"

      3.3查看你的数据集

      预览一下你的数据也是一个不错的主意。

      #  take a peek at the first 5 rows of the data

      head(dataset)

      你可以看一下前5行的数据:

       

      1

      2

      3

      4

      5

      6

      7

      Sepal.Length Sepal.Width  Petal.Length Petal.Width Species

      1  5.1 3.5 1.4 0.2 setosa

      2  4.9 3.0 1.4 0.2 setosa

      3  4.7 3.2 1.3 0.2 setosa

      5  5.0 3.6 1.4 0.2 setosa

      6  5.4 3.9 1.7 0.4 setosa

      7  4.6 3.4 1.4 0.3 setosa

      3.4分类的层次

      分类变量就是因子的一种形式。一个因子的分类有很多分类标签或层次,让我们看看这些层次:

      #  list the levels for the class

      levels(dataset$Species)

      留意一下我们上面是怎样把数据集里的属性转换成合适的名字的形式。下面的结果我们可以看到3个标签:

      [1]"setosa" "versicolor" "virginica"

      这是一个多层次或多项的分类问题。这里如果有2个层次,那么它是一个二次分类问题。

      3.5类别的分布

      现在,我们看一下数据集里的实例(行)都属于什么类型。我们可以以绝对值和百分数的形式观察它们:

      1

      2

      3

      #  summarize the class distribution

      percentage  <- prop.table(table(dataset$Species)) * 100

      cbind(freq=table(dataset$Species),  percentage=percentage)

       

      我们可以看到,每个层次都有相同数量的实例(这个数据集的40%或33%)。

      1

      2

      3

      4

       freq percentage

      setosa      40 33.33333

      versicolor  40 33.33333

      virginica  40  33.33333

      3.6统计归纳

      现在到了最后,我们看一下统计归纳以后各属性的相关信息。

      这里包含平均值、最值,以及分位数(25分位数、中位数、75分位数等等处在分位点的数,只要我们要求哪个分位点的数表示出来,它都可以在相关属性中展现出来)。


      # summarize attribute distributions

      summary(dataset)

      我们现在看到了所有数值属性都含有相同的刻度(厘米)以及相似的厘米区间[0,0.8]。

      1

      2

      3

      4

      5

      6

      7

       Sepal.Length  Sepal.Width  Petal.Length  Petal.Width    Species

       Min.   :4.300 Min.    :2.00 Min.   :1.000 Min.   :0.100  setosa    :40

       1st Qu.:5.100 1st Qu.:2.80 1st Qu.:1.575 1st  Qu.:0.300 versicolor:40

       Median :5.800 Median :3.00 Median :4.300  Median :1.350 virginica :40

       Mean   :5.834 Mean    :3.07 Mean   :3.748 Mean   :1.213

       3rd Qu.:6.400 3rd Qu.:3.40 3rd Qu.:5.100 3rd  Qu.:1.800

       Max.   :7.900 Max.    :4.40 Max.   :6.900 Max.   :2.500

      4. 数据可视化操作

      现在,我们对数据集进行初步的探索。我们需要运用数据可视化操作进行更深层次的探索。

      接下来,我们将要看到2种图像:

      1画单变量图以了解每个属性的相关信息。

      2画多变量图来了解每个属性之间存在的关系。

      4.1单变量图像

      我们从单变量图像开始,看看图像里每个变量大致的分布情况。

      运用可视化操作把数据里的输入属性和输出属性转化为相关信息。现在我们开始画单变量图像,且设输入变量为x,输出变量为y(或者层次):

      1

      2

      3

      #  split input and output

      x  <- dataset[,1:4]

      y  <- dataset[,5]

       

      我们看到输入变量是数值形式,接下来,我们画一下箱图和条形图:

      # boxplot for each attribute on oneimage

      par(mfrow=c(1,4))

        for(i in 1:4) {

        boxplot(x[,i],main=names(iris)[i])

      }

       

      这样就把输入变量的分布情况清清楚楚的展现出来:

      【R教程】R做你的第一个机器学习项目教程(二)

      我们也可以对特殊的层次变量作条形图来得到数据里各个分类在图像里的分布情况(通常来说它看起来很无趣,因为这种图像看起来平的)。

      plot(y)

      【R教程】R做你的第一个机器学习项目教程(二)

      4.2多变量图像

      现在,我们看一下变量之间的相关关系。

      首先,我们对所有的属性两两的作散点图,并通过它们的层次设置不同的颜色。此外,由于散点图在展示每个层次的点都是分开来的,我们可以在这些点周围画一个椭圆。

      # scatterplot matrix

      featurePlot(x=x, y=y,plot="ellipse")

      现在,我们对分类变量里的输入变量属性和输出变量属性直接的关系有了清楚的认识:

      【R教程】R做你的第一个机器学习项目教程(二)

      我们也可以再一次以箱图和晶须图的形式观察输入变量,但是这一次我们要根据层次把这些点分开来。这能让我们在各层次之间的线性分离中有效地提取相关信息。

      #box and whisker plots for each attribute

      featurePlot(x=x,y=y, plot="box")

      这对于我们清楚观察每个层次的值的属性的不同分布是非常有用的。

      【R教程】R做你的第一个机器学习项目教程(二)

      接下来,我们从每个属性的分布中提取相关信息,我们再一次运用箱图和晶须图,同样把层次的值进行分离。有时使用直方图能取得良好的效果,但这一次,我们会使用密度函数图像,并配上平滑的曲线来展示每一个属性的分布情况:

      1

      2

      3

      #  density plots for each attribute by class value

      scales  <- list(x=list(relation="free"),  y=list(relation="free"))

      featurePlot(x=x,  y=y, plot="density", scales=scales)

      就像箱图所展示的那样,我们可以看到不同层次里每个熟悉的分布。我们也可以看到每个属性所呈现的高斯分布(钟形曲线)图像:

      【R教程】R做你的第一个机器学习项目教程(二)

      英文链接:http://machinelearningmastery.com/machine-learning-in-r-step-by-step/

      作者介绍:

      品言译,陆勤审。

      品言,热爱英语和数据科学。

      陆勤,深圳数据挖掘师,热爱数据,专注从数据中学习。

      严禁修改,可以转载,请注明出自数据人网和原文链接:http://shujuren.org/index.php/Article/update/aid/171


      更多精彩内容,请点击阅读原文。

      数据人网(http://shujuren.org),数据人学习、交流和分享的家园,专注于从数据中学习,努力发觉数据之洞见,积极利用数据之价值。为“让人懂数据、用数据”之使命坚持做点事情。大家可以来投稿,做分享和传播,可以给反馈。您有什么想法,请反馈给我们,谢谢。数据人网,我们共建和共享。

      数据人网构建了数据人圈子,诚邀热爱数据和利用数据朋友入群。加小编微信:luqin360,注明入圈子。

             数据人网官方公众号:数据科学自媒体,分享数据科学干货。

             【R教程】R做你的第一个机器学习项目教程(二)


      测试结尾

      请关注“恒诺新知”微信公众号,感谢“R语言“,”数据那些事儿“,”老俊俊的生信笔记“,”冷🈚️思“,“珞珈R”,“生信星球”的支持!

      • 分享:
      作者头像
      weinfoadmin

      上一篇文章

      【R教程】R做你的第一个机器学习项目教程(一)
      2016年2月26日

      下一篇文章

      【R教程】
      2016年2月29日

      你可能也喜欢

      3-1665801675
      R语言学习:重读《R数据科学(中文版)》书籍
      28 9月, 2022
      6-1652833487
      经典铁死亡,再出新思路
      16 5月, 2022
      1-1651501980
      R语言学习:阅读《R For Everyone 》(第二版)
      1 5月, 2022

      搜索

      分类

      • R语言
      • TCGA数据挖掘
      • 单细胞RNA-seq测序
      • 在线会议直播预告与回放
      • 数据分析那些事儿分类
      • 未分类
      • 生信星球
      • 老俊俊的生信笔记

      投稿培训

      免费

      alphafold2培训

      免费

      群晖配置培训

      免费

      最新博文

      Nature | 单细胞技术揭示衰老细胞与肌肉再生
      301月2023
      lncRNA和miRNA生信分析系列讲座免费视频课和课件资源包,干货满满
      301月2023
      如何快速批量修改 Git 提交记录中的用户信息
      261月2023
      logo-eduma-the-best-lms-wordpress-theme

      (00) 123 456 789

      weinfoadmin@weinformatics.cn

      恒诺新知

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      链接

      • 课程
      • 事件
      • 展示
      • 问答

      支持

      • 文档
      • 论坛
      • 语言包
      • 发行状态

      推荐

      • iHub汉语代码托管
      • iLAB耗材管理
      • WooCommerce
      • 丁香园论坛

      weinformatics 即 恒诺新知。ICP备案号:粤ICP备19129767号

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      要成为一名讲师吗?

      加入数以千计的演讲者获得100%课时费!

      现在开始

      用你的站点账户登录

      忘记密码?

      还不是会员? 现在注册

      注册新帐户

      已经拥有注册账户? 现在登录

      close
      会员购买 你还没有登录,请先登录
      • ¥99 VIP-1个月
      • ¥199 VIP-半年
      • ¥299 VIP-1年
      在线支付 激活码

      立即支付
      支付宝
      微信支付
      请使用 支付宝 或 微信 扫码支付
      登录
      注册|忘记密码?