• 主页
  • 课程

    关于课程

    • 课程归档
    • 成为一名讲师
    • 讲师信息
    同等学历教学

    同等学历教学

    免费
    阅读更多
  • 特色
    • 展示
    • 关于我们
    • 问答
  • 事件
  • 个性化
  • 博客
  • 联系
  • 站点资源
    有任何问题吗?
    (00) 123 456 789
    weinfoadmin@weinformatics.cn
    注册登录
    恒诺新知
    • 主页
    • 课程

      关于课程

      • 课程归档
      • 成为一名讲师
      • 讲师信息
      同等学历教学

      同等学历教学

      免费
      阅读更多
    • 特色
      • 展示
      • 关于我们
      • 问答
    • 事件
    • 个性化
    • 博客
    • 联系
    • 站点资源

      未分类

      • 首页
      • 博客
      • 未分类
      • R学习笔记 dplyr包处理数据

      R学习笔记 dplyr包处理数据

      • 发布者 weinfoeditor
      • 分类 未分类
      • 日期 2019年8月21日
      • 评论 0评论

      在生信领域,不可避免会使用R来处理一些数据,不仅因为R在生信数据分析中的广泛应用,而且也由于R其强大的数据处理以及统计分析能力。不管是NGS数据,还是芯片或者公共数据,我们都需要对其进行预处理以及相关的下游分析,这时如何提高处理及分析效率就是一个关键的技能。

      起初我一般会选择一些R的base函数进行操作,但从最开始学习R开始,就听起别人说有个叫dplyr的R包是一个处理数据的利器,结果由于那时too native地觉得dplyr也就比base函数方便一点而已。直到最近使用了dplyr包后,才发现自己之前的想法是多么幼稚!现在只要是处理数据的R脚本,我会毫不犹豫的先加载个dplyr。。。。

      dplyr包能做什么:

      dplyr is a grammar of data manipulation, providing a consistent set of verbs that help you solve the most common data manipulation challenges

      dplyr包总共可用函数可参照其pdf文档https://cran.r-project.org/web/packages/dplyr/dplyr.pdf。反正看到这么多函数,我是记不住的,只能记住几个常用的,剩下的只能需要时再去查了,一些实用的函数可以完全代替一些base函数

      个人觉得以下几个函数是值得掌握并熟练使用的

      • select()
      • filter()
      • mutate()
      • arrange()
      • summarise()
      • group_by()

      除了上述函数,还有一个管道函数%>%也让我惊叹不已,有效地减少中间变量的赋值(也减少内容的占用率)以及一个个括号的烦恼(没有%>%的日子里,检查括号层层嵌套是件蛮费时的事),其作用简单理解就是将上一步的结果作为下一步函数的参数,类似于shell的管道符

      如果数据集较大,并且希望能加快dplyr包的运算速度的话,可以使用as_tibble()先将数据框从data.frame转化为tbl_df

      1. select函数筛选特定的列

        select函数是我最喜欢用的函数之一,其功能主要体现在筛选符合你要求的列的数据,尤其是其几个参数,有效地减少写一些判别式或者正则表达式的时间,以iris数据集为例,如下所示

        筛选以Sepal开头的列

        select(iris, starts_with("Sepal"))
        select(iris, starts_with("sepal"))
        

        上述starts_with参数是默认忽视大小写的,所以上述两行代码是同等效果的,如果想关闭忽视大小的写的功能,则如下:

        select(iris, starts_with("Sepal", ignore.case = F))
        

        如果筛选以Sepal开头以外的列,只需要在starts_with参数前加个负号’-‘

        select(iris, -starts_with("Sepal"))
        

        除了starts_with参数外,还有其他不少有用的参数可供使用,比如:

        • ends_with(“Length”) 选择列名以Length结尾的的列
        • contains(“Sep”) 选择列名包含有Sep的列
        • matches(“.”) 选择列名正则匹配到有’点’的列
        • num_range(“Sepal.Length”, 1:5) 选择列名为Sepal.Length1到Sepal.Length5的列
        • one_of(“Sepal.Length”, “Sepal.Width”) 选择列名为Sepal.Length和Sepal.Width的列
        • everything() 用于选择所有变量(列名),一般用于改变列名顺序用

        除了上述参数外,select函数还有些简单使用的作用(虽然这些base函数也能很好的完成。。),如选择指定的列,删除指定列,选择列并重名(多列以数字结尾区分)等

        select(iris, Sepal.Length, Sepal.Width)
        select(iris, Sepal.Length:Species) ##跟上一行不同,返回列名从Sepal.Length到Species的行
        select(iris, -Sepal.Length, -Sepal.Width)
        select(iris, one=Sepal.Length)
        

        以上select用法已经足以解决我100%的数据处理问题了。。

      2. filter函数筛选特定的行

        filter函数的参数没有select函数那般复杂了,简单的说就是筛选出符合判别式(只要是能返回布尔值的,例如运算符,%>%,is.na等)的行,当然也支持多个表达式一起进行判别,用|或者&进行区别即可,如下:

        筛选Sepal.Length列大于5并且小于6的行

        filter(iris, Sepal.Length > 5 & Sepal.Length < 6)
        

        筛选Sepal.Length列值等于5或者6的行

        filter(iris, Sepal.Length %in% c(5,6))
        

        如果以为dplyr包只能对特定列进行操作那就错了!其对filter函数进行了补充,主要是filter_all, filter_at,filter_if三个函数,如筛选所有列中观测值都大于6的行

        filter_all(mtcars, all_vars(. > 0))
        

        或者只有某一列中的观测值大于100即可

        filter_all(mtcars, any_vars(. > 100))
        

        如果我想指定符合条件的列的观测值大于3的(注:虽然是以特定列进行筛选的,但是最后呈现的数据还是全部列)

        filter_at(iris, vars(starts_with("Sepal")), all_vars(. > 3))
        

        除了根据上述表达式筛选行,filter还可以根据行号进行筛选数据,但还是用slice()代替filter()做这项工作比较好,如筛选第5行数据,筛选最后一行数据,筛选前5行数据

        slice(iris, 5)
        filter(iris, row_number() == 5)
        slice(iris, 1:5)
        slice(iris, n())
        
      3. mutate函数在原有数据基础上增加新列(新变量)

        mutate函数类似于base函数中的transform()函数,两者感觉没啥差别?如下

        mutate(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
        transform(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
        

        如果想只保留新增的列,删除原有数据,则可以使用transmute()函数,但是原有数据的行名称会被过滤掉(即变成默认行名)

        transmute(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
        

        mutate函数除了上述用法外,也有像filter函数那样的补充函数,如:mutate_all,mutate_if,mutate_at 整体上的理解是对列进行函数操作,用法跟filter那些的差不多,比如:将Species列从因子转化为字符串

        mutate_at(iris, vars(Species), as.character)
        
      4. arrange函数按照指定列进行排序

        arrange函数类似base函数中的order()函数,默认是升序,可以加desc参数进行降序,操作用法上比order简洁了不少

        select(iris, starts_with("Sepal")) %>% arrange(desc(Sepal.Length))
        
      5. summarise()函数进行数据总结统计

        简单的用法就是对指定的列进行一些统计函数的处理,如:

        summarise(iris, max(Sepal.Length))
        

        也可以指定结果的列名

        summarise(iris, max = max(Sepal.Length))
        

        除了自定义的函数外,常规的函数有以下几个:

        min():返回最小值 max():返回最大值 mean():返回均值 sum():返回总和 sd():返回标准差 median():返回中位数 IQR():返回四分位极差 n():返回观测个数 n_distinct():返回不同的观测个数 first():返回第一个观测 last():返回最后一个观测 nth():返回n个观测

        其实summarise函数更多的是跟group_by()函数进行联合使用

      6. group_by()函数进行分组

        group_by()也是我最喜欢用的函数之一,如果单纯用group_by()对数据框进行操作的话,是看不出数据框有啥变化的,但是如果接着用其他函数操作的话,就是相当于对数据框进行分组操作了,如下:

        以Species分组,得Sepal.Length列中值大于6的行,进而统计其标准差

        group_by(iris, Species) %>%  filter(Sepal.Length > 6) %>% summarise(SD = sd(Sepal.Length))
        

        以Species分组,统计每组中的个数

        group_by(iris, Species) %>% summarise(N = n())
        

      除了上述几个个人来说比较常用的函数外,其实dplyr包还有不少比较实用的函数,只是我总是记不住,一般要用的时候再去查一下,比如用于数据框关联的函数(类似merge()函数)

      inner_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #内连接,merge x,y两个数据框,仅保留都匹配上的
      left_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)  #左连接,在x数据框上加上y数据框匹配上的
      right_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #右连接,在y数据框上加上x数据框匹配上的
      full_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)  #全连接,跟内连接的区别在于其保留x,y数据框的所有行
      semi_join(x, y, by = NULL, copy = FALSE, ...)  #返回x数据框中能与y数据框匹配上的行
      anti_join(x, y, by = NULL, copy = FALSE, ...)  #返回x数据框中不能与y数据框匹配上的行
      

      挑选随机样本的函数(默认是不放回的随机抽取)

      sample_n()随机抽取指定数目的样本,sample_frac()随机抽取指定百分比的样本,可根据参数replacement = TRUE改为放回抽样

      提取唯一值的函数(其实是去重)

      distinct(data, x, .keep_all = TRUE) #可保留去重后的所有列(变量)的值
      

      参考资料: R—-dplyr包介绍学习 【R语言】必学包之dplyr包 https://github.com/tidyverse/dplyr

      本文出自于http://www.bioinfo-scrounger.com转载请注明出处

      请关注“恒诺新知”微信公众号,感谢“R语言“,”数据那些事儿“,”老俊俊的生信笔记“,”冷🈚️思“,“珞珈R”,“生信星球”的支持!

      • 分享:
      作者头像
      weinfoeditor

      上一篇文章

      R语言相关性分析
      2019年8月21日

      下一篇文章

      rMATS差异可变剪切分析
      2019年8月21日

      你可能也喜欢

      2-1675088548
      lncRNA和miRNA生信分析系列讲座免费视频课和课件资源包,干货满满
      30 1月, 2023
      9-1675131201
      如何快速批量修改 Git 提交记录中的用户信息
      26 1月, 2023
      8-1678501786
      肿瘤细胞通过改变CD8+ T细胞中的丙酮酸利用和琥珀酸信号来调控抗肿瘤免疫应答。
      7 12月, 2022

      留言 取消回复

      要发表评论,您必须先登录。

      搜索

      分类

      • R语言
      • TCGA数据挖掘
      • 单细胞RNA-seq测序
      • 在线会议直播预告与回放
      • 数据分析那些事儿分类
      • 未分类
      • 生信星球
      • 老俊俊的生信笔记

      投稿培训

      免费

      alphafold2培训

      免费

      群晖配置培训

      免费

      最新博文

      Nature | 单细胞技术揭示衰老细胞与肌肉再生
      301月2023
      lncRNA和miRNA生信分析系列讲座免费视频课和课件资源包,干货满满
      301月2023
      如何快速批量修改 Git 提交记录中的用户信息
      261月2023
      logo-eduma-the-best-lms-wordpress-theme

      (00) 123 456 789

      weinfoadmin@weinformatics.cn

      恒诺新知

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      链接

      • 课程
      • 事件
      • 展示
      • 问答

      支持

      • 文档
      • 论坛
      • 语言包
      • 发行状态

      推荐

      • iHub汉语代码托管
      • iLAB耗材管理
      • WooCommerce
      • 丁香园论坛

      weinformatics 即 恒诺新知。ICP备案号:粤ICP备19129767号

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      要成为一名讲师吗?

      加入数以千计的演讲者获得100%课时费!

      现在开始

      用你的站点账户登录

      忘记密码?

      还不是会员? 现在注册

      注册新帐户

      已经拥有注册账户? 现在登录

      close
      会员购买 你还没有登录,请先登录
      • ¥99 VIP-1个月
      • ¥199 VIP-半年
      • ¥299 VIP-1年
      在线支付 激活码

      立即支付
      支付宝
      微信支付
      请使用 支付宝 或 微信 扫码支付
      登录
      注册|忘记密码?