R学习笔记 dplyr包处理数据

在生信领域，不可避免会使用R来处理一些数据，不仅因为R在生信数据分析中的广泛应用，而且也由于R其强大的数据处理以及统计分析能力。不管是NGS数据，还是芯片或者公共数据，我们都需要对其进行预处理以及相关的下游分析，这时如何提高处理及分析效率就是一个关键的技能。

起初我一般会选择一些R的base函数进行操作，但从最开始学习R开始，就听起别人说有个叫dplyr的R包是一个处理数据的利器，结果由于那时too native地觉得dplyr也就比base函数方便一点而已。直到最近使用了dplyr包后，才发现自己之前的想法是多么幼稚！现在只要是处理数据的R脚本，我会毫不犹豫的先加载个dplyr。。。。

dplyr包能做什么：

dplyr is a grammar of data manipulation, providing a consistent set of verbs that help you solve the most common data manipulation challenges

dplyr包总共可用函数可参照其pdf文档https://cran.r-project.org/web/packages/dplyr/dplyr.pdf。反正看到这么多函数，我是记不住的，只能记住几个常用的，剩下的只能需要时再去查了，一些实用的函数可以完全代替一些base函数

个人觉得以下几个函数是值得掌握并熟练使用的

• select()
• filter()
• mutate()
• arrange()
• summarise()
• group_by()

除了上述函数，还有一个管道函数%>%也让我惊叹不已，有效地减少中间变量的赋值（也减少内容的占用率）以及一个个括号的烦恼（没有%>%的日子里，检查括号层层嵌套是件蛮费时的事），其作用简单理解就是将上一步的结果作为下一步函数的参数，类似于shell的管道符

如果数据集较大，并且希望能加快dplyr包的运算速度的话，可以使用as_tibble()先将数据框从data.frame转化为tbl_df

1. select函数筛选特定的列

   select函数是我最喜欢用的函数之一，其功能主要体现在筛选符合你要求的列的数据，尤其是其几个参数，有效地减少写一些判别式或者正则表达式的时间，以iris数据集为例，如下所示

   筛选以Sepal开头的列

   select(iris, starts_with("Sepal"))
   select(iris, starts_with("sepal"))
   

   上述starts_with参数是默认忽视大小写的，所以上述两行代码是同等效果的，如果想关闭忽视大小的写的功能，则如下:

   select(iris, starts_with("Sepal", ignore.case = F))
   

   如果筛选以Sepal开头以外的列，只需要在starts_with参数前加个负号’-‘

   select(iris, -starts_with("Sepal"))
   

   除了starts_with参数外，还有其他不少有用的参数可供使用，比如：

   • ends_with(“Length”) 选择列名以Length结尾的的列
   • contains(“Sep”) 选择列名包含有Sep的列
   • matches(“.”) 选择列名正则匹配到有’点’的列
   • num_range(“Sepal.Length”, 1:5) 选择列名为Sepal.Length1到Sepal.Length5的列
   • one_of(“Sepal.Length”, “Sepal.Width”) 选择列名为Sepal.Length和Sepal.Width的列
   • everything() 用于选择所有变量（列名），一般用于改变列名顺序用

   除了上述参数外，select函数还有些简单使用的作用（虽然这些base函数也能很好的完成。。），如选择指定的列，删除指定列，选择列并重名(多列以数字结尾区分)等

   select(iris, Sepal.Length, Sepal.Width)
   select(iris, Sepal.Length:Species) ##跟上一行不同，返回列名从Sepal.Length到Species的行
   select(iris, -Sepal.Length, -Sepal.Width)
   select(iris, one=Sepal.Length)
   

   以上select用法已经足以解决我100%的数据处理问题了。。

2. filter函数筛选特定的行

   filter函数的参数没有select函数那般复杂了，简单的说就是筛选出符合判别式（只要是能返回布尔值的，例如运算符，%>%，is.na等）的行，当然也支持多个表达式一起进行判别，用|或者&进行区别即可，如下：

   筛选Sepal.Length列大于5并且小于6的行

   filter(iris, Sepal.Length > 5 & Sepal.Length < 6)
   

   筛选Sepal.Length列值等于5或者6的行

   filter(iris, Sepal.Length %in% c(5,6))
   

   如果以为dplyr包只能对特定列进行操作那就错了！其对filter函数进行了补充，主要是filter_all， filter_at，filter_if三个函数，如筛选所有列中观测值都大于6的行

   filter_all(mtcars, all_vars(. > 0))
   

   或者只有某一列中的观测值大于100即可

   filter_all(mtcars, any_vars(. > 100))
   

   如果我想指定符合条件的列的观测值大于3的(注:虽然是以特定列进行筛选的，但是最后呈现的数据还是全部列)

   filter_at(iris, vars(starts_with("Sepal")), all_vars(. > 3))
   

   除了根据上述表达式筛选行，filter还可以根据行号进行筛选数据，但还是用slice()代替filter()做这项工作比较好，如筛选第5行数据，筛选最后一行数据，筛选前5行数据

   slice(iris, 5)
   filter(iris, row_number() == 5)
   slice(iris, 1:5)
   slice(iris, n())
   

3. mutate函数在原有数据基础上增加新列（新变量）

   mutate函数类似于base函数中的transform()函数，两者感觉没啥差别？如下

   mutate(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
   transform(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
   

   如果想只保留新增的列，删除原有数据，则可以使用transmute()函数，但是原有数据的行名称会被过滤掉（即变成默认行名）

   transmute(iris, Sum_Sepal = Sepal.Length + Sepal.Width)
   

   mutate函数除了上述用法外，也有像filter函数那样的补充函数，如：mutate_all，mutate_if，mutate_at 整体上的理解是对列进行函数操作，用法跟filter那些的差不多，比如：将Species列从因子转化为字符串

   mutate_at(iris, vars(Species), as.character)
   

4. arrange函数按照指定列进行排序

   arrange函数类似base函数中的order()函数，默认是升序，可以加desc参数进行降序，操作用法上比order简洁了不少

   select(iris, starts_with("Sepal")) %>% arrange(desc(Sepal.Length))
   

5. summarise()函数进行数据总结统计

   简单的用法就是对指定的列进行一些统计函数的处理，如：

   summarise(iris, max(Sepal.Length))
   

   也可以指定结果的列名

   summarise(iris, max = max(Sepal.Length))
   

   除了自定义的函数外，常规的函数有以下几个：

   min()：返回最小值 max()：返回最大值 mean()：返回均值 sum()：返回总和 sd()：返回标准差 median()：返回中位数 IQR()：返回四分位极差 n()：返回观测个数 n_distinct()：返回不同的观测个数 first()：返回第一个观测 last()：返回最后一个观测 nth()：返回n个观测

   其实summarise函数更多的是跟group_by()函数进行联合使用

6. group_by()函数进行分组

   group_by()也是我最喜欢用的函数之一，如果单纯用group_by()对数据框进行操作的话，是看不出数据框有啥变化的，但是如果接着用其他函数操作的话，就是相当于对数据框进行分组操作了，如下：

   以Species分组，得Sepal.Length列中值大于6的行，进而统计其标准差

   group_by(iris, Species) %>%  filter(Sepal.Length > 6) %>% summarise(SD = sd(Sepal.Length))
   

   以Species分组，统计每组中的个数

   group_by(iris, Species) %>% summarise(N = n())
   

除了上述几个个人来说比较常用的函数外，其实dplyr包还有不少比较实用的函数，只是我总是记不住，一般要用的时候再去查一下，比如用于数据框关联的函数（类似merge()函数）

inner_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #内连接，merge x,y两个数据框，仅保留都匹配上的
left_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)  #左连接，在x数据框上加上y数据框匹配上的
right_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #右连接，在y数据框上加上x数据框匹配上的
full_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)  #全连接，跟内连接的区别在于其保留x,y数据框的所有行
semi_join(x, y, by = NULL, copy = FALSE, ...)  #返回x数据框中能与y数据框匹配上的行
anti_join(x, y, by = NULL, copy = FALSE, ...)  #返回x数据框中不能与y数据框匹配上的行

挑选随机样本的函数（默认是不放回的随机抽取）

sample_n()随机抽取指定数目的样本，sample_frac()随机抽取指定百分比的样本，可根据参数replacement = TRUE改为放回抽样

提取唯一值的函数（其实是去重）

distinct(data, x, .keep_all = TRUE) #可保留去重后的所有列（变量）的值

参考资料： R—-dplyr包介绍学习 【R语言】必学包之dplyr包 https://github.com/tidyverse/dplyr

本文出自于http://www.bioinfo-scrounger.com转载请注明出处