R语言使用Spark工作环境搭建和测试
专题介绍:R是一种广泛用于数据分析和统计计算的强大语言,于上世纪90年代开始发展起来。得益于全世界众多 爱好者的无尽努力,大家继而开发出了一种基于R但优于R基本文本编辑器的R Studio(用户的界面体验更好)。也正是由于全世界越来越多的数据科学社区和用户对R包的慷慨贡献,让R语言在全球范围内越来越流行。其中一些R包,例如MASS,SparkR, ggplot2,使数据操作,可视化和计算功能越来越强大。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。R作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R的学术性开发比较早,适合生物学和医学等学术学科的科研人员使用。
我们可以借助Spark平台,以提升R语言的大数据处理和分析的能力。
本文介绍R语言使用Spark的工作环境搭建和测试。
1 Java工作环境搭建
下载Java软件,安装它,并做相应配置。具体操作,可以直接百度。因为Spark运行需要JVM(Java虚拟机)。
R语言测试Java。
system("java -version")
2 安装和加载sparklyr包
# 安装和加载sparklyr包
if(!require('sparklyr')){
install.packages('sparklyr')
require('sparklyr')
}
# 查看sparklyr包的版本信息
packageVersion("sparklyr")
3 安装Spark
首先,检测目前支持哪些Spark版本。
# 检测Spark版本
spark_available_versions()
然后,安装version=2.4的spark
# 安装version=2.4的Spark
spark_install(version = "2.4")
因为我的已经安装好了。
若你是首次安装,如果无法线上安装,你就根据报错信息里面的下载链接,先本地化下载压缩包,再解压缩包,并且放置到到错误提示信息里面指定的位置下面。(关于这块有什么问题,可以留言)。
最后,检测已经安装好的Spark。
# 检测已经安装好的Spark
spark_installed_versions()
4 连接Spark平台
我用自己的电脑作为本地集群,连接Spark平台。
sc <- spark_connect(master = "local", version = "2.4")
sc
部分结果摘录如下。
若sc没有报错,表示R语言使用Spark的工作环境搭建成功了。
5 简单使用Spark
我们使用R语言自带数据集iris,复制一份到Spark平台里面。然后利用数据库技术来访问和操作它。
# 把iris数据集复制到Spark平台
iris <- copy_to(sc, iris)
class(iris)
iris
library(DBI)
# 分组统计分析的SQL语句
my_sql <- "select Species, count(*) from iris group by Species"
dbGetQuery(sc, statement = my_sql)
关于R语言使用Spark工作环境搭建和测试,你有什么问题,可以扫码添加我的微信,回复【实名+工作或专业】,大家一起学习和讨论,同时,也会邀请你加入我们的R语言圈子。
我的视频号分享了一系列数据知识,包括大话人工智能系列,大数据A-Z系列,PDFMV框架系列,R语言小知识系列等主题,利用一分钟之内容时间,传播一个有用的数据知识。欢迎大家扫码进入我的微信视频号,和我一起学习数据知识。
我创建了数据科学与人工智能微信圈子,用于学习,交流和分享数据科学与人工智能的内容和信息,包括数据科学,人工智能,大数据,数据工作等主题,诚邀朋友们加入微信圈子,参与投稿,分享和讨论。
我是数据人王路情,你可以在微信生态(个人微信号,公众号,微信视频号,微信圈子)与我互动和交流。我做数据工作,也喜欢写点东西,给大家分享一些有用的内容和信息。
R语言书籍推荐

R语言做时间序列预测3本电子书

R语言做数据科学3本电子书

R语言做机器学习4本电子书

R语言做数据挖掘4本电子书

R语言做统计学3本电子书

R语言做数据分析4本电子书

R语言做数据可视化4本电子书
收集资料是一件“苦差事”,但是,能够帮助到他人,又是快乐的事情。如果你觉得文章对你有所帮助,关注、在看、转发三步走,是给我最大的鼓励。
请关注“恒诺新知”微信公众号,感谢“R语言“,”数据那些事儿“,”老俊俊的生信笔记“,”冷🈚️思“,“珞珈R”,“生信星球”的支持!