R语言使用Spark工作环境搭建和测试

专题介绍：R是一种广泛用于数据分析和统计计算的强大语言，于上世纪90年代开始发展起来。得益于全世界众多 爱好者的无尽努力，大家继而开发出了一种基于R但优于R基本文本编辑器的R Studio（用户的界面体验更好）。也正是由于全世界越来越多的数据科学社区和用户对R包的慷慨贡献，让R语言在全球范围内越来越流行。其中一些R包，例如MASS，SparkR， ggplot2，使数据操作,可视化和计算功能越来越强大。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R作为一种统计分析软件，是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上，而且嵌入了一个非常方便实用的帮助系统，相比于其他统计分析软件，R的学术性开发比较早，适合生物学和医学等学术学科的科研人员使用。

我们可以借助Spark平台，以提升R语言的大数据处理和分析的能力。

本文介绍R语言使用Spark的工作环境搭建和测试。

下载Java软件，安装它，并做相应配置。具体操作，可以直接百度。因为Spark运行需要JVM（Java虚拟机）。

R语言测试Java。

system("java -version")

# 安装和加载sparklyr包
if(!require('sparklyr')){
  install.packages('sparklyr')
  require('sparklyr')
}
# 查看sparklyr包的版本信息
packageVersion("sparklyr")

首先，检测目前支持哪些Spark版本。

# 检测Spark版本
spark_available_versions()

然后，安装version=2.4的spark

# 安装version=2.4的Spark
spark_install(version = "2.4")

因为我的已经安装好了。

若你是首次安装，如果无法线上安装，你就根据报错信息里面的下载链接，先本地化下载压缩包，再解压缩包，并且放置到到错误提示信息里面指定的位置下面。（关于这块有什么问题，可以留言）。

最后，检测已经安装好的Spark。

# 检测已经安装好的Spark
spark_installed_versions()

我用自己的电脑作为本地集群，连接Spark平台。

sc <- spark_connect(master = "local", version = "2.4")
sc

部分结果摘录如下。

若sc没有报错，表示R语言使用Spark的工作环境搭建成功了。

我们使用R语言自带数据集iris，复制一份到Spark平台里面。然后利用数据库技术来访问和操作它。

# 把iris数据集复制到Spark平台
iris <- copy_to(sc, iris)
class(iris)
iris
library(DBI)
# 分组统计分析的SQL语句
my_sql <- "select Species, count(*) from iris group by Species"
dbGetQuery(sc, statement = my_sql)

关于R语言使用Spark工作环境搭建和测试，你有什么问题，可以扫码添加我的微信，回复【实名+工作或专业】，大家一起学习和讨论，同时，也会邀请你加入我们的R语言圈子。

我的视频号分享了一系列数据知识，包括大话人工智能系列，大数据A-Z系列，PDFMV框架系列，R语言小知识系列等主题，利用一分钟之内容时间，传播一个有用的数据知识。欢迎大家扫码进入我的微信视频号，和我一起学习数据知识。

我创建了数据科学与人工智能微信圈子，用于学习，交流和分享数据科学与人工智能的内容和信息，包括数据科学，人工智能，大数据，数据工作等主题，诚邀朋友们加入微信圈子，参与投稿，分享和讨论。

我是数据人王路情，你可以在微信生态（个人微信号，公众号，微信视频号，微信圈子）与我互动和交流。我做数据工作，也喜欢写点东西，给大家分享一些有用的内容和信息。

R语言做时间序列预测3本电子书

R语言做数据科学3本电子书

R语言做机器学习4本电子书

R语言做数据挖掘4本电子书

R语言做统计学3本电子书

R语言做数据分析4本电子书

R语言做数据可视化4本电子书

收集资料是一件“苦差事”，但是，能够帮助到他人，又是快乐的事情。如果你觉得文章对你有所帮助，关注、在看、转发三步走，是给我最大的鼓励。