• 主页
  • 课程

    关于课程

    • 课程归档
    • 成为一名讲师
    • 讲师信息
    同等学历教学

    同等学历教学

    免费
    阅读更多
  • 特色
    • 展示
    • 关于我们
    • 问答
  • 事件
  • 个性化
  • 博客
  • 联系
  • 站点资源
    有任何问题吗?
    (00) 123 456 789
    weinfoadmin@weinformatics.cn
    注册登录
    恒诺新知
    • 主页
    • 课程

      关于课程

      • 课程归档
      • 成为一名讲师
      • 讲师信息
      同等学历教学

      同等学历教学

      免费
      阅读更多
    • 特色
      • 展示
      • 关于我们
      • 问答
    • 事件
    • 个性化
    • 博客
    • 联系
    • 站点资源

      未分类

      • 首页
      • 博客
      • 未分类
      • R语言使用Spark工作环境搭建和测试

      R语言使用Spark工作环境搭建和测试

      • 发布者 weinfoadmin
      • 分类 未分类
      • 日期 2021年9月9日
      • 评论 0评论

      专题介绍:R是一种广泛用于数据分析和统计计算的强大语言,于上世纪90年代开始发展起来。得益于全世界众多 爱好者的无尽努力,大家继而开发出了一种基于R但优于R基本文本编辑器的R Studio(用户的界面体验更好)。也正是由于全世界越来越多的数据科学社区和用户对R包的慷慨贡献,让R语言在全球范围内越来越流行。其中一些R包,例如MASS,SparkR, ggplot2,使数据操作,可视化和计算功能越来越强大。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。R作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R的学术性开发比较早,适合生物学和医学等学术学科的科研人员使用。


      我们可以借助Spark平台,以提升R语言的大数据处理和分析的能力。


      本文介绍R语言使用Spark的工作环境搭建和测试。


      1 Java工作环境搭建


      下载Java软件,安装它,并做相应配置。具体操作,可以直接百度。因为Spark运行需要JVM(Java虚拟机)。


      R语言测试Java。


      system("java -version")



      2 安装和加载sparklyr包


      # 安装和加载sparklyr包
      if(!require('sparklyr')){
        install.packages('sparklyr')
        require('sparklyr')
      }
      # 查看sparklyr包的版本信息
      packageVersion("sparklyr")


      3 安装Spark

      首先,检测目前支持哪些Spark版本。


      # 检测Spark版本
      spark_available_versions()


      然后,安装version=2.4的spark


      # 安装version=2.4的Spark
      spark_install(version = "2.4")


      因为我的已经安装好了。

      若你是首次安装,如果无法线上安装,你就根据报错信息里面的下载链接,先本地化下载压缩包,再解压缩包,并且放置到到错误提示信息里面指定的位置下面。(关于这块有什么问题,可以留言)。

      最后,检测已经安装好的Spark。


      # 检测已经安装好的Spark
      spark_installed_versions()



      4 连接Spark平台


      我用自己的电脑作为本地集群,连接Spark平台。


      sc <- spark_connect(master = "local", version = "2.4")
      sc

      部分结果摘录如下。

      若sc没有报错,表示R语言使用Spark的工作环境搭建成功了。


      5 简单使用Spark

      我们使用R语言自带数据集iris,复制一份到Spark平台里面。然后利用数据库技术来访问和操作它。


      # 把iris数据集复制到Spark平台
      iris <- copy_to(sc, iris)
      class(iris)
      iris
      library(DBI)
      # 分组统计分析的SQL语句
      my_sql <- "select Species, count(*) from iris group by Species"
      dbGetQuery(sc, statement = my_sql)



      关于R语言使用Spark工作环境搭建和测试,你有什么问题,可以扫码添加我的微信,回复【实名+工作或专业】,大家一起学习和讨论,同时,也会邀请你加入我们的R语言圈子。

      我的视频号分享了一系列数据知识,包括大话人工智能系列,大数据A-Z系列,PDFMV框架系列,R语言小知识系列等主题,利用一分钟之内容时间,传播一个有用的数据知识。欢迎大家扫码进入我的微信视频号,和我一起学习数据知识。

      我创建了数据科学与人工智能微信圈子,用于学习,交流和分享数据科学与人工智能的内容和信息,包括数据科学,人工智能,大数据,数据工作等主题,诚邀朋友们加入微信圈子,参与投稿,分享和讨论。

      我是数据人王路情,你可以在微信生态(个人微信号,公众号,微信视频号,微信圈子)与我互动和交流。我做数据工作,也喜欢写点东西,给大家分享一些有用的内容和信息。






      R语言书籍推荐







      R语言做时间序列预测3本电子书


      R语言做数据科学3本电子书


      R语言做机器学习4本电子书


      R语言做数据挖掘4本电子书


      R语言做统计学3本电子书


      R语言做数据分析4本电子书


      R语言做数据可视化4本电子书


      收集资料是一件“苦差事”,但是,能够帮助到他人,又是快乐的事情。如果你觉得文章对你有所帮助,关注、在看、转发三步走,是给我最大的鼓励。

      请关注“恒诺新知”微信公众号,感谢“R语言“,”数据那些事儿“,”老俊俊的生信笔记“,”冷🈚️思“,“珞珈R”,“生信星球”的支持!

      • 分享:
      作者头像
      weinfoadmin

      上一篇文章

      众包式学用R语言
      2021年9月9日

      下一篇文章

      R语言DataExplorer包:促进探索性数据分析(EDA)
      2021年9月9日

      你可能也喜欢

      2-1675088548
      lncRNA和miRNA生信分析系列讲座免费视频课和课件资源包,干货满满
      30 1月, 2023
      9-1675131201
      如何快速批量修改 Git 提交记录中的用户信息
      26 1月, 2023
      8-1678501786
      肿瘤细胞通过改变CD8+ T细胞中的丙酮酸利用和琥珀酸信号来调控抗肿瘤免疫应答。
      7 12月, 2022

      留言 取消回复

      要发表评论,您必须先登录。

      搜索

      分类

      • R语言
      • TCGA数据挖掘
      • 单细胞RNA-seq测序
      • 在线会议直播预告与回放
      • 数据分析那些事儿分类
      • 未分类
      • 生信星球
      • 老俊俊的生信笔记

      投稿培训

      免费

      alphafold2培训

      免费

      群晖配置培训

      免费

      最新博文

      Nature | 单细胞技术揭示衰老细胞与肌肉再生
      301月2023
      lncRNA和miRNA生信分析系列讲座免费视频课和课件资源包,干货满满
      301月2023
      如何快速批量修改 Git 提交记录中的用户信息
      261月2023
      logo-eduma-the-best-lms-wordpress-theme

      (00) 123 456 789

      weinfoadmin@weinformatics.cn

      恒诺新知

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      链接

      • 课程
      • 事件
      • 展示
      • 问答

      支持

      • 文档
      • 论坛
      • 语言包
      • 发行状态

      推荐

      • iHub汉语代码托管
      • iLAB耗材管理
      • WooCommerce
      • 丁香园论坛

      weinformatics 即 恒诺新知。ICP备案号:粤ICP备19129767号

      • 关于我们
      • 博客
      • 联系
      • 成为一名讲师

      要成为一名讲师吗?

      加入数以千计的演讲者获得100%课时费!

      现在开始

      用你的站点账户登录

      忘记密码?

      还不是会员? 现在注册

      注册新帐户

      已经拥有注册账户? 现在登录

      close
      会员购买 你还没有登录,请先登录
      • ¥99 VIP-1个月
      • ¥199 VIP-半年
      • ¥299 VIP-1年
      在线支付 激活码

      立即支付
      支付宝
      微信支付
      请使用 支付宝 或 微信 扫码支付
      登录
      注册|忘记密码?