R代码|基于t-SNE算法的高维数据可视化
专题介绍:R是一种广泛用于数据分析和统计计算的强大语言,于上世纪90年代开始发展起来。得益于全世界众多 爱好者的无尽努力,大家继而开发出了一种基于R但优于R基本文本编辑器的R Studio(用户的界面体验更好)。也正是由于全世界越来越多的数据科学社区和用户对R包的慷慨贡献,让R语言在全球范围内越来越流行。其中一些R包,例如MASS,SparkR, ggplot2,使数据操作,可视化和计算功能越来越强大。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。R作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R的学术性开发比较早,适合生物学和医学等学术学科的科研人员使用。
前言
我创建【R代码】专栏,用于分享R语言解决数据,特征和模型三方面问题的代码。这些代码片段,具有实用性和迁移性。大家可以根据实际问题做修改,变通和延展。我只是R语言代码的搬运工和传播者,大家在使用这些R代码的时候,有些什么新的启示或者问题,请留言。依托【R语言】公众号,我创建了R语言群,群友们每天都会就R语言的主题进行交流和分享。需要加入R语言群的朋友,可以扫码加我的个人微信,请备注【姓名-入群】。我诚邀你加入群,大家相互学习和共同进步。
代码
这是一份基于t-SNE算法的高维数据可视化的代码,需要配套数据集测试代码,也可以扫码添加我的微信。当然,我也会邀请你加入R语言群,大家一起交流和讨论。
我提倡【代码学习法】,首先,做代码测试,然后,做代码迁移,再次,做代码重构。
#######################
#2020-8-2
######################
options(warn = -1)
library(Rtsne)
library(data.table)
library(dplyr)
library(magrittr)
library(ggplot2)
library(plotly)
library(ggthemes)
# 导入数据集
data <- fread("creditcard.csv")
# 数据准备
# 准备和选择数据
data %<>%
mutate(id = 1:nrow(data)) %>%
mutate(Class = as.integer(Class))
# 变量名重命名
names(data) <- gsub('V', 'Feat', names(data))
# 数据缺失值处理
# 策略:删除含有缺失值的样本集
data <- data[apply(data, MARGIN = 1, FUN = function(x) !any(is.na(x))), ]
# 选择感兴趣的变量集
numeric_interesting_features <- c(paste0('Feat', 1:28),
'Amount')
df <- (as.data.frame(data[numeric_interesting_features]))
# 数据标准化处理
df_normalised <- apply(df,
MARGIN = 2,
FUN = function(x) {
scale(x, center = T, scale = T)
} )
df_normalised %<>%
as.data.frame() %>%
cbind(select(data, id))
df_normalised <- df_normalised[ apply(df_normalised, MARGIN = 1, FUN = function(x) !any(is.na(x))), ]
head(df_normalised) %>% View
# 选择有欺诈嫌疑的样本集
data_fraud <- df_normalised %>%
semi_join(filter(data, Class == 1), by = 'id')
data_fraud %>% head %>% View
data_sub <- df_normalised %>%
sample_n(20000) %>% # sample of data
rbind(data_fraud)
# remove rows containing duplicate values within rounding
data_sub <- data_sub[!duplicated(select(data_sub, -id)), ]
# Run t-SNE to get the 2D coordinates
rtsne_out <- Rtsne(as.matrix(select(data_sub, -id)), pca = FALSE, verbose = TRUE,
theta = 0.3, max_iter = 1300, Y_init = NULL)
# "Class", the target, is not used to compute the 2D coordinates
# Data post-processing
# merge 2D coordinates with original features
tsne_coord <- as.data.frame(rtsne_out$Y) %>%
cbind(select(data_sub, id)) %>%
left_join(data, by = 'id')
tsne_coord %>% head %>% View
#Plot the map and its Hexagonal background
gg <- ggplot() +
labs(title = "All Frauds (white dots) in the transaction landscape (10% of data)") +
scale_fill_gradient(low = 'darkblue', high = 'red', name="Proportionnof fraud pernhexagon") +
coord_fixed(ratio = 1) +
theme_void() +
stat_summary_hex(data = tsne_coord, aes(x=V1, y=V2, z = Class), bins=10, fun = mean, alpha = 0.9) +
geom_point(data = filter(tsne_coord, Class == 0), aes(x = V1, y = V2), alpha = 0.3, size = 1, col = 'black') +
geom_point(data = filter(tsne_coord, Class == 1), aes(x = V1, y = V2), alpha = 0.9, size = 0.3, col = 'white') +
theme(plot.title = element_text(hjust = 0.5, family = 'Calibri'),
legend.title.align=0.5)
gg
结果如下:
你在测试代码的过程中,有任何问题或者想法,请留言。
请关注“恒诺新知”微信公众号,感谢“R语言“,”数据那些事儿“,”老俊俊的生信笔记“,”冷🈚️思“,“珞珈R”,“生信星球”的支持!