博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
aggregateByKey
阅读量:6667 次
发布时间:2019-06-25

本文共 369 字,大约阅读时间需要 1 分钟。

def seq(a:Int, b:Int) : Int ={ math.max(a,b)}def comb(a:Int, b:Int) : Int ={ a + b}val data = sc.parallelize(List((1,3),(1,2),(1, 4),(2,3)))data.aggregateByKey(3,4)(seq, comb).collect

输出结果是:

Array((1,10), (2,3))

参数"3"代表做比较的初始值,参数"4"代表并行化分区的数量。

参数seq代表与初始化值比较的函数。  参数comb是进行合并的方法。

 

将这个测试程序拿文字做一下描述就是:在data数据集中,按key将value进行分组合并,合并时在seq函数与指定的初始值3进行比较,保留大的值;然后在comb中来处理合并的方式。

 

转载地址:http://klsxo.baihongyu.com/

你可能感兴趣的文章
Android兼容性测试GTS-环境搭建、测试执行、结果分析
查看>>
Matlab常用命令(一)
查看>>
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接
查看>>
我的友情链接
查看>>
解决zabbix报警邮件为附件
查看>>
Robot Framework 教程-概述(翻译)
查看>>
JavaIO<7>--缓冲输出流BufferedOutputStream
查看>>
servlet解析演进(7)-session(1)
查看>>
iis服务器设置Android apk下载的MIME 设置
查看>>
Mdrill 测试数据写入程序
查看>>
NSOperation基本操作
查看>>
linux共享库动态注入
查看>>
lucene4.7 正则查询(RegexpQuery)(八)
查看>>
enum枚举类型
查看>>
[转]shell脚本sed命令
查看>>
putty、Xshell、远程连接、密钥登录
查看>>
Function Reference/add submenu page
查看>>
angular 之 延迟绑定controller
查看>>
elasticSearch Java API 前言
查看>>
Spring Cloud Alibaba 新版本发布:众多期待内容整合打包加入!
查看>>