type
status
date
slug
summary
tags
category
icon
password
UDF
- 创建 DataFrame
- 注册UDF
- 创建临时表
- 应用UDF
UDAF
强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(), countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。通 过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 版本 后,UserDefinedAggregateFunction 已经不推荐使用了。可以统一采用强类型聚合函数 Aggregator
需求:计算平均工资
一个需求可以采用很多种不同的方法实现需求
- 实现方式 - RDD
- 实现方式 - 累加器
- 实现方式 - UDAF - 弱类型
- 实现方式 - UDAF - 强类型
Spark3.0 版本可以采用强类型的 Aggregator 方式代替 UserDefinedAggregateFunction
- 作者:DewarTsang
- 链接:https://funtalk.top/article/b30a250d-6f68-4315-a39f-f886a5a28657
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。