type
status
date
slug
summary
tags
category
icon
password

UDF

  1. 创建 DataFrame
  1. 注册UDF
  1. 创建临时表
  1. 应用UDF

UDAF

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(), countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。通 过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 版本 后,UserDefinedAggregateFunction 已经不推荐使用了。可以统一采用强类型聚合函数 Aggregator
需求:计算平均工资
一个需求可以采用很多种不同的方法实现需求
  1. 实现方式 - RDD
  1. 实现方式 - 累加器
  1. 实现方式 - UDAF - 弱类型
  1. 实现方式 - UDAF - 强类型
Spark3.0 版本可以采用强类型的 Aggregator 方式代替 UserDefinedAggregateFunction
Spark累加器SparkSQL数据的加载和保存
Loading...
目录
0%
DewarTsang
DewarTsang
一个普通的干饭人🍚
最新发布
白U兑换黑U
2024-12-18
BNB-ETH
2024-11-26
Django的生命周期
2024-8-14
RESTful API 设计规范
2024-7-15
什么是猴子补丁?
2024-7-15
多线程与GIL
2024-7-12
目录
0%