博客统计信息

用户名:richie_hu
文章数:15
评论数:4
访问量:17240
无忧币:41
博客积分:180
博客等级:2
注册日期:2010-09-01

我的技术圈(2)

更多>>
Hive UDAF开发
2010-09-01 17:07:19
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://richiehu.blog.51cto.com/2093113/386113
Hive进行UDAF开发,相对要比UDF复杂一些,不过也不是很难。
请看一个例子
package org.hrj.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;



public class UDAFSum_Sample extends NumericUDAF {
        public static class Evaluator implements UDAFEvaluator {
                private boolean mEmpty;
                private double mSum;
                public Evaluator() {
                        super();
                        init();
                }

                public void init() {
                        mSum = 0;
                        mEmpty = true;
                }

                public boolean iterate(DoubleWritable o) {
                        if (o != null) {
                                mSum += o.get();
                                mEmpty = false;
                        }
                        return true;
                }

                public DoubleWritable terminatePartial() {
                        // This is SQL standard - sum of zero items should be null.
                        return mEmpty ? null : new DoubleWritable(mSum);
                }

                public boolean merge(DoubleWritable o) {
                        if (o != null) {
                                mSum += o.get();
                                mEmpty = false;
                        }
                        return true;
                }

                public DoubleWritable terminate() {
                        // This is SQL standard - sum of zero items should be null.
                        return mEmpty ? null : new DoubleWritable(mSum);
                }
        }
}



  1. 将java文件编译成Sum_Sample.jar
  2. 进入hive
hive> add jar Sum_sample.jar;

hive> create temporary function sum_test as 'com.hrj.hive.udf.UDAFSum_Sample';

hive> select sum_test(t.num) from t;

hive> drop temporary function sum_test;

hive> quit;


关于UDAF开发注意点:
  1. 需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的
  2. 函数类需要继承UDAF类,内部类Evaluator实现UDAFEvaluator接口
  3. Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数
    1. init函数类似于构造函数,用于UDAF的初始化
    2. iterate接收传入的参数,并进行内部的轮转。其返回类型为boolean
    3. terminatePartial无参数,其为iterate函数轮转结束后,返回乱转数据,iterate和terminatePartial类似于hadoop的Combiner
    4. merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean
    5. terminate返回最终的聚集函数结果

本文出自 “胡汝建个人博客” 博客,请务必保留此出处http://richiehu.blog.51cto.com/2093113/386113

分享至
更多
一键收藏,随时查看,分享好友!
0人
了这篇文章
类别:分布式技术技术圈()┆阅读()┆评论() ┆ 推送到技术圈返回首页

文章评论

 
 

发表评论            

【技术门诊】专家解析:软考重点难点及应试技巧
昵  称:
登录  快速注册
验证码:

请点击后输入验证码博客过2级,无需填写验证码

内  容: