首页 / HBASE / 用Spark向HBase中插入数据

用Spark向HBase中插入数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了用Spark向HBase中插入数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2039字，纯文字阅读大概需要3分钟。

内容图文

java代码如下：

            package
             db.insert;

            import
             java.util.Iterator;

            import
             java.util.StringTokenizer;


            import
             org.apache.spark.SparkConf;

            import
             org.apache.spark.api.java.JavaRDD;

            import
             org.apache.spark.api.java.JavaSparkContext;

            import
             org.apache.spark.api.java.function.VoidFunction;


            public
            class
             SparkInsertData {
    
            public
            static
            void
             main(String[] args){
        
            //
            初始化sparkContext，
        SparkConf sparkConf = new SparkConf().setAppName("HBaseTest").setMaster("local[2]");
        JavaSparkContext sc = new JavaSparkContext(sparkConf); 
        final HBaseDBDao hb = new HBaseDBDao();
        try {
            final String tableName = "mapCar";
            hb.deleteTable(tableName);
            // 第一步：创建数据库表：“mapCar”
            String[] columnFamilys = { "cids", "gis", "times"};
            if(!hb.isExist(tableName)){
                hb.createTable(tableName, columnFamilys);
            }   
            hb.initHTable(tableName);
            // 第二步：向数据表的添加数据
            // 添所有车辆数据到表中
            JavaRDD<String> fcar = sc.textFile(
                    "/usr/local/myjar/mongo/地图数据/mongo/MongoDB/mapCar.txt", 10);
            fcar.foreachPartition(new VoidFunction<Iterator<String>>(){
                privatestaticfinallong serialVersionUID = 1L;
                @Override
                publicvoid call(Iterator<String> iter) throws Exception {
                    while(iter.hasNext()){
                        String s = iter.next();
                        StringTokenizer stk = new StringTokenizer(s);
                        String cid = stk.nextToken();
                        String lat = stk.nextToken();
                        String lon = stk.nextToken();
                        String time = stk.nextToken();
                        int n = 13-time.length();
                        StringBuilder sb = new StringBuilder(time);
                        for(int i=0;i<n;i++){
                            sb.insert(0, ‘0‘);
                        }
                        String row = cid + "_" + sb.toString();
                        hb.addRowBatch(tableName, row, "cids", "cid", cid);
                        hb.addRowBatch(tableName, row, "gis", "lat", lat);
                        hb.addRowBatch(tableName, row, "gis", "lon", lon);
                        hb.addRowBatch(tableName, row, "times", "time", time);
                        System.out.println("row: " + row + ", cid : " + cid
                                + ", lat: " + lat + ", lon: " + lon + ", time: "
                                + time);
                    }
                    hb.flushCommits(tableName);
                }
                
            });
            System.out.println("插入完毕!");
            // 第三步：获取所有数据
//            hb.getAllRows(tableName); 
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

所需jar包如下：

技术分享

原文：http://www.cnblogs.com/gaopeng527/p/5002359.html

内容总结

以上是互联网集市为您收集整理的用Spark向HBase中插入数据全部内容，希望文章能够帮你解决用Spark向HBase中插入数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://www.qyyshop.com/info/1143494.html

来源：【匿名】