首页 / SCALA / spark操作hive方式(scala)

spark操作hive方式(scala)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了spark操作hive方式(scala)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1329字，纯文字阅读大概需要2分钟。

内容图文

第一种方式:

def operatorHive: Unit = {
    Class.forName("org.apache.hive.jdbc.HiveDriver")
    val url = "jdbc:hive2://192.168.2.xxx:10000"
    val connection: Connection = DriverManager.getConnection(url, "root", "diagbotkwz@123")
    val createStatement: Statement = connection.createStatement()
    val query: ResultSet = createStatement.executeQuery("select * from diagbot.ord_lis_trend limit 2")
    while (query.next()) {
      println(query.getString(1))
    }
  }

第二种方式:

            object SparkOperaterHive {
  val sparkConf: SparkConf = new SparkConf().setAppName(SparkOperaterHive.getClass.getSimpleName)
  val sparkSession: SparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()
  val sc: SparkContext = sparkSession.sparkContext
  val sqlContext: SQLContext = sparkSession.sqlContext
  
  def main(args: Array[String]) {
   import sparkSession.implicits._
    val sql1: DataFrame = sparkSession.sql("select * from janggan.diagnosismedication")
    val properties: Properties = new Properties()
    properties.put("user", "root")
    properties.put("password", "diagbot@20180822")
    properties.put("driver", "com.mysql.jdbc.Driver")
    //    sql1.write.mode(SaveMode.Append).jdbc(url,"doc_info_hive",properties)
    println("总数为:" + sql1.count())
    println("sddhdj" + sql1.columns(1))

    sparkSession.stop()
  }
}

 

原文：https://www.cnblogs.com/kwzblog/p/10180174.html

内容总结

以上是互联网集市为您收集整理的spark操作hive方式(scala)全部内容，希望文章能够帮你解决spark操作hive方式(scala)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://www.qyyshop.com/info/1187029.html

来源：【匿名】