当前位置: 首页 > news >正文

关于spark配置项 和 hive serDe 和 spark serDe

spark.sql.hive.convertMetastoreParquet

hive serde:
    文档:  https://spark.apache.org/docs/latest/configuration.html
    Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化
    参数: spark.sql.hive.convertMetastoreParquet 控制读写parquet的序列化反序列化类.
        true(默认值): 使用(Parquet SerDe)spark-sql内置的parquet的reader和writer(即进行反序列化和序列化),它具有更好地性能
        false: 则代表使用 Hive的序列化方式
    注意:
        如果使用同一个parquet,序列化反序列化需要一致,即读写需要用同一个serde方式.
    其他相关:
        dataframe.saveAsTable("tbName") 并不是创建hive表(hive serde), 而是创建spark(内部)表(spark Parquet serde).
            如果想创建hive (serde)表:
                方法1:  spark.sql("create table ... stored as parquet")
                方法2:  df.insertInto(tableName,OverWrite.Append/Overwrite) //表之前是hive serde
                方法3:  set spark.sql.hive.convertMetastoreParquet=false  df.saveAsTable(...)

    怎么区分hive表是 hive serde还是 spark serde:
        spark serde建立的表结构包含:
            WITH SERDEPROPERTIES (
            'path'='hdfs://hdfsHACluster/user/hive/warehouse/rljl.db/fc_p_face_centro_relation')
 

相关文章:

  • (Java)数据结构——图(第五节)Kruskal的实现最小生成树(MST)
  • rocky9 yum 安装与配置MySQL8
  • Oracle 19c RAC集群相关日志
  • 【2024年5月】如何高效寻找软考高级论文素材?
  • Docker Desktop修改镜像存储路径 Docker Desktop Start ... 卡死
  • 纯css实现左右拖拽改变盒子大小
  • 考研复试中的面试技巧
  • windows 11+docker desktop+grafana+influxDB+python写入
  • SQL Server添加用户登录
  • ETH网络中的账户
  • vue使用gitshot生成gif
  • 关于使用Mxnet GPU版本运行DeepAR报错解决方案
  • Linux | 二级页表的虚拟地址是怎么转换的?
  • .m3u8.sqlite文件转mp4,m3u8.sqlite文件转视频工具(开源免费)
  • 计算机毕业设计Java电商项目(源码+系统+mysql数据库+lw文档)
  • webpack使用入门贴
  • 【Linux内核】Linux内核介绍
  • linux关于ssh免密登录、known_hosts文件
  • mongoDB操作文档(全部)
  • 基于SSM的服装商城销售系统(含文档资料)
  • 【力扣·每日一题】1774. 最接近目标价格的甜点成本 (dfs搜索 动态规划 Go)
  • Activiti7工作流(二)
  • [附源码]计算机毕业设计大学生心理测评系统
  • 【spring——命名空间与自动装配】P命名、C命名、Util命名、基于名字自动装配、基于类型自动装配、外部properties文件引入
  • 数据结构—List集合
  • 博图Modbus组态及参数设定源码
  • DockerCompose安装、使用 及 微服务部署实操
  • 非零基础自学Golang 2 开发环境 2.4 Git 安装
  • 06 估计量的评优准则
  • [附源码]计算机毕业设计校刊投稿系统Springboot程序
  • 【Kotlin 协程】协程异常处理 ② ( SupervisorJob 协程 | supervisorScope 协程作用域构建器函数 )
  • 【世界杯】free-api-worldcup2022 免费世界杯API