当前位置: 首页 > news >正文

关于spark配置项 和 hive serDe 和 spark serDe

spark.sql.hive.convertMetastoreParquet

hive serde:
    文档:  https://spark.apache.org/docs/latest/configuration.html
    Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化
    参数: spark.sql.hive.convertMetastoreParquet 控制读写parquet的序列化反序列化类.
        true(默认值): 使用(Parquet SerDe)spark-sql内置的parquet的reader和writer(即进行反序列化和序列化),它具有更好地性能
        false: 则代表使用 Hive的序列化方式
    注意:
        如果使用同一个parquet,序列化反序列化需要一致,即读写需要用同一个serde方式.
    其他相关:
        dataframe.saveAsTable("tbName") 并不是创建hive表(hive serde), 而是创建spark(内部)表(spark Parquet serde).
            如果想创建hive (serde)表:
                方法1:  spark.sql("create table ... stored as parquet")
                方法2:  df.insertInto(tableName,OverWrite.Append/Overwrite) //表之前是hive serde
                方法3:  set spark.sql.hive.convertMetastoreParquet=false  df.saveAsTable(...)

    怎么区分hive表是 hive serde还是 spark serde:
        spark serde建立的表结构包含:
            WITH SERDEPROPERTIES (
            'path'='hdfs://hdfsHACluster/user/hive/warehouse/rljl.db/fc_p_face_centro_relation')
 

相关文章:

  • python 迭代器介绍 map() 函数
  • 分析AI是在帮助开发者还是取代他们
  • 昇思25天学习打卡营第六天|应用实践/计算机视觉/Vision Transformer图像分类
  • Docker安装Zookeeper、RocketMQ
  • Ubuntu系统和硬件问题
  • 智能招聘系统的AI功能解析
  • R 贝叶斯输出分析和诊断MCMC:coda包
  • MAC | linux | SSH 密钥验证
  • win32com打开带密码excel
  • 关于Vue中npm install出现报错及解决方法
  • iOS 通过NSURLProtocol拦截WKWebView网络请求
  • LVS-DR实验.
  • Linux | 二级页表的虚拟地址是怎么转换的?
  • .m3u8.sqlite文件转mp4,m3u8.sqlite文件转视频工具(开源免费)
  • 计算机毕业设计Java电商项目(源码+系统+mysql数据库+lw文档)
  • webpack使用入门贴
  • 【Linux内核】Linux内核介绍
  • linux关于ssh免密登录、known_hosts文件
  • mongoDB操作文档(全部)
  • 基于SSM的服装商城销售系统(含文档资料)
  • 【力扣·每日一题】1774. 最接近目标价格的甜点成本 (dfs搜索 动态规划 Go)
  • Activiti7工作流(二)
  • [附源码]计算机毕业设计大学生心理测评系统
  • 【spring——命名空间与自动装配】P命名、C命名、Util命名、基于名字自动装配、基于类型自动装配、外部properties文件引入
  • 数据结构—List集合
  • 博图Modbus组态及参数设定源码
  • DockerCompose安装、使用 及 微服务部署实操
  • 非零基础自学Golang 2 开发环境 2.4 Git 安装
  • 06 估计量的评优准则
  • [附源码]计算机毕业设计校刊投稿系统Springboot程序
  • 【Kotlin 协程】协程异常处理 ② ( SupervisorJob 协程 | supervisorScope 协程作用域构建器函数 )
  • 【世界杯】free-api-worldcup2022 免费世界杯API