当前位置: 首页 > news >正文

StarRocks从入门到精通系列五:导入数据

StarRocks从入门到精通系列五:导入数据

  • 一、导入总览
  • 二、从 Apache Kafka® 持续导入
  • 三、使用 Apache Spark™ 批量导入
  • 四、从 Apache Flink持续导入

一、导入总览

下图详细展示了在各种数据源场景下,应该选择哪一种导入方式。
在这里插入图片描述

数据导入是指将原始数据按照业务需求进行清洗、转换、并加载到 StarRocks 中的过程,从而可以在 StarRocks 系统中进行极速统一的数据分析。

StarRocks 通过导入作业实现数据导入。每个导入作业都有一个标签 (Label),由用户指定或系统自动生成,用于标识该导入作业。每个标签在一个数据库内都是唯一的,仅可用于一个成功的导入作业。一个导入作业成功后,其标签不可再用于提交其他导入作业。只有失败的导入作业的标签,才可再用于提交其他导入作业。这一机制可以保证任一标签对应的数据最多被导入一次,即实现“至多一次 (At-Most-Once) ”语义。

StarRocks 中所有导入方式都提供原子性保证,即同一个导入作业内的所有有效数据要么全部生效,要么全部不生效,不会出现仅导入部分数据的情况。这里的有效数据不包括由于类型转换错误等数据质量问题而被过滤掉的数据。

StarRocks 提供两种访

相关文章:

  • 做了8年前端,细说那些曾经让你浴霸不能的后端
  • 你安全吗?丨秦淮到底是哪种黑客?你猜对了吗?
  • Android App开发中使用Glide加载网络图片讲解及实战(附源码 简单易懂)
  • mysql的监控大屏
  • 【node进阶】深入浅出websocket即时通讯(二)-实现简易的群聊私聊
  • 解决storybook中组件的tailwindcss类不生效问题
  • 零基础学FPGA(六):FPGA时钟架构(Xilinx为例,完整解读)
  • python--敲击木鱼积累功德小项目(更新版(2))
  • 真趣科技:多业务形态的企业需要灵活可配置的CRM系统
  • 力扣206 - 反转链表【校招面试高频考题】
  • 利用宝塔实现百度自动推送
  • 【JavaSE】一起学继承
  • web前端设计与开发期末作品_期末大作业【使用HTML制作汽车首页】
  • 【ASM】字节码操作 工具类与常用类 asm-utils 与 asm-commons
  • MySQL纯代码复习
  • 【浅学Linux】动态库与静态库的封装与使用
  • [ITIL]-ITIL4的服务管理关键概念
  • 第15届台州学院校赛题解
  • Vue3树形控件实现跳转页面
  • C++-字符串处理函数-查找-截取-分割-替换-删除-格式化-与数值互转-拼接-正则表达式-常用功能