发布了文章5 月 29 日
1、安装 {代码...} 2、接入微信 {代码...}
发布了文章4 月 7 日
1、SPI 注册机制:通过 META-INF/services/org.apache.spark.sql.sources.DataSourceRegister 注册,支持 format("inmemory") 短别名
发布了文章4 月 7 日
Claude Code 在 Git 仓库中使用时体验最佳(可以读取 git history、理解变更上下文) 很多代码管理、版本控制功能依赖 Git,commit、PR 创建等功能需要 Git
发布了文章4 月 6 日
1、什么是Spark Catalog ?在 Spark 的世界里,Catalog 是管理元数据(表、视图、分区等)的枢纽2、独立 vs 扩展3、自定义 Catalog3.1、自定义Catalog架构图 {代码...} 3.2、核心逻辑详解3.2.1、Catalog 层 {代码...} 3.2.2、表层 {代码...} 3.2.3、读取流程 {代码......
发布了文章3 月 26 日
DolphinScheduler 的插件体系基于 Java SPI(Service Provider Interface) 机制,配合 Google AutoService 自动生成注册文件,实现了零侵入的插件化扩展
发布了文章3 月 25 日
第一步:根据插件名 → 查 plugin-mapping.properties → 找到 JAR 文件前缀 → 加载 JAR 到 ClassLoader第二步:用已加载 JAR 的 ClassLoader → ServiceLoader.load() → 发现 SPI 实现类,使用google的 auto-service
发布了文章2025-07-24
{代码...}
发布了文章2025-07-21
将 iceberg-spark-runtime-3.3_2.12-1.4.3.jar 放入到 /opt/bigdata/spark-3.3.2-bin-hadoop3/jars 中
发布了文章2025-07-20
在node3节点上操作将 apache-hive-3.1.3-bin.tar.gz 上传到 /opt/bigdata目录下,镜像tar -zxvf apache-hive-3.1.3-bin.tar.gz 解压到本地目录
发布了文章2025-07-20
下载 jdk-8u461-linux-aarch64.tar.gz 上传到node1节点上 /opt/bigdata 下面,进行 tar -zxvf jdk-8u461-linux-aarch64.tar.gz 解压配置JAVA_HOME环境变量 :
发布了文章2025-07-19
下载好的 VMware-Fusion-e.x.p-19431034_arm64.dmg(下载的时候后缀是mpg,修改为dmg) 双击即可完成安装,不再赘述
发布了文章2025-04-28
1、简介Kratos 一套轻量级 Go 微服务框架,包含大量微服务相关框架及工具2、示例2.1、准备条件 {代码...} 2.2、官网示例[链接]2.2.1、安装kratosgo install github.com/go-kratos/kratos/cmd/kratos/v2@latest2.2.2、下载helloworld示例kratos new helloworld2.2.3、...
发布了文章2024-12-30
1、带缓冲 vs 无缓存1.1、带缓冲 {代码...} 描述:这是一个 带缓冲 的通道,缓冲区大小为 1特性 :发送数据到通道时,如果缓冲区未满,发送操作不会阻塞接收数据时,如果缓冲区不为空,接收操作不会阻塞缓冲区的大小决定了可以在通道中存储多少数据而不需要立即被接收...
发布了文章2024-12-21
Ladon 是一个 Go 语言库,用于实现访问控制策略(Access Control Policies),并提供灵活的权限验证功能。它通常用于基于角色(RBAC)、基于属性(ABAC)等方式的权限管理。Ladon 提供了一种方法来定义策略,并根据主体(subject)、资源(resource)和操作(action...
发布了文章2024-12-13
SuperSonic是融合Headless BI和Chat BI的新一代数据分析平台,致力于通过自然语言对话来分析数据,与传统交互的分析产品组合,推动数据民主化。SuperSonic提供两套开箱即用的产品界面:
发布了文章2024-12-13
注意 : 虽然程序中设置的checkpoint的路径是 hdfs://xx.xx.xx.xx:8020/flink-cdc/ck,但是需要指定的全路径是hdfs://xx.xx.xx.xx:8020/flink-cdc/ck/96f0dc3d9b2717ae3c0a27799560d862/chk-62,下面有多个checkpoint,指定最新的即可
发布了文章2024-12-09
瀑布模式按照预先规划好的研发阶段来推进研发进度。比如,按照需求阶段、设计阶段、开发阶段、测试阶段、发布阶段、运营阶段的顺序串行执行开发任务。每个阶段完美完成之后,才会进入到下一阶段,阶段之间通过文档进行交付。整个过程如下图所示 :
发布了文章2024-12-06
1、阐述systemd 是一个 系统和服务管理器,用于初始化系统、管理用户空间服务、处理服务依赖关系,并提供强大的日志管理功能核心特点:并行启动:支持多服务的并行启动,提高启动速度依赖关系管理:自动处理服务之间的依赖关系单一二进制文件:通过 systemctl 管理所...
发布了文章2024-12-03
JWT (JSON Web Token) 是一种基于 JSON 格式的开放标准(RFC 7519),用于在不同系统间作为一种安全的、紧凑的令牌实现信息的传递。它通常用于身份验证、授权以及信息安全传递
发布了文章2024-11-26
1、背景 {代码...} 2、不用梯子配置 {代码...} 也可加自己的阿里云镜像3、安装clickhouse {代码...}