journey

54
获赞数
6
关注数
25
粉丝数
北京
河北工业大学 | 计算机科学与技术
IP 属地北京
2023-03-28 加入
浏览 7.3k
╭╮╱╭┳━━━┳╮╱╭╮
┃┃╱┃┃╭━╮┃┃╱┃┃
┃╰━╯┃┃┃┃┃╰━╯┃
╰━━╮┃┃┃┃┣━━╮┃
╱╱╱┃┃╰━╯┃╱╱┃┃
个人简介什么都没有
37 声望|新手
java
25
lambda
14
匿名函数
14
调度器
13
大数据
13
黄金勋章
暂未获得该勋章
如何获得
1 白银勋章
个人动态
  • 发布了文章5 月 29 日
    hermes基本安装使用
    1、安装 {代码...} 2、接入微信 {代码...}
  • 发布了文章4 月 7 日
    自定义一个Spark Connector
    1、SPI 注册机制:通过 META-INF/services/org.apache.spark.sql.sources.DataSourceRegister 注册,支持 format("inmemory") 短别名
  • 发布了文章4 月 7 日
    Cloade Code本地安装
    Claude Code 在 Git 仓库中使用时体验最佳(可以读取 git history、理解变更上下文) 很多代码管理、版本控制功能依赖 Git,commit、PR 创建等功能需要 Git
  • 发布了文章4 月 6 日
    说清楚Spark独立Catalog和扩展Catalog
    1、什么是Spark Catalog ?在 Spark 的世界里,Catalog 是管理元数据(表、视图、分区等)的枢纽2、独立 vs 扩展3、自定义 Catalog3.1、自定义Catalog架构图 {代码...} 3.2、核心逻辑详解3.2.1、Catalog 层 {代码...} 3.2.2、表层 {代码...} 3.2.3、读取流程 {代码......
  • 发布了文章3 月 26 日
    DolphinScheduler 数据源 & Task 插件机制详细分析
    DolphinScheduler 的插件体系基于 Java SPI(Service Provider Interface) 机制,配合 Google AutoService 自动生成注册文件,实现了零侵入的插件化扩展
  • 发布了文章3 月 25 日
    5分钟了解Seatunnel插件机制
    第一步:根据插件名 → 查 plugin-mapping.properties → 找到 JAR 文件前缀 → 加载 JAR 到 ClassLoader第二步:用已加载 JAR 的 ClassLoader → ServiceLoader.load() → 发现 SPI 实现类,使用google的 auto-service
  • 发布了文章2025-07-24
    数据模拟1w分区,每个分区2条数据
    {代码...}
  • 发布了文章2025-07-21
    Spark3 Iceberg1.4.3整合
    将 iceberg-spark-runtime-3.3_2.12-1.4.3.jar 放入到 /opt/bigdata/spark-3.3.2-bin-hadoop3/jars 中
  • 发布了文章2025-07-20
    Centos7安装hive3、spark3
    在node3节点上操作将 apache-hive-3.1.3-bin.tar.gz 上传到 /opt/bigdata目录下,镜像tar -zxvf apache-hive-3.1.3-bin.tar.gz 解压到本地目录
  • 发布了文章2025-07-20
    Centos7安装hadoop3.x集群
    下载 jdk-8u461-linux-aarch64.tar.gz 上传到node1节点上 /opt/bigdata 下面,进行 tar -zxvf jdk-8u461-linux-aarch64.tar.gz 解压配置JAVA_HOME环境变量 :
  • 发布了文章2025-07-19
    Mac下安装Vmware Fusion虚拟机软件并安装Centos7
    下载好的 VMware-Fusion-e.x.p-19431034_arm64.dmg(下载的时候后缀是mpg,修改为dmg) 双击即可完成安装,不再赘述
  • 发布了文章2025-04-28
    go kratos 入门
    1、简介Kratos 一套轻量级 Go 微服务框架,包含大量微服务相关框架及工具2、示例2.1、准备条件 {代码...} 2.2、官网示例[链接]2.2.1、安装kratosgo install github.com/go-kratos/kratos/cmd/kratos/v2@latest2.2.2、下载helloworld示例kratos new helloworld2.2.3、...
  • 发布了文章2024-12-30
    go chan 使用经验分享
    1、带缓冲 vs 无缓存1.1、带缓冲 {代码...} 描述:这是一个 带缓冲 的通道,缓冲区大小为 1特性 :发送数据到通道时,如果缓冲区未满,发送操作不会阻塞接收数据时,如果缓冲区不为空,接收操作不会阻塞缓冲区的大小决定了可以在通道中存储多少数据而不需要立即被接收...
  • 发布了文章2024-12-21
    访问控制策略之Ladon入门
    Ladon 是一个 Go 语言库,用于实现访问控制策略(Access Control Policies),并提供灵活的权限验证功能。它通常用于基于角色(RBAC)、基于属性(ABAC)等方式的权限管理。Ladon 提供了一种方法来定义策略,并根据主体(subject)、资源(resource)和操作(action...
  • 发布了文章2024-12-13
    Supersonic入门调研
    SuperSonic是融合Headless BI和Chat BI的新一代数据分析平台,致力于通过自然语言对话来分析数据,与传统交互的分析产品组合,推动数据民主化。SuperSonic提供两套开箱即用的产品界面:
  • 发布了文章2024-12-13
    Flink CDC一库多表数据同步
    注意 : 虽然程序中设置的checkpoint的路径是 hdfs://xx.xx.xx.xx:8020/flink-cdc/ck,但是需要指定的全路径是hdfs://xx.xx.xx.xx:8020/flink-cdc/ck/96f0dc3d9b2717ae3c0a27799560d862/chk-62,下面有多个checkpoint,指定最新的即可
  • 发布了文章2024-12-09
    研发模式
    瀑布模式按照预先规划好的研发阶段来推进研发进度。比如,按照需求阶段、设计阶段、开发阶段、测试阶段、发布阶段、运营阶段的顺序串行执行开发任务。每个阶段完美完成之后,才会进入到下一阶段,阶段之间通过文档进行交付。整个过程如下图所示 :
  • 发布了文章2024-12-06
    CentOS 下使用 systemd 守护自定义的进程
    1、阐述systemd 是一个 系统和服务管理器,用于初始化系统、管理用户空间服务、处理服务依赖关系,并提供强大的日志管理功能核心特点:并行启动:支持多服务的并行启动,提高启动速度依赖关系管理:自动处理服务之间的依赖关系单一二进制文件:通过 systemctl 管理所...
  • 发布了文章2024-12-03
    JWT入门
    JWT (JSON Web Token) 是一种基于 JSON 格式的开放标准(RFC 7519),用于在不同系统间作为一种安全的、紧凑的令牌实现信息的传递。它通常用于身份验证、授权以及信息安全传递
  • 发布了文章2024-11-26
    Docker desktop报错解决
    1、背景 {代码...} 2、不用梯子配置 {代码...} 也可加自己的阿里云镜像3、安装clickhouse {代码...}