在我们的日常开发中，经常会存在在一个Service层中调用另外一个Service层的方法。比如：我们有一个TaskService，里面有一个execTask方法，且这个方法存在事务，这个方法在执行完之后，需要调用LogService的insertLog方法记录一条日志，这个方法上也有事务，不管日志...

最近在开发的过程中遇到这么一个问题，当产生某种类型的工单后，需要实时通知到另外的系统，由另外的系统进行数据的研判操作。 由于某种原因， 像向消息队列中推送工单消息、或直接调用另外系统的接口、或者部署Cannal 等都不可行，因此此处使用 mysql-binlog-connec...

在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者的代码是使用CompletableFuture.runAsync(() -> {while (true){ ..... }}) 来实...

1、背景最近在学习Hadoop的MapReduce，此处记录一下如何实现 TopN 的效果，以及在MapReduce中如何实现 自定义分组。2、需求我们有一份数据，数据中存在如下3个字段，订单编号,订单项和订单项价格。 输出的数据，需求如下：订单编号与订单编号之间需要正序输出。输出...

Hadoop MapReduce 是一个 分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）

在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（比如客户端的内测版本），而其余的用户使用旧的版本，那么这个在Spring Cloud中该如何来实现呢？

我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如何做才能做到数据的透明加密呢？

在我们开发的过程中有这么一种场景， /projectA 目录是 hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问...

我们知道，在mac系统上删除文件，一般情况下是可以进入 废纸篓里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存在的。

1、背景此处简单的记录一下在 oracle中如何使用plsql语法，记录一些简单的例子，防止以后忘记。2、变量的声明 {代码...} 3、if 判断统计总共有多少个学生，并进行if判断。 {代码...} 4、case {代码...} 5、循环输出1到1001、loop 循环 {代码...} 2、while 循环 {代码...

当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢...

当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说： 我们向现有集群中添加了一个新的DataNode。

在HDFS中，读取操作通常是通过DataNode。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过TCP套接字将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候， 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过Short-Circuit ...

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个热、温、冷等这些特性。那么针对数据的热度，我们可以采用不同的策略，存储到不同的存储介质上。 比如：

最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才能感知到，那么有没有办法能够让服务立即感知到呢？答案是可以的。

需要在本地环境变量中 配置 HADOOP_HOME 或在程序启动的时候通过命令行指定hadoop.home.dir的值，值为HADOOP的home目录地址。可通过org.apache.hadoop.util.Shell#checkHadoopHome方法验证。

@[TOC]1、背景此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。2、hdfs file system shell命令有哪些我们可以通过如下网址[链接]来看看支持的命令操作。 其中大部分命令都和linux的命令用法类似。3、确定shell操作的是哪个文件系统 {代码......

1、背景最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。2、集群规划hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。2.1 hdfs集群规划ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataN...

最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。