spark1.spark 和 mr 执行类似，逻辑处理数据的单元为 RDD，和 mr一样 也有transform（map）和action（reduce）算子；2.spark 会将原始数据分片 partition，每个分片分给一个RDD来处理，RDD执行一个算子之后交给下一个RDD继续处理；1.kudu 代替 HBase

1 为什么使用flink？ {代码...} 2.flink如何接入一个数据流？ {代码...} 3.flink接入数据流后，如何处理的？ {代码...} 4.flink处理完数据后，怎么存储数据？ {代码...} 5.flink算子在处理数据时，如果需要接入第三方数据协助处理，怎么做？ {代码...} 6.flink算子再...

1.大数据首先要解决的问题是，海量数据怎么存储？ {代码...} 2.hdfs怎么执行客户端写或读请求指令的？ {代码...} 3.hdfs具体怎么保证数据不会丢失？ {代码...} 4.只有一个NameNode工作，是否压力太大？ {代码...} 5.hdfs api 编程从哪里入口？ {代码...} 6.hdfs写数...

使用 synchronized 为操作数据库方法加锁，避免并发操作，然而为方法外加上事务注解 @Transactional 则无法完全避免并发操作，原因如下：synchronized 是针对 方法的锁 而 事务注解是 针对方法的环绕处理 即在方法运行前开启事务 方法结束后提交事务

logs vs metricslogs 用于记录离散的事件 具有随机性 例如 应用程序的调试信息或错误等metrics 用于记录度量或者可聚合的数据 具有计划性 例如 服务的响应时长等metrics 组成module metricbeat 收集指标的对象 例如 linux windows mysql 等metricset metricbeat 收集...

input 插件指定数据输入源 一个pipeline可以有多个input插件 主要有三 stdin file kafka最简单的输入 从标准输入读取数据 通用配置为

logstash架构pipelineinput-filter-output 3阶段处理流程队列管理插件生命周期管理logstash event内部流转的数据表现性时原始数据在input被转换为event 在output event被转换为目标格式数据在配置文件中可对event中的属性进行增删改查queuein memory 无法处理 crash ...

集群调优elasticsearch.yml 中尽量只写必备参数其他通过api动态设置参见文档 setup elasticsearch -》impotant elasticsearch configuration随着es升级 很多网络流传的配置参数不再支持基本参数设置cluster.namenode.namenode.master/node.data/node.ingestnetwork.h...

数据建模对现实世界进行抽象描述的工具和方法通过抽象的实体以及实体之间的联系的形式去描述业务规则，从而实现对现实世界的映射。概念模型确定系统的核心需求和范围边界，设计实体和实体之间的关系逻辑模型进一步梳理业务需求，确定每个实体的属性 关系 约束规则物...

聚合分析 aggregationes 在搜索功能之外，提供的针对数据统计分析的功能功能丰富，提供bucket metric pipeline 等多种分析方式实时性高，所有结果都是即时返回，而hadoop等大数据系统是t+1级别聚合分析种类bucket 分桶类型 类似sql中的group by 语法metric 指标分析...

search 的运行机制node3在接收到用户请求时，先进行query阶段，此时为coordinating Node 角色node3 在六个主副分片中随机选择三个分片，发送search被选中的分片会分别执行查询并拍寻，返回 from+size的文档id和排序值node3整合三个分片返回的from+size文档id，根据排...

分布式特性es 支持集权模式，是一个分布式系统，好处有二：增大系统容量，磁盘 内存 使得 es集群可以支持pb级别的业务提高系统可用性 即使部分节点停止服务 整个集群可以正常使用es集群由多个es实例组成不同的集群通过集群名称组成，通过 cluster.name 定义每个es实...

search api实现对es中存储的数据进行查询分析，endpoint为_search，如 GET /_search查询有两种形式URI searchRequest body search es 提供的完备的查询语法 Query DSL domain specific languageURI search通过url query参数来实现搜索，常用参数如下：q 指定查询的语...

Mappingmapping 类似数据库中的表结构定义，作用如下：定义index下字段名定义字段类型，例如数值型，字符串型等定义倒排索引的配置，例如是否为索引，记录position等自定义mappingmapping字段类型一旦设计后，禁止直接修改，因为其生成的倒排索引生成后不允许修改，...

倒排索引与正排索引正排索引类似书的目录由书的章节指向章节关键词es 中文档id 对应的单词倒排索引类似书的索引由内容的关键词指向页数es 单词对应文档id倒排索引的使用通过倒排索引获取关键词的文档id通过正排索引查出对应id文档返回文档内容倒排索引由 单词词典和...

术语说明document 用户在库中存储的数据，可以类比数据库中的一条数据index 具有相同字段的文档集合，可以类比与数据库中的tabletype 未来将会取消documentobject json类型的数据，里面可以包含多种类型的字段字符串： text keyword数值型： long short integer floa...

Connection to node 0 could not be established. Broker may not be available.

根据注释， 类Entry 是继承了WeakReference 弱引用类，用ThreadLocal 对象作为key，并且这个key 是弱引用的入参，当此key 对象不在被外部引用时，就会被垃圾回收，但是value 并不会被回收，它并不是若引用，只有 调用set remove rehash 方法时，判断key 为null 时，...

ThreadLocal中有四个常用方法：initalValuesetgetremoveinitalValue先看initalValue，这个方法有两个调用方式覆写initalValue {代码...} 注释说明，该方法在第一次调用 get 时触发。withInitial {代码...} 调用withInitial 需要传入 实现 Supplier<? extends S&gt...

注释写的很清楚，它是一个 hash map 的数据结构，用来持有本地线程变量 maintaining thread local values。也就是说，一个线程有本地一个 hashMap 对象，hashMap对象持有多个本地线程对象thread local values