0x0 Kafka运维命令1.连接zk由于kafka的各种元数据都存储在zk，要连接kafka集群也要通过zk获取各个broker的ip端口然后连接broker。因此，大多数kafka自带的运维命令都要指定zk的地址，比如用kafka-to

算子reduceBykeyval dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3))) val dataRDD2 = dataRDD1.reduceByKey(_+_)

0x0.Standalone模式快速上手 #解压缩 tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module #修改flink/conf/flink-conf.yaml配置文件 job

本文主要介绍了processAPI的使用与实战,状态的后端的内存管理,RockSDB的进阶

0x0.Flink的应用Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 1.处理无界和有界数据任何类型的数据都可

Spark内核 所谓的内核，就是Spark内部核心原理。 一、内核解析的分解 Spark应用的提交 Spark内部的通信 Spark作业的调度 任务的执行 spark内存管理 二、 SparkSubmit--本章节讲述job提交应用以