Hadoop下的数据存储格式LZO0x1 为什么要使用压缩技术?压缩技术能够有效减少底层存储系统(HDFS)读写字节数. 压缩提高了网络带宽和磁盘空间的效率 MR中的场景 (I/O,网络数据传输,Shuffle,Merge) 用CPU换I/

0x1 Long累加器的使用object selfAccumulator { def main(args: Array[String]): Unit = { val sc = new SparkContext

1.Yarn Client提交源码爱护生命,少肝源码! 1.任务的提交==程序起点== spark-submit.cmd ==脚本启动== bin/spark-submit --class WordCount --master yarn -

SparkStreaming_Case_总结工具类是必须要学习记忆的 同时要按照工业化流程写程序 1.配置文件#JDBC配置 jdbc.datasource.size=10 jdbc.url=jdbc:mysql://hadoop102:

云盘：miaochuanhai@163.com暗

0x1 spark概述1.历史在之前的学习中，Hadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里就不得不提到Spark和Hadoop的关系。 首先从时间节点上来看: Hadoop