Internals of MapReduce

  • Deep dive into the Hadoop MapReduce framework/框架结构

    • InputFileFormat
    • Mapper:地图 Reduce:减少
    • 抽象类
    • Record Reader and input split
    • Mapper
    • Partitioner/划分器
    • 把相同的关键字记录,赋予一个划分号
    • Shuffling and sorting/排序器,洗牌
    • Reducer
    • 通过http协议,读取,并行操作
    • 1.75 节点个数 每个节点上最大启动reduce的线程数
    • Combiner/微型reducer
    • 可以使得发送数据量减少
    • Output format
    • 关键字中的值输出的结果转换为hdfs需要的一行一行的值
  • YARN and MapReduce
  • MapReduce workflow in a Hadoop framework
  • Common MapReduce
最后修改:2021 年 04 月 21 日 09 : 50 AM
如果觉得我的文章对你有用,请随意赞赏