关于Reduce端的Shuffle,叙述错误的是()。


关于Reduce端的Shuffle,叙述错误的是()。

A、Reduce端将属于自己的分区数据从Map端复制到本地缓冲区

B、当缓冲区中的数据量达到阈值时,会进行溢写操作

C、归并操作多个溢写文件将被归并为一个溢写文件,同时对<key,value>进行排序。经过多轮归并后最终形成一个大文件作为Reducer程序的输入

D、如果设置了Combiner,还会对归并后的数据进行合并操作

正确答案:归并操作多个溢写文件将被归并为一个溢写文件,同时对<key,value>进行排序。经过多轮归并后最终形成一个大文件作为Reducer程序的输入


Tag:操作 文件 数据 时间:2024-05-29 09:28:00