简单描述Shuffle过程环形缓冲区的作?？
简单描述Shuffle过程环形缓冲区的作?？
正确答案：数据从map（）输出，经过Partitioner分区操作，在进?环形缓冲区。默认情况下，环形缓冲区??值为100MB。当map输?的数据进?环形缓冲区的量达到80MB以上时，那么开始执?溢写过程，溢写过程中如果有其他数据进?，那么由剩余的百分之20反向写?，最终溢写?件经过合并、排序后落?本地磁盘。
Tag：Hadoop应用基础 缓冲区 环形
时间：2024-02-17 14:59:25