题目内容
(请给出正确答案)
[填空]
Map Reduce中,不需要将这R个输出文件合并成一个文件,主要原因在于在实际应用中这些文件往往作为()或者在处理多个分制文件的分布式应用中继续使用。
查看答案
关于Hadoop Map Reduce,以下描述中正确的是()。
A、reduce()函数的输入是value集
B、reduce()函数将最终结果写到HDFS系统中
C、用户可以自己定义reduce()函数
D、reduce()函数的输入数据是经过map()函数处理之后的数据
A、合并value值,形成较小集合
B、采用迭代器将中间值提供给reduce函数
C、map()函数处理后结果才会传输给reduce()
D、内存中不会存储大量的value值
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,将Job中间输出结果可以保存在()中,从而不再需要读写HDFS。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。