题目内容
(请给出正确答案)
[填空]
Map Reduce中,被分派到map任务的Worker程序读取相关的输入分片,从输入分片中解析出(key,value)然后把(key,value)传递给用户自定义的()。
查看答案
关于Hadoop Map Reduce,以下描述中正确的是()。
A、reduce()函数的输入是value集
B、reduce()函数将最终结果写到HDFS系统中
C、用户可以自己定义reduce()函数
D、reduce()函数的输入数据是经过map()函数处理之后的数据
A、合并value值,形成较小集合
B、采用迭代器将中间值提供给reduce函数
C、map()函数处理后结果才会传输给reduce()
D、内存中不会存储大量的value值
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,将Job中间输出结果可以保存在()中,从而不再需要读写HDFS。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。