深入浅出Hadoop YARN
发布时间:2019-01-26 12:47:40 所属栏目:教程 来源:终日而思一
导读:一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中,MapReduce 的 JobTracker 负责了太多的工作,包括资源调度,管理众多的 TaskTracker 等工作。这自然是不合理的,于是 Hadoop 在 1.0 到 2.0 的升级过程中,便将 JobTracker 的资源调度工作独立了出来,而这
要解决这些问题,只能将 jobTracker 进行拆分,将其中部分功能拆解出来。彼时业内已经有了一部分的资源管理框架,比如 mesos,于是照着这个思路,就开发出了 Yarn。这里多说个冷知识,其实 Spark 早期是为了推广 mesos 而产生的,这也是它名字的由来,不过后来反正是 Spark 火起来了。。。 (编辑:92站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐
热点阅读