spark context理解—TaskScheduler
笔记 / 2018年12月2日

  TaskScheduler作用是为创建它的SparkContext调度任务,即从DAGScheduler接受不同Stage的任务,并且向集群提交这些任务,并对未执行、特别慢的任务启动备份任务。主要由2部分组成: taskScheduler 任务调度:调度模式有FAIR和FIFO两种, 对应2种模式的队列存放taskset; SchedulerBackend: 是TaskSchedul…