0
现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，993个task都在1分钟之内执行完了，但是剩余两7个task却要一两个小时。 原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，一般是业务代码造成的。这种情况比较少见。 原理 在进行shuffle的时候，会将各个节点上相同的key拉取到某个节点上的一个task来进行处理，…