spark 任务提交到集群执行的流程
笔记 / 2018年12月1日

Spark任务怎么提交到worker集群执行? Spark 应用程序从编写到提交、执行、输出的整个过程如下图所示,图中描述的步骤如下: 1)         用户使用SparkContext提供的API(常用的有textFile、sequenceFile、runJob、stop等)编写Driver application程序。程序先离线被打成Jar包存储起来等待被加载执行,存储的位置有3种: fi…