Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程

  • 时间:
  • 浏览:0
  • 来源:彩神欢乐生肖_神彩欢乐生肖官方



图1 appArgs = new SparkSubmitAarguments(args)参数

在运行Spar应用线程时,会将spark应用线程打包后使用spark-submit脚本提交到Spark中运行,执行提交命令如下:



图2 任务提交时设置的参数,

进入submit法律依据 :

mainMethod.invoke(null, childArgs.toArray)法律依据 执行完毕后,进入SparkWordCount的main法律依据 ,执行Spark应用线程,如下图



至此,正式完成Spark应用线程执行的提交。

从上方的代码都必须就看,最终调用的是runMain法律依据 ,其源码如下:

为弄清楚整个流程,亲戚亲戚朋友先来分析一下spark-submit脚本,spark-submit脚本内容如下:

作者:摇摆少年梦

微信号: zhouzhihubeyond

从上述代码中,都必须就看,通过org.apache.spark.launcher.Main类启动org.apache.spark.deploy.SparkSubmit的执行,SparkSubmit要素源码如下:

spark-class脚本会加载spark配置的环境变量信息、定位依赖包spark-assembly-1.5.0-hadoop2.4.0.jar文件(以spark1.5.0为例)等,就让再调用org.apache.spark.launcher.Main正式启动Spark应用线程的运行,具体如下: