作业管理

<p>作业管理是E-MapReduce提供的一个简单的作业管理平台,目前仅支持MapReduce作业类型。</p> <p><a id="创建作业" name="创建作业"><strong><span style="font-size:18px">创建作业</span></strong></a></p> <p>本文介绍E-MapReduce作业管理中创建作业的流程,通过本文,您可快速了解如何创建一个MapReduce wordcount作业。</p> <p><span style="font-size:16px"><strong>前提条件</strong></span></p> <p>您已成功创建集群,可参考<a href="#创建集群">创建集群</a>。</p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="https://www.ocftcloud.com/console/hadoop/overview">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>作业管理</strong>,进入<strong>作业管理</strong>页面。</p> <p>3.&nbsp; 选择目标地域,单击右上角<strong>创建作业。</strong></p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708174630-101d9b19931d.png" style="height:335px; width:830px" /></p> <p>4.&nbsp; 进入<strong>创建作业</strong>页面,根据如下信息,创建作业。</p> <table border="1" cellpadding="0" cellspacing="0" style="width:1158px"> <tbody> <tr> <td style="background-color:#ededed; vertical-align:top; width:169px"> <p><strong>配置项</strong></p> </td> <td style="background-color:#ededed; vertical-align:top; width:983px"> <p><strong>说明</strong></p> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>名称</p> </td> <td style="vertical-align:top; width:983px"> <p>作业的名称:</p> <ul> <li>只能输入数字字母下划线,且首字符只能为数字或者字母。</li> <li>字符数不超过32。</li> </ul> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>集群</p> </td> <td style="vertical-align:top; width:983px"> <p>选择目标集群。</p> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>类型</p> </td> <td style="vertical-align:top; width:983px"> <p>作业类型,选择 MapReduce。这种类型的作业,其后台实际上是通过以下的方式提交的 Hadoop 作业:hadoop jar xxx.jar [MainClass] -Dxxx ....</p> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>执行路径</p> </td> <td style="vertical-align:top; width:983px"> <p>运行当前作业需要提供的资源jar包路径,该jar包路径可以是E-MapReduce HDFS宿主机上的一个绝对路径,也可以是OBS上的路径。放在E-MapReduce HDFS上的jar包会随着集群的释放而变得不可用,推荐将资源先上传至OBS,再在此处选中OBS,并将该资源的OBS路径按格式粘贴到文本框中,即可直接在作业中引用该资源。</p> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>配置参数</p> </td> <td style="vertical-align:top; width:983px"> <p>填写作业运行的命令行参数,例如:wordcount。</p> </td> </tr> <tr> <td style="vertical-align:top; width:169px"> <p>输入数据路径和输出数据路径</p> </td> <td style="vertical-align:top; width:983px"> <ul> <li>MapReduce作业要读取数据,并输出处理结果,则需要指定数据的 input 路径和 output 路径。</li> <li>用户可以读写E-MapReduce集群HDFS上的数据,同样也可以读写OBS上的数据。</li> <li>如果需要读写 OBS 上的数据,只需要在填写 input 路径和 output 路径时,数据路径写成OBS上的路径地址。</li> </ul> </td> </tr> </tbody> </table> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20191104110552-1ba74b289e44.png" style="height:455px; width:830px" /></p> <p>5.&nbsp; 单击<strong>确认</strong>。</p> <p><strong>说明:</strong></p> <ul> <li>作业一旦创建完成就无法被修改,在创建时请仔细确认需要的信息。</li> <li>&nbsp;一个新作业可以在任何时候被创建,目前被创建的作业只可以在所创建的区域内被使用。</li> </ul> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <p>创建完成后,在作业管理页面可查看到刚刚创建的作业。</p> <p>&nbsp;</p> <p><a name="导出作业"><strong><span style="font-size:18px">导出作业</span></strong></a></p> <p><span style="font-size:16px"><strong>前提条件</strong></span></p> <p>您已成功创建作业,可参考<a href="#创建作业">创建作业</a>。</p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="https://www.ocftcloud.com/console/hadoop/overview">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>作业管理</strong>,进入<strong>作业管理</strong>页面。</p> <p>3.&nbsp; 选择目标地域,在目标作业操作列单击<strong>导出</strong>。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708174928-1b0886ae9b65.png" style="height:216px; width:830px" /></p> <p>4.&nbsp; 弹出<strong>导出</strong>对话框,输入文件名称,选择需要导入的OBS Bucket。</p> <p>5.&nbsp; 单击<strong>确认</strong>。</p> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <p>导出完成后,您可以在OBS中查看导出的文件,OBS路径可在<strong>任务详情</strong>中查看。</p> <p>&nbsp;</p> <p><a name="删除作业"><span style="font-size:18px"><strong>删除作业</strong></span></a></p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="https://www.ocftcloud.com/console/hadoop/overview">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>作业管理</strong>,进入<strong>作业管理</strong>页面。</p> <p>3.&nbsp; 选择目标地域,在目标作业操作列单击<strong>删除</strong>。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708175043-12e156809960.png" style="height:214px; width:830px" /></p> <p>4.&nbsp; 弹出<strong>删除</strong>对话框,单击<strong>确认</strong>。</p> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <p>删除完成后,<strong>作业管理</strong>列表中无法查看到删除后的作业信息。</p> <p>&nbsp;</p>
以上内容是否解决了您的问题?
请补全提交信息!
联系我们

电话咨询

400-151-8800

邮件咨询

fincloud@ocft.com

在线客服

工单支持

解决云产品相关技术问题