工作流设计

<p><span style="font-size:16px"><strong>概述</strong></span></p> <p>E-MapReduce工作流支持通过DAG的方式并行执行大数据作业,用户可以暂停、停止、重新运行工作流,还可以在Web UI查看工作流的执行状态。</p> <p>&nbsp;</p> <p><a name="新建工作流"><span style="font-size:16px"><strong>新建工作流</strong></span></a></p> <p><span style="font-size:16px"><strong>前提条件</strong></span></p> <p>您已成功创建项目,可参考创建项目。</p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="http://ocftcloud.com/console/hadoop/overview" target="_blank">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>数据开发</strong>,进入<strong>项目列表</strong>页面。</p> <p>3.&nbsp; 单击目标项目名称,进入<strong>项目管理</strong>页签。</p> <p>4.&nbsp; 切换至<strong>工作流设计</strong>,在<strong>工作流列表</strong>区域单击<strong>工作流</strong>。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708173058-13ff4b619bb3.png" style="height:314px; width:830px" /></p> <p>5.&nbsp; 弹出<strong>添加工作流</strong>对话框,根据如下信息,新建工作流。</p> <table border="1" cellpadding="0" cellspacing="0" style="width:808px"> <tbody> <tr> <td style="background-color:#ededed; vertical-align:top; width:132px"> <p><strong>配置项</strong></p> </td> <td style="background-color:#ededed; vertical-align:top; width:670px"> <p><strong>说明</strong></p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>所属项目</p> </td> <td style="vertical-align:top; width:670px"> <p>自动生成,无法编辑。</p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>所属文件夹</p> </td> <td style="vertical-align:top; width:670px"> <p>自动生成,无法编辑。</p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>工作流流名称</p> </td> <td style="vertical-align:top; width:670px"> <p>名称不能为空,且不超过20个字符,不能包含特殊字符。</p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>工作流描述</p> </td> <td style="vertical-align:top; width:670px"> <p>工作流的描述信息,不超过100个字符。</p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>执行集群</p> </td> <td style="vertical-align:top; width:670px"> <p>选择当前工作流运行的集群,必选一个。</p> </td> </tr> </tbody> </table> <p>6.&nbsp; 单击<strong>确认</strong>,进入目标工作流的编辑页面。&nbsp; &nbsp;</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192512145534-1957a734991d.png" style="height:494px; width:775px" /></p> <p>7.&nbsp; 拖拽控制节点中的<strong>开始</strong>节点,拖拽<strong>作业</strong>节点,将<strong>开始</strong>节点与<strong>作业</strong>节点连线,最后拖拽控制节点中的<strong>结束</strong>节点,将<strong>作业</strong>节点连线到<strong>结束</strong>节点,表示整个工作流设计完成。</p> <p>8.&nbsp; 单击<strong>保存</strong>。</p> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <p>保存完成后,保存按钮变暗,不可继续单击。</p> <p>&nbsp;</p> <p><a name="配置工作流"><span style="font-size:16px"><strong>配置工作流</strong></span></a></p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="http://ocftcloud.com/console/hadoop/overview" target="_blank">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>数据开发</strong>,进入<strong>项目列表</strong>页面。</p> <p>3.&nbsp; 单击目标项目名称,进入<strong>项目管理</strong>页签。</p> <p>4.&nbsp; 切换至<strong>工作流设计</strong>页签,在<strong>工作流列表</strong>区域单击目标作业后的<strong>︙</strong>图标,弹出操作选项框。</p> <p>5.&nbsp; 单击<strong>开始</strong>,进入目标工作流页签。</p> <p>6.&nbsp; 单击<strong>配置工作流</strong>,弹出<strong>工作流配置</strong>对话框。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708173425-166d63659380.png" style="height:461px; width:830px" /></p> <p>7.&nbsp; 根据如下信息进行配置:</p> <p><strong>基础设置:</strong></p> <table border="1" cellpadding="0" cellspacing="0" style="width:809px"> <tbody> <tr> <td style="background-color:#ededed; vertical-align:top; width:132px"> <p><strong>配置项</strong></p> </td> <td style="background-color:#ededed; vertical-align:top; width:671px"> <p><strong>说明</strong></p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>失败策略</p> </td> <td style="vertical-align:top; width:671px"> <p>设置当前工作流运行失败时的处理策略,支持以下方案:</p> <p>&bull;&nbsp;&nbsp;&nbsp; 仅完成当前运行的作业</p> <p>&bull;&nbsp;&nbsp;&nbsp; 取消所有作业</p> <p>&bull;&nbsp;&nbsp;&nbsp; 继续执行其它作业</p> </td> </tr> <tr> <td style="vertical-align:top"> <p>执行集群</p> </td> <td style="vertical-align:top"> <p>可以修改工作流的执行集群。</p> </td> </tr> </tbody> </table> <p><strong>调度属性</strong></p> <table border="1" cellpadding="0" cellspacing="0" style="width:809px"> <tbody> <tr> <td style="background-color:#ededed; vertical-align:top; width:132px"> <p><strong>配置项</strong></p> </td> <td style="background-color:#ededed; vertical-align:top; width:671px"> <p><strong>说明</strong></p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>调度状态</p> </td> <td style="vertical-align:top; width:671px"> <p>是否启动调度,开关打开将根据调度策略相关配置进行周期调度。</p> </td> </tr> <tr> <td style="vertical-align:top"> <p>调度策略</p> </td> <td style="vertical-align:top"> <p>支持时间调度和依赖调度。</p> </td> </tr> <tr> <td style="vertical-align:top; width:132px"> <p>时间表达式</p> </td> <td style="vertical-align:top; width:671px"> <p>目前仅支持时间调度,需配置时间表达式。</p> </td> </tr> <tr> <td style="vertical-align:top"> <p>所属项目</p> </td> <td style="vertical-align:top"> <p>调度状态打开,且调度策略选择依赖调度时,需要配置依赖的工作流所属项目。</p> </td> </tr> <tr> <td style="vertical-align:top"> <p>依赖工作流</p> </td> <td style="vertical-align:top"> <p>调度状态打开,且调度策略选择依赖调度时,需要配置依赖的工作流,选择选中项目下的工作流。</p> </td> </tr> </tbody> </table> <p><strong>告警设置</strong></p> <table border="1" cellpadding="0" cellspacing="0"> <tbody> <tr> <td style="background-color:#ededed; vertical-align:top"> <p><strong>配置项</strong></p> </td> <td style="background-color:#ededed; vertical-align:top"> <p><strong>说明</strong></p> </td> </tr> <tr> <td style="vertical-align:top"> <p>通知到告警组</p> </td> <td style="vertical-align:top"> <p>可选工作流执行失败、节点失败、执行成功时分别通知到告警组,告警组设置请参考告警管理。</p> </td> </tr> </tbody> </table> <p>8.&nbsp; 配置完成,单击<strong>确认</strong>。</p> <p><strong>说明:</strong></p> <ol> <li>开启时间调度的工作流设置完时间表达式后,在该范围内,系统会根据您设置的周期执行工作流。</li> <li>开启时间调度的工作流运行时,若有工作流依赖此工作流,则依赖的工作流在该工作流运行完成后也开始运行。</li> <li>依赖调度策略下,选中所属项目和依赖工作流后,选中的工作流将展示在依赖工作流下方的表格中,可对已添加的条目进行删除。</li> <li>依赖调度策略下,可随时查看当前选择完成后的依赖调度图。</li> <li>依赖调度策略下,若选中的工作流未开启调度状态或开启调度状态且为时间调度策略,则不支持添加更多依赖工作流。</li> <li>依赖调度策略下,若选中的工作流开启调度状态且为依赖调度策略,则仍可继续添加如下类型的工作流:</li> </ol> <ul> <li>选中工作流的祖先工作流</li> <li>选中工作流的子辈工作流,不包含当前工作流及其子辈工作流。</li> </ul> <p>&nbsp;</p> <p><a name="执行工作流"><span style="font-size:16px"><strong>执行工作流</strong></span></a></p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; 登录<a href="http://ocftcloud.com/console/hadoop/overview" target="_blank">E-MapReduce控制台</a>。</p> <p>2.&nbsp; 单击左侧导航栏<strong>数据开发</strong>,进入<strong>项目列表</strong>页面。</p> <p>3.&nbsp; 单击目标项目名称,进入<strong>项目管理</strong>页签。</p> <p>4.&nbsp; 切换至<strong>工作流设计</strong>页签,在<strong>工作流列表</strong>区域单击目标作业后的<strong>︙</strong>图标,弹出操作选项框。</p> <p>5.&nbsp; 单击<strong>开始</strong>,进入目标工作流页签。</p> <p>6.&nbsp; 单击<strong>运行</strong>。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708173607-152fca0b9b76.png" style="height:461px; width:830px" /></p> <p><strong>说明:</strong>工作流运行后,单击项目详情的<strong>运行记录</strong>页签,可以查看工作流实例的运行状态。单击工作流实例对应的<strong>详情</strong>,可以查看作业实例的运行情况,也可以暂停、恢复、停止和重跑工作流实例。&nbsp;</p> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <p>&bull;&nbsp;&nbsp;&nbsp; 在目标工作流页面下方,提示操作成功。</p> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192708173622-1116f6b4977c.png" style="height:46px; width:239px" /></p> <p>&bull;&nbsp;&nbsp;&nbsp; 在运行记录中可查看到运行信息。</p> <p>&nbsp;</p> <p><a name="查看运行记录"><strong><span style="font-size:16px">查看运行记录</span></strong></a></p> <p>运行记录下可以查看工作流记录和手动运行作业记录。</p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1.&nbsp; &nbsp;登录<a href="https://www.ocftcloud.com/console/hadoop/overview">E-MapReduce控制台</a>。</p> <p>2.&nbsp; &nbsp;单击左侧导航栏<strong>数据开发</strong>,进入<strong>项目列表</strong>页面。</p> <p>3.&nbsp; &nbsp;单击目标项目名称,进入<strong>运行记录</strong>页签。</p> <p>4.&nbsp; &nbsp;进入<strong>工作流记录</strong>页签,可按照工作流ID/名称、开始时间和状态进行查询。</p> <p>5.&nbsp;&nbsp;&nbsp;切换至<strong>手动运行作业记录</strong>页签,可查看和操作手动运行的作业记录。</p> <p>&nbsp;</p> <p><a name="删除工作流"><span style="font-size:16px"><strong>删除工作流</strong></span></a></p> <p>若您确定不再需要某个工作流时,可在工作流列表界面将该工作流进行删除。如果工作流被其它工作流依赖,删除该工作流将会影响依赖该工作流的其它工作流的运行,请慎重操作。</p> <p><span style="font-size:16px"><strong>操作步骤</strong></span></p> <p>1. 登录<a href="https://www.ocftcloud.com/console/hadoop/overview">E-MapReduce控制台</a>。</p> <p>2.&nbsp;单击左侧导航栏<strong>数据开发</strong>,进入<strong>项目列表</strong>页面。</p> <p>3.&nbsp;单击目标项目名称,进入<strong>项目管理</strong>页签。</p> <p>4.&nbsp;切换至<strong>工作流设计</strong>页签,在<strong>工作流列表</strong>区域单击目标作业后的<strong>︙</strong>图标,弹出操作选项框。</p> <p>5. 单击<strong>删除</strong>。</p> <p>6. 弹出<strong>删除工作流</strong>对话框,点击<strong>确定</strong>,若工作流被依赖,则需要二次确认删除,完成删除操作。</p> <p><span style="font-size:16px"><strong>执行结果</strong></span></p> <ul> <li>在工作流设计页面下方,提示操作成功。</li> </ul> <p><img src="https://obs-cn-shanghai.ocftcloud.com/pacloud/20192012151805-11fd18f693eb.png" style="height:46px; width:239px" /></p> <ul> <li>依赖该工作流的工作流运行失败。</li> </ul>
以上内容是否解决了您的问题?
请补全提交信息!
联系我们

电话咨询

400-151-8800

邮件咨询

fincloud@ocft.com

在线客服

工单支持

解决云产品相关技术问题