AWS原型制作如何帮助ICL

如何利用 AWS 原型开发帮助 ICL 集团构建计算机视觉模型

由 Dr Markus Bestehorn David Abekasis Ion Kleopas 和 Miron Perel 于 2023 年 12 月 14 日发表于 Amazon SageMaker

文章重点

在本文中，我们将探讨 ICL 集团如何利用 AWS 的原型开发计划，在 Amazon SageMaker 上构建和维护计算机视觉解决方案。这项技术的应用旨在提高矿山设备的效率，减少资源浪费。同时，我们还会详细介绍建设中所采用的方法和技术细节。

ICL 集团是一家总部位于以色列的多国制造和采矿企业，专注于基于独特矿物的产品制造，满足人类在农业、食品和工程材料等三大市场中的基本需求。由于其矿山作业环境极其恶劣，机械故障可能导致收入损失甚至环境损害，让对机器的持续监控变得至关重要。安装传感器进行远程监控较为困难，因此，大多数设备依赖于现场工人进行手动或视觉检测，这一流程变得成本高昂且难以扩展。

为了克服这一挑战，ICL 决定内部开发利用机器学习ML进行计算机视觉CV的能力，以自动监控他们的采矿机器。但如同许多传统矿业公司，ICL 拥有的数据科学、CV 和 ML 技能资源有限。

在本文中，我们将讨论以下内容：

借助本文所述的方法，ICL 能够利用 Amazon SageMaker 开发一个框架，根据约 30 台摄像机提取的影像来建构其他用例，并有潜力扩展到数千台摄像机。

通过 AWS 原型开发构建内部能力

构建和维护针对商业关键工作负载的 ML 解决方案需要具备相应技能的员工。因为要将对商业流程的内部知识与技术解决方案的构建相结合，外包通常行不通。因此，ICL 寻求 AWS 的支持，以在实现 CV 解决方案的同时获得必要的技能。

AWS 原型开发是 AWS 提供的一项投资计划，其中 AWS 将专家嵌入客户的开发团队，共同构建关键的用例。在为期 3 到 6 周的过程中，客户开发团队在 AWS 专家的协助下，逐步学习 AWS 的技术并构建用例。客户需要 3 到 7 名开发人员，全心投入到此用例的构建中。在这段时间内，AWS 专家将全力支持客户团队，并以远程或现场方式进行合作。

ICL 的计算机视觉用例

在原型开发过程中，ICL 选择了监控矿筛机的用例。筛机是一种大型工业采矿机器，用于处理溶于水中的矿物，水流从机器顶部到底部分为几个通道。每个通道的进水流量都需要被个别监控，当进水流量耗尽时，称作溢流，这表明机器超负荷运行。溢出的进水将导致矿物未被筛机处理而流失，这需要通过调节流量来避免。如果没有 ML 解决方案，就需要人为监控这一溢流过程，可能会延迟观察到问题并进行处理。

以下图片展示了 CV 模型的输入和输出。左侧为原始摄像头图像，中间为使用语义分割模型处理后的图像检测不同通道，右侧则为模型估算的覆盖范围白色和溢流部分红色。

尽管原型开发聚焦于一种机器，但通过使用摄像机自动处理其图像的这一普遍方法，ICL 能够将原型开发中获得的专业知识应用于其他地点和机型上，并在不依赖第三方支持的情况下维护 ML 模型。在开发过程中，AWS 专家与 ICL 开发团队每天召开会议，逐步共同开发解决方案。ICL 的数据科学家要么独立完成指派的工作，要么在 AWS ML 专家的支持下进行配对编程。这种方法不仅使 ICL 的数据科学家能够获得使用 SageMaker 系统开发 ML 模型的经验，还能将这些模型嵌入应用程序中，并自动化此类模型的整个生命周期，包括自动重新训练或模型监控。经过 4 周的合作，ICL 能在 8 周内将模型投入生产，而无需进一步支持，并且自那时以来已经为其他用例构建了模型。本文将在下一节中介绍这一参与的技术方法。

使用 SageMaker 的 CV 模型监控矿筛机

SageMaker 是一个全托管的平台，涵盖 ML 模型的完整生命周期：提供支持团队从 Amazon SageMaker Ground Truth 标记数据到训练和优化模型，并提供生产用的 ML 模型托管服务。在原型开发前，ICL 已安装摄像机并获取了如上图所示的图像最左侧的图像，并将其存储在 Amazon S3 存储桶中。在模型可以训练之前，必须生成训练数据。ICL 与 AWS 的联合团队在三个步骤中解决了这个问题：

使用 SageMaker Ground Truth 中的 语义分割标记任务 对数据进行标记，如下图所示。使用影像增强技术对标记图像进行预处理，以增加数据样本的数量。将标记图像分割为训练集、测试集和验证集，以便在训练过程中充分测量模型的性能和准确度。

为了实现 ML 工作负载的生产规模，这些步骤的自动化至关重要，以维护训练输入的质量。因此，当使用 SageMaker Ground Truth 标记新的图像时，预处理和分割的步骤会自动执行，生成的数据集会存储在 Amazon S3 中，见下图展示的模型训练流程。同样，模型部署流程也使用 SageMaker 的资源，在有更新模型时，自动更新端点。

ICL 使用多种方法将 ML 模型实施到生产中。其中一些方法涉及他们目前名为 KNIME 的 AI 平台，该平台使他们能够快速将在开发环境中开发的模型部署到生产中。对使用 KNIME 及 AWS 服务的几种组合进行了分析，最终选择前述架构最适合 ICL 的环境。

SageMaker 的语义分割内置算法 被用来训练筛选网格区域的分割模型。选择这一内置算法而不是自建容器，能使 ICL 不必处理维护卷积神经网络CNN的繁琐工作，同时得以使用 CNN 来实现其用例。经过对不同配置和参数的实验，ICL 在原型开发的一周内使用了全卷积网络FCN算法及金字塔场景解析网络PSPNet来训练模型。

模型训练完成后，需要将其部署以便于进行筛选器监控。与模型训练相应，这一流程也是完全自动化的，并使用 AWS Step Functions 和 AWS Lambda 进行编排。在模型从 SageMaker 端点成功部署后，来自摄像头的图像会被调整大小以符合模型的输入格式，然后通过 Lambda 函数输入到端点进行预测。语义分割预测的结果以及溢流检测结果将存储在 Amazon DynamoDB 和 Amazon S3 中，供下游分析使用。若检测到溢流，则可以使用 Amazon Simple Notification ServiceAmazon SNS或 Lambda 函数自动减少溢流并控制受影响筛选器的对应通道。下图展示了这一架构。

结论

本文介绍了 ICL 这家以色列矿业公司如何利用摄像机开发自有的计算机视觉解决方案，以实现矿山设备的自动监控。我们首先从面向赋能的组织观点探讨如何应对这一挑战，接著详细说明了如何利用 AWS 构建模型。虽然监控的挑战对于 ICL 来说可能是独特的，但与 AWS 专家一起构建原型的一般方法则可以应用于类似挑战，特别是对于缺乏必要 AWS 知识的组织。

如果您想学习如何构建您的用例的生产规模原型，请联系您的 AWS 客户团队，讨论原型开发的可能性。

作者介绍

Markus Bestehorn 目前领导 AWS 在德国、奥地利、瑞士和以色列的客户工程和原型团队。他拥有计算机科学的博士学位，专注于构建复杂的机器学习和物联网解决方案。

David Abekasis 是 ICL 集团的数据科学团队负责人，对数据分析和机器学习的教育充满激情，并致力于解决业务挑战。他持有数据科学硕士学位及MBA学位，曾有幸在精准农业领域研究空间和时序数据。

Ion Kleopas 是一名高级机器学习原型架构师，拥有数据科学及大数据硕士学位。他帮助 AWS 客户通过与技术团队共同开发具有挑战性的机器学习用例的原型来建立创新的 AI/ML 解决方案，为客户通往生产的道路铺平。

Miron Perel 是亚马逊网路服务的首席机器学习业务发展经理。他为正在构建下一代模型的生成型 AI 公司提供建议。