译者 | 仇凯
审校 | 梁策 孙淑娟
客户体验是线上零售的重要优势，无需排队、没有延迟、采购便捷。但根据Forrester研究报告，由于人们希望在购买前充分了解产品，或只是不喜欢等待商品运输的过程，美国72%的零售消费仍然依靠实体店面。
目前，无人售货的创意方案在亚马逊无人便利店(Amazon Go)、乐购(Tesco)、沃尔玛(Walmart)等场所得到了落地，通过计算机视觉技术实现自动结账是无人售货的成功案例。但是，一些店主想要建立全新的线下门店渠道来开展他们的业务，而这就需要一个集成的软件基础架构，并涉及开发和财务方面的问题。
在本文中，我们将分析实体店如何通过计算机视觉系统实现无人售货。我们将分析其工作原理，自动结账的选择，以及现有挑战。
一、用于实体零售的计算机视觉自动结账系统
大多数店内操作，如货架管理、结账或产品称重，都需要人工监督。人员生产力是零售商的基本绩效指标，也极易成为店内操作的瓶颈，同时也是客户感到厌烦的主要因素。
也就是说，排队结账是客户和零售商双方共同的痛点。此外，除了排队，实际的人力成本也是财务的繁重负担。那么，计算机视觉如何解决这些问题呢?
计算机视觉(Computer vision，CV)是一种人工智能技术，它使机器能够从图像中提取有价值的信息。计算机视觉的核心是模仿人类的视觉。类似于眼睛，计算机视觉依赖于摄像头传感器捕捉环境信息。然后，一个底层神经网络(类似大脑)将识别商品、它们在货架中的位置，或者其他特别属性(例如将百事可乐罐与胡椒博士(美国的一种汽水饮料)罐区分开)。
这是我们了解计算机视觉如何适应实体零售任务的基础，因为它可以识别位于货架中的商品。这些商品可以放在货架上，也可以由顾客携带。这让我们无需使用条码扫描、收银机操作或自助结账机来完成自动结账任务。
尽管计算机视觉在复杂性和预算方面的实现存在显著差异，但有两种常见的场景可以展示计算机视觉用于自动化零售的方式。因此，首先让我们看看如何构建全店自动化。
二、人工智能驱动的自动结账：全店自动化
自动结账有许多不同的名字：“无收银员”、“即拿即走”、“免结账”等。在亚马逊、乐购甚至沃尔玛的购物体验中，在此类商店购物时系统会检查商品，并在商品随顾客离开商店时自动结账。这个简单的过程就是它的基本工作场景。
购物环节开始。像亚马逊这样的商店通过旋转门扫描二维码启动购物。此时，系统会将亚马逊用户资料和数字钱包与实际进入商店的顾客进行匹配。
人员检测。这一步是通过计算机视觉摄像头完成的对人和物体的识别和跟踪。简单来说，摄像头会识别顾客的身份，一旦有商品被顾客从货架上取下来，系统就会将其放入虚拟购物车中。一些商店使用数以百计的摄像头全方位覆盖并监控商店的所有区域。
商品识别。一旦顾客从货架上取下商品并随身携带，相机就会捕捉到这个动作。在将视频中的商品图像与零售商数据库中的实际商品进行匹配后，商品将放入虚拟购物车中。
结账。商品采购结束后顾客可能会离开商店。当顾客离开摄像头覆盖的区域时，计算机视觉系统就会将其视为购物结束。这将触发系统计算商品总金额，并从顾客的数字钱包中扣除相应的金额。
从顾客的角度来看，这样的系统代表了与在线商店相似的购物体验，特别是不需要排队结账。进入商店，找到你想要的商品，取下，然后离开。但是，为了给客户提供完全的自主权，并覆盖所有的应用场景，我们需要在技术上解决大量的问题。那么，自动结账有什么复杂之处呢?
三、建立人工智能的无人售货商店，挑战何在?
顾客行为是无法预测的，而我们将为数十人面对数千种商品的购买行为进行检查并提供自动结账服务，这就给计算机视觉系统带来了诸多挑战：
1.持续追踪顾客购买行为
当顾客进入商店时，系统应该能够沿着顾客的购物路线持续追踪其购买行为。我们需要知道是同一位顾客在商店的不同地方取走了商品。在拥挤的商店中，持续追踪顾客会变得很困难。因为不允许使用人脸识别，模型就应该通过人的外表来识别身份。那么，如果有人脱下外套，或者肩上扛着孩子，又会怎样呢?
为了实现持续追踪，我们需要为摄像头提供100%的区域覆盖以检测跨越不同区域的顾客。摄像头要放置在不同的角度，此外还需要传感器来反馈它们的准确位置，这样我们就可以使用这些数据更准确地追踪物体。
2.解决“谁拿走啥”的问题
除了顾客，还有商品的问题。顾客在购物时并不是一直走直线路线，他们可能会移动商品，闻闻气味再放回去，然后去另一个货架。尤其是当一个货架上有多位顾客时，系统模型很难识别是哪位顾客取走了商品，以及顾客是否真的想要购买取走的商品。
亚马逊通过部署人体姿态检测系统和人体行为检测系统来分析顾客的行为意图。这基本上是人工智能与计算机视觉结合的另一种方式。它的作用是测量顾客的位置和运动，预测顾客取走了什么商品，以及该商品是否被购买。
这解决了货架上有多个顾客的问题，且在相机被遮挡时，也有助于识别是哪位顾客取走了哪些商品。
3.识别相似的商品
此外，我们还需要处理商品包装相似的问题。有些商品的外观差异很小，这使得系统模型很难获取商品的所有细节，尤其是当画面中有障碍物，或者商品在快速移动时。我们可以通过训练模型并使用具有更高分辨率和帧速率的摄像头来识别细节以解决这个问题。
虽然使用自动结账看起来优势很多，但这种系统异常复杂。对一家技术优先的公司来说可能不是问题，但对于普通零售商来说，这种自动化带来的收益恐怕会被人工智能的成本负担削弱。这就是为什么采用基于计算机视觉的部分自动化可能更契合普通零售商的场景需求。
四、自动售货机商店的部分自动化
我们可以在店内或其他室内外位置放置自动售货机，这就可以很好地解决追踪全店所带来的问题。自动售货机可以用带有玻璃门的货架或配备计算机视觉摄像头的普通冰箱来执行购买流程。通过安装二维码扫描器，我们可以将结账流程最小化到单个冰箱的位置。因此，这个设想的流程也很简单：
购物环节开始。一旦有人接近并打开冰箱，购物环节就开始了。如果冰箱门是关闭的，可以通过移动应用程序扫描二维码来开始购物行为。在普通货架的场景中，摄像头可以追踪从货架中取下的商品以启动购物环节。
创建虚拟购物车。当顾客扫描二维码时，系统就会收到为该客户创建购物车的信号。
商品识别。摄像头可以安装在自动售货机的内部或外部。内部摄像头需要追踪取出/放回的商品。外部摄像头需要追踪打开冰箱的操作，就像使用普通货架一样。两种类型的摄像头都可以捕获商品并将其放入购物车。
由于顾客可能会检查多个商品并将商品从一侧移动至另一侧，因此计算机视觉摄像头还可以追踪货架旁的顾客。这将帮助我们验证购买的是同一位顾客，而非站在附近的另一位顾客。
商品验证。当商品被取走时，系统会将商品的图像与数据库中的图像进行比对并获取商品价格。此外，我们可以在库存管理系统中自动更新商品数量。
编辑购物清单。一旦商品被取走，系统会将其发送到顾客智能手机中的购物车或展示在冰箱的显示面板上。此时，顾客可以修改购物清单，然后进行付款。
结账。在移动应用程序和扫描二维码的场景中，关闭冰箱可能是完成购买并从数字钱包中扣款的触发条件。但是，这里也可能安装一个POS终端以允许信用卡支付。至此，购物完成，顾客就可以离开商店了。
尽管它看起来是自动结账系统相对较弱的替代品，但自动售货机可以轻松扩展以实现整个商店的自动化。这在客户体验方面略有不同，且仅需要较少的开发工作和预算。
模块自动化的概念可以应用于许多场景。除了超市和杂货店，计算机视觉售货服务也可以安装在食品服务场所或咖啡店。
五、食品免结账服务
餐厅、咖啡厅和食堂经常使用自助餐服务系统，例如餐具柜，顾客可以从中选择盛装好的菜肴。顾客将盘子放在托盘上，然后系统需要检查他们的订单，这可能就是计算机视觉信息服务处理的。
位于后端的机器学习模型可以被训练为能够识别放置在托盘上的盘子和其他商品以启动结账流程。这个想法可以通过摄像头来设计成一种结账服务，其中摄像头负责扫描订单。实际支付可以通过普通的POS终端或使用移动应用程序和数字钱包完成。
无收银员操作的概念在星巴克发挥到了极致。通过使用亚马逊的系统，星巴克成为第一家即拿即走咖啡店。客户可以通过移动应用程序下订单，然后来店里喝咖啡，就像亚马逊无人售货商店那样进行结账。然而，开展计算机视觉项目需要具备专业知识，具体来说，需要数据科学和机器学习的专业知识。
所以，现在让我们来聊聊基于计算机视觉的自动化结账，你需要了解什么。
六、如何处理基于人工智能的结账流程?
根据经验，创建用于零售自动化的计算机视觉系统需要很多步骤。我们将专注于基于智能冰箱的零售领域，因为这是最易于接受和用途最广泛的售卖方式。
1.收集需求
首先，我们需要详细了解相关的商业案例：
首选的零售自动化方法。配备智能冰箱或其他类型的自动售货机可能需要对商店全局进行少量改造，在改造的同时需要保持易于扩展的需求。全面的商店自动化主要需要改变场地布局，以及需要类似旋转门这样的额外硬件，这对大多数店主来说是重要的成本负担。
店铺规模。自动售货机的安装数量需要涵盖商店的所有库存并满足商品多样性的需求。因此，店铺规模将决定你需要多少台自动售货机，以及部分智能冰箱在店铺内的布局。
需要识别的商品数量。与其他机器学习项目一样，计算机视觉系统需要经过训练才能识别商品。一个冰箱可能包含20到50种不同的商品，所以我们应该考虑这些数字，因为它将决定需要多长时间来训练计算机视觉系统。
现有的基础设施。在大多数情况下，实体店铺在库存管理、销售点和财务之间缺乏足够的资源整合。但是，计算机视觉系统将需要访问商店数据来自动更新销售数据和商品库存。因此，在考虑该项目的需求时，检查现有基础设施是另一个需要评估的因素。
此外，假设单个冰箱可以包含35件商品，我们也需要关注这些数字。
2.数据收集
计算机视觉是一种人工智能技术。这意味着，我们需要数据对其训练才能识别商品。这些数据用于模型训练，以识别货架中的不同商品，以及识别顾客及其取走的商品。
为商品识别收集数据的最佳方式是在不同角度和光线条件下将每个商品记录在视频中。将这些视频按商品进行分类，以确保系统能够自动对货架中的商品进行标记并形成对应的标签。通常建议在收集数据时，尽可能接近真实用户的观察方式。
建立了自动结账的工作模型后，我们将需要每秒60帧图像信息。这是确保模型快速运行的必要条件。帧率越高，图像越平滑，我们可以从中提取的细节越多。
3.模型训练
下一步是训练。一旦我们收集到所有的视频记录，机器学习专家将为模型训练做好准备。这个过程可以分为两个任务。
(1)准备数据
意味着我们需要将所有视频帧分割成单独的图像，并标记我们需要检测的商品。简而言之，我们从一分钟长的视频中提取60张照片，并在目标对象周围绘制边界。
(2)选择算法
算法是一种数学模型，它从给定的数据中学习图案以进行预测。对于对象识别等任务，有现成的工作算法可用于构建模型。所以我们这里的任务是选择一个合适的算法，并将我们的数据传递给它。
为了获得较高的识别准确性，训练过程可能要持续数周时间。
4.模型再训练
如果在模型训练的过程中添加或调换了任何商品，就需要重新训练模型。这是因为预测结果会因数据输入的变化而发生改变。这意味着商店每次添加新商品并将它们放入基于计算机视觉的智能冰箱销售时，我们都需要为模型启动一个新的训练阶段来学习新商品。
在这种情况下，如果之前商品中没有任何品牌薯片，我们就需要重新训练以识别图像上的品牌包装。不过，一旦我们在冰箱中安装摄像头，这就会变得很容易，因为我们可以使用实时影像来进行备注并再次启动训练。
5.必要的基础设施
商店中现有的基础设施通常是管理库存的服务器，并通过POS终端记录销售情况。要建立机器学习模型，我们需要添加几个组件：
摄像头：用来记录和传输视觉信息。
视频处理单元：可以是视频卡或单板计算机，例如Nvidia Jetson，其中包括针对计算机视觉需求优化过的GPU。
二维码：这张纸贴在旋转门或智能冰箱上，顾客通过扫描此二维码来识别身份并启动购物流程。
模型服务器：当我们谈论实时视频处理时，在商店部署硬件服务器可以确保稳定的结果输出。最基本的，当顾客从冰箱里取商品时，系统的运行无需引起顾客的注意，这样的硬件配置才能快速响应并处理顾客的购买行为。
因为每个单元之间都有数据流进行交互，所有这些组件都应相互连接。至于摄像头，我们需要确保商店有快速且稳定的带宽。由于摄像头会实时处理视频数据流，因此模型需要在没有网络延迟的情况下运行。另一方面，客户会期望自动售货机快速对自身行为做出反应，而这将取决于模型接受和处理数据的速度。
——Daniil Liadov Python工程师
6.隐私问题
零售商和顾客可能都会关注隐私问题。由于计算机视觉旨在检测和跟踪视频中的对象，因此记录和存储此类数据可能会违反某些国家/地区的隐私法律。
不过，美国的商店使用监控摄像头通常是合法的。只要是使用随机ID跟踪顾客，并且仅以完成结账任务为目的，就不需要使用人脸识别一类的技术。即使摄像头捕捉到人脸信息，也可以使用AI技术对其进行模糊处理以保障顾客的隐私权。
七、AI自助结账适用于所有零售商吗?
在所有的系统中，自动结账似乎是一件烧钱且复杂的事情，但顾客还是很愿意使用更方便的结账方式。2021年零售客户体验报告指出，60%的消费者会选择自助结账而不是通过收银员。
因此，自动售货机对于零售行业来说可能是性价比较高的选择，因为它的成本适当，又有很多好处。此外，由于机器学习模型的灵活性，可以定制此类系统以满足特殊零售商的特殊需求。基本上，任何类型的商品都可以通过适当的训练来进行商品识别。因此，便利店并非唯一可从计算机视觉应用中获得收益的零售模式。
原文链接：https://hackernoon.com/how-to-build-your-own-automated-self-checkout-service
译者介绍
仇凯，51CTO社区编辑，目前就职于北京宅急送快运股份有限公司，职位为信息安全工程师。主要负责公司信息安全规划和建设(等保，ISO27001)，日常主要工作内容为安全方案制定和落地、内部安全审计和风险评估以及管理。