1、 今天，脸书宣布改善其平台上的购物体验，包括脸书商店，这是企业在脸书和Instagram上建立单一在线商店供客户访问的一种新方式。公司新品特色——这一切都是由一个家庭对新的人工智能和机器学习系统——的愿景组成的，它是一个逐步集成的智能助手，可以在个性化推荐个人口味的同时搜索和排名产品。

2、 像Facebook Marketplace这样的电商公司依靠人工智能自动完成一系列幕后任务，从学习偏好和体型到了解可能影响购买决策的因素。麦肯锡估计，最近部署了人工智能来处理购物者查询的亚马逊，其产品推荐引擎的销售额占35%。除了排名，来自ModiFace和Vue等初创公司的人工智能。Ai、Edited、Syte和Adverity让顾客可以虚拟试戴口红，看各种尺寸的模特，随时发现时尚趋势和销量。

3、 脸书首席执行官马克扎克伯格(Mark zuckerberg)在今天下午的直播中表示，“我们看到了许多从未首次出现在网上的小企业(这是大流行的结果)。”他透露，全球有超过1.6亿小型企业正在使用该平台的服务。“这不能弥补他们失去的所有业务，但它可以提供帮助。在这个时期，对于很多小企业来说，这就是生存和破产的区别。脸书的独特地位是成为小企业的冠军，帮助它们成长和保持健康。”

4、 脸书表示，其人工智能购物系统对图片进行分割、检测和分类，找出产品出现的位置，并提供购物建议。其中一个系统，——GrokNet——，训练了7个数据集，包含了数百万用户发布、购买和销售的产品图片。这些产品分为几十个类别，从越野车到细高跟鞋到边桌。另一种方法是从产品的2D视频中创建三维视图，即使是那些被昏暗或太亮的灯光遮挡的产品，而第三种方法侧重于服装，如围巾和领带，它们可能会被周围的环境部分遮挡。

5、 根据脸书的说法，GrokNet可以在数十亿张照片中检测出准确、相似(通过相关属性)和共现的产品，其在市场上的搜索和过滤精度至少是其替代算法的两倍。例如，它可以识别90%的住宅和花园列表，而脸书基于文本的归属系统只能识别33%。作为有限测试的一部分，除了在卖家在市场上列出产品之前从图片中生成颜色和材料标签之外，当页面管理员上传照片时，它还会在脸书页面上标记产品。

6、 在培训GrokNet的过程中，脸书说，它使用了卖家的真实照片，具有“挑战性”的视角和目录风格的扩展。为了尽可能适应所有国家、语言、年龄、大小和文化，它对不同大小、颜色、地点、社会经济阶层、年龄和姿势的例子进行了抽样。

7、 脸书开发了一项技术，该技术使用GrokNet作为反馈回路，自动生成附加标识符，而不是手动将产品标识符添加到每张图片中，这将需要很长时间。——中可能有300万个标识符。该方法使用对象检测器来识别图像中围绕可能产品的帧，然后将这些帧与已知产品列表进行匹配，以将匹配保持在相似的阈值内。结果被添加到训练集中。

8、 脸书还利用了这样一个事实，即每个训练数据集都有其固有的困难。比较简单的任务不需要那么多图片或者评论，比较难的任务需要更多。与此同时，该公司的工程师提高了GrokNet任务的准确性，他们将大部分训练分配给具有挑战性的集合，而每批训练中的一些图像被分配给更简单的集合。

9、 产品GrokNet有83个损失函数，即函数——，将可变事件映射为表示与事件相关的成本的数字，可以预测给定图像的属性范围，包括其类别、属性和可能的搜索查询。仅用256位来表示每个产品会产生类似指纹的嵌入，可用于产品识别、视觉搜索、视觉相似产品推荐、排名、个性化、价格建议和标准化。

10、 脸书表示，未来将利用GrokNet为其在市场上的店面提供动力，让用户更容易找到产品，了解这些产品的用法，并获得相关配件推荐。该公司写道：“这种通用模型允许我们使用更多的信息源，这提高了我们的准确性，并优于我们的单一垂直模型。”“从一开始就考虑[所有这些]问题，以确保我们的属性模型能够很好地为每个人服务。”

11、 一个互补的人工智能模型支持脸书的3D视图功能，该功能已经在市场上的iOS上进行了测试。基于脸书今年2月推出的3D照片工具，它可以用智能手机拍摄视频，并对其进行后处理，以创建一个交互式的伪3D表示，可以旋转和移动到360度。

12、 脸书使用一种称为SLAM的方法进行重建，即创建和更新未知环境或对象的地图，并同时跟踪代理。

13、Facebook的SLAM技术还结合了来自帧的观察，以获得一个稀疏的点云，其中包含了任何给定捕获场景的最显著特征。这片云作为相机姿态的指导，使其符合在3D中最能代表物体的视点;图像被扭曲了，看起来就像从视点拍摄的一样。一种启发式的离群点检测器发现关键点，这些关键点可能会引入畸变并丢弃它们，而相似度约束使重构的无特征部分更严格，而失焦区域看起来更自然。

14、除了3D重建，Facebook表示，它很快就会利用Spark AR平台的结账功能，让顾客看到物品在不同地方的样子。(Nyx、Nars和Ray-Ban等品牌已经在Facebook和Instagram上使用它来增强增强现实的“试用”体验。)该公司计划通过应用程序和服务(包括商店)，支持更多种类的产品试用，包括家居装饰和家具。商店是Facebook的一项功能，允许企业通过网络直接销售。

15、为了向Marketplace这样的服务注入自动将服装产品从图片中分离出来的能力，Facebook开发了一种细分技术，声称与几个基准相比，该技术可以实现最先进的性能。这种名为“实例面具投影”的“操作员”可以识别腕带、项链、裙子和毛衣等物品，这些物品在光线不均匀或部分模糊的情况下拍摄，甚至可以以不同的姿势出现在衬衫和夹克等其他物品下面。

16、实例掩模投影检测服装产品的整体，并大致预测其形状。这一预测可以作为一个指南，以细化每个像素的估计，允许从检测的全局信息被纳入。预测的实例映射被投影到一个特性映射中，该特性映射用作语义分割的输入。根据Facebook的说法，这种设计使得运算符适合于服装解析(涉及复杂的分层、大变形和非凸对象)以及街道场景分割(重叠实例和小对象)。

17、脸书表示，该公司正在培训其产品识别系统，该系统可以识别几十种产品类别、图案、纹理、风格和场合，包括照明和餐具。它还增强了在3D照片中检测物体的技术，在相关的努力中，它正在开发一种身体感知嵌入技术，以检测可能适合一个人身材的衣服。

18、“今天，我们可以理解一个人穿着一件小圆点的西装，即使她的身体有一半藏在办公桌后面。我们也能了解那张桌子是木头做的还是金属做的，”脸书在一份声明中说。“随着我们朝着我们的长期目标努力，即教授这些系统如何理解一个人的品味和风格——以及当这个人搜索产品时所处的环境——我们需要推动更多的突破。”

19、Facebook表示，它的目标是有一天将这些不同的方法组合成一个系统，能够根据个人的品味和风格动态提供产品推荐。例如，它设想出一种助手，可以通过分析一个人的衣柜里有什么东西的图片来了解他的喜好，并允许这个人在自己的复制品上试穿自己最喜欢的衣服，并销售其他人可以预览的衣服。

20、为此，Facebook表示，其研究人员正在打造一个“智能数字衣橱”原型，该衣橱不仅能根据计划好的活动或天气提供着装建议，还能根据个人产品和审美提供时尚灵感。

21、它就像一个没有硬件的、表面上更复杂的Echo Look，这是亚马逊(Amazon)已经停产的、由人工智能(ai)驱动的摄像头，它可以告诉顾客他们的服装看起来如何，并记录他们的衣橱里有什么，同时向他们推荐从亚马逊(Amazon.com)购买的衣服。像Stitch Fix这样的公司也使用算法来挑选发送给顾客的衣服，选择库存中的衣服，并跟踪顾客在网上找到的他们喜欢的东西。

22、Facebook预计，新系统最终将需要适应不断变化的趋势和偏好，理想的系统是从潜在理想产品的图像反馈中学习。该公司最近在Fashion++上取得了进展，后者使用人工智能提出个性化的时尚建议，比如加一条腰带或把衬衫半卷起来。但该公司表示，语言理解、个性化和“社交优先”体验方面的进步，必须在成为一个真正具有预测性的时尚助理成为可能之前出现。

23、脸书说:“我们设想未来的系统可以……整合你的朋友关于博物馆、餐馆或最好的陶瓷品课程的建议——让你更容易地购买这些类型的体验。”“我们的长期愿景是打造一款集所有功能于一身的人工智能生活助手，能够准确搜索和排列数十亿种产品，同时根据个人品味进行个性化。”同样的系统将使网上购物和现实生活中与朋友购物一样具有社交性。更进一步，它将推进可视化搜索，使您的真实环境可购物。如果你看到你喜欢的东西(衣服、家具、电子产品等)，你可以拍下照片，系统就会找到准确的物品，以及当场购买的几件类似物品。”

24、Facebook重新关注电子商务之际，该公司正努力应对疫情造成的广告销售下滑。尽管在线销售在过去几个月里暴涨，Facebook却拒绝增加Marketplace的佣金——5%，而亚马逊和沃尔玛的佣金是15%——这可能会保持竞争优势。一些分析师估计，在其他条件不变的情况下，Facebook的长期市场收入将超过50亿美元。