动作一款兴盛成熟的呆板进修开源框架，TensorFlow 的图像处分经典案例也许能够给你谜底。

　　2020 谷歌开辟者大会上，谷歌为公共供给了一个能够“亲密接触”用呆板进修告竣动态逮捕与视觉筑模的好机缘 ——“谷歌面馆”线上互动体验。

　　“谷歌面馆” 是基于 TensorFlow.js 中的 PoseNet 来告竣动态逮捕，将用户的肢体手脚与“拉面”观念做连系，成立出的笑趣好玩的互动体验，让群多正在旁观 Google 开辟者大会演讲间隙举止双手，添加满满元气，同时盼望借此饱舞开辟者的成立力，用代码索求更多不妨性。

　　互动的玩法也很简易，每个玩家发端和上半身来创造虚拟“面条”，就像拉面行家那样，正在 1 分钟内尽不妨地拉扯和拉伸面条，同时搜集格表或避免不需要的配料，以添补面条长度的点数来获胜。你参加创造的面条越多，得回的铁汉徽章就越多，就有机缘得回更多重心演讲以及开辟科技进修机缘。速去大会官网亲身体验一下吧！

　　看到这里，你不妨不禁好奇，兴味拉面互动体验毕竟是若何告竣的？它所应用的 PoseNet 又是什么？

　　实在，“谷歌面馆” 应用了一种叫 PoseNet 的视觉模块，它能够通过检测人体枢纽部位的身分，来估测图像或视频中的人体姿态。比方，PoseNet 能够估测图像中人物手肘和膝盖的所正在身分。姿态估测模子只会识别人体枢纽部位的身分，而不会去鉴识图像中的人物。目前，PoseNet 已正在 GitHub 上开源，并被普遍用于分别项目中。比方，开辟者可依照人体图像巩固实际创造预备机图形人物动画以及为运动中的运发动说明步态。

　　总之，借帮 PoseNet 这款示例行使，开辟者和呆板进修专家也许更轻松地索求轻量级挪动模子的种种不妨性。接下来，咱们将操纵 TensorFlow.js 中的 PoseNet 和Facemesh（来自 Mediapipe）模子，出现一个通过简易的搜集摄像头告竣人体手脚逮捕的项目实例，手把手教你从零下手落地一个用身体管造浏览器中 SVG 脚色的兴味行使。

　　采用 2D 矢量图并依照 PoseNet 和 FaceMesh 的识别结果及时更新其矢量弧线。为此，Pose Animator 鉴戒了预备机图形技巧中骨骼动画的思绪，并将其行使于矢量脚色。

　　正在 Pose Animator 中，表皮由输入 SVG 文献中的 2D 矢量旅途界说。对待骨骼布局，Pose Animator 基于 PoseNet 和 FaceMesh 的枢纽点供给了预订义的（骨骼层级）绑定表现 (Rig Representation)。正在输入 SVG 文献中以及字符插图中指定了此骨骼布局的初始样子，同时通过呆板进修模子的识别结果来及时更新骨骼身分。

　　● 解析输入的 SVG 文献以获取矢量图和预订义的骨架，两者均为 T 样子（初始样子）。

　　● 遍历矢量旅途中的每个分段，应用线性搀杂蒙皮（Linear Blend Skinning，本文中稍后会作出证明）预备每根骨骼的权重影响和变换矩阵 (Transformation)。

　　● 正在每个输入帧上及时运转 FaceMesh 和 PoseNet，并应用结果枢纽点更新骨骼身分。

　　另有其他用具也可供给相同的木偶操作功效，不过江南APP，大大批用具仅革新人物图像的身分，而不会通过识别枢纽点革新脚色的实质几何式样。别的，很少有效具能供给全身识别和动画表露。Pose Animator 能让单条弧线变形，以是极度擅长逮捕面部和全身运动的轻细之处，并希望带来更具展现力的动画效率。

　　绑定布局遵从 PoseNet 和 FaceMesh 的输出枢纽点打算。PoseNet 将返回 17 个全身枢纽点，绝顶简易江南APP智能，能够直接包括正在绑定中。不过，FaceMesh 将供给 486 个枢纽点，是以我必要幼心拣选将囊括哪些枢纽点。最终，我从 FaceMesh 输出当拣选了 73 个枢纽点，云云咱们就具有了一个由 90 个枢纽点和 78 根骨骼构成的全身绑定，如下所示：

　　每个输入 SVG 文献都应当正在默认身分包括这个骨架。更完全地说，Pose Animator 将寻找一个名为“骨骼”的组，此中包括以它们所代表的各个合节定名的锚点元素。可正在此处查看绑定 SVG 示例。打算师能够正在打算文献中自正在地挪动合节，让骨骼最理念地嵌入到脚色中。Pose Animator 将依照 SVG 文献中的默认身分来预备蒙皮，但有时绑定算法不妨无法很好地扶帮少许绝顶环境（比方，腿/手臂骨骼绝顶短），并有不妨让表露的效率不天然。

　　Pose Animator 通过一种最常用的绑定算法，应用骨骼布局让表皮变形，这种算法称为线性搀杂蒙皮 (Linear Blend Skinning，LBS)，该算法通过将每根骨骼孤独管造的变换相搀杂，再由每根骨骼的影响因子加权，来变换表皮的极点。正在咱们的例子中，极点是指矢量旅途上的锚点，骨骼由上述绑定中的两个相连枢纽点界说（比方，“leftWrist”和“leftElbow”枢纽点界说了骨骼“leftWrist-leftElbow”）。

　　骨骼的影响因子可主动天生，也能够通过权重绘造来手动分派。Pose Animator 目今仅扶帮主动权重分派。极点 i 上骨骼 j 的原始影响因子预备体例如下：

　　此中 d 是从 vi 到骨骼 j 上比来点的隔断。最终，咱们将一个极点上一起骨骼的权重规范化，使其总和为 1。

　　现正在，要将 LBS 行使于由直线D 矢量旅途，咱们必要通过进出图柄对贝塞尔弧线分段实行少许格表处分江南APP。咱们必要辨别预备弧线点、进管造点和出管造点的权重。因为云云能够更精准地捕捉管造点的骨骼影响因子，以是会形成更好的表观效率。

　　这是一个格表的例子。当进管造点、弧线点和出管造点共线时，咱们对这三个点同时应用弧线点权重，以确保正在以动画体破例露时它们仍连结共线。这有帮于连结弧线的滑润。

　　LBS 曾经为咱们供给了动画帧，不过 FaceMesh 和 PoseNet 原始输出引入了光鲜的发抖。为裁汰发抖，得回更流通的动画，咱们能够应用预测结果中的相信值分数对每个输入帧实行不屈均加权，让相信值较低的帧所带来的影响也较幼。

　　屈从这一思绪，Pose Animator 会按如下算式预备合节 i 正在第 t 帧的滑润身分

　　推敲绝顶环境。当两个继续帧的可托度均为 1 时，身分将以 50% 的速率挨近最新身分，这看起来很机灵且相当滑润。（要进一步普及相应速率，能够通过更改最新帧的权重来调动挨近速率。）当最新帧的置信度为 0 时，其影响将被全部无视，以是可防守低相信值结果形成的蓦地发抖。

　　除了应用可托度对合节身分实行插值表，咱们还引入了最幼阈值来确定是否应当绘造旅途。

　　旅途的可托度是其分段点的均匀可托度得分，而反过来它又是影响骨骼分数的加权均匀值。当特定帧的分数低于特定阈值时，整体旅途将被隐蔽。

　　这对待隐蔽低相信值区域的旅途极度有效，这些区域中往往是镜头限造以表的身体部位。联念一下有一张上半身照：只管腿部和臀部的枢纽点预测的可托度很低，但 PoseNet 永远会返回这些枢纽点预测。通过这种限度机造，咱们能够确保下半身被适宜隐蔽，而不显示为十分扭曲的旅途。

　　您能够点击这里进入及时演示，您能够正在此中处分现有脚色，也能够增加自身的 SVG 脚色，看它们若何变得生龙活虎智能。只管演示的是人类脚色，但 Pose Animator 可用于任何 2D 矢量打算，以是您能够斗胆试验任何空洞/前卫的打算。

　　要创筑自身的动画插图，请查看本指南！不要忘了正在社交媒体上通过 #PoseAnimator# 与咱们分享您的创作。如有任何题目或念直接查看源代码，可赶赴Github。

　　除了操纵 PoseNet 持续开辟和索求种种创意的交互体验表，TensorFlow 和谷歌也将持续饱动技巧的兴盛和迭代，勉力于用科技成立代价。江南APPAI 本人不会研究为什么叫做人为智能？