猫先生体育app-在措置宽松衣服变形的同期升迁对复杂人体姿势的适当力
你的位置:猫先生体育app > 猫先生体育手机版 > 在措置宽松衣服变形的同期升迁对复杂人体姿势的适当力
在措置宽松衣服变形的同期升迁对复杂人体姿势的适当力
发布日期:2022-04-20 08:42    点击次数:169

在措置宽松衣服变形的同期升迁对复杂人体姿势的适当力

猫先生体育下载平台客服QQ:865083652

近日,2022 IEEE 外洋计较机视觉与款式识别会议(IEEE Conference on Computer Vision and Pattern Recognition猫先生体育下载,简称 CVPR)公布论文收录收尾。据 CVPR 官网深刻,共收到寰球范围内 8186 篇灵验投稿,其中火山引擎论文《Dressing in the Wild by Watching Dance Videos》(《基于舞蹈视频的通用虚构换装》)见效入选。

CVPR 已是计较机视觉和款式识别领域的寰球顶级学术会议。把柄谷歌学术公布的 2021 年最新学术期刊解析议影响力排行,CVPR 在通盘学术刊物中,影响力仅次于 Nature、NEJM 和 Science。

这次被收录的最新商讨效果涵盖了计较机视觉的各项前沿使命。火山引擎被收录的论文建议了 wFlow (flow in-the-wild)技能决议,初次措置实在用户场景下的虚构换装问题。该决议通过 2D 和 3D 信息的联接,可以兼容图片中复杂的人体姿势,配景和服装类型,包括宽松不贴身服装(如连衣裙),同期保持换装收尾图片的奥妙晰度和实在性。

另外,此决议通过一种自监督检修的形势,通过公开可用的人物舞蹈视频(经脱敏处理)行为检修数据来完了虚构换装神经网罗模子的检修,遁入了难以获取换装收尾图行为平直监督的难题。论文中火山引擎构建的 dance50k 数据集后续也将公开供学术界使用。

在文娱和电商领域,虚构换装问题有着比较好的落地出息。虚构换装,浅近来说等于在莫得实质的人物和衣服的情况下,平直通过算法将参考图片上的衣服,迁徙到另一个用户图片中的人身上,从而生成实在的试穿图片。

由于缺少对人体潜在的 3D 信息感知智商及相应的各样化姿态 - 衣服数据集,学术界此前很难处理好实质实在用户场景下的数据,只可在一些固定散布的数据集上有相对好的效果。现存的虚构换装使命局限于浅近人体姿势及贴身衣物,极地面截止了其在实在场景下的运用智商。

在 2020 年上半年,火山引擎运行对虚构换装技能做长线斟酌并运行永恒过问,初次将 2D 像素流与 3D 相等流相联接变成更为通用的外观流瞻望模块 (定名为 wFlow),在措置宽松衣服变形的同期升迁对复杂人体姿势的适当力。

具体来说,2D 像素流慎重构建衣物图片与人体分割图之间的纹理映射关连,其对图片层面的空间结构特征敏锐但无法复现潜在 3D 人体的刚性变换,通过进一步引入基于 SMPL 人体 3D 模子的相等流,通用复合外观流 wFlow 相较现存使命的单一外观流具备更强的三维感知力,同期不丢失了对标的衣服完竣 2D 空间结构的保留智商,下图展示了 wFlow 与其他 SOTA 虚构试穿门径的对比收尾。

相较现存使命需要大都人工蚁集成对衣服 - 人物数据集进行模子检修,火山引擎通过在舞蹈视频上平直进行跨帧自监督检修并对复杂例子进行在线环式优化,实考解释 wFlow 相较现存的单一像素或者相等外观流门径在实在寰宇图片上泛化性更高。

可以说,wFlow ( flow in-the-wild ) 技能决议,比拟现存决议有更好的视角效果和客观图像质料评估标的,灵验升迁了虚构换装的普适性。

论文中,火山引擎新建议的大鸿沟视频数据 Dance50k 相较现存被泛泛使用的 DeepFashion 数据集在衣服种类及图片数目上均有大幅升迁(见下图)。

同期,火山引擎决定将构建的大鸿沟人物视频数据集分享给学术界使用,以期促进虚构换装偏激他以人为中心的图像生成商讨。

往时,AI 技能将越来越多地运用于衔接 B 端商家与 C 端徒然者的整条业务链路,举例在短视频和电商领域:

为短视频殊效道具提供技能基础,完了一键换装的短视频殊效。用户可以穿戴各样各样的服装进行短视频创作,激励创作空想,丰富后置录像头的视频创作生态;

匡助电商环境下,用户服装选购完了线上试衣,以致匡助商家生成高质料模特服装展示图,省俭资本。

除此以外,火山引擎自研了头部、耳部、足部、手部、腕部、颈部、体格等业内最全面的端上及时人体 3D 感知智商,相沿 10 余类商品的及时试穿试戴,提供全平台调和的虚构试穿试戴措置决议。

疫情现时,线上徒然场景需求更多元,AR 虚构体验成为促进体验式徒然升级的贫寒一环。关于用户来说,巧合平直在线上进行商品试用,有助于升迁用户的线上徒然体验,从而促进商品的购买调度;关于品牌方来说,提供线上的商品及品牌殊效互动的智商,这关于品牌本质及购买调度率,都有贫寒的兴味酷爱。

春节档落下帷幕,一周后,便是难得"独立"的情人节档。

借助落地的 wFlow 技能决议,火山引擎绽开技能,拥抱配合,但愿匡助更多行业用户打造新的营销玩法,完了业务增长。

* 本文系量子位获授权刊载,视力仅为作家通盘。

—  完  —

「智能汽车」疏通群招募中!

接待热心智能汽车、自动驾驶的小伙伴们加入社群,与行业大咖疏通、切磋,可以过智能汽车行业发展 & 技能推崇。

ps. 加好友请务必备注您的姓名 - 公司 - 职位哦 ~

量子位  QbitAI

վ ' ᴗ ' ի 跟踪 AI 技能和居品新动态

一键三连「分享」「点赞」和「在看」

科技前沿推崇日日再见 ~猫先生体育下载