Unite Shanghai 2019：回顾 VR/AR技术分享全汇总

Unite Shanghai 2019大会已经圆满落下了帷幕。在5月10日至5月12日为期三天的大会中，来自世界各地的大牛们向开发者们分享了如何更好的利用Unity来达成自身的业务需求，涉及领域包括游戏、影视、行业应用等方方面面。

本次大会中，出现了相当多VR/AR领域的技术分享，大牛们到底都向开发者们分享了些什么内容呢？87君这里为大家做了一个盘点。

《Crow: The Legend》互动叙事：传统动画与VR动画的探索

主讲人：Baobab软件工程师Mike Solovykh

Baobab工作室出品的《Crow: The Legend》由杰出动画人Eric Darnell编写执导，四次荣获艾美奖殊荣，该作品是一部同时实现互动VR叙事和通过VR渲染传统2D电影的。从该影片出发，Baobab软件工程师Mike Solovykh重点介绍了在跨媒体平台提升动画质量、交互性和故事性的工具、制作流程和创作技巧，从而使游戏玩家可以享受在沉浸式、互动式的体验，使其成为游戏角色中的一部分。

分享中，Mike首先强调，在创作《Crow: The Legend》动画之初有两个目标，第一是为玩家创造沉浸式、互动式的VR体验，让玩家感觉成为故事的一部分。第二是以电影制作的方法实现电影照明和镜头效果，以此创建一种典型的2D动画电影的体验，而这正是通过Unity平台中得以实现的。

关于VR，Mike认为它的特别之处在于玩家可以与真实世界相结合，沉浸其中感受游戏的环境，从而创造出更多奇妙的体验。具体谈到作品的创作过程时，Mike为在场的开发者详细的讲解了如何利用Unity提升这种沉浸感，这其中Unity的时间轴发挥了不小的作用，包括各个场景的时间轴，都有自己的分工，时间可以创建我们所见的内容。在2D项目当中，时间轴仍然发挥着作用，为实现真正的动画电影效果，并在预算允许的情况下，产生较高的体验度，利用Unity完成渲染将可以媲美电影级动画的效果。而且，这一制作并非难事，恰恰相反，这样的真实感与沉浸感的实现，其制作简洁且成本可控。

《头号玩家》背后的技术：Unity虚拟拍摄解决方案解析

主讲人：Unity创意技术总监Ron Martin

Unity的创意技术总监Ron Martin为大家详细介绍了《头号玩家》背后的技术：Unity虚拟拍摄解决方案。Unity作为可以用于叙事和电影制作的实时引擎，在近年来的大电影制作中都发挥了重要作用，而如今的电影制作正在开始利用AR增强现实技术，Unity则是该前沿领域的先驱。

分享中，Ron Martin表示，DMM和Unite成为合作伙伴，就是希望能够把电影制作工具给主要的创作人员使用分享。电影拍摄其实是一个非常庞大的处理过程，如果有一些成本更低的装备，取代如传统的摄影棚等装备，电影拍摄成本将大大降低。

例如在电影《头号玩家》中，通过一个iPad并结合一个定制的硬件，斯皮尔伯格就能够进入不同的场景，通过VR找到不同的镜头拍摄角度。这离不开Unity工具的多重帮助；哪怕本来已经在白天完成拍摄的场景，也可以在晚上完成导演想要达到的调整。

让 BIM 和 Unity 自动化工作流实现 XR 快速生成

主讲人：Tridify销售副总监Juha Alanen

Tridify是一家总部位于芬兰赫尔辛基的VR公司，主攻BIM领域，提供建筑设计、工程设计和部分综合施工服务，提供专业的BIM和IFC转化服务。

在“让 BIM 和 Unity 自动化工作流实现 XR 快速生成”的演讲中，Tridify团队的几位成员将现场实时呈现通过下载Tridify的BIM工具，Unity开发者可以访问包括自动照明（automated lighting）、材料映射（material mapping）以及自动高级搜索和分组功能等详情。

在现场演示中，Tridify演示了如何通过IFC格式的文件自动将所有软件包中的3D BIM模型导入Unity，并在Unity中提供附带BIM数据的UV映射（UV mapped）和优化模型。通过使用Tridify BIM工具SDK，BIM数据也可以在软件运行时使用。

Unity 增强现实工具：AR Foundation

主讲人：Unity技术专家Ashley Alicea

Unity技术专家Ashley Alicea在演讲中向大家介绍了Unity AR的基础知识和使用案例——AR Foundation。这是一个允许AR创建者在开发应用程序时可以直接应用到ARKit和ARCore设备的新框架，最早亮相于5月10日晚上的keynote环节。

分享中，Ashley Alicea提到，在AR领域可以有不同的方法来实现AR功能，例如AR头显或者AR眼镜，或者是手持设备，例如手机、平板。这次分享主要是讲述通过手机或者平板来实现AR开发。

什么是AR Foundation？AR Foundation是把ARCore和ARKit的优势结合在一起的一个API，可以将ARCore和ARKit放在同一个代码库中做一次开发、部署且不需要重复，节省很多时间。AR Foundation能够支持ARCore和ARKit的核心功能。

Snapdragon Elite Gaming开启全新移动游戏体验

主讲人：高通产品市场总监秦牧云

Snapdragon Elite Gaming是在最新的高通骁龙855移动平台上推出的针对游戏的全方位的特性，其在游戏优化方面包括硬件和软件两部分。高通产品市场总监秦牧云为大家详细讲述了该平台的特点。

在高通骁龙855高性能的支持下，Snapdragon Elite Gaming还可以支持系统级的游戏卡顿优化方案、防作弊扩展程序，还有在游戏加载时候有一个加载优化方案，能够让游戏加载速度可以进一步提升，还有在网络连接技术方面给大家提供一个帮助，可以在网络时延上做更好的管理，可以做更低时延的优化。

在XR游戏优化方面，AR、VR场景其实对整个系统的渲染、对建模、对图像叠加都有非常非常高的要求，Snapdragon Elite Gaming都能实现很好的支持。

此外高通在5G移动平台上也有许多硬件合作伙伴，随着5G技术的来临，在游戏方面也会给大家带来更好的游戏体验以及更多的可能，5G有着低延时、高吞吐率的特点，这个对大型游戏是非常有帮助的。

骁龙855移动平台在整个Elite Gaming支持下，是一个完整的面向游戏的解决方案，这个平台可以给大家带来顶级的游戏体验，达到顶级的游戏性能。

Unity 加速汽车工业的变革

主讲人：Visionaries 777创始人David  Castaneda

Visionaries 777是一家主要服务于汽车制造商的公司，通过Unity软件，结合VR/AR/MR技术，改进汽车在设计、制造、销售和维护方面的工作流程，从而缩短整个汽车的研发周期。

Visionaries 777的创始人David  Castaneda在大会上分享了他为何会选用Unity以及他们是如何改进汽车制造行业中的某些环节的。Visionaries 777的客户包括一些汽车品牌和汽车零部件制造商。第一个和Visionaries 777合作的汽车品牌是宝马，另外一家是来自迪拜的W Motors。

Visionaries 777帮助他们创作了虚拟影像，客户使用Visionaries 777的作品的时候，可以通过VR、平板电脑或者手机来操控，和汽车厂商产生互动，例如有一些车的颜色比较少，Visionaries 777可以在虚拟画面上改变车子的颜色，比如碳纤维的颜色、黄色红色等等，这样的好处是客户不需要实车就可以展示。

除此之外Visionaries 777使用了一些新技术，帮助汽车制造商做一些其他方面的事情，比如说汽车的维修保养，使用Unity来扫描所有的汽车零件，然后把这些零件组装起来。这一灵感则是来源于乐高。

Google ARCore 全新功能及开发技术深度解析

主讲人：谷歌ARCore软件工程师杨橙

Google ARCore软件工程师杨橙在演讲中，深入解析了Google ARCore新近更新的功能，并从技术开发角度为与会开发者们呈现利用ARCore能创造出的具体体验及交互实例，开发技巧、难点和解决方案等，并用实际案例手把手教会开发者们如何用Unity 进行新功能开发。

AR主要功能包括运动跟踪、环境理解、光估测、锚点、可跟踪对象和云锚点六项。此外ARCore在最近的更新中还加入了对多目标追踪的支持，还能够支持追踪移动中的图像，此外，最新版本的ARCore还增加了30%准确度和15%的检测召回率。

ARCore最近最重要的更新是面部检测API。ARCore的面部增强功能利用了谷歌AI，使用大量的数据集来训练，推测面部轮廓和面部网格的神经网络，再将神经网络模型加载到手机上，这样用户可以直接在离线的情况下使用手机生成脸部推测。

此外ARCore还将在接下来的更新中加入HDR光照API，给用户平行光光源和强度。然后再模拟环境光，这也是当前非常流行的模拟全局光照的做法，之后提供一个合理的16bit立体方贴图。

AI 赋能 AR 的开发与应用

主讲人：商汤科技产品执行总监栾青

随着人工智能技术的不断成熟，深度学习技术得到空前发展，带动着AR（增强现实）技术也呈现爆发式的增长，这种虚拟与现实交替的场景将不再只是脑洞大开的幻想，而是已经可以让用户真实体现到震撼和具有视觉冲击的画面。

商汤科技产品执行总监栾青就如何通过AI技术赋能AR产业为开发者们进行了详细介绍。2016年商汤科技推出了SenseAR增强现实感绘制引擎，并于2018打造了SenseAR开发者平台，为客户及用户带来了一系列AR应用，以及包括AR底层驱动引擎、AR内容创作工具链和AR硬件装置在内的一整套AR解决方案。目前每天通过SenseAR触达终端客户已经超过了10亿。

紧接着，商汤科技产品执行总监王子彬上台，他表示希望在未来的时间可以和各位开发者一起让经过改造的AI可以赋能更多的游戏开发等应用开发场景。王子彬强调SenseAR底层会有更多的进展，比如RGBD深度3D摄像头，对于这种摄像头的发展底层的AR技术要紧跟其发展，商汤科技对此将能够支持这种3D的摄像头，另外是AI技术深度整合到AR的平台里面。

在提到AI+AR的能力时，王子彬着重说明四点，首先要使现有技术有定位追踪的能力；第二虚实融合的效果；其次是环境的理解算法能力；最后是人的理解算法的能力。

进入 5G + VR 新时代

主讲人：HTC VIVEPORT 中国区负责人謝禮安、HTCVIVE 亚太区开发者关系及中国区内容负责人袁东

在“进入 5G + VR 新时代”的演讲中，来自HTC Vive的謝禮安和袁东向大家分享了开发VR内容的技术指导以及如何使用VIVEPORT/Wave SDK。

Vive SDK包括了3DSP音频技术、可以让用户通过虚拟世界感知真实世界的XR Engine、把现实的生活在虚拟中重现三维重建功能、帮助用户在虚拟世界识别现实障碍物体的AI.Vision、具有眼球追踪的SRWorks SDK、嘴唇追踪以及可以识别光照和手势的识别功能。

此外在会场外的展位上，HTC Vive也展示了两款不同的设备及相关内容，分别是Vive Pro上的《愤怒的小鸟VR: 猪之岛》以及新的VR一体机Vive Focus Plus中的《奇幻滑雪》、《韵律拳击》等优秀内容。

DeepOD：基于深度学习与 Unity VR 的牙齿正畸智能辅助技术

主讲人：上海交通大学计算机科学与工程系教授盛斌

来自上海交通大学计算机科学与工程系教授盛斌分享了前沿的科学观点，有关于VR技术在诊疗过程中的应用：虚拟现实如何帮助牙齿正畸。

盛斌表示，上海有非常好的牙齿正畸资源，包括上海的第九人民医院这些属于上海交大附属医院以及上海口腔医院，都是国内数一数二的机构。但在真正的医疗过程中，医生和患者是需要一些手段去解决医患之间的沟通问题。例如一些旋转、平移等专业术语，患者无法理解，此时就需要一些可视化手段来帮助患者理解，更好的与医生进行沟通。

目前无论是铁牙箍还是透明牙套“隐适美”的诊疗过程都是高度依赖医生的看法，患者却对自己的外貌掌握不了太多的话语权。通过医生的经验给出的方案和最终目标实际一致的比例不到50%，这些都会带来极大的医患之间的矛盾。

盛斌表示，通过VR与AI结合可以生成患者能够直观看到的治疗方案，从而减少医患之间的沟通障碍。此外生成的医疗方案根据相关的要求，也是需要医生复合的，这个过程需要医生强制的交互，在安全性上可以得到保障。这是虚拟现实对医患最大的好处之一。

Unity 带你玩转人脸 AR 互动

主讲人：南京图玩智能科技执行董事以及产品总监史凯

抖音，快手等短视频的火热，给小姐姐们拍视频带来更多了AR特效，从变身战斗天使阿塔丽，到现在火热的妲己妆，其实都是基于人脸追踪的AR特效。“Unity 带你玩转人脸 AR 互动”的分享将从算法层面介绍如何利用Unity实现该类特效，以及此类AR互动特效在目前线下智慧零售中将扮演怎样的角色。

在分享中，南京图玩智能科技执行董事以及产品总监史凯表示，在人脸AR的互动中，主要是技术原理在于人脸关键点跟踪、通过算法驱动模型以及融合变形等。 “在开发前需要准备一个标准的3D人头模型，根据关键点的位置进行有关标注，设计师在3Dmax中预设几组融合变形，方便表情驱动时使用，此外还需要集成人脸关键点追踪，从视频帧到追踪，需要留意返回关键点的坐标以及角度等指标。”他强调。

他们的人脸AR互动方案还接入了第三方的人脸识别能力，可以根据实时采集到的人像数据分析出性别、年龄、心情等多种人脸属性，从而给予更多的互动反馈以及选择。

DataMesh Director 案例分享：基于 Unity 打造数字孪生叙事工具

主讲人：DataMesh首席技术官邬浩

数字孪生是以数字化的形式对某一物理实体过去和目前的行为或流程进行动态呈现，以助力于提升企业绩效的方式。在工业4.0和工业互联网的大背景之下，数字孪生概念现在炙手可热，很多行业的企业都积累了大量的3D模型数字资产，尤其是以工业制造、建筑、医疗等领域最为突出，然而这些3D数字资产往往只停留在最初的制造等环节中，很难普及使用。

DataMesh首席技术官邬浩在演讲中提出，利用数字孪生的相关技术确实可以盘活很多3D数字资产，进而完成脱敏、优化之后，将广泛应用于维修、培训、售后等方面。 但从实际出发数字孪生想到达使用者，确实需要一个交互载体，而混合现实是最适合的载体，其中3D立体视觉、空间认知能力、解放双手和手势控制，都是其他载体不可比拟的优势。

DataMesh所打造的Director是一款基于数字孪生概念，利用Unity作为开发平台，开发的一套混合现实叙事工具，再通过垂直领域的应用场景的案例，例如芯片制造工艺、家电售后服务，也就是培训、仿真以及指导等场景加以利用。例如某大型跨国车企的总装生产线，人工效率极低，一线工人的培训周期长且很难开展，尝试过电脑模拟以及VR培训等方式效果均不好，采用后效果凸显。

总结

本次Unite Shanghai 2019大会上，VR/AR行业的开发者们可以通过这些技术分享吸取经验、开拓思路，从而创作出更加出色的作品。这是一场属于开发者们的盛宴，为VR/AR行业的奠基者们提供了一次充电的机会。

希望明年能够在Unite大会上看到更多VR/AR行业从业者的分享，我们明年再见！

　　环视天下声明：HOSSKY网站登载或转载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。