北航周忠：实景数字孪生，打通世界看万物

2020年12月23日，由青亭网主办、Pico协办、中国虚拟现实技术与产业创新平台、北京图象图形学学会、AWE Asia、深圳市增强现实技术应用协会、清华经管创业者加速器、创业公社战略支持的“第四届VR/AR产业创新者峰会”正式在北京举行，本次峰会主题是“聚变·共生”。

大会围绕VR/AR技术在垂直行业的商业应用展开，共探VR/AR在传统行业的应用和案例分享，挖掘探索商业新机遇，共同构建合作新桥梁。

北航VR/AR国家工程实验室副主任周忠，在本次峰会带来了名为《VR/AR与数字孪生》的主题演讲。

以下是周忠的演讲实录：

我今天跟大家沟通的题目是VR/AR和现在比较热的话题，数字孪生。给大家推荐一本书，这本书我觉得还是写的挺好，花了挺多的时间，今年出版的一本书《新基建》，大家都知道我们国家现在面临着这样一个特别的发展时期，所以对信息基础设施建设也提到了一个非常高的高度，实际上我们从去年开始，很多从中央到地方，很多地方政府都已经在开始这方面的建设。这本书的主编是原来原发改委副主任徐宪平，也组织了很多单位进行了大量调研。

这里面有两点，我想要说明一下：

第一点，为什么要开展新基建？其中一个原因，是因为我们即将迎来一个物联网时代的爆发，就是随着5G商用的来临，预计物联网会迎来一个非常大的时期。也就是说，我们原来从一个人可能有两个到三个手机，一两个笔记本，再加台式机，逐渐可能过渡到一个人身边几十个甚至上百个传感器，跟人有关的，包括家庭、办公等等，所以物联网时代是我们应该要关注的一个问题，它需要基础设施建设。

第二点，VR/AR也是这里面非常重要的内容，至于是什么样，大家可以关注一下这本书，这里面我们跟相关同行一起做了探讨。

我们知道，因为都是VR/AR的从业界，刚才罗总也介绍了，2016年开始比较爆发，到现在可能又看到了新的机会，也有新的起色，几年的沉淀。实际上确实是这样一个情况，特别是我们的元器件，我们的网络等等一些云服务的改善，使VR/AR的应用，VR/AR的技术有了非常大的进步。

今年很多学术会议，都是在VR的场景里面去开展会议研讨，取得了很好的效果，因为之前大家是没有这样一个动力去做这件事，现在放到网上觉得还不错，虽然没有放头盔，但是其实头显只是一个终端，并不是最关键的，最关键的还是我们如何通过这样一个网络环境，大家都能够共享到场景内容里面去。以及像Facebook推的这个，未来我们的头盔可能变成一个像墨镜大小的，几毫米的眼镜，非常轻薄小，这个完全是有可能的。

从内容来看，当时2016年包括电子司也组织VR技术白皮书，其实当时我们在做研讨的时候，我也在提这个问题，就是内容是短板。但是我们再看看现在，虽然并不是说普遍大的突破，但是内容制作上，像商品、内容、人物，我所知道的有很多，特别是电子商务，像京东，我就不放了，但是我知道的现在扫描几万个商品都已经变得很快了。

关于数字孪生，其实从去年开始就成为一个非常非常热的话题，事实上从国际上来说，（英）把它列为十大战略技术，一方面对它的认识还在深化，也在变化，另一方面，可能之前大家对它的认识也在一个发展和产业界的热度的推动下，所以才会持续的列车到这里面。

但数字孪生我们其实可以想像，对于一个物理世界，我们要做的内容很多，借助于物联网、大数据，实际上就是把越来越多的数据提取出来，这个本质上来说只是对真实数据的有限添加，所以一会儿我会介绍，我们的虚拟现实对它有很快重要的作用。

一共是两类，一类是VR，一类是AR，还有微软推的MR，实际上MR原来的概念更宽，但是现在在一些大的公司引领下，希望把它设计为一个更高级的AR。我归的两类呢，我认为这种类型是第一人称的，就是我们所看到的戴上AR的眼镜更多关注的是如何第一人称看这个世界，这上面有各种信息的叠加。第二种是第三人称，就是增加虚拟环境以及数字孪生这些类型。

这几年我们联合了十家单位也在做一个事情，这个事情就是希望把物联网和智慧城市这方面能够和我们的建模仿真和VR/AR做一个深度的融合，主要想解决三个方面的问题：

1、智能建模，希望从一开始就能够给它赋予余意（音）。

2、虚拟现实；

3、数字孪生。

下面我就介绍我们这方面所做的三件相关事情，就是看看VR/AR如何支撑数字孪生？VR/AR的内容如何跟云结合？以及VR/AR如何支撑人工智能？

第一个关于数字孪生，我们希望数字孪生跟VR/AR结合，应该能成为一种实景的数字孪生。在讲它的概念内容和深化的时候，都是举的运营监测，这个也说明概念都是在发生变化的，最初的数字孪生概念是制造业所提的，包括NASA。所以VR/AR所关注的实际上是运行、监控、运营监测，我们希望达到实时世界的直播，要把视频、物联网、数据等等内容，我们希望融合到里面，这样一个场景本身是在一个三维的世界里面。这个三维世界我们看看左边，它是有虚拟的世界，这块内容实际上是里面的实景，是我们的拟视频，这里面我们看有很多的数据，有些数据来自于物联网，有些数据像地理位置这个是静态标签，有的是动态的，比如说车位、车的数量、车的牌照、车牌号等等，这个实际上是动态数据。 所以就能够把所有数据我们通过VR/AR的手段，让数字孪生更具有深度的空间整合性。

我们可以想象，如果数字孪生只是给它一堆的数据，那就失去它的本质了，它的本质一定是空间，只有空间才能把所有的这些东西深度融合到一起，才能提供我们深度的具有空间相关的一种分析。

因为时间关系，我们直接看两个案例，看看数字孪生我们+上实景之后带来什么。

第一个案例，是关于电站，因为我们现在很多电力行业已经在做无人化的一些准备，但是无人化的基础，就像北京有30万个电站，像这样一些电站，它的控制柜，它的一些机柜等等里面有大量的数据，但是很可惜这些数据目前还不能够完全通过物联网传递到网上，所以我们的电表需要改造，我们很多都要做大量的改造。在这个情况下，实际上对我们每个电站内容，它的控制柜，它的仪表，它的指示灯都非常有价值，如何把这些信息能够整合起来推给远端，让我们的远端通过数据分析，通过内容更好的去管理它，更好的发现问题和应急处置。

所以我们无人化的一个关键，就是如何把所有信息能够通过一个三维以及数据内容整合的方式进行提供，这个工作也正在进行中。

第二个案例，就是智慧城市提供生活服务、提供社会治理、网络化管理。比如说这是某一个城市，这个城市里面我们架设了20多个高点的摄像机，然后这个里面的标签其实都是AR的标签，实际上是来自于真实的世界，有它的一些真实世界数据接入。

当我们把数据和摄像头的数据、图像都整合到一起的时候，我们可以看到我们这个世界比你去现场看到的世界还要更丰富，而且还要更真是，因为我们即使去现场，也不可能是通过透视的角度看到各种数据信息，实际上通过这种方式是可以的。

这就是我们希望通过VR/AR能够给数字孪生所带来的直播的实景数字孪生。

第二个工作，刚刚罗总也在讲内容制作，就是建模。我们几年前做了一个工作，大概2015年开始做这个工作，当时我们认为现实世界拍一张照片很难让计算机全自动的去实现，但是实时数据的更新是非常困难的，成本很高，但是现在很多城市都在讲智慧城市，大量的建BM模型，但是实际上这个BM模型更新修改非常高，我们楼扒了再建再改造这是很正常的事情，所以我们数据能否更实时或者低成本的维护，这实际上是一个关键。

所以我们做了什么工作呢？我们希望尽量通过低成本的方式，比如说单幅照片建模，给一张照片，我们希望通过交互式的方式直接在地面把它建出来，这个成本相对低一些，不会太复杂，但是它会带来一个问题？导致场景真实感，或者精细程度没有那么高。如果对一些场景并不需要精细级别高的，其实这种方式是很合适的。我们2018年的时候国际上也得了一个奖。

最近几年我们把这个东西搬到了云上，我们希望通过云的方式，将来维护一个世界，当然这个世界也是跟应用相关的。我们就可以通过这样一个拍一张照片，对它的处理建模都能够整合到这个平台上，最后提供左边这样一个虚实融合的场景。

我们最近还在做一个工作，这个月我们刚刚初步完成的一个工作，我们始终想的一个目标，还是有没有可能把它最好全自动，但是这个全自动肯定有条件的，我们发现这个问题确实很难，我们设定了一个条件，就是有没有可能我们企业摄影的模型经常会过时，十年能不能管一次，怎么管呢？通过单个照片直接更新，所以我们做了这样一个工作，实际上包括三个部分。

第一部分，拍一张照片直接给它精确定位，它的基础条件底层要有三维，绿色框就是无人机在空中飞的实时影像，底图就是模型，我们可以看到非常的准确，当然其实有条件的，我们的实时准确，就可以用80张照片把一个局部的场景直接建出来，就是因为底下有个基础的依托，有这个依托作为一个场景标的，你企业原来没有的地方，我也可以给你建出来，这是用的80张照片把某一个区域建出来。

建出来还有一个问题，有是刚才我所提的，如果我这个底图模型是过时的，它有好多我们城市建筑的修改，那怎么办？我们在这方面也做了一个尝试，这是我们北航青岛研究院用了两年多场景的模型，一个夏天一个是冬天，我们可以通过这个照片实时更新，而且这个速度很快，并不需要高的计算量。但是它也有一个要求，就百分之多少的一个比例，大概70%80%还是要不能变化，如果这个场景完全变了，咱们也没有办法，因为它的特征是没有办法去匹配的。

第三个问题，就是我们VR/AR能给人工智能带什么？我们知道现在人脸识别，天津市已经给禁了，美国也有很多洲禁用了，前不久也有新闻说这个问题，如果手机丢了，我们没有设密码，这个时候很可怕的，不光是你的微信，你的钱不安全，而且他可以拿这个直接做京东打白条、花呗等等，直接拿去做贷款。所以它会导致被无法分子滥用。

我们做了一个什么事情呢？我们想可以用VR/AR把每个摄像头智能行为赋予一个场景，像这个场景，大家知道VR/AR里面信息的标的，我们投到地面，它就能够赋予这个相机跟其他位置的关联关系。我们最后生成这样一个图，这个闪烁的线代表的是同样的对象。

我们看得到这个之后，我们再具体看每一个对象它的样子，这是在多个相机里面，每个人所经过的样子，其实它还是有很多很大的变化，但是有我们VR/AR基础的话，会让我们摄像头它的背景天生带了空间场景关系，如果不带，可以说它这里面识别率不会太高，但是我们有了这个约束之后，我们知道这个人几点几点在哪出现，这个范围一定是有所限制的。

而且很关键的一个，得到这个空间底图之后我们能干什么？意味着我们能做更多空间地理位置相关的统计、监测、预测等等。举个例子来说，一个人在某个地方他停留多长时间？他的轨迹是什么样？他在场景里面所运行的一些特点，对什么地方更关心关注？实际上跟语义相结合，会有更多的场景。

最后做一个总结，刚刚罗总说To C、To B，不管哪个，还是要解决我们行业里面的一些问题。VR/AR一些技术已经得到了充分验证，一定要挖掘提升下个阶段工程化还是重要的。我们技术进一步提高，才能处理我们现在面临的很多困难和问题。

我的交流就到这儿，谢谢大家！

　　环视天下声明：HOSSKY网站登载或转载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。