WO2021103137A1 - 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 - Google Patents

Abstract

一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质，包括：自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；所述自编码器的网络参数由自编码器作为生成器与分类器组成的生成式对抗网络经训练确定。能够根据图像即可以快速估计室内场景光照信息，且室内场景光照信息全面可靠，利用该室内场景光照信息能够提高渲染效果的真实感。

Description

室内场景光照估计模型、方法、装置、存储介质以及渲染方法 技术领域

本发明涉及光照估计及渲染技术领域，具体涉及一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质以及渲染方法。

背景技术

在许多逆向绘制应用中，如增强现实，需要从真实场景中推断光照信息，这一直是一个热门和关键问题。伴随着智能手机、平板电脑、AR头盔、智能眼镜等产品的发展越来越快，AR的移动应用越来越多，光照估计方法的研究最近不断地涌现。在这些场景中，所预测的光照结果对于解决新插入的三维模型上的逼真再现是非常重要的。然而，准确的光照预测也是非常具有挑战性的，因为要考虑的因素很多，包括场景几何，材料属性，光源的复杂性和捕获设备等。

虚拟物体与真实环境拥有一致的光照效果是该技术的难点之一，即真实感的AR效果主要体现在光照一致性，它是指虚拟物体应与真实环境之间有正确的明暗、阴影等光照匹配关系，使得估计的真实场景的光照信息实时反馈到虚拟物体绘制与渲染上，虚拟物体更加自然地与真实物体融合到一起。

根据应用场景的不同，光照估计研究可以分为室内场景和室外场景光照估计，室外光照估计相对简单，光照效果主要起决定性作用的是整个天空和太阳方位，通常会使用参数化的天空模型来模拟各种天气，太阳光强度位置等，能够取得较好的光照估计效果。室内光照估计则相对困难一些， 因为起决定性作用的可能是各种常见的室内光源，比如日光灯，台灯，窗户等，形状位置都是不确定的，不能够用参数模型来建模。

针对室外场景光照估计，早期的研究方法大多借助于辅助物体，包括在场景中的一些已知材质表面反射属性的球体，能够方便捕获或推测真实场景中的光照信息，多以估计真实场景的光源为主要研究任务。或者借助于高级的拍摄设备，比如鱼眼相机、光场相机，更加快捷地计算场景中的光照情况。

从实用性出发，现在研究方向趋向于基于图像来估计场景光照信息，这是相比最困难的也是最具有前景的方法，是近年来光照估计领域的重要发展方向。现有基于图像的光照估计方法有两种，一种是估计光源位置，强度，看成是点光源光照模型。另一种是尝试用固定的多阶球面基函数来近似表示整个场景的光照情况。这两种方法都存在一定的约束，无论是点光源还是球面基函数，所能表达的球面信号复杂度都是有限的。

发明内容

本发明的主要目的是提供一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质能够根据单张彩色低动态图像即可以快速估计室内场景光照信息，且室内场景光照信息全面可靠，利用该室内场景光照信息能够提高渲染效果的真实感。

本发明的另一目的是提供一种渲染方法，该渲染方法基于全面可靠的室内场景光照信息进行渲染，提升了渲染结果的真实感。

为实现上述主要目的，本发明的提供的技术方案为一种室内场景基于单张图像的光照估计模型，包括：

自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维 特征编码和解码成以估计全景图表示的室内场景光照信息；

所述自编码器的网络参数由自编码器作为生成器与判别器组成的生成式对抗网络经训练确定。

为实现上述主要目的，本发明的提供的技术方案为一种室内场景基于单张图像的光照估计方法，所述方法包括以下步骤：

获取彩色图像或全景图；

利用上述的室内场景光照估计模型对单张彩色低动态图像进行估计，获得室内场景光照信息。

为实现上述主要目的，本发明的提供的技术方案为一种室内场景基于单张图像的光照估计装置，所述装置包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现上述的室内场景光照估计方法所执行的操作。

为实现上述主要目的，本发明的提供的技术方案为一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的室内场景光照估计方法所执行的操作。

为实现上述另一目的，本发明的提供的技术方案为一种渲染方法，所述渲染方法包括：

利用上述的室内场景光照估计模型输出的室内场景光照信息进行渲染；或，

利用上述的室内场景光照估计方法获得的室内场景光照信息进行渲染；或，

利用上述的室内场景光照估计装置输出的室内场景光照信息进行渲染。

本发明提供的技术方案带来的有益效果至少包括：

以自编码器作为生成式对抗网络的生成器，结合生成式对抗网络的判别器联合训练来确定自编码器的网络参数，提升了自编码器对部分全景图进行室内场景光照信息估计的全面性和准确性，进而提升了利用该室内场景光照信息进行渲染的渲染效果的真实感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的生成式对抗网络的结构示意图；

图2是本发明实施例提供的渲染方法的流程示意图；

图3是本发明实施例提供的渲染方法中各阶段图像，其中，(a)为采集的彩色图像，(b)为表示室内场景光照信息的估计全景图，(c)为利用室内场景光照信息进行渲染的结果图，(d)为对比真实渲染图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明实施例提供了一种室内场景基于单张图像的光照估计模型，该室内场景光照估计模型包括自编码器，该自编码器主要用于对由单张彩色低动态图像映射成的部分全景图由高维特征编码和解码成以估计全景图 表示的室内场景光照信息。

在实时室内场景光照信息估计时，可以直接采集场景的单张彩色低动态图像，然后将单张彩色低动态图像转换到全景空间，获得彩色图像对应的部分全景图。因此，所述室内场景光照估计模型还包括图像预处理单元，用于根据相机方向和视角大小对接收的彩色图像进行映射获得部分全景图。

实施例中，接收的彩色图像可以由相机拍摄获得，在获得彩色图像后，根据相机方向和视角大小获得映射函数，利用该映射函数将彩色图像映射到全景空间，获得采集图像对应的部分全景图。

实施例中，为了获得整个半球面的室内场景光照信息，限定网络输入的部分全景图表达为360°的经纬全景图。即自编码器的数据源包含了360°的光照信息，利用对该360°全景图进行编、解码即可以获得的整个半球面的室内场景光照信息。

实施例中，以经度、纬度参数化全景图，这样，将室内场景光照估计问题转向二维图像的填补恢复问题，于是利用自编码器中的卷积操作来提取全景图中的特征信息，得到360°的高动态全景光照输出，代表了来自半球面每个方向的光亮度。

实施例中，自编码器采用卷积神经网络。自编码器包括编码器和解码器，其中，自编码器用于将部分全景图由高维特征编码为低维向量，并输出至解码器；解码器用于对输入的低维向量重建成表示的完整室内场景光照信息的估计全景图并输出，实现对室内场景光照的估计。

编码器是一个全卷积网络，包含六个卷积层，输入是256*512*3的全景图表示，第一卷积层的卷积核大小是4*4，步长为4，剩下的卷积层的卷积核相同，都为4，但步长为2。这样设计卷积核和步长目的是使得每 次卷积特征图的填充相对规则，特征图上下左右的像素填充都为1，并较大程度减小自编码器的参数数量和计算量，以便更快的推断预测。相邻卷积层之间用Relu激活函数，达到一种非线性的变换效果，同时使用批归一化函数，它有助于数据分布的校正，达到更快更好的收敛效果。

解码器也是一个全卷积网络，具体包括6个反卷积层，采用反卷积层来上采样，反卷积层核大小4*4，步长为2，这是一种特殊的卷积方式，也可以使用线性插值上采样与普通卷积结合的方法，能够起到类似的效果。解码器中，前5个反卷积层之间用Relu激活函数，达到一种非线性的变换效果，同时使用批归一化函数，它有助于数据分布的校正，达到更快更好的收敛效果，最后一反卷积层不使用归一化函数和Relu激活函数。

编码器的特征提取过程得到了低维向量，但也意味着丢失了一定量的信息，实验发现仅使用低维的隐空间向量的恢复效果比较模糊。由于此任务类似逐像素的映射关系，使用跳过连接的方式，把编码器提取到的信息传入解码器中，利用网络对称性的优势，相同大小的编码器特征图能够并联到解码器特征图中，生成的估计全景图整体色调更容易保持一致性，保留更多的细节，更接近于真实全景图。

上述自编码器的网络参数由自编码器作为生成器与分类器组成的生成式对抗网络经训练确定。如图1所示，在生成式对抗网络中，自编码器对于图像特征的提取和恢复具有非常好的能力，而判别器能够对生成的估计全景图进行一个判断反馈，通过不断地分辨真实全景图和估计全景图，使得估计的结果具有结构感，更逼近于一个真实场景光照图。

实施例中，自编码器网络参数的确定过程为；

构建生成式对抗网络，所述生成式对抗网络包括生成器和判别器，所述生成器为自编码器，用于将部分全景图由高维特征编码和解码成估计全 景图；所述判别器用来判别所述真实全景图和所述估计全景图之间的差距；

生成式对抗网络的基本框架可表示如下：

其中，M表示输入的全景图，y表示参考标签，也就是真实全景图，G(.)表示生成器，D(.)表示判别器。

生成器为自编码器，主要用于生成估计全景图，该自编码器的结构和上述的自编码器的结构相同，此处不再赘述。

判别器用来辨别真实全景图和估计全景图的差距，判别器采用卷积神经网络，具体可以包含5个卷积层，卷积核大小为4，第一卷积层步长为4，其它卷积层步长为2，相邻卷积层之间使用批归一化和LeakyRelu激活函数，最后一卷积层输出再添加一个sigmoid激活函数将值转为0和1之间的真实度得分。在训练过程中，判别器要使得真实全景图的输出更接近于1，而估计全景图的输出更接近于0。

构建损失函数，损失函数包括自编码器损失函数与对抗损失函数按照各自权重的乘积之和，其中，自编码器损失函数为估计全景图与真实全景图的平均绝对误差，对抗损失函数为自编码器输出的估计全景图为真伪的概率；

具体地，自编码器损失函数Loss _L1为：

对抗损失函数Loss _L2为：

损失函数Loss _total为：

其中，M表示输入的全景图，ω表示全景图自身纬度引起的权重系数，y表示真实全景图，G(M)表示生成器输出的估计全景图，

β，γ是两个超参数代表自编码器损失函数Loss _L1和对抗损失函数Loss _L2的权重。经过一定的经验性调整，可使用β＝50，γ＝1。

以所述损失函数最小为目标，利用训练数据对所述生成式对抗网络的网络参数进行迭代优化，迭代优化结束后，所述自编码器的网络参数确定。

利用生成式对抗网络中的自编码器损失函数Loss _L1和对抗损失函数Loss _L2组成的损失函数Loss _total，相比经典的逐像素的损失来说，更能够抓住图像的结构特征，即利用添加判别器组成的生成式对抗网络这一个对抗结构进行对抗训练，能够获得生成更清晰逼真的估计全景图的生成器，也就是获得生成更清晰逼真的估计全景图的自编码器。

为了提升三维模型的渲染速度，需要采用精简的室内场景光照信息。因此，所述室内场景光照估计模型还包括：

光照信息精简单元，用于对所述自编码器输出的估计全景图进行扭曲变换和球谐变换，输出球谐函数系数，以获得精简的室内场景光照信息。

这样，虽然会损失部分图像信息，但能够极大地降低存储量，只需要几个球谐函数系数就能够进行球谐光照方法，在保证渲染效果的同时，能够提升渲染速率，尤其在虚拟现实体验时，采用该精简的室内场景光照信息进行实时渲染，渲染的虚拟场景和真实场景能够实时融合，提升了虚拟现实的体验效果。精简的室内场景光照信息对于漫反射材质模型绘制效果更好，在实时绘制中可以得到较大应用。

实施例提供的室内场景光照估计模型以自编码器作为生成式对抗网络的生成器，结合生成式对抗网络的判别器联合训练来确定自编码器的网 络参数，提升了自编码器对部分全景图进行室内场景光照信息估计的全面性和准确性，进而提升了利用该室内场景光照信息进行渲染的渲染效果的真实感。

实施例还提供了一种室内场景基于单张图像的光照估计方法，该方法包括以下步骤：

获取单张彩色低动态图像；

利用上述室内场景光照估计模型对单张彩色低动态图像进行估计，获得室内场景光照信息。

该室内场景光照估计方法中的室内场景光照估计模型的结构、模型参数确定过程、室内场景光照信息的估计过程以及能够达到的技术效果与上述的室内场景光照估计模型相同，此处不再赘述。

该室内场景光照估计方法中，输入为彩色图像，利用室内场景光照估计模型中的图像预处理单元将输入的彩色图像转换为部分全景图，再利用自编码器对部分全景图进行光照信息估计，输出以估计全景图表示的室内场景光照信息。当需要精简的室内场景光照信息时，再利用光照信息精简单元将估计全景图进行扭曲变换和球谐变换，输出球谐函数系数，获得精简的室内场景光照信息。

实施例还提供了一种室内场景基于单张图像的光照估计装置，该装置包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条指令，该至少一条指令由一个或多个处理器加载并执行以实现上述室内场景光照估计方法所执行的操作。

该室内场景光照估计装置中的指令被执行时实现的室内场景光照估计方法中的步骤与上述的室内场景光照估计方法中的步骤相同，此处不再赘述。

室内场景光照估计装置中，存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行以实现实施例提供的室内场景光照估计方法。

实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现上述室内场景光照估计方法所执行的操作。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

实施例提供的室内场景光照估计方法、装置、存储介质以自编码器作为生成式对抗网络的生成器，结合生成式对抗网络的判别器联合训练来确定自编码器的网络参数，提升了自编码器对部分全景图进行室内场景光照信息估计的全面性和准确性，进而提升了利用该室内场景光照信息进行渲染的渲染效果的真实感。

如图2所示，实施例还提供了一种渲染方法，该渲染方法包括：

利用上述室内场景光照估计模型输出的室内场景光照信息进行渲染；或，

利用上述室内场景光照估计方法获得的室内场景光照信息进行渲染；或，

利用上述室内场景光照估计装置输出的室内场景光照信息进行渲染。

即该渲染方法的具体过程为：

首先，利用图像预处理单元将输入彩色图像转换为部分全景图；

然后，利用由生成对抗框架(也就是生成式对抗网络)训练构建的自编码器对部分全景图进行光照信息估计，输出表示环境光照的估计输出(也就是估计全景图)；

接下来，利用光照信息精简单元对估计输出进行后处理，即对估计输出进行扭曲变换和球谐变换，输出球谐函数系数，获得球谐光照；

最后，利用球谐光照对三维模型进行绘制，获得绘制模型。

该渲染方法中采用的室内场景光照估计模型、室内场景光照估计方法与室内场景光照估计装置与上述的室内场景光照估计模型、室内场景光照估计方法与室内场景光照估计装置相同，此处不再赘述。

该渲染方法采用上述室内场景光照估计模型、室内场景光照估计方法与室内场景光照估计装置获得的室内场景光照信息进行渲染，进而渲染效果的真实感。

图3给出了利用上述渲染方法具体渲染过程各阶段图像，其中，(a)为相机拍摄的单张彩色低动态图像，(b)为利用上述内场景光照估计模型、方法与装置进行光照估计获得的室内场景光照信息，由于输出为高动态HDR格式，这里用了线性色调映射来可视化显示。(c)为利用该室内场景光照信息进行虚拟模型绘制的结果图，可以看到嵌入环境虚实融合的效果相对逼真，(d)为采用真实全景图来进行模型绘制的效果。

比较图3中的(c)和(d)可以得到，基于内场景光照估计模型输出的室内场景光照信息进行虚拟模型的绘制，绘制结果具有与场景的光照一致性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1. 一种室内场景基于单张图像的光照估计模型，其特征在于，包括：

   自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；

   所述自编码器的网络参数由自编码器作为生成器与判别器组成的生成式对抗网络经训练确定。
2. 如权利要求1所述的室内场景光照估计模型，其特征在于，所述自编码器网络参数的确定过程为；

   构建生成式对抗网络，所述生成式对抗网络包括生成器和判别器，所述生成器为自编码器，用于将输入的单张彩色低动态图像由高维特征编码和解码成估计全景图；所述判别器用来判别真实全景图和所述估计全景图之间的差距；

   构建损失函数，损失函数包括自编码器损失函数与对抗损失函数按照各自权重的乘积之和，其中，自编码器损失函数为估计全景图与真实全景图的平均绝对误差，对抗损失函数为自编码器输出的估计全景图为真伪的概率；

   以所述损失函数最小为目标，利用训练数据对所述生成式对抗网络的网络参数进行迭代优化，迭代优化结束后，所述自编码器的网络参数确定。
3. 如权利要求1所述的室内场景光照估计模型，其特征在于，所述自编码器采用卷积神经网络；所述判别器采用卷积神经网络。
4. 如权利要求1所述的室内场景光照估计模型，其特征在于，所述室内场景光照估计模型还包括：

   图像预处理单元，用于根据相机方向和视角大小对接收的单张彩色低 动态图像进行映射获得部分全景图。
5. 如权利要求1或4所述的室内场景光照估计模型，其特征在于，所述室内场景光照估计模型还包括：

   光照信息精简单元，用于对所述自编码器输出的估计全景图进行扭曲变换和球谐变换，输出球谐函数系数，以获得精简的室内场景光照信息。
6. 如权利要求1所述的室内场景光照估计模型，其特征在于，自编码器的部分全景图表达为360°的经纬全景图。
7. 一种室内场景基于单张图像的光照估计方法，其特征在于，所述方法包括以下步骤：

   获取单张彩色低动态图像；

   利用权利要求1～6任一项所述的室内场景光照估计模型对单张彩色低动态图像进行估计，获得室内场景光照信息。
8. 一种室内场景基于单张图像的光照估计装置，其特征在于，所述装置包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求7所述的室内场景光照估计方法所执行的操作。
9. 一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求7所述的室内场景光照估计方法所执行的操作。
10. 一种渲染方法，其特征在于，所述渲染方法包括：

    利用权利要求1～6所述的室内场景光照估计模型输出的室内场景光照信息进行渲染；或，

    利用权利要求7所述的室内场景光照估计方法获得的室内场景光照信息进行渲染；或，

    利用权利要求8所述的室内场景光照估计装置输出的室内场景光照信息进行渲染。

Images