WO2024146317A1 - 处理图像的方法、装置和电子设备 - Google Patents

Abstract

本申请实施例提供了处理图像的方法、装置和电子设备，该方法包括：获取目标时刻被摄对象的全景图像；获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；根据预设对应关系，确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；将所述第一盲区图像缝合在所述全景图像中。

Description

处理图像的方法、装置和电子设备

交叉引用

本申请要求在2023年01月05日提交中国专利局、申请号为202310012833.9、发明名称为“处理图像的方法、装置和电子设备”的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种处理图像的方法、装置和电子设备。

背景技术

在例如机场、港口、厂房等的大视野场景中，通常为执行例如智能识别等的相关任务，需要获取场景的全景图像。实际应用中，由于例如行车、吊车遮挡等的原因，通常全景图像会出现视觉盲区，影响视觉体验效果，也导致后续相关任务的结果不准确，需要对盲区图像进行处理。

相关盲区图像的处理方法只能处理遮挡物相对于全景图像静止的静态场景无法适应遮挡物移动的动态场景。

发明内容

本申请实施例的目的是提供一种处理图像的方法、装置和电子设备，能够在遮挡物移动的动态场景下消除盲区获得无遮挡的全景图像。

为解决上述技术问题，本申请实施例是通过以下各方面实现的。

第一方面，本申请实施例提供了一种处理图像的方法，包括：获取目标时刻被摄对象的全景图像；获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；根据预设对应关系，确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中， 所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；将所述第一盲区图像缝合在所述全景图像中。

第二方面，本申请实施例提供了一种处理图像的装置，包括：第一获取模块，用于获取目标时刻被摄对象的全景图像；第二获取模块，用于获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；第一确定模块，用于确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；缝合模块，用于将所述第一盲区图像缝合在所述全景图像中。

第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现上述第一方面所述的处理图像的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述第一方面所述的处理图像的方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本申请实施例提供的一种处理图像的方法的一种流程示意图；

图2示出本申请实施例提供的一种处理图像的方法的另一种流程示意图；

图3a-3d示出本申请实施例处理的图像的示意图；

图3e示出本申请实施例缝合位置的示意图；

图4示出本申请实施例提供的一种处理图像的装置的结构示意图；

图5为执行本申请实施例提供的一种处理图像的方法的电子设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1示出本申请实施例提供的一种处理图像的方法的一种流程示意图，该方法可以由电子设备执行，例如终端设备或服务端设备。换言之，所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示，该方法可以包括以下步骤。

步骤S110：获取目标时刻被摄对象的全景图像。

可选的，被摄对象为具有大视野场景的对象，例如机场、港口、厂房。可选的，本步骤的全景图像可以为一个全景摄像头获取的一张图像，也可以为由多个全景摄像头获取的多张图像拼接而成。如图3a所示，本步骤获取的全景图像中的部分区域被目标遮挡物21遮挡。例如，被摄对象22位于目标遮挡物21下方，全景摄像头位于目标遮挡物21上方，在全景摄像头拍摄的图像中被摄对象22目标遮挡物21遮挡。

步骤S120：获取所述目标时刻拍摄到的包含第一标记的第一标记图像。

在一种可选的实现方式中，实现本申请实施例提供的处理图像的方法的物理场景可以包括：第一标记的位置与被摄对象分别位于目标遮挡物的两侧。如图3a所示，例如，被摄对象22位于目标遮挡物21下方，则第一标记23位于目标遮挡物21上方。第一标记可以采用多种形式，例如取值0～99的 数字板等，第一标记等间距依次安装，且保证第一摄像头一次至少可以抓拍到多个连续数字板。根据包含多个所述第一标记的图像，例如以第一标记0为原点，可以确定参考坐标系uv。

第一摄像头用于拍摄第一标记，第一摄像头的位置在目标遮挡物和第一标记之间，在目标遮挡物移动过程中，第一摄像头不被遮挡，第一摄像头能够获取第一标记图像，第一标记图像中包含多个第一标记。例如，图中第一摄像头24可以设置在目标遮挡物21上表面，随目标遮挡物21移动并拍摄位于目标遮挡物21上方的第一标记23。在第一时刻拍摄第一标记05，在第二时刻拍摄第一标记35，第三时刻拍摄第一标记68，由此标记目标遮挡物21在第一、第二、第三时刻的位置。即所述第一标记用于指示目标遮挡物21在所述目标时刻的位置。

具体的，目标遮挡物为场景中可移动物体，例如设置于车间里的用于运输的行车、吊车，摄像头可以安装在例如吊车吊臂。吊车移动时，摄像头不被吊臂遮挡，可以拍摄第一标记所在区域获取第一标记图像。

步骤S130：根据预设对应关系，确定所述第一标记图像对应的第一盲区图像。

预设对应关系可以为第一标记图像和第一盲区图像的映射关系，例如一一映射关系。因此在第一标记图像已知的情况下，可以确定与之对应的第一盲区图像。如图3b中，第一标记05对应的第一标记图像与第一盲区图像210之间、第一标记35对应的第一标记图像与第一盲区图像220之间、第一标记68对应的第一标记图像与第一盲区图像230之间存在离线标记的映射关系。

本步骤在确定第一标记图像对应第一标记05时，可以根据上述预设对应关系，确定所述第一标记图像对应的第一盲区图像为图像210。

步骤S140：将所述第一盲区图像缝合在所述全景图像中。

例如，在确定第一标记图像对应的第一盲区图像为图像210的情况下，将所述第一盲区图像210缝合在所述全景图像中，即将图3a中被目标遮挡物21遮挡住的区域，替换为第一盲区图像210，以得到无盲区的全景图像，如图3c所示，无盲区的全景图像能消除遮挡物的影响展示全部被摄对象22。缝合指 使用第一盲区图像替换全景图像中的盲区区域时进行的缝隙融合操作，旨在消除接缝效应，得到适用于后续智能识别等操作的全景图像。

在本申请实施例中，通过获取目标时刻被摄对象的全景图像；获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；根据预设对应关系，确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；将所述第一盲区图像缝合在所述全景图像中，能够在遮挡物移动的动态场景下消除盲区获得无遮挡的全景图像。

图2示出本申请实施例提供的一种处理图像的方法的另一种流程示意图。如图所示，该方法可以包括以下步骤。

步骤S211：获取多个包含不同的所述第一标记的第一图像，构成第一图像集I_k；确定所述第一图像集I_k中每个图像像素原点在参考坐标系中的第一像素坐标

目标遮挡物从起点移动到终点，可以获取一系列包含不同第一标记的图像集I_k，结合图3a，第一图像集I_k包括05、35、68等多个第一图像。图3a图像的像素原点可以有多种实现方式，以图像05为例，其像素原点可以为其左下角的顶点或中心点等，其像素原点在参考坐标系uv中的第一像素坐标为

在一种可能的实现方式中，本步骤可以具体包括：确定所述第一标记在对应的第一图像中的第一原始像素坐标确定相邻的两个所述第一标记之间的像素距离d_ij(i＝0,1,…,99,j＝i+1)。基于所述第一原始像素坐标和所述像素距离d_ij(i＝0,1,…,99,j＝i+1)，确定各所述第一标记在所述参考坐标系u轴方向的坐标中的第一相对坐标根据所述第一标记在所述参考坐标系中的所述第一原始像素坐标和所述第一相对坐标确定所述第一像素坐标 为不同位置时刻抓拍的第一标记在第一图像中的相对坐标。由此，实现第一标记的标定作用。

步骤S212：获取多个所述第一图像对应的多个盲区图像，构成盲区图像集I′_k；确定所述盲区图像集I′_k中每个图像像素原点在全景坐标系中的第二 像素坐标

在一种可选的实现方式中，实现本申请实施例提供的处理图像的方法的物理场景除上述第一标记和第一摄像头的设置之外，还可以包括：设置第二标记和第二摄像头。具体地，第二摄像头位于被摄对象与目标遮挡物之间，在由于目标遮挡物的遮挡致使全景摄像头无法拍摄到被摄对象的情况下，第二摄像头可以拍摄到被摄对象。例如，被摄对象位于目标遮挡物下方，则第二摄像头可以位于目标遮挡物下方、被摄对象的上方。

第二标记与被摄对象位于目标遮挡物的同侧，用于标记被摄对象的位置，第二标记可以为数字板或参考线等形式。第二摄像头拍摄被摄对象时也能够拍摄到第二标记，例如一次可以拍摄多个第二标记，由此在图像中能够确定被摄对象的位置。假定用竖直参考线作为第二标记，以最左端竖直参考线作为起点，可以构造全景坐标系u′v′。

在一种可能的实现方式中，本步骤可以具体包括：目标遮挡物移动时，在获取不同数字图像集I_k的同时，采集同一时刻的盲区图像集I′_k(k＝0,1,…,99)，标记出竖直标记线在各自盲区图像x′轴方向的原始像素坐标，即确定所述盲区图像中参考线在所述全景坐标系中的第二原始像素坐标

确定所述盲区图像中各线条在所述全景坐标系中的第二相对坐标具体地，在全景图像中，标记不同线条在u′轴方向的坐标，记为

根据所述第二原始像素坐标和所述第二相对坐标确定所述第二像素坐标为不同位置拍摄的盲区图像在全景图像中的相对坐标。

步骤S213：根据所述第一像素坐标和所述第二像素坐标建立所述预设对应关系。

建立第二像素坐标与第一像素坐标之间的预设对应关系。由此，建立第一图像中各像素与盲区图像中各像素之间的对应关系。对有限点集进行标定得到的该对应关系，可用于在目标遮挡物的移动过程中，根据该对应关系确定盲区图像中每个像素对应的缝合位置，由此，实现像素级别的精确缝合以提高全景图像的缝合质量。

在一种实现方式中，可以通过线性差值方式，建立所述第一像素坐标和所述第二像素坐标之间的所述预设对应关系。具体地，结合图3e，根 据以上描述，即对应的左侧缝合坐标位置，使用标定的相对全景坐标与构造第一标记图像与第一盲区图像的原点坐标的一一映射：
f:z^uv→z^u′v′

由于离线标定是有限点集的映射关系，而遮挡物移动过程中位置是不定的，故需要对任意的位置估算出缝合坐标，在遮挡物移动过程中，定位摄像头与盲区摄像头的相对位置是固定不变的，第一标记图像与第一盲区图像的左边缘坐标是近似线性关系，因此采样线性插值方式构造缝合坐标的映射关系，记为f(·)。

在一种实现方式中，本步骤可以理解为离线的预设步骤。步骤S220：获取目标时刻被摄对象的全景图像。

在一种实现方式中，本步骤可以是由多个全景摄像头获取图像，并将图像拼接构成本步骤的全景图像。具体来讲，可以将多个全景摄像头在所述目标时刻拍摄被摄对象的图像，映射到虚拟场景画布图像V_m×n，获得拼接参数。其中，虚拟场景画布可以使用是按照1：n比例生成的现实场景勾勒图，如车间图纸的简略图，机场的素描图等，虚拟场景画布图像表示为V_m×n，其包含了现实场景的整体框架信息，例如，图3d所示的多个被摄对象22，同时也包含拼接所需要的特征点信息，如竖直参考线L、角点、交点、中心点等，若现实场景的竖直线段或角点不够丰富，可按照一定间距补充设置，然后再生成虚拟场景画布图像。所有摄像头图像以虚拟场景画布作为基准，最终拼接得到的全景图像与虚拟场景画布分辨率相同，在局部特征点处一一对应。

根据所述拼接参数，将每个所述摄像头的图像映射至所述第二图像Q_m×n。其中，对每个全景摄像头，计算全景摄像头图像至虚拟场景画布图像V_m×n的映射矩阵M就是获取拼接参数过程，假定摄像头图像中的点p与V_m×n中的点p′一一对应，则映射矩阵M可以表示为：

其中M＝(a_ij)_3×3，根据上述公式，为了计算映射矩阵M，至少需要4对非共线的坐标点。

所述第二图像Q_m×n的元素均为零，所述第二图像Q_m×n的分辨率与虚拟 场景画布图像V_m×n相同；对重叠区域进行融合处理，得到所述全景图像。根据拼接参数，将每个摄像头图像映射至图像Q_m×n中对应区域，对摄像头两两重叠区域进行缝隙融合处理。

可选的，所述对重叠区域进行融合处理，得到所述全景图像，包括：获取重合点在多个摄像头的图像中的重合点像素值；获取各所述重合点像素值对应的融合系数；根据所述重合点像素值和所述融合系数，确定融合后的像素值；根据所述融合后的像素值，得到所述全景图像。

例如，重合点q在两个摄像头图像的像素值分别为(r₁,g₁,b₁)与(r₂,g₂,b₂)，则线性融合后的像素值可以表示为：

其中α₁，α₂为融合系数，最终获得的图像Q_m×n即为全景拼接图像。

基于虚拟场景画布的全景图像拼接方法消除了两两拼接引入的累积误差，也避免了特征点提取失败的情况，由于各全景摄像头的融合替换是相互独立的，因此多摄像头可以独立执行，极大改善拼接速度。

步骤S230：获取所述目标时刻拍摄到的包含第一标记的第一标记图像。

本步骤可以采用图1实施例对应步骤的描述，对于可重复的部分，在此不再赘述。

步骤S240：根据预设对应关系，确定所述第一标记图像对应的第一盲区图像。

在一种可能的实现方式中，本步骤包括：确定所述目标遮挡物的位置在所述参考坐标系中的第一坐标根据所述预设对应关系，确定所第一坐标对应的所述目标遮挡物的位置在所述全景坐标系中的第二坐标z′＝f(z)；根据所述第二坐标z′＝f(z)，从所述盲区图像集I′_k中确定所述第一盲区图像。

可选的，根据预先训练好的标记检测深度学习模型，例如数字检测深度学习模型，对当前顶部摄像头图像进行数字定位识别，得到置信度最高的识别结果为k(0≤k≤99)，矩形框左上角坐标为(x₀,y₀)，右下角坐标为(x₁,y₁)。其次，根据识别到的数字结果及离线标定的各数字相对坐标值 得到识别结果在数字板全景图像的坐标值最后，计算定位矩形框在x轴方向的中心坐标：
c＝(x₀+x₁)/2

并根据及c即可计算出当前定位图像在数字板全景图像的横向坐标值。

此后，根据缝合坐标映射关系f(·)及当前定位图像在数字全景图像的横向坐标值z，得到左侧缝合坐标定位结果z′＝f(z)。并从所述盲区图像集I′_k中确定所述第一盲区图像。

在一种可能的实现方式中，在目标遮挡物移动过程中，第一、第二摄像头通常不是完全同步的，因此，第一图像与盲区图像的对应存在不准确的情况，因此需要在缝合坐标粗定位的基础上进行位置微调。需要在盲区图像中准确定位出竖直参考线的位置，由于光线变化、异物遮挡等干扰，本申请实施例基于高斯回归的卷积神经网络进行竖直标记线定位。

具体来讲，在确定所第一坐标对应的第二坐标z′＝f(z)之后，还包括：将预定网络推理结果沿所述参考线的方向进行累加投影，获得累加投影向量，Γ＝[α₀α₁,…,α_w]，其中w为盲区图像的宽度；统计累加投影向量的最大值及索引；假定在位置t(0≤t≤w)时取得最大值α_t，说明在横向像素位置t处存在一条置信度最高的竖直标记线；根据所述第二坐标z′＝f(z)和所述第二相对坐标计算当前第一盲区图像中所述参考线的像素位置坐标集合{β₀,β₁,…,β_n}；确定所述位置坐标集合{β₀,β₁,…,β_n}中的各坐标与最大索引结果t的位置偏移offset＝t-β_i,(0≤i≤n)；根据所述位置偏移与最大位置偏移阈值，确定标记值λ＝0或λ＝1；最终的左侧缝合坐标即可表示为：

由于遮挡物移动过程中盲区图像分辨率不变，故右侧缝合分辨率可以累加一个盲区图像宽度。

根据所述标记值、所述第二坐标和所述位置偏移，确定缝合坐标：根据所述缝合坐标，将所述第一盲区图像缝合在所述全景图像中。

在确定所述第一坐标对应的第二坐标z′＝f(z)之前，还包括：根据以下方式，训练所述预定网络，所述预定网络用于输出所述预定网络推理结果，所述以下方式包括：

按照所述参考线的方向，例如竖直方向，对所述参考线生成高斯分布标签值；假定竖直标记线首末端点分别记为p₀(x₀,y₀)，p₁(x₁,y₁)，对标签图像中的标签像素点q(x,y)，计算所述标签像素点q(x,y)在所述参考线的方向矢量上的投影点；

其次判断投影点q_proj的各分量是否均在p₀(x₀,y₀)于p₁(x₁,y₁)范围内，即是否满足约束条件：

若所述判断投影点q_proj的各分量不在预定范围内，则置标记λ＝0；若所述判断投影点q_proj的各分量在预定范围内，则置λ＝1；输出所述标签像素点q(x,y)的标签取值为：

其中，d_xy为像素点q(x,y)与矢量的垂直距离，σ为高斯先验参数。

由上述公式可见，沿着竖直标记线垂直方向即横向像素标签值呈现正态分布，在竖直参考线位置取得最大1，其他位置标签像素值为0。

步骤S250：将所述第一盲区图像缝合在所述全景图像中。

在一种实现方式中，获取所述第一盲区图像与所述全景图像的重合点，在多个摄像头的图像中的重合点像素值；获取各所述重合点像素值对应的融合系数；根据所述重合点像素值和所述融合系数，确定融合后的像素值；根据所述融合后的像素值，得到缝合后的所述全景图像以消除接缝。

例如，预先设定盲区图像左侧、右侧的横向融合长度分别为L_left与L_right，则在盲区图像与全景图像融合过程中存在三种情况，仅有右侧融合，当遮挡物移动至最左侧时，盲区图像左侧在全景图像之外，此时以盲区右侧缝合坐标为基准，对横向坐标左右各取L_right长度的区域进行融合替换，且缝合位置 右侧全景图像的融合系数较高，缝合位置左侧盲区图像的融合系数较高。

仅有左侧融合，当遮挡物移动至最右侧时，盲区图像右侧在全景图像之外，此时以盲区左侧缝合坐标为基准，对横向坐标左右各取L_left长度的区域进行融合替换，且缝合位置左侧全景图像的融合系数较高，缝合位置右侧盲区图像的融合系数较高。

左右两侧均需融合，当遮挡物移动过程中，盲区图像左右两侧均在全景图像中，此时左侧以盲区左侧缝合坐标为基准，对横向坐标左右各取L_left长度的区域进行融合替换，且缝合位置左侧全景图像的融合系数较高，缝合位置右侧盲区图像的融合系数较高；右侧盲区右侧缝合坐标为基准，对横向坐标左右各取L_right长度的区域进行融合替换，且缝合位置右侧全景图像的融合系数较高，缝合位置左侧盲区图像的融合系数较高。

本申请实施例提供的一种处理图像的方法，通过获取多个包含不同的所述第一标记的第一图像，构成第一图像集I_k；确定所述第一图像集I_k中每个图像像素原点在参考坐标系中的第一像素坐标获取多个所述第一图像对应的多个盲区图像，构成盲区图像集I′_k；确定所述盲区图像集I′_k中每个图像像素原点在全景坐标系中的第二像素坐标根据所述第一像素坐标和所述第二像素坐标建立所述预设对应关系，能够基于标定后的标记物，得到盲区图像在全景图像中更准确的位置，并根据该位置，使盲区图像更高效且精确地融入全景图像。

图4示出本申请实施例提供的一种处理图像的装置的结构示意图，该装置400包括：第一获取模块410、第二获取模块420、第一确定模块430和缝合模块440。

所述第一获取模块410用于获取目标时刻被摄对象的全景图像；所述第二获取模块420用于获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；所述第一确定模块430用于确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；所述缝合模块440用于将所述第一盲区图像缝合在所述全景图像中。

在一种可能的实现方式中，处理图像的装置还包括第三获取模块、第二确定模块，第四获取模块，第三确定模块，对应关系建立模块。

在根据预设对应关系，确定所述第一标记图像对应的第一盲区图像之前，第三获取模块用于获取多个包含不同的所述第一标记的第一图像，构成第一图像集I_k；第二确定模块用于确定所述第一图像集I_k中每个图像像素原点在参考坐标系中的第一像素坐标所述参考坐标系是根据包含多个所述第一标记的图像确定的；第四获取模块用于获取多个所述第一图像对应的多个盲区图像，构成盲区图像集I′_k；第三确定模块用于确定所述盲区图像集I′_k中每个图像像素原点在全景坐标系中的第二像素坐标所述全景坐标系是根据所述全景图像中的参考线确定的；对应关系建立模块用于根据所述第一像素坐标和所述第二像素坐标建立所述预设对应关系。

在一种可能的实现方式中，第二确定模块还用于确定所述第一标记在对应的第一图像中的第一原始像素坐标确定相邻的两个所述第一标记之间的像素距离；基于所述第一原始像素坐标和所述像素距离d_ij(i＝0,1,…,99,j＝i+1)，确定各所述第一标记在所述参考坐标系中的第一相对坐标根据所述第一标记在所述参考坐标系中的所述第一原始像素坐标和所述第一相对坐标确定所述第一像素坐标

在一种可能的实现方式中，第三确定模块还用于确定所述盲区图像中参考线在所述全景坐标系中的第二原始像素坐标确定所述盲区图像中各线条在所述全景坐标系中的第二相对坐标根据所述第二原始像素坐标和所述第二相对坐标确定所述第二像素坐标

在一种可能的实现方式中，对应关系建立模块还用于通过线性差值方式，建立所述第一像素坐标和所述第二像素坐标之间的所述预设对应关系。

在一种可能的实现方式中，第一确定模块430还用于确定所述目标遮挡物的位置在所述参考坐标系中的第一坐标根据所述预设对应关系，确定所第一坐标对应的所述目标遮挡物的位置在所述全景 坐标系中的第二坐标z′＝f(z)；根据所述第二坐标z′＝f(z)，从所述盲区图像集I′_k中确定所述第一盲区图像。

在一种可能的实现方式中，第一确定模块430还用于在确定所第一坐标对应的第二坐标z′＝f(z)之后，将预定网络推理结果沿所述参考线的方向进行累加投影，获得累加投影向量，Γ＝[α₀,α₁,…,α_w]，其中w为盲区图像的宽度；统计累加投影向量的最大值及索引；根据所述第二坐标z′＝f(z)和所述第二相对坐标计算当前第一盲区图像中所述参考线的像素位置坐标集合{β₀,β₁,…,β_n}；确定所述位置坐标集合{β₀,β₁,…,β_n}中的各坐标与最大索引结果t的位置偏移offset＝t-β_i,(0≤i≤n)；根据所述位置偏移与最大位置偏移阈值，确定标记值λ＝0或λ＝1；根据所述标记值、所述第二坐标和所述位置偏移，确定缝合坐标。缝合模块440还用于根据所述缝合坐标，将所述第一盲区图像缝合在所述全景图像中。

在一种可能的实现方式中，第一确定模块430在确定所第一坐标对应的第二坐标z′＝f(z)之前，根据以下方式，训练所述预定网络，所述预定网络用于输出所述预定网络推理结果，所述以下方式包括：按照所述参考线的方向，对所述参考线生成高斯分布标签值；对标签图像中的标签像素点q(x,y)，计算所述标签像素点q(x,y)在所述参考线的方向矢量上的投影点；

若所述判断投影点q_proj的各分量不在预定范围内，则置标记λ＝0；若所述判断投影点q_proj的各分量在预定范围内，则置λ＝1；输出所述标签像素点q(x,y)的标签取值为：

其中，d_xy为像素点q(x,y)与矢量的垂直距离，σ为高斯先验参数。

在一种可能的实现方式中，缝合模块440还用于获取所述第一盲区图像与所述全景图像的重合点，在多个摄像头的图像中的重合点像素值；获取各所述重合点像素值对应的融合系数；根据所述重合点像素值和所述融合系数，确定融合后的像素值；根据所述融合后的像素值，得到缝合后的所述全景图 像。

在一种可能的实现方式中，所述第一获取模块410还用于将多个摄像头在所述目标时刻被摄对象的图像，映射到虚拟场景画布图像V_m×n，获得拼接参数；根据所述拼接参数，将每个所述摄像头的图像映射至所述第二图像Q_m×n，其中，所述第二图像Q_m×n的元素均为零，所述第二图像Q_m×n的分辨率与虚拟场景画布图像V_m×n相同；对重叠区域进行融合处理，得到所述全景图像。

在一种可能的实现方式中，所述第一获取模块410还用于获取重合点在多个摄像头的图像中的重合点像素值；获取各所述重合点像素值对应的融合系数；根据所述重合点像素值和所述融合系数，确定融合后的像素值；根据所述融合后的像素值，得到所述全景图像。

本申请实施例提供的该装置400，可执行前文方法实施例中所述的各方法，并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

图5示出执行本申请实施例提供的数据处理的方法的电子设备500的硬件结构示意图，参考该图，在硬件层面，电子设备包括处理器510，可选地，包括内部总线520、网络接口530、存储器。其中，存储器可能包含内存540，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)550，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器510、网络接口530和存储器可以通过内部总线520相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存540和非易失性存储 器550，并向处理器510提供指令和数据。

处理器510从非易失性存储器550中读取对应的计算机程序到内存540中然后运行，在逻辑层面上形成定位目标用户的装置。处理器510，执行存储器所存放的程序，并具体用于执行图1-3实施例所述的方法，并实现相同或相应的技术效果。

上述如本申请图1-3所示实施例揭示的方法可以应用于处理器中，或者由处理器510实现。处理器510可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器510中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器510可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器510读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行前文方法实施例中所述的各方法，并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设 备执行时，使得所述电子设备执行图1-3实施例所述的方法，并实现相同或相应的技术效果。

其中，所述的计算机可读存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，实现图1-3实施例所述的方法，并实现相同或相应的技术效果。

总之，以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (14)

1. 一种处理图像的方法，所述方法包括：

   获取目标时刻被摄对象的全景图像；

   获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；

   根据预设对应关系，确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；

   将所述第一盲区图像缝合在所述全景图像中。
2. 根据权利要求1所述的方法，其中，在根据预设对应关系，确定所述第一标记图像对应的第一盲区图像之前，所述方法还包括：

   获取多个包含不同的所述第一标记的第一图像，构成第一图像集I_k；

   确定所述第一图像集I_k中每个图像像素原点在参考坐标系中的第一像素坐标所述参考坐标系是根据包含多个所述第一标记的图像确定的；

   获取多个所述第一图像对应的多个盲区图像，构成盲区图像集I′_k；

   确定所述盲区图像集I′_k中每个图像像素原点在全景坐标系中的第二像素坐标所述全景坐标系是根据所述全景图像中的参考线确定的；

   根据所述第一像素坐标和所述第二像素坐标建立所述预设对应关系。
3. 根据权利要求2所述的方法，其中，确定所述第一图像集I_k中每个图像像素原点在参考坐标系中的第一像素坐标包括：

   确定所述第一标记在对应的第一图像中的第一原始像素坐标

   确定相邻的两个所述第一标记之间的像素距离；

   基于所述第一原始像素坐标和所述像素距离d_ij(i＝0,1,…,99,j＝i+1)，确定各所述第一标记在所述参考坐标系中的第一相对坐标

   根据所述第一标记在所述参考坐标系中的所述第一原始像素坐标和 所述第一相对坐标确定所述第一像素坐标
4. 根据权利要求2所述的方法，其中，确定所述盲区图像集I′_k中每个图像像素原点在全景坐标系中的第二像素坐标包括：

   确定所述盲区图像中参考线在所述全景坐标系中的第二原始像素坐标

   确定所述盲区图像中各线条在所述全景坐标系中的第二相对坐标

   根据所述第二原始像素坐标和所述第二相对坐标确定所述第二像素坐标
5. 根据权利要求2所述的方法，其中，建立所述第一像素坐标和所述第二像素坐标之间的所述预设对应关系，包括：

   通过线性差值方式，建立所述第一像素坐标和所述第二像素坐标之间的所述预设对应关系。
6. 根据权利要求2所述的方法，其中，所述根据预设对应关系，确定所述第一标记图像对应的第一盲区图像，包括：

   确定所述目标遮挡物的位置在所述参考坐标系中的第一坐标

   根据所述预设对应关系，确定所第一坐标对应的所述目标遮挡物的位置在所述全景坐标系中的第二坐标z′＝f(z)；

   根据所述第二坐标z′＝f(z)，从所述盲区图像集I′_k中确定所述第一盲区图像。
7. 根据权利要求6所述的方法，其中，在确定所第一坐标对应的第二坐标z′＝f(z)之后，还包括：

   将预定网络推理结果沿所述参考线的方向进行累加投影，获得累加投影向量，Γ＝[α₀,α₁,…,α_w]，其中w为盲区图像的宽度；

   统计累加投影向量的最大值及索引；

   根据所述第二坐标z′＝f(z)和所述第二相对坐标计算当前第一盲 区图像中所述参考线的像素位置坐标集合{β₀,β₁,…,β_n}；

   确定所述位置坐标集合{β₀,β₁,…,β_n}中的各坐标与最大索引结果t的位置偏移offset＝t-β_i,(0≤i≤n)；

   根据所述位置偏移与最大位置偏移阈值，确定标记值λ＝0或λ＝1；

   根据所述标记值、所述第二坐标和所述位置偏移，确定缝合坐标；

   所述将所述盲区图像缝合在所述全景图像中，包括：

   根据所述缝合坐标，将所述第一盲区图像缝合在所述全景图像中。
8. 根据权利要求7所述的方法，其中，在确定所述第一坐标对应的第二坐标z′＝f(z)之前，还包括：

   根据以下方式，训练所述预定网络，所述预定网络用于输出所述预定网络推理结果，所述以下方式包括：

   按照所述参考线的方向，对所述参考线生成高斯分布标签值；

   对标签图像中的标签像素点q(x,y)，计算所述标签像素点q(x,y)在所述参考线的方向矢量上的投影点；
   

   若所述判断投影点q_proj的各分量不在预定范围内，则置标记λ＝0；

   若所述判断投影点q_proj的各分量在预定范围内，则置λ＝1；

   输出所述标签像素点q(x,y)的标签取值为：
   

   其中，d_xy为像素点q(x,y)与矢量的垂直距离，σ为高斯先验参数。
9. 根据权利要求7所述的方法，其中，根据所述缝合坐标，将所述第一盲区图像缝合在所述全景图像中，包括：

   获取所述第一盲区图像与所述全景图像的重合点，在多个摄像头的图像中的重合点像素值；

   获取各所述重合点像素值对应的融合系数；

   根据所述重合点像素值和所述融合系数，确定融合后的像素值；

   根据所述融合后的像素值，得到缝合后的所述全景图像。
10. 根据权利要求1所述的方法，其中，所述获取目标时刻被摄对象的全景图像，包括：

    将多个摄像头在所述目标时刻被摄对象的图像，映射到虚拟场景画布图像V_m×n，获得拼接参数；

    根据所述拼接参数，将每个所述摄像头的图像映射至所述第二图像Q_m×n，其中，所述第二图像Q_m×n的元素均为零，所述第二图像Q_m×n的分辨率与虚拟场景画布图像V_m×n相同；

    对重叠区域进行融合处理，得到所述全景图像。
11. 根据权利要求1所述的方法，其中，所述对重叠区域进行融合处理，得到所述全景图像，包括：

    获取重合点在多个摄像头的图像中的重合点像素值；

    获取各所述重合点像素值对应的融合系数；

    根据所述重合点像素值和所述融合系数，确定融合后的像素值；

    根据所述融合后的像素值，得到所述全景图像。
12. 一种处理图像的装置，包括：

    第一获取模块，用于获取目标时刻被摄对象的全景图像；

    第二获取模块，用于获取所述目标时刻拍摄到的包含第一标记的第一标记图像，所述第一标记用于指示目标遮挡物在所述目标时刻的位置；

    第一确定模块，用于确定所述第一标记图像对应的第一盲区图像，所述预设对应关系包括标记图像与盲区图像之间的对应关系；其中，所述第一盲区图像的拍摄位置在所述被摄对象与所述目标遮挡物之间；

    缝合模块，用于将所述第一盲区图像缝合在所述全景图像中。
13. 一种电子设备，包括：

    处理器；以及

    被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行权利要求1-11任一项所述的处理图像的方法。
14. 一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1-11任一项所述的处理图像的方法。