WO2017071293A1 - 深度图像的去噪方法和去噪设备 - Google Patents

深度图像的去噪方法和去噪设备 Download PDF

Info

Publication number
WO2017071293A1
WO2017071293A1 PCT/CN2016/088576 CN2016088576W WO2017071293A1 WO 2017071293 A1 WO2017071293 A1 WO 2017071293A1 CN 2016088576 W CN2016088576 W CN 2016088576W WO 2017071293 A1 WO2017071293 A1 WO 2017071293A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth image
denoising
depth
original
image
Prior art date
Application number
PCT/CN2016/088576
Other languages
English (en)
French (fr)
Inventor
赵骥伯
赵星星
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US15/502,791 priority Critical patent/US20170270644A1/en
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to EP16831884.8A priority patent/EP3340171B1/en
Publication of WO2017071293A1 publication Critical patent/WO2017071293A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to image processing techniques, and more particularly to a denoising method and a denoising device for depth images.
  • a visual imaging device for example, a binocular recognition system
  • a depth image of a subject is generally employed to acquire a depth image of a subject.
  • noise has always been an important factor affecting the accuracy of the calculation.
  • Existing denoising methods usually search for invalid communication areas with small areas in the depth image, for example, a communication area with an area less than 5 pixels. These invalid communication areas are automatically recognized as isolated noise (or invalid). Point), these isolated noise will be deleted directly. However, some noise is connected to the effective communication area with a large area. If the existing denoising method is adopted, the noise that communicates with the large effective area of the communication area cannot be removed, which reduces the denoising effect.
  • FIG. 1 shows the original depth image of a subject.
  • FIG. 2 shows a depth image obtained after denoising the original depth image shown in FIG. 1 using an existing denoising method.
  • the three noises 11, 12, and 13 are considered to be isolated according to the existing denoising method.
  • the noise will be deleted directly.
  • the other two noises 14, 15 are in communication with the larger effective effective communication area 20, and therefore, according to the existing denoising method, the other two noises 14, 15 cannot be removed. This can result in the presence of these two noises 14, 15 in the denoised depth image, for example, as shown in FIG.
  • FIG. 3 shows an example of a human body depth image obtained after denoising a human body depth image using an existing denoising method.
  • FIG. 3 shows an example of a human body depth image obtained after denoising a human body depth image using an existing denoising method.
  • the existing denoising method cannot be removed, and the human body is reduced. The quality of the depth image.
  • a denoising method for a depth image which can effectively remove noise associated with an effective communication area having a large area, and improve a denoising effect.
  • a depth image denoising device capable of effectively removing noise associated with an area of an effective communication area and improving a denoising effect.
  • a method for denoising a depth image comprising the steps of:
  • S110 Decompose an original depth image of a subject into an n-layer depth image, where n is an integer greater than or equal to 2;
  • a depth image denoising apparatus comprising: image decomposition means for decomposing an original depth image into n-layer depth images (M1 - Mn), wherein n is greater than or equal to 2 Integer; image denoising device for denoising each depth image (M1 ⁇ Mn) to remove isolated noise in each depth image (M1 ⁇ Mn); and image fusion device for The n-layer depth image (M1 to Mn) after the denoising process is fused to obtain a final depth image after the denoising process.
  • the original depth image is first decomposed into a multi-layer depth image, and then the isolated noise in each depth image is removed layer by layer, and finally the denoised multi-layer depth image is merged. Thereby, the depth image after denoising is obtained.
  • the denoising method of the invention not only the isolated noise in the depth image can be removed, but also the noise connecting with the effective communication area with a large area can be effectively removed, and the denoising effect is improved.
  • Figure 1 shows an original depth image of a subject
  • FIG. 2 shows a depth image obtained after denoising the original depth image shown in FIG. 1 by using an existing denoising method
  • FIG. 3 is a view showing an example of a human body depth image obtained by denoising a human body depth image using an existing denoising method
  • FIG. 5 is a schematic diagram showing a method of denoising a depth image to decompose an original depth image into a 4-layer depth image according to an embodiment of the present invention
  • Figure 6 shows an original depth image of a subject
  • FIG. 7a-7d show a 4-layer depth image obtained by decomposing the original depth image shown in FIG. 6 by the denoising method of the depth image according to an embodiment of the present invention
  • Figures 8a-8d show a 4-layer depth image obtained after denoising the 4-layer depth image shown in Figures 7a-7d;
  • FIG. 10 shows a process of denoising a raw depth image by a denoising method of a depth image according to an embodiment of the present invention
  • Figure 12 shows a block diagram of a denoising device for a depth image in accordance with one embodiment of the present invention.
  • a denoising method for a depth image comprising the steps of: decomposing an original depth image of a subject into an n-layer depth image, where n is an integer greater than or equal to 2 De-noising processing is performed on each depth image to remove isolated noise in each depth image; and the de-noising processed n-layer depth image is fused to obtain a final depth image after denoising processing.
  • S120 performing denoising processing on each depth image (M1 to Mn) to remove isolated noise in each depth image (M1 to Mn);
  • a visual imaging device for example, a binocular recognition system having a pair of cameras or a monocular recognition system having a single camera, may be utilized to acquire an original depth image of the subject.
  • the process of acquiring the original depth image of the object by using the binocular recognition system generally includes the steps of: arranging a pair of cameras symmetrically on both sides of the object to be photographed; and simultaneously capturing the object to be photographed by using a pair of cameras, thereby obtaining a Shooting two images of the object; and acquiring the original depth image of the object according to the two images captured simultaneously by the pair of cameras.
  • the distance of each point on the object with respect to the camera can be calculated according to the depth of each pixel on the original depth image of the object, because there is a certain mapping relationship between the two.
  • FIG. 4 shows the correspondence between the depth of the original depth image output by the visual imaging device and the actual distance of the object with respect to the visual imaging device (camera).
  • FIG. 4 represents the depth value (gray level) of the output original depth image
  • the ordinate y represents the actual distance (in mm) of the subject with respect to the visual imaging device (camera).
  • Figure 5 shows a schematic diagram of decomposing an original depth image into a multi-layer depth image.
  • the actual distance of the object being photographed relative to the visual imaging device (camera) needs to be within a suitable area.
  • the actual distance of the object to be photographed relative to the visual imaging device (camera) needs to be within an area of 1 m to 4 m, since the depth region corresponding to the distance region of 1 m to 4 m is depth information.
  • a more concentrated area in the following description, as shown in FIG. 5, an area in which depth information is concentrated is referred to as a predetermined depth area [X1, X2], and an actual distance area corresponding to a predetermined depth area [X1, X2] is referred to. [Y2, Y1].
  • a raw depth image of a subject such as the original depth image shown in FIG. 6, is acquired using a visual imaging device (not shown).
  • 11, 12, 13 represent three isolated noises separated from the area of the effective effective communication area 20
  • 14, 15 represent two noises in communication with the area of the effective effective communication area 20.
  • the actual corresponding to the predetermined depth region [X1, X2] of the original depth image is acquired.
  • the distance zone [Y2, Y1] is shown in Figure 5.
  • the actual distance region [Y2, Y1] corresponding to the predetermined depth region [X1, X2] of the original depth image is equally divided into n distance intervals B1 to Bn, where n is an integer greater than or equal to 2, as shown in FIG. Shown.
  • n is set equal to 4
  • the actual distance region [Y2, Y1] is equally divided into four distance sections B1, B2, B3, B4. Note that the interval lengths of the four distance sections B1, B2, B3, and B4 are equal to each other.
  • the predetermined depth region [X1, X2] of the original depth image is divided into n depth intervals A1 to An corresponding to the n distance sections (B1 to Bn), respectively, as shown in FIG. 5.
  • the predetermined depth region [X1, X2] is divided into four depth intervals A1, A2, A3, A4.
  • the interval lengths of the four depth intervals A1, A2, A3, and A4 are different. Specifically, the interval lengths of the four depth intervals A1, A2, A3, and A4 are sequentially increased, that is, the depth interval.
  • the interval length of A2 is greater than the interval length of the depth interval A1
  • the interval length of the depth interval A3 is greater than the interval length of the depth interval A2
  • the interval length of the depth interval A4 is greater than the interval length of the depth interval A3.
  • the original depth image is decomposed into n-layer depth images (M1 to Mn) respectively corresponding to the n depth sections (A1 to An).
  • the original depth image is decomposed into four-layer depth images M1, M2, M3, M4.
  • the first layer depth image M1 corresponds to the first depth section A1
  • the second layer depth image M2 corresponds to the second depth section A2
  • the third layer depth image M3 corresponds to the third depth section A3
  • the fourth layer depth image M1 and the The four depth intervals A4 correspond.
  • the noises 13, 14 on the original depth image are all located within the first depth interval A1
  • the noises 13, 14 are placed in FIG. 7a.
  • the corresponding pixel position of the first layer depth image M1 is shown, and the depth values of the remaining pixel positions of the first layer depth image M1 are all set to zero.
  • the noise 11 is placed in the third layer depth image M3 shown in FIG. 7c.
  • the depth values of the remaining pixel positions of the third layer depth image M3 are all set to 0 corresponding to the pixel position.
  • the depth domain decomposition module is configured to divide the predetermined depth region [X1, X2] of the original depth image into n depth intervals A1 to An corresponding to the n distance sections B1 to Bn, respectively.
  • the depth image decomposition module is configured to decompose the original depth image into n-layer depth images M1 to Mn corresponding to the n depth intervals A1 to An, respectively. Further, the foregoing depth image decomposition module may be configured to: extract a pixel point corresponding to the depth interval Ai of the ith layer depth image Mi from the original depth image, and place the extracted pixel point into the ith layer depth image The corresponding pixel position of Mi, the remaining pixel positions of the i-th depth image Mi are all set to 0, where 1 ⁇ i ⁇ n. Further, the magnitude of the value n is determined according to the denoising effect and the denoising speed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种深度图像的去噪方法和/或去噪设备。该深度图像的去噪方法包括以下步骤：将一幅被拍摄物体的原始深度图像分解成n层深度图像，其中，n为大于或等于2的整数；对每层深度图像进行去噪处理，以去除每层深度图像中的孤立的噪点；和将去噪处理后的n层深度图像进行融合，得到去噪处理后的最终深度图像。相应地，还公开了一种深度图像的去噪设备。采用该去噪方法和/或去噪设备，不仅可以去除原始深度图像中的孤立的噪点，而且可以有效地去除与面积较大的有效联通区域联通的噪点，提高了去噪效果。

Description

深度图像的去噪方法和去噪设备 技术领域
本发明涉及图像处理技术，尤其涉及深度图像的去噪方法和去噪设备。
背景技术
在现有技术中，一般采用具有一对摄像机的视觉成像设备(例如，双目识别系统)来获取被拍摄物体的深度图像。但是在计算被拍摄物体的深度信息的过程中，噪声一直都是影响计算准确性的重要因素。现有的去噪方法通常会搜索深度图像中面积较小的无效联通区域，例如，面积小于5个像素点的联通区域，这些无效联通区域就会被自动认定为孤立的噪点(或称为无效点)，这些孤立的噪点会被直接删除。然而，有一些噪点与面积较大的有效联通区域联通，如果采用现有的去噪方法，这些与面积较大的有效联通区域联通的噪点就不能去除，这会降低去噪效果。
图1显示了一张被拍摄物体的原始深度图像。图2显示采用现有的去噪方法对图1所示的原始深度图像进行去噪之后获得的深度图像。
如图1所示，由于噪点11、12、13的面积较小(小于5个像素点)，因此，根据现有的去噪方法，这三个噪点11、12、13就会被认定为孤立的噪点，会被直接删除。然而，另外两个噪点14、15与面积较大的有效联通区域20联通，因此，根据现有的去噪方法，另外两个噪点14、15是不能被去除的。这会导致在去噪的深度图像中，这两个噪点14、15仍然存在，例如，图2所示。
由于现有的去噪方法不能去除与面积较大的有效联通区域20联通在一起的噪点14、15，降低了去噪效果，降低了深度图像的质量。例如，图3显示采用现有的去噪方法对人体深度图像进行去噪之后获得的人体深度图像的实例图。如图3所示，在去噪后的人体深度图像中，存在与人体联通的个别白色点(噪点)，由于这些白色点与人体联通，因此，现有的去噪方法不能去除，降低了人体的深度图像的质量。
发明内容
本发明的目的旨在解决现有技术中存在的上述问题和缺陷的至少一个方面。
根据本发明的一个目的，提供一种深度图像的去噪方法，其能够有效地去除与面积较大的有效联通区域联通的噪点，提高了去噪效果。
根据本发明的另一个目的，提供一种深度图像的去噪设备，其能够有效地去除与面积较大的有效联通区域联通的噪点，提高了去噪效果。
根据本发明的一个方面，提供一种深度图像的去噪方法，包括以下步骤：
S110：将一幅被拍摄物体的原始深度图像分解成n层深度图像，其中，n为大于或等于2的整数；
S120：对每层深度图像进行去噪处理，以去除每层深度图像中的孤立的噪点；和
S130：将去噪处理后的n层深度图像进行融合，得到去噪处理后的最终深度图像。
根据本发明的另一个方面，提供一种深度图像的去噪设备，包括：图像分解装置，用于将原始深度图像分解成n层深度图像(M1～Mn)，其中，n为大于或等于2的整数；图像去噪装置，用于对每层深度图像(M1～Mn)进行去噪处理，以去除每层深度图像(M1～Mn)中的孤立的噪点；和图像融合装置，用于将去噪处理后的n层深度图像(M1～Mn)进行融合，得到去噪处理后的最终深度图像。
在本发明的各个实施例中，先将原始深度图像分解成多层深度图像，然后再逐层去除每层深度图像中的孤立的噪点，最后再将去噪后的多层深度图像进行融合，从而获得去噪后的深度图像。采用本发明的去噪方法，不仅可以去除深度图像中的孤立的噪点，而且可以有效地去除与面积较大的有效联通区域联通的噪点，提高了去噪效果。
通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。
附图说明
图1显示一张被拍摄物体的原始深度图像；
图2显示采用现有的去噪方法对图1所示的原始深度图像进行去噪之后获得的深度图像；
图3显示采用现有的去噪方法对人体深度图像进行去噪之后获得的人体深度图像的实例图；
图4显示视觉成像设备输出的原始深度图像的深度与被拍摄物体相对于视觉成像设备的实际距离之间的对应关系；
图5显示根据本发明的一个实施例的深度图像的去噪方法将原始深度图像分解成4层深度图像的原理图；
图6显示一张被拍摄物体的原始深度图像；
图7a-7d显示根据本发明的一个实施例的深度图像的去噪方法对图6所示的原始深度图像进行分解之后获得的4层深度图像；
图8a-8d显示图7a-7d所示的4层深度图像进行去噪后获得的4层深度图像；
图9显示对图8a-8d所示的去噪后的4层深度图像进行融合之后获得的最终的深度图像；
图10显示根据本发明的一个实施例的深度图像的去噪方法对原始深度图像进行去噪的过程；
图11显示采用本发明的一个实施例的深度图像的去噪方法对人体深度图像进行去噪之后获得的人体深度图像的实例图；和
图12显示根据本发明的一个实施例的深度图像的去噪设备的框图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。在说明书中，相同或相似的附图标号指示相同或相似的部件。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释，而不应当理解为对本发明的一种限制。
另外，在下面的详细描述中，为便于解释，阐述了许多具体的细节以 提供对本披露实施例的全面理解。然而明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。在其他情况下，公知的结构和装置以图示的方式体现以简化附图。
根据本发明的一个总体技术构思，提供一种深度图像的去噪方法，包括以下步骤：将一幅被拍摄物体的原始深度图像分解成n层深度图像，其中，n为大于或等于2的整数；对每层深度图像进行去噪处理，以去除每层深度图像中的孤立的噪点；和将去噪处理后的n层深度图像进行融合，得到去噪处理后的最终深度图像。
图10显示根据本发明的一个实施例的深度图像的去噪方法对原始深度图像进行去噪的过程。
在图10所示的实施例中，对原始深度图像进行去噪的过程主要包括以下步骤：
S110：将一幅被拍摄物体的原始深度图像分解成n层深度图像(M1～Mn)，其中，n为大于或等于2的整数；
S120：对每层深度图像(M1～Mn)进行去噪处理，以去除每层深度图像(M1～Mn)中的孤立的噪点；和
S130：将去噪处理后的n层深度图像(M1～Mn)进行融合，得到去噪处理后的最终深度图像。
下面将借助图4至图9来详细地说明根据本发明的对原始深度图像进行去噪的一个具体实例。
图6显示一张将要被去噪的原始深度图像。为了便于比较和说明本发明的去噪方法与现有的去噪方法之间的区别，图6所示的原始深度图像与图1所示的原始深度图像完全相同。
在本发明的一个示例性的实施例中，可以利用视觉成像设备，例如，具有一对摄像机的双目识别系统或具有单个摄像机的单目识别系统，来获取被拍摄物体的原始深度图像。
在实际应用中，通常采用双目识别系统来获取被拍摄物体的原始深度图像。双目识别系统是利用双摄像头同时对物体拍照，根据同一物体在左右摄像头图像上的位置关系和摄像头间距计算出物体的三维坐标，从而获 得被拍摄物体的原始深度图像。原始深度图像包括排成阵列的多个像素点，例如，1024*1024个像素点，每个像素点的深度采用灰度级(灰度分成0-256级，0表示纯黑色，256表示纯白色)来表示。
采用双目识别系统获取被拍摄物体的原始深度图像的过程一般包括以下步骤：将一对摄像机对称地布置在所述被拍摄物体的两侧；利用一对摄像机同时拍摄被拍摄物体，从而获得被拍摄物体的两幅图像；和根据一对摄像机同时拍摄到的两幅图像来获取被拍摄物体的原始深度图像。
在实际应用中，被拍摄物体上的各个点相对于摄象机的距离可以根据被拍摄物体的原始深度图像上的各个像素点的深度来计算，因为两者之间存在一定的映射关系。例如，图4显示视觉成像设备输出的原始深度图像的深度与被拍摄物体相对于视觉成像设备(摄像头)的实际距离之间的对应关系。
图4中的横坐标x表示输出的原始深度图像的深度值(灰度级)，纵坐标y表示被拍摄物体相对于视觉成像设备(摄像头)的实际距离(单位为mm)。图5显示将原始深度图像分解成多层深度图像的原理图。
如图4所示，随着被拍摄物体相对于视觉成像设备(摄像头)的实际距离的逐渐增大，输出的原始深度图像的深度值就会逐渐变小。
在实际应用中，被拍摄物体相对于视觉成像设备(摄像头)的实际距离需要在一个合适的区域以内。例如，在图4所示的实施例中，被拍摄物体相对于视觉成像设备(摄像头)的实际距离需要在1m至4m的区域以内，因为1m至4m的距离区域所对应的深度区域是深度信息较为集中的区域，在以下的说明中，如图5所示，将深度信息较为集中的区域称为预定深度区域[X1，X2]，将与预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]。
下面将参照图5至图9来详细说明根据本发明的一个实例性的实施例的对原始深度图像进行去噪的过程。
首先，利用视觉成像设备(未图示)获取被拍摄物体的原始深度图像，如图6所示的原始深度图像。在该原始深度图像中，11、12、13表示与面积较大的有效联通区域20分离的三个孤立的噪点，14、15表示与面积较大的有效联通区域20联通的两个噪点。
然后，根据图4所示的原始深度图像的深度x与被拍摄物体相对于视觉成像设备的实际距离y之间的对应关系，获取与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]，如图5所示。
然后，将与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]等分成n个距离区间B1～Bn，其中，n为大于或等于2的整数，如图5所示。为了简化说明，在图示的实施例中，如图5所示，n被设定为等于4，即，实际距离区域[Y2，Y1]等分成4个距离区间B1、B2、B3、B4。请注意，4个距离区间B1、B2、B3、B4的间隔长度是彼此相等的。
然后，将原始深度图像的预定深度区域[X1，X2]分成与n个距离区间(B1～Bn)分别对应的n个深度区间A1～An，如图5所示。类似地，为了简化说明，在图示的实施例中，预定深度区域[X1，X2]被分成4个深度区间A1、A2、A3、A4。请注意，4个深度区间A1、A2、A3、A4的间隔长度是不相同的，具体而言，4个深度区间A1、A2、A3、A4的间隔长度是依次增大的，即，深度区间A2的间隔长度大于深度区间A1的间隔长度，深度区间A3的间隔长度大于深度区间A2的间隔长度，深度区间A4的间隔长度大于深度区间A3的间隔长度。
然后，将原始深度图像分解成与n个深度区间(A1～An)分别对应的n层深度图像(M1～Mn)。类似地，为了简化说明，在图示的实施例中，如图5所示，将原始深度图像被分解成与4层深度图像M1、M2、M3、M4。第1层深度图像M1与第一深度区间A1对应，第2层深度图像M2与第二深度区间A2对应，第3层深度图像M3与第三深度区间A3对应，第4层深度图像M1与第四深度区间A4对应。
这样，如图7a-7d所示，图6所示的原始深度图像被分解成图7a-7d所示的4层深度图像M1、M2、M3、M4。
在图示的实施例中，如图6和图7a所示，由于原始深度图像上的噪点13、14的深度值都位于第一深度区间A1内，因此，噪点13、14被放入图7a所示的第1层深度图像M1的对应的像素点位置，第1层深度图像M1的其余像素点位置的深度值全部被设置为0。
类似地，如图6和图7b所示，由于原始深度图像上的噪点12、15的深度值都位于第二深度区间A2内，因此，噪点12、15被放入图7b所示 的第2层深度图像M2的对应的像素点位置，第2层深度图像M2的其余像素点位置的深度值全部被设置为0。
类似地，如图6和图7c所示，由于原始深度图像上的噪点11的深度值位于第三深度区间A3内，因此，噪点11被放入图7c所示的第3层深度图像M3的对应的像素点位置，第3层深度图像M3的其余像素点位置的深度值全部被设置为0。
类似地，如图6和图7d所示，由于原始深度图像上的面积较大的有效联通区域20的深度值位于第四深度区间A4内，因此，有效联通区域20被放入图7d所示的第4层深度图像M4的对应的像素点位置，第4层深度图像M4的其余像素点位置的深度值全部被设置为0。
这样，就将图6所示的原始深度图像被分解成如图7a-7d所示的4层深度图像M1、M2、M3、M4。
然后，对图7a-7d所示的4层深度图像M1、M2、M3、M4逐层进行去噪，以去除每层深度图像M1、M2、M3、M4中的孤立的噪点。这样，图7a、图7b、图7c和7d上的所有噪点11、12、13、14、15就会被去除，得到如图8a-8d所示的已经去噪的4层深度图像M1、M2、M3、M4。如图8a-8d所示，在对7a-7d所示的4层深度图像M1、M2、M3、M4逐层进行去噪之后，所有的噪点11、12、13、14、15都被去除，仅剩下了有效联通区域20。
最后，将去噪后的n层深度图像(M1～Mn)的信息进行融合，以获得去噪后的最终深度图像。在图示的实施例中，将图8a-8d所示的去噪后的4层深度图像M1、M2、M3、M4进行融合，就会获得图9所示的去噪后的最终深度图像。
如图9所示，在去噪之后，不仅去除了与面积较大的有效联通区域20分离的孤立的噪点11、12、13(参见图6)，而且还去除了与面积较大的有效联通区域20联通的噪点14、15(参见图6)，从而提高了去噪效果，提高了去噪后的深度图像的质量。
图11显示采用本发明的一个实施例的深度图像的去噪方法对人体深度图像进行去噪之后获得的人体深度图像的实例图。如图11所示，与人体联通的噪点被去除，从而提高了去噪后的深度图像的质量。
在前述实施例中，图6所示的原始深度图像被分解成4层深度图像。但是，本发明不局限于图示的实施例，原始深度图像可以被分解成2层、3层、5层或更多层。通常而言，原始深度图像被分解的层数越多，去噪精度越高，但是运算量会越大，这会降去噪效率。因此，需要根据去噪效果和去噪速度来确定最优的层数。通常，对于普通的主机(日常生活中经常使用的计算机)而言，为了保证去噪效果和去噪速度，原始深度图像通常被分解成12层或低于12层。请注意，数值n的上限值是跟主机的处理速度有关的，因此，对于处理能力强的主机，数值n的上限值可以超过12。
图12显示根据本发明的一个实施例的深度图像的去噪设备的框图。
在本发明的另一个实施例中，如图12所示，还公开了一种与前述深度图像的去噪方法对应的深度图像的去噪设备，该去噪设备主要包括：图像分解装置，用于将原始深度图像分解成n层深度图像(M1～Mn)，其中，n为大于或等于2的整数；图像去噪装置，用于对每层深度图像(M1～Mn)进行去噪处理，以去除每层深度图像(M1～Mn)中的孤立的噪点；和图像融合装置，用于将去噪处理后的n层深度图像(M1～Mn)进行融合，得到去噪处理后的最终深度图像。
如图12所示，在图示的实施例中，与前述的深度图像的去噪方法相应地，图像分解装置可以包括：距离区域获取模块、距离区域等分模块、深度区域分解模块和深度图像分解模块。
如图4和图5所示，前述距离区域获取模块用于根据原始深度图像的深度x与被拍摄物体相对于视觉成像设备的实际距离y之间的对应关系，获取与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]。
如图4和图5所示，前述距离区域等分模块用于将与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]等分成n个距离区间B1～Bn。
如图4和图5所示，前述深度区域分解模块用于将原始深度图像的预定深度区域[X1，X2]分成与n个距离区间B1～Bn分别对应的n个深度区间A1～An。
如图4和图5所示，前述深度图像分解模块用于将原始深度图像分解成与n个深度区间A1～An分别对应的n层深度图像M1～Mn。进一步地，前述深度图像分解模块可以被构造成：从原始深度图像中提取出与第i层深度图像Mi的深度区间Ai对应的像素点，并将提取出的像素点放入第i层深度图像Mi的对应的像素点位置，第i层深度图像Mi的其余像素点位置全部被设置为0，其中，1≤i≤n。更进一步地，根据去噪效果和去噪速度来确定数值n的大小。
在根据本发明的一种示例性实施例所述的深度图像的去噪设备中，被拍摄物体相对于视觉成像设备的实际距离y在0～10m的范围以内；原始深度图像的深度值在0～256的范围以内；与所述原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]被选择为[1m，4m]。此外，在根据本发明的一种示例性实施例所述的深度图像的去噪设备中，获取被拍摄物体的原始深度图像的视觉成像设备可以包括一对摄像机。进一步地，一对摄像机对称地布置在所述被拍摄物体的两侧，一对摄像机同时拍摄所述被拍摄物体，并根据一对摄像机同时拍摄到的两幅图像来获取所述被拍摄物体的原始深度图像。本领域的技术人员可以理解，上面所描述的实施例都是示例性的，并且本领域的技术人员可以对其进行改进，各种实施例中所描述的结构在不发生结构或者原理方面的冲突的情况下可以进行自由组合。
虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。
虽然本总体发明构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。
应注意，措词“包括”不排除其它元件或步骤，措词“一”或“一个”不排除多个。另外，权利要求的任何元件标号不应理解为限制本发明的范围。

Claims (18)

  1. 一种深度图像的去噪方法，包括以下步骤：
    S110：将一幅被拍摄物体的原始深度图像分解成n层深度图像(M1～Mn)，其中，n为大于或等于2的整数；
    S120：对每层深度图像(M1～Mn)进行去噪处理，以去除每层深度图像(M1～Mn)中的孤立的噪点；和
    S130：将去噪处理后的n层深度图像(M1～Mn)进行融合，得到去噪处理后的最终深度图像。
  2. 根据权利要求1所述的深度图像的去噪方法，其特征在于，所述步骤S110包括以下步骤：
    S111：根据原始深度图像的深度(x)与被拍摄物体相对于视觉成像设备的实际距离(y)之间的对应关系，获取与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]；
    S112：将与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]等分成n个距离区间(B1～Bn)；
    S113：将原始深度图像的预定深度区域[X1，X2]分成与n个距离区间(B1～Bn)分别对应的n个深度区间(A1～An)；和
    S114：将原始深度图像分解成与n个深度区间(A1～An)分别对应的n层深度图像(M1～Mn)。
  3. 根据权利要求2所述的深度图像的去噪方法，其特征在于，所述步骤S114包括：
    从所述原始深度图像中提取出与第i层深度图像(Mi)的深度区间(Ai)对应的像素点，并将提取出的像素点放入第i层深度图像(Mi)的对应的像素点位置，第i层深度图像(Mi)的其余像素点位置全部被设置为0，其中，1≤i≤n。
  4. 根据权利要求3所述的深度图像的去噪方法，其特征在于：
    所述被拍摄物体相对于视觉成像设备的实际距离(y)在0～10m的范围以内。
  5. 根据权利要求4所述的深度图像的去噪方法，其特征在于：所述原始深度图像的深度值在0～256的范围以内。
  6. 根据权利要求5所述的深度图像的去噪方法，其特征在于：
    与所述原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]被选择为[1m，4m]。
  7. 根据权利要求1所述的深度图像的去噪方法，其特征在于：
    获取被拍摄物体的原始深度图像的视觉成像设备包括一对摄像机。
  8. 根据权利要求7所述的深度图像的去噪方法，其特征在于，获取被拍摄物体的原始深度图像包括以下步骤：
    将一对摄像机对称地布置在所述被拍摄物体的两侧；
    利用一对摄像机同时拍摄所述被拍摄物体，从而获得所述被拍摄物体的两幅图像；和
    根据一对摄像机同时拍摄到的两幅图像来获取所述被拍摄物体的原始深度图像。
  9. 根据权利要求1所述的深度图像的去噪方法，其特征在于：根据去噪效果和去噪速度来确定数值n的大小。
  10. 一种深度图像的去噪设备，其特征在于，包括：
    图像分解装置，用于将原始深度图像分解成n层深度图像(M1～Mn)，其中，n为大于或等于2的整数；
    图像去噪装置，用于对每层深度图像(M1～Mn)进行去噪处理，以去 除每层深度图像(M1～Mn)中的孤立的噪点；和
    图像融合装置，用于将去噪处理后的n层深度图像(M1～Mn)进行融合，得到去噪处理后的最终深度图像。
  11. 根据权利要求10所述的深度图像的去噪设备，其特征在于，所述图像分解装置包括：
    距离区域获取模块，用于根据原始深度图像的深度(x)与被拍摄物体相对于视觉成像设备的实际距离(y)之间的对应关系，获取与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]；
    距离区域等分模块，用于将与原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]等分成n个距离区间(B1～Bn)；
    深度区域分解模块，用于将原始深度图像的预定深度区域[X1，X2]分成与n个距离区间(B1～Bn)分别对应的n个深度区间(A1～An)；和
    深度图像分解模块，用于将原始深度图像分解成与n个深度区间(A1～An)分别对应的n层深度图像(M1～Mn)。
  12. 根据权利要求11所述的深度图像的去噪设备，其特征在于，所述深度图像分解模块被构造成：
    从所述原始深度图像中提取出与第i层深度图像(Mi)的深度区间(Ai)对应的像素点，并将提取出的像素点放入第i层深度图像(Mi)的对应的像素点位置，第i层深度图像(Mi)的其余像素点位置全部被设置为0，其中，1≤i≤n。
  13. 根据权利要求12所述的深度图像的去噪设备，其特征在于：
    所述被拍摄物体相对于视觉成像设备的实际距离(y)在0～10m的范围以内。
  14. 根据权利要求13所述的深度图像的去噪设备，其特征在于：所述原始深度图像的深度值在0～256的范围以内。
  15. 根据权利要求14所述的深度图像的去噪设备，其特征在于：
    与所述原始深度图像的预定深度区域[X1，X2]对应的实际距离区域[Y2，Y1]被选择为[1m，4m]。
  16. 根据权利要求10所述的深度图像的去噪设备，其特征在于：
    获取被拍摄物体的原始深度图像的视觉成像设备包括一对摄像机。
  17. 根据权利要求16所述的深度图像的去噪设备，其特征在于：
    所述一对摄像机对称地布置在所述被拍摄物体的两侧，所述一对摄像机同时拍摄所述被拍摄物体，并根据一对摄像机同时拍摄到的两幅图像来获取所述被拍摄物体的原始深度图像。
  18. 根据权利要求10所述的深度图像的去噪设备，其特征在于：根据去噪效果和去噪速度来确定数值n的大小。
PCT/CN2016/088576 2015-10-26 2016-07-05 深度图像的去噪方法和去噪设备 WO2017071293A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/502,791 US20170270644A1 (en) 2015-10-26 2016-05-07 Depth image Denoising Method and Denoising Apparatus
EP16831884.8A EP3340171B1 (en) 2015-10-26 2016-07-05 Depth image denoising method and denoising device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510702229.4A CN105354805B (zh) 2015-10-26 2015-10-26 深度图像的去噪方法和去噪设备
CN201510702229.4 2015-10-26

Publications (1)

Publication Number Publication Date
WO2017071293A1 true WO2017071293A1 (zh) 2017-05-04

Family

ID=55330772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/088576 WO2017071293A1 (zh) 2015-10-26 2016-07-05 深度图像的去噪方法和去噪设备

Country Status (4)

Country Link
US (1) US20170270644A1 (zh)
EP (1) EP3340171B1 (zh)
CN (1) CN105354805B (zh)
WO (1) WO2017071293A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992359A (zh) * 2019-12-20 2020-04-10 姜通渊 一种混凝土裂缝检测方法、装置及电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
CN106910166B (zh) * 2016-08-31 2020-06-26 湖南拓视觉信息技术有限公司 一种图像处理方法和装置
CN108230234B (zh) * 2017-05-19 2019-08-20 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN113632134B (zh) 2019-04-11 2023-06-13 杜比实验室特许公司 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
CN111260592B (zh) * 2020-03-17 2023-10-31 北京华捷艾米科技有限公司 一种深度图像去噪方法及装置
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
US11600010B2 (en) * 2020-06-03 2023-03-07 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
CN113362241B (zh) * 2021-06-03 2022-04-05 太原科技大学 一种结合高低频分解和两级融合策略的深度图去噪方法
CN113327209A (zh) * 2021-06-29 2021-08-31 Oppo广东移动通信有限公司 深度图像生成方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886557A (zh) * 2014-03-28 2014-06-25 北京工业大学 一种深度图像的去噪方法
CN104021553A (zh) * 2014-05-30 2014-09-03 哈尔滨工程大学 一种基于像素点分层的声纳图像目标检测方法
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
CN105354805A (zh) * 2015-10-26 2016-02-24 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283841A (en) * 1990-03-30 1994-02-01 Canon Kabushiki Kaisha Image processing method and apparatus
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
JP2001221633A (ja) * 2000-02-09 2001-08-17 Olympus Optical Co Ltd 測距装置
US8126268B2 (en) * 2005-12-30 2012-02-28 Telecom Italia S.P.A. Edge-guided morphological closing in segmentation of video sequences
CN100562067C (zh) * 2007-07-26 2009-11-18 上海交通大学 带有去噪功能的实时数字图像处理增强方法
US8588515B2 (en) * 2009-01-28 2013-11-19 Electronics And Telecommunications Research Institute Method and apparatus for improving quality of depth image
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
JP5269663B2 (ja) * 2009-03-19 2013-08-21 富士フイルム株式会社 光立体構造計測装置及びその構造情報処理方法
US9002134B2 (en) * 2009-04-17 2015-04-07 Riverain Medical Group, Llc Multi-scale image normalization and enhancement
US8588551B2 (en) * 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
KR20130047822A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 영상 처리 장치 및 방법
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
CN104169966A (zh) * 2012-03-05 2014-11-26 微软公司 基于光衰减来生成深度图像
US9185387B2 (en) * 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
TWI448990B (zh) * 2012-09-07 2014-08-11 Univ Nat Chiao Tung 以分層掃描法實現即時人數計數
US9478004B2 (en) * 2013-04-11 2016-10-25 John Balestrieri Method and system for analog/digital image simplification and stylization
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP2015035658A (ja) * 2013-08-07 2015-02-19 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
JP6292790B2 (ja) * 2013-08-08 2018-03-14 キヤノン株式会社 距離検出装置、撮像装置および距離検出方法
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104112263B (zh) * 2014-06-28 2018-05-01 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
US9600739B2 (en) * 2014-09-10 2017-03-21 Khalifa University of Science, Technology & Research Architecture for real-time extraction of extended maximally stable extremal regions (X-MSERs)
US9547907B2 (en) * 2014-12-15 2017-01-17 Intel Corporation Image segmentation using color and depth information
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886557A (zh) * 2014-03-28 2014-06-25 北京工业大学 一种深度图像的去噪方法
CN104021553A (zh) * 2014-05-30 2014-09-03 哈尔滨工程大学 一种基于像素点分层的声纳图像目标检测方法
CN104268506A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 基于深度图像的客流计数检测方法
CN105354805A (zh) * 2015-10-26 2016-02-24 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992359A (zh) * 2019-12-20 2020-04-10 姜通渊 一种混凝土裂缝检测方法、装置及电子设备
CN110992359B (zh) * 2019-12-20 2020-12-08 泗县智来机械科技有限公司 一种基于深度图的混凝土裂缝检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN105354805A (zh) 2016-02-24
EP3340171A4 (en) 2019-05-22
US20170270644A1 (en) 2017-09-21
CN105354805B (zh) 2020-03-06
EP3340171B1 (en) 2020-05-06
EP3340171A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
WO2017071293A1 (zh) 深度图像的去噪方法和去噪设备
US20220044375A1 (en) Saliency Map Enhancement-Based Infrared and Visible Light Fusion Method
CN105894574B (zh) 一种双目三维重建方法
CN109410127B (zh) 一种基于深度学习与多尺度图像增强的图像去噪方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110991266A (zh) 一种双目人脸活体检测方法及装置
CN111080709A (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN109509164A (zh) 一种基于gdgf的多传感器图像融合方法及系统
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
JP2008140290A (ja) 頭部の位置・姿勢検出装置
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
JP2009288885A (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN103268482A (zh) 一种低复杂度的手势提取和手势深度获取方法
CN105608674B (zh) 一种基于图像配准、插值和去噪的图像增强方法
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
CN108509868A (zh) 一种基于光场相机的人脸识别系统及方法
CN111696143A (zh) 一种事件数据的配准方法与系统
CN116188554A (zh) 一种基于双目立体测量内镜的三维成像方法及装置
WO2019178717A1 (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
KR20180115108A (ko) 수중 로봇을 이용한 선체 수중검사를 위한 스테레오 비전 기반 법선 벡터 추출 장치 및 그 방법
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
Yan et al. Improved Image Fusion Algorithm for Detecting Obstacles in Forests.
CN112069923A (zh) 3d人脸点云重建方法及系统
JP2013115739A (ja) 画像間差分装置および画像間差分方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15502791

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016831884

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2016831884

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16831884

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE