KR101373603B1 - 3D warping method for hole reduction and image processing apparatus using the same - Google Patents

3D warping method for hole reduction and image processing apparatus using the same Download PDF

Info

Publication number
KR101373603B1
KR101373603B1 KR1020120047386A KR20120047386A KR101373603B1 KR 101373603 B1 KR101373603 B1 KR 101373603B1 KR 1020120047386 A KR1020120047386 A KR 1020120047386A KR 20120047386 A KR20120047386 A KR 20120047386A KR 101373603 B1 KR101373603 B1 KR 101373603B1
Authority
KR
South Korea
Prior art keywords
image
warping
rgb
nodes
regions
Prior art date
Application number
KR1020120047386A
Other languages
Korean (ko)
Other versions
KR20130123891A (en
Inventor
송혁
최병호
김제우
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120047386A priority Critical patent/KR101373603B1/en
Priority to PCT/KR2012/003841 priority patent/WO2013165046A1/en
Publication of KR20130123891A publication Critical patent/KR20130123891A/en
Application granted granted Critical
Publication of KR101373603B1 publication Critical patent/KR101373603B1/en

Links

Images

Classifications

    • G06T3/18—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Abstract

홀 발생 억제를 위한 3D-워핑 방법 및 이를 적용한 영상 처리 장치가 제공된다. 본 발명의 실시예에 따른 영상 처리 방법은, 영상을 다수의 영역들로 분할하여, 영역들 단위로 영상을 3D-워핑한다. 이에 의해, 3D-워핑을 수행함에 있어 홀을 발생시키지 않거나, 발생시키더라도 최대한 억제시킬 수 있게 되어, 3D-워핑된 RGB-영상의 경우 정확한 화소값을 보유하게 되고, 3D-워핑된 Z-영상의 경우 정확한 깊이 정보를 보유하게 된다.Provided are a 3D-warping method for suppressing hole generation and an image processing apparatus using the same. An image processing method according to an embodiment of the present invention divides an image into a plurality of regions and 3D-warps the image in units of regions. As a result, in performing the 3D-warping, a hole is not generated or can be suppressed as much as possible, so that the 3D-warped RGB-image retains an accurate pixel value, and the 3D-warped Z-image In this case, accurate depth information is retained.

Figure R1020120047386
Figure R1020120047386

Description

홀 발생 억제를 위한 3Ｄ­워핑 방법 및 이를 적용한 영상 처리 장치{3D warping method for hole reduction and image processing apparatus using the same}3D warping method for suppressing hole generation and image processing apparatus using the same {3D warping method for hole reduction and image processing apparatus using the same}

본 발명은 3D-워핑 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상의 시점을 다른 시점으로 이동시키기 위한 3D-워핑 방법 및 장치에 관한 것이다.
The present invention relates to a 3D-warping method and apparatus, and more particularly, to a 3D-warping method and apparatus for moving a viewpoint of an image to another viewpoint.

3D-워핑은 영상의 시점을 다른 시점으로 이동시키는 영상 처리를 말한다. 깊이에 대한 정보를 담고 있는 Z-영상을 생성하는 Z-카메라의 시점과 색상에 대한 정보를 담고 있는 RGB-영상을 생성하는 RGB-카메라의 시점을 일치시키기 위해, Z-영상의 시점을 RGB-영상의 시점으로 이동시키는 경우에 3D-워핑이 대표적으로 이용된다.3D-warping refers to image processing for moving a viewpoint of an image to another viewpoint. In order to match the viewpoint of the Z-camera that generates the Z-image containing the depth information with the viewpoint of the RGB camera that generates the RGB image containing the information about the color, the viewpoint of the Z-image is changed to RGB-. 3D-warping is typically used when moving to the point of view of the image.

뿐만 아니라, RGB-카메라에 의해 생성된 RGB-영상의 시점을 다른 시점으로 이동시켜 다시점 영상을 생성하는 경우에도, 3D-워핑이 이용된다.In addition, 3D-warping is used even when the viewpoint of the RGB image generated by the RGB camera is moved to another viewpoint to generate a multiview image.

전자와 후자 모두의 경우에 3D-워핑된 영상에는 데이터가 정의되지 않는 홀(Hole)들이 발생하게 되는데, 이는 홀 제거 기법에 의해 데이터로 채워지더라도 부정확한 데이터로 채워질 여지가 있어, 영상의 품질을 떨어뜨리는 문제를 유발한다.
In both the former and the latter, 3D-warped images may have holes that have no data defined, which may be filled with inaccurate data even if the data is filled by the hole removal technique. It causes dropping problems.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 3D-워핑을 수행함에 있어 홀을 발생시키지 않거나, 발생시키더라도 최대한 억제시킬 수 있는 3D-워핑 방법 및 장치를 제공함에 있다.
The present invention has been made to solve the above problems, an object of the present invention, to provide a 3D-warping method and apparatus that can be suppressed to the maximum, even if it does not generate a hole in performing the 3D-warping. Is in.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 처리 방법은, 영상을 다수의 영역들로 분할하는 단계; 및 상기 분할단계에서 생성된 영역들 단위로, 상기 영상을 3D-워핑하는 단계;를 포함한다.According to an embodiment of the present invention, an image processing method includes: dividing an image into a plurality of regions; And 3D-warping the image in units of the regions generated in the dividing step.

그리고, 상기 분할단계는, 상기 영상에서 특징점들을 추출하는 단계; 및 상기 추출단계에서 추출된 특징점들을 연결하여, 상기 다수의 영역들을 생성하는 단계;를 포함할 수 있다.The dividing step may include extracting feature points from the image; And generating the plurality of regions by connecting the feature points extracted in the extraction step.

또한, 상기 추출단계는, 상기 영상에서 에지들을 검출하는 단계; 및 상기 에지들에 의한 절점들을 추출하는 단계;를 포함하고, 상기 생성단계는, 상기 절점들을 연결하여 상기 다수의 영역들을 생성할 수 있다.The extracting step may further include detecting edges in the image; And extracting nodes by the edges, wherein the generating may include connecting the nodes to generate the plurality of regions.

그리고, 상기 다수의 영역들은, 동일한 형상의 영들일 수 있다.The plurality of regions may be spirits of the same shape.

또한, 상기 형상은, 삼각형일 수 있다.In addition, the shape may be a triangle.

그리고, 상기 3D-워핑 단계는, 상기 특징점들을 3D-워핑하는 단계; 및 상기 영상의 영역들을 3D-워핑된 특징점들에 생성되는 영역들 내부로 각각 3D-워핑하는 단계;를 포함할 수 있다.And the 3D-warping step comprises: 3D-warping the feature points; And 3D-warping the regions of the image into regions generated in the 3D-warped feature points, respectively.

또한, 상기 영상은, 컬러-영상 또는 깊이-영상일 수 있다.In addition, the image may be a color image or a depth image.

한편, 본 발명의 다른 실시예에 따른, 영상 처리 장치는, 영상을 생성하는 카메라; 및 상기 카메라에서 생성된 영상을 다수의 영역들로 분할하고, 영역들 단위로 상기 영상을 3D-워핑하는 영상 프로세서;를 포함한다.
On the other hand, an image processing apparatus according to another embodiment of the present invention, the camera for generating an image; And an image processor for dividing an image generated by the camera into a plurality of regions and 3D-warping the image in units of regions.

이상 설명한 바와 같이, 본 발명에 따르면, 3D-워핑을 수행함에 있어 홀을 발생시키지 않거나, 발생시키더라도 최대한 억제시킬 수 있게 된다. 이에 따라, 3D-워핑된 RGB-영상의 경우, (거의) 모든 화소에 대해 정확한 화소값을 보유하게 되어 다시점 영상 생성시 최상의 화질을 유지할 수 있게 된다. 또한, 3D-워핑된 Z-영상의 경우, (거의) 모든 화소에 대해 정확한 깊이 정보를 보유하게 되어, 정확한 입체적 표현이 가능해진다.
As described above, according to the present invention, in performing the 3D-warping, a hole may not be generated or may be suppressed as much as possible. Accordingly, in the case of the 3D-warped RGB image, it is possible to maintain accurate pixel values for (almost) all pixels, thereby maintaining the best image quality when generating a multiview image. In addition, in the case of 3D-warped Z-images, accurate depth information is retained for all (almost) pixels, thereby allowing accurate three-dimensional representation.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 블럭도,
도 2는, 도 1에 도시된 영상 처리 장치에 의한 RGB-영상의 3D-워핑 과정의 상세히 설명에 제공되는 흐름도,
도 3은 에지 검출의 부연 설명에 제공되는 도면,
도 4는 절점 추출의 부연 설명에 제공되는 도면, 그리고,
도 5는 절점들을 이용한 RGB-영상 분할의 부연 설명에 제공되는 도면이다.1 is a block diagram of an image processing apparatus according to a preferred embodiment of the present invention;
FIG. 2 is a flowchart provided in detail of a 3D-warping process of an RGB image by the image processing apparatus shown in FIG. 1;
3 is a diagram provided for further explanation of edge detection;
4 is a view provided for further explanation of node extraction, and
5 is a diagram provided for further explanation of RGB-image segmentation using nodes.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 블럭도이다. 본 실시예에 따른 영상 처리 장치는, 하나의 RGB-영상과 Z-영상을 이용하여 다시점 영상을 생성하기 위한 3D-워핑을 수행하는데, 이 3D-워핑 과정에서 홀을 발생시키지 않는다.1 is a block diagram of an image processing apparatus according to a preferred embodiment of the present invention. The image processing apparatus according to the present embodiment performs 3D-warping for generating a multi-view image using one RGB image and a Z-image, but does not generate holes in the 3D-warping process.

이와 같은 기능을 수행하는 영상 처리 장치는, 도 1에 도시된 바와 같이, RGB-카메라(110), Z-카메라(120), 영상 프로세서(130) 및 영상 응용부(140)를 구비한다.As illustrated in FIG. 1, an image processing apparatus that performs such a function includes an RGB camera 110, a Z camera 120, an image processor 130, and an image application unit 140.

RGB-카메라(110)는 촬영을 통해 컬러-영상인 RGB-영상을 생성하고, Z-카메라(120)는 RGB-영상에 대한 깊이-영상(Depth Image)인 Z-영상을 생성한다.The RGB camera 110 generates an RGB image, which is a color image through photographing, and the Z-camera 120 generates a Z image, which is a depth image for the RGB image.

영상 프로세서(130)는 RGB-카메라(110)에서 생성된 RGB-영상과 Z-카메라(120)에서 생성된 Z-영상을 이용하여, 다양한 시점의 영상들을 생성한다. 이와 같은 기능을 수행하는 영상 프로세서(130)는, RGB-영상 교정/정렬부(131), 에지 검출부(132), 절점 추출부(133), RGB-영상 분할부(134), RGB-영상 3D-워핑부(135), Z-영상 교정/정렬부(136), Z-영상 3D-워핑부(137), Z-영상 인페인팅부(138) 및 Z-영상 업샘플링부(139)를 구비한다.The image processor 130 generates images of various views by using the RGB image generated by the RGB camera 110 and the Z image generated by the Z camera 120. The image processor 130 performing such a function includes an RGB image correction / alignment unit 131, an edge detector 132, a node extractor 133, an RGB image divider 134, and an RGB image 3D. A warping unit 135, a Z-image correction / alignment unit 136, a Z-image 3D-warping unit 137, a Z-image inpainting unit 138, and a Z-image upsampling unit 139 do.

RGB-영상 교정/정렬부(131)는 RGB-카메라(110)의 내부 인자(Intrinsic Parameter)와 외부 인자(Extrinsic Parameter)에 따라 RGB-영상을 교정(Calibration)하고 기준선에 정렬(Rectificarion)한다.The RGB image calibration / alignment unit 131 calibrates and aligns the RGB image with a reference line according to an internal parameter and an external parameter of the RGB camera 110.

에지 검출부(132)는 RGB-영상 교정/정렬부(131)에서 교정/정렬된 RGB-영상에서 에지를 검출한다. 절점 추출부(133)는 에지 검출부(132)에서 검출된 에지들을 이용하여 절점들을 추출한다.The edge detector 132 detects an edge in the RGB image corrected / aligned by the RGB image corrector / aligner 131. The node extractor 133 extracts nodes using edges detected by the edge detector 132.

RGB-영상 분할부(134)는 절점 추출부(133)에서 추출된 절점들을 연결하여 삼각 영역(삼각 형상의 영역)들을 생성함으로서, RGB-영상을 다수의 삼각 영역들로 분할한다.The RGB image segmentation unit 134 connects the nodes extracted by the node extraction unit 133 to generate triangular regions (triangular regions) to divide the RGB image into a plurality of triangular regions.

한편, Z-영상 교정/정렬부(136)는 Z-카메라(120)의 내부 인자와 외부 인자에 따라 Z-영상을 교정하고 기준선에 정렬한다. Z-영상 3D-워핑부(137)는 Z-영상 교정/정렬부(136)에서 교정/정렬된 Z-영상을 RGB-영상의 시점으로 3D-워핑한다.Meanwhile, the Z-image correction / alignment unit 136 corrects the Z-image according to the internal factor and the external factor of the Z-camera 120 and aligns it with the reference line. The Z-image 3D-warping unit 137 3D-warps the Z-image corrected / aligned by the Z-image correction / alignment unit 136 to the viewpoint of the RGB image.

Z-영상 인페인팅부(138)는 Z-영상 3D-워핑부(137)에서 3D-워핑된 Z-영상을 인페인팅(Inpainting)하여 3D-워핑된 Z-영상에 존재하는 홀들을 제거한다. Z-영상 업샘플링부(139)는 인페인팅된 Z-영상을 RGB-영상의 크기로 업샘플링(Upsampling)한다. 업샘플링은 Z-영상의 해상도가 RGB-영상의 해상도 보다 낮은 것을 염두한 것이다.The Z-image inpainting unit 138 inpaints the 3D-warped Z-image in the Z-image 3D-warping unit 137 to remove holes existing in the 3D-warped Z-image. The Z-image upsampling unit 139 upsamples the inpainted Z-image to the size of the RGB image. Upsampling takes into account that the resolution of the Z-image is lower than that of the RGB image.

RGB-영상 3D-워핑부(135)는 RGB-영상 교정/정렬부(131)에서 출력되는 RGB-영상과 Z-영상 업샘플링부(139)에서 출력되는 Z-영상을 이용하여, 다양한 시점의 RGB-영상들을 생성한다.The RGB-image 3D-warping unit 135 uses an RGB-image output from the RGB-image correction / alignment unit 131 and a Z-image output from the Z-image upsampling unit 139 to display various views of various views. Generate RGB images.

이를 위해, RGB-영상을 다양한 시점들로 3D-워핑하여야 하는데, 이때 RGB-영상 3D-워핑부(135)는 RGB-영상 분할부(134)에 의해 '다수의 삼각 영역들로 분할된 RGB-영상'(이하, '분할 영상'으로 표시)을 참조한다. 구체적으로, RGB-영상 3D-워핑부(135)는 분할 영상의 삼각 영역들 단위로 3D-워핑을 수행한다.To this end, the RGB-image should be 3D-warped to various viewpoints, wherein the RGB-image 3D-warping unit 135 is 'RGB- divided into a plurality of triangular regions' by the RGB-image partitioning unit 134. Image '(hereinafter, referred to as' divided image'). In detail, the RGB-image 3D-warping unit 135 performs 3D-warping in units of triangular regions of the divided image.

영상 응용부(140)는 영상 프로세서(130)에서 생성된 다양한 시점의 영상들을 디스플레이에 표시하거나, 저장매체에 저장할 수 있음은 물론, 이들을 이용한 객체 인식 등의 다양한 응용을 수행할 수 있다.The image application unit 140 may display images of various viewpoints generated by the image processor 130 on a display or store them in a storage medium, and perform various applications such as object recognition using them.

이하에서는, 도 1에 도시된 영상 처리 장치에 의한 RGB-영상의 3D-워핑 과정에 대해 도 2를 참조하여 보다 상세히 설명한다.Hereinafter, the 3D-warping process of the RGB image by the image processing apparatus shown in FIG. 1 will be described in more detail with reference to FIG. 2.

도 2에 도시된 바와 같이, 먼저, 에지 검출부(132)는 RGB-카메라(110)에서 생성된 후 RGB-영상 교정/정렬부(131)에서 교정/정렬된 RGB-영상에서 에지를 검출한다(S210).As shown in FIG. 2, first, the edge detector 132 detects an edge in the RGB image that is generated by the RGB camera 110 and then corrected / aligned by the RGB image correction / alignment unit 131 ( S210).

S210단계에서의 에지 검출로, 윈도우를 이용한 에지 검출 기법(예를 들면, Sobel 기법), 색상 경계에서의 연결 관계를 고려한 에지 검출 기법(예를 들면, Canny 기법) 등을 적용할 수 있다.As edge detection in step S210, an edge detection technique using a window (eg, Sobel technique), an edge detection technique (eg, Canny technique), etc. considering a connection relationship at a color boundary may be applied.

도 3의 좌측에는 특정 RGB-영상에 대해 Sobel 기법으로 에지를 검출한 결과를 도시하였고, 도 3의 우측에는 특정 RGB-영상에 대해 Canny 기법으로 에지를 검출한 결과를 도시하였다.The left side of FIG. 3 shows a result of edge detection by Sobel technique for a specific RGB image, and the right side of FIG. 3 shows edge detection by Canny technique for a specific RGB image.

이후, 절점 추출부(133)는 S210단계에서 검출된 에지들을 이용하여 절점들을 추출한다(S220). S220단계에서 추출되는 절점들은, 에지들이 방향이 급변화하는 점들, 에지들이 불연속하는 점들 및 기타 특이한 특성을 나타내는 점들이다.Thereafter, the node extractor 133 extracts nodes using the edges detected in operation S210 (S220). The nodes extracted in step S220 are points where the edges change in direction rapidly, points where the edges are discontinuous, and other points exhibiting unusual characteristics.

도 4의 좌측에는 도 3의 좌측에 도시된 에지 영상에 대한 절점 추출 결과를 도시하였고, 도 4의 우측에는 도 3의 우측에 도시된 에지 영상에 대한 절점 추출 결과를 도시하였다.The left side of FIG. 4 illustrates a node extraction result for the edge image shown in the left side of FIG. 3, and the right side of FIG. 4 illustrates a node extraction result for the edge image shown in the right side of FIG. 3.

다음, RGB-영상 분할부(134)는 절점 추출부(133)에서 추출된 절점들을 연결하여 삼각 영역들을 생성함으로서, RGB-영상을 다수의 삼각 영역들로 분할한다(S230).Next, the RGB image divider 134 connects the nodes extracted by the node extractor 133 to generate triangular regions, thereby dividing the RGB image into a plurality of triangular regions (S230).

S230단계에서 생성되는 삼각 영역은, 이루는 내각들 중 최소인 각이 최대화되는 방향으로 생성되고, 내부에는 절점이 포함되지 않도록 생성한다. RGB-영상 분할부(134)에 의해 RGB-영상은 다수의 삼각 영역들로 분할된다.The triangular area generated in step S230 is generated in a direction in which an angle that is the smallest of the cabinet angles is maximized, and is generated so that no node is included therein. The RGB image is divided into a plurality of triangular regions by the RGB image divider 134.

이 삼각 영역들은 에지들을 기반으로 추출한 절점들을 이용하여 생성하였기 때문에, 하나의 삼각 영역은 전경 또는 배경의 내부에 위치한다. 즉, S230단계에 의해 생성된 삼각 영역은 전경과 배경에 걸쳐서 위치하지 않는다.Since these triangular regions were created using nodes extracted based on the edges, one triangular region is located inside the foreground or background. That is, the triangular area generated by step S230 is not positioned over the foreground and the background.

도 5의 좌측에는 도 4의 좌측에 도시된 절점들을 이용한 RGB-영상의 분할 결과를 도시하였고, 도 5의 우측에는 도 4의 우측에 도시된 절점들을 이용한 RGB-영상의 분할 결과를 도시하였다.The left side of FIG. 5 shows a segmentation result of an RGB image using the nodes shown on the left side of FIG. 4, and the right side of FIG. 5 shows a segmentation result of an RGB image using the nodes shown on the right side of FIG.

이후, RGB-영상 3D-워핑부(135)는 RGB-영상에 나타난 절점들을 다른 시점으로 3D-워핑한 후(S240), RGB-영상의 삼각 영역들을 S240단계에서 3D-워핑된 절점들에 의해 생성되는 삼각 영역들 내부로 각각 3D-워핑한다(S250).Thereafter, the RGB-image 3D-warping unit 135 3D-warps the nodes shown in the RGB-image to another viewpoint (S240), and then triangular regions of the RGB-image by the 3D-warped nodes in step S240. 3D-warping each of the generated triangular regions (S250).

S250단계에서의 3D-워핑은 픽셀 대 픽셀 간의 3D-워핑이 아닌, 영역 대 영역 간의 3D-워핑이므로, 홀이 발생하지 않는다. 즉, S250단계에서의 3D-워핑은 영역 단위의 3D-워핑이라 할 수 있다.Since the 3D-warping in step S250 is not 3D-warping between pixels and pixels, but 3D-warping between regions, no holes are generated. In other words, the 3D-warping in step S250 may be referred to as 3D-warping on an area basis.

지금까지, RGB-영상을 3D-워핑함에 있어 홀을 발생시키지 않는 기법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, the preferred embodiment has been described in detail with respect to a technique that does not generate holes in 3D-warping an RGB image.

위 실시예에서, RGB-영상은 삼각 영역들로 분할하는 것을 상정하였으나, 이는 설명의 편의를 위한 일 예에 불과한 것으로 다른 형상(예를 들면, 사각형, 오각형 등)의 영역들로 분할하는 것도 가능하다.In the above embodiment, it is assumed that the RGB image is divided into triangular regions, but this is merely an example for convenience of description and may be divided into regions of different shapes (for example, a rectangle and a pentagon). Do.

이때, 분할되는 영역들의 형상이 모두 동일함이 바람직하지만, 필요와 사양에 따라 영역들의 형상들을 각기 다르게 하는 것도 가능하다.In this case, although the shapes of the divided regions are all the same, it is also possible to vary the shapes of the regions according to needs and specifications.

또한, 위 실시예에서는 절점들을 기준으로 RGB-영상을 분할하는 것으로 도시하고 설명하였는데, 이 역시 설명의 편의를 위한 일 예에 불과하다. 절점 이외의 다른 특징점들을 기준으로 RGB-영상을 분할하는 것도 가능하다.In addition, the above embodiment is illustrated and described as splitting the RGB image based on the nodes, which is also merely an example for convenience of description. It is also possible to segment an RGB image based on feature points other than nodes.

그리고, 위 실시예에서는 RGB-영상에 대한 3D-워핑을 상정하였으나, 본 발명의 기술적 사상은 Z-영상에 대해서도 적용가능하다. 도 1에서 Z-영상에 대한 3D-워핑은 픽셀 단위의 3D-워핑을 상정하였지만, Z-영상을 다수의 영역들로 분할하여 영역들 단위로 3D-워핑을 수행하는 것으로 대체함이 가능한 것이다.In the above embodiment, 3D-warping for the RGB image is assumed, but the technical idea of the present invention is also applicable to the Z-image. In FIG. 1, 3D-warping for the Z-image is assumed to be 3D-warping on a pixel basis, but it is possible to replace the Z-image by performing 3D-warping on a region-by-region basis by dividing the Z-image into a plurality of regions.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

110 : RGB-카메라 120 : Z-카메라
130 : 영상 프로세서 131 : RGB-영상 교정/정렬부
132 : 에지 검출부 133 : 절점 추출부
134 : RGB-영상 분할부 135 : RGB-영상 3D-워핑부
136 : Z-영상 교정/정렬부 137 : Z-영상 3D-워핑부
138 : Z-영상 인페인팅부 139 : Z-영상 업샘플링부
140 : 영상 응용부110: RGB camera 120: Z-camera
130: image processor 131: RGB image correction / alignment unit
132: edge detection unit 133: node extraction unit
134: RGB image segmentation unit 135: RGB image 3D-warping unit
136: Z-image correction / alignment unit 137: Z-image 3D-warping unit
138: Z-image inpainting unit 139: Z-image upsampling unit
140: video application unit

Claims (8)

영상에서 에지들을 검출하는 단계;
상기 에지들에 의한 절점들을 추출하는 단계;
상기 절점들을 연결하여, 상기 영상을 다수의 삼각 영역들로 분할하는 단계; 및
상기 분할단계에서 생성된 삼각 영역들 단위로, 상기 영상을 3D-워핑하는 단계;를 포함하고,
상기 삼각 영역들은,
이루는 내각들 중 최소인 각이 최대화되는 방향으로 생성되고, 내부에는 절점을 포함하지 않는 것을 특징으로 하는 영상 처리 방법.
Detecting edges in the image;
Extracting nodes by the edges;
Connecting the nodes to segment the image into a plurality of triangular regions; And
3D-warping the image in units of triangular regions generated in the dividing step;
The triangular regions,
An image processing method according to claim 1, wherein an angle which is the smallest of the internal cabinets is maximized and does not include nodes.
삭제delete 삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 3D-워핑 단계는,
상기 절점들을 3D-워핑하는 단계; 및
상기 영상의 영역들을 3D-워핑된 절점들에 생성되는 영역들 내부로 각각 3D-워핑하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
The method of claim 1,
The 3D-warping step,
3D-warping the nodes; And
3D-warping each of the regions of the image into regions created in 3D-warped nodes.
제 1항에 있어서,
상기 영상은,
컬러-영상 또는 깊이-영상인 것을 특징으로 하는 영상 처리 방법.
The method of claim 1,
Wherein the image includes:
An image processing method characterized in that the color image or the depth image.
영상을 생성하는 카메라; 및
상기 카메라에서 생성된 영상에서 에지들을 검출하여 상기 에지들에 의한 절점들을 추출하고, 상기 절점들을 연결하여 상기 영상을 다수의 삼각 영역들로 분할하고, 분할된 삼각 영역들 단위로 상기 영상을 3D-워핑하는 영상 프로세서;를 포함하고,
상기 삼각 영역들은,
이루는 내각들 중 최소인 각이 최대화되는 방향으로 생성되고, 내부에는 절점을 포함하지 않는 것을 특징으로 하는 영상 처리 장치.
A camera for generating an image; And
Edges are detected from the image generated by the camera to extract nodes by the edges, the nodes are connected to divide the image into a plurality of triangular regions, and the image is divided into 3D- units of divided triangular regions. Including a video processor for warping,
The triangular regions,
The image processing apparatus of claim 1, wherein the minimum angle among the cabinets is formed in a direction in which the angle is maximized and does not include nodes.
KR1020120047386A 2012-05-04 2012-05-04 3D warping method for hole reduction and image processing apparatus using the same KR101373603B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120047386A KR101373603B1 (en) 2012-05-04 2012-05-04 3D warping method for hole reduction and image processing apparatus using the same
PCT/KR2012/003841 WO2013165046A1 (en) 2012-05-04 2012-05-16 3d warping method for suppressing formation of holes and image processing apparatus adopting same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047386A KR101373603B1 (en) 2012-05-04 2012-05-04 3D warping method for hole reduction and image processing apparatus using the same

Publications (2)

Publication Number Publication Date
KR20130123891A KR20130123891A (en) 2013-11-13
KR101373603B1 true KR101373603B1 (en) 2014-03-12

Family

ID=49514436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047386A KR101373603B1 (en) 2012-05-04 2012-05-04 3D warping method for hole reduction and image processing apparatus using the same

Country Status (2)

Country Link
KR (1) KR101373603B1 (en)
WO (1) WO2013165046A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993961B1 (en) * 2016-12-22 2019-07-01 전자부품연구원 Hole Filling Method for Arbitrary View Image
US10460503B2 (en) 2017-03-01 2019-10-29 Sony Corporation Texturing of a three-dimensional (3D) model by UV map in-painting
KR102012568B1 (en) * 2017-11-30 2019-08-20 한국로봇융합연구원 Multi sensor calibration system and calibration method for multi sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104027A (en) * 2005-03-29 2006-10-09 (주)제니텀 엔터테인먼트 컴퓨팅 Method of virtual face shaping based on automatic face extraction and apparatus thereof
KR20100008677A (en) * 2008-07-16 2010-01-26 광주과학기술원 Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1640917B1 (en) * 2003-07-01 2017-06-14 Honda Motor Co., Ltd. Contour extracting device, contour extracting method, and contour extracting program
KR100634537B1 (en) * 2005-02-04 2006-10-13 삼성전자주식회사 Apparatus and method for processing triangulation of 3-D image, computer-readable storing medium storing a computer program for controlling the apparatus
KR100989435B1 (en) * 2009-03-16 2010-10-26 광주과학기술원 Method and apparatus for processing multi-viewpoint image
KR101676830B1 (en) * 2010-08-16 2016-11-17 삼성전자주식회사 Image processing apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104027A (en) * 2005-03-29 2006-10-09 (주)제니텀 엔터테인먼트 컴퓨팅 Method of virtual face shaping based on automatic face extraction and apparatus thereof
KR20100008677A (en) * 2008-07-16 2010-01-26 광주과학기술원 Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same

Also Published As

Publication number Publication date
KR20130123891A (en) 2013-11-13
WO2013165046A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US8411934B2 (en) System and method for depth map extraction using region-based filtering
US8818077B2 (en) Stereo image matching apparatus and method
EP2945118B1 (en) Stereo source image calibration method and apparatus
WO2020001149A1 (en) Method and apparatus for extracting edge of object in depth image, and computer readable storage medium
EP3032494A1 (en) Using depth for recovering missing information in an image
KR100953076B1 (en) Multi-view matching method and device using foreground/background separation
CN107481271B (en) Stereo matching method, system and mobile terminal
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
US9948913B2 (en) Image processing method and apparatus for processing an image pair
TW201327474A (en) Method for generating depth by disparity estimation
US9530212B2 (en) Image frame conversion method and video frame conversion method and apparatus
US20140333720A1 (en) Subtitle detection for stereoscopic video contents
KR101373603B1 (en) 3D warping method for hole reduction and image processing apparatus using the same
US10834374B2 (en) Method, apparatus, and device for synthesizing virtual viewpoint images
CN105791795B (en) Stereoscopic image processing method, device and Stereoscopic Video Presentation equipment
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
EP4149110A1 (en) Virtual viewpoint synthesis method, electronic device and computer readable medium
KR102516358B1 (en) Image processing method and image processing apparatus thereof
US10531063B2 (en) Method and apparatus for processing stereoscopic video
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
KR20100009452A (en) Method for image processing
KR102267442B1 (en) Correction method of camera distortion caused by multi-view capturing and generating method for block 3d model using thereof
Tian et al. Upsampling range camera depth maps using high-resolution vision camera and pixel-level confidence classification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee