KR20130088953A - Apparatus and method for image restoration, stereo-scopic image conversion apparatus and method usig that - Google Patents
Apparatus and method for image restoration, stereo-scopic image conversion apparatus and method usig that Download PDFInfo
- Publication number
- KR20130088953A KR20130088953A KR1020120010211A KR20120010211A KR20130088953A KR 20130088953 A KR20130088953 A KR 20130088953A KR 1020120010211 A KR1020120010211 A KR 1020120010211A KR 20120010211 A KR20120010211 A KR 20120010211A KR 20130088953 A KR20130088953 A KR 20130088953A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hole
- mask
- region
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 109
- 239000003973 paint Substances 0.000 claims abstract description 29
- 238000009877 rendering Methods 0.000 claims description 17
- 238000010422 painting Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 관한 것으로, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운 후, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 관한 것이다.The present invention relates to an image reconstruction apparatus and method and an image conversion apparatus and method using the same. When a region of interest is designated by a user in a rendered image, a hole mask or a mask of the region of interest is generated. And filling the holes of the rendered image by copying pixels by moving the generated hole masks or masks, and then performing pixel interpolation on the hole contours of the filled images. The present invention relates to an image restoration apparatus and method for restoring the rendered image, and to an image conversion apparatus and method using the same.
최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.Recently, as interest in 3D images is amplified, research on 3D images is being actively conducted.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.In general, it is known that humans feel the most three-dimensional effect by the parallax between both eyes. Thus, 3D imaging can be implemented using these characteristics of humans. For example, by distinguishing a particular subject into a left eye image seen through the viewer's left eye and a right eye image seen through the viewer's right eye, the viewer simultaneously displays the left eye image and the right eye image so that the viewer views the 3D image as a 3D image. I can make it visible. As a result, the 3D image may be implemented by manufacturing a binocular image divided into a left eye image and a right eye image and displaying the same.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가 및 렌더링(rendering)하여 2차원의 영상을 3차원의 입체 영상으로 변환하였다. In order to convert a monocular 2D image without depth information into a 3D image, depth information is added to and rendered on the 2D image to convert the 2D image into a 3D stereoscopic image.
그러나 렌더링된 영상에는 원 영상(오리지널 영상)에 없었던 홀이 생겨서 영상을 어색하게 하는 단점이 있었다. However, the rendered image had a disadvantage in that the hole was not present in the original image (original image), resulting in awkward image.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법을 제공하는데 있다. The present invention has been made to solve the above-described problem, an object of the present invention is to fill the holes of the rendered image generated during the three-dimensional conversion of the image smoothly and not awkward, the image can be restored as if there were no holes The present invention provides a reconstruction device and method and an image conversion device and method using the same.
본 발명의 다른 목적은 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있는 영상 복원 장치 및 방법과 이를 이용한 영상변환 장치 및 방법을 제공하는데 있다. According to another object of the present invention, when a region of interest is designated by a user in a rendered image, a mask for the region of interest is generated in the original image, and the pixels are copied by moving the generated mask to render the rendered image. The present invention provides an image restoration apparatus and method for reconstructing the rendered image by performing pixel interpolation on a hole outline in an image filled with holes, and an image conversion apparatus and method using the same. .
본 발명의 일 측면에 따르면, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역(ROI, Region Of Interest) 설정 및 처리부, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함하는 영상 복원 장치가 제공된다. According to an aspect of the present invention, when a region of interest is designated by a user in a rendered image, a hole mask or a mask for the region of interest is generated, and the generated hole mask or Region of Interest (ROI) setting and processing unit for filling a hole of the rendered image by copying pixels by moving a mask, and performing pixel interpolation on the hole outline of the filled image. Provided is an image reconstruction apparatus including a pixel interpolation processor configured to reconstruct the rendered image.
상기 관심영역 설정 및 처리부는 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀(hole)과 동일한 홀 마스크(hole mask)를 원 영상에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 홀 마스크 처리 모듈을 포함한다. The ROI setting and processing unit extracts a hole region from the first ROI when the first ROI is designated by the user in the rendered image, and extracts a hole mask that is the same as the extracted hole. After generating in the original image, and comprises a hole mask processing module for copying the pixels to fill the holes of the rendered image by the movement of the hole mask in the original image.
또한, 상기 관심영역 설정 및 처리부는 상기 홀 마스크 처리 모듈에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채우는 마스크 처리 모듈을 더 포함할 수 있다. The ROI setting and processing unit may generate a mask for the second ROI when the second ROI is designated in the hole-filled image by the hole mask processing module, and the pixel may be moved by moving the generated mask. It may further comprise a mask processing module for copying the filling the hole.
상기 홀 마스크 처리 모듈은 영상의 렌더링 시 생성된 홀에 대한 alpha-map을 이용하여 상기 제1 관심영역에서 홀 영역을 추출한다. The hole mask processing module extracts a hole area from the first ROI by using an alpha-map of the hole generated when the image is rendered.
상기 홀 마스크 처리 모듈에서 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채운다. The coordinates of the hole mask generated by the hole mask processing module are the same as the coordinates of the hole detected in the rendered image. When the hole mask is moved, the pixels of the hole mask are copied by copying pixels corresponding to the hole mask. Fill it.
상기 마스크 처리 모듈은 상기 홀이 채워진 영상에서 홀과 비슷한 패턴을 제2 관심영역으로 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크가 다른 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 영역을 채운다. The mask processing module generates a mask for the second region of interest when the pattern similar to the hole is designated as the second region of interest in the image filled with the hole, and when the generated mask is moved to another region, the mask Copies the pixels included in the to fill the shifted area.
상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈을 포함한다. The pixel interpolation processing unit may include an in-paint job processing module configured to interpolate the designated area by referring to values of surrounding pixels of the designated area when a region to be interpolated is designated by painting in the hole-filled image.
또한, 상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함한다. The pixel interpolation processor may include a stamp job processing module configured to copy the stamp area to another area to interpolate other areas when a stamp area is designated by a user in the hole-filled image.
상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈; 및 상기 in-paint 작업 처리 모듈에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하되, 상기 in-paint 작업 처리 모듈과 상기 stamp 작업 처리 모듈의 동작 순서는 변경이 가능하다. The pixel interpolation processing unit may include an in-paint job processing module configured to interpolate the designated area by referring to values of surrounding pixels of the designated area when a region to be interpolated is designated by painting in the hole-filled image; And a stamp job processing module for copying the stamp area to another area and interpolating other areas when a stamp area is designated from a user in the image interpolated by the in-paint job processing module. The operation order of the paint job processing module and the stamp job processing module can be changed.
상기 stamp 작업 처리 모듈은 홀이 채워진 영상 또는 in-paint 작업 처리 모듈에 의해 보간된 영상에서 관심영역이 circle로 지정된 경우, 상기기 지정된 circle을 circle mask로 생성하고, 상기 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다. The stamp job processing module generates the specified circle as a circle mask when the ROI is designated as a circle in an image filled with holes or an image interpolated by the in-paint job processing module, and copies the circle mask to a desired area. When pasting, the pixel values of the copied area are changed to pixel values of the circle mask.
또한, 상기 stamp 작업 처리 모듈은 상기 circle mask의 윤곽부분을 blur를 적용하여 부드럽게 처리한다. In addition, the stamp job processing module smoothly processes the contour of the circle mask by applying blur.
본 발명의 다른 측면에 따르면, 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 3차원 영상 렌더링부, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부를 포함하는 영상 변환 장치가 제공된다. According to another aspect of the invention, the image analysis unit for extracting at least one characteristic information by analyzing the two-dimensional input image, a depth map generator for generating a depth map for the input image based on the characteristic information, A 3D image rendering unit for rendering the input image as a 3D stereoscopic image using a depth map; when a region of interest is designated in the rendered image, a hole mask or a mask for the region of interest is generated, and the generated There is provided an image conversion apparatus including an image reconstruction unit which reconstructs a rendered image by performing a pixel interpolation operation after filling a hole of the rendered image by copying a pixel by moving a hole mask or a mask.
상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다. The feature information extracting unit extracts feature information including at least one of edge information, color information, luminance information, motion information, and histogram information.
상기 영상 복원부는 상기 영상 복원부는 상기 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역 설정 및 처리부, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함한다. The image restoring unit generates a hole mask or a mask for the region of interest when the region of interest is designated by the user in the rendered image, and copies the pixels by moving the generated hole mask or mask. A ROI setting and processing unit for filling a hole of a rendered image, and a pixel interpolation processing unit for reconstructing the rendered image by performing pixel interpolation on the hole contour of the filled image.
본 발명의 또 다른 측면에 따르면, 영상 복원 장치가 렌더링된 영상을 복원하는 방법에 있어서, (a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계, (b) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 복원 방법이 제공된다. According to another aspect of the present invention, in the method for reconstructing the rendered image by the image reconstruction device, (a) when the region of interest is designated in the rendered image, and generates a hole mask or mask for the region of interest, Copying the pixels by filling the holes of the rendered image by moving the mask or moving the mask, and (b) performing pixel interpolation on the hole contour of the filled image to restore the rendered image. There is provided an image restoration method comprising the steps of.
상기 (a) 단계는 상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀과 동일한 홀 마스크를 원 영상에서 생성하는 단계, 상기 원 영상에서 상기 홀 마스크가 이동된 경우, 상기 홀 마스크의 이동에 의한 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계를 포함한다. In the step (a), when the first ROI is designated in the rendered image, extracting a hole region from the first ROI and generating a hole mask identical to the extracted hole from the original image, the original image In the case where the hole mask is moved, copying the pixels due to the movement of the hole mask to fill the hole of the rendered image.
또한, 상기 (a) 단계는 상기 홀이 채워진 영상에서 제2 관심영역이 지정된 경우, 상기 제2 관심영역에 대한 마스크를 생성하는 단계, 상기 생성된 마스크가 이동된 경우, 상기 마스크에 해당하는 픽셀들을 복사하여 상기 이동된 영역의 홀을 채우는 단계를 더 포함할 수 있다. Also, in the step (a), when the second region of interest is designated in the hole-filled image, generating a mask for the second region of interest; and when the generated mask is moved, a pixel corresponding to the mask The method may further include filling the holes of the moved area by copying them.
상기 (b) 단계는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하여 상기 렌더링된 이미지를 복원하거나, 상기 홀이 채워진 영상에서 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역에 대한 circle mask를 생성하고, 상기 circle mask가 다른 영역에 복사된 경우, 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간하여 상기 렌더링된 이미지를 복원한다. In the step (b), when the region to be interpolated through the painting is filled in the hole-filled image, the rendered image is restored by interpolating the designated region with reference to the values of pixels around the designated region, or the hole When a stamp area is designated in the filled image, a circle mask is generated for the stamp area, and when the circle mask is copied to another area, the pixel values of the other area are changed to the pixel value of the circle mask. Interpolate other areas to reconstruct the rendered image.
본 발명의 또 다른 측면에 따르면, 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법에 있어서, 상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계를 포함하는 영상 변환 방법이 제공된다. According to another aspect of the present invention, in the method for converting a two-dimensional image to a three-dimensional image by the image conversion apparatus, the step of analyzing the input image of the two-dimensional to extract at least one characteristic information, the characteristic Generating a depth map of the input image based on the information; rendering the input image into a three-dimensional stereoscopic image using the depth map; if the region of interest is designated in the rendered image, the region of interest Generating a hole mask or a mask for and filling the holes of the rendered image by copying pixels by moving the generated hole mask or mask, and performing pixel interpolation to restore the rendered image An image conversion method is provided.
따라서 본 발명에 따르면, 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있다. Therefore, according to the present invention, the holes of the rendered image generated during the stereoscopic conversion of the image may be filled smoothly and not awkwardly, and the image may be restored as if there were no holes.
또한, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있다.In addition, when the region of interest is designated by the user in the rendered image, a mask of the region of interest is generated in the original image, and the pixels are copied by the movement of the generated mask to copy a hole of the rendered image. ), And may reconstruct the rendered image by performing pixel interpolation on the hole contour in the hole-filled image.
도 1은 본 발명에 따른 영상 변환 장치의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명에 따른 영상 복원 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법을 나타낸 흐름도.
도 4는 본 발명에 따른 영상 복원 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면.
도 5는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 6은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 7은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도.
도 8은 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도. 1 is a block diagram schematically showing the configuration of an image conversion apparatus according to the present invention.
Figure 2 is a block diagram schematically showing the configuration of an image restoration apparatus according to the present invention.
3 is a flowchart illustrating a method for converting a 2D image into a 3D image by the image conversion apparatus according to the present invention.
4 is a diagram illustrating a method for restoring a rendered image by the image restoring apparatus according to the present invention;
5 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole using a hole mask according to the present invention;
6 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole by creating a mask according to the present invention;
7 is an exemplary view showing a retouch mode user interface for explaining an in-paint job according to the present invention.
8 is an exemplary view showing a retouch mode user interface for explaining a stamp operation according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description with reference to the accompanying drawings, the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted.
이하에서 설명되는 홀(hole)은 원 영상에는 없었으나 영상의 렌더링시 발생한 영상의 갭(gap)을 말한다. 상기 홀에 의해 영상이 부드럽지 못하고 어색하게 보인다. A hole described below refers to a gap of an image which is not present in the original image but occurs when the image is rendered. The hole makes the image look soft and awkward.
도 1은 본 발명에 따른 영상 변환 장치의 구성을 개략적으로 나타낸 블럭도이다. 1 is a block diagram schematically showing the configuration of an image conversion apparatus according to the present invention.
도 1을 참조하면, 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 생성부(120), 3차원 영상 렌더링부(130), 영상 복원부(140), 입력부(150)를 포함한다. Referring to FIG. 1, the image conversion apparatus 100 includes an image analyzer 110, a
상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다. The image analyzer 110 extracts at least one characteristic information by analyzing a two-dimensional input image. The characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
상기 깊이 맵 생성부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성한다. The
상기 3차원 영상 렌더링부(130)는 상기 깊이 맵 생성부(120)에서 생성된 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 3차원 영상 렌더링부(130)는 상기 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.The 3D
여기에서는 3차원 영상 렌더링부(130)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 3차원 영상 렌더링부(130)가 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다.Here, the 3D
상기 영상 복원부(140)는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상에 대해 상기 입력부(150)를 통해 사용자가 지정한 영역의 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 상기 렌더링된 영상을 복원한다. The
즉, 상기 영상 복원부는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상에서 홀인 부분을 부드럽고 어색하지 않게 채워 마치 없었던 것처럼 만드는 역할을 수행한다. That is, the image restoring unit fills the hole-in portion in the image rendered by the 3D
상기와 같은 역할을 수행하는 영상 복원부(100)에 대해 도 2를 참조하기로 한다. With reference to FIG. 2, the image restoration unit 100 performing the above role is referred to.
상기 입력부(150)는 영상변환 장치의 기능 선택 및 제어를 위한 사용자 인터페이스를 제공하고, 사용자의 입력을 영상 복원부(110)에 전달한다. 사용자는 입력부(130)를 통해 렌더링된 영상에서 관심영역을 지정할 수 있다. The
도면에는 도시하지 않았으나, 상기 영상 변환 장치는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상의 출력은 물론 상기 입력부를 통해 사용자에 의해 입력된 일련의 작업 과정과 입력결과, 처리 결과등을 표시하는 디스플레이부를 더 포함한다. Although not shown in the drawing, the image converting apparatus not only outputs the image rendered by the 3D
도 2는 본 발명에 따른 영상 복원 장치의 구성을 개략적으로 나타낸 블럭도이다. 이하에서는 도 1에 도시된 영상 복원부를 영상 복원 장치로 하여 설명하기로 한다.2 is a block diagram schematically illustrating a configuration of an image reconstruction device according to the present invention. Hereinafter, the image restoration unit illustrated in FIG. 1 will be described as an image restoration apparatus.
도 2를 참조하면, 영상 복원 장치(200)는 ROI(Region Of Interest, 관심영역) 설정 및 처리부(210), 픽셀 보간 처리부(220)를 포함한다. Referring to FIG. 2, the
상기 ROI 설정 및 처리부(210)는 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운다. When the ROI setting and
상기 ROI 설정 및 처리부(210)는 홀 마스크 처리 모듈(212), 마스크 처리 모듈(214)을 포함한다.The ROI setting and
상기 홀 마스크 처리 모듈(212)은 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운다.When the hole mask processing module 212 receives a first region of interest from the user in the rendered image, the hole mask processing module 212 extracts a hole region from the first region of interest and applies the same hole mask as the extracted hole region. After generating the original image (original image), the pixels are copied by the movement of the hole mask in the original image to fill the holes of the rendered image.
다시 말하면, 사용자가 상기 렌더링된 영상에서 제1 관심 영역을 지정하면, 상기 홀 마스크 처리 모듈(212)은 상기 제1 관심영역에서 홀인 부분을 자동으로 검출한다. 이때, 상기 홀 마스크 처리 모듈(212)이 홀을 판단하는 기준은 영상의 렌더링시 생성되는 홀에 대한 alpha-map을 이용한다. 상기 alpha-map에서 홀인 부분은 검정색, 홀이 아닌 부분은 하얀색으로 표현될 수 있다.In other words, when a user designates a first ROI in the rendered image, the hole mask processing module 212 automatically detects a hole-in-portion in the first ROI. In this case, the reference for determining the hole by the hole mask processing module 212 uses an alpha-map of a hole generated when the image is rendered. The hole-in portion of the alpha-map may be expressed in black, and the non-hole portion may be expressed in white.
그런 다음 상기 홀 마스크 처리 모듈(212)은 상기 추출된 홀과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한다. 이때 상기 렌더링된 영상에서 검출된 홀의 좌표와 오리지널 영상에서 생성된 홀 마스크의 좌표는 동일하다.The hole mask processing module 212 then generates a hole mask identical to the extracted hole in the original image (original image). At this time, the coordinates of the hole detected in the rendered image and the coordinates of the hole mask generated in the original image are the same.
상기와 같이 원 영상에 생성된 홀 마스크를 사용자가 홀 주위와 가장 비슷한 부분까지 이동시키면, 상기 홀 마스크 처리 모듈(212)은 상기 홀 마스크에 포함되는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채운다.As described above, when the user moves the hole mask generated in the original image to the portion most similar to the periphery of the hole, the hole mask processing module 212 fills the hole of the rendered image by copying pixels included in the hole mask. .
또한, 상기 홀 마스크 처리 모듈(212)은 현재 프레임에서 가능하지 않다면, 다른 프레임에서 픽셀을 참조하여 복사할 수도 있다. In addition, the hole mask processing module 212 may copy with reference to a pixel in another frame if it is not possible in the current frame.
상기 홀 마스크 처리 모듈(212)은 홀을 자동으로 검출해줌으로써 정확하면서 빨리 작업할 수 있도록 하고, 원 영상에 홀과 같은 모양의 홀 마스크를 생성하여 홀 마스크의 이동만으로 홀을 채울 수 있다. The hole mask processing module 212 can automatically and accurately detect a hole so that work can be performed quickly and accurately, and a hole mask having a shape like a hole may be generated in the original image to fill the hole by only moving the hole mask.
상기 마스크 처리 모듈(214)은 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다. 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다.The
즉, 사용자가 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀 주위와 비슷한 부분을 찾아 제2 관심영역으로 지정하면, 상기 마스크 처리 모듈(214)은 상기 제2 관심 영역에 대한 마스크를 생성한다. 그런 다음 상기 사용자가 상기 생성된 마스크를 홀 부분을 채울 부분으로 이동시키면, 상기 마스크 처리 모듈(214)은 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 홀 부분을 채운다. That is, when the user finds a portion similar to the periphery of the hole in the image filled with the hole by the hole mask processing module 212 and designates it as the second ROI, the
상기와 같은 마스크 처리 작업은 홀 마스크 처리 작업을 통해 홀을 채웠지만 만족스럽지 않을 때 사용하는 작업으로 홀 마스크 작업이 만족스러운 경우 생략 가능하다. 즉, 상기 ROI 설정 및 처리부(210)는 상기 홀 마스크 처리 모듈(212)에 의한 홀 채움이 만족스러운 경우 상기 마스크 처리 모듈(214)에 의한 홀 채움은 생략 가능하다.The masking operation as described above is used when the hole is filled through the hole masking operation but is not satisfactory, and may be omitted when the hole masking operation is satisfactory. That is, the ROI setting and
또한, 홀 마스크 처리 모듈(212)에서 생성된 홀 마스크는 홀의 모양과 동일하기 때문에 사용자가 홀 마스크의 모양을 마음대로 바꿀 수 없지만, 마스크 처리 모듈(214)에서 생성된 마스크는 사용자의 의도대로 표현할 수 있다. In addition, since the hole mask generated by the hole mask processing module 212 is the same as the shape of the hole, the user may not change the shape of the hole mask freely, but the mask generated by the
즉, 사용자는 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀과 비슷한 패턴을 찾아서, 그 영역을 제2 관심 영역으로 지정할 수 있다. That is, the user may find a pattern similar to a hole in the image filled with the hole by the hole mask processing module 212, and designate the area as the second ROI.
또한, 홀이 움직이지 않는 부분이 있을 수 있으므로, 상기 마스크 처리 모듈(214)은 같은 마스크를 시퀀스(sequence)로 이용할 수 있다. In addition, since there may be a portion where the hole does not move, the
상기 픽셀 보간 처리부(220)는 상기 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원한다.The
즉, 상기 ROI 설정 및 처리부(210)에 의해 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있으므로, 상기 픽셀 보간 처리부(220)는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.That is, although the hole is filled by the ROI setting and
상기와 같은 역할을 수행하는 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함한다. The
상기 in-paint 작업 처리 모듈(222)은 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다.The in-paint
즉, 사용자가 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정하면, 상기 in-paint 작업 처리 모듈(222)은 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀 윤곽부분의 어색한 부분을 부드럽게 한다. 여기서, 상기 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다는 것은 상기 주위 픽셀들의 값을 평균화시키고, 상기 지정된 영역을 상기 평균화된 값으로 보간하여 홀 윤곽 부분의 어색한 부분을 부드럽게 하는 것을 말한다. That is, when the user designates an area to be interpolated in the hole-filled image through painting, the in-paint
상기 ROI 설정 및 처리부(210)에서 작업이 끝난 이후 홀이 메워졌지만 윤곽 부분이 홀 주위에 있던 영상들과 이질적인 부분이 생겨 날카롭게 보일 수 있다.Although the hole is filled after the work is completed in the ROI setting and
따라서, 상기 in-paint 작업 처리 모듈(222)은 이러한 부분들을 주위 픽셀을 참조하여 보간하는 in-paint 알고리즘을 이용하여 날카로운 부분을 부드럽게 해준다. Thus, the in-paint
상기 ROI 설정 및 처리부(210)에서 이루어지는 ROI 처리 작업들은 사용자가 좀 더 편하게 홀을 메울 수 있도록 하고, 홀을 지정하므로 큰 홀들을 한꺼번에 쉽게 메울 수 있지만 섬세함이 떨어진다. 그러나, 상기 in-paint 알고리즘은 큰 영역을 크게 잡으면 어색하게 보간 되는 단점이 있지만 작고 세밀하게 이용한다면 사용자가 매우 간단히 보간할 수 있다. The ROI processing operations performed by the ROI setting and
상기 stamp 작업 처리 모듈(224)은 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다.The stamp
즉, 사용자가 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 관심영역을 circle로 지정하면, 상기 stamp 작업 처리 모듈(224)은 상기 지정된 circle을 circle mask로 생성한다. 상기 지정된 circle이 스탬프 영역을 말한다. 그런 다음 상기 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 stamp 작업 처리 모듈(224)은 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다.That is, when the user designates the ROI as a circle in the image interpolated by the in-paint
이때, 상기 stamp 작업 처리 모듈(224)은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 한다.In this case, the stamp
여기에서는 픽셀 보간 처리부(220)가 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함하고, 상기 stamp 작업 처리 모듈(224)이 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상을 보간하는 것으로 설명하였으나, in-paint 작업 처리 모듈(222)과 stamp 작업 처리 모듈(224)의 동작 순서를 바꾸어 픽셀 보간 작업을 수행할 수 있다. 즉, 상기 stamp 작업 처리 모듈(224)이 상기 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하고, 상기 in-paint 작업 처리 모듈(222)이 상기 stamp 작업 처리 모듈(224)에서 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.Here, the pixel
또한, 상기 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222)만을 구비 또는 stamp 작업 처리 모듈(224)만을 구비할 수도 있다.In addition, the
또한, 상기 픽셀 보간 처리부(220)의 in-paint 작업 또는 stamp 작업을 통한 픽셀 보간 작업이 만족스러운 경우 하나의 작업은 생략 가능하다. In addition, when the pixel interpolation operation through the in-paint operation or the stamp operation of the
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a method of converting a 2D image into a 3D image by the image conversion apparatus according to the present invention.
도 3을 참조하면, 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S302). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.Referring to FIG. 3, the image conversion apparatus extracts at least one characteristic information by analyzing a two-dimensional input image (S302). Here, the characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
상기 S302의 수행 후, 상기 영상 변환 장치는 상기 추출된 특성 정보를 기초로 상기 입력 영상의 깊이 맵을 생성한다(S304).After performing the step S302, the image conversion apparatus generates a depth map of the input image based on the extracted characteristic information (S304).
상기 S304의 수행 후, 상기 영상 변환 장치는 상기 생성된 깊이 맵을 이용하여 상기 2차원의 영상을 3차원의 입체 영상으로 렌더링한다(S306).After performing the step S304, the image conversion apparatus renders the 2D image into a 3D stereoscopic image using the generated depth map (S306).
상기 S306의 수행 후, 상기 영상 변환 장치는 상기 렌더링된 영상을 사용자 제어에 따라 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 상기 렌더링된 영상을 복원한다(S308). After performing the step S306, the image converting apparatus fills the hole according to user control and reconstructs the rendered image by smoothly processing the outline of the hole (S308).
상기 영상 변환 장치가 상기 렌더링된 영상을 복원하는 방법에 대한 상세한 설명은 도 4를 참조하기로 한다. A detailed description of how the image conversion apparatus restores the rendered image will be described with reference to FIG. 4.
도 4는 본 발명에 따른 영상 복원 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면, 도 5는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 6은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 7은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도, 도 8은 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도이다. 4 is a view showing a method for restoring a rendered image by the image restoration apparatus according to the present invention, and FIG. 5 is a retouch mode user interface for explaining a method of filling a hole using a hole mask according to the present invention. 6 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole by generating a mask according to the present invention, and FIG. 7 is a view illustrating an in-paint job according to the present invention. Exemplary view showing the retouch mode user interface, Figure 8 is an exemplary view showing a retouch mode user interface for explaining the stamp operation according to the present invention.
도 4를 참조하면, 사용자가 렌더링된 영상에서 제1 관심영역을 지정하면(S402), 영상 복원 장치는 상기 제1 관심영역에서 홀 영역을 추출하고(S404), 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상에 생성한다(S406).Referring to FIG. 4, when a user designates a first ROI in a rendered image (S402), the image reconstructing apparatus extracts a hole region from the first ROI (S404), and the same hole as the extracted hole region. A mask is generated in the original image (S406).
상기 S406의 수행 후, 상기 사용자가 상기 원 영상에서 상기 홀 마스크를 이동시키면 상기 영상 복원 장치는 상기 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운다(S408).After the operation S406, if the user moves the hole mask in the original image, the image reconstruction device copies pixels by moving the hole mask to fill a hole of the rendered image (S408).
원 영상에 홀 마스크를 생성하고, 상기 생성된 홀 마스크를 이용하여 렌더링된 영상의 홀을 채우는 방법에 대해 도 5를 예로 들어 설명하기로 한다. A method of generating a hole mask on the original image and filling a hole of the rendered image using the generated hole mask will be described with reference to FIG. 5 as an example.
도 5의 (a)는 렌더링된 영상에서 관심영역을 지정하고, 관심영역으로부터 홀(502)을 추출하여 홀(502)에 대응되는 원 영상의 홀 마스크(512)를 생성하는 과정을 설명하기 위한 도면이고, 도 5의 (b)는 원 영상의 홀 마스크(512)를 이동시켜 렌더링된 영상의 홀(502)을 채우는 방법을 설명하기 위한 도면이다.5A illustrates a process of generating a
도 5의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(500)을 로딩(loading)하고, 상기 렌더링된 영상(500)에서 제1 관심영역(504)을 지정하면, 제1 관심영역(504)에서 추출된 홀(502)에 대응되는 홀 마스크(512)가 원 영상(510)에 생성된다. Referring to FIG. 5A, when a user loads the rendered
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제1 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제1관심영역 지정을 마무리함)을 이용하여 렌더링된 영상(500)에서 제1 관심영역(504)를 지정할 수 있다. The user renders the image by using a mouse button click (for example, starting to designate the first region of interest using the left button of the mouse and finishing the designation of the first region of interest by clicking the right button of the mouse). The
앞서 상세히 설명한 바와 같이, 홀(502)은 alpha-map을 이용하여 제1 관심영역(504)에서 추출될 수 있다. As described in detail above, the
원 영상의 홀 마스크(512)는 렌더링된 영상(500)에서 검출된 홀(502)에 대응되도록 생성되므로, 홀(502)과 홀 마스크(512)의 좌표는 동일하고, 홀(502)과 홀 마스크(512)의 모양은 동일하다.Since the
도 5의 (b)를 참조하면, 사용자가 마우스의 버튼 클릭(예를 들면, 마우스의 좌 버튼을 클릭함)을 이용하여 원 영상(510)에서 홀 마스크(512)를 선택하여 이동할 수 있고, 홀 마스크(510)가 이동한 영역의 픽셀들은 실시간 복사되어 렌더링된 영상(530)의 대응되는 좌표에 채워진다.Referring to FIG. 5B, the user may select and move the
다시 말하면, 원 영상(510)에서 홀 마스크(512)를 이동시키면, 홀 마스크(512)의 좌표가 변화되며, 홀 마스크(512)가 이동된 좌표 영역(이전 좌표 영역)의 픽셀값들이 실시간으로 복사되고, 그 복사된 픽셀값들이 실시간으로 상기 렌더링된 영상(500)의 동일한 좌표에 적용된다. In other words, when the
홀 마스크(512)와 홀(502)은 동일한 모양 및 동일한 좌표를 가지므로, 홀 마스크(512) 좌표 및 모양을 참조하여 채우려는 홀(502)의 크기만큼 홀 마스크(512)를 이동시키면 홀 마스크(512)가 이동된 좌표 영역의 픽셀값들이 대응되는 홀(502)의 좌표 영역에 복사되어 채워지게 된다. Since the
상기 S408이 수행된 후, 상기 사용자가 홀이 채워진 영상에서 제2 관심영역을 지정하면(S410), 상기 영상 복원 장치는 상기 제2 관심영역에 대한 마스크를 생성한다(S412). 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다. After the operation S408 is performed, when the user designates a second region of interest in an image in which the hole is filled (S410), the image reconstruction device generates a mask for the second region of interest (S412). In this case, the user may designate the second region of interest as he intended.
그런 다음 상기 사용자가 상기 생성된 마스크를 이동시키면, 상기 영상 복원 장치는 상기 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다(S414).Then, when the user moves the generated mask, the image restoration apparatus fills the hole by copying pixels by the movement of the mask (S414).
사용자가 렌더링된 영상에서 제2 관심영역을 지정하여 홀을 채우는 방법에 대해 도 6을 예로 들어 설명하기로 한다. A method of filling a hole by designating a second ROI in a rendered image will be described with reference to FIG. 6.
도 6의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(600)을 로딩(loading)한 후, 상기 렌더링된 영상(600)에서 홀(602)을 채우기 위해 제2 관심 영역(604)을 지정하면, 제2 관심영역(604)에 대한 마스크가 생성된다. Referring to FIG. 6A, after the user loads the rendered
여기서, 제2 관심영역(604)과 마스크는 동일한 좌표와 모양을 가지며, 제2 관심영역(604)은 특정 영역을 표현하기 위하여 사용한 것이고, 마스크는 제2 관심영역(604)과 동일한 의미로 사용되며, 관심영역(604)의 정보(좌표, 모양, 픽셀 등)를 더 포함하는 용어를 표현하기 위하여 구분하여 사용한 것으로, 마스크와 제2 관심영역(604)은 동일한 도면 부호를 갖는다.Here, the second ROI 604 and the mask have the same coordinates and shape, the second ROI 604 is used to express a specific area, and the mask is used in the same meaning as the second ROI 604. In addition, the mask and the second region of interest 604 have the same reference numeral to distinguish terms that further include information (coordinates, shapes, pixels, etc.) of the region of interest 604.
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제2 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제2관심영역 지정을 마무리함)을 이용하여 자신이 원하는 모양의 제2 관심영역(604)을 렌더링된 영상(600)에서 지정한다.The user uses the mouse's button click (for example, starts to specify the second region of interest using the left button of the mouse and finishes the second region of interest by clicking the right button of the mouse). The second region of interest 604 of the shape is designated in the rendered
이때, 사용자는 홀(602) 부분과 비슷한 픽셀값을 갖는 부분을 제2 관심영역(604)으로 지정하여 지정된 제2 관심영역(604)을 마스크로 생성한다.In this case, the user designates a portion having a pixel value similar to that of the
그런 다음 사용자가 Ctrl 버튼을 누르고 마우스의 좌 버튼을 클릭하여 생성된 마스크(604)를 선택한 후, 선택된 마스크(604)를 홀(602) 부분까지 이동시키면, 선택된 마스크(604)에 포함되는 픽셀들이 복사되어 홀(602) 부분에 적용되어 홀(602)을 채우게 된다. Then, when the user presses the Ctrl button and clicks the left button of the mouse to select the created mask 604, and moves the selected mask 604 to the
즉, 마스크를 이동시켜 홀(602)을 채우는 원리는 홀(602)의 픽셀값들을 제2 관심영역(604)의 픽셀값들로 변경하는 원리를 이용한 것이다. That is, the principle of filling the
상기와 같은 과정을 통해 홀(602)이 잘 채워졌다고 판단되면, 상기 사용자는 Ctrl 버튼 누름을 해제하고, 수정이 더 필요하다면 Ctrl 버튼을 다시 눌러 제2 관심영역(604)을 보이게 한 다음 마우스의 좌 버튼 클릭을 이용하여 원하는 부분까지 다시 이동시켜 홀을 채울 수 있다. 그러면, 도 6의 (b)와 같이 홀이 없는 렌더링된 영상(610)이 생성된다.If it is determined through the above process that the
여기에서는 렌더링된 영상을 로딩하여 홀을 채우는 것으로 설명하였으나, S408에 의해 홀이 채워진 영상에 남아있는 홀을 채우기 위해서도 동일하게 적용할 수 있다.Here, the rendering of the rendered image to fill the hole, but the same can be applied to fill the remaining hole in the hole filled image by S408.
상기와 같은 과정을 통해 상기 렌더링된 영상의 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있다. 따라서, 상기 영상 복원 장치는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.Although the hole of the rendered image is filled through the above process, the edge of the hole may remain awkward. Therefore, the image reconstruction device performs a pixel interpolation operation to smoothly process a portion that remains awkward.
상기 S414의 수행 후, 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면(S416), 상기 영상 복원 장치는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다(S418). After the operation S414 is performed, if an area to be interpolated is designated in the hole-filled image through painting (S416), the image reconstruction device interpolates the designated area with reference to values of surrounding pixels of the designated area (S418). ).
즉, 사용자는 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정한다. 상기 페인트칠을 통해 보간을 원하는 영역을 지정한다는 것은 도 7과 같이 사용자가 편집 도구 중에서 브러시를 이용하여 보간을 원하는 영역(710)을 지정하는 것을 말한다. 이때, 상기 사용자는 편집도구 중에서 브러시를 선택하고, 마우스의 좌 버튼을 클릭하여 보간을 원하는 영역(710)을 지정한다. That is, the user designates an area to be interpolated in the image filled with holes by painting. Designating an area to be interpolated through the painting means that the user designates an
그러면, 상기 영상 복원 장치는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀(hole) 윤곽부분의 어색한 부분이 부드럽게 된다.Then, the image reconstruction device interpolates the designated area with reference to the values of the surrounding pixels of the designated area, and the awkward portion of the hole outline portion is smoothed by the interpolation.
상기 S418의 수행으로 보간된 영상에서 사용자가 보간을 원하는 스탬프(stamp) 영역을 지정하면(S420), 상기 영상 복원 장치는 circle mask를 생성한다(S422).If the user designates a stamp area to be interpolated from the interpolated image by performing the step S418 (S420), the image reconstruction device generates a circle mask (S422).
상기 사용자가 상기 circle mask를 다른 영역에 복사하면, 상기 영상 복원 장치는 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간한다(S420).When the user copies the circle mask to another area, the image reconstruction device interpolates other areas by changing pixel values of the other area to pixel values of the circle mask.
즉, 사용자가 상기 보간된 영상에서 관심영역을 도 8과 같이 circle(810)로 지정하면, 상기 영상 복원 장치는 상기 지정된 circle을 circle mask로 생성한다. 이때, 상기 사용자는 어색한 부분과 가장 비슷한 픽셀값을 가지는 부분을 찾아 마우스 좌 버튼 클릭을 이용하여 circle(810)을 지정하고, 마우스의 우 버튼 클릭으로 circle(810)의 지정을 마무리한다. 상기와 같이 사용자가 circle(810)을 지정하면, 상기 영상 복원 장치는 상기 지정된 circle을 circle mask로 생성한다.That is, when the user designates the ROI as the
그런 다음 상기 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 영상 복원 장치는 상기 복사된 영역의 픽섹값들을 상기 circle mask의 픽셀 값들로 변경한다. 이때, 상기 영상 복원 장치는 상기 circle mask의 윤곽부분을 blur기법을 통하여 처리한다. Then, when the user copies and pastes the generated circle mask to a desired area, the image reconstruction device changes the pixel values of the copied area to pixel values of the circle mask. In this case, the image reconstruction apparatus processes the contour portion of the circle mask through a blur technique.
본 발명의 다른 실시예에 따르면, 상기 S418에 의한 영상 보간이 만족스러운 경우, 상기 S418 이후의 과정은 생략 가능하다.According to another embodiment of the present invention, when the image interpolation by S418 is satisfactory, the process after S418 can be omitted.
또한, 본 발명의 다른 실시예에 따르면, 상기 S414의 수행 후, 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 영상 복원 장치는 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 상기 영상 복원 장치는 상기 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.According to another embodiment of the present invention, if a stamp area is designated by the user in the hole-filled image after performing S414, the image restoration apparatus copies the stamp area to another area. To interpolate other areas. Then, the image reconstruction apparatus may interpolate the designated region with reference to the value of the surrounding pixels of the designated region when the region to be interpolated is designated in the interpolated image by painting.
또한, 본 발명의 다른 실시예에 따르면, 상기 S414의 수행 후, 상기 영상 복원 장치는 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 상기 영상 복원 장치는 상기와 같은 스탬프 작업에 의한 영상의 보간이 만족스러운 경우 페인트칠을 통한 보간 작업을 생략할 수 있다. According to another embodiment of the present invention, after performing the operation S414, the image restoration apparatus copies the stamp area to another area when a stamp area is designated by the user in the image filled with the hole. To interpolate other areas. Then, the image restoration apparatus may omit the interpolation work by painting when the interpolation of the image by the stamp work is satisfactory.
본 발명에 따른 영상 복원 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등의 형태로도 구현 가능하고, 본 발명에 따른 영상 복원 방법은 이들 장치에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행 가능할 수 있다.The image restoration apparatus according to the present invention may be implemented in the form of a personal computer, a tablet PC, a notebook, a mobile phone, a smartphone, and the like, and the image restoration method according to the present invention may include a processor including one or more cores included in these apparatuses. It may be executable by.
본 발명의 또 다른 측면에 따르면, (a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계, (b) 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 복원 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다.According to another aspect of the present invention, (a) when the region of interest is designated in the rendered image, generates a hole mask or mask for the region of interest, and copies the pixels by the movement of the generated hole mask or mask And filling the holes of the rendered image, and (b) restoring the rendered image by performing pixel interpolation on the hole contour in the filled image. A record carrier readable by the apparatus may be provided.
본 발명의 또 다른 측면에 따르면, 상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다. According to another aspect of the invention, the step of extracting at least one characteristic information by analyzing the two-dimensional input image, generating a depth map for the input image based on the characteristic information, the depth map Rendering the input image as a three-dimensional stereoscopic image by using a target image; when a region of interest is designated in the rendered image, a hole mask or a mask for the region of interest is generated, and a movement of the generated hole mask or mask is performed. The image conversion method comprising the step of copying the pixel to fill the hole of the rendered image, and performing the pixel interpolation operation to restore the rendered image to be provided by a program and a recording medium readable by the electronic device Can be.
영상 복원 방법 또는 영상 변환 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. An image restoration method or an image conversion method may be written as a program, and codes and code segments constituting the program may be easily inferred by a programmer in the art.
또한, 영상 복원 또는 영상 변환에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 렌더링된 영상의 홀을 제거하고 이미지를 복원하는 영상 복원 방법 또는 영상 변환 방법을 제공할 수 있다.Also, a program related to image restoration or image conversion is stored in a readable media that can be read by an electronic device, and is read and executed by the electronic device to remove the holes of the rendered image and restore the image. A method or an image conversion method can be provided.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
본 발명은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있도록 하는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 적용될 수 있다.The present invention can be applied to an image reconstruction apparatus and method for filling a hole of a rendered image generated in the process of stereoscopic conversion of an image smoothly and not awkwardly so that the image can be restored as if there were no holes, and an image conversion apparatus and method using the same. have.
100 : 영상 변환 장치 110 : 영상 분석부
120 : 깊이 맵 생성부 130 : 3차원 영상 렌더링부
140 : 영상 복원부 150 : 입력부
200 : 영상 복원 장치 210 : ROI 설정 및 처리부
220 : 픽셀 보간 처리부100: image conversion apparatus 110: image analysis unit
120: depth map generator 130: 3D image rendering unit
140: image restoration unit 150: input unit
200: Image restoration device 210: ROI setting and processing unit
220: pixel interpolation processing unit
Claims (19)
상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부;
를 포함하는 영상 복원 장치.When a region of interest is designated by the user in the rendered image, a hole mask or a mask is generated for the region of interest, and the movement of the generated hole mask or mask is performed. A region of interest (ROI) setting and processing unit which copies a pixel and fills a hole of the rendered image; And
A pixel interpolation processor configured to reconstruct the rendered image by performing pixel interpolation on the hole contour of the hole-filled image;
Image restoration apparatus comprising a.
상기 관심영역 설정 및 처리부는,
상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 홀 마스크 처리 모듈을 포함하는 것을 특징으로 하는 영상 복원 장치.The method of claim 1,
The region of interest setting and processing unit,
When the first region of interest is designated by the user in the rendered image, the hole region is extracted from the first region of interest, a hole mask identical to the extracted hole region is generated in the original image, and then the circle is extracted. And a hole mask processing module configured to fill the holes of the rendered image by copying pixels by moving the hole mask in the image.
상기 관심영역 설정 및 처리부는 상기 홀 마스크 처리 모듈에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채우는 마스크 처리 모듈을 더 포함하는 것을 특징으로 하는 영상 복원 장치.The method of claim 2,
The ROI setting and processing unit generates a mask for the second ROI when the second ROI is designated in the hole-filled image by the hole mask processing module, and copies the pixel by the movement of the generated mask. And a mask processing module filling the hole.
상기 홀 마스크 처리 모듈은 영상의 렌더링 시 생성된 홀에 대한 알파 맵(alpha-map)을 이용하여 상기 제1 관심영역에서 홀 영역을 추출하는 것을 특징으로 하는 영상 복원 장치.The method of claim 2,
And the hole mask processing module extracts a hole region from the first region of interest using an alpha-map of a hole generated during rendering of an image.
상기 홀 마스크 처리 모듈에서 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 것을 특징으로 하는 영상 복원 장치.The method of claim 2,
The coordinates of the hole mask generated by the hole mask processing module are the same as the coordinates of the hole detected in the rendered image. When the hole mask is moved, the pixels of the hole mask are copied by copying pixels corresponding to the hole mask. Image restoration apparatus, characterized in that the filling.
상기 마스크 처리 모듈은 상기 홀이 채워진 영상에서 홀과 비슷한 패턴을 제2 관심영역으로 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크가 다른 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 영역을 채우는 것을 특징으로 하는 영상 복원 장치. The method of claim 3,
The mask processing module generates a mask for the second region of interest when the pattern similar to the hole is designated as the second region of interest in the image filled with the hole, and when the generated mask is moved to another region, the mask The image restoration apparatus of claim 1, wherein the image reconstruction device fills the shifted area by copying pixels included in the.
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 복원 장치.The method of claim 1,
The pixel interpolation processor
And an in-paint job processing module configured to interpolate the designated area by referring to values of surrounding pixels of the designated area when a region to be interpolated through painting is designated in the hole-filled image. .
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 복원 장치.The method of claim 1,
The pixel interpolation processor
And a stamp job processing module for copying the stamp area to another area to interpolate other areas when a stamp area is designated from a user in the hole-filled image.
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈; 및 상기 in-paint 작업 처리 모듈에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하되,
상기 in-paint 작업 처리 모듈과 상기 stamp 작업 처리 모듈의 동작 순서는 변경 가능한 것을 특징으로 하는 영상 복원 장치.The method of claim 1,
The pixel interpolation processor
An in-paint job processing module configured to interpolate the designated area by referring to values of surrounding pixels of the designated area when a region to be interpolated through paint is designated in the hole filled image; And a stamp job processing module for copying the stamp area to another area and interpolating other areas when a stamp area is designated from a user in the image interpolated by the in-paint job processing module.
And an operation sequence of the in-paint job processing module and the stamp job processing module is changeable.
상기 stamp 작업 처리 모듈은 홀이 채워진 영상 또는 in-paint 작업 처리 모듈에 의해 보간된 영상에서 관심영역이 circle로 지정된 경우, 상기 지정된 circle을 circle mask로 생성하고, 상기 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경하는 것을 특징으로 하는 영상 복원 장치. 10. The method according to claim 8 or 9,
The stamp job processing module generates the specified circle as a circle mask when the ROI is designated as a circle in an image filled with holes or an image interpolated by the in-paint job processing module, and copies the circle mask to a desired area. And paste the pixel values of the copied area into pixel values of the circle mask.
상기 stamp 작업 처리 모듈은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 처리하는 것을 특징으로 하는 영상 복원 장치. The method of claim 10,
And the stamp job processing module smoothly processes the contour portion of the circle mask by applying a blur.
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부;
상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 3차원 영상 렌더링부; 및
상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부;
를 포함하는 영상 변환 장치.An image analyzer extracting at least one characteristic information by analyzing a two-dimensional input image;
A depth map generator configured to generate a depth map of the input image based on the characteristic information;
A 3D image rendering unit which renders the input image into a 3D stereoscopic image using the depth map; And
When a region of interest is designated in the rendered image, a hole mask or a mask is generated for the region of interest, the pixels are copied by moving the generated hole mask or mask, and the holes are filled in the rendered image. An image restoring unit performing an interpolation operation to restore the rendered image;
Image conversion device comprising a.
상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출하는 것을 특징으로 하는 영상 변환 장치.The method of claim 12,
The feature information extracting unit extracts feature information including at least one of edge information, color information, luminance information, motion information, and histogram information. Converter.
상기 영상 복원부는 상기 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역 설정 및 처리부; 및
상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함하는 것을 특징으로 하는 영상 변환 장치.The method of claim 12,
The image reconstructor generates a hole mask or a mask for the ROI when the ROI is designated by the user in the rendered image, copies a pixel by moving the generated hole mask or mask, A region of interest setting and processing unit to fill a hole; And
And a pixel interpolation processor configured to reconstruct the rendered image by performing pixel interpolation on the hole contour of the hole-filled image.
(a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계; 및
(b) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계;
를 포함하는 영상 복원 방법.In the method for restoring the rendered image by the image restoration apparatus,
(a) when the region of interest is designated in the rendered image, generating a hole mask or a mask for the region of interest, and copying pixels to fill the holes of the rendered image by moving the generated hole mask or mask. step; And
(b) reconstructing the rendered image by performing pixel interpolation on the hole contour of the hole-filled image;
Image restoration method comprising a.
상기 (a) 단계는,
상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크를 원 영상에서 생성하는 단계; 및
상기 원 영상에서 상기 홀 마스크가 이동된 경우, 상기 홀 마스크의 이동에 의한 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계를 포함하는 것을 특징으로 하는 영상 복원 방법.16. The method of claim 15,
The step (a)
Extracting a hole region from the first region of interest when the first region of interest is designated in the rendered image, and generating a hole mask identical to the extracted hole region in the original image; And
And when the hole mask is moved in the original image, copying pixels due to the movement of the hole mask to fill a hole of the rendered image.
상기 홀이 채워진 영상에서 제2 관심영역이 지정된 경우, 상기 제2 관심영역에 대한 마스크를 생성하는 단계; 및
상기 생성된 마스크가 이동된 경우, 상기 마스크에 해당하는 픽셀들을 복사하여 상기 이동된 영역의 홀을 채우는 단계를 더 포함하는 것을 특징으로 하는 영상 복원 방법.17. The method of claim 16,
Generating a mask for the second region of interest when a second region of interest is designated in the hole-filled image; And
And if the generated mask is moved, copying pixels corresponding to the mask to fill a hole of the moved region.
상기 (b) 단계는,
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하여 상기 렌더링된 이미지를 복원하거나,
상기 홀이 채워진 영상에서 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역에 대한 circle mask를 생성하고, 상기 circle mask가 다른 영역에 복사된 경우, 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간하여 상기 렌더링된 이미지를 복원하는 것을 특징으로 하는 영상 복원 방법.16. The method of claim 15,
The step (b)
When an area to be interpolated through paint is designated in the hole-filled image, the rendered image is restored by interpolating the designated area with reference to values of surrounding pixels of the designated area,
When a stamp area is designated in the hole-filled image, a circle mask is generated for the stamp area, and when the circle mask is copied to another area, pixel values of the other area are converted into pixel values of the circle mask. And restore the rendered image by interpolating other regions by changing to.
상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계;
상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계; 및
상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계;
를 포함하는 영상 변환 방법.In the method for converting a two-dimensional image into a three-dimensional image in the image conversion device,
Extracting at least one characteristic information by analyzing the two-dimensional input image;
Generating a depth map of the input image based on the characteristic information;
Rendering the input image into a three-dimensional stereoscopic image using the depth map; And
When a region of interest is designated in the rendered image, a hole mask or a mask is generated for the region of interest, the pixels are copied by moving the generated hole mask or mask, and the holes are filled in the rendered image. Restoring the rendered image by performing an interpolation operation;
Image conversion method comprising a.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (en) | 2012-02-01 | 2012-02-01 | Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that |
| PCT/KR2012/009024 WO2013115463A1 (en) | 2012-02-01 | 2012-10-31 | Device and method for processing images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (en) | 2012-02-01 | 2012-02-01 | Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130088953A true KR20130088953A (en) | 2013-08-09 |
| KR101319260B1 KR101319260B1 (en) | 2013-10-18 |
Family
ID=49215053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (en) | 2012-02-01 | 2012-02-01 | Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101319260B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170178325A1 (en) * | 2015-12-22 | 2017-06-22 | Korea Advanced Institute Of Science And Technology | Method and apparatus for restoring image |
| GB2580596A (en) * | 2018-03-14 | 2020-07-29 | Adobe Inc | Interactive system for automatically synthesizing a content-aware fill |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102026085B1 (en) * | 2018-02-22 | 2019-09-27 | 서울대학교산학협력단 | Method and apparatus for surface completion in ct data |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100918862B1 (en) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method |
| KR101385514B1 (en) * | 2010-06-08 | 2014-04-16 | 주식회사 에스칩스 | Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information |
-
2012
- 2012-02-01 KR KR1020120010211A patent/KR101319260B1/en active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170178325A1 (en) * | 2015-12-22 | 2017-06-22 | Korea Advanced Institute Of Science And Technology | Method and apparatus for restoring image |
| US10078894B2 (en) * | 2015-12-22 | 2018-09-18 | Korea Advanced Institute Of Science And Technology | Method and apparatus for restoring image |
| GB2580596A (en) * | 2018-03-14 | 2020-07-29 | Adobe Inc | Interactive system for automatically synthesizing a content-aware fill |
| GB2580596B (en) * | 2018-03-14 | 2021-12-15 | Adobe Inc | Interactive system for automatically synthesizing a content-aware fill |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101319260B1 (en) | 2013-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101613721B1 (en) | Methodology for 3d scene reconstruction from 2d image sequences | |
| KR20100095465A (en) | Segmentation of image data | |
| US20140168216A1 (en) | 3d avatar output device and method | |
| KR20150032176A (en) | Color video processing system and method, and corresponding computer program | |
| JP5956756B2 (en) | Video processing apparatus and control method thereof | |
| CN111583379A (en) | Rendering method and device of virtual model, storage medium and electronic equipment | |
| KR101319260B1 (en) | Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that | |
| KR20160016812A (en) | Image edits propagation to underlying video sequence via dense motion fields | |
| JP5832211B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2020183961A1 (en) | Image processing device, image processign method, and program | |
| JP2006311080A (en) | Texture image generation method, image processor, program, and recording medium | |
| JPWO2015186284A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2017157014A (en) | Image processing device, image processing method, image processing system and program | |
| JP5807569B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR20130003992A (en) | Method of converting 3d image data and apparatus for the same | |
| JP5617730B2 (en) | Display control apparatus and program | |
| KR102493401B1 (en) | Method and apparatus for erasing real object in augmetnted reality | |
| Cho et al. | Depth image processing technique for representing human actors in 3DTV using single depth camera | |
| JP7119854B2 (en) | Changed pixel region extraction device, image processing system, changed pixel region extraction method, image processing method and program | |
| JP5672168B2 (en) | Image processing apparatus, image processing method, and program | |
| CN103514593A (en) | Image processing method and image processing device | |
| Huang et al. | Generation of stereo oil paintings from RGBD images | |
| JP5887966B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5966837B2 (en) | Depth production support apparatus, depth production support method, and program | |
| Huang et al. | Stereoscopic oil paintings from RGBD images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161005 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171012 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181004 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20191002 Year of fee payment: 7 |