KR101319260B1 - 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 - Google Patents
영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 Download PDFInfo
- Publication number
- KR101319260B1 KR101319260B1 KR1020120010211A KR20120010211A KR101319260B1 KR 101319260 B1 KR101319260 B1 KR 101319260B1 KR 1020120010211 A KR1020120010211 A KR 1020120010211A KR 20120010211 A KR20120010211 A KR 20120010211A KR 101319260 B1 KR101319260 B1 KR 101319260B1
- Authority
- KR
- South Korea
- Prior art keywords
- hole
- image
- mask
- region
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 101
- 239000003973 paint Substances 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 17
- 238000010422 painting Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 관한 것으로서, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역 설정 및 처리부, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함한다.
Description
본 발명은 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 관한 것으로, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운 후, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 관한 것이다.
최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가 및 렌더링(rendering)하여 2차원의 영상을 3차원의 입체 영상으로 변환하였다.
그러나 렌더링된 영상에는 원 영상(오리지널 영상)에 없었던 홀이 생겨서 영상을 어색하게 하는 단점이 있었다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있는 영상 복원 장치 및 방법과 이를 이용한 영상변환 장치 및 방법을 제공하는데 있다.
본 발명의 일 측면에 따르면, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역(ROI, Region Of Interest) 설정 및 처리부, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함하는 영상 복원 장치가 제공된다.
상기 관심영역 설정 및 처리부는 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀(hole)과 동일한 홀 마스크(hole mask)를 원 영상에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 홀 마스크 처리 모듈을 포함한다.
또한, 상기 관심영역 설정 및 처리부는 상기 홀 마스크 처리 모듈에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채우는 마스크 처리 모듈을 더 포함할 수 있다.
상기 홀 마스크 처리 모듈은 영상의 렌더링 시 생성된 홀에 대한 alpha-map을 이용하여 상기 제1 관심영역에서 홀 영역을 추출한다.
상기 홀 마스크 처리 모듈에서 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채운다.
상기 마스크 처리 모듈은 상기 홀이 채워진 영상에서 홀과 비슷한 패턴을 제2 관심영역으로 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크가 다른 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 영역을 채운다.
상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈을 포함한다.
또한, 상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함한다.
상기 픽셀 보간 처리부는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈; 및 상기 in-paint 작업 처리 모듈에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하되, 상기 in-paint 작업 처리 모듈과 상기 stamp 작업 처리 모듈의 동작 순서는 변경이 가능하다.
상기 stamp 작업 처리 모듈은 홀이 채워진 영상 또는 in-paint 작업 처리 모듈에 의해 보간된 영상에서 관심영역이 circle로 지정된 경우, 상기기 지정된 circle을 circle mask로 생성하고, 상기 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다.
또한, 상기 stamp 작업 처리 모듈은 상기 circle mask의 윤곽부분을 blur를 적용하여 부드럽게 처리한다.
본 발명의 다른 측면에 따르면, 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 3차원 영상 렌더링부, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부를 포함하는 영상 변환 장치가 제공된다.
상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다.
상기 영상 복원부는 상기 영상 복원부는 상기 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역 설정 및 처리부, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함한다.
본 발명의 또 다른 측면에 따르면, 영상 복원 장치가 렌더링된 영상을 복원하는 방법에 있어서, (a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계, (b) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 복원 방법이 제공된다.
상기 (a) 단계는 상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀과 동일한 홀 마스크를 원 영상에서 생성하는 단계, 상기 원 영상에서 상기 홀 마스크가 이동된 경우, 상기 홀 마스크의 이동에 의한 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계를 포함한다.
또한, 상기 (a) 단계는 상기 홀이 채워진 영상에서 제2 관심영역이 지정된 경우, 상기 제2 관심영역에 대한 마스크를 생성하는 단계, 상기 생성된 마스크가 이동된 경우, 상기 마스크에 해당하는 픽셀들을 복사하여 상기 이동된 영역의 홀을 채우는 단계를 더 포함할 수 있다.
상기 (b) 단계는 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하여 상기 렌더링된 이미지를 복원하거나, 상기 홀이 채워진 영상에서 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역에 대한 circle mask를 생성하고, 상기 circle mask가 다른 영역에 복사된 경우, 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간하여 상기 렌더링된 이미지를 복원한다.
본 발명의 또 다른 측면에 따르면, 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법에 있어서, 상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계를 포함하는 영상 변환 방법이 제공된다.
따라서 본 발명에 따르면, 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있다.
또한, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있다.
도 1은 본 발명에 따른 영상 변환 장치의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명에 따른 영상 복원 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법을 나타낸 흐름도.
도 4는 본 발명에 따른 영상 복원 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면.
도 5는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 6은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 7은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도.
도 8은 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도.
도 2는 본 발명에 따른 영상 복원 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법을 나타낸 흐름도.
도 4는 본 발명에 따른 영상 복원 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면.
도 5는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 6은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도.
도 7은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도.
도 8은 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하에서 설명되는 홀(hole)은 원 영상에는 없었으나 영상의 렌더링시 발생한 영상의 갭(gap)을 말한다. 상기 홀에 의해 영상이 부드럽지 못하고 어색하게 보인다.
도 1은 본 발명에 따른 영상 변환 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 1을 참조하면, 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 생성부(120), 3차원 영상 렌더링부(130), 영상 복원부(140), 입력부(150)를 포함한다.
상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.
상기 깊이 맵 생성부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성한다.
상기 3차원 영상 렌더링부(130)는 상기 깊이 맵 생성부(120)에서 생성된 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 3차원 영상 렌더링부(130)는 상기 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.
여기에서는 3차원 영상 렌더링부(130)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 3차원 영상 렌더링부(130)가 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다.
상기 영상 복원부(140)는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상에 대해 상기 입력부(150)를 통해 사용자가 지정한 영역의 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 상기 렌더링된 영상을 복원한다.
즉, 상기 영상 복원부는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상에서 홀인 부분을 부드럽고 어색하지 않게 채워 마치 없었던 것처럼 만드는 역할을 수행한다.
상기와 같은 역할을 수행하는 영상 복원부(100)에 대해 도 2를 참조하기로 한다.
상기 입력부(150)는 영상변환 장치의 기능 선택 및 제어를 위한 사용자 인터페이스를 제공하고, 사용자의 입력을 영상 복원부(110)에 전달한다. 사용자는 입력부(130)를 통해 렌더링된 영상에서 관심영역을 지정할 수 있다.
도면에는 도시하지 않았으나, 상기 영상 변환 장치는 상기 3차원 영상 렌더링부(130)에서 렌더링된 영상의 출력은 물론 상기 입력부를 통해 사용자에 의해 입력된 일련의 작업 과정과 입력결과, 처리 결과등을 표시하는 디스플레이부를 더 포함한다.
도 2는 본 발명에 따른 영상 복원 장치의 구성을 개략적으로 나타낸 블럭도이다. 이하에서는 도 1에 도시된 영상 복원부를 영상 복원 장치로 하여 설명하기로 한다.
도 2를 참조하면, 영상 복원 장치(200)는 ROI(Region Of Interest, 관심영역) 설정 및 처리부(210), 픽셀 보간 처리부(220)를 포함한다.
상기 ROI 설정 및 처리부(210)는 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운다.
상기 ROI 설정 및 처리부(210)는 홀 마스크 처리 모듈(212), 마스크 처리 모듈(214)을 포함한다.
상기 홀 마스크 처리 모듈(212)은 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운다.
다시 말하면, 사용자가 상기 렌더링된 영상에서 제1 관심 영역을 지정하면, 상기 홀 마스크 처리 모듈(212)은 상기 제1 관심영역에서 홀인 부분을 자동으로 검출한다. 이때, 상기 홀 마스크 처리 모듈(212)이 홀을 판단하는 기준은 영상의 렌더링시 생성되는 홀에 대한 alpha-map을 이용한다. 상기 alpha-map에서 홀인 부분은 검정색, 홀이 아닌 부분은 하얀색으로 표현될 수 있다.
그런 다음 상기 홀 마스크 처리 모듈(212)은 상기 추출된 홀과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한다. 이때 상기 렌더링된 영상에서 검출된 홀의 좌표와 오리지널 영상에서 생성된 홀 마스크의 좌표는 동일하다.
상기와 같이 원 영상에 생성된 홀 마스크를 사용자가 홀 주위와 가장 비슷한 부분까지 이동시키면, 상기 홀 마스크 처리 모듈(212)은 상기 홀 마스크에 포함되는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채운다.
또한, 상기 홀 마스크 처리 모듈(212)은 현재 프레임에서 가능하지 않다면, 다른 프레임에서 픽셀을 참조하여 복사할 수도 있다.
상기 홀 마스크 처리 모듈(212)은 홀을 자동으로 검출해줌으로써 정확하면서 빨리 작업할 수 있도록 하고, 원 영상에 홀과 같은 모양의 홀 마스크를 생성하여 홀 마스크의 이동만으로 홀을 채울 수 있다.
상기 마스크 처리 모듈(214)은 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다. 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다.
즉, 사용자가 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀 주위와 비슷한 부분을 찾아 제2 관심영역으로 지정하면, 상기 마스크 처리 모듈(214)은 상기 제2 관심 영역에 대한 마스크를 생성한다. 그런 다음 상기 사용자가 상기 생성된 마스크를 홀 부분을 채울 부분으로 이동시키면, 상기 마스크 처리 모듈(214)은 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 홀 부분을 채운다.
상기와 같은 마스크 처리 작업은 홀 마스크 처리 작업을 통해 홀을 채웠지만 만족스럽지 않을 때 사용하는 작업으로 홀 마스크 작업이 만족스러운 경우 생략 가능하다. 즉, 상기 ROI 설정 및 처리부(210)는 상기 홀 마스크 처리 모듈(212)에 의한 홀 채움이 만족스러운 경우 상기 마스크 처리 모듈(214)에 의한 홀 채움은 생략 가능하다.
또한, 홀 마스크 처리 모듈(212)에서 생성된 홀 마스크는 홀의 모양과 동일하기 때문에 사용자가 홀 마스크의 모양을 마음대로 바꿀 수 없지만, 마스크 처리 모듈(214)에서 생성된 마스크는 사용자의 의도대로 표현할 수 있다.
즉, 사용자는 상기 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀과 비슷한 패턴을 찾아서, 그 영역을 제2 관심 영역으로 지정할 수 있다.
또한, 홀이 움직이지 않는 부분이 있을 수 있으므로, 상기 마스크 처리 모듈(214)은 같은 마스크를 시퀀스(sequence)로 이용할 수 있다.
상기 픽셀 보간 처리부(220)는 상기 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원한다.
즉, 상기 ROI 설정 및 처리부(210)에 의해 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있으므로, 상기 픽셀 보간 처리부(220)는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.
상기와 같은 역할을 수행하는 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함한다.
상기 in-paint 작업 처리 모듈(222)은 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다.
즉, 사용자가 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정하면, 상기 in-paint 작업 처리 모듈(222)은 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀 윤곽부분의 어색한 부분을 부드럽게 한다. 여기서, 상기 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다는 것은 상기 주위 픽셀들의 값을 평균화시키고, 상기 지정된 영역을 상기 평균화된 값으로 보간하여 홀 윤곽 부분의 어색한 부분을 부드럽게 하는 것을 말한다.
상기 ROI 설정 및 처리부(210)에서 작업이 끝난 이후 홀이 메워졌지만 윤곽 부분이 홀 주위에 있던 영상들과 이질적인 부분이 생겨 날카롭게 보일 수 있다.
따라서, 상기 in-paint 작업 처리 모듈(222)은 이러한 부분들을 주위 픽셀을 참조하여 보간하는 in-paint 알고리즘을 이용하여 날카로운 부분을 부드럽게 해준다.
상기 ROI 설정 및 처리부(210)에서 이루어지는 ROI 처리 작업들은 사용자가 좀 더 편하게 홀을 메울 수 있도록 하고, 홀을 지정하므로 큰 홀들을 한꺼번에 쉽게 메울 수 있지만 섬세함이 떨어진다. 그러나, 상기 in-paint 알고리즘은 큰 영역을 크게 잡으면 어색하게 보간 되는 단점이 있지만 작고 세밀하게 이용한다면 사용자가 매우 간단히 보간할 수 있다.
상기 stamp 작업 처리 모듈(224)은 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다.
즉, 사용자가 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 관심영역을 circle로 지정하면, 상기 stamp 작업 처리 모듈(224)은 상기 지정된 circle을 circle mask로 생성한다. 상기 지정된 circle이 스탬프 영역을 말한다. 그런 다음 상기 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 stamp 작업 처리 모듈(224)은 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다.
이때, 상기 stamp 작업 처리 모듈(224)은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 한다.
여기에서는 픽셀 보간 처리부(220)가 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함하고, 상기 stamp 작업 처리 모듈(224)이 상기 in-paint 작업 처리 모듈(222)에 의해 보간된 영상을 보간하는 것으로 설명하였으나, in-paint 작업 처리 모듈(222)과 stamp 작업 처리 모듈(224)의 동작 순서를 바꾸어 픽셀 보간 작업을 수행할 수 있다. 즉, 상기 stamp 작업 처리 모듈(224)이 상기 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하고, 상기 in-paint 작업 처리 모듈(222)이 상기 stamp 작업 처리 모듈(224)에서 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.
또한, 상기 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222)만을 구비 또는 stamp 작업 처리 모듈(224)만을 구비할 수도 있다.
또한, 상기 픽셀 보간 처리부(220)의 in-paint 작업 또는 stamp 작업을 통한 픽셀 보간 작업이 만족스러운 경우 하나의 작업은 생략 가능하다.
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법을 나타낸 흐름도이다.
도 3을 참조하면, 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S302). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.
상기 S302의 수행 후, 상기 영상 변환 장치는 상기 추출된 특성 정보를 기초로 상기 입력 영상의 깊이 맵을 생성한다(S304).
상기 S304의 수행 후, 상기 영상 변환 장치는 상기 생성된 깊이 맵을 이용하여 상기 2차원의 영상을 3차원의 입체 영상으로 렌더링한다(S306).
상기 S306의 수행 후, 상기 영상 변환 장치는 상기 렌더링된 영상을 사용자 제어에 따라 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 상기 렌더링된 영상을 복원한다(S308).
상기 영상 변환 장치가 상기 렌더링된 영상을 복원하는 방법에 대한 상세한 설명은 도 4를 참조하기로 한다.
도 4는 본 발명에 따른 영상 복원 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면, 도 5는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 6은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 7은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도, 도 8은 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도이다.
도 4를 참조하면, 사용자가 렌더링된 영상에서 제1 관심영역을 지정하면(S402), 영상 복원 장치는 상기 제1 관심영역에서 홀 영역을 추출하고(S404), 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상에 생성한다(S406).
상기 S406의 수행 후, 상기 사용자가 상기 원 영상에서 상기 홀 마스크를 이동시키면 상기 영상 복원 장치는 상기 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운다(S408).
원 영상에 홀 마스크를 생성하고, 상기 생성된 홀 마스크를 이용하여 렌더링된 영상의 홀을 채우는 방법에 대해 도 5를 예로 들어 설명하기로 한다.
도 5의 (a)는 렌더링된 영상에서 관심영역을 지정하고, 관심영역으로부터 홀(502)을 추출하여 홀(502)에 대응되는 원 영상의 홀 마스크(512)를 생성하는 과정을 설명하기 위한 도면이고, 도 5의 (b)는 원 영상의 홀 마스크(512)를 이동시켜 렌더링된 영상의 홀(502)을 채우는 방법을 설명하기 위한 도면이다.
도 5의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(500)을 로딩(loading)하고, 상기 렌더링된 영상(500)에서 제1 관심영역(504)을 지정하면, 제1 관심영역(504)에서 추출된 홀(502)에 대응되는 홀 마스크(512)가 원 영상(510)에 생성된다.
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제1 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제1관심영역 지정을 마무리함)을 이용하여 렌더링된 영상(500)에서 제1 관심영역(504)를 지정할 수 있다.
앞서 상세히 설명한 바와 같이, 홀(502)은 alpha-map을 이용하여 제1 관심영역(504)에서 추출될 수 있다.
원 영상의 홀 마스크(512)는 렌더링된 영상(500)에서 검출된 홀(502)에 대응되도록 생성되므로, 홀(502)과 홀 마스크(512)의 좌표는 동일하고, 홀(502)과 홀 마스크(512)의 모양은 동일하다.
도 5의 (b)를 참조하면, 사용자가 마우스의 버튼 클릭(예를 들면, 마우스의 좌 버튼을 클릭함)을 이용하여 원 영상(510)에서 홀 마스크(512)를 선택하여 이동할 수 있고, 홀 마스크(510)가 이동한 영역의 픽셀들은 실시간 복사되어 렌더링된 영상(530)의 대응되는 좌표에 채워진다.
다시 말하면, 원 영상(510)에서 홀 마스크(512)를 이동시키면, 홀 마스크(512)의 좌표가 변화되며, 홀 마스크(512)가 이동된 좌표 영역(이전 좌표 영역)의 픽셀값들이 실시간으로 복사되고, 그 복사된 픽셀값들이 실시간으로 상기 렌더링된 영상(500)의 동일한 좌표에 적용된다.
홀 마스크(512)와 홀(502)은 동일한 모양 및 동일한 좌표를 가지므로, 홀 마스크(512) 좌표 및 모양을 참조하여 채우려는 홀(502)의 크기만큼 홀 마스크(512)를 이동시키면 홀 마스크(512)가 이동된 좌표 영역의 픽셀값들이 대응되는 홀(502)의 좌표 영역에 복사되어 채워지게 된다.
상기 S408이 수행된 후, 상기 사용자가 홀이 채워진 영상에서 제2 관심영역을 지정하면(S410), 상기 영상 복원 장치는 상기 제2 관심영역에 대한 마스크를 생성한다(S412). 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다.
그런 다음 상기 사용자가 상기 생성된 마스크를 이동시키면, 상기 영상 복원 장치는 상기 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다(S414).
사용자가 렌더링된 영상에서 제2 관심영역을 지정하여 홀을 채우는 방법에 대해 도 6을 예로 들어 설명하기로 한다.
도 6의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(600)을 로딩(loading)한 후, 상기 렌더링된 영상(600)에서 홀(602)을 채우기 위해 제2 관심 영역(604)을 지정하면, 제2 관심영역(604)에 대한 마스크가 생성된다.
여기서, 제2 관심영역(604)과 마스크는 동일한 좌표와 모양을 가지며, 제2 관심영역(604)은 특정 영역을 표현하기 위하여 사용한 것이고, 마스크는 제2 관심영역(604)과 동일한 의미로 사용되며, 관심영역(604)의 정보(좌표, 모양, 픽셀 등)를 더 포함하는 용어를 표현하기 위하여 구분하여 사용한 것으로, 마스크와 제2 관심영역(604)은 동일한 도면 부호를 갖는다.
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제2 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제2관심영역 지정을 마무리함)을 이용하여 자신이 원하는 모양의 제2 관심영역(604)을 렌더링된 영상(600)에서 지정한다.
이때, 사용자는 홀(602) 부분과 비슷한 픽셀값을 갖는 부분을 제2 관심영역(604)으로 지정하여 지정된 제2 관심영역(604)을 마스크로 생성한다.
그런 다음 사용자가 Ctrl 버튼을 누르고 마우스의 좌 버튼을 클릭하여 생성된 마스크(604)를 선택한 후, 선택된 마스크(604)를 홀(602) 부분까지 이동시키면, 선택된 마스크(604)에 포함되는 픽셀들이 복사되어 홀(602) 부분에 적용되어 홀(602)을 채우게 된다.
즉, 마스크를 이동시켜 홀(602)을 채우는 원리는 홀(602)의 픽셀값들을 제2 관심영역(604)의 픽셀값들로 변경하는 원리를 이용한 것이다.
상기와 같은 과정을 통해 홀(602)이 잘 채워졌다고 판단되면, 상기 사용자는 Ctrl 버튼 누름을 해제하고, 수정이 더 필요하다면 Ctrl 버튼을 다시 눌러 제2 관심영역(604)을 보이게 한 다음 마우스의 좌 버튼 클릭을 이용하여 원하는 부분까지 다시 이동시켜 홀을 채울 수 있다. 그러면, 도 6의 (b)와 같이 홀이 없는 렌더링된 영상(610)이 생성된다.
여기에서는 렌더링된 영상을 로딩하여 홀을 채우는 것으로 설명하였으나, S408에 의해 홀이 채워진 영상에 남아있는 홀을 채우기 위해서도 동일하게 적용할 수 있다.
상기와 같은 과정을 통해 상기 렌더링된 영상의 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있다. 따라서, 상기 영상 복원 장치는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.
상기 S414의 수행 후, 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면(S416), 상기 영상 복원 장치는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다(S418).
즉, 사용자는 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정한다. 상기 페인트칠을 통해 보간을 원하는 영역을 지정한다는 것은 도 7과 같이 사용자가 편집 도구 중에서 브러시를 이용하여 보간을 원하는 영역(710)을 지정하는 것을 말한다. 이때, 상기 사용자는 편집도구 중에서 브러시를 선택하고, 마우스의 좌 버튼을 클릭하여 보간을 원하는 영역(710)을 지정한다.
그러면, 상기 영상 복원 장치는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀(hole) 윤곽부분의 어색한 부분이 부드럽게 된다.
상기 S418의 수행으로 보간된 영상에서 사용자가 보간을 원하는 스탬프(stamp) 영역을 지정하면(S420), 상기 영상 복원 장치는 circle mask를 생성한다(S422).
상기 사용자가 상기 circle mask를 다른 영역에 복사하면, 상기 영상 복원 장치는 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간한다(S420).
즉, 사용자가 상기 보간된 영상에서 관심영역을 도 8과 같이 circle(810)로 지정하면, 상기 영상 복원 장치는 상기 지정된 circle을 circle mask로 생성한다. 이때, 상기 사용자는 어색한 부분과 가장 비슷한 픽셀값을 가지는 부분을 찾아 마우스 좌 버튼 클릭을 이용하여 circle(810)을 지정하고, 마우스의 우 버튼 클릭으로 circle(810)의 지정을 마무리한다. 상기와 같이 사용자가 circle(810)을 지정하면, 상기 영상 복원 장치는 상기 지정된 circle을 circle mask로 생성한다.
그런 다음 상기 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 영상 복원 장치는 상기 복사된 영역의 픽섹값들을 상기 circle mask의 픽셀 값들로 변경한다. 이때, 상기 영상 복원 장치는 상기 circle mask의 윤곽부분을 blur기법을 통하여 처리한다.
본 발명의 다른 실시예에 따르면, 상기 S418에 의한 영상 보간이 만족스러운 경우, 상기 S418 이후의 과정은 생략 가능하다.
또한, 본 발명의 다른 실시예에 따르면, 상기 S414의 수행 후, 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 영상 복원 장치는 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 상기 영상 복원 장치는 상기 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 상기 S414의 수행 후, 상기 영상 복원 장치는 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 상기 영상 복원 장치는 상기와 같은 스탬프 작업에 의한 영상의 보간이 만족스러운 경우 페인트칠을 통한 보간 작업을 생략할 수 있다.
본 발명에 따른 영상 복원 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등의 형태로도 구현 가능하고, 본 발명에 따른 영상 복원 방법은 이들 장치에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행 가능할 수 있다.
본 발명의 또 다른 측면에 따르면, (a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계, (b) 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 복원 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다.
영상 복원 방법 또는 영상 변환 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.
또한, 영상 복원 또는 영상 변환에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 렌더링된 영상의 홀을 제거하고 이미지를 복원하는 영상 복원 방법 또는 영상 변환 방법을 제공할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있도록 하는 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법에 적용될 수 있다.
100 : 영상 변환 장치 110 : 영상 분석부
120 : 깊이 맵 생성부 130 : 3차원 영상 렌더링부
140 : 영상 복원부 150 : 입력부
200 : 영상 복원 장치 210 : ROI 설정 및 처리부
220 : 픽셀 보간 처리부
120 : 깊이 맵 생성부 130 : 3차원 영상 렌더링부
140 : 영상 복원부 150 : 입력부
200 : 영상 복원 장치 210 : ROI 설정 및 처리부
220 : 픽셀 보간 처리부
Claims (19)
- 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역에 대응되는 홀 마스크(hole mask)를 원 영상에 생성하며, 상기 원 영상에서 홀 마스크가 이동된 영역의 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역(ROI, Region Of Interest) 설정 및 처리부; 및
상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부;를 포함하되,
상기 관심영역 설정 및 처리부에서 원 영상에 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 것을 특징으로 영상 복원 장치.
- 삭제
- 제1항에 있어서,
상기 관심영역 설정 및 처리부는 상기 홀이 채워진 렌더링된 영상에 잔여 홀이 존재하는 경우, 사용자로부터 제2 관심영역을 지정받고, 상기 제2 관심영역에 대한 마스크를 상기 홀이 채워진 렌더링된 영상에 생성하고, 상기 마스크가 잔여 홀 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀을 복사하여 상기 잔여 홀을 채우는 것을 특징으로 하는 영상 복원 장치. - 제1항에 있어서,
상기 관심영역 설정 및 처리부는 영상의 렌더링 시 생성된 홀에 대한 알파 맵(alpha-map)을 이용하여 상기 제1 관심영역에서 홀 영역을 추출하는 것을 특징으로 하는 영상 복원 장치.
- 삭제
- 제3항에 있어서,
상기 관심영역 설정 및 처리부는 상기 홀이 채워진 렌더링된 영상에서 잔여 홀과 비슷한 패턴을 제2 관심영역으로 지정받으면, 상기 제2 관심영역에 대한 마스크를 상기 홀이 채워진 렌더링된 영상에 생성하고, 상기 마스크가 잔여 홀 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 잔여 홀 영역을 채우는 것을 특징으로 하는 영상 복원 장치. - 제1항에 있어서,
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 복원 장치. - 제1항에 있어서,
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 복원 장치. - 제1항에 있어서,
상기 픽셀 보간 처리부는
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈; 및 상기 in-paint 작업 처리 모듈에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하되,
상기 in-paint 작업 처리 모듈과 상기 stamp 작업 처리 모듈의 동작 순서는 변경 가능한 것을 특징으로 하는 영상 복원 장치. - 제9항에 있어서,
상기 stamp 작업 처리 모듈은 in-paint 작업 처리 모듈에 의해 보간된 영상에서 관심영역이 circle로 지정된 경우, 상기 지정된 circle을 circle mask로 생성하고, 상기 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경하는 것을 특징으로 하는 영상 복원 장치. - 제10항에 있어서,
상기 stamp 작업 처리 모듈은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 처리하는 것을 특징으로 하는 영상 복원 장치. - 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부;
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부;
상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 3차원 영상 렌더링부; 및
상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역에 대응되는 홀 마스크(hole mask)를 상기 입력 영상에 생성하며, 상기 입력 영상에서 홀 마스크가 이동된 영역의 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부;
를 포함하는 영상 변환 장치. - 제12항에 있어서,
상기 영상 분석부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출하는 것을 특징으로 하는 영상 변환 장치. - 제12항에 있어서,
상기 영상 복원부는 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역에 대응되는 홀 마스크(hole mask)를 원 영상에 생성하며, 상기 원 영상에서 홀 마스크가 이동된 영역의 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우고, 상기 홀이 채워진 렌더링된 영상에 잔여 홀이 존재하는 경우, 사용자로부터 제2 관심영역을 지정받고, 상기 제2 관심영역에 대한 마스크를 상기 홀이 채워진 렌더링된 영상에 생성하며, 상기 마스크가 잔여 홀 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀을 복사하여 상기 잔여 홀을 채우는 관심영역(ROI, Region Of Interest) 설정 및 처리부; 및
상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함하는 것을 특징으로 하는 영상 변환 장치. - (a) 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역에 대응되는 홀 마스크(hole mask)를 원 영상에 생성하며, 상기 원 영상에서 홀 마스크가 이동된 영역의 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 단계; 및
(b) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계;를 포함하되,
상기 (a) 단계에서, 상기 원 영상에 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 것을 특징으로 하는 영상 복원 방법.
- 삭제
- 제15항에 있어서,
상기 홀이 채워진 렌더링된 영상에 잔여 홀이 존재하는 경우, 사용자로부터 제2 관심영역을 지정받고, 상기 제2 관심영역에 대한 마스크를 상기 홀이 채워진 렌더링된 영상에 생성하는 단계; 및
상기 마스크가 잔여 홀 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀을 복사하여 상기 이동된 영역의 잔여 홀을 채우는 단계를 더 포함하는 것을 특징으로 하는 영상 복원 방법. - 제15항에 있어서,
상기 (b) 단계는,
상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하여 상기 렌더링된 영상을 복원하거나,
상기 홀이 채워진 영상에서 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역에 대한 circle mask를 생성하고, 상기 circle mask가 다른 영역에 복사된 경우, 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간하여 상기 렌더링된 영상을 복원하는 것을 특징으로 하는 영상 복원 방법. - 영상 변환 장치가 2차원의 영상을 3차원의 영상으로 변환하는 방법에 있어서,
상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계;
상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계; 및
상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역에 대응되는 홀 마스크(hole mask)를 상기 입력 영상에 생성하며, 상기 입력 영상에서 홀 마스크가 이동된 영역의 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계;
를 포함하는 영상 변환 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (ko) | 2012-02-01 | 2012-02-01 | 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 |
| PCT/KR2012/009024 WO2013115463A1 (ko) | 2012-02-01 | 2012-10-31 | 영상 처리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (ko) | 2012-02-01 | 2012-02-01 | 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130088953A KR20130088953A (ko) | 2013-08-09 |
| KR101319260B1 true KR101319260B1 (ko) | 2013-10-18 |
Family
ID=49215053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120010211A KR101319260B1 (ko) | 2012-02-01 | 2012-02-01 | 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101319260B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190101020A (ko) * | 2018-02-22 | 2019-08-30 | 서울대학교산학협력단 | Ct 데이터 표면 완성 방법 및 그 장치 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101727836B1 (ko) * | 2015-12-22 | 2017-04-17 | 한국과학기술원 | 영상 복원 장치 및 방법 및 장치 |
| US10706509B2 (en) * | 2018-03-14 | 2020-07-07 | Adobe Inc. | Interactive system for automatically synthesizing a content-aware fill |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090040032A (ko) * | 2007-10-19 | 2009-04-23 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| KR20110134142A (ko) * | 2010-06-08 | 2011-12-14 | 에스케이플래닛 주식회사 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
-
2012
- 2012-02-01 KR KR1020120010211A patent/KR101319260B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090040032A (ko) * | 2007-10-19 | 2009-04-23 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| KR20110134142A (ko) * | 2010-06-08 | 2011-12-14 | 에스케이플래닛 주식회사 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190101020A (ko) * | 2018-02-22 | 2019-08-30 | 서울대학교산학협력단 | Ct 데이터 표면 완성 방법 및 그 장치 |
| KR102026085B1 (ko) * | 2018-02-22 | 2019-09-27 | 서울대학교산학협력단 | Ct 데이터 표면 완성 방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130088953A (ko) | 2013-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101613721B1 (ko) | ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법 | |
| KR20100095465A (ko) | 이미지 데이터의 세그먼테이션 | |
| US8599199B2 (en) | Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same | |
| US20140168216A1 (en) | 3d avatar output device and method | |
| WO2020183961A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5956756B2 (ja) | 映像処理装置及びその制御方法 | |
| KR101319260B1 (ko) | 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 | |
| JP5832211B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR20160016812A (ko) | 조밀한 모션 필드들을 통한 기저 비디오 시퀀스로의 이미지 편집들 전파 | |
| JP2017157014A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JP5807569B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR20130003992A (ko) | 3차원 영상 데이터 생성 방법 및 이를 위한 장치 | |
| KR20120118462A (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
| KR102594258B1 (ko) | 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 | |
| Cho et al. | Depth image processing technique for representing human actors in 3DTV using single depth camera | |
| KR102493401B1 (ko) | 증강현실에서 실제 객체를 지우는 방법 및 장치 | |
| JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
| JP5672168B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017174416A (ja) | 適応的デプスガイドノンフォトリアリスティックレンダリング方法、対応するコンピュータプログラム製品、コンピュータ読取可能搬送媒体及びデバイス | |
| Huang et al. | Generation of stereo oil paintings from RGBD images | |
| JP2006311080A (ja) | テクスチャ画像生成方法、画像処理装置、プログラム及び記録媒体 | |
| JP5887966B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR102617776B1 (ko) | 3d 모델 표면 재질 자동 생성 방법 및 장치 | |
| JP5966837B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、およびプログラム | |
| US20240404027A1 (en) | Systems and methods for performing inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120201 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20121213 Patent event code: PE09021S01D |
|
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20130603 Patent event code: PE09021S02D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20130930 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20131011 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20131014 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20161005 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20161005 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171012 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171012 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181004 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181004 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20191002 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20191002 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20201006 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220928 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240919 Start annual number: 12 End annual number: 12 |