KR20120023431A - 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 - Google Patents
깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20120023431A KR20120023431A KR1020100086582A KR20100086582A KR20120023431A KR 20120023431 A KR20120023431 A KR 20120023431A KR 1020100086582 A KR1020100086582 A KR 1020100086582A KR 20100086582 A KR20100086582 A KR 20100086582A KR 20120023431 A KR20120023431 A KR 20120023431A
- Authority
- KR
- South Korea
- Prior art keywords
- depth map
- parameter
- image
- input image
- depth
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Abstract
입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성하고, 입력 영상의 특징을 분석하고 제 1 깊이 맵의 에러를 예측하여 제 1 깊이 맵을 조정하기 위한 파라미터를 결정하고, 결정된 파라미터에 기초하여 제 1 깊이 맵을 조정하여 상기 입력 영상에 대한 스테레오스코픽 영상을 생성하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법이 개시된다.
Description
본 발명은, 3차원 비디오 컨텐트를 생성하기 위한 2차원/3차원 영상 변환에 관한 것이다.
3차원 비디오 재생 기술이 상용화됨에 따라, 3차원 비디오 컨텐트에 대한 요구가 증대되고 있다. 컨텐츠 제공자에 의해, 3차원 비디오 촬영 장치를 이용하여 획득된 3차원 비디오 컨텐트 뿐만 아니라, 2차원 비디오가 3차원 비디오로 변환된 3차원 비디오 컨텐트가 제공되고 있다.
비디오의 2차원/3차원 변환 기법 중, 스테레오스코픽 영상의 좌시점 영상 및 우시점 영상 간의 깊이(depth) 차이를 이용하는 기법이 있다. 이 경우, 2차원 비디오에 대해 깊이 측정(depth estimation) 및 깊이 렌더링(depth rendering)이 순차적으로 수행됨으로써 2차원 비디오 컨텐트에 대한 3차원 비디오 컨텐트가 생성될 수 있다.
본 발명의 일 실시예에 따른 깊이 조정이 가능한 2차원/3차원 영상 변환 방법은, 입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성하는 단계; 상기 입력 영상의 특징을 분석하고 상기 제 1 깊이 맵의 에러를 예측하는 단계; 상기 입력 영상의 특징 및 상기 예측된 제 1 깊이 맵의 에러에 기초하여 상기 제 1 깊이 맵을 조정하기 위한 파라미터를 결정하는 단계; 상기 결정된 파라미터에 기초하여 상기 제 1 깊이 맵을 조정하여, 상기 입력 영상에 대한 제 2 깊이 맵을 생성하는 단계; 및 상기 제 2 깊이 맵을 이용하여 상기 입력 영상에 대한 스테레오스코픽 영상을 생성하는 단계를 포함한다.
일 실시예에 따른 상기 입력 영상 특징의 분석 및 제 1 깊이 맵 에러 예측 단계는, 상기 입력 영상의 공간적 구조, 시간적 구조 및 시공간적 복잡도 중 적어도 하나를 분석하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 입력 영상 특징의 분석 및 제 1 깊이 맵 에러 예측 단계는, 상기 입력 영상의 특징에 기초하여, 상기 제 1 깊이 맵에서 발생할 수 있는 에러를 예측하는 단계를 포함할 수 있다.
다른 실시예에 따른 상기 입력 영상 특징의 분석 및 상기 제 1 깊이 맵의 에러 예측 단계는, 상기 입력 영상에 대한 깊이 맵 모델을 결정하는 단계; 상기 입력 영상의 특징을 분석하여, 상기 깊이 맵 모델에 대한 상기 입력 영상 간의 유사도를 결정하는 단계; 및 상기 유사도에 기초하여 상기 제 1 깊이 맵의 에러를 예측하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 깊이 조정이 가능한 2차원/3차원 영상 변환 장치는, 입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성하는 제 1 깊이 맵 생성부; 상기 입력 영상의 특징을 분석하고, 상기 제 1 깊이 맵의 에러를 예측하고, 상기 입력 영상의 특징 및 상기 예측된 제 1 깊이 맵의 에러에 기초하여 상기 제 1 깊이 맵을 조정하기 위한 파라미터를 결정하는 영상 특징 분석부; 상기 결정된 파라미터에 기초하여 상기 제 1 깊이 맵을 조정하여, 상기 입력 영상에 대한 제 2 깊이 맵을 생성하는 제 2 깊이 맵 생성부; 및 상기 제 2 깊이 맵을 이용하여 상기 입력 영상에 대한 스테레오스코픽 영상을 생성하여 재생하는 스테레오스코픽 영상 재생부를 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 깊이 조정이 가능한 2차원/3차원 영상 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독이 가능한 기록매체를 포함한다.
도 1 은 일 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 장치의 블록도를 도시한다.
도 2 는 종래 기술에 따른 2차원/3차원 영상 변환 방식의 흐름도를 도시한다.
도 3 및 4 은 각각 일 실시예에 따른 2차원/3차원 영상 변환 장치에서 이용되는 영상 특징 중 공간적 구조를 간략화한 그래프들을 도시한다.
도 5 는 일 실시예에 따른 영상 특징 분석부가 컨트롤 파라미터를 결정하는 방식의 일례를 도시한다.
도 6 는 일 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 방법의 흐름도를 도시한다.
도 2 는 종래 기술에 따른 2차원/3차원 영상 변환 방식의 흐름도를 도시한다.
도 3 및 4 은 각각 일 실시예에 따른 2차원/3차원 영상 변환 장치에서 이용되는 영상 특징 중 공간적 구조를 간략화한 그래프들을 도시한다.
도 5 는 일 실시예에 따른 영상 특징 분석부가 컨트롤 파라미터를 결정하는 방식의 일례를 도시한다.
도 6 는 일 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 방법의 흐름도를 도시한다.
이하 도 1 내지 6을 참조하여, 본 발명의 다양한 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 장치가 상술된다. 이하 본 명세서에서, '영상'은 정지 영상 뿐만 아니라, 비디오와 같은 동영상을 포함한다. 정지 영상은 비디오를 구성하는 다수의 정지 영상들 중 하나일 수 있다.
도 1 은 일 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 장치의 블록도를 도시한다.
일 실시예에 따른 2차원/3차원 영상 변환 장치(100)는, 제 1 깊이 맵 생성부(110), 영상 특징 분석부(120), 제 2 깊이 맵 생성부(130) 및 스테레오스코픽 영상 생성부(140)를 포함한다.
일 실시예에 따른 제 1 깊이 맵 생성부(110)는 2차원 영상을 입력받아, 입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성한다. 제 1 깊이 맵은 2차원 영상에 대해 측정된 원본 깊이 맵일 수 있다.
일 실시예에 따른 영상 특징 분석부(120)는 2차원 영상을 입력받아, 입력 영상의 특징을 분석한다. 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 공간적 구조, 시간적 구조 및 시공간적 복잡도 중 적어도 하나를 분석할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 특징으로서, 입력 영상의 색상 특성, 콘트라스트 특성 및 에지 특성 중 적어도 하나를 추출할 수 있다.
또한 일 실시예에 따른 영상 특징 분석부(120)는, 제 1 깊이 맵의 에러를 예측한다. 일 실시예에 따른 영상 특징 분석부(120)는, 앞서 분석된 입력 영상의 특징에 기초하여 제 1 깊이 맵에서 발생할 수 있는 에러를 예측할 수도 있다.
일 실시예에 따른 영상 특징 분석부(120)가 예측한 제 1 깊이 맵의 에러에 기초하여, 제 1 깊이 맵을 조정하기 위한 방식은, 제 1 깊이 맵을 변형하기 위한 파라미터를 직접 조정하는 제 1 방식과, 깊이 맵 모델과 제 1 깊이 맵을 합성하여 제 1 깊이 맵을 조정하는 제 2 방식을 포함할 수 있다.
먼저 제 1 방식에 따르면, 일 실시예에 따른 영상 특징 분석부(120)는 입력 영상의 특징 및 예측된 제 1 깊이 맵의 에러에 기초하여 제 1 깊이 맵을 조정하기 위한 파라미터를 결정할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 공간적 구조 분석, 시간적 구조 분석 및 시공간적 복잡도 분석 중 적어도 하나에 기초하여 분석적 파라미터를 결정하고, 제 1 깊이 맵의 에러 예측에 기초하여 에러 예측 파라미터를 결정할 수 있다. 여기서 일 실시예에 따른 영상 특징 분석부(120)는, 적어도 하나의 분석적 파라미터 및 에러 예측 파라미터에 기초하여 에러 컨트롤 파라미터를 합성할 수 있다.
또한 일 실시예에 따른 영상 특징 분석부(120)는, 제 1 깊이 맵을 조정하기 위해 설정된 초기 파라미터를 입력받고, 초기 파라미터 및 에러 컨트롤 파라미터를 합성하여, 제 1 깊이 맵을 조정하기 위한 최종 컨트롤 파라미터를 결정할 수 있다. 여기서 일 실시예에 따른 분석적 파라미터, 에러 예측 파라미터, 에러 컨트롤 파라미터 및 최종 컨트롤 파라미터 등의 파라미터를 이용하여, 제 1 깊이 맵의 깊이 값, 영상 초점 및 깊이 범위 중 적어도 하나가 조정될 수 있다.
예를 들어, 일 실시예에 따른 영상 특징 분석부(120)는, 적어도 하나의 분석적 파라미터 및 에러 예측 파라미터에 대한 가중치를 결정할 수 있으며, 가중치를 이용하여 적어도 하나의 분석적 파라미터 및 에러 예측 파라미터에 대한 가중합을 구함으로써 에러 컨트롤 파라미터를 합성할 수 있다.
또한 일 실시예에 따른 영상 특징 분석부(120)는, 제 1 깊이 맵을 조정하기 위해 설정된 초기 파라미터 및 에러 컨트롤 파라미터에 대한 가중치를 결정할 수 있으며, 가중치를 이용하여 파라미터 및 에러 컨트롤 파라미터에 대한 가중합을 구함으로써 최종 컨트롤 파라미터를 합성해낼 수 있다.
일 실시예에 따른 제 2 맵 생성부(130)는, 제 1 깊이 맵 생성부(110)로부터 출력된 제 1 깊이 맵, 및 영상 특징 분석부(120)로부터 출력된 최종 컨트롤 파라미터를 입력받는다. 일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 제 1 깊이 맵과 최종 컨트롤 파라미터를 이용하여 제 1 깊이 맵의 초점 거리, 깊이값, 깊이 범위 등을 조정하여, 입력 영상에 대한 제 2 깊이 맵을 생성한다.
일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 영상 특징 분석부(120)에 의해 결정된 최종 컨트롤 파라미터에 기초하여, 제 1 깊이 맵의 영역별로 깊이 값 자체를 조정할 수 있다. 또한 일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 영상 특징 분석부(120)에 의해 결정된 파라미터에 기초하여, 제 1 깊이 맵의 초점 거리를 조절할 수 있다. 제 1 깊이 맵의 초점 거리의 조절에 따라, 스테레오스코픽 영상의 양시점 영상들의 모든 객체들 및 배경이 함께 동일한 방향으로 깊이가 조정될 수 있다.
일 실시예에 따른 제 2 깊이 맵 생성부(130)는 최종 파라미터에 기초하여, 제 1 깊이 맵의 최고치 및 최저치 간의 깊이 범위를 조정할 수 있다. 예를 들어, 일 실시예에 따른 제 2 깊이 맵 생성부(130)가 제 1 깊이 맵의 최고치 및 최저치 간의 범위인 깊이 범위를 확장시킨다면 스테레오스코픽 영상의 양시점 영상들 간의 깊이 차이가 커지도록 하는 제 2 깊이 맵을 생성할 수 있다. 반대로, 일 실시예에 따른 제 2 깊이 맵 생성부(130)가 제 1 깊이 맵의 범위를 축소시킨다면 양시점 영상들 간의 깊이 차이가 축소되므로, 제 1 깊이 맵에서 발생한 깊이감의 오차를 축소하는 제 2 깊이 맵을 생성할 수 있다.
일 실시예에 따른 영상 특징 분석부(120)가 제 1 깊이 맵을 조정하기 위한 제 2 방식에 따르면, 일 실시예에 따른 영상 특징 분석부(120)는 입력 영상의 특징에 기초하여 깊이 맵 모델을 결정하고, 깊이 맵 모델을 이용하여 제 1 깊이 맵을 조정할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는 입력 영상의 특징을 분석하고, 입력 영상에 대한 깊이 맵 모델을 결정할 수 있다. 또한 일 실시예에 따른 영상 특징 분석부(120)는 제 1 깊이 맵의 특징에 기초하여 깊이 맵 모델을 결정할 수도 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 깊이 맵 모델 및 입력 영상 간의 유사도에 기초한 파라미터를 결정할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는, 복수 개의 깊이 맵 모델들이 포함된 깊이 맵 모델 그룹 중, 복수 개의 깊이 맵 모델들과 입력 영상의 제 1 깊이 맵 간의 유사도를 측정하고, 복수 개의 깊이 맵 모델들 중 유사도가 가장 큰 제 1 깊이 맵 모델을 결정할 수 있으며, 이에 따라 제 1 깊이 맵 모델과 입력 영상의 유사도에 기초한 파라미터를 결정할 수 있다.
일 실시예에 따른 깊이 맵 모델들은, 카메라 방향에 따른 장면 구도, 영상을 구성하는 오브젝트들이 밀집한 정도, 오브젝트들 간의 입체적 구조, 배경의 평탄한 정도, 배경의 z축 방향으로의 경사도 중 적어도 하나를 고려하여 미리 결정된 샘플 영상 군(群)일 수 있다.
일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 제 1 깊이 맵 생성부(110)로부터 출력된 제 1 깊이 맵, 및 영상 특징 분석부(120)로부터 출력된 유사도 파라미터를 입력받는다. 일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 유사도 파라미터를 이용하여 제 1 깊이 맵 및 깊이 맵 모델을 합성하여, 입력 영상에 대한 제 2 깊이 맵을 생성한다.
일 실시예에 따른 영상 특징 분석부(120)는, 유사도 파라미터에 기초하여 깊이 맵 모델 및 제 1 깊이 맵 중 적어도 하나에 대한 가중치를 결정할 수 있다. 이에 따라 일 실시예에 따른 제 2 깊이 맵 생성부(130)는, 영상 특징 분석부(120)에 의해 결정된 가중치에 기초하여 깊이 맵 모델 및 제 1 깊이 맵의 가중합을 수행함으로써 제 2 깊이 맵을 생성할 수 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 깊이 맵 모델 그룹 중 입력 영상과의 유사도가 가장 큰 순서로 소정 개수의 깊이 맵 모델들을 결정할 수 있다. 또한 영상 특징 분석부(120)는, 소정 개수의 깊이 맵 모델들과 입력 영상의 유사도에 기초한 소정 개수의 유사도 파라미터들을 결정할 수 있다. 이에 따라 제 2 깊이 맵 생성부(130)는, 소정 개수의 깊이 맵 모델들을 고려하여 결정된 소정 개수의 유사도 파라미터들에 기초하여 제 1 깊이 맵을 조정하여, 제 2 깊이 맵을 생성할 수도 있다.
예를 들어 일 실시예에 따른 영상 특징 분석부(120)가, 깊이 맵 모델 그룹로부터 입력 영상과 유사한 것으로 선택된 소정 개수의 깊이 맵 모델들에 대해 유사도 파라미터를 결정할 수 있다. 또한, 일 실시예에 따른 영상 특징 분석부(120)는, 선택된 깊이 맵 모델별로, 해당 유사도 파라미터를 고려하여 제 1 깊이 맵과의 가중합을 위한 가중치를 결정할 수 있다. 이에 따라 제 2 깊이 맵 생성부(130)는, 소정 개수의 깊이 맵 모델들에 대한 가중치들을 이용하여, 소정 개수의 깊이 맵 모델들 및 제 1 깊이 맵 간의 가중합을 수행함으로써 제 2 깊이 맵을 생성할 수 있다.
일 실시예에 따른 스테레오스코픽 영상 생성부(140)는, 제 2 깊이 맵 생성부(130)로부터 출력된 제 2 깊이 맵을 입력받아, 제 2 깊이 맵을 이용하여 입력 영상에 대한 스테레오스코픽 영상을 생성할 수 있다 재생한다. 일 실시예에 따른 스테레오스코픽 영상 생성부(140)에 의해 생성된 스테레오스코픽 영상의 좌시점 영상 및 우시점 영상을 이용하여 3차원 비디오가 재생될 수 있다.
이상 전술된 일 실시예에 따른 영상 특징 분석부(120)는, 제 1 깊이 맵을 조절하기 위한 파라미터를 생성하여 제 2 깊이 맵 생성부(130)로 출력한다. 다른 실시예에 따른 영상 특징 분석부(130)는 입력 영상의 특징 및 제 1 깊이 맵의 에러에 기초하여, 깊이 맵을 이용한 렌더링 과정에서 이용되기 위한 파라미터를 생성하여 스테레오스코픽 영상 생성부(140)로 출력할 수도 있다. 또 다른 실시예에 따른 영상 특징 분석부(130)는 입력 영상의 특징에 기초하여 제 1 깊이 맵의 에러를 예측하고, 제 1 깊이 맵 생성부(110)의 깊이 맵 측정 과정에서 깊이 맵을 직접 조정하기 위한 파라미터를 생성하여, 제 1 깊이 맵 생성부(110)로 출력할 수도 있다. 이에 따라 제 1 깊이 생성부(110)는 영상 특징 분석부(130)로부터 입력된 파라미터를 이용하여 입력 영상의 깊이 맵을 측정할 수 있다.
도 2 는 종래 기술에 따른 2차원/3차원 영상 변환 방식의 흐름도를 도시한다.
종래 기술에 따른 2차원/3차원 영상 변환 방식에 따르면, 단계 210에서 입력 영상에 대한 깊이가 측정되어 깊이 맵이 생성된다. 단계 220에서는 깊이 맵을 이용한 깊이 렌더링이 수행되고, 단계 230에서 입력 영상에 대한 스테레오스코픽 영상이 생성되어 좌시점 영상 및 우시점 영상이 출력된다.
실제 영상에서는 영상의 객체 및 배경이 구별되어야 하고, 배경의 경사 및 객체들의 밀집도 등이 일정하지 않으므로, 배경, 객체들의 깊이감이 부정확하게 측정될 수도 있다. 따라서 단계 210에서 입력 영상에 대한 깊이 측정에 따라 생성된 깊이 맵은 오차가 발생할 가능성이 높다. 보다 정확한 깊이 측정을 위해서는 다양한 영상 처리 기법 또는 컴퓨터 비전 기법을 이용하여 프레임별로 깊이가 조정될 수도 있지만, 입력 영상에 대한 정확한 깊이 측정을 위한 영상 처리 기법 및 컴퓨터 비전 기법들은 일반적으로 연산 복잡도가 높기 때문에 2차원 비디오 및 3차원 비디오의 실시간 변환이 불가능하다.
부정확하게 측정된 깊이 맵을 이용한 깊이 렌더링을 통해 생성된 스테레오스코픽 영상이 재생된다면, 사용자는 3차원 비디오의 부적절한 입체효과 때문에 불편함을 느끼고 쉽게 피로할 수 있다.
도 3 및 4 은 각각 일 실시예에 따른 2차원/3차원 영상 변환 장치에서 이용되는 영상 특징 중 공간적 구조를 간략화한 그래프들을 도시한다.
도 3의 그래프(300)는 디스플레이 화면의 세로축을 따라 경사가 없는 화면을 도시하며, 도 4의 그래프(400)는 디스플레이 화면의 세로축을 따라 아래에서 위로 올라갈수록 Z-방향으로 경사가 깊어지는 화면을 도시한다. 예를 들어, 홈쇼핑 광고 장면과 같이 좁고 가까운 영역에 위치한 대상들만이 촬영된 장면의 공간적 구조는 그래프(300)와 같이 구성될 수 있다. 예를 들어, 축구 경기 또는 풍경 장면과 같이 넓고 멀리 있는 대상이 촬영된 장면의 공간적 구조는 그래프(400)와 같이 구성될 수 있다.
일 실시예에 따른 영상 특징 분석부(120)가 제 1 깊이 맵을 변형하기 위한 파라미터를 직접 조정하는 제 1 방식에 따르는 경우, 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 기하학적 특성에 따른 입력 영상의 공간적 구조가 그래프(300)와 같은 경사 없이 평탄한 구조 또는 그래프(400)와 같이 경사진 구조를 따르는지 분석하여, 입력 영상의 공간적 구조를 분류할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는, 공간적 구조에 기초하는 분석적 파라미터를 결정할 수 있다.
또한 일 실시예에 따른 영상 특징 분석부(120)는 제 1 깊이 맵의 에러 예측 모델을 결정하기 위해 입력 영상의 공간적 구조를 참조할 수도 있다. 예를 들어, 입력 영상의 공간적 구조를 분석함에 따라 그래프(300)와 같이 경사가 없는 구조임이 식별된다면, 입력 영상에 대해 예측되는 깊이 맵은 화면의 세로축을 따라 깊이 차이가 거의 발생하지 않는 형태이다. 유사하게 입력 영상의 공간적 구조가 그래프(400)와 같이 경사가 있는 구조로 분석된다면, 입력 영사에 대해 예측되는 깊이 맵은 디스플레이 화면의 세로축을 따라 아래에서 위로 올라갈수록 Z-방향으로 깊이가 깊어지는 형태일 수 있다.
이와 같이 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 공간적 구조를 고려하여 분석적 파라미터 및 제 1 깊이 맵의 에러 예측 파라미터를 결정할 수 있다. 이외에도, 일 실시예에 따른 영상 특징 분석부(120)는, 시간적 구조 및 시공간적 복잡도를 고려한 분석적 파라미터를 더 결정할 수 있다. 각종 분석적 파라미터 및 에러 예측 파라미터에 기초하여 입력 영상에 대해 측정된 원본 깊이 맵을 조절하기 위한 에러 컨트롤 파라미터이 결정될 수 있다. 일 실시예에 따른 제 2 깊이 맵 생성부(130)는 제 1 깊이 맵을 에러 컨트롤 파라미터를 이용하여 조정함으로써 제 2 깊이 맵을 생성할 수 있다.
또한, 일 실시예에 따른 영상 특징 분석부(120)는, 영상의 공간적 구조, 시간적 구조 및 시공간적 복잡도 중 적어도 하나에 따라 다양한 종류의 깊이 맵 모델을 저장해놓을 수 있다. 즉, 그래프(300)의 경사 없이 평탄한 깊이 맵 및 그래프(400)의 경사진 깊이 맵과 같은 여러 가지 영상 특징에 따라 분류된 깊이 맵 모델들이 일 실시예에 따른 영상 특징 분석부(120)의 데이터베이스에 저장될 수 있다.
또한 일 실시예에 따른 영상 특징 분석부(120)가 깊이 맵 모델과 제 1 깊이 맵을 합성하여 조정된 제 2 깊이 맵을 생성하는 제 2 방식에 따르는 경우, 영상 특징 분석부(120)는, 제 1 깊이 맵 생성부(110)로부터 입력된 제 1 깊이 맵과 데이터베이스에 저장된 깊이 맵 모델들을 비교하여, 제 1 깊이 맵의 깊이 맵 모델을 분류(classification)하고 식별(identification)할 수 있다. 예를 들어, 입력 영상이 축구 경기의 비디오 컨텐트라면, 입력 영상에 대한 깊이 맵 모델은 그래프(400)의 깊이 맵 모델로 식별될 수 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 깊이 맵 모델과 제 1 깊이 맵의 유사도를 고려하여 깊이 맵 모델과 제 1 깊이 맵 간의 가중치를 결정하고, 일 실시예에 따른 제 2 깊이 맵 생성부(130)는 상기 결정된 가중치를 이용한 깊이 맵 모델과 제 1 깊이 맵 간의 가중합을 통해 제 2 깊이 맵을 생성할 수 있다.
도 5 는 일 실시예에 따른 영상 특징 분석부(120)가 컨트롤 파라미터를 결정하는 방식의 일례를 도시한다.
일 실시예에 따른 영상 특징 분석부(120)가 제 1 깊이 맵을 직접 변형하기 위한 파라미터를 조정하는 제 1 방식에 따르는 경우, 입력 영상의 특징 파라미터를 이용하여, 제 1 깊이 맵을 조정하기 위한 컨트롤 파라미터를 결정할 수 있다. 이 때 입력 영상의 특징 파라미터는 입력 영상에 대한 직접적인 영상 처리를 수행하는 독립적 디지털 이미지 프로세서를 통해 획득될 수 있다. 또는, 3차원 TV와 같은 디스플레이 장치에서 비디오 디스플레이를 위해 각종 전처리(pre-processing)를 수행하는 전처리부에서 획득된 특징 파라미터가 공유될 수 있다. 또는 일 실시예에 따른 특징 파라미터는, 디스플레이 장치의 중앙 프로세서(Central Processing Unit; CPU) 또는 그래픽 프로세서(Graphic Processing Unit; GPU)과 같은 공용 프로세서가 획득한 파라미터, 외부 센서를 통해 감지된 파라미터, 외부 장치를 통해 수동적으로 입력된 각종 파라미터가 이용될 수도 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 특징 파라미터를 이용하여, 입력 영상의 각종 특징 및 예측된 제 1 깊이 맵의 에러에 기초하여 제 1 깊이 맵을 조정하기 위한 파라미터를 결정할 수 있다. 일 실시예에 따른 영상 특징 분석부(120)는, 입력 영상의 공간적 구조 분석 과정(s510)을 통해 공간적 구조에 기초한 제 1 파라미터를 결정할 수 있다(s515). 예를 들어 일 실시예에 따른 공간적 구조 분석 과정(s510)은, 입력 영상의 기하학적 모델을 결정할 수 있다. 장면 구조의 전역적인 기하학적 모델(global geometric model)의 예는, 클로즈업, 미드 샷(mid shot), 롱 샷(long shot), 익스트림 와이드 샷(extreme wide shot) 등을 포함할 수 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 시간적 구조 분석 과정(s520)을 통해 시간적 구조에 기초한 제 2 파라미터를 결정할 수 있다(s525). 예를 들어 일 실시예에 따른 시간적 구조 분석 과정(s520)은, 입력 영상의 모션 모델(motion model)을 결정할 수 있다. 모션 모델의 예는, 스태틱(static), 패닝(panning), 주밍(zooming) 모델 등을 포함할 수 있다.
일 실시예에 따른 영상 특징 분석부(120)는, 시공간적 복잡도 분석 과정(s530)을 통해 제 3 파라미터를 결정할 수 있다(s535). 일반적으로 시공간적 복잡도가 높아질수록 3차원 효과는 약화된다.
또한, 제 1 깊이 맵의 에러 예측 과정(s540)을 통해 에러 예측 파라미터인 제 4 파라미터를 결정할 수 있다(s545).
일 실시예에 따른 영상 특징 분석부(120)는, 적어도 하나의 분석적 파라미터 및 에러 예측 파라미터에 대한 가중치를 결정할 수 있다. 예를 들어, 공간적 구조 분석 과정(s510)의 결과와 시간적 구조 분석 과정(s520)의 결과 간의 조절을 위한 가중합을 위해, 제 1 파라미터를 위한 가중치 w1 및 제 2 파라미터를 위한 가중치 1-w1이 결정될 수 있다. 또한, 공간적 구조 분석 과정(s510) 및 시간적 구조 분석 과정(s520)에 따른 결과와 시공간적 복잡도 분석 과정(s530)의 결과 간의 조절을 위한 가중합을 위해, 제 1 파라미터 및 제 2 파라미터의 가중합 결과를 위한 가중치 w2 및 제 3 파라미터를 위한 가중치 1-w2이 결정될 수 있다.
또한, 공간적 구조 분석 과정(s510), 시간적 구조 분석 과정(s520) 및 시공간적 복잡도 분석 과정(s530)의 가중합 결과와 제 1 깊이 맵의 에러 예측 과정(s540)에 따른 결과 간의 조절을 위한 가중합을 위해, 제 1 파라미터, 제 2 파라미터 및 제 3 파라미터의 가중합 결과를 위한 가중치 w3, 및 제 4 파라미터를 위한 가중치 1-w3이 결정될 수 있다. 최종적으로 제 1 파라미터, 제 2 파라미터 및 제 3 파라미터의 가중합 결과를 위한 가중치 w3, 및 제 4 파라미터를 위한 가중치 1-w3에 따른 가중합을 통해, 에러 컨트롤 파라미터가 결정될 수 있다.
일 실시예에 따른 분석적 파라미터 및 에러 예측 파라미터에 대한 가중치 w1, w2, w3는 0에 가까울수록 에러 컨트롤 파라미터를 결정하기 위한 해당 파라미터의 기여도(contribution)가 감소하며, 1에 가까울수록 기여도가 증가할 수 있다. 예를 들어, 소정 분석적 파라미터 또는 에러 예측 파라미터에 대한 가중치가 0이라면 해당 파라미터의 특징 또는 에러 예측에 대한 고려 없이 제 1 깊이 맵이 조정되며, 가중치가 1이라면 해당 파라미터의 특징 또는 에러 예측만을 고려하여 제 1 깊이 맵이 조정될 수 있다.
이렇게 결정된 에러 컨트롤 파라미터는 아래 관계식 (1)에 따라 이용될 수 있다.
관계식 (1) : P' = k?Pi + (1-k)?Pc
Pi는 초기에 설정된 초기 컨트롤 파라미터, Pc는 에러 컨트롤 파라미터, k는 가중치를 나타낸다. 가중치 k는 임의로 설정될 수 있으나, 에러 컨트롤 파라미터 Pc의 결정 방식과 같이 프레임별로 영상 특징에 기초하여 결정될 수도 있다. 입력 영상의 장면 분석 및 에러 분석에 기초하여 결정된 에러 컨트롤 파라미터 Pc에 의해, 관계식 (1)에 따라 출력된 최종 컨트롤 파라미터 P'는 입력 영상의 영상 특징 및 깊이 맵의 에러를 고려하여 제 1 깊이 맵을 조정하도록 결정될 수 있다. 일 실시예에 따른 제 2 깊이 맵 생성부(130)는 최종 컨트롤 파라미터 P'를 이용하여 제 1 깊이 맵을 조정함으로써 제 1 깊이 맵의 에러를 최소화하는 제 2 깊이 맵을 생성할 수 있다.
도 6 는 일 실시예에 따라 깊이 조정이 가능한 2차원/3차원 영상 변환 방법의 흐름도를 도시한다.
단계 610에서, 2차원 비디오가 입력되고, 입력 영상의 깊이 정보가 측정되어 제 1 깊이 맵이 생성된다. 입력 영상은 복잡한 공간적 구조, 시간적 구조로 구성되어 있으므로, 직접 측정된 깊이 정보는 부정확할 가능성이 높다.
단계 620에서, 입력 영상의 특징이 분석되고, 제 1 깊이 맵의 에러가 예측된다. 입력 영상에 대한 장면 구도와 같은 공간적 구조, 모션 모델과 같은 시간적 구조, 시공간적 복잡도 등의 영상 특징이 분석될 수 있다. 또한 입력 영상의 영상 특징에 기초하여, 해당 영상이 가질 수 있는 깊이 맵의 에러가 예측될 수 있다.
단계 630에서, 입력 영상의 특징 분석 및 제 1 깊이 맵의 에러 예측에 기초하여, 제 1 깊이 맵 조정을 위한 파라미터가 결정된다. 일 실시예에 따르면 제 1 깊이 맵을 조정하는 파라미터가 조절될 수 있다. 다른 실시예에 따르면 제 1 깊이 맵에 대한 깊이 맵 모델이 결정되고, 깊이 맵 모델과 제 1 깊이 맵을 합성하기 위한 파라미터가 조절될 수도 있다.
단계 640에서, 단계 630에서 결정된 파라미터에 기초하여 제 1 깊이 맵을 조정하여 입력 영상에 대한 제 2 깊이 맵이 생성된다. 단계 630에서 제 1 깊이 맵을 조정하는 컨트롤 파라미터가 결정된 경우, 컨트롤 파라미터를 이용하여 제 2 깊이 맵이 생성될 수 있다. 단계 630에서 제 1 깊이 맵에 대한 깊이 맵 모델이 결정되고, 깊이 맵 모델과 제 1 깊이 맵을 합성하기 위한 가중치가 결정된 경우, 가중치를 적용한 깊이 맵 모델과 제 1 깊이 맵의 합성을 통해 제 2 깊이 맵이 생성될 수 있다.
단계 650에서, 단계 640에서 생성된 제 2 깊이 맵을 이용하여 입력 영상에 대한 스테레오스코픽 영상이 생성된다. 일 실시예에 따르면 입력 영상 및 제 2 깊이 맵을 이용하여, 입력 영상의 공간적 구조, 시간적 구조, 시공간적 복잡도 등의 영상 특징 및 직접 측정한 깊이 맵의 예측 에러를 고려하여 깊이 정보가 렌더링됨으로써, 좌시점 영상 및 우시점 영상이 생성될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (20)
- 입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성하는 단계;
상기 입력 영상의 특징을 분석하고 상기 제 1 깊이 맵의 에러를 예측하는 단계;
상기 입력 영상의 특징 및 상기 예측된 제 1 깊이 맵의 에러에 기초하여 상기 제 1 깊이 맵을 조정하기 위한 파라미터를 결정하는 단계;
상기 결정된 파라미터에 기초하여 상기 제 1 깊이 맵을 조정하여, 상기 입력 영상에 대한 제 2 깊이 맵을 생성하는 단계; 및
상기 제 2 깊이 맵을 이용하여 상기 입력 영상에 대한 스테레오스코픽 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 1 항에 있어서, 상기 입력 영상 특징의 분석 및 제 1 깊이 맵 에러 예측 단계는,
상기 입력 영상의 공간적 구조, 시간적 구조 및 시공간적 복잡도 중 적어도 하나를 분석하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 1 항에 있어서, 상기 입력 영상 특징의 분석 및 제 1 깊이 맵 에러 예측 단계는,
상기 입력 영상의 색상 특성, 콘트라스트 특 및 에지 특성 중 적어도 하나를 분석하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 1 항에 있어서, 상기 상기 입력 영상 특징의 분석 및 제 1 깊이 맵 에러 예측 단계는,
상기 입력 영상의 특징에 기초하여, 상기 제 1 깊이 맵에서 발생할 수 있는 에러를 예측하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 2 항에 있어서, 상기 제 1 깊이 맵을 조정하기 위한 파라미터 결정 단계는,
상기 입력 영상의 공간적 구조 분석, 시간적 구조 분석 및 시공간적 복잡도 분석 중 적어도 하나에 기초하여 분석적 파라미터를 결정하는 단계;
상기 제 1 깊이 맵의 에러 예측에 기초하여 에러 예측 파라미터를 결정하는 단계; 및
상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 기초하여 에러 컨트롤 파라미터를 합성하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 5 항에 있어서, 상기 제 1 깊이 맵을 조정하기 위한 파라미터 결정 단계는,
상기 제 1 깊이 맵의 특성에 기초한 초기 파라미터 및 상기 에러 컨트롤 파라미터를 합성하여, 상기 제 1 깊이 맵을 조절하기 위한 최종 컨트롤 파라미터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 6 항에 있어서,
상기 분석적 파라미터, 상기 에러 예측 파라미터, 상기 에러 컨트롤 파라미터 및 상기 최종 컨트롤 파라미터 중 적어도 하나를 포함하는 컨트롤 파라미터는, 상기 제 1 깊이 맵의 깊이 값, 영상 초점 및 깊이 범위 중 적어도 하나를 조절하기 위한 값인 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 5 항에 있어서, 상기 에러 컨트롤 파라미터 합성 단계는,
상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 대한 가중치를 결정하는 단계; 및
상기 가중치를 이용한 상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 대한 가중합에 의해 상기 에러 컨트롤 파라미터를 합성하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 6 항에 있어서, 상기 최종 컨트롤 파라미터 결정 단계는,
상기 초기 파라미터 및 상기 에러 컨트롤 파라미터에 대한 가중치를 결정하는 단계;
상기 가중치를 이용한 상기 초기 파라미터 및 상기 에러 컨트롤 파라미터에 대한 가중합에 의해 상기 최종 컨트롤 파라미터를 합성하는 단계를 더 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 1 항에 있어서, 상기 입력 영상 특징의 분석 및 상기 제 1 깊이 맵의 에러 예측 단계는,
상기 입력 영상에 대한 깊이 맵 모델을 결정하는 단계;
상기 입력 영상의 특징을 분석하여, 상기 깊이 맵 모델에 대한 상기 입력 영상 간의 유사도를 결정하는 단계; 및
상기 유사도에 기초하여 상기 제 1 깊이 맵의 에러를 예측하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 10 항에 있어서, 상기 유사도 결정 단계는,
복수 개의 깊이 맵 모델들이 포함된 깊이 맵 모델 그룹 중, 상기 복수 개의 깊이 맵 모델들과 상기 입력 영상의 제 1 깊이 맵 간의 유사도를 측정하여, 상기 측정된 유사도가 가장 큰 제 1 깊이 맵 모델을 결정하는 단계; 및
상기 제 1 깊이 맵 모델에 대한 상기 입력 영상의 유사도에 기초하여 상기 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 10 항에 있어서,
상기 입력 영상 특징의 분석 및 상기 제 1 깊이 맵의 에러 예측 단계는, 상기 결정된 파라미터에 기초하여, 상기 깊이 맵 모델 및 상기 제 1 깊이 맵 중 적어도 하나에 대한 가중치를 결정하는 단계를 더 포함하고,
상기 제 2 깊이 맵 생성 단계는, 상기 결정된 가중치에 기초하여 상기 깊이 맵 모델 및 상기 제 1 깊이 맵의 가중합을 수행함으로써 상기 제 2 깊이 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 제 10 항에 있어서,
상기 입력 영상 특징의 분석 및 상기 제 1 깊이 맵의 에러 예측 단계는,
복수 개의 깊이 맵 모델들이 포함된 깊이 맵 모델 그룹 중, 상기 복수 개의 깊이 맵 모델들과 상기 입력 영상의 제 1 깊이 맵 간의 유사도를 측정하여, 상기 측정된 유사도가 가장 큰 순서로 소정 개수의 깊이 맵 모델들을 결정하는 단계; 및
상기 결정된 소정 개수의 깊이 맵 모델들과 상기 입력 영상의 유사도에 기초한 상기 소정 개수의 파라미터들을 결정하는 단계를 포함하고,
상기 제 2 깊이 맵 생성 단계는,
상기 결정된 소정 개수의 깊이 맵 모델들을 고려하여 결정된 소정 개수의 파라미터들에 기초하여 상기 제 1 깊이 맵을 조정하여, 상기 제 2 깊이 맵을 생성하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 방법. - 2차원/3차원 영상 변환 장치에 있어서,
입력 영상의 깊이 정보를 측정하여 제 1 깊이 맵을 생성하는 제 1 깊이 맵 생성부;
상기 입력 영상의 특징을 분석하고, 상기 제 1 깊이 맵의 에러를 예측하고, 상기 입력 영상의 특징 및 상기 예측된 제 1 깊이 맵의 에러에 기초하여 상기 제 1 깊이 맵을 조정하기 위한 파라미터를 결정하는 영상 특징 분석부;
상기 결정된 파라미터에 기초하여 상기 제 1 깊이 맵을 조정하여, 상기 입력 영상에 대한 제 2 깊이 맵을 생성하는 제 2 깊이 맵 생성부; 및
상기 제 2 깊이 맵을 이용하여 상기 입력 영상에 대한 스테레오스코픽 영상을 생성하여 재생하는 스테레오스코픽 영상 재생부를 포함하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 14 항에 있어서, 상기 영상 특징 분석부는,
상기 입력 영상의 공간적 구조, 시간적 구조 및 시공간적 복잡도 중 적어도 하나를 분석하고,
상기 입력 영상의 특징에 기초하여, 상기 제 1 깊이 맵에서 발생할 수 있는 에러를 예측하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 15 항에 있어서, 상기 영상 특징 분석부는,
상기 입력 영상의 공간적 구조 분석, 시간적 구조 분석 및 시공간적 복잡도 분석 중 적어도 하나에 기초하여 분석적 파라미터를 결정하고,
상기 제 1 깊이 맵의 에러 예측에 기초하여 에러 예측 파라미터를 결정하고,
상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 기초하여 에러 컨트롤 파라미터를 합성하고,
상기 제 1 깊이 맵의 특성에 기초한 초기 파라미터 및 상기 에러 컨트롤 파라미터를 합성하여, 상기 제 1 깊이 맵을 조절하기 위한 최종 컨트롤 파라미터를 결정하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 16 항에 있어서, 상기 영상 특징 분석부는,
상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 대한 가중치를 결정하고, 상기 가중치를 이용한 상기 적어도 하나의 분석적 파라미터 및 상기 에러 예측 파라미터에 대한 가중합에 의해 상기 에러 컨트롤 파라미터를 합성하고,
상기 초기 파라미터 및 상기 에러 컨트롤 파라미터에 대한 가중치를 결정하고, 상기 가중치를 이용한 상기 초기 파라미터 및 상기 에러 컨트롤 파라미터에 대한 가중합에 의해 상기 최종 컨트롤 파라미터를 합성하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 1 항에 있어서, 상기 영상 특징 분석부는,
상기 입력 영상에 대한 깊이 맵 모델을 결정하고,
상기 입력 영상의 특징을 분석하여, 상기 깊이 맵 모델에 대한 상기 입력 영상 간의 유사도를 결정하며,
상기 유사도에 기초하여 상기 제 1 깊이 맵의 에러를 예측하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 18 항에 있어서,
상기 영상 특징 분석부는, 복수 개의 깊이 맵 모델들이 포함된 깊이 맵 모델 그룹 중, 상기 복수 개의 깊이 맵 모델들과 상기 입력 영상의 제 1 깊이 맵 간의 유사도를 측정하여 상기 측정된 유사도가 가장 큰 제 1 깊이 맵 모델을 결정하고, 상기 제 1 깊이 맵 모델에 대한 상기 입력 영상의 유사도에 기초하여 상기 파라미터를 결정하는 것을 특징으로 하고,
상기 제 2 깊이 맵 생성부는, 상기 결정된 파라미터에 기초하여 제 1 깊이 맵 모델 및 상기 제 1 깊이 맵에 대한 가중치를 결정하고, 상기 가중치를 이용하여 상기 깊이 맵 모델 및 상기 제 1 깊이 맵의 가중합을 수행함으로써 상기 제 2 깊이 맵을 생성하는 것을 특징으로 하는 깊이 조정이 가능한 2차원/3차원 영상 변환 장치. - 제 1 항 내지 제 13 항 중 어느 한 항의 깊이 조정이 가능한 2차원/3차원 영상 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독이 가능한 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100086582A KR20120023431A (ko) | 2010-09-03 | 2010-09-03 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
| US13/225,001 US9300940B2 (en) | 2010-09-03 | 2011-09-02 | Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100086582A KR20120023431A (ko) | 2010-09-03 | 2010-09-03 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120023431A true KR20120023431A (ko) | 2012-03-13 |
Family
ID=45770426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100086582A KR20120023431A (ko) | 2010-09-03 | 2010-09-03 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9300940B2 (ko) |
| KR (1) | KR20120023431A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013151270A1 (en) * | 2012-04-03 | 2013-10-10 | Samsung Techwin Co., Ltd | Apparatus and method for reconstructing high density three-dimensional image |
| WO2014065635A1 (ko) * | 2012-10-25 | 2014-05-01 | 엘지전자 주식회사 | 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 |
| KR20150070262A (ko) * | 2012-10-11 | 2015-06-24 | 울트라-디 코퍼라티에프 유.에이. | 3d 이미지에서 이미지 오버레이의 깊이 조절 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085950A2 (en) * | 2006-01-27 | 2007-08-02 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| EP2033164B1 (en) | 2006-06-23 | 2015-10-07 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| US8405742B2 (en) * | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
| US20110292044A1 (en) * | 2009-02-13 | 2011-12-01 | Kim Woo-Shik | Depth map coding using video information |
| US8553972B2 (en) * | 2009-07-06 | 2013-10-08 | Samsung Electronics Co., Ltd. | Apparatus, method and computer-readable medium generating depth map |
| CN102713512B (zh) * | 2010-11-17 | 2015-06-03 | 松下电器产业株式会社 | 摄像装置以及距离测量方法 |
| US8406548B2 (en) * | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
| JP5337218B2 (ja) * | 2011-09-22 | 2013-11-06 | 株式会社東芝 | 立体画像変換装置、立体画像出力装置および立体画像変換方法 |
| WO2013159300A1 (en) * | 2012-04-25 | 2013-10-31 | Nokia Corporation | An apparatus, a method and a computer program for video coding and decoding |
| US9129436B2 (en) | 2012-08-01 | 2015-09-08 | Dreamworks Animation Llc | Techniques for smoothing scripted stereo curves for stereoscopic computer animation |
| US9237263B2 (en) * | 2012-10-05 | 2016-01-12 | Vidinoti Sa | Annotation method and apparatus |
| EP2959684A4 (en) | 2013-02-20 | 2016-11-09 | Intel Corp | REAL-TIME AUTOMATIC CONVERSION OF IMAGES OR TWO-DIMENSIONAL VIDEO TO OBTAIN STEREO IMAGES OR VIDEO IN THREE DIMENSIONS |
| JP6245885B2 (ja) * | 2013-08-02 | 2017-12-13 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US9229674B2 (en) | 2014-01-31 | 2016-01-05 | Ebay Inc. | 3D printing: marketplace with federated access to printers |
| US20160167307A1 (en) * | 2014-12-16 | 2016-06-16 | Ebay Inc. | Systems and methods for 3d digital printing |
| US9595037B2 (en) | 2014-12-16 | 2017-03-14 | Ebay Inc. | Digital rights and integrity management in three-dimensional (3D) printing |
| WO2016130997A1 (en) * | 2015-02-12 | 2016-08-18 | Nextvr Inc. | Methods and apparatus for making environmental measurements and/or using such measurements |
| EP3413267B1 (en) * | 2016-02-05 | 2023-06-28 | Ricoh Company, Ltd. | Object detection device, device control system, objection detection method, and program |
| CN115118950B (zh) * | 2021-03-22 | 2024-01-30 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| DE102005034597A1 (de) * | 2005-07-25 | 2007-02-08 | Robert Bosch Gmbh | Verfahren und Anordnung zur Erzeugung einer Tiefenkarte |
| EP2033164B1 (en) * | 2006-06-23 | 2015-10-07 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
| CN101925925B (zh) * | 2008-01-21 | 2013-05-01 | 艾利森电话股份有限公司 | 基于预测的图像处理 |
| KR101506926B1 (ko) * | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 |
| US8878912B2 (en) * | 2009-08-06 | 2014-11-04 | Qualcomm Incorporated | Encapsulating three-dimensional video data in accordance with transport protocols |
| US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
| US8610758B2 (en) * | 2009-12-15 | 2013-12-17 | Himax Technologies Limited | Depth map generation for a video conversion system |
| US20110169818A1 (en) * | 2010-01-13 | 2011-07-14 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort |
| US8848038B2 (en) * | 2010-07-09 | 2014-09-30 | Lg Electronics Inc. | Method and device for converting 3D images |
| US8718356B2 (en) * | 2010-08-23 | 2014-05-06 | Texas Instruments Incorporated | Method and apparatus for 2D to 3D conversion using scene classification and face detection |
| US20120274626A1 (en) * | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
| US9007435B2 (en) * | 2011-05-17 | 2015-04-14 | Himax Technologies Limited | Real-time depth-aware image enhancement system |
| US20130070049A1 (en) * | 2011-09-15 | 2013-03-21 | Broadcom Corporation | System and method for converting two dimensional to three dimensional video |
-
2010
- 2010-09-03 KR KR1020100086582A patent/KR20120023431A/ko not_active Application Discontinuation
-
2011
- 2011-09-02 US US13/225,001 patent/US9300940B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013151270A1 (en) * | 2012-04-03 | 2013-10-10 | Samsung Techwin Co., Ltd | Apparatus and method for reconstructing high density three-dimensional image |
| KR20150070262A (ko) * | 2012-10-11 | 2015-06-24 | 울트라-디 코퍼라티에프 유.에이. | 3d 이미지에서 이미지 오버레이의 깊이 조절 |
| WO2014065635A1 (ko) * | 2012-10-25 | 2014-05-01 | 엘지전자 주식회사 | 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 |
| US9578300B2 (en) | 2012-10-25 | 2017-02-21 | Lg Electronics Inc. | Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service |
Also Published As
| Publication number | Publication date |
|---|---|
| US9300940B2 (en) | 2016-03-29 |
| US20120056984A1 (en) | 2012-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120023431A (ko) | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 | |
| US11470303B1 (en) | Two dimensional to three dimensional moving image converter | |
| Alexiou et al. | Towards subjective quality assessment of point cloud imaging in augmented reality | |
| US9185388B2 (en) | Methods, systems, and computer program products for creating three-dimensional video sequences | |
| JP6669063B2 (ja) | 画像処理装置および方法 | |
| US9299152B2 (en) | Systems and methods for image depth map generation | |
| US9269153B2 (en) | Spatio-temporal confidence maps | |
| US9530192B2 (en) | Method for determining stereo quality score and automatically improving the quality of stereo images | |
| JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| US20110069224A1 (en) | System and method for art-directable retargeting for streaming video | |
| JP4892113B2 (ja) | 画像処理方法及び装置 | |
| JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
| KR101105359B1 (ko) | 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치 | |
| JP2022548853A (ja) | シーンの画像キャプチャの品質を評価するための装置及び方法 | |
| KR20100084075A (ko) | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 | |
| JP5907368B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN116980579A (zh) | 一种基于图像虚化的图像立体成像方法及相关装置 | |
| US20220245885A1 (en) | Volumetric Imaging | |
| JP2008140297A (ja) | 動画像生成方法及びシステム | |
| KR20100036683A (ko) | 영상 출력 방법 및 장치 | |
| JP6632134B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
| Kong et al. | A novel fusion approach of multi-exposure image | |
| Huy et al. | Simulated Gaze Tracking using Computer Vision for Virtual Reality | |
| KR102130902B1 (ko) | 360도 영상을 2d 영상으로 변환하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |