KR101506926B1 - 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 - Google Patents

깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR101506926B1
KR101506926B1 KR1020080122655A KR20080122655A KR101506926B1 KR 101506926 B1 KR101506926 B1 KR 101506926B1 KR 1020080122655 A KR1020080122655 A KR 1020080122655A KR 20080122655 A KR20080122655 A KR 20080122655A KR 101506926 B1 KR101506926 B1 KR 101506926B1
Authority
KR
South Korea
Prior art keywords
depth
input image
depth value
characteristic information
value
Prior art date
Application number
KR1020080122655A
Other languages
English (en)
Other versions
KR20100064196A (ko
Inventor
백아론
정용주
김지원
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080122655A priority Critical patent/KR101506926B1/ko
Priority to US12/458,559 priority patent/US9137512B2/en
Priority to EP20090175537 priority patent/EP2194726A1/en
Priority to JP2009273702A priority patent/JP5579422B2/ja
Priority to CN200910252846.3A priority patent/CN101754040B/zh
Publication of KR20100064196A publication Critical patent/KR20100064196A/ko
Priority to US13/725,710 priority patent/US20130235153A1/en
Application granted granted Critical
Publication of KR101506926B1 publication Critical patent/KR101506926B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

입력 영상에 대한 특성(feature) 정보를 추출하고, 상기 추출된 특성 정보를 이용하여 상기 입력 영상에 대한 깊이(depth) 값을 추정하는 깊이 추정 장치가 개시된다.
Figure R1020080122655
2D, 3D, 변환, 깊이, 깊이 맵, 단안 영상, 필터링

Description

깊이 추정 장치 및 방법, 및 3Ｄ 영상 변환 장치 및 방법{METHOD AND APPRATUS FOR ESTIMATING DEPTH, AND METHOD AND APPARATUS FOR CONVERTING 2D VIDEO TO 3D VIDEO}
깊이 추정 장치 및 방법과 3D 영상 변환 장치 및 방법이 개시된다. 특히, 깊이 정보가 포함되어 있지 않은 2D의 단안 영상을 3D 영상(Stereoscopic Video)으로 변환할 때, 필요한 깊이 정보를 제공할 수 있는 깊이 추정 장치 및 방법과 상기 깊이 추정 장치 및 방법을 이용한 3D 영상 변환 장치 및 방법이 개시된다.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양 안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.
본 발명의 일실시예에 따른 깊이 추정 장치는 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부 및 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 깊이 설정부를 포함한다.
또한, 본 발명의 일실시예에 따른 3D 영상 변환 장치는 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부, 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 깊이 설정부 및 상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링(rendering)하는 렌더링부를 포함한다.
또한, 본 발명의 일실시예에 따른 깊이 추정 방법은 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 단계 및 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 3D 영상 변환 방법은 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 단계, 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 단계 및 상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링(rendering)하는 단계를 포함한다.
입력 영상에 대한 적어도 하나의 특성(feature)을 고려하여 입력 영상을 3D 영상(Stereoscopic Video)으로 변환하는데 필요한 깊이를 추정하는 장치 및 방법과 이를 이용하여 입력 영상을 3D 영상으로 변환하는 장치 및 방법을 제공함으로써, 2D 영상이 3D 영상으로 변환되도록 할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 깊이 추정 장치(120)가 도시되어 있다.
깊이 추정 장치(120)는 특성(feature) 정보 추출부(121) 및 깊이 설정부(122)를 포함할 수 있다.
깊이 추정 장치(120)에 입력 영상(110)이 입력되면, 특성 정보 추출부(121)는 입력 영상(110)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(122)로 제공한다.
본 발명의 일실시예에 따르면, 입력 영상(110)은 단안(monocular) 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 특성 정보 추출부(121)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.
깊이 설정부(122)는 특성 정보 추출부(121)에서 제공되는 적어도 하나의 특성 정보를 기초로 입력 영상(110)에 대한 깊이(depth) 값을 설정한다.
결국, 본 일실시예에 따른 깊이 추정 장치(120)는 입력 영상(110)의 특성 정보를 바탕으로 입력 영상(110)에 대한 깊이 값을 설정함으로써, 2D의 입력 영상(110)을 3D 영상(Stereoscopic Video)으로 변환 할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(120)는 도 1에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 2 내지 도 4를 참조하여 깊이 추정 장치(120)의 다양한 실시예에 대해 살펴보기로 한다.
도 2은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 깊이 추정 장치(220)가 도시되어 있다.
깊이 추정 장치(220)는 특성 정보 추출부(223) 및 깊이 설정부(226)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(226)는 깊이 맵(depth map) 초기화부(222) 및 깊이 갱신부(225)를 포함할 수 있다.
깊이 추정 장치(220)에 입력 영상(210)이 입력되면, 깊이 맵 초기화부(222)는 입력 영상(210)을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(224)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(210)은 단안 영상일 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 입력 영 상(210) 시퀀스(sequence)의 각 프레임(frame) 마다 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 초기 깊이 값을 하기의 수학식 1을 이용하여 설정할 수 있다.
Figure 112008083771468-pat00001
여기서, x와 y는 입력 영상(210)을 구성하는 이미지 좌표를 의미하고, z는 깊이 값을 의미한다. 이때, z는 입력 영상(210)에 표현되는 피사체의 거리에 따라, 0부터 1사이의 값이 될 수 있다. 예컨대, 상기 피사체가 관찰자로부터 멀리 떨어져 있다면, 상기 피사체의 깊이는 깊어지고, 이 경우, z 값은 1에 가까운 값이 될 수 있다. 반대로, 상기 피사체가 관찰자 가까이 위치해 있다면, 상기 피사체의 깊이는 얕아지고, 이 경우, z 값은 0에 가까운 값이 될 수 있다. 그리고, N은 입력 영상(210)을 구성하는 이미지의 수평 라인의 개수를 의미한다.
상기 수학식 1을 살펴보면, 상기 초기 깊이 값은 입력 영상(210)을 구성하는 이미지의 y좌표 값이 의존하는 것을 알 수 있다. 일반적으로, 입력 영상(210)에 표현되는 피사체의 경우, 입력 영상(210)의 상단에 위치하는 피사체는 입력 영상(210)의 하단에 위치하는 피사체 보다 먼 거리에 위치해 있다.
따라서, 이러한 특성을 이용하여 입력 영상(210)의 상단에 위치하는 피사체를 입력 영상(210)의 하단에 위치하는 피사체보다 깊이를 깊게 함으로써, 상기 초기 깊이 값을 설정할 수 있다.
이렇게, 깊이 추정 장치(220)가 깊이 맵 초기화부(222)를 통해 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장하면, 사용자는 깊이 맵(224)에 저장되어 있는 상기 초기 깊이 값을 이용하여 2D의 입력 영상(210)을 3D 영상으로 변환하기 위한 렌더링 작업을 수행함으로써, 입력 영상(210)을 3D 영상으로 변환할 수 있다.
하지만, 깊이 맵 초기화부(222)가 설정한 초기 깊이 값은 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성을 고려하여 평활화(smoothing)된 깊이 값이 아니라는 점에서, 상기 초기 깊이 값을 이용하여 변환된 3D 영상은 다소 부정확한 깊이를 가질 수 있다.
따라서, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)가 설정한 초기 깊이 값을 기초로, 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성 정보를 이용하여 깊이 값을 적절히 조절함으로써, 깊이가 없는 입력 영상(210)에 비교적 정확한 깊이 정보를 부여할 수 있다.
이를 위해, 특성 정보 추출부(223)는 입력 영상(210)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(225)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(222)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
그 후에, 깊이 갱신부(225)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 입력 영상(210)에 대한 최종적인 깊이 값을 연산하고, 이 연산된 깊이 값을 이용하여 깊이 맵(224)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(222)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치(weight)를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 특성 정보 추출부(223)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이와 관련하여, 특성 정보 추출부(223) 및 깊이 갱신부(225)의 동작을 예를 들어 상세히 설명하기로 한다.
먼저, 특성 정보 추출부(223)가 입력 영상(210)에 대한 휘도 정보를 추출하여 상기 가중치를 연산한다고 가정한다.
특성 정보 추출부(223)는 상기 휘도 정보의 유사도에 따라 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.
예컨대, 특성 정보 추출부(223)가 입력 영상(210)을 구성하는 a 화소와, 상기 a 화소와 인접한 x 화소, y 화소, z 화소 및 w 화소 사이의 가중치를 연산한다고 가정하자. 만약, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 a 화소의 휘 도와 유사하다고 하면, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 가중치의 크기가 결정될 수 있다.
그리고 나서, 깊이 갱신부(225)는 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 특성 정보 추출부(223)에서 연산된 상기 가중치의 크기에 따라 반영하여 a 화소의 제1(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 a 화소의 초기 깊이 값을 상기 제1(a) 깊이 값으로 갱신할 수 있다.
이와 동시에, 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로 x 화소, y 화소, z 화소 및 w 화소에 대해 각각의 인접 화소들과의 가중치를 고려하여 x 화소, y 화소, z 화소 및 w 화소 각각에 대한 제1(b) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 상기 제1(b) 깊이 값으로 갱신할 수 있다.
상기 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값이 상기 제1(b) 깊이 값으로 갱신되면, 깊이 갱신부(225)는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 a 화소와, x 화소, y 화소, z 화소 및 w 화소 사이의 상기 가중치의 크기에 따라 반영하여 a 화소에 대한 새로운 제2(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 상기 a 화소의 제1(a) 깊이 값을 상기 제2(a) 깊이 값으로 갱신할 수 있다.
이 경우도 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 각각의 인접한 화소들과의 가중치를 고려하여, 제2(b) 깊이 값으로 갱신할 수 있다.
이와 같이, 깊이 갱신부(225)는 전술한 깊이 값 갱신 과정을 계속 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 필터링할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대해, 상기 적어도 하나의 화소와, 인접한 화소들 사이의 특성 정보에 기초하여 깊이 값을 적절히 조절함으로써, 입력 영상(210)이 비교적 정확한 깊이를 갖는 3D 영상으로 변환되도록 할 수 있다.
이와 관련하여 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 가중치를 하기의 수학식 2를 이용하여 연산할 수 있다.
Figure 112008083771468-pat00002
여기서, ω는 가중치, (x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 좌표, (x',y')은 상기 적어도 하나의 화소에 인접한 화소에 대한 좌 표, Y는 입력 영상(210)에 대한 적어도 하나의 특성 정보, σ는 필터 파라미터를 의미한다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 하기의 수학식 3을 이용하여 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.
Figure 112008083771468-pat00003
여기서, z(x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소의 깊이, z(x',y')은 상기 적어도 하나의 화소에 인접한 화소의 깊이, ω는 가중치, k는 정규화 인자를 의미한다.
앞서 설명한 바와 같이, 깊이 갱신부(225)는 상기 수학식 3의 연산을 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(224)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(222)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(225)가 깊이 맵(224)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 특성 정보 추출부(223)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(222)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 입력 영상(210)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 깊이 맵(224)을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 전처리부(221)를 더 포함할 수 있다.
전처리부(221)는 입력 영상(210)의 컬러 공간(color space)을 변환하거나, 입력 영상(210)이 기 설정된(predetermined) 비디오 스트림으로 인코딩된 영상인 경우 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출할 수 있다.
만약, 전처리부(221)가 입력 영상(210)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 입력 영상(210)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(210)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어 져 있는 영상인 경우, 전처리부(221)는 입력 영상(210)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(223)가 입력 영상(210)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 전처리부(221)가 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 상기 모션 벡터를 이용하여 입력 영상(210)의 특성 정보를 추출할 수 있다.
도 3는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3을 참조하면, 깊이 추정 장치(320)가 도시되어 있다.
깊이 추정 장치(320)는 특성 정보 추출부(322), 업-스케일링부(325) 및 깊이 설정부(326)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(326)는 깊이 맵 초기화부(321) 및 깊이 갱신부(324)를 포함할 수 있다.
깊이 맵 초기화부(321)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장한다.
예컨대, 입력 영상(310)을 구성하는 복수의 화소들을 a, b, c, d, e, f 화소라고 가정하면, 깊이 맵 초기화부(321)는 상기 복수의 화소들을 (a,b), (c,d), (e,f)와 같이 서로 인접한 화소들 끼리 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장할 수 있 다.
본 발명의 일실시예에 따르면, 입력 영상(310)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.
특성 정보 추출부(322)는 입력 영상(310)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(324)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(322)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(324)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 깊이 맵(323)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 블록과 상기 인접 블록들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 특성 정보 추출부(322)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
업-스케일링부(325)는 갱신된 깊이 맵(323)을 상기 복수의 화소 단위로 업-스케일링(up-scaling)한다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분하여 깊이 맵(323)을 생성한 후 이를 업-스케일링함으로써, 비교적 단순한 연산을 통해, 입력 영상(310)을 3D 영상으로 변환하기 위한 깊이 맵을 생성할 수 있다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(323)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(321)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 깊이 맵 초기화부(321)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(324)가 깊이 맵(323)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 특성 정보 추출부(322)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(321)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 입력 영상(310)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 상기 업-스케일링된 깊이 맵을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 전처리부(미도시)를 더 포함할 수 있다.
상기 전처리부는 입력 영상(320)의 컬러 공간을 변환하거나, 입력 영상(320)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(320)을 디코딩하여 입력 영상(320)의 모션 벡터를 추출할 수 있다.
만약, 상기 전처리부가 입력 영상(320)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 입력 영상(310)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(320)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(320)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(322)가 입력 영상(310)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 상기 전처리부가 입력 영상(310)을 디코딩하여 입력 영상(310)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 상기 모션 벡터를 이용하여 입력 영상(310)의 특성 정보를 추출할 수 있다.
도 4은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 4을 참조하면, 깊이 추정 장치(430)가 도시되어 있다.
깊이 추정 장치(430)는 특성 정보 추출부(438) 및 깊이 설정부(442)를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 설정부(442)는 깊이 맵 초기화부(437) 및 깊이 갱신부(440)를 포함할 수 있다.
깊이 맵 초기화부(437)는 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(439)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(410)은 단안 영상이 될 수 있다.
특성 정보 추출부(438)는 입력 영상(410)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(440)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(438)가 추출하는 상기 적 어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(440)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(410)에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 깊이 맵(439)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(410)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 화소와 상기 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 바와 같이, 깊이 맵 초기화부(437)가 상기 초기 깊이 값을 설정하면, 깊이 갱신부(440)가 상기 적어도 하나의 특성 정보를 이용하여 깊이 맵(439)을 갱신함으로써, 입력 영상(410)에 대한 깊이 값을 추정할 수 있다.
또한, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링(down-scaling)하고, 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 추정한 후 상기 제2 깊이 값을 상기 초기 깊이 값으로 이용함으로써, 입력 영상(410)의 깊이 값 추정을 위한 연산 과정을 간소화할 수 있다.
이와 관련하여, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 다운-스케일링부(431), 제2 특성 정보 추출부(433), 제2 깊이 설정부(441) 및 업-스케일링부(436)를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 설정부(441)는 제2 깊이 맵 초기화부(432), 제2 깊이 갱신부(435)를 포함할 수 있다.
다운-스케일링부(431)는 깊이 추정 장치(430)로 입력되는 입력 영상(410)을 기 설정된 해상도로 다운-스케일링한다.
예컨대, 입력 영상(410)의 해상도가 1024x768이라면, 다운-스케일링부(431)는 입력 영상(410)을 800x600의 해상도로 다운-스케일링할 수 있다.
제2 깊이 맵 초기화부(432)는 다운-스케일링부(431)에 의해 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵(434)에 저장한다.
본 발명의 일실시예에 따르면, 제2 깊이 맵 초기화부(432)는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.
제2 특성 정보 추출부(433)는 다운-스케일링된 입력 영상(420)에 대한 적어 도 하나의 제2 특성 정보를 추출하여 제2 깊이 갱신부(435)로 제공한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)가 추출하는 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
제2 깊이 갱신부(435)는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 다운-스케일링된 입력 영상(420)에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 제2 깊이 맵(434)을 갱신한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 제2 특성 정보를 기초로 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 수학식 2를 이용하여 상기 제2 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
업-스케일링부(436)는 갱신된 제2 깊이 맵(434)을 입력 영상(410)에 대한 해상도를 기반으로 업-스케일링하여 깊이 맵 초기화부(437)로 제공한다.
이때, 본 발명의 일실시예에 따르면, 업-스케일링부(436)는 상기 적어도 하나의 제2 특성 정보 및 상기 적어도 하나의 특성 정보를 이용하여 제2 깊이 맵(434)을 업-스케일링할 수 있다.
업-스케일링부(436)가 갱신된 제2 깊이 맵(434)을 업-스케일링하면, 깊이 맵 초기화부(437)는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵(439)에 저장한다.
이와 같이, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 어느 정도 필터링이 이루어진 깊이 값을 상기 초기 깊이 값으로 설정함으로써, 깊이 갱신부(440)가 입력 영상(410)에 대한 깊이 값을 필터링하여 깊이 맵(439)을 갱신하기 위해 수행해야 하는 연산의 복잡도를 줄일 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링한 후, 초기 깊이 맵을 생성하는 복합적인 접근 방법을 이용하여 최종적으로 깊이 맵을 생성함으로써, 입력 영상(410)의 깊이를 추정하기 위한 전반적인 연산 과정을 줄일 수 있다.
여기서, 도 4에 도시된 깊이 추정 장치(430)는 입력 영상(410)을 1회 다운-스케일링하여 깊이 맵을 생성하는 것으로 도시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.
즉, 본 발명의 일실시예에 따르면, 깊이 추정 장치(430)는 입력 영상(410)을 n회 다운-스케일링하고, n번째 다운-스케일링된 입력 영상으로부터 깊이 맵을 생성하여 이를 업-스케일링함으로써, n-1번째 다운-스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다. 그리고, n-1번째 다운-스케일링된 입력 영상의 깊이 맵의 경우에도 이를 업-스케일링하여 n-2번째 다운 스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 과정을 반복 수행하여 생성한 깊이 맵을 최종적으로 입력 영상(410)의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용함으로써, 입력 영상(410)의 깊이를 추정하기 위해 수행해야 하는 연산을 간소화할 수 있다.
이상으로, 도 1 내지 도 4를 참조하여 깊이 추정 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보았다. 이하에서는 도 5 내지 도 8을 참조하여 상기 깊이 추정 장치를 이용하여 입력 영상을 3D 영상으로 변환하는 3D 영상 변환 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보기로 한다.
도 5은 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 5을 참조하면, 3D 영상 변환 장치(520)가 도시되어 있다.
3D 영상 변환 장치(520)는 특성 정보 추출부(521), 깊이 설정부(522) 및 렌더링부(523)를 포함할 수 있다.
3D 영상 변환 장치(520)에 입력 영상(510)이 입력되면, 특성 정보 추출 부(521)는 입력 영상(510)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(522)로 제공한다.
본 발명의 일실시예에 따르면, 입력 영상(510)은 단안 영상일 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 설정부(522)는 특성 정보 추출부(521)로부터 제공되는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(510)에 대한 깊이 값을 설정한다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(520)는 입력 영상(510)의 특성 정보를 바탕으로 입력 영상(510)에 대한 깊이 값을 설정하고, 상기 깊이 값을 이용하여 2D의 입력 영상(510)을 3D 영상으로 렌더링함으로써, 입력 영상(510)이 3D 영상으로 변환되도록 할 수 있다.
본 발명의 일실시예에 따르면, 3D 영상 변환 장치(520)는 도 5에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 6 내지 도 8를 참조하여 3D 영상 변환 장치(520)의 다양한 실시예에 대해 살펴보기로 한다.
도 6은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 6를 참조하면, 3D 영상 변환 장치(620)가 도시되어 있다.
3D 영상 변환 장치(620)는 특성 정보 추출부(622), 렌더링부(625), 및 깊이 설정부(626)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(626)는 깊이 맵 초기화부(621), 깊이 갱신부(624)를 포함할 수 있다.
3D 영상 변환 장치(620)에 입력 영상(610)이 입력되면, 깊이 맵 초기화부(621)는 입력 영상(610)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(623)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(610)은 단안 영상일 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 입력 영상(610) 시퀀스의 각 프레임 마다 상기 초기 깊이 값을 설정하여 깊이 맵(623)에 저장할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 상기 초기 깊이 값을 상기 수학식 1을 이용하여 설정할 수 있다.
특성 정보 추출부(622)는 입력 영상(610)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(624)로 제공한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(624)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(610)에 대한 최종적인 깊이 값을 연산하고, 이 연산된 깊이 값을 이용하여 깊이 맵(623)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(610)을 구성하는 적어도 하나의 화소와 인접 화 소들 사이의 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(624)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(624)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
렌더링부(625)는 깊이 갱신부(624)에 의해 갱신된 깊이 맵(623)을 이용하여 입력 영상(610)을 3D 영상으로 렌더링한다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(623)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(621)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(620)는 깊이 맵 초기화부(621)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(624)가 깊이 맵(623)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 특성 정보 추출부(622)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(621)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 입력 영상(610)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 깊이 맵(623)을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 전처리부(미도시)를 더 포함할 수 있다.
이러한 전처리부는 입력 영상(610)의 컬러 공간을 변환하거나 입력 영상(610)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(610)을 디코딩하여 입력 영상(610)의 모션 벡터를 추출한다.
만약, 상기 전처리부가 입력 영상(610)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(622)는 입력 영상(610)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(610)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(610)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(622)가 입력 영상(610)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 상기 전처리부가 입력 영상(610)을 디코딩하여 입력 영상(610)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(622)는 상기 모션 벡터를 이용하여 입력 영상(610)의 특성 정보를 추출할 수 있다.
도 7는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 7을 참조하면, 3D 영상 변환 장치(720)가 도시되어 있다.
3D 영상 변환 장치(720)는 특성 정보 추출부(722), 업-스케일링부(725), 렌더링부(726) 및 깊이 설정부(727)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(727)는 깊이 맵 초기화부(721), 깊이 갱신부(724)를 포함할 수 있다.
깊이 맵 초기화부(721)는 입력 영상(710)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(723)에 저장한다.
예컨대, 입력 영상(710)을 구성하는 복수의 화소들을 a, b, c, d, e, f 화소라고 가정하면, 깊이 맵 초기화부(721)는 상기 복수의 화소들을 (a,b), (c,d), (e,f)와 같이 서로 인접한 화소들 끼리 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(723)에 저장할 수 있다.
본 발명의 일실시예에 따르면, 입력 영상(710)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(721)는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.
특성 정보 추출부(722)는 입력 영상(710)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(724)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(722)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(724)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 깊이 맵(723)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 적어도 하나의 블록과 상기 인접 블록들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(724)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(724)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
업-스케일링부(725)는 갱신된 깊이 맵(723)을 상기 복수의 화소 단위로 업-스케일링한다.
렌더링부(726)는 상기 업-스케일링된 깊이 맵을 이용하여 입력 영상(710)을 3D 영상으로 렌더링한다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(720)는 입력 영상(710)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분하여 깊이 맵(723)을 생성한 후 이를 업-스케일링함으로써, 비교적 단순한 연산을 통해 입력 영상(710)을 3D 영상으로 변환할 수 있다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(721)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(723)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(721)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(720)는 깊이 맵 초기 화부(721)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(724)가 깊이 맵(723)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 특성 정보 추출부(722)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(721)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 입력 영상(710)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 업-스케일링된 깊이 맵을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 전처리부(미도시)를 더 포함할 수 있다.
상기 전처리부는 입력 영상(710)의 컬러 공간을 변환하거나 입력 영상(610)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(710)을 디코딩하여 입력 영상(710)의 모션 벡터를 추출한다.
만약, 상기 전처리부가 입력 영상(710)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(722)는 입력 영상(710)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(710)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(710)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(722)가 입력 영상(710)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 상기 전처리부가 입력 영상(710)을 디코딩하여 입력 영상(710)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(722)는 상기 모션 벡터를 이용하여 입력 영상(710)의 특성 정보를 추출할 수 있다.
도 8은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 8을 참조하면, 3D 영상 변환 장치(830)가 도시되어 있다.
3D 영상 변환 장치(830)는 특성 정보 추출부(838), 깊이 설정부(843) 및 렌더링부(841)를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 설정부(843)는 깊이 맵 초기화부(837) 및 깊이 갱신부(840)를 포함할 수 있다.
깊이 맵 초기화부(837)는 입력 영상(810)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(839)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(810)은 단안 영상이 될 수 있다.
특성 정보 추출부(838)는 입력 영상(810)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(840)로 제공한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(840)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(810)에 대한 깊이 값을 연산하고, 상기 깊이 값을 이용하여 깊이 맵(839)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(810)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 적어도 하나의 화소와 상기 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(840)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(840)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
렌더링부(841)는 갱신된 깊이 맵(839)을 이용하여 입력 영상(810)을 3D 영상으로 렌더링한다.
본 발명의 일실시예에 따른 깊이 추정 장치(830)는 전술한 바와 같이, 깊이 맵 초기화부(837)가 상기 초기 깊이 값을 설정하면, 깊이 갱신부(840)가 상기 적어도 하나의 특성 정보를 이용하여 깊이 맵(839)을 갱신함으로써, 입력 영상(810)에 대한 깊이 값을 추정할 수 있다.
또한, 본 발명의 일실시예에 따른 깊이 추정 장치(830)는 입력 영상(810)을 다운-스케일링하고, 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 추정한 후 상기 제2 깊이 값을 상기 초기 깊이 값으로 이용함으로써, 입력 영상(810)의 깊이 값 추정을 위한 연산 과정을 간소화할 수 있다.
이와 관련하여, 본 발명의 일실시예에 따른 깊이 추정 장치(830)는 다운-스케일링부(831), 제2 특성 정보 추출부(833), 제2 깊이 설정부(842) 및 업-스케일링부(836)를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 설정부(842)는 제2 깊이 맵 초기화부(832) 및 제2 깊이 갱신부(835)를 포함할 수 있다.
다운-스케일링부(831)는 3D 영상 변환 장치(830)로 입력되는 입력 영상(810)을 기 설정된 해상도로 다운-스케일링한다.
예컨대, 입력 영상(810)의 해상도가 1024x768이라면, 다운-스케일링부(831)는 입력 영상(810)을 800x600의 해상도로 다운-스케일링할 수 있다.
본 발명의 일실시예에 따르면, 입력 영상(810)은 단안 영상이 될 수 있다.
제2 깊이 맵 초기화부(832)는 다운-스케일링부(831)에 의해 다운-스케일링된 입력 영상(820)을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵(834)에 저장한다.
본 발명의 일실시예에 따르면, 제2 깊이 맵 초기화부(832)는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.
제2 특성 정보 추출부(833)는 다운-스케일링된 입력 영상(820)에 대한 적어 도 하나의 제2 특성 정보를 추출하여 제2 깊이 갱신부(835)로 제공한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)가 추출하는 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
제2 깊이 갱신부(835)는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 다운-스케일링된 입력 영상(820)에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 제2 깊이 맵(834)을 갱신한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 적어도 하나의 제2 특성 정보를 기초로 다운-스케일링된 입력 영상(820)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 수학식 2를 이용하여 상기 제2 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(835)는 상기 제2 가중치를 고려하여 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(835)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
업-스케일링부(836)는 갱신된 제2 깊이 맵(834)을 입력 영상(810)에 대한 해상도를 기반으로 업-스케일링하여 깊이 맵 초기화부(837)로 제공한다.
이때, 본 발명의 일실시예에 따르면, 업-스케일링부(836)는 상기 적어도 하나의 제2 특성 정보 및 상기 적어도 하나의 특성 정보를 이용하여 제2 깊이 맵(834)을 업-스케일링하여 깊이 맵 초기화부(837)로 제공한다.
업-스케일링부(836)가 갱신된 제2 깊이 맵(834)을 업-스케일링하여 제공하면, 깊이 맵 초기화부(837)는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 입력 영상(810)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵(839)에 저장한다.
이와 같이, 어느 정도 필터링이 이루어진 깊이 값을 상기 초기 깊이 값으로 설정함으로써, 깊이 갱신부(840)가 입력 영상(810)에 대한 깊이 값을 필터링하여 깊이 맵(839)을 갱신하기 위해 수행해야 하는 연산의 복잡도를 줄일 수 있다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(830)는 입력 영상(810)을 다운-스케일링한 후, 초기 깊이 맵을 생성하는 복합적인 접근 방법을 이용하여 최종적으로 깊이 맵을 생성함으로써, 입력 영상(810)의 깊이를 추정하기 위한 전반적인 연산 과정을 줄일 수 있다.
여기서, 도 8에 도시된 3D 영상 변환 장치(830)는 입력 영상(810)을 1회 다운-스케일링하여 깊이 맵을 생성하는 것으로 도시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.
즉, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(830)는 입력 영 상(810)을 n회 다운-스케일링하고, n번째 다운-스케일링된 입력 영상으로부터 깊이 맵을 생성하여 이를 업-스케일링함으로써, n-1번째 다운-스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다. 그리고, n-1번째 다운-스케일링된 입력 영상의 깊이 맵의 경우에도 이를 업-스케일링하여 n-2번째 다운 스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(830)는 전술한 과정을 반복 수행하여 생성한 깊이 맵을 최종적으로 입력 영상(810)의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용함으로써, 입력 영상(810)의 깊이를 추정하기 위해 수행해야 하는 연산을 간소화할 수 있다.
도 9는 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S910)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S920)에서는 단계(S910)에서 추출한 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값을 설정한다.
본 발명의 일실시예에 따르면, 상기 깊이 추정 방법은 도 9에 도시된 방법 이외에도 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 10 내지 도 12를 참조하여 깊이 추정 방법에 대한 본 발명의 다양한 실시예를 살펴보기로 한다.
도 10은 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S1010)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1020)에서는 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1020)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
단계(S1030)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1010)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1030)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1030)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
도 11은 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S1110)에서는 입력 영상을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1110)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.
단계(S1120)에서는 상기 적어도 하나의 블록에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 블록에 대한 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1130)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1120)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
또한, 본 발명의 일실시예에 따르면, 단계(S1130)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1130)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
단계(S1140)에서는 상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링한다.
도 12는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S1210)에서는 입력 영상을 기 설정된 해상도로 다운-스케일링한다.
단계(S1220)에서는 상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1220)에서는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.
단계(S1230)에서는 상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1240)에서는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1230)에서는 상기 적어도 하나의 제2 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 제2 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1240)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1240)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
단계(S1250)에서는 상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링한다.
단계(S1260)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1270)에서는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵에 저장한다.
단계(S1280)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1260)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1280)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1280)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이상으로, 도 9 내지 도 12를 참조하여 깊이 추정 방법에 대한 본 발명의 다양한 실시예들을 살펴보았다. 이하에서는 도 13 내지 도 16을 참조하여 상기 깊이 추정 방법을 이용하여 입력 영상을 3D 영상으로 변환하는 3D 영상 변환 방법에 대한 본 발명의 다양한 실시예에 대해 살펴보기로 한다.
도 13는 본 발명의 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이 다.
단계(S1310)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1320)에서는 단계(S1310)에서 추출한 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값을 설정한다.
단계(S1330)에서는 상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.
본 발명의 일실시예에 따르면, 상기 3D 영상 변환 방법은 도 13에 도시된 방법 이외에도 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 14 내지 도 16를 참조하여 3D 영상 변환 방법에 대한 본 발명의 다양한 실시예를 살펴보기로 한다.
도 14은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
단계(S1410)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1420)에서는 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1420)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
단계(S1430)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1410)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1430)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1430)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
단계(S1440)에서는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.
도 15은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
단계(S1510)에서는 입력 영상을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊 이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1510)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.
단계(S1520)에서는 상기 적어도 하나의 블록에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 블록에 대한 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1530)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1520)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
또한, 본 발명의 일실시예에 따르면, 단계(S1530)에서는 상기 가중치를 고 려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1530)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
단계(S1540)에서는 상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링한다.
단계(S1550)에서는 상기 업-스케일링된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.
도 16는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
단계(S1610)에서는 입력 영상을 기 설정된 해상도로 다운-스케일링한다.
단계(S1620)에서는 상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장한다.
본 발명의 일실시예에 따르면, 단계(S1620)에서는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.
단계(S1630)에서는 상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1640)에서는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1630)에서는 상기 적어도 하나의 제2 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 제2 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1640)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1640)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
단계(S1650)에서는 상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링한다.
단계(S1660)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S1670)에서는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵에 저장한다.
단계(S1680)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.
본 발명의 일실시예에 따르면, 단계(S1660)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S1680)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S1680)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
단계(S1690)에서는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링할 수 있다.
본 발명에 따른 깊이 추정 방법 및 3D 영상 변환 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨 터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 6는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 7는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 8는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 10는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 11는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 12는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 13은 본 발명의 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 14은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 15은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 16은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.

Claims (31)

  1. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하고, 상기 적어도 하나의 특성 정보에 기초하여 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)와 인접 화소들 사이의 가중치(weight)를 연산하는 특성 정보 추출부;
    상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 깊이 설정부; 및
    상기 가중치를 고려하여 상기 깊이 값을 갱신하는 깊이 갱신부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  2. 제1항에 있어서,
    상기 깊이 설정부는,
    상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 깊이 맵 초기화부;
    를 포함하고,
    상기 깊이 갱신부는, 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 것을 특징으로 하는 깊이 추정 장치.
  3. 제2항에 있어서,
    상기 깊이 갱신부는 상기 가중치를 고려하여 상기 필터링을 수행하는 것을 특징으로 하는 깊이 추정 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 중 어느 하나 이상인 것을 특징으로 하는 깊이 추정 장치.
  5. 제2항에 있어서,
    상기 깊이 맵 초기화부는,
    상기 적어도 하나의 특성 정보를 기초로 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 상기 깊이 맵에 저장하는 것을 특징으로 하는 깊이 추정 장치.
  6. 제2항에 있어서,
    전처리부를 더 포함하고,
    상기 전처리부는,
    (A) 상기 입력 영상의 컬러 공간(color space)을 변환 또는
    (B) 상기 입력 영상이 기 설정된(predetermined) 비디오 스트림으로 인코딩된 영상인 경우, 상기 입력 영상을 디코딩하여 상기 입력 영상의 모션 벡터를 추출
    중 어느 하나 이상의 기능을 수행하는 것을 특징으로 하는 깊이 추정 장치.
  7. 제1항에 있어서,
    상기 깊이 설정부는,
    상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 깊이 맵 초기화부; 및
    상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 깊이 갱신부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  8. 제7항에 있어서,
    상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링(up-scaling)하는 업-스케일링부
    를 더 포함하는 것을 특징으로 하는 깊이 추정 장치.
  9. 제2항에 있어서,
    상기 입력 영상을 기 설정된(predetermined) 해상도로 다운-스케일링(down-scaling)하는 다운-스케일링부;
    상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장하는 제2 깊이 맵 초기화부;
    상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출하는 제2 특성 정보 추출부;
    상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신하는 제2 깊이 갱신부; 및
    상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링(up-scaling)하는 업-스케일링부
    를 더 포함하고,
    상기 깊이 맵 초기화부는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 초기 깊이 값으로 설정하는 것을 특징으로 하는 깊이 추정 장치.
  10. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하고, 상기 적어도 하나의 특성 정보에 기초하여 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)와 인접 화소들 사이의 가중치(weight)를 연산하는 특성 정보 추출부;
    상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 깊이 설정부;
    상기 가중치를 고려하여 상기 깊이 값을 갱신하는 깊이 갱신부; 및
    상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링(rendering)하는 렌더링부
    를 포함하는 것을 특징으로 하는 3D 영상 변환 장치.
  11. 제10항에 있어서,
    상기 깊이 설정부는,
    상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 깊이 맵 초기화부;
    를 포함하며,
    상기 깊이 갱신부는, 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신하고,
    상기 렌더링부는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 상기 3D 영상으로 렌더링하는 것을 특징으로 하는 3D 영상 변환 장치.
  12. 제11항에 있어서,
    상기 깊이 갱신부는 상기 가중치를 고려하여 상기 필터링을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
  13. 제10항에 있어서,
    상기 적어도 하나의 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 중 어느 하나 이상인 것을 특징으로 하는 3D 영상 변환 장치.
  14. 제10항에 있어서,
    상기 깊이 설정부는,
    상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 깊이 맵 초기화부; 및
    상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 깊이 갱신부
    를 포함하는 것을 특징으로 하는 3D 영상 변환 장치.
  15. 제14항에 있어서,
    상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링(up-scaling)하는 업-스케일링부
    를 더 포함하고,
    상기 렌더링부는 상기 업-스케일링된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링하는 것을 특징으로 하는 3D 영상 변환 장치.
  16. 제11항에 있어서,
    상기 입력 영상을 기 설정된(predetermined) 해상도로 다운-스케일링(down-scaling)하는 다운-스케일링부;
    상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장하는 제2 깊이 맵 초기화부;
    상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출하는 제2 특성 정보 추출부;
    상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신하는 제2 깊이 갱신부; 및
    상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링(up-scaling)하는 업-스케일링부
    를 더 포함하고,
    상기 깊이 맵 초기화부는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 초기 깊이 값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
  17. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하고, 상기 적어도 하나의 특성 정보에 기초하여 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)와 인접 화소들 사이의 가중치(weight)를 연산하는 단계;
    상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 단계; 및
    상기 가중치를 고려하여 상기 깊이 값을 갱신하는 단계
    를 포함하는 것을 특징으로 하는 깊이 추정 방법.
  18. 제17항에 있어서,
    상기 깊이 값을 설정하는 단계는,
    상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 단계;
    를 포함하고,
    상기 깊이 값을 갱신하는 단계는, 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 것을 특징으로 하는 깊이 추정 방법.
  19. 제18항에 있어서,
    상기 깊이 값을 갱신하는 단계는 상기 가중치를 고려하여 상기 필터링을 수행하는 것을 특징으로 하는 깊이 추정 방법.
  20. 제17항에 있어서,
    상기 적어도 하나의 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘 도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 중 어느 하나 이상인 것을 특징으로 하는 깊이 추정 방법.
  21. 제17항에 있어서,
    상기 깊이 값을 설정하는 단계는,
    상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 단계; 및
    상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 단계;
    를 포함하는 것을 특징으로 하는 깊이 추정 방법.
  22. 제21항에 있어서,
    상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링(up-scaling)하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 추정 방법.
  23. 제18항에 있어서,
    상기 입력 영상을 기 설정된(predetermined) 해상도로 다운-스케일링(down- scaling)하는 단계;
    상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장하는 단계;
    상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출하는 단계;
    상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신하는 단계; 및
    상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링(up-scaling)하는 단계
    를 더 포함하고,
    상기 깊이 맵에 저장하는 단계는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 초기 깊이 값으로 설정하는 것을 특징으로 하는 깊이 추정 방법.
  24. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하고, 상기 적어도 하나의 특성 정보에 기초하여 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)와 인접 화소들 사이의 가중치(weight)를 연산하는 단계;
    상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값(depth)을 설정하는 단계;
    상기 가중치를 고려하여 상기 깊이 값을 갱신하는 단계; 및
    상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링(rendering)하는 단계
    를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
  25. 제24항에 있어서,
    상기 깊이 값을 설정하는 단계는,
    상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 단계
    를 포함하며,
    상기 깊이 값을 갱신하는 단계는, 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신하고,
    상기 렌더링하는 단계는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 상기 3D 영상으로 렌더링하는 것을 특징으로 하는 3D 영상 변환 방법.
  26. 제25항에 있어서,
    상기 깊이 값을 갱신하는 단계는 상기 가중치를 고려하여 상기 필터링을 수행하는 것을 특징으로 하는 3D 영상 변환 방법.
  27. 제24항에 있어서,
    상기 적어도 하나의 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 중 어느 하나 이상인 것을 특징으로 하는 3D 영상 변환 방법.
  28. 제24항에 있어서,
    상기 깊이 값을 설정하는 단계는,
    상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(depth map)에 저장하는 단계; 및
    상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신하는 단계
    를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
  29. 제28항에 있어서,
    상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링(up-scaling)하는 단계
    를 더 포함하고,
    상기 렌더링하는 단계는 상기 업-스케일링된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링하는 것을 특징으로 하는 3D 영상 변환 방법.
  30. 제25항에 있어서,
    상기 입력 영상을 기 설정된(predetermined) 해상도로 다운-스케일링(down-scaling)하는 단계;
    상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장하는 단계;
    상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출하는 단계;
    상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신하는 단계; 및
    상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링(up-scaling)하는 단계
    를 더 포함하고,
    상기 깊이 맵에 저장하는 단계는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 초기 깊이 값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
  31. 제17항 내지 제30항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020080122655A 2008-12-04 2008-12-04 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 KR101506926B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020080122655A KR101506926B1 (ko) 2008-12-04 2008-12-04 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
US12/458,559 US9137512B2 (en) 2008-12-04 2009-07-15 Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
EP20090175537 EP2194726A1 (en) 2008-12-04 2009-11-10 Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
JP2009273702A JP5579422B2 (ja) 2008-12-04 2009-12-01 深さ推定装置および方法、および３ｄビデオ変換装置および方法
CN200910252846.3A CN101754040B (zh) 2008-12-04 2009-12-04 用于估计深度和将2d视频转换为3d视频的方法和设备
US13/725,710 US20130235153A1 (en) 2008-12-04 2012-12-21 Method and apparatus for generating depth information of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080122655A KR101506926B1 (ko) 2008-12-04 2008-12-04 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100064196A KR20100064196A (ko) 2010-06-14
KR101506926B1 true KR101506926B1 (ko) 2015-03-30

Family

ID=41381830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080122655A KR101506926B1 (ko) 2008-12-04 2008-12-04 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법

Country Status (5)

Country Link
US (2) US9137512B2 (ko)
EP (1) EP2194726A1 (ko)
JP (1) JP5579422B2 (ko)
KR (1) KR101506926B1 (ko)
CN (1) CN101754040B (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491556B1 (ko) * 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
WO2011033673A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
KR101054043B1 (ko) * 2010-05-23 2011-08-10 강원대학교산학협력단 2차원 의료영상으로부터 3차원 영상을 생성하는 방법
JP4773588B1 (ja) 2010-06-15 2011-09-14 日本碍子株式会社 燃料電池セル
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
CN103026387B (zh) * 2010-07-26 2019-08-13 香港城市大学 用于从单一的图像生成多视图像的方法
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
KR20120018906A (ko) * 2010-08-24 2012-03-06 삼성전자주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
CN102387374B (zh) * 2010-08-30 2015-07-29 三星电子株式会社 用于获得高精度深度图的设备和方法
US8571314B2 (en) * 2010-09-02 2013-10-29 Samsung Electronics Co., Ltd. Three-dimensional display system with depth map mechanism and method of operation thereof
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
JP5058316B2 (ja) * 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
WO2012037685A1 (en) * 2010-09-22 2012-03-29 Berfort Management Inc. Generating 3d stereoscopic content from monoscopic video content
US9305398B2 (en) 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
JP5132754B2 (ja) * 2010-11-10 2013-01-30 株式会社東芝 画像処理装置、方法およびそのプログラム
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
CN102006493A (zh) * 2010-11-26 2011-04-06 北京新岸线网络技术有限公司 一种3d视频图像的视差调节方法及装置
CN102480621B (zh) * 2010-11-29 2015-07-22 扬智科技股份有限公司 用来将二维影片转换为三维影片的方法与装置
CN102036090B (zh) * 2010-12-16 2012-05-02 清华大学 一种用于数字电视终端的电视信号转换装置
KR101119941B1 (ko) * 2010-12-17 2012-03-16 강원대학교 산학협력단 입체영상의 화질 개선 장치 및 방법
JPWO2012111755A1 (ja) * 2011-02-18 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
KR101763944B1 (ko) 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
JP2012186781A (ja) 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
JP2012247891A (ja) * 2011-05-26 2012-12-13 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR101231661B1 (ko) * 2011-06-24 2013-02-08 동서대학교산학협력단 컬러세그먼트 추출과 깊이지도를 활용한 입체영상 제작 방법
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
US20130050415A1 (en) * 2011-08-30 2013-02-28 Himax Technologies Limited System and Method of Handling Data Frames for Stereoscopic Display
US8837816B2 (en) * 2011-09-27 2014-09-16 Mediatek Inc. Method and apparatus for generating final depth information related map that is reconstructed from coarse depth information related map through guided interpolation
CN102447939A (zh) * 2011-10-12 2012-05-09 绍兴南加大多媒体通信技术研发有限公司 一种影视作品2d转3d的优化方法
KR101660808B1 (ko) * 2011-11-24 2016-09-29 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101978172B1 (ko) * 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
CN103152587B (zh) * 2011-12-06 2016-08-03 北京大学深圳研究生院 一种基于视频压缩码流中辅助增强信息的2d视频转3d视频方法
CN103152586B (zh) * 2011-12-06 2016-01-13 北京大学深圳研究生院 一种基于深度模板的2d视频转3d视频传输及重建方法
US9137519B1 (en) 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
US8824778B2 (en) 2012-01-13 2014-09-02 Cyberlink Corp. Systems and methods for depth map generation
CN103220539B (zh) * 2012-01-21 2017-08-15 瑞昱半导体股份有限公司 图像深度产生装置及其方法
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101306608B1 (ko) * 2012-02-24 2013-09-11 국민대학교산학협력단 스마트 단말과 로봇장치를 이용하여 3차원 영상을 제공하는 방법 및 이를 이용하는 3차원 영상제공 시스템
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR20130114420A (ko) 2012-04-09 2013-10-18 한국전자통신연구원 2차원 동영상의 3차원 동영상으로의 변환 방법 및 장치
WO2013166656A1 (zh) * 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
KR101957873B1 (ko) * 2012-06-04 2019-03-13 삼성전자주식회사 3차원 영상을 위한 영상 처리 장치 및 방법
CN102724527B (zh) * 2012-06-19 2014-07-16 清华大学 可配置多场景模型的深度估计方法及使用该方法的系统
CN103778598B (zh) * 2012-10-17 2016-08-03 株式会社理光 视差图改善方法和装置
US9098911B2 (en) * 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US20140198098A1 (en) * 2013-01-16 2014-07-17 Tae Joo Experience Enhancement Environment
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
US9508173B2 (en) * 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
KR101694522B1 (ko) * 2014-02-11 2017-01-10 한국전자통신연구원 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치
CN103945205B (zh) * 2014-04-04 2015-11-11 西安交通大学 兼容2d与多视点裸眼3d显示的视频处理装置及方法
US9369727B2 (en) * 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US9803985B2 (en) * 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
KR101720161B1 (ko) * 2016-07-11 2017-03-27 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101947782B1 (ko) 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
CN108062741B (zh) * 2017-12-15 2021-08-06 上海兴芯微电子科技有限公司 双目图像处理方法、成像装置和电子设备
TWI678681B (zh) * 2018-05-15 2019-12-01 緯創資通股份有限公司 產生深度圖的方法及其影像處理裝置與系統
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
CN117241104B (zh) * 2023-11-07 2024-01-16 中南大学 一种dibr-3d视频版权保护的零水印方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
KR100659206B1 (ko) 2002-08-20 2006-12-19 가즈나리 에라 입체 화상을 작성하는 방법 및 장치
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309324B2 (ja) 1992-09-17 2002-07-29 富士通株式会社 画像データ前処理フィルタ装置
CN1113320C (zh) 1994-02-01 2003-07-02 三洋电机株式会社 将二维图像转换成三维图像的方法以及三维图像显示系统
JPH07296165A (ja) 1994-04-28 1995-11-10 Canon Inc ３次元画像撮影用カメラ
WO1996031844A1 (fr) * 1995-04-05 1996-10-10 Hitachi, Ltd. Systeme graphique
JPH0937301A (ja) 1995-07-17 1997-02-07 Sanyo Electric Co Ltd 立体映像変換回路
JP3957343B2 (ja) 1996-07-18 2007-08-15 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
JPH1069543A (ja) * 1996-08-29 1998-03-10 Oki Electric Ind Co Ltd 被写体の曲面再構成方法及び被写体の曲面再構成装置
JPH1198531A (ja) 1997-09-24 1999-04-09 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及び方法
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2003106812A (ja) 2001-06-21 2003-04-09 Sega Corp 画像情報処理方法、その方法を利用したシステム及びプログラム
KR100505334B1 (ko) 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
WO2005013623A1 (en) 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
JP4214976B2 (ja) 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
KR100757259B1 (ko) 2004-10-25 2007-09-11 전자부품연구원 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
JP5085059B2 (ja) * 2006-06-28 2012-11-28 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression
JP5615552B2 (ja) 2006-11-21 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 画像の深度マップの生成
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20080252652A1 (en) * 2007-04-13 2008-10-16 Guofang Jiao Programmable graphics processing element
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
JP4878330B2 (ja) 2007-05-09 2012-02-15 国立大学法人 東京大学 対象物の関節構造の取得方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
KR100659206B1 (ko) 2002-08-20 2006-12-19 가즈나리 에라 입체 화상을 작성하는 방법 및 장치
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법

Also Published As

Publication number Publication date
KR20100064196A (ko) 2010-06-14
CN101754040B (zh) 2015-04-22
JP5579422B2 (ja) 2014-08-27
CN101754040A (zh) 2010-06-23
EP2194726A1 (en) 2010-06-09
US9137512B2 (en) 2015-09-15
US20130235153A1 (en) 2013-09-12
US20100141757A1 (en) 2010-06-10
JP2010136371A (ja) 2010-06-17

Similar Documents

Publication Publication Date Title
KR101506926B1 (ko) 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR101491556B1 (ko) 깊이 추정 장치 및 방법
JP5645842B2 (ja) スケールスペースを使用した画像処理装置及び方法
KR101710444B1 (ko) 깊이 맵 생성 장치 및 방법
Ward et al. Depth director: A system for adding depth to movies
EP2169619A2 (en) Conversion method and apparatus with depth map generation
KR102006064B1 (ko) 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
JP2015513151A (ja) 入力画像の階層的超解像を実行する方法及び装置
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
KR101615238B1 (ko) 영상 처리 장치 및 방법
EP2080167A1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
KR102026903B1 (ko) 평면 기반의 ３차원 공간 표현 방법 및 장치
JP2012253666A (ja) 画像理装置および方法、並びにプログラム
Ma et al. Depth-guided inpainting algorithm for free-viewpoint video
KR101795952B1 (ko) 2d 영상에 대한 깊이 영상 생성 방법 및 장치
KR20150093048A (ko) 그래픽스 데이터를 렌더링하는 방법 및 장치
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR20130112131A (ko) 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20130112132A (ko) 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 가시화 속도 향상 방법
JP2015103960A (ja) 画像奥行き指定方法、プログラム、および装置
EP4095805A1 (en) Frame interpolation for rendered content
CN117495935A (zh) 一种基于交叉特征提取窗口与动态特征融合窗口的深度补全方法
KR20120110805A (ko) 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 화면 가시화 방법
KR20120110807A (ko) 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6