KR20100062360A - 깊이 추정 장치 및 방법 - Google Patents

깊이 추정 장치 및 방법 Download PDF

Info

Publication number
KR20100062360A
KR20100062360A KR1020080120965A KR20080120965A KR20100062360A KR 20100062360 A KR20100062360 A KR 20100062360A KR 1020080120965 A KR1020080120965 A KR 1020080120965A KR 20080120965 A KR20080120965 A KR 20080120965A KR 20100062360 A KR20100062360 A KR 20100062360A
Authority
KR
South Korea
Prior art keywords
depth
depth value
value
pixel
selector
Prior art date
Application number
KR1020080120965A
Other languages
English (en)
Other versions
KR101491556B1 (ko
Inventor
백아론
김지원
정용주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20080120965A priority Critical patent/KR101491556B1/ko
Priority to US12/453,213 priority patent/US8712145B2/en
Publication of KR20100062360A publication Critical patent/KR20100062360A/ko
Application granted granted Critical
Publication of KR101491556B1 publication Critical patent/KR101491556B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

입력 영상에 대한 적어도 하나의 특성(feature) 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정하는 깊이 추정 장치가 개시된다.
깊이, 추정, 특성, 위치, 후보, 3D

Description

깊이 추정 장치 및 방법{DEVICE AND METHOD FOR DEPTH ESTIMATION}
깊이(depth) 추정 장치 및 방법이 개시된다. 특히, 깊이 정보가 포함되어 있지 않은 2D의 단안 영상을 3D 영상(Stereoscopic Video)으로 변환할 때, 필요한 깊이 정보를 제공할 수 있는 깊이 추정 장치 및 방법이 개시된다.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다.
결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
최근에는 깊이 정보가 없는 단안(monocular) 영상에 깊이 정보를 부가하여 2D 영상을 3D 영상으로 제공하고자 하는 기술에 대해 많은 연구가 진행되고 있다.
2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다. 따라서, 깊이 정보가 없는 2D 영상으로부터 깊이 정보를 추정할 수 있도록 하는 기술에 대한 연구가 필요하다.
본 발명의 일실시예에 따른 깊이 추정 장치는 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부 및 상기 적어도 하나의 특성 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정하는 깊이 추정부를 포함한다.
또한, 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치는 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부, 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)를 적어도 하나의 블록(block)으로 구분한 후, 상기 적어도 하나의 특성 정보와 상기 적어도 하나의 블록의 위치(position) 및 상기 적어도 하나의 블록과 인접 블록들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 블록에 대한 깊이 값을 추정하는 깊이 추정부 및 상기 깊이 값이 저장된 깊이 맵(depth map)을 상기 적어도 하나의 화소 단위로 업-스케일링(Up-Scaling)하는 업-스케일링부를 포함한다.
또한, 본 발명의 일실시예에 따른 깊이 추정 방법은 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 단계 및 상기 적어도 하나의 특성 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정하는 단계를 포함한다.
입력 영상의 특성(feature), 화소(pixel)(또는 블록(block))의 위치(position) 및 인접 화소(또는 블록)들 사이의 깊이(depth) 관계를 고려하여 입력 영상을 3D 영상(Stereoscopic Video)으로 변환하는데 필요한 깊이를 추정하는 장치 및 방법을 제공함으로써, 정확한 깊이 정보를 바탕으로 2D 영상이 3D 영상으로 변환되도록 할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 깊이 추정 장치(120)가 도시되어 있다.
깊이 추정 장치(120)는 특성 정보 추출부(121) 및 깊이 추정부(122)를 포함할 수 있다.
깊이 추정 장치(120)에 입력 영상(110)이 입력되면, 특성 정보 추출부(121)는 입력 영상(110)에 대한 적어도 하나의 특성(feature) 정보를 추출한다.
본 발명의 일실시예에 따르면, 입력 영상(110)은 단안(monocular) 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경 계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.
깊이 추정부(122)는 상기 적어도 하나의 특성 정보와 입력 영상(110)을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정한다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(120)는 입력 영상(110)의 특성 정보와 입력 영상(110)을 구성하는 화소의 위치 및 인접 화소들의 깊이 값을 기초로 입력 영상(110)에 대한 깊이 값을 추정함으로써, 정확한 깊이 정보를 바탕으로 2D의 입력 영상(110)이 3D 영상(Stereoscopic Video)으로 변환되도록 할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(120)는 도 1에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 2 내지 도 6를 참조하여 깊이 추정 장치(120)의 다양한 실시예에 대해 살펴보기로 한다.
도 2는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 깊이 추정 장치(220)가 도시되어 있다.
깊이 추정 장치(220)는 특성 정보 추출부(221) 및 깊이 추정부(222)를 포함할 수 있다.
깊이 추정 장치(220)에 입력 영상(210)이 입력되면, 특성 정보 추출부(221) 는 입력 영상(210)에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 입력 영상(210)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 추정부(222)는 상기 적어도 하나의 특성 정보와 입력 영상(210)을 구성하는 적어도 하나의 화소의 위치 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정한다.
본 발명의 일실시예에 따르면, 깊이 추정부(222)는 제1 깊이 선정부(223), 제2 깊이 선정부(224) 및 깊이 선택부(225)를 포함할 수 있다.
제1 깊이 선정부(223)는 상기 적어도 하나의 특성 정보에 기초하여 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 제1 깊이 값을 선정한다.
예컨대, 특성 정보 추출부(221)가 입력 영상(210)의 휘도 정보를 추출한 경우, 제1 깊이 선정부(223)는 상기 적어도 하나의 화소에 대해, 상기 적어도 하나의 화소 간 휘도 정보의 유사도를 고려하여 상기 제1 깊이 값을 선정할 수 있다.
제2 깊이 선정부(224)는 상기 적어도 하나의 화소의 위치에 기초하여 상기 적어도 하나의 화소에 대한 제2 깊이 값을 선정한다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 선정부(224)는 상기 적어도 하나의 화소의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정할 수 있다.
일반적으로, 입력 영상(210)의 상단에 존재하는 피사체는 입력 영상(210)의 하단에 존재하는 피사체보다 원거리 위치해 있을 수 있다. 따라서, 제2 깊이 선정부(224)는 상기 적어도 하나의 화소가 입력 영상(210)의 상단에 위치해 있는 경우, 상기 제2 깊이 값을 큰 값으로 선정할 수 있고, 상기 적어도 하나의 화소가 입력 영상(210)의 하단에 위치해 있는 경우, 상기 제2 깊이 값을 작은 값으로 선정할 수 있다.
예컨대, 제2 깊이 선정부(224)가 a 화소, b 화소, c 화소에 대한 제2 깊이 값을 선정한다고 가정하자.
만약, a 화소는 입력 영상(210)의 하단에 위치하고, b 화소는 입력 영상(210)의 중단에 위치하며, c 화소는 입력 영상(210)의 상단에 위치하는 경우, 제2 깊이 선정부(224)는 c 화소의 제2 깊이 값을 가장 큰 값으로 선정하고, a 화소의 제2 깊이 값을 가장 작은 값으로 선정하며, b 화소의 제2 깊이 값을 중간 크기의 값으로 선정할 수 있다.
이와 관련하여, 본 발명의 일실시예에 따르면, 제2 깊이 선정부(224)는 하기의 수학식 1을 이용하여 상기 제2 깊이 값을 선정할 수 있다.
Figure 112008083050907-PAT00001
여기서, y는 상기 적어도 하나의 화소의 수직 이미지 좌표 값, R은 제2 깊이 값의 범위(Range)(예컨대, 제2 깊이 값이 0~255의 값을 갖는 경우, R은 255가 될 수 있음), N은 입력 영상(210)을 구성하는 수평 라인의 개수를 의미한다.
결국, 제2 깊이 선정부(224)는 상기 적어도 하나의 화소가 입력 영상(210)의 상단에 위치할수록 y 값이 증가하므로, 상기 제2 깊이 값을 큰 값으로 선정할 수 있다.
깊이 선택부(225)는 상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 화소들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된(predetermined) 후보 깊이 값 중에서 상기 적어도 하나의 화소에 대한 깊이 값을 선택한다.
이때, 본 발명의 일실시예에 따르면, 깊이 선택부(225)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산할 수 있다.
또한, 깊이 선택부(225)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산할 수 있다.
또한, 깊이 선택부(225)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산할 수 있다.
그리고 나서, 깊이 선택부(225)는 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값으로 선택할 수 있다.
이와 관련하여 깊이 선택부(225)의 동작을 예를 들어 상세히 설명하기로 한 다.
이를 위해, 깊이 추정부(222)가 a 화소에 대한 깊이 값을 추정하는 과정을 이용하여 깊이 선택부(225)의 동작을 설명하기로 한다.
먼저, 상기 a 화소에 대한 적어도 하나의 선정된 후보 깊이 값을 x, y, z라고 가정하자. 그리고, a 화소에 인접한 화소는 b 화소라고 가정하자.
깊이 선택부(225)는 x, y, z와, a 화소에 대한 제1 깊이 값 사이의 크기 차를 연산한다.
이 결과, x, y, z와 제1 깊이 값 사이에 연산된 각각의 크기 차는 x', y', z'이 된다고 가정하자.
그리고, 깊이 선택부(225)는 x, y, z와, a 화소에 대한 제2 깊이 값 사이의 크기 차를 연산한다.
이 결과, x, y, z와 제2 깊이 값 사이에 연산된 각각의 크기 차는 x'', y'', z''이 된다고 가정하자.
마지막으로, 깊이 선택부(225)는 x, y, z와, b 화소 대한 제3 깊이 값 사이의 크기 차를 연산한다.
이 결과, x, y, z와 제3 깊이 값 사이에 연산된 각각의 크기 차는 x''', y''', z'''이 된다고 가정하자.
이때, 깊이 선택부(225)는 x', x'', x'''의 합(이하, '제1 합')과 y', y'', y'''의 합(이하, '제2 합') 및 z', z'', z'''의 합(이하, '제3 합')을 비교하여 x, y, z 중에서 상기 합이 최소가 되는 깊이 값을 a 화소에 대한 깊이 값으로 선택할 수 있다.
예컨대, 상기 제1 합, 상기 제2 합 및 상기 제3 합 중에서 상기 제1 합이 최소가 되는 경우, 깊이 선택부(225)는 x를 a 화소에 대한 깊이 값으로 선택할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대해 적어도 하나의 후보 깊이 값을 선정한 후, 상기 후보 깊이 값들 중에서 입력 영상(210)의 특성 정보에 따라 추정된 제1 깊이 값과 상기 적어도 하나의 화소의 위치에 따라 추정된 제2 깊이 값 및 상기 적어도 하나의 화소에 인접한 화소들에 대한 제3 깊이 값에 가장 근접한 후보 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값으로 선택함으로써, 2D의 입력 영상(210)이 3D 영상으로 변환될 때 필요한 깊이 정보를 정확히 추정할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 선택부(225)는 상기 제1 크기 차에 대해 선정된 제1 가중치(weight)를 적용하고, 상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며, 상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택할 수 있다.
이에 대해, 전술한 예를 이용하여 상세히 설명하기로 한다.
먼저, 제1 가중치를 λ1, 제2 가중치를 λ2, 제3 가중치를 λ3라고 가정하자.
이 경우, 상기 제1 합은 λ1x'+ λ2x''+ λ3x'''이 되고, 상기 제2 합은 λ 1y'+ λ2y''+ λ3y'''이 되며, 상기 제3 합은 λ1z'+ λ2z''+ λ3z'''이 된다.
이때, 깊이 선택부(225)는 x, y, z 중에서 상기 합이 최소가 되는 깊이 값을 a 화소에 대한 깊이 값으로 선택할 수 있다.
예컨대, 상기 제1 합이 최소가 되는 경우, 깊이 선택부(225)는 x를 a 화소에 대한 깊이 값으로 선택할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 상기 제1 크기 차와 상기 제2 크기 차 및 상기 제3 크기 차에 대해 서로 다른 가중치를 적용함으로써, 입력 영상(210)의 특성 정보, 화소의 위치 및 인접 화소들의 깊이 값이 입력 영상(210)의 깊이 값 추정에 미치는 영향력을 그 중요도에 따라 조정할 수 있다.
이와 관련하여, 깊이 선택부(225)는 하기의 수학식 2를 이용하여 상기 적어도 하나의 화소에 대한 깊이 값을 선택할 수 있다.
Figure 112008083050907-PAT00002
여기서, dc는 상기 적어도 하나의 선정된 후보 깊이 값, df는 상기 제1 깊이 값, dp는 상기 제2 깊이 값, ds는 상기 제3 깊이 값,
Figure 112008083050907-PAT00003
는 상기 적어도 하나의 화소에 인접한 화소들 세트(set), λf는 제1 가중치, λp는 제2 가중치, λs는 제3 가중치,
Figure 112008083050907-PAT00004
는 상기 적어도 하나의 선정된 후보 깊이 값 세트를 의미한다.
상기 수학식 2에서 볼 수 있듯이, 깊이 선택부(225)는 상기 적어도 하나의 선정된 후보 깊이 값에 대해 C(dc)를 연산한 후, 상기 적어도 하나의 선정된 후보 깊이 값 중(
Figure 112008083050907-PAT00005
)에서 C(dc)가 최소가 되는 후보 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값 d로 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 선정된 후보 깊이 값은 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 깊이 값, 상기 적어도 하나의 화소에 인접한 화소들에 대한 깊이 값 또는 랜덤(Random) 선택된 깊이 값 중 어느 하나 이상을 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 선택부(225)는 상기 적어도 하나의 화소에 대한 깊이 값 선택 과정을 반복 수행할 수 있다.
이에 대해, 깊이 선택부(225)의 동작을 도 3을 참조하여 상세히 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 깊이 선택부의 동작을 도시한 블록도이다.
먼저, 전술한 바와 같이, 선정된 후보 깊이 값(340)은 입력 영상(210)을 구 성하는 적어도 하나의 화소에 대한 깊이 값(310), 인접 화소들의 깊이 값(320) 또는 랜덤 선택된 깊이 값(330)이 될 수 있다.
깊이 선택부(225)는 선정된 후보 깊이 값(340)들과 상기 제1 깊이 값, 상기 제2 깊이 값 및 상기 제3 깊이 값을 이용하여 제1 크기 차(351), 제2 크기 차(352) 및 제3 크기 차(353)를 연산할 수 있다.
그리고, 깊이 선택부(225)는 상기 수학식 2와 같이, 제1 크기 차(351), 제2 크기 차(352) 및 제3 크기 차(353)에 대해 각각 제1 가중치, 제2 가중치 및 제3 가중치를 적용한 후 제1 크기 차(351), 제2 크기 차(352) 및 제3 크기 차(353)의 합을 연산(360)할 수 있다.
그리고 나서, 깊이 선택부(225)는 선정된 후보 깊이 값(340)들 중에서 제1 크기 차(351), 제2 크기 차(352) 및 제3 크기 차(353)의 합이 최소가 되는 후보 깊이 값을 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 깊이 값으로 선택(370)할 수 있다.
상기 적어도 하나의 화소에 대한 깊이 값이 선택(370)되었으면, 선택된 깊이 값은 입력 영상(210)을 3D 영상으로 렌더링(rendering)하기 위해 사용될 깊이 맵(380)에 저장될 수 있다.
이때, 깊이 선택부(225)는 깊이 맵(380)에 저장된 상기 적어도 하나의 화소에 대한 깊이 값을 선정된 후보 깊이 값들로 재사용(310, 320)함으로써, 상기 적어도 하나의 화소에 대한 깊이 값 선택 과정을 반복 수행할 수 있다.
예컨대, 입력 영상(210)이 a, b, c 화소로 구성되어 있다고 가정하자. 그 리고, b 화소와 c 화소는 a 화소에 인접한 화소인 것으로 가정하자.
만약, 깊이 선택부(225)가 도 3에 도시된 깊이 값 선택 과정을 1회 수행한 결과, a 화소에 대해 선택된 깊이 값이 x이고, b 화소에 대해 선택된 깊이 값이 y이며, c 화소에 대해 선택된 깊이 값이 z인 경우, 깊이 선택부(225)는 x, y, z를 선정된 후보 깊이 값(340)으로 재사용함으로써, 도 3에 도시된 깊이 값 선택 과정을 반복 수행할 수 있다.
이때, 깊이 선택부(225)가 a 화소에 대한 깊이 값을 선택하는 경우를 가정하면, 상기 깊이 값 x는 선정된 후보 깊이 값(340)들 중에서 a 화소에 대한 현재 깊이 값(310)에 해당하고, 상기 깊이 값 y, z는 선정된 후보 깊이 값(340)들 중에서 인접 화소들에 대한 깊이 값(320)에 해당할 수 있다.
즉, 이전 프레임(frame)에서 깊이 선택부(225)가 선택한 깊이 값은 현재 프레임(frame)의 깊이 값 선택 과정을 위한 후보 깊이 값들로 사용될 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 선택부(225)가 상기 적어도 하나의 화소에 대한 깊이 값 선택 과정을 반복 수행함으로써, 입력 영상(210)에 대한 깊이 값을 정확히 추정할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 입력 영상(210)을 구성하는 적어도 하나의 화소 각각에 대해, 전술한 깊이 값 추정 과정을 동시에 수행할 수 있다.
예컨대, 입력 영상(210)이 a, b, c 화소로 구성되어 있다고 가정하자.
이 경우, 깊이 추정 장치(220)는 a, b, c 화소들의 깊이 값을 각각 따로 추 정할 수 있을 뿐만 아니라 a, b, c 화소에 대한 깊이 값을 동시에 추정할 수 있다.
이와 관련하여, 깊이 추정 장치(220)가 상기 깊이 값을 동시에 추정하는 과정에 대한 예를 도 4를 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 깊이 추정 장치의 동작을 개념적으로 도시한 도면이다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 도면 부호 410과 420에 도시된 바와 같이, EVEN에 해당하는 화소들에 대해 깊이 값 추정 과정을 동시에 수행한 후, ODD에 해당하는 화소들에 대해 깊이 값 추정 과정을 동시에 수행할 수 있다.
먼저, 깊이 추정 장치(220)는 도면 부호 410에 도시된 바와 같이, 인접 화소들인 ODD 화소들의 깊이 값을 참조하여 EVEN에 해당하는 화소들에 대한 깊이 값을 동시에 추정할 수 있다.
그리고 나서, 깊이 추정 장치(220)는 도면 부호 420에 도시된 바와 같이, 인접 화소들인 EVEN 화소들의 깊이 값을 참조하여 ODD에 해당하는 화소들에 대한 깊이 값을 동시에 추정할 수 있다.
만약, 깊이 추정 장치(220)가 입력 영상(210)을 구성하는 적어도 하나의 화소 전체에 대해 동시에 깊이 값 추정 과정을 수행하는 경우, 깊이 추정 장치(220)는 인접 화소들의 깊이 값을 이용하여 입력 영상(210)에 대한 깊이 값을 추정하기 때문에, 깊이 값 추정 과정에서 발생하는 연산이 매우 복잡해 질 수 있다.
따라서, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 도면 부호 410 과 420에 도시된 바와 같이, 입력 영상(210)을 구성하는 적어도 하나의 화소를 EVEN에 해당하는 화소와 ODD에 해당하는 화소로 구분한 후, EVEN에 해당하는 화소와 ODD에 해당하는 화소 각각에 대해 깊이 값 추정 과정을 동시에 수행함으로써, 깊이 값 추정 과정에서 발생하는 연산의 복잡성을 줄일 수 있다.
다만, 도 4에 도시된 실시예는 본 발명의 일례에 불과한 것으로 본 발명이 반드시 이에 한정되는 것은 아니다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 입력 영상(210)에 대한 깊이 값을 추정하기 위해, 지금까지 설명한 바와 같이, 입력 영상(210)을 구성하는 적어도 하나의 화소에 대해 깊이 값을 추정할 수 있을 뿐만 아니라, 상기 적어도 하나의 화소를 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록 단위로 깊이 값을 추정할 수 있다.
그리고 나서, 깊이 추정 장치(220)는 상기 깊이 값이 저장된 깊이 맵을 업-스케일링(Up-Scaling)함으로써, 상기 적어도 하나의 화소에 대해 깊이 값이 설정되도록 할 수 있다.
이로 인해, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 값 추정 과정에서 발생하는 연산을 간소화할 수 있다.
따라서, 이하에서는 도 5 내지 도 6을 참조하여 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 5를 참조하면, 깊이 추정 장치(520)가 도시되어 있다.
깊이 추정 장치(520)는 특성 정보 추출부(521), 깊이 추정부(522) 및 업-스케일링부(523)를 포함할 수 있다.
특성 정보 추출부(521)는 입력 영상(510)에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 입력 영상(510)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 추정부(522)는 입력 영상(510)을 구성하는 적어도 하나의 화소를 적어도 하나의 블록으로 구분한 후, 상기 적어도 하나의 특성 정보와 상기 적어도 하나의 블록의 위치 및 상기 적어도 하나의 블록과 인접 블록들 사이의 깊이 관계를 고려하여 상기 적어도 하나의 블록에 대한 깊이 값을 추정한다.
업-스케일링부(523)는 상기 깊이 값이 저장된 깊이 맵을 상기 적어도 하나의 화소 단위로 업-스케일링한다.
도 6은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 6을 참조하면, 깊이 추정 장치(620)가 도시되어 있다.
깊이 추정 장치(620)는 특성 정보 추출부(621), 깊이 추정부(622) 및 업-스케일링부(626)를 포함할 수 있다.
특성 정보 추출부(621)는 입력 영상(610)에 대한 적어도 하나의 특성 정보 를 추출한다.
본 발명의 일실시예에 따르면, 입력 영상(610)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 추정부(622)는 입력 영상(610)을 구성하는 적어도 하나의 화소를 적어도 하나의 블록으로 구분한 후, 상기 적어도 하나의 특성 정보와 상기 적어도 하나의 블록의 위치 및 상기 적어도 하나의 블록과 인접 블록들 사이의 깊이 관계를 고려하여 상기 적어도 하나의 블록에 대한 깊이 값을 추정한다.
본 발명의 일실시예에 따르면, 깊이 추정부(622)는 제1 깊이 선정부(623), 제2 깊이 선정부(624) 및 깊이 선택부(625)를 포함할 수 있다.
제1 깊이 선정부(623)는 상기 적어도 하나의 특성 정보에 기초하여 상기 적어도 하나의 블록에 대한 제1 깊이 값을 선정한다.
제2 깊이 선정부(624)는 상기 적어도 하나의 블록의 위치에 기초하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 선정한다.
본 발명의 일실시예에 따르면, 제2 깊이 선정부(624)는 상기 적어도 하나의 블록의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 선정부(624)는 상기 수학식 1을 이용하여 상기 제2 깊이 값을 선정할 수 있다.
이때, y는 상기 적어도 하나의 블록의 수직 이미지 좌표값을 의미한다.
깊이 선택부(625)는 상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 블 록들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된 후보 깊이 값 중에서 상기 적어도 하나의 블록에 대한 깊이 값을 선택한다.
이때, 본 발명의 일실시예에 따르면, 깊이 선택부(625)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산할 수 있다.
또한, 깊이 선택부(625)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산할 수 있다.
또한, 깊이 선택부(625)는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산할 수 있다.
그리고 나서, 깊이 선택부(625)는 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 블록에 대한 깊이 값으로 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 선택부(625)는 상기 제1 크기 차에 대해 선정된 제1 가중치를 적용하고, 상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며, 상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 선택부(625)는 상기 수학식 2를 이용하여 상기 깊이 값을 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 선정된 후보 깊이 값은 입력 영상(610)을 구성하는 적어도 하나의 블록에 대한 깊이 값, 상기 적어도 하나의 블록에 인접한 블록들에 대한 깊이 값 또는 랜덤 선택된 깊이 값 중 어느 하나 이상을 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 선택부(625)는 상기 적어도 하나의 블록에 대한 깊이 값 선택 과정을 반복 수행할 수 있다.
업-스케일링부(626)는 상기 적어도 하나의 블록에 대한 깊이 값이 저장된 깊이 맵을 상기 적어도 하나의 화소 단위로 업-스케일링한다.
이상, 도 5 및 도 6를 참조하여 본 발명의 일실시예에 따른 깊이 추정 장치에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 깊이 추정 장치는 도 1 내지 도 4을 이용하여 설명한 깊이 추정 장치의 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
도 7은 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S710)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 입력 영상은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S720)에서는 상기 적어도 하나의 특성 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소의 위치 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정한다.
본 발명의 일실시예에 따르면, 단계(S720)은 제1 깊이 값을 선정하는 단계 등을 포함할 수 있는데, 이하에서는 도 8을 참조하여 단계(S720)에 대해 상세히 설 명하기로 한다.
도 8은 본 발명의 일실시예에 따른 깊이 값을 추정하는 단계를 도시한 순서도이다.
본 발명의 일실시예에 따르면, 단계(S710)에서는 단계(S810), 단계(S820) 및 단계(S830)을 포함할 수 있다.
단계(S810)에서는 상기 적어도 하나의 특성 정보에 기초하여 상기 적어도 하나의 화소에 대한 제1 깊이 값을 선정한다.
단계(S820)에서는 상기 적어도 하나의 화소의 위치에 기초하여 상기 적어도 하나의 화소에 대한 제2 깊이 값을 선정한다.
본 발명의 일실시예에 따르면, 단계(S820)에서는 상기 적어도 하나의 화소의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S820)에서는 상기 수학식 1을 이용하여 상기 제2 깊이 값을 선정할 수 있다.
단계(S830)에서는 상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 화소들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된 후보 깊이 값 중에서 상기 적어도 하나의 화소에 대한 깊이 값을 선택한다.
이때, 본 발명의 일실시예에 따르면, 단계(S830)에서는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산할 수 있다.
또한, 단계(S830)에서는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산할 수 있다.
또한, 단계(S830)에서는 상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산할 수 있다.
이때, 단계(S830)에서는 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값으로 선택할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S830)에서는 상기 제1 크기 차에 대해 선정된 제1 가중치를 적용하고, 상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며, 상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S830)에서는 상기 수학식 2를 이용하여 상기 깊이 값을 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 선정된 후보 깊이 값은 상기 입력 영상을 구성하는 적어도 하나의 화소에 대한 깊이 값, 상기 적어도 하나의 화소에 인접한 화소들에 대한 깊이 값 또는 랜덤 선택된 깊이 값 중 어느 하나 이상을 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S830)에서는 상기 적어도 하나의 화소에 대한 깊이 값 선택 과정을 반복 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 깊이 추정 방법은 상기 입력 영상에 대한 깊이 값을 추정하기 위해, 상기 입력 영상을 구성하는 적어도 하나의 화소에 대해 깊이 값을 추정할 수 있을 뿐만 아니라, 상기 적어도 하나의 화소를 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록 단위로 깊이 값을 추정할 수 있다.
그리고 나서, 본 발명의 일실시예에 따른 깊이 추정 방법은 상기 깊이 값이 저장된 깊이 맵을 업-스케일링함으로써, 상기 적어도 하나의 화소에 대해 깊이 값이 설정되도록 할 수 있다.
이상, 도 7 및 도 8를 참조하여 본 발명의 일실시예에 따른 깊이 추정 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 깊이 추정 방법는 도 1 내지 도 4을 이용하여 설명한 깊이 추정 장치의 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명에 따른 깊이 추정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 깊이 선택부의 동작을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 깊이 추정 장치의 동작을 개념적으로 도시한 도면이다.
도 5는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 6은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 8은 본 발명의 일실시예에 따른 깊이 값을 추정하는 단계를 도시한 순서도이다.

Claims (20)

  1. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부; 및
    상기 적어도 하나의 특성 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정하는 깊이 추정부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  2. 제1항에 있어서,
    상기 깊이 추정부는,
    상기 적어도 하나의 특성 정보에 기초하여 상기 적어도 하나의 화소에 대한 제1 깊이 값을 선정하는 제1 깊이 선정부;
    상기 적어도 하나의 화소의 위치에 기초하여 상기 적어도 하나의 화소에 대한 제2 깊이 값을 선정하는 제2 깊이 선정부; 및
    상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 화소들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된(predetermined) 후보 깊이 값 중에서 상기 깊이 값을 선택하는 깊이 선택부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  3. 제2항에 있어서,
    상기 깊이 선택부는,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산하고,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산하며,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산하여 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값으로 선택하는 것을 특징으로 하는 깊이 추정 장치.
  4. 제3항에 있어서,
    상기 깊이 선택부는,
    상기 제1 크기 차에 대해 선정된 제1 가중치(weight)를 적용하고,
    상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며,
    상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택하는 것을 특징으로 하는 깊이 추정 장치.
  5. 제2항에 있어서,
    상기 적어도 하나의 선정된 후보 깊이 값은,
    상기 적어도 하나의 화소에 대한 깊이 값, 상기 인접 화소들에 대한 깊이 값 또는 랜덤(Random) 선택된 깊이 값 중 어느 하나 이상을 포함하는 것을 특징으로 하는 깊이 추정 장치.
  6. 제2항에 있어서,
    상기 제2 깊이 선정부는,
    상기 적어도 하나의 화소의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정하는 것을 특징으로 하는 깊이 추정 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 중 어느 하나 이상을 포함하는 것을 특징으로 하는 깊이 추정 장치.
  8. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 특성 정보 추출부;
    상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)를 적어도 하나의 블록(block)으로 구분한 후, 상기 적어도 하나의 특성 정보와 상기 적어도 하나의 블 록의 위치(position) 및 상기 적어도 하나의 블록과 인접 블록들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 블록에 대한 깊이 값을 추정하는 깊이 추정부; 및
    상기 깊이 값이 저장된 깊이 맵(depth map)을 상기 적어도 하나의 화소 단위로 업-스케일링(Up-Scaling)하는 업-스케일링부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  9. 제8항에 있어서,
    상기 깊이 추정부는,
    상기 적어도 하나의 특성 정보에 기초하여 상기 적어도 하나의 블록에 대한 제1 깊이 값을 선정하는 제1 깊이 선정부;
    상기 적어도 하나의 블록의 위치에 기초하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 선정하는 제2 깊이 선정부; 및
    상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 블록들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된(predetermined) 후보 깊이 값 중에서 상기 깊이 값을 선택하는 깊이 선택부
    를 포함하는 것을 특징으로 하는 깊이 추정 장치.
  10. 제9항에 있어서,
    상기 깊이 선택부는,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산하고,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산하며,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산하여 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 블록에 대한 깊이 값으로 선택하는 것을 특징으로 하는 깊이 추정 장치.
  11. 제10항에 있어서,
    상기 깊이 선택부는,
    상기 제1 크기 차에 대해 선정된 제1 가중치(weight)를 적용하고,
    상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며,
    상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택하는 것을 특징으로 하는 깊이 추정 장치.
  12. 제9항에 있어서,
    상기 적어도 하나의 선정된 후보 깊이 값은,
    상기 적어도 하나의 블록에 대한 깊이 값, 상기 인접 블록들에 대한 깊이 값 또는 랜덤(Random) 선택된 깊이 값 중 어느 하나 이상을 포함하는 것을 특징으로 하는 깊이 추정 장치.
  13. 제9항에 있어서,
    상기 제2 깊이 선정부는,
    상기 적어도 하나의 블록의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정하는 것을 특징으로 하는 깊이 추정 장치.
  14. 입력 영상에 대한 적어도 하나의 특성(feature) 정보를 추출하는 단계; 및
    상기 적어도 하나의 특성 정보와 상기 입력 영상을 구성하는 적어도 하나의 화소(pixel)의 위치(position) 및 상기 적어도 하나의 화소와 인접 화소들 사이의 깊이(depth) 관계를 고려하여 상기 적어도 하나의 화소에 대한 깊이 값을 추정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 추정 방법.
  15. 제14항에 있어서,
    상기 깊이 값을 추정하는 단계는,
    상기 적어도 하나의 특성 정보에 기초하여 상기 적어도 하나의 화소에 대한 제1 깊이 값을 선정하는 단계;
    상기 적어도 하나의 화소의 위치에 기초하여 상기 적어도 하나의 화소에 대 한 제2 깊이 값을 선정하는 단계; 및
    상기 제1 깊이 값과 상기 제2 깊이 값 및 상기 인접 화소들에 대한 제3 깊이 값에 기초하여 적어도 하나의 선정된(predetermined) 후보 깊이 값 중에서 상기 깊이 값을 선택하는 단계
    를 포함하는 것을 특징으로 하는 깊이 추정 방법.
  16. 제15항에 있어서,
    상기 깊이 값을 선택하는 단계는,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제1 깊이 값 사이의 제1 크기 차를 연산하고,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제2 깊이 값 사이의 제2 크기 차를 연산하며,
    상기 적어도 하나의 선정된 후보 깊이 값과 상기 제3 깊이 값 사이의 제3 크기 차를 연산하여 상기 적어도 하나의 선정된 후보 깊이 값 중에서 상기 제1 크기 차, 상기 제2 크기 차 및 상기 제3 크기 차의 합이 최소가 되는 깊이 값을 상기 적어도 하나의 화소에 대한 깊이 값으로 선택하는 것을 특징으로 하는 깊이 추정 방법.
  17. 제16항에 있어서,
    상기 깊이 값을 선택하는 단계는,
    상기 제1 크기 차에 대해 선정된 제1 가중치(weight)를 적용하고,
    상기 제2 크기 차에 대해 선정된 제2 가중치를 적용하며,
    상기 제3 크기 차에 대해 선정된 제3 가중치를 적용하여 상기 깊이 값을 선택하는 것을 특징으로 하는 깊이 추정 방법.
  18. 제15항에 있어서,
    상기 적어도 하나의 선정된 후보 깊이 값은,
    상기 적어도 하나의 화소에 대한 깊이 값, 상기 인접 화소들에 대한 깊이 값 또는 랜덤(Random) 선택된 깊이 값 중 어느 하나 이상을 포함하는 것을 특징으로 하는 깊이 추정 방법.
  19. 제15항에 있어서,
    상기 제2 깊이 값을 선정하는 단계는,
    상기 적어도 하나의 화소의 수직 이미지 좌표 값에 기초하여 상기 제2 깊이 값을 선정하는 것을 특징으로 하는 깊이 추정 방법.
  20. 제14항 내지 제19항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR20080120965A 2008-12-02 2008-12-02 깊이 추정 장치 및 방법 KR101491556B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20080120965A KR101491556B1 (ko) 2008-12-02 2008-12-02 깊이 추정 장치 및 방법
US12/453,213 US8712145B2 (en) 2008-12-02 2009-05-01 Depth estimation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080120965A KR101491556B1 (ko) 2008-12-02 2008-12-02 깊이 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100062360A true KR20100062360A (ko) 2010-06-10
KR101491556B1 KR101491556B1 (ko) 2015-02-09

Family

ID=42222863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080120965A KR101491556B1 (ko) 2008-12-02 2008-12-02 깊이 추정 장치 및 방법

Country Status (2)

Country Link
US (1) US8712145B2 (ko)
KR (1) KR101491556B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077508A1 (ko) * 2011-11-24 2013-05-30 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20160086802A (ko) * 2016-07-11 2016-07-20 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087194B (zh) 2010-12-13 2020-02-11 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
US20120206442A1 (en) * 2011-02-14 2012-08-16 Dong Tian Method for Generating Virtual Images of Scenes Using Trellis Structures
US20120206440A1 (en) * 2011-02-14 2012-08-16 Dong Tian Method for Generating Virtual Images of Scenes Using Trellis Structures
US20120293637A1 (en) * 2011-05-20 2012-11-22 Echostar Technologies L.L.C. Bufferless 3D On Screen Display
JP2012247891A (ja) * 2011-05-26 2012-12-13 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR101227569B1 (ko) * 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
JP5840114B2 (ja) * 2011-11-30 2016-01-06 三菱電機株式会社 仮想画像を生成する方法
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
CN102722862B (zh) * 2012-05-22 2014-08-20 山东大学 采用优化技术的单张图片半自动二维转三维方法和装置
US9013549B2 (en) * 2012-05-24 2015-04-21 Silicon Integrated Systems Corp. Depth map generation for conversion of two-dimensional image data into three-dimensional image data
CN102750702B (zh) * 2012-06-21 2014-10-15 东华大学 基于优化bp神经网络模型的单目红外图像深度估计方法
CN103313086B (zh) * 2013-06-05 2017-02-08 樊燚 一种全高清3d视频处理方法及装置
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
EP3506205A1 (en) 2017-12-27 2019-07-03 Thomson Licensing Method and apparatus for depth-map estimation
CN112446946A (zh) * 2019-08-28 2021-03-05 深圳市光鉴科技有限公司 基于稀疏深度与边界的深度重建方法、系统、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
KR20100008677A (ko) * 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077508A1 (ko) * 2011-11-24 2013-05-30 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130057586A (ko) * 2011-11-24 2013-06-03 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20160086802A (ko) * 2016-07-11 2016-07-20 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Also Published As

Publication number Publication date
US20100135581A1 (en) 2010-06-03
KR101491556B1 (ko) 2015-02-09
US8712145B2 (en) 2014-04-29

Similar Documents

Publication Publication Date Title
KR101491556B1 (ko) 깊이 추정 장치 및 방법
US9137512B2 (en) Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
KR102214934B1 (ko) 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
KR20200049833A (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
JP2020535547A5 (ja) 深度推定方法及び装置、電子機器並びに媒体
KR101502362B1 (ko) 영상처리 장치 및 방법
US20100073364A1 (en) Conversion method and apparatus with depth map generation
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
KR101580284B1 (ko) 중간 시점 영상 생성 장치 및 방법
KR20110047791A (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
JP2011081605A (ja) 画像処理装置、方法及びプログラム
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
KR102264962B1 (ko) 레이아웃 정보를 이용한 깊이 영상 후처리 방법
CN108305269B (zh) 一种双目图像的图像分割方法及系统
KR101626679B1 (ko) 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체
JP2014167693A (ja) 複数カメラを用いた奥行き推定装置
KR20140067253A (ko) 영상 처리 장치 및 방법
KR101344943B1 (ko) 실시간 스테레오 정합 시스템
TWI836117B (zh) 基於多個視訊訊框的深度偵測的方法及系統
KR101526868B1 (ko) 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
JP5654956B2 (ja) 視差画像生成装置および視差画像生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee