KR101183863B1 - 깊이 맵의 생성 - Google Patents

깊이 맵의 생성 Download PDF

Info

Publication number
KR101183863B1
KR101183863B1 KR1020067016549A KR20067016549A KR101183863B1 KR 101183863 B1 KR101183863 B1 KR 101183863B1 KR 1020067016549 A KR1020067016549 A KR 1020067016549A KR 20067016549 A KR20067016549 A KR 20067016549A KR 101183863 B1 KR101183863 B1 KR 101183863B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel
values
image
value
Prior art date
Application number
KR1020067016549A
Other languages
English (en)
Other versions
KR20060124704A (ko
Inventor
패비안 이. 에른스트
피터-안드레 레데르트
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060124704A publication Critical patent/KR20060124704A/ko
Application granted granted Critical
Publication of KR101183863B1 publication Critical patent/KR101183863B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Credit Cards Or The Like (AREA)
  • Adornments (AREA)
  • Slot Machines And Peripheral Devices (AREA)

Abstract

본 발명은 이미지(100)의 각각의 화소들에 대하여 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵(122)을 생성하는 방법에 관한 것이다. 본 발명은 화소들 중 제1 화소(108)로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소(110)로의 경로(112) 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소(108)에 대한 비용 값을 계산하는 단계; 및 비용 값에 기초하여 화소들 중 제1 화소(108)에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 단계를 포함한다.
Figure R1020067016549
깊이 맵, 비용 값, 깊이 값, 뷰어

Description

깊이 맵의 생성{Creating a depth map}
본 발명은 이미지의 각각의 화소들에 대하여 뷰어(viewer)까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵을 생성하는 방법에 관한 것이다.
또한, 본 발명은 이미지의 각각의 화소들에 대하여 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵을 생성하는 깊이 맵 생성 유닛에 관한 것이다.
또한, 본 발명은 이미지에 대응하는 신호를 수신하는 수신 수단; 및 깊이 맵을 생성하는 깊이 맵 생성 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
또한, 본 발명은 이미지의 각각의 화소들에 대하여 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵을 생성하는 명령들을 포함하며 컴퓨터 장치에 의하여 로드될 컴퓨터 프로그램 제품에 관한 것이며, 이러한 컴퓨터 장치는 처리 수단 및 메모리를 포함한다.
멀티-뷰 표시 장치 상에 3D 임프레션(3D impression)을 생성하기 위하여, 다른 가상 뷰 포인트들로부터의 이미지들이 렌더링되어야 한다. 이는 멀티 입력 뷰들 또는 일부 3D 또는 깊이 정보가 제공되는 것을 필요로 한다. 이러한 깊이 정보는 멀티뷰 카메라 시스템들로부터 기록, 생성되거나 종래의 2D 비디오 자료로부터 생성될 수 있다. 2D 비디오로부터 깊이 정보를 생성하기 위하여, 움직임의 구조, 초점 정보, 기하학적 형상들 및 동적 폐색과 같은 여러 타입들의 깊이 큐들이 제공될 수 있다. 이의 목적은 조밀한 깊이 맵, 즉 화소당 깊이 값을 생성하는 것이다. 이러한 깊이 맵은 후에 깊이 임프레션을 뷰어에게 제공하도록 멀티-뷰 이미지를 렌더링할때 사용된다. 음향, 스피치 및 신호 처리에 대한 국제 학회의 학술서 내의, P.A. Redert, E.A. Hendriks, 및 J. Biemond의, 문헌 "Synthesis of multi viewpoint images at non-intermediate positions"(1997년, 캘리포니아, 로스알라미토스, IEEE 컴퓨터 학회, 2749-2752쪽, ISBN 0-8186-7919-0, Vol.IV)에는 입력 이미지 및 깊이 맵에 기초하여 깊이 정보를 추출하고 멀티-뷰 이미지를 렌더링하는 방법이 개시되어 있다.
본 발명의 목적은 새로운 깊이 큐에 기초하는, 전술한 종류의 방법을 제공하는데 있다.
이러한 본 발명의 목적은,
- 이미지의 화소들 중 제1 화소로부터 이미지의 화소들의 미리 결정된 서브 세트(subset)에 속하는 화소들 중 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소에 대한 비용 값을 계산하는 단계; 및
- 상기 비용 값에 기초하여 상기 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 단계를 포함하는 방법에 의하여 달성된다.
본 발명은 이하의 사상에 기초한다. 이미징될 장면 내의 객체들은 다른 크기들, 휘도들 및 색들을 가지며 특정 공간 배치를 가진다. 객체들 중 일부는 이미지 내의 다른 객체들을 폐색한다. 이미지 내의 화소들의 휘도 및/또는 색 값들 간의 차들은 주로 객체들의 표면들의 광학 특징들 간의 차들에 관련되고 장면 내의 광원들에 대한 객체들의 공간 위치들에 관련된다. 표면들의 광학 특징들은 예컨대 색 및 반사율을 포함한다. 그러므로, 휘도 및/또는 색의 비교적 큰 변이, 즉 인접 화소들의 화소 값들 간의 비교적 큰 차는 제1 이미지 세그먼트와 제2 이미지 세그먼트 간의 전이에 대응하며, 이미징되는 장면에서 제1 이미지 세그먼트는 제1 객체에 대응하며, 제2 이미지 세그먼트는 제2 객체에 대응한다. 이미지의 화소들에 대하여 휘도 및/또는 색의 전이들 수 및 확대, 즉 각각의 화소들로부터 이미지의 미리 결정된 위치로의 경로 상의 화소 값들 간의 차들을 결정함으로써, 장면 내의 객체들의 공간 배치와 관련된 각각의 측정들이 수행될 수 있다. 이들 측정치들, 즉 비용 값들은 다음에 깊이 값들로 바뀐다. 이러한 바뀜은 바람직하게 미리 결정된 상수와 비용 값의 곱이다. 대안적으로, 이러한 바뀜은 정규화에 의하여 깊이 값들의 미리 결정된 범위로 각각의 비용 값들을 매핑하는 것에 대응한다.
배경이 하나 이상의 객체들, 예컨대 하늘 또는 숲 또는 풀밭을 형성한다는 것에 유의해야 한다.
휘도 및/또는 색 과도들(transients)에 기초한 깊이 값은 예컨대 인용된 문헌에 기술된 바와 같이, 멀티-뷰 이미지를 렌더링하기 위한 깊이 값으로서 직접 사용될 수 있다. 바람직하게, 본 발명에 따른 깊이 값은 앞서 언급된 바와 같은 대안적인 깊이-큐들에 기초하는, 다른 깊이 값들과 조합된다.
본 발명에 따른 방법의 실시예에서, 차들 중 제1 차는 경로에 배치된 인접 화소들의 각각의 값들 간의 차와 동일하다. 두개의 인접 화소들 간의 차의 계산은 비교적 용이하다. 선택적으로, 차는 두개 이상의 화소 값들에 기초한다. 다른 대안으로서, 차는 경로 상에 배치되나 인접하지 않는 두 개의 화소들 간에 계산되며, 예컨대, 차는 최소 및 최대 화소 값 사이에서 계산되며, 최소 및 최대 화소 값은 미리 결정된 거리 내에 배치된 각각의 화소들에 대응한다. 바람직하게, 경로 상에 배치된, 화소들의 각각의 값들 간의 절대 차가 계산된다.
본 발명에 따른 방법의 실시예에서, 화소들 중 제1 화소에 대한 비용 값은 경로 상에 배치된, 화소들의 값들 간의 차들을 누적함으로써 계산된다. 누적, 즉 차들의 적분, 합산 또는 가산은 구현하기에 비교적 용이하다. 바람직하게, 미리 결정된 임계치보다 큰 차들만이 누적에 의하여 조합된다. 임계치를 적용하는 장점은 깊이 값을 결정할 경우에 이미지 내의 잡음에 덜 민감하다는 점이다.
본 발명에 따른 방법의 다른 실시예에서, 화소들 중 제1 화소에 대한 비용 값은 경로 상에 배치된 화소들의 값들 간의 차들 및 이 차들에 대한 각각의 가중 인자들의 곱들을 누적함으로써 계산된다. 가중 인자들을 적용함으로써, 각각의 화소들에 대응하는 깊이 값들을 계산하기 위하여 화소 값 차들의 기여도를 제어하는 것이 가능하다. 예컨대, 특정 화소의 값과 인접 화소의 값 간의 차와 관련된 가중 인자들 중 제1 인자는 특정 화소와 화소들 중 제1 화소 간의 거리에 기초한다. 가중 인자들 중 제1 인자는 전형적으로 특정 화소와 화소들 중 제1 화소 간의 거리가 비교적 높은 경우에 비교적 낮다. 예컨대, 특정 화소의 값과 이의 인접 화소의 값 간의 차와 관련된 가중 인자들 중 제2 인자는 특정 화소와 관련된 인접 화소의 위치에 기초한다. 예컨대, 가중 인자들 중 제2 인자는 인접 화소가 특정 화소 위에 위치되는 경우에 비교적 높으며 인접 화소가 특정 화소 아래에 위치하는 경우에 비교적 낮다. 대안적으로, 가중 인자들 중 제2 인자는, 제1 벡터는 특정 화소와 관련된 인접 화소의 위치에 대응하고 제2 벡터는 화소들 중 제2 화소와 관련된 화소들 중 제1 화소의 위치에 대응하는, 제1 벡터와 제2 벡터 간의 각도에 관련된다.
본 발명에 따른 실시예는
- 화소들 중 제1 화소로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제3 화소로의 제2 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소에 대한 제2 비용 값을 계산하는 단계;
- 상기 비용 값 및 상기 제2 비용 값의 최소치를 결정하는 단계; 및
- 상기 최소치에 기초하여 상기 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 단계를 포함한다.
본 발명에 따른 이러한 실시예에서, 깊이 값들 중 제1 깊이 값은 다중 경로들, 즉 화소들 중 제1 화소로부터 화소들 중 제2 화소로의 최적 경로와 관련된 다중 값들 중 특정 선택에 기초한다. 화소들 중 제2 화소 및 화소들 중 제3 화소가 서로 동일할 수 있다는 것에 유의해야 한다. 각각의 경로들과 관련된 비용 값들의 선택 또는 조합의 대안적인 유형이 유용하다. 예컨대, 다중 경로들과 관련된 비용 값들의 평균이 계산될 수 있다.
본 발명에 따른 방법의 다른 실시예는 화소들 중 제1 화소에 대한 비용 값에 기초하여 화소들 중 제3 화소에 대한 제2 비용 값을 계산하는 단계를 더 포함한다. 이미 계산된 비용 값들을 재사용하면, 계산이 효율적으로 수행된다. 전형적으로, 제2 비용 값의 계산은 화소들 중 제3 화소로부터 화소들 중 제1 화소로의 제2 경로 상에 배치된 추가 화소들의 추가 값들 간의 차와 화소들 중 제1 화소의 비용 값을 조합함으로써 수행된다.
본 발명에 따른 방법의 실시예에 따르면, 이미지의 각각의 화소들에 대응하는 비용 값들은 추가 화소들에 대하여 계산된 추가 비용 값들에 기초하여 성공적으로 계산되며, 이미지의 화소들의 제1 행에 대한 비용 값들의 연속적인 계산들에 대한 제1 주사 방향은 이미지의 화소들의 제2 행에 대한 비용 값들의 연속적인 계산들의 제2 주사 방향에 반대이다. 전형적으로, 이미지의 화소들의 각 화소에 대하여 깊이 값이 계산되어야 한다. 바람직하게, 특정한 화소에 대한 특정한 비용 값을 계산할 때 다른 화소들에 대한 이미 계산된 비용 값들을 사용한다. 연속적인 화소들이 처리되는 순서, 즉 깊이 값들이 계산되는 순서가 관련된다. 바람직하게, 순서는 이미지의 화소들이 행 단위로 또는 대안적으로 열 단위로 처리되는 것이다. 만일 화소들이 행단위로 처리되면, 역순으로 다음 행들을 처리하는 것이, 예컨대 좌측에서 우측으로의 짝수 행들 및 우측으로부터 좌측으로의 홀수행들을 또는 그 반대로 처리하는 것이 유리하다. 발명자들은 지그재그 타입의 처리가 모든 행들이 동일한 주사 방향으로 처리되는 처리보다 양호한 결과를 야기한다는 것을 발견하였다. 지그재그 타입의 처리에 기초하여 생성된 깊이 맵의 품질은 각각의 경로들에 대한 비용 값들을 결정하는 더 고가의 방법으로부터 결과들과 유사할 수 있다. 이러한 고가의 방법을 사용하면 최적 경로를 결정하기 위하여 더 많은 경로들이 평가될 수 있다.
본 발명의 다른 목적은 새로운 깊이 큐에 기초한, 전술한 종류의 깊이 맵 생성 유닛을 제공하는데 있다.
본 발명의 이러한 목적은,
- 화소들 중 제1 화소로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소에 대한 비용 값을 계산하는 계산 수단; 및
- 상기 비용 값에 기초하여 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 할당 수단을 포함하는, 생성 유닛에 의하여 달성된다.
본 발명의 또 다른 목적은 새로운 깊이 큐에 기초한 깊이 맵을 생성하도록 구성된, 전술한 종류의 깊이 맵 생성 유닛을 포함하는 이미지 처리 장치를 제공하는데 있다.
본 발명의 이러한 목적은,
- 화소들 중 제1 화소로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소에 대한 비용 값을 계산하는 계산 수단; 및
- 상기 비용 값에 기초하여 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 할당 수단을 포함하는, 생성 유닛에 의하여 달성된다.
본 발명의 또 다른 목적은 새로운 깊이 큐에 기초한, 전술한 종류의 컴퓨터 프로그램 제품을 제공하는데 있다.
본 발명의 이러한 목적은, 로드된 후에,
- 화소들 중 제1 화소로부터 상기 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 이미지의 화소들 중 제1 화소에 대한 비용 값을 계산하는 단계; 및
- 상기 비용 값에 기초하여 상기 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 단계를 수행하는 능력을 처리 수단에 제공하는, 컴퓨터 프로그램 제품에 의하여 달성된다.
삭제
깊이 맵 생성 유닛의 수정들 및 이의 변형들은 설명되는 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 수정들 및 변형들에 대응할 수 있다.
본 발명에 따른 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 깊이 맵 생성 유닛에 대한 이들 및 다른 양상들은 첨부 도면들을 참조하여 이하의 구현들 및 실시예들을 고려할 때 더욱더 명백해질 것이다.
도 1은 본 발명에 따른 방법으로 생성된 이미지 및 대응하는 깊이 맵을 도시한 개략도.
도 2는 두개의 경로들을 도시한 개략도.
도 3은 제1 화소로부터 제2 화소로의 경로, 제1 화소로부터 제2 화소로의 제1 벡터 및 경로 상의 제3 화소로부터 제4 화소로의 제2 벡터를 도시한 개략도.
도 4는 본 발명에 따른 깊이 맵 생성 유닛을 포함하는 멀티-뷰 이미지 생성 유닛을 도시한 개략도.
도 5는 본 발명에 따른 이미지 처리 장치의 실시예를 도시한 개략도.
도 6은 이미지의 각각의 화소들을 처리하는 시퀀스를 도시한 개략도.
도 1은 이미지(100) 및 본 발명에 따른 방법으로 생성된 대응하는 깊이 맵(122)을 도시한 개략도이다. 도 1은 제1 객체(106), 제1 객체(106) 후방에 배치된 제2 객체(104), 및 제2 객체(104) 후방에 배치된 제3 객체(102)를 나타내는 이미지(100)를 도시한다. 도 1은 제1 화소(108)로부터 제2 화소(110)로의 경로(112)를 도시한다. 경로(112)는 연결된 화소들의 그룹에 대응한다.
일반적으로, 이미지의 화소는 8개의 인접 화소들에 연결되며, 즉 2개의 화소들은 그 화소에 대하여 수평으로 배치되며, 2개의 화소들은 그 화소에 대하여 수직으로 배치되며, 4개의 화소들은 그 화소에 대하여 대각선으로 배치된다. 경로(112)의 화소들의 쌍들은 3개의 방향들로, 즉 서로에 대하여 수평, 수직 또는 대각선 방향 중 하나에 상호 배치된다.
도 1에는 각각의 도면부호들 114, 116 및 118, 120을 가진 화소들을 포함하는 두개의 화소 쌍들이 도시된다. 화소들의 제1 쌍(114, 116)은 제1 객체(106)와 제2 객체(104) 간의 전이에 대응하는 위치 상의 경로(112) 상에 배치된다. 화소들의 제2 쌍(118, 120)은 제2 객체(104)와 제3 객체(102) 간의 전이에 대응하는 다른 위치 상의 경로(112) 상에 배치된다.
또한, 도 1은 깊이 맵(122)을 도시한다. 깊이 맵(122)은 제1 객체(106)에 대응하는 깊이 값들의 제1 그룹(128)을 포함하며, 제2 객체(104)에 대응하는 깊이 값들의 제2 그룹(126)을 포함하며, 제3 객체(102)에 대응하는 깊이 값들의 제3 그룹(124)을 포함한다. 깊이 값들의 제1 그룹(128)의 깊이 값들은 깊이 값들의 제2 그룹(126)의 깊이 값들보다 낮으며, 이는 제1 객체(106)가 제2 객체(104)보다 이미지(100)에 기초하는 멀티뷰 이미지 또는 이미지(100)의 뷰어에 더 근접한다는 것을 의미한다.
깊이 맵(122)은 본 발명에 따른 방법에 기초하여 생성된다. 제1 화소(108)에 대응하는 깊이 값(130)을 생성하기 위하여, 이하의 단계들이 수행된다.
- 이미지의 제1 화소(108)에 대한 비용 값은 제1 화소(108)로부터 이미지(100)의 화소들의 미리 결정된 서브 세트에 속하는 제2 화소(110)로의 경로(112)상에 배치된 연결된 화소들(114, 116; 118, 120)의 쌍들의 값들 간의 차들을 조합함으로써 계산된다.
- 제1 화소(108)에 대응하는 깊이 값(130)은 제1 화소(108)에 대한 비용 값에 의하여 상수값을 분할함으로써 계산된다.
제2 화소(110)는 이미지(100)의 화소들의 미리 결정된 서브 세트에 속한다. 이러한 경우에, 미리 결정된 서브 세트는 이미지의 경계의 화소들을 포함한다. 대안 실시예들에서, 서브 세트는 경계의 부분의 화소들, 예컨대 이미지의 하부 경계 또는 이미지의 상부 경계의 화소들만을 포함한다. 다른 대안에서, 서브 세트는 이미지의 중앙 화소를 포함한다.
앞서 설명된 바와 같이, 제1 화소(108)에 대하여 할당된 깊이 값은 제1 화소(108)에 대한 비용 함수와 관련된다. 비용 함수는 전이에 기초하며, 즉 비용 값은 제1 화소(108)로부터 제2 화소(110)로의 경로 상에 더 많은 및/또는 큰 전이들이 존재할때 증가한다. 할당된 깊이 값은 이하의 방법들 중 하나의 방법에 기초할 수 있다.
- 제1 화소는, 대응하는 비용 값이 비교적 낮은 경우에 비교적 낮은 깊이 값이 할당되며; 또는
- 제1 화소는 대응하는 비용 값이 비교적 높은 경우에 비교적 높은 깊이 값이 할당된다.
요약하면, 제2 화소(110)의 위치와 비용 값 간의 관계 및 할당된 깊이 값과 비용 값 간의 관계가 존재한다. 표1은 이러한 양들 사이의 가능한 여러 관계들을 나타낸다. 표1에 나열된 경우들에서, 제1 화소(108)가 이미지의 중앙에 배치된다는 것이 가정된다.
표1 : 위치, 비용 값 및 깊이 값 간의 관계들
제2 화소의 위치 제1 화소의 비용 값 제1 화소의 깊이 값
상부 경계 높음 높음
상부 경계 높음 낮음
하부 경계 높음 높음
하부 경계 높음 낮음
좌측/우측 경계 높음 높음
좌측/우측 경계 높음 낮음
중앙 낮음 높음
중앙 낮음 낮음
비교적 낮은 깊이 값은 제1 화소가 이미지에 기초하여 생성된 멀티 뷰 이미지의 뷰어에 비교적 근접한다는 것을 의미하며, 비교적 높은 깊이 값은 제1 화소가 멀티 뷰 이미지의 뷰어로부터 비교적 멀리 이동된다는 것을 의미한다.
바람직하게, 비용 함수 V(x',y')의 계산은 제1 화소로부터 제2 화소로의 경로 Pi상에 배치된 화소들에 할당되는 화소 값 차들의 누적에 기초하며, 여기서 i는 좌표들(x',y')을 가진 화소로부터의 경로들 중 특정 경로를 지시한다.
Figure 112006058549977-pct00001
(1)
화소 값 차 E(x,y)의 계산에 대한 제1 예는 수식 2에 제공된다.
Figure 112006058549977-pct00002
(2)
여기서, I(x,y)는 이미지의 좌표들 x 및 y를 가진 화소의 휘도값이며, -1≤a≤1 및 -1≤b≤1이다.
대안적으로, 화소 값 차 E(x,y)는 색 값들에 기초하여 계산된다.
Figure 112006058549977-pct00003
(3)
여기서, C(x,y)는 이미지의 좌표들 x 및 y를 가진 화소의 색 값이다. 수식 4에서, 3개의 다른 색 성분들 R(적색) G(녹색), 및 B(청색)에 기초한 화소 값 차 E(x,y)의 계산을 위한 다른 대안이 제공된다.
Figure 112006058549977-pct00004
(4)
선택적으로, 화소 값 차 신호
Figure 112010007898333-pct00005
는 상수, 예컨대 0으로 미리 결정된 임계치 이하인 모든 화소 값 차들을 절단함으로써 필터링된다.
전술한 바와 같이, 바람직하게 비용 값 V(x',y')의 계산은 제1 화소로부터 제2 화소로의 경로 Pi상에 배치된 화소들에 할당된 화소 값 차들의 누적에 기초한다. 경로들의 세트로부터 이러한 경로 Pi를 선택하기 위한 여러 방법들이 존재한다.
도 1은 단순한 전략에 기초한 경로, 즉 제1 화소(108)로부터 이미지의 좌측 경계에 배치된 화소들인 미리 결정된 세트의 화소까지의 최단 거리를 개략적으로 도시한다. 이는 제1 화소(108) 및 제2 화소(110)가 동일한 y-좌표를 가진다는 것을 의미한다.
도 2는 대안적인 경로들(216, 202)을 개략적으로 도시한다. 이들 대안적인 경로들 중 제1 경로(216)는 제1 화소(108)로부터 이미지의 좌측 경계에 배치된 화소들인 미리 결정된 세트의 제2 화소(214)까지의 최단 거리에 대응한다. 이러한 경우에, 제1 화소(108) 및 제2 화소(214)가 상호 동일한 y-좌표들을 가진다는 제한은 적용 불가능하다. 제2 화소(214)는 최소 비용들로 도달될 수 있는 좌측 경계 화소들의 화소에 대응한다. 이들 대안 경로들 중 제1 경로(216)에서, 이하의 도면부호들 218-224를 가진 화소들이 배치된다.
도 2는 상부 경계에 도달하고 최소 비용들을 가진 경로에 대응하는 대안적인 경로들 중 제2 경로(202)를 도시한다. 대안적인 경로들 중 제2 경로(202)가 불규칙한 형상을 가진다는 것을 명백히 알 수 있다. 대안적인 경로들 중 제2 경로(202)에서, 이하의 도면부호들 206-212를 가진 화소들이 배치된다.
단일 경로에 기초하여 비용 값 V(x',y')를 계산하는 대신에, 비용 값은 경로들의 조합에 기초할 수 있으며, 예컨대 평균 비용 값들이 계산될 수 있다.
비용 값 V(x',y')을 계산하기 위한 다른 대안은 다양한 화소 값 차들에 대한 가중 인자들에 기초한다.
Figure 112006058549977-pct00006
(5)
이러한 가중 인자 W(j)는 바람직하게 화소 값 차 E(x,y)가 계산되는 화소 쌍의 화소들 중 한 화소와 제1 화소 간의 공간 거리 j와 관련된다. 전형적으로, 이러한 가중 인자 W(j)는 보다 큰 공간 거리들에 대하여 낮다.
대안적으로, 가중 인자 W(j)는 두개의 벡터들 간의 각과 관련된다. 도 3은 제1 화소(108)로부터 제2 화소(110)로의 경로, 제1 화소(108)로부터 제2 화소(110)로의 제1 벡터(308), 제3 화소(302)로부터 경로(300)상의 제4 화소(304)로의 제2 벡터(306)를 개략적으로 도시한다. 전형적으로, 가중 인자 W(j)는 제1 벡터(308)와 제2 벡터(306) 간의 각이 비교적 낮은 경우에 비교적 높으며, 즉 제3 화소(302)에 대한 제4 화소(304)의 방향은 제1 화소(108)에 대한 제2 화소(110)의 방향과 매칭된다. 이는 제1 벡터(308)와 매칭되는 전이들이 예컨대 제1 벡터(308)에 수직한 전이들보다 더 관련되는 것으로 고려된다는 것을 의미한다.
도 4는 본 발명에 따른 깊이 맵 생성 유닛(401)을 포함하는 멀티-뷰 이미지 생성 유닛(400)을 개략적으로 도시한다. 멀티-뷰 이미지 생성 유닛(400)은 비디오 이미지들의 시퀀스에 기초하여 멀티-뷰 이미지들의 시퀀스를 생성하도록 구성된다. 멀티-뷰 이미지 생성 유닛(400)에는 입력 커넥터(408)에서 비디오 이미지들의 스트림이 제공되며, 또한 멀티-뷰 이미지 생성 유닛(400)은 출력 커넥터들(410, 412)에서 비디오 이미지들의 두개의 상관된 스트림들을 각각 제공한다. 이들의 비디오 이미지들의 두개의 상관된 스트림들은 비디오 이미지들의 상관된 스트림들 중 제1 스트림에 기초하여 뷰들의 제1 시리즈를 시각화하며 비디오 이미지들의 상관된 스트림들 중 제2 스트림에 기초하여 뷰들의 제2 시리즈를 시각화하도록 구성된 멀티-뷰 표시 장치에 제공된다. 만일 사용자, 즉 뷰어가 그의 좌측 눈으로 뷰들의 제1 시리즈를 관찰하고 그의 우측 눈으로 뷰들의 제2 시리즈를 관찰하면, 뷰어는 3D 임프레션을 주목한다. 비디오 이미지들의 상관된 스트림들 중 제1 스트림이 수신된 비디오 이미지들의 시퀀스에 대응하며 비디오 이미지들의 상관된 스트림들 중 제2 스트림이 수신된 비디오 이미지의 시퀀스에 기초하여 렌더링될 수 있다. 바람직하게, 비디오 이미지들의 양 스트림들은 수신된 비디오 이미지들의 시퀀스에 기초하여 렌더링된다. 렌더링은, 음향, 스피치 및 신호 처리에 대한 국제 학회의 학술서 내의, P.A. Redert, E.A. Hendriks, 및 J. Biemond의, 문헌 "Synthesis of multi viewpoint images at non-intermediate positions"(1997년, 캘리포니아, 로스알라미토스, IEEE 컴퓨터 학회, 2749-2752쪽, ISBN 0-8186-7919-0, Vol.IV)에 개시된 바와 같다. 대안적으로, 렌더링은 Eurographics 학술서 내의, R.P. Berretty 및 F.E. Ernst의, 문헌 "High-quality images from 2.5D video"(2003년, 그라나다, Short Note 124)에 개시된 바와 같다.
멀티-뷰 이미지 생성 유닛(400)은,
- 이미지의 전이들에 기초하여 각각의 입력 이미지들에 대한 깊이 맵들을 생성하는 깊이 맵 생성 유닛(401); 및
- 입력 이미지들 및 깊이 맵 생성 유닛(401)에 의하여 제공되는 각각의 깊이 맵들에 기초하여 멀티-뷰 이미지들을 렌더링하는 렌더링 유닛(406)을 포함한다.
이미지들의 각각의 화소들에 대하여, 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵들을 생성하는 깊이 맵 생성 유닛(401)은,
- 화소들 중 제1 화소로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 상기 이미지의 화소들 중 제1 화소에 대한 비용 값을 계산하는 비용 값 계산유닛(402); 및
- 상기 비용 값에 기초하여 상기 화소들 중 제1 화소에 대응하는 깊이 값들 중 제1 깊이 값을 할당하는 깊이 값 할당 수단(404)을 포함하며, 비용 값들의 계산은 도 1, 도 2 및 도 3 중 일부와 관련하여 기술된 바와 같다.
계산 유닛(402)은 시간 n에서 이미지의 좌표들 x' 및 y'로 화소당 비용 값을 나타내는 비용 값 신호 VF=V(x',y',n)을 제공하도록 구성된다.
비용 값 신호 VF의 계산 후에, 깊이 맵이 결정된다. 이는 수식 6에 기술된다.
D(x',y',n) = F(VF) (6)
여기서, D(x',y',n)는 시간 n에서 이미지의 좌표들 x' 및 y'를 가진 화소의 깊이 값이며, 함수 F(j)는 비용 값 V(x',y',n)의 깊이 값 D(x', y', n)으로의 선형 또는 비선형 변환이다. 이러한 함수 F(j)는 바람직하게 미리 결정된 상수와 비용 값 V(x',y',n)의 단순한 곱이다.
D(x',y',n) = α
Figure 112006058549977-pct00007
V(x',y',n) (7)
특정 화소에 대한 비용 값을 계산하기 위하여 인접 화소에 대한 계산된 비용 값이 적용될 수 있다는 것에 유의해야 한다. 다시 말해서, 비용 값들의 계산은 바람직하게 반복되는 방식으로 수행된다. 도 6과 관련한 설명을 또한 참조하라.
비용 값 계산 유닛(402), 깊이 값 할당 유닛(404) 및 렌더링 유닛(406)은 하나의 프로세서를 사용하여 구현될 수 있다. 보통, 이들 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행 동안, 보통 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로드되고 여기에서 실행된다. 프로그램은 ROM, 하드 디스크 또는 자기 및/또는 광학 저장장치와 같은 배경 메모리(background memory)로부터 로드되거나 또는 인터넷과 같은 네트워크를 통해 로드될 수 있다. 선택적으로, 주문형 집적 회로는 기술된 기능을 제공한다.
비록 도 4와 관련하여 기술된 멀티-뷰 이미지 생성 유닛(400)이 비디오 이미지들을 처리하도록 설계될지라도 본 발명에 따른 깊이 맵 생성 유닛의 대안적인 실시예는 개인 이미지들, 즉 정지 화상들을 기초로 하여 깊이 맵들을 생성하도록 구성된다는 것에 유의해야 한다.
도 5는 본 발명에 따른 이미지 처리 장치(500)의 실시예를 개략적으로 도시하며, 이미지 처리 장치(500)는,
- 입력 이미지들을 나타내는 비디오 신호를 수신하는 수신 수단(502);
- 도 4와 관련하여 기술된 바와 같이, 수신된 입력 이미지들에 기초하여 멀티-뷰 이미지들을 생성하는 멀티-뷰 이미지 생성 유닛(401); 및
- 멀티-뷰 이미지 생성 유닛(401)에 의하여 제공된 멀티-뷰 이미지들을 표시하는 멀티-뷰 표시 장치(506)를 포함한다.
비디오 신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수 있으나 VCR(비디오 카세트 레코더) 또는 디지털 다목적 디스크(DVD)와 같은 저장 장치로부터의 신호일 수 있다. 신호는 입력 커넥터(510)에서 제공된다. 이미지 처리 장치(500)는 예컨대 TV일 수 있다. 대안적으로, 이미지 처리 장치(500)는 선택적 표시 장치를 포함하지 않고, 표시 장치(506)를 포함하는 장치에 출력 이미지를 제공한다. 그 다음에, 이미지 처리 장치(500)는 셋톱 박스, 위성-튜너, VCR 플레이어 또는 DVD 플레이어 또는 레코더일 수 있다. 선택적으로, 이미지 처리 장치(500)는 하드-디스크와 같은 저장 수단 또는 분리형 매체, 예컨대 광학 디스크들 상에 저장하기 위한 수단을 포함한다. 이미지 처리 장치(500)는 필름-스튜디오 또는 방송국에 의하여 제공된 시스템일 수 있다.
도 6은 이미지(100)의 각각의 화소들(600-614)을 처리하는 시퀀스를 개략적으로 도시한다. 도 6에서는 처리되는 화소들의 순서가 화살표들(616-620)에 의하여 지시된다. 도면부호들 610-614를 가진 화소들을 포함하는 이미지(100)의 제1 행은 좌측에서 우측으로 처리된다. 도면부호들 604-608을 가진 화소들을 포함하는 이미지(100)의 제2 행은 우측에서 좌측으로 처리된다. 도면부호 600-602를 가진 화소들을 포함하는 이미지(100)의 제3 행은 또다시 좌측에서 우측으로 처리된다. 그러므로, 이미지(100)의 화소들의 다음 행들은 역순으로 처리된다.
특정 화소를 처리하는 방법은,
- 특정 화소로부터 이미지의 화소들의 미리 결정된 서브 세트에 속하는 제2 화소로의 경로 상에 배치된 화소들의 값들 간의 차들을 조합함으로써 특정 화소에 대한 특정 비용 값을 계산하는 단계; 및
- 계산된 특정 비용 값에 기초하여 특정 화소에 대응하는 구성하에서 특정 깊이 값을 깊이 맵에 할당하는 단계를 포함한다.
특정 비용 값을 계산하는 단계는 다른 화소들에 대한 이미 계산된 비용 값들에 기초한다. 이하의 예는 이를 기술하기 위하여 제공된다. 제1 및 제2 행의 화소들(604-614)에 대응하는 깊이 값들이 이미 결정되었고 각각의 경로들에 대응하는 각각의 비용 값들이 알려져 있다고 가정하자. 이외에, 제3 행의 다수의 화소들(602)이 또한 처리되었다고 가정하자. 다음으로, 도면부호 600을 가진 특정 화소에 대한 깊이 값이 결정되어야 한다. 바람직하게, 이는 후보 비용 값들의 다음 세트를 평가함으로써 수행된다.
- 특정 화소(600)로부터 좌측에 배치된 화소(602)의 비용 값 및 이들 두개의 화소들 간의 화소 값 차에 기초하는 제1 후보 비용 값.
- 특정 화소(600) 위에 배치된 화소(606)의 비용 값 및 이들 두개의 화소들 간의 화소 값 차에 기초하는 제2 후보 비용 값.
- 특정 화소(600)의 좌측 위에 배치된 화소(604)의 비용 값 및 이들 두개의 화소들 간의 화소 값 차에 기초하는 제3 후보 비용 값.
- 특정 화소(600)의 우측 위에 배치된 화소(608)의 비용 값 및 이들 두개의 화소들 간의 화소 값 차에 기초하는 제4 후보 비용 값.
후보 비용 값들의 세트로부터 최소 비용 값을 결정한 후에, 특정 화소로부터 시작하는 경로는 알려지며, 대응하는 비용 값이 알려지며, 대응하는 깊이 값이 할당될 수 있다.
후보 비용 값들의 세트들이 전형적으로 주사 방향에 따른다는 것이 명확해질 것이다. 예컨대, 우측에서 좌측으로의 주사 방향의 경우에, 후보 비용 값들의 세트들은 고려대상인 특정 화소로부터 우측에 배치된 화소의 비용 값에 기초하는 후보 비용 값을 포함할 수 있다. 후보 비용 값들의 세트들은 추가 비용 값들을 포함할 수 있다. 대안적으로, 후보 비용 값들의 세트들은 적은 비용 값들을 포함한다.
앞서 언급된 실시예들은 본 발명을 제한하지 않으며, 당업자는 첨부된 청구항들의 범위로부터 벗어나지 않는 대안 실시예들을 설계할 수 있다는 것이 언급되어야 한다. 청구항들에서, 괄호 사이에 삽입된 임의의 도면부호들은 청구항을 제한하는 것으로 고려되지 않을 것이다. 용어 "포함한다"는 청구항에 나열되지 않은 구성요소들 또는 단계들의 존재를 배제하지 않는다. 단수 표현된 구성요소는 이러한 구성요소의 복수 개의 존재를 배제하지 않는다. 본 발명은 여러 개별적인 구성요소들을 포함하는 하드웨어 수단에 의하여 그리고 적절하게 프로그래밍된 컴퓨터의 수단에 의하여 구현될 수 있다. 여러 수단들을 기재한 단일성 청구항들에서, 이들 수단들 중 몇몇은 하나 또는 동일한 항목의 하드웨어에 의하여 구현될 수 있다. 용어들 제1 , 제2 및 제3 등의 사용은 임의의 순서를 지시하지 않는다. 이들 용어들은 명칭들로서 해석되어야 한다.
삭제

Claims (17)

  1. 이미지(100)의 각각의 화소들에 대하여 뷰어(viewer)까지의 거리들을 나타내는 깊이 값들(depth values)을 포함하는 깊이 맵(122)을 생성하는 방법에 있어서:
    - 화소들 중 제1 화소(108)로부터 상기 이미지의 화소들의 미리 결정된 서브 세트(subset)에 속하는 화소들 중 제2 화소(110)로의 경로(112) 상에 배치된 화소들의 휘도 및 색 값들 중 적어도 하나에서 미리 결정된 임계치보다 큰 차이들의 절대값들에 기초한 값들을 누적함으로써 상기 이미지의 화소들 중 상기 제1 화소(108)에 대한 비용 값을 계산하는 단계; 및
    - 상기 비용 값에 기초하여, 상기 화소들 중 제1 화소(108)에 대하여 상기 뷰어까지의 거리를 나타내는 상기 깊이 맵의 깊이 값들 중 제1 깊이 값을 할당하는 단계를 포함하는, 깊이 맵 생성 방법.
  2. 제1 항에 있어서,
    상기 미리 결정된 서브 세트는 상기 이미지의 경계에 위치된 화소들을 포함하는, 깊이 맵 생성 방법.
  3. 제1 항에 있어서,
    상기 차이들 중 제1 차이는 상기 경로(112) 상에 배치된 인접 화소들의 각각의 값들 간의 절대 차이(absolute difference)와 동일한, 깊이 맵 생성 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1 항에 있어서,
    상기 화소들 중 제1 화소에 대한 상기 비용 값은 상기 경로(112) 상에 배치된 상기 화소들의 값들 간의 상기 차이들의 절대값들과 상기 차이들의 절대값들에 대한 각각의 가중 인자들의 곱들을 누적함으로써 계산되는, 깊이 맵 생성 방법.
  9. 제8 항에 있어서,
    특정 화소의 값과 상기 특정 화소의 인접 화소의 값 간의 차이의 절대값과 관련된 상기 가중 인자들 중 제1 가중 인자는 상기 특정 화소와 상기 화소들 중 제1 화소(108) 간의 거리에 기초하는, 깊이 맵 생성 방법.
  10. 제8 항에 있어서,
    특정 화소의 값과 상기 특정 화소의 인접 화소의 값 간의 차이의 절대값과 관련된 상기 가중 인자들 중 제2 가중 인자는 상기 특정 화소와 관련된 인접 화소의 위치에 기초하는, 깊이 맵 생성 방법.
  11. 제1 항에 있어서,
    - 상기 화소들 중 제1 화소(108)로부터 상기 이미지의 화소들의 상기 미리 결정된 서브 세트에 속하는 화소들 중 제3 화소(204)로의 제2 경로(202) 상에 배치된 화소들의 휘도 및 색 값들 중 적어도 하나의 차이들의 절대값들에 기초한 값들을 누적함으로써 상기 이미지의 화소들 중 상기 제1 화소(108)에 대한 제2 비용 값을 계산하는 단계;
    - 상기 비용 값 및 상기 제2 비용 값의 최소 비용 값을 결정하는 단계; 및
    - 상기 최소 비용 값에 기초하여 상기 화소들 중 제1 화소(108)에 대응하여 깊이 값들 중 제1 깊이 값을 할당하는 단계를 더 포함하는, 깊이 맵 생성 방법.
  12. 제1 항에 있어서,
    상기 화소들 중 제1 화소에 대한 상기 비용 값에 기초하여 상기 화소들 중 제3 화소에 대한 제2 비용 값을 계산하는 단계를 더 포함하는, 깊이 맵 생성 방법.
  13. 제12 항에 있어서,
    상기 화소들 중 제1 화소의 상기 비용 값을, 상기 화소들 중 제3 화소로부터 상기 화소들 중 제1 화소로의 제2 경로 상에 배치된 추가 화소들의 추가 값들 간의 차이의 절대값과 조합함으로써 상기 제2 비용 값을 계산하는 단계를 포함하는, 깊이 맵 생성 방법.
  14. 제12 항 또는 제13 항에 있어서,
    상기 이미지의 각각의 화소들에 대응하는 비용 값들은 추가 화소들에 대하여 계산된 추가 비용 값들에 기초하여 연속적으로 계산되며, 상기 이미지의 화소들의 제1 수평 행에 대한 비용 값들의 연속적인 계산들의 제1 수평 주사 방향은 상기 이미지의 화소들의 제2 수평 행에 대한 비용 값들의 연속적인 계산들의 제2 수평 주사 방향과 반대인, 깊이 맵 생성 방법.
  15. 이미지(100)의 각각의 화소들에 대하여 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵(122)을 생성하기 위한 깊이 맵 생성 유닛(401)에 있어서:
    - 화소들 중 제1 화소(108)로부터 상기 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소(110)로의 경로(112) 상에 배치된 화소들의 휘도 및 색 값들 중 적어도 하나에서 미리 결정된 임계치보다 큰 차이들의 절대값들에 기초한 값들을 누적함으로써 상기 이미지의 화소들 중 상기 제1 화소(108)에 대한 비용 값을 계산하는 계산 수단; 및
    - 상기 비용 값에 기초하여, 상기 화소들 중 제1 화소(108)에 대하여 상기 뷰어까지의 거리를 나타내는 상기 맵의 깊이 값들 중 제1 깊이 값을 할당하는 수단을 포함하는, 깊이 맵 생성 유닛(401).
  16. 이미지 처리 장치(500)에 있어서:
    이미지(100)에 대응하는 신호를 수신하는 수신 수단(502); 및
    제15 항에 따른 깊이 맵(122)을 생성하는 깊이 맵 생성 유닛(401)을 포함하는, 이미지 처리 장치(500).
  17. 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의하여 로드되며, 이미지(100)의 각각의 화소들에 대하여 뷰어까지의 거리들을 나타내는 깊이 값들을 포함하는 깊이 맵(122)을 생성하는 명령들을 포함하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 있어서:
    상기 프로그램은, 상기 프로그램이 로드된 후에,
    - 화소들 중 제1 화소(108)로부터 상기 이미지의 화소들의 미리 결정된 서브 세트에 속하는 화소들 중 제2 화소(110)로의 경로(112) 상에 배치된 화소들의 휘도 및 색 값들 중 적어도 하나에서 미리 결정된 임계치보다 큰 차이들의 절대값들에 기초한 값들을 누적함으로써 상기 이미지의 화소들 중 상기 제1 화소(108)에 대한 비용 값을 계산하는 단계; 및
    - 상기 비용 값에 기초하여, 상기 화소들 중 제1 화소(108)에 대하여 상기 뷰어까지의 거리를 나타내는 상기 깊이 맵의 깊이 값들 중 제1 깊이 값을 할당하는 단계를 수행하는 능력을 상기 처리 수단에 제공하는, 컴퓨터 판독 가능한 기록 매체.
KR1020067016549A 2004-02-17 2005-02-07 깊이 맵의 생성 KR101183863B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04100625.5 2004-02-17
EP04100625 2004-02-17
PCT/IB2005/050482 WO2005083631A2 (en) 2004-02-17 2005-02-07 Creating a depth map

Publications (2)

Publication Number Publication Date
KR20060124704A KR20060124704A (ko) 2006-12-05
KR101183863B1 true KR101183863B1 (ko) 2012-09-19

Family

ID=34896072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067016549A KR101183863B1 (ko) 2004-02-17 2005-02-07 깊이 맵의 생성

Country Status (8)

Country Link
US (1) US8036451B2 (ko)
EP (1) EP1719079B1 (ko)
JP (1) JP4898459B2 (ko)
KR (1) KR101183863B1 (ko)
CN (1) CN100568281C (ko)
AT (1) ATE382919T1 (ko)
DE (1) DE602005004125T2 (ko)
WO (2) WO2005083631A2 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
WO2008041178A2 (en) 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
DE602008006555D1 (de) 2007-07-03 2011-06-09 Koninkl Philips Electronics Nv Berechnung einer tiefenkarte
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
CN102498720B (zh) 2009-06-24 2015-09-02 杜比实验室特许公司 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TWI398158B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 產生立體影像之影像深度的方法
US8610758B2 (en) 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
GB2483285A (en) 2010-09-03 2012-03-07 Marc Cardle Relief Model Generation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR101700621B1 (ko) * 2010-12-15 2017-02-01 한국전자통신연구원 임의의 측정거리에 적용가능한 적응형 초고속 및 고해상도 3차원 영상복원 방법
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
JP5291755B2 (ja) * 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
JP5355616B2 (ja) * 2011-04-21 2013-11-27 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
KR101811637B1 (ko) 2011-05-02 2017-12-26 삼성전자주식회사 선택적인 픽셀 비닝 장치 및 방법
CN102903143A (zh) * 2011-07-27 2013-01-30 国际商业机器公司 用于将二维图像三维化的方法和系统
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
WO2013109192A1 (en) * 2012-01-18 2013-07-25 Agency For Science, Technology And Research Method and device for image processing
US9111350B1 (en) * 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
EP2747028B1 (en) 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
US10612929B2 (en) 2017-10-17 2020-04-07 AI Incorporated Discovering and plotting the boundary of an enclosure
US11393114B1 (en) 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
WO2021108626A1 (en) * 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
WO2021150784A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for camera calibration
DE102020108898A1 (de) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben einer fahrzeugkameravorrichtung, fahrzeugkameravorrichtung und fahrzeug
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11561102B1 (en) 2020-04-17 2023-01-24 AI Incorporated Discovering and plotting the boundary of an enclosure
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
US11615594B2 (en) * 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244435A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd 画像の階層符号化方法および画像符号化装置
TW335466B (en) * 1995-02-28 1998-07-01 Hitachi Ltd Data processor and shade processor
JPH08287253A (ja) * 1995-04-11 1996-11-01 N T T Data Tsushin Kk 物体形状の推定方法および物体形状推定装置
JP3531585B2 (ja) * 2000-06-05 2004-05-31 松下電器産業株式会社 映像表示装置
CN1463415A (zh) * 2001-05-23 2003-12-24 皇家菲利浦电子有限公司 深度映像计算
EP1413148B1 (en) * 2001-07-23 2009-10-28 Koninklijke Philips Electronics N.V. Stereoscopic image processing apparatus and method
US7024054B2 (en) * 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
AU2003292490A1 (en) * 2003-01-17 2004-08-13 Koninklijke Philips Electronics N.V. Full depth map acquisition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Numagami, Y.; Nakamura, O.; Minami, T., Reconstruction of the 3-D Shape of an Object from a 2-D Intensity Image, Canadian Conference on Electrical and Computer Engineering, 1995. Volume:2, 5-8 Sep 199
Q.Zheng, R.Chellappa; Estimation of Illuminant Direction, Albedo, and Shape from Shading; IEEE Transactions of Pattern Analysis and Machine Intelligence, Vol.13, July 1991(Pages: 680-702)

Also Published As

Publication number Publication date
WO2005083630A3 (en) 2006-03-09
JP2007522589A (ja) 2007-08-09
CN1922631A (zh) 2007-02-28
WO2005083631A3 (en) 2006-02-23
CN100568281C (zh) 2009-12-09
EP1719079A2 (en) 2006-11-08
DE602005004125T2 (de) 2008-12-18
US8036451B2 (en) 2011-10-11
DE602005004125D1 (de) 2008-02-14
KR20060124704A (ko) 2006-12-05
WO2005083631A2 (en) 2005-09-09
ATE382919T1 (de) 2008-01-15
EP1719079B1 (en) 2008-01-02
US20070146232A1 (en) 2007-06-28
WO2005083630A2 (en) 2005-09-09
JP4898459B2 (ja) 2012-03-14

Similar Documents

Publication Publication Date Title
KR101183863B1 (ko) 깊이 맵의 생성
US7764827B2 (en) Multi-view image generation
KR101168384B1 (ko) 깊이 맵을 생성하는 방법, 깊이 맵 생성 유닛, 이미지 처리 장치, 및 컴퓨터 프로그램 제품
US8553972B2 (en) Apparatus, method and computer-readable medium generating depth map
US8270768B2 (en) Depth perception
JP4762994B2 (ja) 視差マップ
US20080260288A1 (en) Creating a Depth Map
US20130162629A1 (en) Method for generating depth maps from monocular images and systems using the same
JP7437941B2 (ja) 立体画像生成装置及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee