KR20070026403A

KR20070026403A - 깊이 맵 생성

Info

Publication number: KR20070026403A
Application number: KR1020067018261A
Authority: KR
Inventors: 피터-안드레 레데르트
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-03-12
Filing date: 2005-03-01
Publication date: 2007-03-08
Also published as: CN1930585A; JP2007529070A; WO2005091221A1; KR101168384B1; US7787658B2; EP1728208A1; CN1930585B; US20070183648A1

Abstract

각 이미지(100) 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법이 개시된다. 상기 방법은: 이미지(100)의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽(106)을 결정하는 단계; 다수의 점들에서 곡선 벡터(108-114)를 계산하는 단계; 및 곡선 벡터(108-114)에 기초해서 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하는 단계를 포함한다.

Description

깊이 맵 생성{CREATING DEPTH MAP}

본 발명은 이미지의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하는 방법에 관한 것이다.

본 발명은 이미지의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하기 위한 깊이 맵 생성 유닛에 관한 것이다.

본 발명은 또한:

- 이미지에 대응하는 신호를 수신하기 위한 수신 수단; 및

- 깊이 맵을 생성하기 위한 이러한 깊이 맵 생성 유닛

을 포함하는 이미지 처리 장치에 관한 것이다.

본 발명은 또한, 이미지의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하기 위한 명령어를 포함하는 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품에 관한 것이며, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함한다.

다중-장면(multi-view) 디스플레이 디바이스 상에 3D 효과를 생성하기 위해, 다른 가상 시점(viewpoint)으로부터의 이미지가 렌더링되어야 한다. 이는 다수의 입력 장면 또는 일부 3D 또는 깊이 정보가 제공될 것을 필요로 한다. 이러한 깊이 정보는 다중장면 카메라 시스템으로부터 기록되고, 생성되거나 종래의 2D 비디오물로부터 생성될 수 있다. 2D 비디오로부터 깊이 정보를 생성하기 위해 여러 유형의 깊이 큐가 응용될 수 있으며: 그 예로는 동작으로부터의 구조, 초점 정보, 기하학적 형태 및 동적 폐쇄(occlusion)가 있다. 목적은 밀도가 높은 깊이 맵, 즉, 픽셀 당 깊이 값을 생성하는 것이다. 이러한 깊이 맵은 시청자에게 깊이 효과를 주기 위해 다중-장면 이미지를 렌더링하는데 후속적으로 사용된다. 1997년, 캘리포니아주, 로스 알라미토스에 소재한, IEEE 컴퓨터 소사이어티의, 음향, 음성 및 신호 처리에 대한 국제 회의 의사록, 제 4권, ISBN 0-8186-7919-0, p.2749-2752에 게재된, P.A. Redert, E.A. Hendriks, 및 J. Biemond의 "중간이 아닌 위치에 있는 다수 시점 이미지의 합성"이라는 논문에는, 입력 이미지 및 깊이 맵에 기초한 깊이 정보의 추출 및 다중-장면 이미지의 렌더링 방법이 개시된다.

본 발명의 목적은 새 깊이 큐에 기초한, 개시 단락에 설명된 유형의 방법을 제공하는 것이다.

본 발명의 목적은 상기 방법이:

- 이미지의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽을 결정하는 단계;

- 다수의 점에서 곡선 벡터를 계산하는 단계; 및

- 곡선 벡터에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하는 단계

를 포함하는 것으로 달성된다.

본 발명의 배후의 이론적 근거(rationale)는 대부분의 물체가 구상이라는 것, 즉 이들은, 적어도 이미지 내부에 관련된 스케일 상에, 어떠한 홀도 포함하지 않는다는 것이다. 이는 땅, 사람, 전화, 자동차 등에 대해서도 유효하다. 그러면, 물체의 윤곽의 곡선에 기초하여, 관련 깊이 정도가 결정될 수 있다. 따라서, 보이는 물체들은 그들의 배경보다도 시청자에게 더 가까워질 것이다. 이것은 윤곽 내부의, 즉 물체의 윤곽에 대응하는 이미지 영역의 픽셀은, 윤곽 외부의 픽셀보다 더 낮은 깊이 값이 할당되어야 한다는 것을 의미한다. 비교적 낮은 깊이 값은 대응 물체가 시청자에게 비교적 가깝다는 것을 의미한다. 무엇이 윤곽 내부 및 외부에 있는지 결정하는 것은 곡선 벡터에 기초한다. 곡선 벡터는 감소 깊이를 향해 배향된다.

픽셀 값에 기초해 윤곽을 결정하기 위한 이미지 처리 분야에서 여러 알려진 기술이 있다. 픽셀 값은 컬러 및/또는 휘도 값을 의미한다. 윤곽은, 예를 들어, 에지 검출, 균등성 계산에 의해 또는 일시적 필터링에 기초해 결정될 수 있다. 윤곽들은 열리거나 닫힐 수 있다.

곡선을 위한 곡선 벡터를 계산하는 것은 수학에서 잘 알려진 기술이다. 이러한 경우 곡선은 윤곽이다. 곡선에서 특정 점의 곡선 벡터의 특성은 그 배향이 상기 특정 점에서 국부 곡선 구간에 대해 직교한다는 것이다. 곡선에서 특정 점의 곡선 벡터의 다른 특성은 그 길이가 특정 점과 이웃하는 점 사이의 제 1 라인 구간과 특정 점과 그것의 다른 이웃하는 점 사이의 제 2 라인 구간 간의 각도와 관련된다.

바람직하게, 깊이 값들 중 제 1 깊이 값을 할당하는 단계는 각 곡선 벡터에 기초해 깊이 도함수를 계산하는 단계 및 깊이 도함수들 중 제 1 깊이 도함수에 기초해 깊이 값들 중 제 1 깊이 값을 계산하는 단계를 포함한다. 깊이 도함수에 기초한 깊이 값의 계산 단계는 "전체 깊이 맵 획득"이라는 제목의 특허 출원에 개시된다. 이 특허 출원은 출원 번호 EP 03100092.0(관리 번호 PHNL030006)를 갖는다. 깊이 도함수의 제 1 깊이 도함수를 계산하기 위해, 다음이 적용된다.

- 깊이 도함수들 중 제 1 깊이 도함수의 크기는 곡선 벡터들 중 제 1 곡선 벡터의 길이에 기초해 계산되며;

- 깊이 도함수들 중 제 1 깊이 도함수의 방향은 곡선 벡터들 중 제 1 곡선 벡터의 배향에 기초해 계산된다.

다른 깊이 도함수의 계산 단계는 유사한 법칙에 기초한다.

본 발명에 따른 방법의 일 실시예는:

- 곡선 벡터에 기초해, 서로 같은 길이를 가진 평균 벡터의 집합을 계산하는 단계; 및

- 평균 벡터에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하는 단계

를 더 포함한다.

도 1에 도시된 것처럼, 원은 일정한 곡선 및 이에 따라 그 주변에 대한 경계선을 따르는 일정한 깊이 도함수를 제공한다. 그러나, 사각형은 도 3을 참조하면, 매우 비균일한 깊이 도함수를 제공하며, 모서리에서 최대이며, 다른 곳에서는 0이다. 동일한 물체에 속하는 픽셀에 대해 서로 동일한 깊이 값을 얻기 위해, 곡선 벡터가 약간 매끄러워야 한다. 이것은 윤곽의 곡선 벡터가 새로운 평균 벡터 집합으로 변환된다는 것을 의미한다. 후속적으로, 이들 평균 벡터는 깊이 도함수와 후속적으로 깊이 값을 계산하기 위해 사용된다.

바람직하게, 평균 벡터의 집합은 병렬 전송에 의해 계산된다.

바람직하게, 깊이 값들 중 제 1 깊이 값을 할당하는 단계는 각 평균 벡터에 기초해 깊이 도함수를 계산하는 단계 및 깊이 도함수들 중 제 1 깊이 도함수에 기초해 깊이 값들 중 제 1 깊이 값을 계산하는 단계를 포함한다. 이후, 도함수들 중 제 1 도함수를 계산하기 위해 다음이 적용된다.

- 깊이 도함수들 중 제 1 깊이 도함수의 크기는 평균 벡터들 중 제 1 평균 벡터의 길이에 기초해 계산된다;

- 깊이 도함수들 중 제 1 깊이 도함수의 방향은 평균 벡터들 중 제 1 평균 벡터의 배향에 기초해 계산된다.

다른 깊이 도함수를 계산하는 단계는 유사한 법칙에 기초한다.

곡선 벡터에 기초하며, 선택적으로는 평균 벡터에 기초하는, 깊이 값은, 예를 들어, 인용 문헌에서 설명된 것처럼, 다중-장면 이미지를 렝더링하기 위한 깊이 값으로서 직접 사용될 수 있다. 바람직하게, 본 발명에 따른 깊이 값은 전술한 것처럼 대안적인 깊이 큐에 기초한 다른 깊이 값과 결합된다.

본 발명의 추가적인 목적은 새로운 깊이 큐에 기초한, 개시 단락에서 설명한 종류의 깊이 맵 생성 유닛을 제공하는 것이다.

본 발명의 목적은 상기 생성 유닛이:

- 상기 이미지의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽을 결정하기 위한 결정 수단;

- 다수의 점들에서 곡선 벡터를 계산하기 위한 계산 수단; 및

- 곡선 벡터에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하기 위한 할당 수단

을 포함하는 것으로 달성된다.

본 발명의 추가적인 목적은 새 깊이 큐에 기초하여 깊이 맵을 생성하기 위해 배열된 개시 단락에서 설명된 종류의 깊이 맵 생성 유닛을 포함하는 이미지 처리 장치를 제공하는 것이다.

본 발명의 이러한 목적은 상기 생성 유닛이:

을 포함하는 것으로 달성된다.

본 발명의 추가적인 목적은, 새 깊이 큐에 기초해, 개시 단락에서 설명된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 이러한 목적은 상기 컴퓨터 프로그램 제품이, 로딩된 후, 상기 처리 수단에:

- 이미지의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽을 결정하고;

- 다수의 점에서 곡선 벡터를 계산하고;

- 곡선 벡터에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하는 것을

수행할 기능을 제공하는 것으로 달성된다.

깊이 맵 생성 유닛의 변형과 그 변경은 설명되어 있는 이미지 처리 장치, 상기 방법 및 상기 컴퓨터 프로그램 제품의 변경 및 변형에 대응할 수 있다.

본 발명에 따른, 깊이 맵 생성 유닛, 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 이들 및 다른 양상들은 이하 설명된 구현예 및 실시예로부터 그리고 첨부 도면을 참조하여 명백해 질 것이며 설명될 것이다.

도 1a는 본 발명에 따른 방법으로 생성된 이미지 및 대응 깊이 맵을 개략적으로 도시한 도면.

도 1b는 윤곽 및 곡선 벡터의 일부를 개략적으로 도시한 도면.

도 1c는 깊이 도함수에 기초한 깊이 값의 계산을 개략적으로 도시한 도면.

도 2는 곡선 벡터에 기초한 평균 벡터의 계산을 개략적으로 도시한 도면.

도 3은 본 발명에 따른 방법으로 생성된 다른 이미지 및 대응 깊이 맵을 개략적으로 도시한 도면.

도 4는 본 발명에 따른 깊이 맵 생성 유닛을 포함하는 다중-장면 이미지 생 성을 개략적으로 도시한 도면.

도 5는 본 발명에 따른 이미지 처리 장치의 일 실시예를 개략적으로 도시한 도면.

동일한 참조 번호는 도면 전체에서 유사한 부분을 표시하기 위해 사용된다.

도 1a는 본 발명에 따른 방법으로 생성된 이미지(100) 및 대응 깊이 맵(122)을 개략적으로 도시한다. 도 1a는 제 1 물체(104) 및 제 1 물체(104) 뒤에 위치한 제 2 물체(102)를 나타내는 이미지(100)를 도시한다. 배경은 예를 들어, 하늘 또는 숲 또는 초원과 같이 하나 이상의 물체를 형성할 수 있다는 것이 주목되어야 한다.

도 1a는 제 1 물체(104)에 대응하는 제 1 깊이 값의 그룹(116)을 포함하고 제 2 물체(102)에 대응하는 제 2 깊이 값의 그룹(118)을 포함하는 깊이 맵(122)을 도시한다. 깊이 값의 제 1 그룹(116)의 깊이 값은 깊이 값의 제 2 그룹(118)의 깊이 값보다 작은데, 이는 제 1 물체(104)가 이미지(100)의 시청자 또는 이미지(100)를 기초로 하는 다중-장면 이미지에 대해, 제 2 물체(102)보다 더 가깝다는 것을 의미한다.

깊이 맵(122)은 본 발명에 따른 방법에 기초해 생성된다. 깊이 값의 생성을 위해 다음 단계가 수행된다:

A: 윤곽(106)은 이미지(100)의 픽셀 값에 기초해 결정된다. 이러한 경우, 윤곽(106)은 제 1 물체(104)의 에지에 대응한다. 윤곽은 에지 검출에 의해 발견된다. 윤곽(106)은 인접 점의 집합을 포함한다. 이들 인접 점들은 픽셀 좌표에 대응할 수 있다. 대안적으로 이들 점들은 이미지(100)의 픽셀 매트릭스와 관계된 부동 점(floating points)으로 표현된다.

B: 곡선 벡터(108-114)들은 집합의 복수의 점들에 대해 계산된다. 일반적으로, 특정 곡선 벡터(112)는 특정 점(126)의 좌표 및 이웃하는 점(124 및 128)의 각 좌표에 기초해 특정 점(126)에 대해 계산된다. 도 1b와 관련한 설명을 참조한다.

C: 깊이 도함수는 곡선 벡터(108-114)에 기초해 계산된다. 깊이 도함수의 값은 각 곡선 벡터의 길이와 관련되며 깊이 도함수의 방향은 각 곡선 벡터의 배향에 기초한다. 수학식 1에서 점(p)에 대한 깊이 도함수(atop

D(p))가 점(p)에 대한 대응 곡선 벡터(

(p))에 기초해 계산되는 방법이 나타난다. 값(α)은 상수이다.

깊이 도함수에 기초한 깊이 값의 계산에 대한 도 1c와 관련한 설명을 참조한다.

도 1b는 윤곽(106)의 일부 및 윤곽(106)의 이 부분에 속하는 특정 곡선 벡터(112)를 개략적으로 도시한다. 윤곽(106)은 세 개의 점(124,126,128)이 도 1b에 도시된 인접 점의 집합을 포함한다. 특정 곡선(112)의 배향은 특정 점(126)에서 윤곽의 부분에 대해 직교한다. 특정 점(126)의 특정 곡선 벡터(112)의 다른 특징은 이 벡터의 길이가 특정 점(126)과 이웃하는 점(124) 사이의 제 1 라인 구간(130) 및 특정 점(126)과 그것의 다른 이웃하는 점(128) 사이의 제 2 라인 구간 간의 각 도와 관련된다는 것이다.

도 1c는 깊이 도함수에 기초한 깊이 값의 계산, 특히 점(p)(126)에 대한 대응 곡선 벡터(

(p))에 기초한 특정 점(p)(126)에 대해 결정된 특정 깊이 도함수(

D(p))에 기초한 제 1 픽셀(142)에 대응하는 제 1 깊이 값의 계산을 도시한다. 이러한 깊이 값 계산은 출원 번호 EP 03100092.0인 특허 출원에서 개시된 것과 일치한다. 특정 깊이 도함수의 값은

, 즉 길이 3이며, 곡선 벡터와 반대 방향이다. 원래 픽셀(140)에 대해 깊이 값은 이 경우에 10인 잘 선택된 미리 결정된 오프셋 깊이 값으로 설정되었다. 제 1 픽셀(142)에 대응하는 제 1 깊이 값의 계산은 비교적 쉬우며, 즉, 10-3=7이다.

도 2는 곡선 벡터(202-216)에 기초한 평균 벡터(222-236)의 계산을 개략적으로 도시한다. 이 계산은 곡선을 따른 벡터의 소위 병렬 전송에 기초한다. 계산은 다음 단계를 포함한다:

D: 윤곽(106)은 직선(208)으로 풀린다. 풀리면서, 곡선 벡터(202-216)의 길이와 윤곽(106)에 대한 그들의 방향이 유지된다. 정의에 의해, 풀린 곡선 벡터는 위나 아래를 가리킨다. 이것은 이들 각각은 실수에 의해 나타내질 수 있다는 것을 의미한다.

E: 이후 풀린 곡선 벡터, 즉 실수는 누적되고 선택적으로 곡선 벡터의 수 또는 미리 결정된 상수값(예, 2π)에 의해 나누어졌으며, 평균 벡터(222-236)를 초래한다.

F: 이후 원래 곡선 벡터(202-216)는 평균 벡터(222-236)에 의해 대체된다. 평균 벡터(202-216)는 다음의 특성을 갖는다:

- 이들은 모두 동일한 길이를 갖는다;

- 이들 각각은 국부 곡선 구간에 직교하여 배향된다;

- 이들 각각은 대응 원래 곡선 벡터에 대해 병렬로 배향된다.

이는 그것이 동일한 방향 또는 반대 방향을 향한다는 것을 의미한다.

도 3은 다른 이미지(300)를 개략적으로 도시하며 대응 깊이 맵(324)은 본 발명에 따른 방법으로 생성된다. 도 3은 제 1 물체(104)(즉, 원형 물체), 제 3 물체(105)(즉, 정사각형 물체)(제 1 물체(104) 뒤에 위치) 및 제 2 물체(102)(즉, 배경으로서 제 3 물체(105) 뒤에 위치)를 나타내는 이미지(300)를 도시한다.

도 3은 제 1 물체(104)에 대응하는 깊이 값의 제 1 그룹(328)을 포함하며 제 2 물체(102)에 대응하는 깊이 값의 제 2 그룹(327)을 포함하는 깊이 맵(324)을 도시한다. 깊이 맵(324)은 제 3 물체(105)에 대응하는 깊이 값의 제 3 그룹(326)을 더 포함한다. 깊이 값의 제 1 그룹(328)의 깊이 값은 깊이 값의 제 2 그룹(327)의 깊이 값보다 낮으며, 이는 제 1 물체(104)가 제 2 물체(102)보다 이미지(300)의 시청자에 대해 또는 이미지(300)에 기초한 다중-장면 이미지에 대해 더 가깝다는 것을 의미한다.

깊이 맵(324)은 본 발명에 따른 방법에 기초해 생성된다. 깊이 값의 생성을 위해 다음 단계들이 수행된다:

A: 세 개의 개방 윤곽(302-306)은 이미지(300)의 픽셀 값에 기초해 결정된 다. 이러한 경우, 제 1 윤곽(302)은 제 1 물체(104)의 에지의 부분에 대응하며, 제 2 윤곽(304)은 제 3 물체(105)의 에지의 일부에 대응하며, 제 3 윤곽(306)은 제 1 물체의 에지의 다른 부분에 대응한다. 이들 3개의 개방 윤곽(302-306)은 T-교차점의 검출이 후속되는 에지 검출에 기초해 결정된다.

B: 이후 곡선 벡터(308-312)의 집합은 각 개방 윤곽(302-306)에 대해 계산된다. 알 수 있는 것처럼, 제 2 윤곽(304)에 대응하는 곡선 벡터(310)는 비교적 높다.

E: 이후 평균 벡터(318-322)의 집합은 도 2와 연관하여 설명된 것처럼 곡선 벡터(308-312)의 각 집합에 대해 계산된다;

C: 이후 깊이 도함수는 평균 벡터(318-322)에 기초해 계산된다.

깊이 도함수의 값은 각 평균 벡터의 길이와 관련되며 깊이 도함수의 방향은 각 평균 벡터의 배향에 기초한다. 깊이 값들은 출원 번호 EP 03100092.0인 특허 출원에서 개시된 것처럼 깊이 도함수에 기초해 계산된다. 수학식 2에는 점(p)에 대한 깊이 도함수(

D(p))가 점(p)에 대해 대응하는 평균 벡터(

)에 기초해 어떻게 계산되는지가 나타난다. 이 값(α)은 상수이다.

도 4는 본 발명에 따른 깊이 맵 생성 유닛(401)을 포함하는 다중-장면 이미지 생성 유닛(400)을 개략적으로 도시한다. 다중-장면 이미지 생성 유닛(400)은 비 디오 이미지의 시퀀스에 기초해 다중-장면 이미지의 시퀀스를 생성하기 위해 배열된다. 다중-장면 이미지 생성 유닛(400)에는 입력 커넥터(408)에서 비디오 이미지의 스트림이 제공되며 출력 커넥터(410 및 412) 각각에서 2개의 상관된 비디오 이미지의 스트림을 제공한다. 이들 2개의 상관된 비디오 이미지의 스트림은 비디오 이미지의 상관된 스트림 중 제 1 스트림에 기초한 제 1 일련의 시야를 가시화하기 위해 그리고 비디오 이미지의 상관된 스트림의 제 2 스트림에 기초한 제 2 일련의 시야를 가시화하기 위해 배열된 다중-장면 디스플레이 디바이스에 제공될 것이다. 사용자, 즉 시청자가 왼쪽 눈으로 제 1 일련의 시야를 관찰하고 오른쪽 눈으로 제 2 일련의 시야를 관찰하는 경우 3D 효과를 인식한다. 비디오 이미지의 상관된 스트림들 중 제 1 스트림은 수신한 대로의 비디오 이미지의 시퀀스에 대응할 수 있으며 비디오 이미지의 상관된 스트림 중 제 2 스트림은 수신된 대로의 비디오 이미지의 시퀀스에 기초해 렌더링될 수 있다. 바람직하게, 비디오 이미지의 이들 스트림들은 수신된 대로 비디오 이미지의 시퀀스에 기초해 렌더링된다. 렌더링은 1997년 캘리포니아, 로스 알라미토스 소재, IEEE 컴퓨터 소사이어티의 음향, 음성 및 신호 처리에 대한 국제 회의 의사록, 제 4권, ISBN 0-8186-7919-0, pp 2749-2752에 게재된, P.A. Redert, E.A. Hendriks 및 J. Biemond에 의한 "중간이 아닌 위치에 있는 다중 시점 이미지의 합성"이라는 문헌에 기술된 것과 같다. 대안적으로, 렌더링은 2003년 그라나다의 유로그래픽 의사록, 요약서 124에 게재된, R.P. Berretty 및 F.E. Ernst에 의한 "2.5D 비디오로부터의 고품질 이미지"에 기술된 것과 같다.

다중-장면 이미지 생성 유닛(400)은:

- 이미지의 전이에 기초한 각 입력 이미지에 대한 깊이 맵을 생성하기 위한 깊이 맵 생성 유닛(401); 및

- 깊이 맵 생성 유닛(401)에 의해 제공된, 입력 이미지 및 각 깊이 맵에 기초한 다중-장면 이미지를 렌더링하기 위한 렌더링 유닛(406)

을 포함한다.

이미지의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하기 위한 깊이 맵 생성 유닛(401)은:

- 이미지(100)의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽을 결정하기 위한 결정 유닛(402);

- 다수의 점들에서 곡선 벡터를 계산하기 위한 계산 유닛(403); 및

- 곡선 벡터(108-114)에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하기 위한 할당 유닛(404)

을 포함한다.

결정 유닛(402), 계산 유닛(403), 할당 유닛(404) 및 렌더링 유닛(406)은 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이들 기능은 소프트웨어 프로그램 제품의 제어 하에서 수행된다. 실행하는 동안, 일반적으로 소프트웨어 프로그램 제품은, RAM과 같은, 메모리에 로딩되며, 거기에서 실행된다. 프로그램은 ROM, 하드 디스크, 또는 자기적으로 및/또는 광학 기억 장치와 같은 백그라운드 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로 애플리케이션 특정 집적 회로는 개시된 기능을 제공한다.

도 4와 연관되어 설명된 것과 같은 다중-장면 이미지 생성 유닛(400)이 비디오 이미지를 처리하도록 설계되었다고 해도, 본 발명에 따른 깊이 맵 생성 유닛의 대안적인 실시예들은 개별 이미지, 즉 정지 화상에 기초해 깊이 맵을 생성하기 위해 배열된다는 것이 주목되어야 한다.

도 5는 본 발명에 따른 이미지 처리 장치(500)의 실시예를 개략적으로 도시하며, 상기 장치는:

- 입력 이미지를 나타내는 비디오 신호를 수신하기 위한 수신 유닛(502);

- 도 4와 연관하여 설명된 것과 같은, 수신된 입력 이미지에 기초한 다중-장면 이미지를 생성하기 위한 다중-장면 이미지 생성 유닛(401); 및

- 다중-장면 이미지 생성 유닛(401)에 의해 제공된 것과 같은 다중-장면 이미지를 디스플레이하기 위한 다중-장면 디스플레이 디바이스(506)

를 포함한다.

비디오 신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수 있지만 또한 VCR(Video Cassette Recorder) 또는 DVD(Digital Versatile Disk)와 같은 저장 디바이스로부터의 신호일 수 있다. 이 신호는 입력 커넥터(510)에서 제공된다. 이미지 처리 장치(500)는 예를 들어 TV일 수 있다. 대안적으로, 이미지 처리 장치(500)는 선택적인 디스플레이 디바이스를 포함하지 않지만 출력 이미지를 디스플레이 디바이스(506)를 포함하는 장치에 제공한다. 이후 이미지 처리 장치(500)는 예를 들어, 셋톱 박스, 위성-튜너, VCR 플레이어, DVD 플레이어 또는 레코더일 수 있다. 선택적으로 이미지 처리 장치(500)는 예를 들어, 하드-디스크 또는 광학 디 스크와 같은, 탈착가능 매체 상에 저장하기 위한 수단과 같은, 저장 수단을 포함한다. 이미지 처리 장치(500)는 또한 필름-스튜디오 또는 브로드캐스터에 의해 응용된 시스템일 수 있다.

전술한 실시예들은 본 발명을 제한하기 보다는 설명하며 당업자는 첨부된 청구항의 범위를 이탈하지 않고 대안적인 실시예를 설계할 수 있다는 것이 주목되어야 한다. 청구항에서, 괄호 사이에 있는 임의의 참조 부호는 청구항을 제한하는 것으로 해석되지 않는다. '포함하다'라는 용어는 청구항에 열거되지 않은 요소 또는 단계의 존재를 배제하지 않는다. 단수 요소는 복수 요소의 존재를 배제하지 않는다. 본 발명은 여러 분리 요소를 포함하는 하드웨어에 의해 그리고 적절하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 설명하는 유닛 청구항에서, 이들 수단들 중 여러 가지는 동일한 항목의 하드웨어에 의해 구현될 수 있다. 제 1, 제 2 및 제 3 등과 같은 용어의 사용은 임의의 순서를 나타내지 않는다. 이들 용어는 명칭으로 해석될 것이다.

본 발명은 이미지의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하는 방법에 관한 것으로서, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵을 생성하는 방법 등에 이용가능하다.

Claims

이미지(100)의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법으로서,

- 상기 이미지(100)의 픽셀 값에 기초해 인접 점의 집합을 포함하는 윤곽(106)을 결정하는 단계;

- 다수의 점에서 곡선 벡터(108-114)를 계산하는 단계; 및

- 곡선 벡터(108-114)에 기초하여 픽셀들의 제 1 깊이 값에 대응하는 깊이 값의 제 1 깊이 값을 할당하는 단계

를 포함하는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법.
제 1항에 있어서, 상기 깊이 값들 중 제 1 깊이 값을 할당하는 단계는 각 곡선 벡터(108-114)에 기초한 깊이 도함수(derivatives)를 계산하는 단계 및 상기 깊이 도함수들 중 제 1 도함수에 기초한 깊이 값의 제 1 깊이 값을 계산하는 단계를 포함하는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법.
제 2항에 있어서, 깊이 도함수들 중 제 1 깊이 도함수의 크기는 곡선 벡터의 제 1 곡선 벡터의 길이에 기초해 계산되는, 시청자까지의 거리를 나타내는 깊이 값 을 포함하는 깊이 맵(122)을 생성하는 방법.
제 2항에 있어서, 깊이 도함수의 제 1 도함수의 방향은 곡선 벡터의 제 1 곡선 벡터의 배향에 기초하여 계산되는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법.
제 1항에 있어서, 상기 방법은:

- 곡선 벡터(310)에 기초해, 서로 같은 길이의 평균 벡터(320)의 집합을 계산하는 단계; 및

- 상기 평균 벡터(320)에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하는 단계

를 더 포함하는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(324)을 생성하는 방법.
제 5항에 있어서, 평균 벡터(320)의 집합은 병렬 전송에 의해 계산되는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(324)을 생성하는 방법.
제 5항에 있어서, 깊이 값들 중 제 1 깊이 값을 할당하는 단계는 각 평균 벡터(320)에 기초해 깊이 도함수를 계산하는 단계 및 깊이 도함수들 중 제 1 도함수에 기초해 깊이 값들 중 제 1 깊이 값을 계산하는 단계를 포함하는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(324)을 생성하는 방법.
제 7항에 있어서, 깊이 도함수들 중 제 1 도함수의 크기는 상기 평균 벡터(320)의 제 1 평균 벡터의 길이에 기초해 계산되는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법.
제 7항에 있어서, 깊이 도함수 중 제 1 깊이 도함수의 방향은 상기 평균 벡터(320)의 제 1 평균 벡터의 배향에 기초해 계산되는, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하는 방법.
이미지(100)의 각 픽셀에 대해, 시청자까지의 거리를 나타내는 깊이값을 포함하는 깊이 맵(122)을 생성하기 위한 깊이 맵 생성 유닛(401)으로서,

- 상기 이미지(100)의 픽셀 값에 기초해, 인접 점의 집합을 포함하는 윤곽(106)을 결정하기 위한 결정 수단(402);

- 다수의 점에서 윤곽 벡터(108-114)를 계산하기 위한 계산 수단(403); 및

- 곡선 벡터(108-114)에 기초해 픽셀들의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값을 할당하기 위한 할당 수단(404)

을 포함하는, 깊이 맵 생성 유닛.
이미지 처리 장치(500)로서,

- 이미지(100)에 대응하는 신호를 수신하기 위한 수신 수단(502); 및

- 제 1항에 청구된, 깊이 맵(122)을 생성하기 위한 깊이 맵 생성 유닛(401)

을 포함하는, 이미지 처리 장치.
컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품으로서, 이미지(100)의 각 픽셀에 대한, 시청자까지의 거리를 나타내는 깊이 값을 포함하는 깊이 맵(122)을 생성하기 위한 명령어를 포함하며, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하며, 상기 컴퓨터 프로그램 제품은, 로딩된 후, 상기 처리 수단에:

- 인접 점 집합을 포함하는 윤곽(106)을 이미지(100)의 픽셀 값에 기초해 결정하며;

- 다수의 점에서 윤곽 벡터(108-114)를 계산하며;

- 곡선 벡터(108-114)에 기초해 픽셀의 제 1 깊이 값에 대응하는 깊이 값들 중 제 1 깊이 값의 할당

을 수행할 기능을 제공하는, 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품.