KR20160072165A - 3d 뷰잉을 위한 깊이 맵의 리매핑 - Google Patents

3d 뷰잉을 위한 깊이 맵의 리매핑 Download PDF

Info

Publication number
KR20160072165A
KR20160072165A KR1020167012621A KR20167012621A KR20160072165A KR 20160072165 A KR20160072165 A KR 20160072165A KR 1020167012621 A KR1020167012621 A KR 1020167012621A KR 20167012621 A KR20167012621 A KR 20167012621A KR 20160072165 A KR20160072165 A KR 20160072165A
Authority
KR
South Korea
Prior art keywords
depth
pixels
image
remapping
map
Prior art date
Application number
KR1020167012621A
Other languages
English (en)
Inventor
자오루이 유안
윌헬무스 헨드리쿠스 알폰수스 브룰스
위베 데 한
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20160072165A publication Critical patent/KR20160072165A/ko

Links

Images

Classifications

    • H04N13/0022—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G06T7/0051—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H04N13/0066—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

깊이 맵(101)을 리매핑하도록 배열된 이미지 프로세싱 디바이스(100)가 개시된다. 3D 이미지는 깊이 맵 및 콘텐트 이미지를 포함한다. 상기 깊이 맵은 2D 어레이 내의 깊이 픽셀들을 갖는다. 각각의 깊이 픽셀은 깊이 값(203) 및 위치(201, 202)를 갖는다. 상기 리매핑은 전체적 리매핑 기능(122)을 포함한다. 상기 이미지 프로세싱 디바이스는 프로세싱 유닛(199)을 포함하며, 상기 프로세싱 유닛은 적어도 위치 및 깊이 값에 기초하는 선택 기준을 사용하여 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들(112)을 선택하기 위한 선택 기능(110); 상기 오브젝트를 리매핑하기 위해 국부적 리매핑 기능(121)을 결정하기 위한 결정 기능(120); 및 상기 선택된 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능을 사용하고 다른 깊이 픽셀들에 대해 전체적 리매핑 기능을 사용하여 상기 깊이 맵을 리매핑하기 위한 매핑 기능(130)을 포함한다. 상기 오브젝트는 상기 3D 이미지에 결합된 메타데이터를 통하여 제공된 선택 기준을 사용하여 선택된다.

Description

3D 뷰잉을 위한 깊이 맵의 리매핑{REMAPPING A DEPTH MAP FOR 3D VIEWING}
본 발명은 2차원(2D) 콘텐트 이미지에 대응하는 깊이 맵(depth map)의 리매핑에 관한 것이다. 2D 이미지 및 깊이 맵은 3D 디스플레이 상에서 뷰잉될 3차원(3D) 이미지를 렌더링하기 위한 기반을 형성한다. 리매핑은 입력 깊이 범위로부터 3D 디스플레이의 출력 깊이 범위로 깊이 맵을 매핑한다.
문헌 논문 '입체 비디오의 시각적 편안함을 개선하기 위한 시차 리매핑'(숀(Sohn) 등의, Proc. SPIE 8648, 입체 디스플레이들 및 어플리케이션들 XXIV, 86480Y)은 시차 맵(disparity map)의 리매핑을 위한 방법을 기술하고 있다. 상기 시차 맵은 상기 시차 맵에 대응하는 2차원(2D) 이미지를 또한 구비하는 3차원(3D) 이미지의 일부이다. 상기 시차 맵은 (새로운 시차 맵에 기초한) 3D 이미지가 3D 디스플레이 상에서 뷰잉될 수 있도록 새로운 시차 맵으로 리매핑된다. 상기 리매핑은 다음과 같이 확립된다. 먼저, 입력 시차 범위로부터 (3D 디스플레이의) 출력 시차 범위로 상기 시차 맵을 매핑하기 위해 전체적 리매핑 곡선(global remapping curve)을 확립한다. 다음으로, 3D 디스플레이 상에서 3D 이미지를 뷰잉할 때 시각적 불편함을 야기하는 시차 전이(disparity transitions)에 기초한 국부적으로 현저한 특징들을 식별한다. 상기 전체적 리매핑 곡선은 따라서 상기 시각적 불편함을 줄이기 위하여 상기 국부적으로 현저한 특징들에 대해 적응된다. 다음으로, 상기 시차 맵은 상기 적응된 전체적 리매핑 곡선에 따라 리매핑된다.
US2012/0314933은 이미지 처리 방법을 개시하고, 상기 방법은 입체 이미지 상에서 사용자가 주목하고 있는 것으로 추정되는 어텐션 영역을 추정하는 단계, 상기 입체 이미지의 시차(parallax)를 검출하고 상기 입체 이미지의 각 영역의 시차를 나타내는 시차 맵을 발생하는 단계, 상기 어텐션 영역 및 상기 시차 맵에 기초하여 상기 입체 이미지의 시차를 수정하기 위한 변환 특성을 설정하는 단계; 상기 변환 특성에 기초하여 상기 시차 맵을 수정하는 단계를 포함한다. 상이한 변환 기능들이 상기 어텐션 영역 및 배경에 대해 사용될 수 있다.
US2013/0141422는 3차원 입체 이미지의 일부와 연관된 특성을 변경하기 위한 시스템을 개시한다. 상기 방법은 3차원 이미지 내의 가상 오브젝트의 부분이 상기 가상 오브젝트 부분의 좌측 눈 이미지와 상기 가상 오브젝트 부분의 우측 눈 이미지 사이의 차에 기초하여 디스플레이에 대해 제 1 축을 따른 미리 결정된 위치에 존재하는지를 결정하는 단계를 포함한다. 상기 제 1 축은 상기 디스플레이의 평면에 수직이다.
WO2009/034519는 깊이 관련 정보의 발생에 사용되는 매핑 기능과 관련된 메타데이터를 수신하는 하는 단계를 포함하는, 이미지 데이터에 대한 깊이 관련 정보를 수신하는 것을 개시하고 있다.
US2012/0306866은 깊이 정보를 조절하기 위한 3D 이미지 변환을 개시하고 있다. 상기 변환은 입력 이미지에 관한 깊이 정보를 발생하고; 사전 설정 범위를 초과하는 시차를 갖는 오브젝트를 검출하고; 사전 설정 범위 내에 있게 될 검출된 오브젝트의 시차를 조절함으로써 오브젝트의 깊이 정보를 조절하는 것을 포함한다. 메타데이터, 예를 들면, 장르 또는 뷰잉 에이지가 미리 결정된 범위 내에 있게 될 발생된 깊이 정보를 조절하기 위해 분석될 수 있다.
종래 기술의 문제점은 국부적인 특징들에 대한 전체적 시차 리매핑(또는 '리타게팅(retargeting)')의 적응성(adaptability)이 제한된다는 것인데, 이는 상기 국부적 특징들에 대한 모든 적응들이 동일한 (적응된) 전체적 리매핑에 의해 수용될 필요가 있기 때문이다. 본 발명의 목적은, 이미지의 다른 부분들에서의 깊이 리매핑을 적응시키지 않고서 상기 이미지의 오브젝트를 정확하게 선택하여 적응시키는 깊이 리매핑을 제공함으로써, 상기한 종개 기술의 문제를 해소하는 것이다.
3차원 이미지의 깊이 맵을 리매핑하도록 구성된 이미지 프로세싱 디바이스가 개시되며, 상기 3차원 이미지는 깊이 맵과 2차원 콘텐트 이미지를 포함하고, 상기 깊이 맵은 상기 콘텐트 이미지 내의 이미지 픽셀들의 위치들에 대응하는 위치들에서 2차원 위치 어레이에 구성된 깊이 픽셀들을 가지며, 상기 깊이 픽셀들의 각각은 깊이 값을 갖고, 상기 리매핑은 상기 깊이 맵의 새로운 깊이 값들로 상기 깊이 맵의 깊이 값들을 매핑하기 위한 전체적 리매핑 기능을 포함하고, 상기 이미지 프로세싱 디바이스는 상기 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하는 신호를 수신하기 위한 수신 유닛으로서, 상기 메타데이터는 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준을 포함하는, 상기 수신 유닛과, 상기 메타데이터로부터 상기 선택 기준을 검색하고 상기 선택 기준을 사용하여 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하도록 구성된 선택 기능; 새로운 깊이 값들로 선택된 깊이 픽셀들의 깊이 값들을 매핑하기 위해 국부적 리매핑 기능을 결정하도록 구성된 결정 기능; 및 상기 선택된 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능을 사용하고 상기 선택된 깊이 픽셀들과는 다른 깊이 픽셀들에 대해 전체적 리매핑 기능을 사용하여 상기 깊이 맵을 리매핑하도록 구성된 매핑 기능을 포함하는 프로세싱 유닛을 포함한다.
3차원(3D) 이미지는 깊이 맵 및 대응하는 콘텐트 이미지를 포함한다. 깊이 맵은 X 및 Y 축들을 따른 각각의 위치에서 2D 어레이 내의 깊이 픽셀들을 포함하고, 각각의 깊이 픽셀은 깊이 값을 갖는다. 깊이 맵의 각 픽셀은 콘텐트 이미지 내의 대응하는 위치에서의 픽셀에 대응한다. 그러한 3D 이미지 포맷은 통상 '이미지-플러스-깊이' 또는 '2D+Z'으로 공지되어 있다.
깊이 맵을 리매핑한다는 것은 각각의 새로운 깊이 값들로 깊이 맵의 각각의 픽셀 깊이들의 깊이 값들을 매핑하는 것을 의미한다. 리매핑은 깊이 맵을 리매핑하기 위한 적어도 전체적 리매핑 기능을 포함한다.
선택 기능은 적어도 위치 및 깊이 값에 기초하는 선택 기준을 사용하여 3차원 이미지 내의 오브젝트에 대응하는 깊이 픽셀들을 선택하도록 구성된다. 예를 들면, 상기 선택 기준은 전경 오브젝트(foreground object)에 대응하는 깊이 픽셀들을 깊이 및 위치에서의 경계들을 포함하며: 상기 선택 기능은 상기 경계들 내에 존재하는 깊이 픽셀들을 선택함으로써 상기 전경 오브젝트에 대응하는 깊이 픽셀들을 선택한다. 위치 및 깊이 값에 기초하여 오브젝트를 선택하는 것은 상기 오브젝트의 정확한 선택을 가능하게 하여, 상기 오브젝트에 대응하지 않는 깊이 픽셀들의 낮은 비율을 선택하면서 깊이 픽셀들의 높은 비율이 상기 오브젝트에 대응하게 한다.
선택적으로, 상기 선택 기능은 상기 3D 이미지 내의 (전경) 오브젝트들을 결정하기 위한 자동화된 프로세스를 포함한다.
상기 결정 기능은 상기 선택된 깊이 픽셀들을 리매핑하기 위한 국부적 리매핑 기능을 결정하도록 구성된다. 상기 국부적 리매핑 기능은 상기 전체적 리매핑 기능과는 상이한 리매핑 기능이다.
선택적으로, 상기 결정 기능은 상기 3D 이미지에 결합된 메타데이터로부터 국부적 리매핑 기능을 검색하도록 구성된다. 선택적으로, 상기 결정 기능은 상기 국부적 리매핑 기능을 결정하기 위한 자동화된 프로세스를 포함하여, 상기 오브젝트와 또 다른 오브젝트 및/또는 상기 배경 사이의 기이 콘트라스트가 개선된다.
상기 리매핑 기능은 상기 국부적 리매핑 기능 및 상기 전체적 리매핑 기능 양쪽 모두를 사용하여 상기 깊이 맵을 리매핑하도록 구성된다. 상기 국부적 리매핑 기능은 상기 선택된 깊이 픽셀들을 리매핑하는데 사용되는 반면에, 상기 전체적 리매핑 기능은 남아있는 (선택되지 않은) 깊이 픽셀들을 리매핑하는데 사용된다.
3차원 이미지의 깊이 맵을 리매핑하기 위한 방법이 개시되며, 상기 3차원 이미지는 깊이 맵과 2차원 콘텐트 이미지를 포함하고, 상기 깊이 맵은 상기 콘텐트 이미지 내의 이미지 픽셀들의 위치들에 대응하는 위치들에서 2차원 어레이 내에 구성된 깊이 픽셀들을 가지며, 상기 깊이 픽셀들의 각각은 깊이 값을 갖고, 상기 리매핑은 새로운 깊이 값들로 상기 깊이 맵의 깊이 값들을 매핑하기 위한 전체적 리매핑 기능을 포함하고, 상기 방법은 상기 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하는 신호를 수신하는 단계로서, 상기 메타데이터는 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준을 포함하는, 상기 수신 단계와, 상기 메타데이터로부터 상기 선택 기준을 검색하고 상기 선택 기준을 사용하여 상기 3차원 이미지 내의 오브젝트에 대응하는 깊이 픽셀들을 선택하고; 새로운 깊이 값들로 상기 선택된 깊이 픽셀들의 깊이 값들을 매핑하기 위해 국부적 리매핑 기능을 결정하고; 상기 선택된 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능을 사용하고 상기 선택된 깊이 픽셀들과는 다른 깊이 픽셀들에 대해 전체적 리매핑 기능을 사용하여 상기 깊이 맵을 리매핑하는 단계를 포함한다.
깊이 맵을 리매핑하기 위해 상기 기술된 바와 같은 이미지 프로세싱 디바이스에 사용하기 위한 신호가 개시되며, 상기 신호는 상기 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하고, 상기 3차원 이미지는 깊이 맵 및 콘텐트 이미지를 포함하고, 상기 깊이 맵은 2차원 위치 어레이 내에 구성된 깊이 픽셀들을 가지며, 상기 깊이 픽셀들의 각각은 깊이 값을 갖고 상기 콘텐트 이미지 내의 위치에 대응하는 2차원 어레이 내의 위치를 가지며, 상기 메타데이터는 새로운 깊이 값들로 상기 선택된 깊이 픽셀들의 깊이 값들을 매핑하기 위해 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준을 포함한다.
상기 신호에 사용하기 위해 메타데이터를 발생하기 위한 이미지 인코딩 방법이 개시되며, 상기 방법은 새로운 깊이 값들로 상기 선택된 깊이 픽셀들의 깊이 값들을 매핑하기 위해 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준을 포함하는 메타데이터를 발생하는 단계와 상기 메타데이터를 상기 3차원 이미지에 결합하는 단계를 포함한다.
본 발명은, 메타데이터가 위치 및 깊이 양쪽 모두를 사용하여 오브젝트에 대응하는 깊이 픽셀들을 정확하게 선택할 수 있게 하므로, 종래 기술의 상기한 문제를 갖지 않는다. 상기 오브젝트의 정확한 선택은 결과적으로 국부적 리매핑이 상기 오브젝트에 정확하게 적용될 수 있게 하면서, 전체적 리매핑이 이미지의 다른 부분들에 대해 유지될 수 있게 한다.
본 명세서에서 용어 "정확하게"는 상기 오브젝트에 대응하지 않는 깊이 픽셀들을 낮은 비율로 선택하면서 상기 오브젝트에 대응하는 깊이 픽셀들을 높은 비율로 선택하는 것을 의미한다. 예를 들면, 높은 비율은 95-100%를 나타내며, 낮은 비율은 0-5%를 나타낸다. 본 발명의 효과는 상기 리매핑이 상기 3D 이미지 내의 (국부적) 이미지에 정확하게 적응하면서, 상기 3D 이미지의 다른 부분들에 대해 전체적 리매핑을 유지한다는 것이다.
본 발명의 상기한 양태 및 다른 양태들은 이후 기술되는 실시예들의 참조하여 더욱 상세히 설명될 것이며, 이를 통해 더욱 명백할 것이다.
도 1은 깊이 맵을 리매핑하기 위한 이미지 프로세싱 디바이스를 도시하는 도면.
도 2a는 두 개의 전경 오브젝트들 및 배경을 포함하는 깊이 맵을 도시하는 도면.
도 2b는 두 개의 전경 오브젝트들에 대한 깊이 프로파일들을 도시하는 도면.
도 3a는 다수의 형태들을 사용하여 복잡한 오브젝트의 선택을 도시하는 도면.
도 3b는 다수의 더 작은 연속하지 않는 오브젝트들로 구성된 오브젝트의 선택을 도시하는 도면.
도 4는 전체적 리매핑 기능 및 두 개의 국부적 리매핑 기능들을 도시하는 도면.
다른 도면들에서 동일한 참조 번호들을 갖는 항목들은 동일한 구조적 특징들 및 동일한 기능들을 갖는다는 것을 유의해야 한다. 그러한 항목의 기능 및/또는 구조가 이미 설명된 경우에는, 상세한 설명에서 그에 대한 반복된 설명이 필요치 않을 것이다.
도 1은 깊이 맵 MAP(101)를 리매핑하기 위한 이미지 프로세싱 디바이스(100)를 도시한다. 깊이 맵 MAP는 깊이 픽셀들의 2차원(2D) 어레이를 포함하며, 상기 깊이 픽셀들의 각각은 2D 어레이에서의 깊이 값 및 위치를 갖는다. 이미지 프로세싱 디바이스(100)는 몇몇의 기능들(110, 120 및 130)을 수행하도록 배열된 프로세싱 유닛(199)을 포함한다. 선택 기능 SELFUN(110)은 선택 기준 CRT(111)를 사용하여 상기 깊이 맵 MAP에서의 깊이 픽셀들 SELPIX(112)를 선택한다. 이어서, 결정 기능 DETFUN(120)이 상기 선택된 깊이 픽셀들 SELPIX를 리매핑하기 위한 국부적 리매핑 기능 FLOC(121)를 결정한다. 이어서, 매핑 기능 MAPFUN(130)이, (1) 상기 국부적 리매핑 기능 FLOC를 사용하여 상기 선택된 깊이 픽셀들 SELPIX를 리매핑하고, (2) 전체적 리매핑 기능 FGLOB(122)를 사용하여 상기 선택된 깊이 픽셀들 SELPIX과는 다른 픽셀들을 리매핑함으로써, 상기 깊이 맵 MAP를 리매핑한다. 리매핑 기능 MAPFUN의 출력은 이제 입력 깊이 맵 MAP와 동일한 포맷을 갖는 새로운 깊이 맵 MAPNEW(131)이 된다.
표현 '깊이 맵을 리매핑'은 깊이 맵의 깊이 값들이 각각의 새로운 깊이 값들로 매핑된다는 것을 의미한다.
깊이 맵 MAP는 깊이 픽셀들의 상기 2D 어레이로서 포맷된다. 깊이 맵 MAP는 깊이 픽셀들을 포함하고, 콘텐트를 나타내는 콘텐트 픽셀들을 포함하는 (2D) 콘텐트 이미지에 결합된다. 예를 들면, 상기 콘텐트 이미지는 자연 경관을 보여주는 사진이거나, 또는 영화의 비디오 프레임이다. 콘텐트 이미지와 깊이 맵(101)의 조합은 통상 '2D+Z' 또는 '2D+깊이'로서 공지된 3차원(3D) 이미지 포맷을 구성한다.
2D 어레이 내의 위치에서의 깊이 픽셀은 (2D) 콘텐트 이미지 내의 대응하는 위치에서의 픽셀에 대응한다. 깊이 맵이 콘텐트 이미지와 동일한 해상도를 갖는다면, 상기 콘텐트 이미지 내의 임의의 위치에서의 콘텐트 픽셀은 상기 깊이 맵 내의 동일한 임의의 위치에서의 깊이 픽셀에 대응한다. 깊이 맵이 콘텐트 이미지와는 상이한 해상도를 갖는다면, 상기 콘텐트 이미지 내의 위치에서의 콘텐트 픽셀은 상기 깊이 맵을 상기 콘텐트 이미지의 해상도로 스케일링한 결과인 스케일링된 깊이 맵 내의 동일한 위치에서의 깊이 픽셀에 대응한다. 따라서, 본 명세서의 맥락에서, 콘텐트 이미지 내의 위치(또는 영역)를 지칭하는 것은 깊이 맵 MAP 내의 위치와 동등한 것이다.
선택적으로, 이미지 프로세싱 디바이스(100)는 3D 이미지와 메타데이터를 포함하는 신호를 수신하기 위한 수신 유닛 RECVR(150)를 포함하여, 깊이 맵 MAP를 프로세싱 유닛(199)에 제공한다. 상기 수신 유닛 RECVR은 예를 들면 광학 디스크로부터 깊이 맵을 갖는 3D 이미지 및 선택 기준을 포함하는 메타데이터를 수신할 수 있으며, 상기 깊이 맵 및 상기 선택 기준을 프로세싱 유닛(199)에 제공한다. 상기 수신 유닛 RECVR을 가짐으로써, 상기 이미지 프로세싱 디바이스(100)는 광학 디스크 유닛으로 작용할 수 있다.
선택적으로, 상기 이미지 프로세싱 디바이스(100)는 상기 프로세싱 유닛(199)으로부터 리매핑된 깊이 맵 MAPNEW를 수신하고 상기 리매핑된 깊이 맵 MAPNEW에 기초하여 디스플레이 DISP 상에서 뷰잉하기 위한 3D 이미지를 렌더링하는 디스플레이 DISP(160)를 포함한다. 상기 디스플레이 DISP를 가짐으로써, 상기 이미지 프로세싱 디바이스(100)는 3D TV로서 작용할 수 있다.
선택 기능 SELFUN은 깊이 맵 MAP으로부터 선택 기준 CRT와 합치하는 깊이 픽셀들을 선택한다. 선택 기능 SELFUN은 예를 들면 3D 이미지에 결합되는 메타데이터로부터 상기 선택 기준 CRT를 획득하며, 그에 따라 상기 깊이 픽셀들을 선택한다. 상기 선택 기준 CRT는 (적어도) 깊이 및 위치에 기초한다.
상기 선택된 (깊이) 픽셀들은 대체로 3D 이미지 내의 오브젝트에 대응한다. 오브젝트는 당연히 3D 이미지의 영역에 국한된다. 예를 들면, 상기 오브젝트는 3D 이미지를 찍고 있는 카메라 근방에 있는 플로팅 볼에 대응한다. 3D 디스플레이 상에서 3D 이미지를 뷰잉할 때, 상기 볼은 전경 내에 있으며, 상기 3D 이미지 장면의 나머지의 앞쪽에서 떠다닌다. 상기 볼은 상기 깊이 맵 MAP 내의 영역에 국한될 뿐만 아니라, 제한된 깊이 범위에도 제한된다. 따라서, 상기 볼은 다음의 세 개의 측면들을 갖는 3D 바운딩 박스를 규정하는 선택 기준을 사용하여 선택될 수 있다: (1) 2D 위치의 수평 치수에 따른 제 1 측면, (2) 2D 위치의 수직 치수에 따른 제 2 측면, (3) 깊이 치수에 따른 제 3 측면. 실질적으로는, 상기 3D 바운딩 박스는 '위치-깊이' 공간이 되는 3D 수학적 공간에서 규정된다. 상기 볼을 선택하는 것은 상기 바운딩 박스 내부에 존재하는 깊이 픽셀들을 선택함으로써 행해진다. 깊이 및 위치 양쪽 모두에 기초하여 상기 볼과 같은 오브젝트를 선택하는 이점은 다음에서 더 자세히 설명된다.
도 2는 두 개의 전경 오브젝트들(A 220 및 B 230) 및 배경(C 240)을 포함하는 깊이 맵(210)을 도시한다. 깊이 맵(210)은 수평 좌표 X(201) 및 수직 좌표 Y(202)를 갖는 2D 어레이가 된다. 상기 깊이 맵(210)에서의 각각의 깊이 픽셀은 따라서 깊이 값 및 위치(X,Y)를 갖는다.
전경 오브젝트 A는 원형 경계(221xy)에 의해 둘러싸이며, 전경 오브젝트 B는 바운딩 박스(231)에 의해 둘러싸인다. 전경 오브젝트 A에 대응하는 깊이 픽셀들은 원형 경계(221xy) 내에 존재하는 깊이 픽셀들을 선택함으로써 선택될 수 있다. 하지만, 그러한 선택은, 오브젝트 A에 대응하는 깊이 픽셀들뿐만 선택되는 것이 아니라 배경 C의 부분과 전경 오브젝트 B도 역시 상기 원형(221xy)에 의해 포함되기 때문에 부정확할 것이다. 유사하게, 바운딩 박스(231)도 또한 전경 B에 대응하는 깊이 픽셀들을 정확하게 선택하는 데 있어 부적합하게 되는데, 이는 바운딩 박스(231)가 또한 배경 C의 부분과 전경 오브젝트 A를 또한 포함하기 때문이다. 겹치는 영역(250)은, (오브젝트 A의) 경계(220)가 또한 오브젝트 B의 부분을 포함하고 (오브젝트 B의) 경계(230)가 또한 오브젝트 A의 부분을 포함하는 영역이 된다. 따라서, 순수하게 위치에 기초하는 경계들(221xy 및 231xy)과 같은 선택 기준은 콘텐트 이미지 내의 오브젝트들 A 및 B를 정확하게 선택하는 데 있어 적합하지 않다. 이러한 문맥에서 '오브젝트의 정확한 선택'은 상기 오브젝트에 대응하지 않는 깊이 픽셀들을 낮은 비율로 선택하면서 상기 오브젝트에 대응하는 깊이 픽셀들을 높은 비율로 선택하는 것을 의미한다. 예를 들면, 높은 비율은 95-100%를 나타내며, 낮은 비율은 0-5%를 나타낸다.
도 2b는 두 개의 전경 오브젝트들 A 및 B에 대한 깊이 프로파일들을 도시한다. 그래프(260)는 축 깊이 D(203) 및 수평 좌표 X(201)를 갖는다. 도 2b에서 깊이 프로파일(225)은 도 2a의 깊이 맵(210)의 단면을 나타낸다(도 2a의 점선(225)을 참조). 깊이 프로파일(225)은 오브젝트 A 및 배경 C(표시된 범위(241) 참조) 양쪽 모두의 픽셀들을 포함한다. 유사하게, 도 2b에서 깊이 프로파일(235)도 또한 도 2a의 깊이 맵(210)의 단면을 나타낸다(도 2a의 점선(235)을 참조). 깊이 프로파일(235)은 오브젝트 B 및 배경 C 양쪽 모두의 픽셀들을 포함한다.
전경 오브젝트 A는 타원형의 경계(221xd)에 의해 둘러싸이고, 전경 오브젝트 B는 바운딩 박스(231xd)(직사각형 경계)에 의해 둘러싸인다. 전경 오브젝트 A에 대응하는 깊이 픽셀들은 상기 타원형의 경계(221xd)를 사용하여 정확하게 선택될 수 있는데, 이는 전경 오브젝트 A의 픽셀들만이 상기 타원형(221xd)에 포함되기 때문이다. 따라서, 타원형(221xd) 내부에 존재하는 깊이 픽셀들을 선택함으로써, 전경 오브젝트 A에 대응하는 깊이 픽셀들만이 선택된다. 유사하게, 전경 오브젝트 B에 대응하는 깊이 픽셀들은 상기 바운딩 박스(231xd)를 사용하여 정확하게 선택될 수 있는데, 이는 전경 오브젝트 B의 픽셀들만이 상기 바운딩 박스(231xd)에 포함되기 때문이다. 따라서, 바운딩 박스(231xd) 내부에 존재하는 깊이 픽셀들을 선택함으로써, 전경 오브젝트 B에 대응하는 깊이 픽셀들만이 선택된다. 위치 및 깊이 갑 양쪽 모두에 기초하는 경계들(221xd 및 231xd)과 같은 선택 기준은 따라서 3D 이미지 내의 오브젝트를 정확하게 선택하는데 적합하다.
도 2a 및 도 2b 각각은 3차원 X-Y-D(XYD) 공간, 즉 위치-깊이 공간의 2차원 뷰를 나타낸다. XYD 공간에 대해 전술한 예를 일반화하면, 오브젝트는 XYD 공간에서 3D 경계를 사용하여 선택된다. 상기 전경 오브젝트 A를 정확하게 선택하기 위해, 상기 선택 기준은 3D 타원체를 포함한다. 상기 타원체가 (도 2b에 도시된 바와 같이) D-X 평면에서와 유사한 방식으로 D-Y 평면(도시되지 않음)에서 오브젝트 A를 포함한다고 가정하면, 전경 오브젝트 A는 상기 3D 타원체에 의해 정확하게 선택된다. 상기 선택된 픽셀 깊이들은 오브젝트 A에 대응하는 모든 깊이 픽셀들을 배타적으로 포함한다. 유사하게, 상기 전경 오브젝트 B를 정확하게 선택하기 위해, 상기 선택 기준은 3D 바운딩 박스를 포함한다. 상기 3D 바운딩 박스가 (도 2b에 도시된 바와 같이) D-X 평면에서와 유사한 방식으로 D-Y 평면(도시되지 않음)에서 오브젝트 B를 포함한다고 가정하면, 전경 오브젝트 B는 상기 3D 바운딩 박스에 의해 정확하게 선택된다. 상기 선택된 픽셀 깊이들은 오브젝트 B에 대응하는 모든 깊이 픽셀들을 배타적으로 포함한다. 따라서, 2D 위치 및 깊이 값 양쪽 모두에 기초하는 선택 기준은 3D 이미지에서 오브젝트를 정확하게 선택하는 데있어 적합하다.
전술한 설명들은, 정확한 선택이 2D 위치 및 깊이 값 양쪽 모두에 기초하는 선택 기준을 요구하는, 일반적인 경우의 예를 기술하고 있다. 하지만, 정확한 선택이 2D 위치를 필요로하지 않거나 또는 2D 위치의 하나의 치수만을 필요로 하는 두 개의 특정의 경우들이 일어날 수 있다.
도 2a-2b에서 전경 오브젝트들 A 및 B의 첫 번째 특정의 경우에 있어서, 오브젝트들 A 및 B와 배경 C가 깊이 값에서 분리된다면, 오직 깊이 값에만 기초하는 선택 기준이 오브젝트 A 및 B의 깊이 값들을 각각 정확하게 선택하는 데 있어 실제로 충분할 수도 있다. (참조: 도 2b는 도 2a의 깊이 맵(210)의 단지 두 개의 단면들(225 및 235)만을 도시할 뿐이며, 따라서 오브젝트들 A 및 B와 배경 C가 깊이 값에서 완전히 분리된 도 2b만으로부터는 추론할 수 없다.) 이러한 첫 번째 가능한 경우는, 오브젝트들 A 및 B와 배경 C가 바운딩 박스(231xd)의 하위 (깊이) 경계 및 상위 (깊이) 경계에 의해 깊이 값에서 실제로 완전하게 분리될 때, 일어나게 된다. 그러한 경우에, 상기 배경 CSMS 상기 하위 경계 아래의 깊이 값들만을 갖고, 오브젝트 A는 상기 상위 경계 위의 깊이 값들만을 가지며, 오브젝트 B는 상기 하위 경계와 상기 상위 경계 사이의 깊이 값들만을 갖는다.
두 번째 특정의 경우에 있어서, 상기 첫 번째 특정의 경우와 유사하게, 오브젝트 A 및 B의 정확한 선택은 상기 위치의 깊이 값과 위치의 한 치수(X 또는 Y)에 기초한 기준만을 요구한다. 이러한 두 번째 특정의 경우에 대한 요구는, 오브젝트들 A 및 B와 배경 C가 깊이 값에서와 2D 위치의 한 치수(X 또는 Y)에서 분리되는 것이 될 수 있다.
대조적으로, 상기 설명한 바와 같이, 경계(221xy 또는 231xy)가 일부 가장자리를 두고 오브젝트 A(또는 B)를 둘러싸는 일반적인 경우에서는 위치에만 기초해서 오브젝트 A(도는 B)의 깊이 픽셀들을 정확하게 선택하는 것은 가능하지 않다. 상기 가장자리는 타원형과 같은 간단한 형태로 (임의의 형태를 가질 수 있는) 오브젝트에 대응하는 모든 픽셀들을 포함하고 선택할 수 있도록 하기 위해 실질적으로 필요하다. 오브젝트 A 둘레의 경계(221xy)의 가장자리는 배경 C의 일부 및 오브젝트 B의 일부조차도 포함한다. 일반적으로, 오브젝트들 A/B 및 배경 C는 깊이 값에서만 분리되지 않으며, 따라서 정확한 선택은 깊이 값과 위치 양쪽 모두에 기초한 기준을 요구한다.
요약하면, 일반적인 경우에 있어서, 정확한 선택은 깊이 값과 2D 위치에 기초한 선택을 요구하며; 첫 번째 특정의 경우에 있어서 정확한 선택은 깊이에만 기초한 선택을 요구하고; 두 번째 특정의 경우에 있어서 정확한 선택은 깊이와 상기 위치의 한 치수에 기초한 선택을 요구한다.
다양한 형태들이 오브젝트를 선택하는데 사용될 수 있다. 도 2a 및 도 2b는 타원체 및 정사각형 다운딩 박스를 도시한다. 다른 가능한 형태들은 정육면체 또는 구 또는 원통형을 포함할 수 있다. 또한 가능한 형태들은 그 기본 축이 X, Y 또는 D 축들과 정렬하지 않도록 회전되는 타원체, 또는 유사하게 회전되는 바운딩 박스를 포함한다. 그러한 형태들은 선택 기준을 구성하는 몇몇 숫자들에 의해 파라미터로 나타내진다. 예를 들면, 타원체 (또는 바운딩 박스)는 X, Y 및 D 치수들의 각각에서의 범위에 의해, 따라서 세 개의 치수들에 두 개의 수치들(하나의 범위는 최소값 및 최대값인 두 개의 수치들에 의해 규정된다)을 곱한 여섯 개의 수치들에 의해 파라미터로 나타내진다. 회전되는 타원체(또는 바운딩 박스)를 파라미터로 나타내는 것은 일반적으로 두 개의 추가적인 수치들, 즉 두 개의 회전 각들을 필요로한다.
원칙적으로, XYD 공간의 폐쇄된 체적이 되는 어떠한 형태도 오브젝트를 선택하는데 사용될 수 있다.
도 3a는 다수의 형태들(321-323)을 사용하여 복잡한 오브젝트(320)를 선택하는 것을 도시한다. 그래프(310)의 포맷은 (도 2a의) 그래프(210)의 포맷과 유사하다: 각각의 픽셀 좌표들 X 및 Y에 의해 축들이 표현된다. 전경 오브젝트(320)는 불규칙적인 형태를 갖는다는 점에서 복잡하다. 이러한 예에서, 세 개의 타원형들이 상기 전경 오브젝트(320)를 포함한다. 대안적으로는, 단일의 큰 타원형(331)이 오브젝트(320)를 포함하도록 사용된다; 하지만, 상기 세 개의 (작은) 타원형들(321-323)을 사용하는 것이 더 가득하게 '맞게(fit)' 한다. 여기서, 상기 선택 기준은 여기에서 X-Y 평면에서 2차원 타원형들(321-323)에 의해 도시된 세 개의 (3D) 타원체들을 기술하는 파라미터들로 구성된다. 세 개의 타원체들이 깊이 치수 D에서 전경 오브젝트(320)를 또한 포함하는데 충분하다고 가정하면, 전경 오브젝트(320)에 대응하는 깊이 픽셀들을 정확하게 선택하는 것은 상기 타원체들(321-323) 내부에 존재하는 깊이 픽셀들을 선택함으로써 행해진다. 다시 말해서, 상기 타원체들(321-323)은 함께 체적을 형성하며, 그 외부 표면들은 오브젝트(320)에 대응하는 깊이 픽셀들을 감싸고, 깊이 픽셀들은 상기 외부 표면에 의해 감싸진 깊이 픽셀들을 선택함으로써 선택된다. 도 3a에서의 예의 변형(도시되지 않음)은, 상이한 형태들의 혼합이 예를 들면 타원체, 바운딩 박스 및 구와 같은 전경 오브젝트(320)를 선택하는데 사용되는 것이다.
오브젝트와 그 선택 경계들 사이의 가장자리들은 바람직하게는 너무 작지 않아야하지만 너무 커서도 안 된다. 작은 가장자리는 오브젝트 둘레의 선택 경계들의 '가득하게 맞춰지는 것(tight fit)'에 대응하며, 따라서 상기 오브젝트의 전체가 아닌 깊이 픽셀들만이 상기 경계 내에 포함되어 그에 따라 선택되지 않을 우려가 있다. 큰 가장자리는 오브젝트(예를 들면, 타원체(331)) 둘레의 선택 경계들의 '느슨한 맞춰지는 것(loose fit)'에 대응하며, 다른 오브젝트들 또는 배경의 깊이 픽셀들이 포함되고 그에 따라 선택되지 않을 수 있는 우려가 있다.
도 3b는 연결되지 않은 복수의 더 작은 오브젝트들(371-376)로 구성된 오브젝트(370)의 선택을 도시한다. 그래프(360)는 도 3a의 그래프(310)와 동일한 포맷 내에 있다. 인형(370)은 머리(371), 몸통(372) 및 서로 간에 직접적으로 연결되지 않고 일부 공간에 의해 분리된 팔다리들(373-376)을 갖는다. 그러한 '연결되지 않은' 오브젝트는 따라서 다수의 연결되지 않은 형태들(380)을 사용하여 선택될 수 있으며, 본 경우에서와 같이 이들은 상이한 형태들의 혼합도 될 수 있다. 또 다른 예로서, 서브타이틀이 개별적인 캐릭터들이 되는 다수의 더 작은 연속되지 않은 오브젝트들로 구성되는 단일의 오브젝트를 나타낸다.
그래프(360)는 2차원 뷰를 나타내고, 도 3b의 일반화된 경우는 다수의 3차원 형태들(380)을 사용하여 3차원 XYD 공간 내에서 다수의 연속되지 않은 3D 오브젝트들(371-376)을 선택하는 것에 대응한다는 것을 다시금 유의해야 한다.
도 3b의 변형으로서, 단일 체적을 둘러싸는 선택 경계들은 단일 오브젝트 뿐만 아니라 다수의 오브젝트들도 포함할 수 있다. 대조적으로, 이전의 예들에서는, 단일 오브젝트는 하나 또는 다수의 형태들로 구성된 단일 체적에 의해 둘러싸였다. 예를 들면, 도 2a 및 도 2b의 경우에서, (예를 들면, 배경의 깊이 값들이 모두 오브젝트 B의 모든 깊이 값들보다 높을 때) 배경이 단일 바운딩 박스에 의해 선택되지 않는다면, 오브젝트들 A 및 B는 단일 바운딩 박스에 의해 선택될 수 있다. 또 다른 예로서, 상기 다수의 오브젝트들은 풋볼을 하는 두 명의 사람들에 대응하는데, 이 것은 첫 번째 사람, 두 번째 사람 및 공이 되는 전체 세 개의 연속하지 않는 오브젝트가 된다. 이들 세 개의 오브젝트들은 연관되어 함께 단일의 전경 장면을 나타낸다. 단일 체적은 상기 세 개의 오브젝트들을 둘러싸고, 본 발명에 따라 단일의 국부적 리매핑 기능을 사용하여 상기 세 개의 오브젝트들의 깊이 값들을 리매핑하는데 사용된다. (대안적으로는, 도 3b의 경우와 유사하게, 상기 세 개의 오브젝트들의 각각은 단일 체적에 의해 별개로 선택되고(따라서, 전체 세 개의 체적), 상기 세 개의 오브젝트들의 깊이 값들은 상기 동일한 단일의 국부적 리매핑 기능을 사용하여 리매핑된다). 추가적으로 개량된 것으로서, 선택 기능 SELFUN은 작은 클러스터들의 깊이 픽셀들을 필터링하는 추가의 선택 기능을 포함한다. 작은 클러스터는 큰 클러스터보다 노이즈를 포함할 가능성이 더 높다. 따라서, 상당히 큰 클러스터들에 대응하는 깊이 픽셀들만을 선택함으로써, 노이즈보다는 오브젝트를 선택할 가능성이 높아진다. 상기 추가적인 선택은 다음과 같이 행해진다. 상기 XYD 공간 내의 깊이 픽셀을 둘러싸는 미리 결정된 크기 내에 있는 작은 체적(예를 들면, 박스 또는 구)이 규정되고, 상기 체적 내에 존재하는 깊이 픽셀들의 양이 카운트된다. 상기 카운트된 양이 미리 결정된 양보다 아래에 있다면, 상기 깊이 픽셀은 선택되지 않는다. 다시 말해서, 상기 깊이 픽셀에서의 픽셀 밀도가 너무 낮다면, 상기 깊이 픽셀은 선택되지 않는다.
선택적으로, 상기 선택 기능 SELFUN은 메타데이터로부터 검색된 XYD 공간에서의 경계들을 사용하지 않고서 오브젝트들 A 및 B를 결정하기 위한 자동화된 프로세스를 사용한다.상기 자동화된 프로세스는 상기 XYD 공간 내에 큰 클러스터들을 형성하는 깊이 픽셀들의 그룹들을 결정하도록 클러스터링 알고리즘을 사용한다. 클러스터를 형성하는 깊이 픽셀들의 그룹은 정의에 의해 XYD 공간 내에 유사한 위치를 갖는다. 도 2a 및 도 2b로부터, 오브젝트 A 및 오브젝트 B가 클러스터링 알고리즘에 의해 결정될 수 있는 깊이 픽셀들의 개별적인 클러스터들을 형성한다는 것은 명백하다. XYD 공간 내에 큰 클러스터를 결정한다면, 상기 선택 기능 SELFUN은 상기 결정된 클러스터에 속하는 깊이 픽셀들을 선택함으로써 오브젝트에 대응하는 깊기 픽셀들을 선택한다. 용어 '큰 클러스터'는 여기에서 이전의 단락에서 용어 '작은 클러스터'와 구별되도록 사용된다. 큰 클러스터는 오브젝트를 나타내고, 작은 클러스터는 예를 들면 노이즈로부터의 스퓨리어스 깊이 픽셀들을 나타낸다.
상기 선택 기능에서 사용되는 클러스터링 알고리즘은 소위 K-평균 클러스터링 알고리즘(예를 들면, 제이. 에이. 하티건(1975)에 의한 존 윌리 & 손스, 인크.의 '클러스터링 알고리즘')과 같은 텍스트-북 클러스터링 알고리즘이 될 수 있다. 다차원 공간에서 클러스터들을 검색하기 위한 다른 통상적으로 공지된 클러스터링 알고리즘들이 또한 사용될 수도 있다.
상기 유사한 위치에 부가하여, 클러스터링 기술은 또한 색과 구조에서의 유사성과 같은 추가적인 특성들을 사용하여 클러스터를 결정할 수도 있다. 깊이 맵에서의 위치에서 깊이 픽셀과 연관된 색 또는 구조는 (콘텐트) 이미지 내의 대응하는 위치로부터 검색될 수 있다. 예를 들면, 오브젝트 A가 매끈한 붉은색 볼에 대응한다면, 오브젝트 A의 깊이 픽셀들은 상기 깊이 맵 내의 제한된 XYD 공간에 국한될 뿐만 아니라, 상기 콘텐트 이미지 내의 대응하는 픽셀들도 또한 붉은색이 될 것이고, 매끈한 영역의 일부가 될 것이다. (2차원 위치, 깊이, 색 및 구조를 사용함으로써, 상기 클러스터링 알고리즘은 5-차원 공간에서 클러스터들을 효과적으로 검색한다는 것을 유의해야 한다). 상기 추가의 특성들을 사용하는 것은 상기 클러스터링 알고리즘의 정확성 및 견고함을 개선한다.
깊이 픽셀들을 선택하기 위해 자동화된 프로세스를 사용하는 상기한 실시예는 깊이 픽셀들이 위치 및 깊이 값에 기초한 선택 기준을 사용하여 선택된다는 점에서 이전의 실시예들과 일관된다는 점을 유의해야 한다. 깊이 픽셀들의 클러스터들은 상기 XYD 공간 또는 '위치-깊이 공간'에서 결정되며, 따라서 위치 및 깊이 값에 기초한다. 깊이 픽셀들은 이들이 상기 XYD 공간에서 상기 결정된 클러스터에 속하는 기준에 따르는 경우 선택된다.
도 4는 전체적 리매핑 기능(440) 및 두 개의 국부적 리매핑 기능들(420 및 430)을 도시한다. 그래프(410)는 수평축 상의 입력 깊이 값 D(101) 및 수직축 상의 출력 깊이 값 Dnew(401)를 갖는다. 상기 리매핑 기능들(420-440)은 입력 깊이 범위(411)로부터 출력 깊이 범위(412)로 상기 입력 깊이 값 D를 매핑하고, 그에 따라 새로운 깊이 값 Dnew이 얻어진다. 상기 출력 범위(412)는 3D 이미지가 뷰잉되는 3D 자동 입체 디스플레이의 깊이 범위에 대응할 수 있다. 상기 리매핑 기능들(420, 430 및 440)은 상기 언급한 전경 오브젝트들 A 및 B와 상기 배경 D에 각각 대응한다(도 2a 및 도 2b 참조). 각각의 깊이 범위들(421 및 431)은 상기 각각의 오브젝트들 A 및 B의 깊이 값들을 포함한다. 배경 C의 깊이 값들은 깊이 범위(441)에 포함된다.
상기 전체적 리매핑 기능(440)은 상기 입력 깊이 범위(411)로부터 상기 출력 깊이 범위(412)의 하위 단부 상으로 상기 배경 C를 매핑한다. 대조적으로, 국부적 리매핑 기능(420)은 오브젝트 A를 상기 출력 깊이 범위(412)의 맨 끝의 상위 단부로 매핑한다. 국부적 리매핑 기능(430)은 오브젝트 B를 상기 출력 깊이 범위(412)의 중간 부분에 매핑한다. 국부적 리매핑 기능들(420 및 430)은 오브젝트 A 및 B에 각각 대응하는 정확하게 선택된 깊이 픽셀들에 적용된다. 상기 전체적 리매핑 기능(440)은, 오브젝트들 A 및 B의 선택된 깊이 픽셀들을 배제한 깊이 맵(210) 내의 모든 깊이 픽셀들인, 배경 C에 대응하는 정확하게 선택된 깊이 픽셀들에 적용된다.
결정 기능 DETFUN은 3D 이미지에 결합된 메타데이터로부터 리매핑 파라미터들의 형태로 데이터를 검색함으로써 상기 국부적 리매핑 기능들(420 및 430)을 결정할 수 있다. 상기 리매핑 파라미터들은 상기 국부적 리매핑 기능들(420 및 430)을 규정한다. 예를 들면, 상기 국부적 리매핑 기능(420)을 규정하는 리매핑 파라미터들은 상기 깊이 범위(421) 및 직선(420)의 경사가 된다.
다양한 유형의 곡선들이 국부적 또는 전체적 리매핑 기능을 나타낼 수 있다. 상기 곡선은 도 4에 도시된 바와 같이 선형이 될 수 있다. 다른 유형들은 각각의 곡선 유형이 그 자신의 적절한 파라미터들에 의해 규정되는 구분적(piece-wise) 선형 곡선 또는 비-선형 곡선을 포함할 수 있다.
리매핑 기능들(420-430)은, 3D 디스플레이 상에서 3D 이미지를 볼 때 깊이 지각이 미학적으로 만족스러울 수 있도록, 상기 리매핑 기능들을 설계하는 비디오 편집 전문가들에 의한 예술적 오프-라인 프로세스에서 생성될 수 있다.
대안적으로, 상기 리매핑 기능들은 이미지 프로세싱 디바이스(100) (의 프로세싱 유닛(199)) 상에서 구동하는 상기 결정 기능 DETFUN에 의해 수행되는 자동화된 프로세스에 의해 결정된다. 상기 국부적 리매핑 기능들(420 및 430)을 결정하기 위한 자동화된 프로세스는 오브젝트 A, 오브젝트 B 및 배경 C 사이의 깊이 콘트라스트를 증가시키는 알고리즘에 따라 동작할 수 있다. 상기 이전의 선택 기능 SELFUN으로부터 선택된 깊이 픽셀들(오브젝트 A, 오브젝트 B 및 배경 C에 대응하는 선택된 깊이 픽셀들)을 수신하면, 상기 알고리즘은 오브젝트 A, 오브젝트 B 및 배경 C를 포함하는 깊이 영역들을 각각 액세스한다. 결과적으로, 상기 알고리즘은 오브젝트 A, 오브젝트 B 및 배경 C가 깊이 영역들(421, 431, 441) 내에 각각 포함되는지를 결정한다. 다음으로, 상기 알고리즘은 오브젝트 A, 오브젝트 B 및 배경 C 사이에 최대의 깊이 콘트라스트를 생성하면서 전체의 출력 깊이 범위(412)를 사용하여 상기 출력 깊이 범위(412) 상으로 상기 깊이 영역들(421, 431, 441)을 매핑한다. 이를 위하여, 오브젝트 A는 상기 출력 범위(412)의 상위 단부에 리매핑되고, 오브젝트 B는 (a) 상기 리매핑된 배경 C를 포함하는 상기 출력 범위(412)의 하위 부분과 (b) 상기 리매핑된 오브젝트 A를 포함하는 상기 출력 범위(412)의 상위 부분 사이 내의 중간 영역에 리매핑된다. 이러한 예에서, 상기 리매핑 곡선들(420, 430 및 440)의 경사는 동일하게 유지된다.
예를 들면, 오브젝트 A와 배경 C 사이의 깊이 콘트라스트는 다음과 같이 양자화된다.
- 리매핑 전에, 오브젝트 A에 대응하는 (깊이 픽셀들의) 깊이 값들은 깊이 범위(421) 내에 있다. 오브젝트 A의 깊이 픽셀들은 평균적으로 상기 입력 깊이 범위(411)의 대략 0.7(70%)에 있는 깊이 값들을 갖는다. 유사하게, 깊이 범위(441) 내의 배경 C에 대응하는 깊이 값들은 그에 따라 깊이 범위(441)의 평균적으로 대략 0.1(10%)에 있다. 결과적으로, 리매핑 전에, 오브젝트 A와 배경 C 사이의 깊이 콘트라스트는 0.7 - 0.1 = 0.6 이 된다.
- 리매핑한 후에는 상기 상황은 다음과 같다. 오브젝트 A의 깊이 값들은 국부적 리매핑 기능(420)에 의해 리매핑되어 깊이 범위(412)를 출력하고: 오브젝트 A의 새로운 깊이 값들이 상기 출력 깊이 범위(412)의 평균적으로 대략 0.9(90%)에 있다. 유사하게, (국부적 리매핑 기능(440)을 사용하여 리매핑되는) 배경 C의 새로운 깊이 값들은 상기 출력 깊이 범위(412)의 평균적으로 대략 0.1(10%)에 있다. 결과적으로, 리매핑 후에, 오브젝트 A와 배경 C 사이의 깊이 콘트라스트는 0.9 - 0.1 = 0.8 이 된다. 오브젝트 A와 배경 C 사이의 깊이 콘트라스트는 리매핑의 결과로서 그에 따라 0.6에서 0.8로 증가된다.
오브젝트 B와 배경 C 사이의 깊이 콘트라스트 및 오브젝트 B와 오브젝트 A 사이의 깊이 콘트라스트에 대해, 유사한 양자화가 유지된다. 도 4로부터, 이들 깊이 콘트라스트들 모두는 또한 리매핑의 결과로서 증가한다는 것을 추론할 수 있다.
상기한 실시예에 대한 변형으로서, (결정 기능에 의해 수행되는) 자동화된 프로세스는, 오브젝트 A와 배경 C 사이의 깊이 콘트라스트가 실례로 0.15까지 고정된 인자에 의해 증가하도록 오브젝트 A를 리매핑하기 위한 국부적 리매핑 기능을 결정한다. 그래서, 리매핑 후의 깊이 콘트라스트는 1.15 × 0.6 = 0.69 가 된다. 상술한 바와 같이, 배경 C의 새로운 깊이 값들은 상기 출력 깊이 범위(412)의 약 0.1에 있다. 그래서, 상기 국부적 리매핑 기능(420)은, 오브젝트 A의 새로운 깊이 값들이 평균적으로 상기 출력 깊이 범위(412)의 약 0.1 + 0.69 = 0.79 에 있도록, 도 4에서 수직으로 시프트될 필요가 있다.
선택적으로, 상기 전체적 리매핑 기능은 또한 상기 자동화된 프로세스에 의해 결정된다. 예를 들면, 상기 배경에 대응하는 깊이 픽셀들이 입력 깊이 범위(441) 뿐만 아니라 깊이 범위(431)(즉, 오브젝트 B의 깊이 범위)의 깊이 값을 갖는 경우, 상기 전체적 리매핑 기능(440)은 도 4에 도시된 것보다 낮은 경사를 갖도록 적응될 수 있어, 배경 C의 깊이 값들이 출력 범위(412)의 하위 단부, 바람직하게는 오브젝트 B의 리매핑된 깊이 값들 아래로 리매핑된다. 이전의 설명에서와 같이, 전체적 리매핑 기능을 결정하는 것은 배경 C와 오브젝트 B 사이의 경우에 깊이 콘트라스트를 증가하는데 기초할 수 있다.
본 발명의 문맥에서, '오브젝트를 리매핑하는 것'은 '오브젝트에 대응하는 깊이 픽셀들의 깊이 값들을 리매핑하는 것'을 나타낸다. 유사하게, '깊이 픽셀들을 리매핑하는 것'은 '깊이 픽셀들의 깊이 값들을 리매핑하는 것'을 나타낸다.
이미지 프로세싱 디바이스(100)의 적용은 3D 이미지를 3D 디스플레이 상에 뷰잉되도록 하기 위해 깊이 맵의 리매핑하는 것이다. 상기 3D 디스플레이는 예를 들면 멀티-뷰 자동 입체 디스플레이가 된다. 상기 3D 디스플레이는 대체로 제한된 시차 범위(disparity range)를 갖는다. 깊이 및 시차는 질적인 의미에서 유사하다.
시차(disparity)는 다음과 같이 정의된다: 큰 시차는 뷰어 가까이에 나타나는 오브젝트에 대응하며, 작은 시차는 뷰어로부터 멀리 떨어져 나타나는 오브젝트에 대응한다(제로 시차는 무한히 먼 것에 대응한다). 따라서, 3D 디스플레이 상에서 보여질 때, 상기 디스플레이 평면의 앞에 나타나는 오브젝트는 큰 시차 값들에 대응하며, 상기 디스플레이 평면의 뒤에 나타나는 오브젝트는 작은 시차 값들에 대응한다. 상기 3D 디스플레이 평면은 특정의 시차 값에 대응하며, 하기에 '디스플레이 시차 값'으로 나타낼 것이다.
3D 디스플레이 상에 3D 이미지를 렌더링하기 위해, 깊이 맵은 시차로 변환될 필요가 있다. 상기 변환은 깊이와 시차 사이의 어떤 정의에 기초한다. 상기 정의는 제로 깊이, 최소 및 최대 깊이, 3D 디스플레이의 평면에 대한 뷰어의 위치와 관련한다. 통상의 선택은 제로 깊이를 3D 디스플레이의 평면에 대응하는 것으로서 정의하여, 양의 깊이 값은 3D 디스플레이 평면의 앞에 위치에 대응하고, 음의 깊이 값은 3D 디스플레이 평면의 뒤의 위치에 대응한다. 깊이와 시차 사이의 관계는 또한 최소 및 최대 시차에 각각 대응하는 최대 및 최소 시차를 선택함으로써 정의된다. 3D 디스플레이 평면에 대비한 뷰어의 위치에 대한 통상의 정의는 통상적인 뷰어 위치(예를 들면, 거실에서 55''diagonal을 갖는 3D 디스플레이 보고 있는 뷰어는 일반적으로 3D 디스플레이의 전방에서 3 내지 4 미터에 있게 된다)가 된다. 마지막으로, 깊이는 본 설명에서의 정의들에 의해 정의되는 곡선에 기초하여 시차로 변환된다.
3D 이미지가 3D 디스플레이 상의 뷰잉을 위해 렌더링될 때, 깊이 맵은 그에 따라 이전에 설명에 기술된 바와 같은 곡선을 사용하여 시차 맵(disparity map)으로 변환될 필요가 있다. 이러한 깊이-시차 변환은 세 개의 시나리오들에 따라 깊이 맵을 리매핑하는 것과 결합될 수 있다: (1) 깊이 맵은 리매핑되며, 리매핑된 깊이 맵은 시차 맵으로 변환되거나, 또는 (2) 깊이 리매핑에 대한 그리고 깊이-시차 변환에 대한 곡선들이 단일의 곡선으로 통합되거나, 또는 (3) 깊이 맵이 시차 맵으로 변환되어, 시차 맵이 이후 시차 리매핑 곡선에 따라 리매핑된다. 상기 시차 리매핑 곡선은 상기 깊이-시차 변환을 상기 깊이 리매핑 곡선 자체로 적용함으로써 이끌어낼 수 있다.
3D 디스플레이가 제한된 시차 범위를 가질 때, 오브젝트는 3D 디스플레이 상에서 보여질 때 깊이 방향에 있어서 '평탄하게(flattened)' 나타날 수 있다. 이러한 것은 비교적 큰 깊이 범위가 비교적 작은 시차 범위로 매핑될 때 일어난다. 예를 들면, 위치-깊이 공간에서 완전하게 동그란 공으로서 규정된 공은, 구보다는 오히려 타원체가 되는, 깊이 방향에서 찌그러진 공으로서 3D 디스플레이 상에 나타날 것이다. 상기 공의 깊이 값들을 리매핑하는데 사용되는 국부적 리매핑 기능은 상기 평탄함을 보상하도록 규정될 수 있다. 예를 들면, 도 2a 및 도 2b에 도시된 오브젝트 A는 상기 공에 대응하고, 도 4의 국부적 리매핑 곡선(420)은 상기 공의 깊이 값들을 리매핑하기 위한 것이다: 상기 깊이 방향에서의 평탄함을 보상하는 것은 상기 국부적 리매핑 기능(420)의 경사를 증가시킴으로써 달성된다.
예로서, 오브젝트 B는 상기 콘텐트 이미지에서 로고(logo)에 대응한다. 문자를 읽기 쉽도록(legibility) 하기 위해, 오브젝트 B는 3D 디스플레이의 평면에서 뷰잉되도록 리매핑되는 것이다. 그러한 목적으로, 상기 결정 기능은, 오브젝트 B가 제로 근처의 깊이 값들(본 경우에서는 3D 디스플레이의 평면에 대응)로 리매핑되도록 국부적 리매핑 기능(430)을 결정한다. 후자는, 출력 깊이 범위(412)의 중앙이 제로 깊이에 대응한다면, 실제로 도 4에서의 경우가 된다. 대안적으로는, 오브젝트 B는 3D 디스플레이의 앞에서 뷰잉될 로고에 대응하며, 이 경우에서 국부적 리매핑 기능(430)은 오브젝트 B가 출력 범위(412)의 상위 부분으로 리매핑되도록 결정된다.
상기 전체적 리매핑 기능은 상이한 방식들로 확립될 수 있다. 선택적으로, 상기 프로세싱 유닛(199)은 미리 결정된 전체적 리매핑 기능을 적용한다. 선택적으로, 상기 전체적 리매핑 기능은 3D 이미지에 결합된 메타데이터에 포함된다. 선택적으로, 상기 전체적 리매핑 기능 및 상기 국부적 리매핑 기능은 3D 이미지에 결합된 메타데이터에 포함된다.
선택적으로, 이미지 프로세싱 디바이스(100)는 네트워크 링크를 통해 이미지 인코딩 디바이스로부터 3D 이미지를 수신한다. 상기 이미지 인코딩 디바이스는 상기 3D 이미지르 포함하는 신호를 상기 이미지 프로세싱 디바이스(100)로 전송한다. 선택적으로, 상기 신호는 또한 예를 들면 3D 이미지 내의 오브젝트 A를 선택하기 위한 선택 기준을 포함하는 메타데이터를 포함한다. 상기 메타데이터는 따라서 상기 3D 이미지에 결합된다. 예를 들면, 상기 메타데이터는 오브젝트 A를 선택하기 위해 (즉, XYD 공간에서) 3D 바운딩 박스를 포함한다. 선택적으로, 상기 신호는 또한 오브젝트 A에 대응하는 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능(420)을 포함한다. 상기 이미지 프로세싱 디바이스(100)는 상기 이미지 인코딩 디바이스로부터 상기 신호를 수신하여 사용함으로써 이미지 디코딩 디바이스로서 효과적으로 작용한다는 것을 유의해야 한다.
선택적으로, 상기 이미지 인코딩 디바이스에 의해 전송된 신호는 3D 비디오 시퀀스, 즉 3D 영화를 포함한다. 상기 3D 비디오 시퀀스는 (3D) 비디오 프레임들을 포함하며, 여기에서 각각의 비디오 프레임은 3D 이미지를 포함한다. 선택적으로, 상기 신호는, 각각의 3D 이미지(따라서 각각의 비디오 프레임)에 대해, 이전의 설명에서 기술된 바와 유사한 방식으로 상기 3D 이미지에 결합된 메타데이터를 포함한다.
선택적으로, 상기 신호는 실례로 N=12인 N 비디오 프레임들 마다에 단지 한번 메타데이터를 포함한다. 상기한 바와 유사하게, 상기 메타데이터는 오브젝트 A를 선택하기 위해 3D 바운딩 박스를 포함할 수 있다. 하지만, 오브젝트 A는 일반적으로 정적이지 않으며, 3D 비디오 시퀀스의 전반에서 이동할 수 있다. 즉, 오브젝트 A의 위치가 변경된다. 각각의 비디오 프레임에 대해 오브젝트 A를 선택하고 리매핑하기 위하여, 3D 바운딩 박스가 각각의 비디오 프레임에 대해 필요하게 된다. 각각의 비디오 프레임에 대해 3D 바운딩 박스를 얻기 위해서, 상기 이미지 프로세싱 디바이스(100)(의 프로세싱 유닛(199))은 상기 비디오 프레임들 또는 각각의 N 비디오 프레임들 사이에서 오브젝트 A의 이동을 기술하는 이동 벡터들을 사용하여 오브젝트 A를 추적한다. N 비디오 프레임들의 첫 번째에서 3D 바운딩 박스의 위치를 알게 되었다면, 다름 프레임들에 대한 바운딩 박스는 상기 이동 벡터들에 따라 상기 바운딩 박스(의 위치)를 이동함으로써 얻어진다. 선택적으로, 상기 이동 벡터들은 또한 상기 3D 비디오 시퀀스를 포함하는 신호에 포함된다. 선택적으로, 상기 이동 벡터들은 이동 추정자(motion estimator)를 상기 비디오 시퀀스에 적용함으로써 얻어진다. 선택적으로, 상기 이동 벡터들은 상기 XYD 공간에서, 따라서 위치 및 깊이 치수의 항목들에서 3D 움직임을 나타낸다.
이동 벡터들을 사용하는 대안으로서, 상기 프로세싱 유닛(199)은 각 비디오 프레임에서 바운딩 박스를 얻기 위해 두 개의 연속하는 바운딩 박스들 사이에 알파 블렌딩(alpha blending)을 적용할 수 있다. 이러한 작업은 다음과 같다. 상기 프로세싱 유닛(199)은 먼저 상기 신호로부터 상기 3D 비디오 시퀀스에서 두 개의 연속하는 3D 바운딩 박스들을 검색한다: 제 1 바운딩 박스는 비디오 프레임 1에 대응하고, 제 2 바운딩 박스는 비디오 프레임 N+1에 대응한다. 양쪽 3D 바운딩 박스들은 동일한 오브젝트지만 상이한 비디오 프레임들에 대응한다. 상기 3D 바운딩 박스들의 특정 코너가,
- 프레임 1에서 좌표 R1=(X1,Y1,D1)을 갖고,
- 프레임 N+1에서 좌표 RN+1=(XN +1,YN +1,DN +1)을 갖는다면,
- 중간 프레임 k에서, 좌표 Rk=αR1+(1-α)RN+1을 갖게 되고,
여기서, α=(N+1-k)/N 및 1〈 k〈 N+1. 상기 좌표들은 3차원 XYD 공간에 있음을 유의해야 한다. 동일한 알파 블렌딩이, 프레임 k에서 상기 3D 바운딩 박스의 모든 코너들의 좌표들을 얻기 위해 상기 3D 바운딩 박스의 다른 코너들에 적용될 필요가 있다. 상기 3D 바운딩 박스의 좌표들은 따라서 프레임들 사이에 효과적으로 보간된다는 것을 유의해야 한다.
유사하게, 상기 프로세싱 유닛(199)은 또한 중간 프레임 k에서 전체적 리매핑 기능을 얻기 위해 알파 블렌딩을 사용할 수 있다. 예를 들면, 상기 전체적 리매핑 기능이,
- 프레임 1에서 G1(D)이고,
- 프레임 N+1에서 GN +1(D) 라면,
- 프레임 k에서, Gk(D)=G1(D)+(1-α)GN +1(D) 가 되고,
여기서, α 및 k는 상기한 바와 같고, 변수 D는 깊이를 나타낸다. 유사한 절차가 국부적 매핑 기능을 보간하기 위해 적용될 수 있다는 것은 명백하다.
이전의 실시예들은 오브젝트들을 선택하기 위해 바운딩 박스를 사용한다는 것을 유의해야 한다. 다른 형태들 또는 형태들의 조합이 또한 본 명세서에서 상술한 바와 같이 오브젝트들을 선택하기 위해 사용될 수 있다.
선택적으로, 3D 비디오 시퀀스를 포함하는 신호의 (상기한) 경우에서, 상기 신호는 각각의 비디오 프레임에 대해(또는 각가의 N 비디오 프레임들에 대해) 각각의 다수의 오브젝트들을 선택하기 위한 다수의 바운딩 박스, 각가의 다수의 국부적 리매핑 기능들, 및 전체적 리매핑 기능들을 포함한다.
선택적으로, 상기 이미지 인코딩 디바이스는 상기 3D 비디오 시퀀스를 인코딩하기 위한 비디오 압축 기술을 적용한다. 상기 압축 기술은 예를 들면 H.264, H.265, MPEG-2 또는 MPEG-4에 기초할 수 있다. 상기 인코딩된 3D 비디오 시퀀스는 소위 GOP-구조(Group Of Pictures)로 구성될 수 있다. 각각의 GOP 구조는 전경 오브젝트들을 선택하기 위한 경계들과 전경 오브젝트들 및 배경을 각각 리매핑하기 위한 국부적 및 전체적 리매핑 기능들을 포함한다. 상기 이미지 프로세싱 디바이스(100)(특히, 그 프로세싱 유닛(199))는 상기 인코딩된 3D 비디오 시퀀스를 수신하여 디코딩하고, 상기 3D 이미지, 상기 경계들 및 상기 국부적/전체적 리매핑 기능들을 검색하도록 배열된다.
선택적으로, 상기 이미지 인코딩 디바이스는 주어진 3차원 이미지에 대한 메타데이터를 발생함으로써 상기 신호를 구성한다. 예를 들면, 디코더 측(예컨대, 이미지 프로세싱 디바이스(100))에서 오브젝트를 선택하기 위한 경계들은, (a) 전경 오브젝트를 자동적으로 결정하고, (b) 바운딩 박스 또는 상기 결정된 오브젝트 둘레의 타원체와 같은 형태를 맞게(fitting)함으로써 상기 이미지 인코딩 디바이스에 의해 결정된다. 상기 전경 오브젝트를 자동적으로 결정하는 것(및 대응하는 깊이 픽셀들을 선택하는 것)은 상기 기술한 실시예를 사용하여 행해질 수 있으며, 여기에서 클러스터링 알고리즘을 사용하는 자동화된 프로세스가 전경 오브젝트를 결정한다. 예를 들어 상기 선택된 깊이 픽셀들 둘레의 바운딩 박스를 맞게 하는 것(fitting)은 (X, Y 및 D 치수에서) 상기 선택된 깊이 픽셀들의 범위들을 결정하고 그 범위에 기초하여 상기 바운딩 박스를 맞게 함으로써 행해질 수 있다.
선택적으로, 상기 이미지 인코딩 디바이스는 국부적 및/또는 전체적 리매핑 기능을 포함하는 메타데이터를 발생한다. 상기 국부적 및/또는 전체적 리매핑 기능은 전경 오브젝트(들)와 배경 사이에 깊이 콘트라스트를 증가시키는 것에 기초하여 상술한 바와 같은 자동화된 프로세스가 될 수 있다.
상기한 두 단락들을 결합하면, 상기 이미지 인코딩 디바이스는 그에 따라 전경 오브젝트들과 배경을 선택하기 위한 경계들을 자동으로 결정하고, 상기 국부적 및/또는 전체적 리매핑 기능들을 자동으로 결정하고, 상기 결정된 경계들 및 상기 결정된 국부적 및/또는 전체적 리매핑 기능들을 메타데이터에 포함하고, 상기 메타데이터를 상기 신호에 포함할 수 있다.
대안적으로, 상기 이미지 인코딩 디바이스는 상기 주어진 3차원 이미지 및 대응하는 주어진 메타데이터를 함께 상기 신호에 래핑함으로써 상기 신호를 구성한다.
이미지 처리 방법이 상기 이미지 프로세싱 디바이스(100)와 유사하게 개시된다. 상기 이미지 처리 방법은 상기 이미지 프로세싱 디바이스(100)의 선택 기능, 결정 기능 및 리매핑 기능에 의해 각각 실행되는 바와 동일한 방식으로 선택, 결정 및 리매핑을 수행한다.
또한, 이미지 인코딩 방법이 상기 기술된 이미지 인코딩 디바이스와 유사하게 개시된다: 상기 이미지 인코딩 방법은 상기 신호, 특히 상기 메타데이터를 발생하기 위한 이미지 인코딩 디바이스의 단계들을 수행한다.
이러한 이미지 처리 방법 및/또는 이미지 인코딩 방법은 프로세서로 하여금 상기 각각의 방법의 단계들을 실행하게 하도록 하는 컴퓨터 프로그램의 형태로 사용될 수 있다. 상기 컴퓨터 프로그램은 DVD, CD 또는 USB 스틱과 같은 데이터 캐리어 상에 저장될 수 있다. 상기 컴퓨터 프로그램 제품은 개인용 컴퓨터, 노트북, 스마트폰(어플리케이션으로서) 또는 저작 시스템 상에서 구동될 수 있다.
상기 설명된 실시예들은 본 발명을 제한하려는 것이 아니며, 당업자들은 첨부된 청구범위의 범위로부터 벗어나지 않고서 다양한 많은 대안적인 실시예들을 디자인할 수 있을 것이라는 것을 주목해야 한다.
청구범위에서, 괄호 내에 있는 어떠한 참조 부호도 청구범위를 제한하는 것으로 해석해서는 안 된다. 동사 "포함하다" 및 그 활용형들은 청구범위에서 기술되는 것들과는 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들 앞에 있는 "단수의 표현"은 그러한 요소의 복수의 존재를 배제하지 않는다. 본 발명은 몇몇의 별개의 요소들을 포함하는 하드웨어 수단과 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇의 수단들을 열거한 장치 청구항들에서, 이들 몇몇의 수단들은 하나의 하드웨어 아이템으로 실행될 수 있다. 임의의 수단들(방법들)이 상호 상이한 종속 청구항들에서 인용되는 단순한 사실은 이 수단들(방법들)의 조합이 유익하게 사용될 수 없다는 것을 나타내는 것이 아니다.

Claims (15)

  1. 3차원 이미지의 깊이 맵(101)을 리매핑하도록 구성된 이미지 프로세싱 디바이스(100)에 있어서,
    - 상기 3차원 이미지는 상기 깊이 맵 및 2차원 콘텐트 이미지를 포함하고,
    - 상기 깊이 맵은 상기 콘텐트 이미지 내의 이미지 픽셀들의 위치들에 대응하는 위치들(201, 202)에서 2차원 어레이에 구성된 깊이 픽셀들을 가지며,
    - 상기 깊이 픽셀들의 각각은 깊이 값(203)을 갖고,
    - 상기 리매핑은 상기 깊이 맵의 깊이 값들을 새로운 깊이 값들(131)로 매핑하기 위한 전체적 리매핑 기능(global remapping function)(122)을 포함하고,
    상기 이미지 프로세싱 디바이스는:
    상기 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하는 신호를 수신하기 위한 수신 유닛(150)으로서, 상기 메타데이터는 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준들을 포함하는, 상기 수신 유닛과;
    프로세싱 유닛(199)으로서,
    - 상기 메타데이터로부터 상기 선택 기준들을 검색하고 상기 선택 기준들을 사용하여 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들(112)을 선택하도록 구성된 선택 기능(110),
    - 상기 선택된 깊이 픽셀들의 깊이 값들을 새로운 깊이 값들로 매핑하기 위해 국부적 리매핑 기능(121)을 결정하도록 구성된 결정 기능(120), 및
    - 상기 선택된 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능을 사용하고 상기 선택된 깊이 픽셀들과는 다른 깊이 픽셀들에 대해 상기 전체적 리매핑 기능을 사용하여 상기 깊이 맵을 리매핑하도록 구성된 매핑 기능(130)을 포함하는 상기 프로세싱 유닛(199)을 포함하는, 이미지 프로세싱 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세싱 유닛은 상기 메타데이터로부터 상기 국부적 리매핑 기능을 결정하기 위한 데이터를 검색하도록 배열되는, 이미지 프로세싱 디바이스.
  3. 제 1 항에 있어서,
    상기 선택 기준들은 위치(201, 202) 및 깊이 값(203) 내의 경계들(221xy, 221xd)를 포함하고, 상기 선택 기능은 상기 경계들 내에 놓여있는 깊이 픽셀들을 선택하도록 구성되는, 이미지 프로세싱 디바이스.
  4. 제 3 항에 있어서,
    상기 경계들은,
    - 깊이 값에 대응하는 제 1 치수, 및
    - 위치에 대응하는 제 2 치수 및 제 3 치수를 갖는 3차원 폐쇄 체적을 규정하는, 이미지 프로세싱 디바이스.
  5. 제 4 항에 있어서,
    상기 3차원 폐쇄 체적은 복수의 체적들(322-323)에 의해 형성되며, 상기 복수의 체적들의 각각은 박스, 타원체, 구, 큐브 및 평행육면체를 포함하는 복수의 형태들 중 하나를 갖는, 이미지 프로세싱 디바이스.
  6. 제 3 항에 있어서,
    상기 경계들은 적어도 두 개의 치수들을 갖는 바운딩 박스(231xd)에 의해 규정되고,
    - 상기 두 개의 치수들 중 첫 번째는 깊이 값에 대응하고,
    - 상기 두 개의 치수들 중 두 번째는 위치에 대응하는, 이미지 프로세싱 디바이스.
  7. 제 3 항에 있어서,
    상기 3차원 이미지는 3차원 비디오의 비디오 프레임에 대응하고, 상기 선택 기능은 이동 벡터들을 사용하여 상기 3차원 비디오의 또 다른 비디오 프레임에 대응하는 다른 경계들의 위치들로부터 추정함으로써 상기 경계들의 위치들을 결정하도록 구성되는, 이미지 프로세싱 디바이스.
  8. 제 1 항에 있어서,
    상기 선택 기능은 상기 선택된 깊이 픽셀들의 각각을 둘러싸는 미리 결정된 크기의 체적이 미리 결정된 양을 초과하는 깊이 픽셀들의 양을 포함하는 추가의 선택 기준으로서 사용하여 깊이 픽셀들을 선택하도록 구성되는, 이미지 프로세싱 디바이스.
  9. 제 1 항에 있어서,
    상기 선택 기능은 상기 선택된 깊이 픽셀들이 위치 및 깊이 값에서 클러스터를 형성하는 추가의 선택 기준으로서 사용하여 깊이 픽셀들을 선택하도록 구성되는, 이미지 프로세싱 디바이스.
  10. 제 1 항에 있어서,
    상기 결정 기능은 상기 국부적 리매핑 기능을 결정하도록 구성되어, 상기 국부적 리매핑 기능에 따라 상기 깊이 맵을 리매핑하여,
    - 상기 적어도 하나의 오브젝트에 대응하는 상기 선택된 깊이 픽셀들과
    - 상기 깊이 맵 내의 다른 깊이 픽셀들 사이에 깊이 콘트라스트를 증가시키고,
    상기 깊이 콘트라스트는 깊이 범위와 관련하여,
    - 상기 선택된 깊이 픽셀들의 깊이 값들의 평균과
    - 상기 다른 깊이 픽셀들의 깊이 값들의 평균 사이의 차가 되며,
    상기 깊이 범위는 상기 매핑 전의 입력 깊이 범위 및 상기 리매핑 후의 출력 깊이 범위인, 이미지 프로세싱 디바이스.
  11. 제 1 항에 있어서,
    상기 리매핑된 깊이 맵을 포함하는 상기 3차원 이미지는 3차원 디스플레이 상의 뷰잉(viewing)을 위한 것이며,
    상기 결정 기능은 상기 선택된 깊이 픽셀들의 깊이 값들을 상기 3차원 디스플레이의 미리 결정된 시차 범위(pre-determined disparity range) 내에 있는 각각의 새로운 시차 범위들에 대응하는 새로운 깊이 값들로 매핑하기 위해 상기 국부적 리매핑 기능을 결정하도록 구성되는, 이미지 프로세싱 디바이스.
  12. 깊이 맵(101)을 리매핑하기 위해 제 1 항 내지 제 11 항 중 어느 한 항에 청구된 이미지 프로세싱 디바이스(100)에 사용하기 위한 신호에 있어서,
    상기 신호는 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하고,
    - 상기 3차원 이미지는 상기 깊이 맵 및 2차원 콘텐트 이미지를 포함하고, 상기 깊이 맵은 상기 콘텐트 이미지 내의 이미지 픽셀들의 위치들에 대응하는 위치들(201, 202)에서 2차원 어레이에 구성된 깊이 픽셀들을 갖고, 상기 깊이 픽셀들의 각각은 깊이 값(203)을 가지며,
    - 상기 메타데이터는 상기 선택된 깊이 픽셀들의 깊이 값들을 새로운 깊이 값들로 매핑하기 위해 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준들을 포함하는, 신호.
  13. 3차원 이미지의 깊이 맵(101)을 리매핑하기 위한 이미지 프로세싱 방법에 있어서,
    상기 3차원 이미지는 상기 깊이 맵 및 2차원 콘텐트 이미지를 포함하고,
    상기 깊이 맵은 상기 콘텐트 이미지 내의 이미지 픽셀들의 위치들에 대응하는 위치들(201, 202)에서 2차원 어레이에 구성된 깊이 픽셀들을 가지며,
    상기 깊이 픽셀들의 각각은 깊이 값(203)을 갖고,
    상기 리매핑은 상기 깊이 맵의 깊이 값들을 새로운 깊이 값들(131)로 매핑하기 위한 전체적 리매핑 기능(122)을 포함하고,
    상기 이미지 프로세싱 방법은:
    - 상기 3차원 이미지 및 상기 3차원 이미지에 결합된 메타데이터를 포함하는 신호를 수신하는 단계로서, 상기 메타데이터는 상기 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들을 선택하기 위한 적어도 위치 및 깊이 값에 기초하는 선택 기준들을 포함하는, 상기 수신 단계와;
    - 상기 메타데이터로부터 상기 선택 기준들을 검색하는 단계와;
    - 상기 선택 기준들을 사용하여 상기 3차원 이미지 내의 상기 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들(112)을 선택하는 단계와;
    - 상기 선택된 깊이 픽셀들의 깊이 값들을 새로운 깊이 값들로 매핑하기 위해 국부적 리매핑 기능(121)을 결정하는 단계와;
    - 상기 선택된 깊이 픽셀들을 리매핑하기 위해 상기 국부적 리매핑 기능을 사용하고 상기 선택된 깊이 픽셀들과는 다른 깊이 픽셀들에 대해 상기 전체적 리매핑 기능을 사용하여 상기 깊이 맵을 리매핑하는 단계를 포함하는, 이미지 프로세싱 방법.
  14. 제 12 항의 신호에 사용하기 위해 메타데이터를 발생하기 위한 이미지 인코딩 방법에 있어서,
    - 상기 선택된 깊이 픽셀들의 깊이 값들을 새로운 깊이 값들로 매핑하기 위해 3차원 이미지 내의 적어도 하나의 오브젝트에 대응하는 깊이 픽셀들(112)을 선택하기 위하여 적어도 위치 및 깊이 값에 기초한 선택 기준들을 포함하는 메타데이터를 발생하는 단계와,
    - 상기 메타데이터를 상기 3차원 이미지에 결합하는 단계를 포함하는, 이미지 인코딩 방법.
  15. 제 13 항 또는 제 14 항의 방법에 따라 상기 선택, 결정 및 리매핑을 프로세서로 하여금 실행하게 하는 명령들을 포함하는 컴퓨터 프로그램 제품.
KR1020167012621A 2013-10-14 2014-10-14 3d 뷰잉을 위한 깊이 맵의 리매핑 KR20160072165A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13188429.8 2013-10-14
EP13188429 2013-10-14
PCT/EP2014/071948 WO2015055607A2 (en) 2013-10-14 2014-10-14 Remapping a depth map for 3d viewing

Publications (1)

Publication Number Publication Date
KR20160072165A true KR20160072165A (ko) 2016-06-22

Family

ID=49378115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167012621A KR20160072165A (ko) 2013-10-14 2014-10-14 3d 뷰잉을 위한 깊이 맵의 리매핑

Country Status (8)

Country Link
US (1) US20160225157A1 (ko)
EP (1) EP3058724A2 (ko)
JP (1) JP2016540401A (ko)
KR (1) KR20160072165A (ko)
CN (1) CN105612742A (ko)
CA (1) CA2927076A1 (ko)
RU (1) RU2016118442A (ko)
WO (1) WO2015055607A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174258B1 (ko) * 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR101904170B1 (ko) * 2016-12-30 2018-10-04 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치
KR101904128B1 (ko) * 2016-12-30 2018-10-04 동의대학교 산학협력단 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
US11297116B2 (en) * 2019-12-04 2022-04-05 Roblox Corporation Hybrid streaming
US11461953B2 (en) * 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
KR20110025796A (ko) * 2008-06-02 2011-03-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 정보를 가진 비디오 신호
EP2342900A1 (en) * 2008-10-28 2011-07-13 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
WO2012145191A1 (en) * 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
KR20120133951A (ko) * 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
US9381431B2 (en) * 2011-12-06 2016-07-05 Autodesk, Inc. Property alteration of a three dimensional stereoscopic system
JP2013135337A (ja) * 2011-12-26 2013-07-08 Sharp Corp 立体映像表示装置
JP5887966B2 (ja) * 2012-01-31 2016-03-16 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
RU2016118442A3 (ko) 2018-04-28
CN105612742A (zh) 2016-05-25
JP2016540401A (ja) 2016-12-22
EP3058724A2 (en) 2016-08-24
RU2016118442A (ru) 2017-11-21
WO2015055607A2 (en) 2015-04-23
CA2927076A1 (en) 2015-04-23
US20160225157A1 (en) 2016-08-04
WO2015055607A3 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
KR20160072165A (ko) 3d 뷰잉을 위한 깊이 맵의 리매핑
Attal et al. MatryODShka: Real-time 6DoF video view synthesis using multi-sphere images
US9445072B2 (en) Synthesizing views based on image domain warping
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
RU2538335C2 (ru) Объединение данных 3d изображения и графических данных
US9113043B1 (en) Multi-perspective stereoscopy from light fields
US10095953B2 (en) Depth modification for display applications
US9165401B1 (en) Multi-perspective stereoscopy from light fields
US10733786B2 (en) Rendering 360 depth content
TWI531212B (zh) 呈現立體影像之系統及方法
US11710274B2 (en) Image processing apparatus and file generation apparatus
US20200288217A1 (en) Image processing apparatus and file generation apparatus
EP3709651A1 (en) A method and apparatus for encoding an rendering a 3d scene with inpainting patches
US20220353486A1 (en) Method and System for Encoding a 3D Scene
Fachada et al. View synthesis tool for VR immersive video
KR20110099526A (ko) 평면 영상을 입체 영상으로 변환하는 방법
US10652514B2 (en) Rendering 360 depth content
KR101163020B1 (ko) ３차원 모델을 스케일링하는 방법 및 스케일링 유닛
Liu et al. 3D video rendering adaptation: a survey
US20220343546A1 (en) Haptic atlas coding and decoding format
US20230239451A1 (en) A method and apparatus for encoding and decoding volumetric content in and from a data stream
US20220353530A1 (en) Method and System for Encoding a 3D Scene
US20220122216A1 (en) Generating and processing an image property pixel structure
Wang et al. Image domain warping for stereoscopic 3D applications
CN115885513A (zh) 用于对体积视频进行编码和解码的方法和装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid