KR20130025395A - 입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램 - Google Patents

입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20130025395A
KR20130025395A KR1020127028617A KR20127028617A KR20130025395A KR 20130025395 A KR20130025395 A KR 20130025395A KR 1020127028617 A KR1020127028617 A KR 1020127028617A KR 20127028617 A KR20127028617 A KR 20127028617A KR 20130025395 A KR20130025395 A KR 20130025395A
Authority
KR
South Korea
Prior art keywords
stereoscopic
parallax
imaging viewpoint
imaging
pair
Prior art date
Application number
KR1020127028617A
Other languages
English (en)
Other versions
KR101487587B1 (ko
Inventor
라클란 포케트
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20130025395A publication Critical patent/KR20130025395A/ko
Application granted granted Critical
Publication of KR101487587B1 publication Critical patent/KR101487587B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

2개 이상의 입체적 이미징 시점 쌍들(SIVPi, SIVP2)의 각각으로부터의 객체 장면의 시차 범위(SIVP1D, SIVP2D)의 지시를 수신하고; 입체적 디스플레이(903)의 시차 제한(SDD)의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하기 위한 방법(100), 장치(200) 및 컴퓨터 프로그램(204).

Description

입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램{Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair}
본 발명의 실시예들은 방법들, 장치들, 컴퓨터 프로그램들 및 컴퓨터 판독가능 저장 매체들에 관한 것이다. 특히, 실시예들은 입체적 이미징(stereoscopic imaging) 분야에서 방법들, 장치들, 컴퓨터 프로그램들 및 컴퓨터 판독가능 저장 매체들에 관한 것이다.
현재 입체적 시스템들은 고정된 분리 거리(fixed separation distance)를 구비하는 한 쌍(pair)의 카메라들을 사용하고, 대체로 각 카메라로부터 이미지를 얻도록 설계된다. 입체적 이미지는 특정한 입체적 디스플레이상에 디스플레이를 위해 2개의 이미지들로부터 생성된다. 그러한 시스템들은 미리 특정된(pre-specified) 디스플레이상에 디스플레이를 위해 미리 특정된 장면 환경(scene environment)의 입체적 이미지들을 얻는 것에 한정된다. 그에 따라, 미리 특정된 디스플레이 외의 디스플레이들을 이용하여 입체적 이미지들을 시청할 때는 호환성(compatibility) 문제들이 있다.
본 발명의 여러 가지 그러나 반드시 전부는 아닌 실시예들에 따르면, 2개 이상의 입체적 이미징 시점(viewpoint) 쌍들의 각각으로부터의 객체 장면(object scene)의 시차 범위(disparity range)의 지시(indication)를 수신하고; 입체적 디스플레이의 시차 제한(disparity constraint)의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 포함하는 방법이 제공된다.
본 발명의 일부 실시예들은 2개 이상의 입체적 이미징 시점 쌍들로부터의 입체적 이미징 시점 쌍의 자동 선택을 제공하는데, 그 입체적 이미징 시점 쌍은 장면 환경에 대해 가장 큰 시차 범위를 가지나, 그것은 또한 입체적 디스플레이의 시차 용량(capability)에 맞춰진다. 효과에서, 출력 디스플레이의 시차 용량에 맞추기 위해 입력 시차 범위의 크기(magnitude)는, 입체적 이미징 시점 쌍들 중에서 입체적 이미징 시점 쌍의 시차 범위가 가장 크지만 또한 입체적 이미징 시점 쌍의 시차 범위가 디스플레이의 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택함으로써 조절될 수 있다. 이것은 객체 장면에 대해 최적화된 시차 범위를 가능하게 하는데, 가능한한 크면서 위에 입체적 콘텐트가 보여질 디스플레이의 시차 기준을 여전히 만족하는 시차를 구비함에 의해서이다. 이것은 3D 효과를 향상시키고, 선택된 입체적 이미징 시점 쌍을 사용하여 생성되는 입체적 콘텐트의 겉보기 깊이를 연장한다. 따라서, 실시예들은 디스플레이의 유효한 시차 범위가 이루어지도록 효과적인 사용을 가능하게 한다. 입력 시차 범위의 조절은 입체적 이미징 시점 쌍의 선택에 의해 영향을 받기 때문에, 다량의 컴퓨터를 사용한 프로세싱 요건들이 제거될 수 있다. 입체적 디스플레이의 시차 제한은 디스플레이를 위한 편안한 사용자 시청 한정들(limits)과 같은 인체 공학적 팩터들뿐 아니라 디스플레이의 물리적/하드웨어 한계들과 같은 팩터들에 종속될 수 있다. 그에 따라, 디스플레이의 용량들을 넘는 시차들을 갖는, 선택된 입체적 이미징 시점 쌍을 사용하여 생성된 입체적 콘텐트의 디스플레이가 방지되고, 이는 원치 않는 입체적 시청 이미지 아티팩트들(artefacts), 눈의 피로 및 시청자 피로를 감소시킨다.
객체 장면은 예를 들어, 입체적으로 영상화될 장면(scene)에 관련될 수 있고, 즉, 장면은 입체적 이미징 시점 쌍들로부터 다양한 거리들에 위치한 하나 이상의 객체들을 포함할 수 있다.
입체적 이미징 시점 쌍으로부터의 객체 장면의 시차 범위는 예를 들어, 최대 및 최소 시차 값들, 교차된 및 교차되지 않은 시차 한정들 또는 입체적 이미징 시점 쌍으로부터 인지된 장면에서 가장 가까운 그리고 가장 먼 객체들과 관련된 시차들 사이의 차이의 측정치(measure)일 수 있다. 그 대신에, 객체 장면의 시차 범위는 입체적 이미징 시점 쌍으로부터 인지된 겉보기 깊이의 측정치 또는 입체적 이미징 시점 쌍의 각 시점으로부터 인지된 장면의 관점에서 차이의 측정치일 수 있고, 또는 그것은 시점 쌍의 한 시점으로부터 얻어진 이미지가 그 시점 쌍의 다른 시점으로부터 얻어진 다른 이미지와 얼마나 다른지의 측정치일 수 있다. 입체적 이미징 시점 쌍으로부터의 객체 장면의 시차 범위는 상기 값들의 스케일링된 값일 수 있다.
입체적 이미징 시점 쌍으로부터의 객체 장면의 시차 범위는 예를 들어, 입체적 이미징 시점 분리 거리, 이미징 시점의 시야 및 장면의 깊이 범위[즉, 장면에서 가장 먼 객체와 가장 가까운 객체 사이의 거리]와 같은 파라미터들에 종속될 수 있다.
입체적 이미징 시점 쌍은 예를 들어, 이미징 시점들의 쌍일 수 있고, 즉, 장면이 보이거나 영상화되는 곳으로부터의 위치들 또는 관점들의 쌍으로, 그 쌍은 거리에 의해 분리된다. 그러한 거리는 입체적 이미징 시점 쌍 분리 거리로 정의할 수 있다. 그 대신에, 입체적 이미징 시점 쌍은 예를 들어, 이미징 기기들의 쌍일 수 있다.
입체적 디스플레이는 예를 들어, 3D 이미지들을 나타낼 수 있는 디스플레이, 자동(auto)-입체적 디스플레이, 하나의 이미지를 시청자의 한쪽 눈으로 안내하고(direct), 다른 이미지를 시청자의 다른 쪽 눈으로 안내할 수 있는 시각 출력(visual output) 장치일 수 있다.
입체적 디스플레이의 시차 제한은 예를 들어, 인지된 최대 및 최소 이미지 깊이들과 관련된 값[예를 들어, 최대 및 최소 인지된 이미지 깊이들 사이의 차이의 측정치]일 수 있고, 디스플레이는 디스플레이 가능하다. 입체적 디스플레이의 시차 제한은 예를 들어, 최대 및 최소 시차 한정들(limints)과 관련된 값[최대 및 최소 시차 한정들 사이의 차이의 측정치]일 수 있고, 디스플레이는 디스플레이 가능하다. 입체적 디스플레이의 시차 제한은 예를 들어, 교차된 및 교차되지 않은 시차 한정들 사이의 차이와 관련된 값일 수 있고, 디스플레이는 디스플레이 가능하다. 시차 제한은 상기 언급된 시차 한정들의 스케일링된 값일 수 있다. 제한들은 인체 공학적 시청 팩터들[디스플레이를 위한 편안한 시청 파라미터들과 관련됨]뿐 아니라 디스플레이의 물리적 및 하드웨어 한계들[즉, 디스플레이의 화면의 유한한 차원들(dimensions) 및 해상도들과 관련됨]로 인한 것일 수 있다.
방법은 상기 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터 변경된 객체 장면의 시차 범위의 지시를 수신하고; 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 더 포함할 수 있다. 이 것은 디스플레이의 시차 기준을 여전히 만족시키면서 가변적인 장면에 맞춰 시차 범위가 조절되는 것이 가능하게 한다.
방법은 상기 선택된 입체적 이미징 시점 쌍의 상기 이미징 시점들 중 적어도 하나로부터 이미지를 캡처하는 것을 더 포함할 수 있다. 이것은 그러한 캡처된 이미지들이 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
방법은 상기 이미징 시점들 중 적어도 하나로부터 캡처된 이미지를 저장하는 것을 더 포함할 수 있다. 바람직하게는, 선택된 입체적 이미징 시점 쌍의 적어도 2개의 이미징 시점들로부터 캡처된 이미지는 저장된다. 그 대신에, 입체적 이미징 시점 쌍마다 이미징 시점들의 각각으로부터의 이미지가 저장될 수 있다. 이것은 선택된 입체적 이미징 시점 쌍에 대응하는 이미지들이 나중에 선택되고, 처리되고, 이용될 수 있는 이점을 제공한다.
방법은 이미징 시점들의 적어도 하나로부터 캡처된 이미지, 비디오 또는 시청각(audio visual) 출력을 저장하는 것을 더 포함할 수 있다. 바람직하게는, 저장된 이미지, 비디오 또는 시청각은 선택된 입체적 이미징 시점 쌍의 적어도 2개의 이미징 시점들로부터 캡처된 것이다. 그 대신에, 입체적 이미징 시점 쌍마다 이미징 시점들의 각각으로부터의, 이미지, 비디오 또는 시청각 출력이 저장될 수 있다. 이것은 선택된 입체적 이미징 시점 쌍에 대응하는 이미지들 및 비디오들이 나중에 선택되고, 처리되고, 이용될 수 있는 이점을 제공한다.
방법은 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들을 수신하는 것을 더 포함할 수 있다. 이것은 그러한 수신된 이미지들이 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
방법은 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 생성하는 것을 더 포함할 수 있다. 이것은 그러한 생성된 입체적 콘텐트가 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
방법은 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 전송하는 것을 더 포함할 수 있다. 이것은 그러한 전송된 입체적 콘텐트가 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
방법은 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 수신하는 것을 더 포함할 수 있다. 이것은 그러한 수신된 입체적 콘텐트가 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
방법은 상기 입체적 디스플레이상에, 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 디스플레이하는 것을 더 포함할 수 있다. 이것은 그러한 디스플레이되는 입체적 콘텐트가 장면에 맞춰지면서 또한 입체적 디스플레이의 시차 제한들을 만족시키는 시차 범위를 구비하는 이점을 제공한다.
상기 입체적 디스플레이의 상기 시차 제한의 상기 지시는 상기 입체적 디스플레이의 최대 시차 범위의 지시를 포함할 수 있다. 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것은, 상기 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 최대 시차 범위보다 작은 상기 입체적 이미징 시점 쌍을 선택하는 것을 포함할 수 있다. 이것은 최적으로 선택된 입체적 이미징 시점 쌍이 입체적 디스플레이의 시차 범위에 맞춰지는 이점을 제공한다.
본 발명의 여러 가지 그러나 반드시 전부는 아닌 실시예들에 따르면, 장치로서, 컴퓨터 프로그램 명령들을 저장하는 적어도 하나의 메모리; 상기 컴퓨터 프로그램 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 컴퓨터 프로그램 명령들은 상기 장치가 적어도: 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하고; 입체적 디스플레이의 시차 제한의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 수행하도록 야기하는 장치가 제공된다.
장치는 입체적 이미징을 위한 것일 수 있다. 장치는 휴대용 소형 기기, 사용자 장비 기기 또는 서버상에 구현될 수 있다.
본 발명의 여러 가지 그러나 반드시 전부는 아닌 실시예들에 따르면, 컴퓨터상에서 작동할 때, 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하고; 입체적 디스플레이의 시차 제한의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 수행하는 컴퓨터 프로그램이 제공된다.
본 발명의 여러 가지 그러나 반드시 전부는 아닌 실시예들에 따르면, 프로세서에 의해 실행될 때, 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하고; 입체적 디스플레이의 시차 제한의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 수행하는 명령들로 부호화된 컴퓨터 판독가능 저장 매체가 제공된다.
본 발명의 여러 가지 그러나 반드시 전부는 아닌 실시예들에 따르면, 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하기 위한 수단; 입체적 디스플레이의 시차 제한의 지시를 수신하기 위한 수단; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하기 위한 수단을 포함하는 장치가 제공된다.
일부 실시예들은 컴퓨터를 사용하는 다량의 이미지 프로세싱의 필요 없이, 시차 범위가 객체 장면에 맞춰지면서 또한 디스플레이의 시차 기준을 여전히 만족하도록 조절될 수 있는 이점을 제공한다. 디스플레이의 유효한 시차 범위의 효과적인 사용이 제공된다. 입체적 디스플레이의 용량들을 넘는 시차들의 디스플레이를 감소시키고, 이는 원치 않는 이미징 아티팩트들, 눈의 피로 및 시청자 피로를 감소시킨다.
본 발명의 실시예들의 여러 가지 예들의 더 나은 이해를 위해, 이제 첨부된 도면들만을 위한 예를 통해 참고가 될 것이고, 그 도면들에서:
도 1은 본 발명의 여러 가지 실시예들에 따른 방법의 흐름도를 나타내고;
도 2는 본 발명의 여러 가지 실시예들에 따른 장치의 도식도를 나타내고;
도 3은 본 발명의 여러 가지 실시예들에 따른 2개의 입체적 이미징 시점 쌍들의 도식도를 나타내고;
도 4는 본 발명의 여러 가지 실시예들에 따른 입체적 이미징 시점 쌍들의 대안의 배열의 도식도를 나타내고;
도 5a는 본 발명의 여러 가지 실시예들에 따른 입체적 이미징 시점 쌍 및 객체 장면의 도식도의 평면도를 나타내고;
도 5b 및 5c는 도 5a의 입체적 이미징 시점 쌍의 이미징 시점들의 각각으로부터 캡처된 이미지의 도식도들을 나타내고;
도 6은 본 발명의 여러 가지 실시예들에 따른 다른 방법의 흐름도를 나타내고;
도 7은 본 발명의 여러 가지 실시예들에 따른 대안의 장치의 도식도를 나타내고;
도 8은 본 발명의 여러 가지 실시예들에 따른 방법들의 흐름도를 나타내고; 그리고
도 9a, 9b, 9c 및 9d는 본 발명의 여러 가지 실시예들에 따른 대안의 장치 구현들 및 구성들의 도식도들을 나타낸다.
도면들은, 2개 이상의 입체적 이미징 시점 쌍들(stereoscopic imaging viewpoint pairs)의 각각으로부터의 객체 장면(object scene)의 시차 범위(disparity range)의 지시(indication)를 수신하고(101); 입체적 디스플레이의 시차 제한(disparity constraint)의 지시를 수신하고(102); 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 입체적 디스플레이의 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것(103)을 포함하는 방법을 나타낸다.
도 1은 본 발명의 여러 가지 실시예들에 따른 방법의 흐름도를 나타낸다. 블록(101)에서, 2개 이상의 입체적 이미징 시점 쌍들 각각으로부터의 객체 장면의 시차 범위(disparity range)의 지시를 수신하는 프로세스가 수행된다. 블록(102)에서, 입체적 디스플레이의 시차 제한(disparity constraint)의 지시를 수신하는 프로세스가 수행된다. 마지막으로 블록(103)에서, 입체적 이미징 시점 쌍을 선택하는 프로세스가 수행되는데, 그 입체적 이미징 시점 쌍의 시차 범위는 가장 크며 그 입체적 이미징 시점 쌍의 시차 범위는 입체적 디스플레이의 시차 제한을 만족시킨다.
이 프로세스들은 제어기에 의해 수행될 수 있다. 제어기의 구현은 하드웨어(회로, 프로세서, ...)에서만 있을 수 있거나, 펌웨어(firmware)를 포함하는 소프트웨어에서만 어떤 측면들을 가질 수 있거나, 또는 하드웨어 및 소프트웨어(펌웨어를 포함함)의 결합일 수 있다. 제어기는 하드웨어 기능을 가능하게 하는 명령들을 사용하여 구현될 수 있는데, 예를 들어, 일반적인 목적 또는 특수한 목적의 프로세서에서 실행 가능한 컴퓨터 프로그램 명령들을 사용함에 의해서이고, 그 컴퓨터 프로그램 명령들은 그러한 프로세서에 의해 실행되도록 컴퓨터 판독가능 저장 매체(디스크, 메모리 등)상에 저장될 수 있다.
도 2는 도 1의 방법을 수행하기 위한 장치(200)의 예의 도식도를 나타낸다. 장치[제어기(200)]는 컴퓨터 프로그램 명령들(202)을 저장하는 적어도 하나의 메모리(201) 및 컴퓨터 프로그램 명령들을 실행하도록 구성된 적어도 하나의 프로세서(203)를 포함하고, 컴퓨터 프로그램 명령들의 실행은 장치가 적어도: 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하고; 입체적 디스플레이의 시차 제한의 지시를 수신하고; 그리고 입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 입체적 디스플레이의 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 수행하도록 야기한다.
프로세서(203)는 메모리(201)로부터 독출(read)하고, 메모리(201)에 기입(write)하도록 구성된다. 프로세서(203)는 또한 출력 인터페이스(205) 및 입력 인터페이스(206)를 포함할 수 있는데, 출력 인터페이스(205)를 통해 선택된 입체적 이미징 시점 쌍의 지시와 같은 데이터 및/또는 명령들이 프로세서(203)에 의해 출력되고, 입력 인터페이스(206)를 통해 입체적 디스플레이의 시차 제한의 지시뿐만 아니라 각 입체적 이미징 시점 쌍들로부터의 객체 장면의 시차 범위의 지시와 같은 데이터 및/또는 명령들이 프로세서(203)로 입력된다.
메모리(201)는 컴퓨터 프로그램 명령들(202)을 포함하는 컴퓨터 프로그램(204)을 저장하는데, 컴퓨터 프로그램 명령들(202)은 프로세서(203)로 로딩(loading)되면 장치(200)의 동작을 제어한다. 컴퓨터 프로그램 명령들(202)은 장치가 도 1에 도시된 방법을 수행 가능하게 하는 논리(logic) 및 루틴들(routines)을 제공한다. 프로세서(203)는 메모리(201)를 독출함으로써 컴퓨터 프로그램(204)을 로딩할 수 있고, 실행할 수 있다.
컴퓨터 프로그램(204)은 임의의 적합한 전달 메커니즘(delivery mechanism)을 통해 장치(200)에 도달할 수 있다. 전달 메커니즘은 예를 들어, 컴퓨터-판독가능 저장 매체, 컴퓨터 프로그램 제품, 메모리 기기, 콤팩트 디스크 읽기 전용(read-only) 메모리 또는 디지털 다기능 디스크(digital versatile disc)와 같은 기록 매체, 컴퓨터 프로그램을 실질적으로 수록한 제조 물품일 수 있다. 전달 메커니즘은 컴퓨터 프로그램을 확실하게 전달하도록 구성된 신호일 수 있다. 장치(200)는 컴퓨터 프로그램(204)을 컴퓨터 데이터 신호로서 전파하거나 전송할 수 있다.
메모리(201)는 단일 구성 요소로서 도시되었으나, 그것은 하나 이상의 분리된 구성 요소들로서 구현될 수 있고, 분리된 구성 요소들의 일부 또는 전부는 통합적/제거 가능일 수 있고, 그리고/또는 영구적/반영구적/동적/캐시된(cached) 저장소를 제공할 수 있다.
도 3은 본 발명의 여러 가지 실시예들에 따른 2개의 입체적 이미징 시점 쌍들(301 및 302)의 도식도를 나타낸다. 제1 입체적 이미징 시점 쌍(SIVP1, 301)은, 입체적 이미징 시점 쌍 분리 거리(SIVP1SD, 306)를 한정하는 거리에 의해 분리된 2개의 이미징 시점들(IV1 303 및 IV2 304)을 포함한다. 비슷하게, 제2 입체적 이미징 시점 쌍(SIVP2) 또한 입체적 이미징 시점 쌍 분리 거리(SIVP2SD, 307)에 의해 분리된 2개의 이미징 시점들(IV2 304 및 IV3 305)을 포함한다. 각 이미징 시점은 이미지들을 캡처(capture)할 수 있는, 전하 결합(charge-coupled) 기기와 같은 이미징 기기에 대응할 수 있고, 또는 그러한 이미징 기기가 위치한 곳을 나타낼 수 있다. 각 이미징 시점은 그것의 위치에 고정되고, 동일한 축(axis, 308)을 따라 배열된다. 유리하게, 이미징 시점들을 고정시킴으로써, 그것들의 상대적인 위치들 및 정렬들이 정확하게 미리 정해질 수 있다.
이 실시예에서, 이미징 시점(304)은 제1 및 제2 입체적 이미징 시점 쌍들 둘 다의 요소이다. 그러한 구성(configuration)은 가장 적은 개수의 이미징 시점들을 사용하면서 가능한 입체적 이미징 시점 쌍들의 개수를 최대화함으로써 공간 및 구성 요소들의 효율적인 사용을 유리하게 만든다. 그러나, 하나의 입체적 이미징 시점 쌍의 시점은 다른 입체적 이미징 시점 쌍의 시점과 일치할 필요가 없음이 이해될 것이다.
도 4는 본 발명의 여러 가지 실시예들에 따른 입체적 이미징 시점 쌍들의 대안의 배열의 도식도를 나타낸다. 배열(400)은 도 3에서 도시된 것과 유사하나, 입체적 이미징 시점 쌍 분리 거리(SIVP3SD, 402)에 의해 분리된 시점들(IV1 303 및 IV3 305)을 포함하는 추가의 입체적 이미징 시점 쌍(SIVP3, 401)을 구비한다.
일 실시예에 따르면, 입체적 이미징 시점 쌍 분리 거리들은 각각 다음이다:
SIVP1SD = 2cm에서 3cm, 또는 약 2.5cm
SIVP2SD = 3cm에서 5cm, 또는 약 4cm
SIVP3SD = 5cm에서 8cm, 또는 약 6.5cm
대략 2.5cm의 입체적 이미징 시점 쌍 분리 거리는 이미징 시점들의 줌(zoom) 기능을 가능하게 하기에 적합한데, 더 높은 줌 레벨들은 시차 범위를 확대(scale up)하는 이미징 시점들의 시야(field of view)를 감소시키기 때문이다. 그러한 확대된 시차 범위들은 입체적 이미징 시점 쌍 분리 거리를 감소시킴으로써 조절될 수 있다. 게다가, 그러한 입체적 이미징 시점 쌍 분리 거리는 또한 소형(handheld) 휴대용 기기를 사용하는 3D 비디오 회의(conferencing)에 유용하다.
대략 4cm의 입체적 이미징 시점 쌍 분리 거리는 1.5미터(metres)에서 무한대(infinity)의 객체 범위들을 가지는 일반적인 장면들을 위해 휴대용 소형 디스플레이상의 입체적 시청(viewing)에 적합하다.
대략 6.5의 입체적 이미징 시점 쌍 분리 거리는 영화관과 같이 시청 거리(viewing distance)가 2미터보다 긴 디스플레이상의 정입체시(orthostereoscopy) 시청에 적합하다. 또한, 그러한 입체적 이미징 시점 쌍 분리 거리는 3미터에서 무한대의 객체 범위들을 가지는 장면들을 시청하기에 적합하다.
또 다른 실시예에 따라, 입체적 이미징 시점 쌍 분리 거리들은 1.6 및 1.62배만큼 간격이 두어진다. 물론 다른 수의 값들이 언제든지 선택될 수 있다.
다른 실시예에 따르면, 입체적 이미징 시점 쌍 분리 거리는 동공(pupil) 사이 분리 거리[즉, 시청자의 양쪽 눈 사이의 거리, 대체로 6-7cm의 범위 이내임]에 대응한다.
객체 장면의 시차 범위는 입체적 이미징 시점 쌍들의 시점들의 관점(perspective)으로부터 결정된다. 도 3 또는 도 4의 입체적 이미징 시점 쌍(SIVP1 301)으로부터의 객체 장면의 시차 범위가 어떻게 결정될 수 있는지의 일 예가 이제 설명될 것이다. 도 5a는 입체적 이미징 시점 쌍 분리 거리(SIVP1SD)에 의해 분리되며, 기본 축(base axis, 308)을 따라 배치된 이미징 시점들(IV1 303 및 IV2 304)을 포함하는 입체적 이미징 시점 쌍(SIVP1 301)의 평면도를 나타낸다. 장면의 이미지들을 캡처할 수 있는, 카메라와 같은 이미징 기기(506, 507)는 입체적 이미징 시점 쌍(SIVP1)의 각 이미징 시점(IV1 및 IV2)에 위치한다. 제1 이미징 기기(506) 및 이미징 시점(IV1) 각각은 광학 축(optical axis, 503)을 가지는데, 광학 축(503)은 다른 이미징 기기(507) 및 이미징 시점(IV2)의 광학 축(504)에 평행한다. 광학 축들(503 및 504)은 또한 기본 축(308)에 수직이다. 이미징 시점들 및 이미징 기기들의 광학 축들이 평행하지 않아 그것들이 어떤 점에서 교차하는 이미징 시점들 및 이미징 기기들의 구성을 구비하는 것이 가능하다. 그러한 평행하지 않은 구성은 "토인(toe-in)" 구성이라 불린다. 정사각형(501)과 원(502)은 입체적으로 영상화될 장면에서 가장 먼 객체와 가장 가까운 객체를 각각 나타낸다. 설명의 용이함을 위해, 이 객체들은 광학 축들(503, 504)에 평행한 중심 축(505)을 따라 그리고 시점들 사이의 중간에 위치한 것으로 도시된다. 물론, 실세계 장면(real world scene)은 중심으로 정렬된 그것의 가장 먼 객체 그리고 가장 가까운 객체를 갖지 않을 수 있을 것이다.
도 5b 및 5c는 도 5a의 입체적 이미징 시점 쌍의 이미징 시점들의 각각에 위치한 이미징 기기에 의해 캡처된 이미지의 도식도들을 나타낸다. 도 5b는 제1 이미징 기기(506)에 의해 제1 시점(IV1 303)으로부터 캡처된 이미지를 나타낸다. 이미지를 지나는 중심선(508)은 이미징 기기의 광학 축(503)에 대응한다. 이 이미지에서, 가장 먼 객체인 정사각형(501)은 중심선(508)의 우측으로 특정 거리(509)에 배치된다. 가장 가까운 객체인 원(502)은 중심선(508)의 우측으로 더 먼 거리(510)에 배치된다.
도 5c는 제2 이미징 기기(507)에 의해 제2 시점(IV2 304)으로부터 캡처된 이미지를 나타낸다. 가장 먼 객체인 정사각형(501)은 이미징 기기(507) 및 제2 시점의 광학 축(504)과 관련된, 이미지의 중심선(511)의 좌측으로 특정 거리(512)에 배치된다. 가장 가까운 객체인 원(502)은 중심선(511)의 좌측으로 더 먼 거리(512)에 배치된다.
입체적 이미징 시점 쌍(301)으로부터의 장면의 최소 시차 값(SIVP1Dmin)은, 가장 먼 객체의 겉보기 깊이(apparent depth)와 관련되고, 거리들(509 및 512) 사이 차이의 측정치(measure)이다.
입체적 이미징 시점 쌍(301)으로부터의 장면의 최대 시차 값(SIVP1Dmax)은, 가장 가까운 객체의 겉보기 깊이와 관련되고, 거리들(510 및 513) 사이 차이의 측정치(measure)이다.
입체적 이미징 시점 쌍(301)으로부터의 객체 장면의 최대 시차 범위(SIVP1D)는 최대 시차(SIVP1Dmax) 및 최소 시차(SIVP1Dmin) 사이 차이를 계산함으로써 결정될 수 있다, 즉:
SIVP1D =│SIVP1Dmax│- │SIVP1Dmin│
도 5a에서 주어진 예에서 가장 먼 객체 및 가장 가까운 객체의 중심으로 대칭적인 위치를 고려하면, 거리(504)는 최소 시차의 반(SIVP1Dmin/2)과 관련되고, 거리(505)는 최대 시차의 반(SIVP1Dmax/2)과 관련된다. 비슷하게, 거리(510)는 최소 시차의 반(SIVP1Dmin/2)과 관련되고, 거리(511)는 최대 시차의 반(SIVP1Dmax/2)과 관련된다.
2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 결정은 임의의 적합한 방법에 의해 결정될 수 있는데, 예를 들어, 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들의 이미지 분할(segmentation) 및 블록 매칭(block matching)에 의해서이다. 대안으로, 시차들은 각 입체적 이미징 시점 쌍에 대해 다음과 같은 파라미터들의 지식을 기반으로 계산될 수 있다:
입체적 이미징 시점 분리 거리
이미징 시점의 시야(field of view)
이미지를 캡처하는 이미징 기기들의 렌즈의 초점 거리(focal length)
가장 가까운 객체 및 가장 먼 객체의 실세계 거리들(real world distances)(적합한 범위 판정(finding) 방법론들을 통해 결정될 수 있고, 그러한 것들은 음파 전자기파(sound waves electromagnetic radiation)와 관련됨) 그리고
카메라의 전하 결합 기기 어레이(array)의 해상도(resolution).
객체 장면의 시차 범위는 입체적 이미징 시점 쌍들의 이미징 시점들로부터 결정되므로, 일부 실시예들에서, 시차 범위는 시야(field of view) 및 줌 레벨들과 같은 이미징 시점들의 측면들(aspects)을 본질적으로 포함한다. 유리하게, 이미 선택된 입체적 이미징 시점 쌍은 이미징 시점들의 시야 및 줌 레벨을 고려한다. 따라서, 본 시스템의 여러 가지 실시예들은 이미징 시점들의 변하는 시야들 및 다른 줌 레벨들에 조정할 수 있다.
다른 실시예에 따르면, 스케일링 팩터(scaling factor)로 이미지들의 스케일(scale)을 변경하는 것과 같은 이미지 프로세싱 알고리즘은, 시차 범위를 계산하기 전에 입체적 이미징 시점 쌍으로부터의 이미지들(5b 및 5c)에 적용된다. 이미지들의 크기를 감소시킴으로써, 이미지들의 시차 또한 비슷하게 감소된다. 유리하게, 입체적 이미징 시점 쌍에 대한 객체 장면의 시차 범위가 입체적 디스플레이의 시차 범위보다 단지 조금 더 크다는 것이 발견된 경우, 입체적 이미징 시점 쌍의 시차 범위는, 입체적 이미징 시점 쌍으로부터의 이미지들의 이미지 크기들을 감소시킴으로써 입체적 디스플레이의 시차 범위의 것 아래로 감소될 수 있다. 예를 들어, 입체적 이미징 시점 쌍에 대한 객체 장면의 시차 범위가 입체적 디스플레이의 시차 범위의 시차 범위보다 5%, 10% 20%, 25% 또는 30% 큰 범위 내인 경우, 시차 범위는 대응하는 필요한 양만큼 감소될 수 있는데, 그것을 이미징 시점들로부터의 이미지들의 스케일을 감소시킴으로써 허용 가능한 레벨들 범위 내에 있게 하기 위해서이다. 유리하게, 이것은 입체적 시점 쌍이 그렇지 않은 경우보다 큰 이미징 시점 분리 거리와 함께 선택될 수 있게 하는데, 입체적 이미징 시점 쌍으로부터의 더 작은 이미지들 그리고 입체적 콘텐트(content)의 더 작은 전체가 아닌 화면(non-full screen)을 대가로 한다.
또 다른 실시예에 따르면, 이미징 시점들의 시야가 변경되는데, 시차 범위를 계산하기 전에 입체적 이미징 시점 쌍으로부터의 이미지들(5b 및 5c)의 시차를 변경하는 것과 같다. 이미징 시점들의 시야를 증가시킴으로써, 이미지들의 시차가 감소된다. 유리하게, 입체적 이미징 시점 쌍에 대한 객체 장면의 시차 범위가 입체적 디스플레이의 시차 범위보다 단지 조금 더 크다는 것이 발견된 경우, 입체적 이미징 시점 쌍의 시차 범위는, 입체적 이미징 시점 쌍으로부터의 이미지들의 시야를 증가시킴으로써 입체적 디스플레이의 시차 범위의 것 아래로 감소될 수 있다. 예를 들어, 입체적 이미징 시점 쌍에 대한 객체 장면의 시차 범위가 입체적 디스플레이의 시차 범위의 시차 범위보다 5%, 10% 20%, 25% 또는 30% 큰 범위 내인 경우, 시차 범위는 대응하는 필요한 양만큼 감소될 수 있는데, 그것을 이미징 시점들의 시야를 증가시킴으로써 허용 가능한 레벨들 범위 내에 있게 하기 위해서이다. 유리하게, 이것은 입체적 시점 쌍이 그렇지 않은 경우보다 큰 이미징 시점 분리 거리와 함께 선택될 수 있게 한다.
일 실시예에 따르면, 장면의 시차 범위는 장면 안의 복수의 포인트들에서 검출된다. 이 검출(detection)은 실시간(real-time)으로 있을 수 있고, 변하는 장면[예를 들어, 객체가 시점들 쪽으로 더 가까이 움직이는 것과 같음]에 조정하면서 실시간으로 입체적 이미지 시점의 재선택(re-selection)을 가능하게 한다.
입체적 디스플레이의 시차 제한들은, 디스플레이까지의 시청자(viewer)의 시청 거리와 관련된 인체 공학적 팩터들을 기반으로 하는 실현 가능한(feasible) 디스플레이 시차 범위들의 한계들(limitations)을 포함한다.
일 실시예에 따르면, 입체적 디스플레이의 시차 범위(stereoscopic display's disparity range, SDD)는 최대 디스플레이 시차 및 최소 디스플레이 시차 사이의 차이를 계산함으로써 결정되는데, 여기서:
최대 디스플레이 시차는 Vobject= VMax를 위한 Pdisplay의 값
최소 디스플레이 시차는 Vobject = VMin를 위한 Pdisplay의 값
즉, SDD = │Pdisplay(VMax)│-│Pdisplay(VMin)│
Figure pct00001
Figure pct00002
Vdisplay = 시청자의 동공들로부터 디스플레이까지의 거리
Vobject = 보이는 객체의 인지된 거리(perceived distance), 즉 가상의(virtual) 객체 거리
VMax = 보이는 객체의 인지된 최대 거리, 즉 최대 가상의 객체 거리
VMin = 보이는 객체의 인지된 최소 거리, 즉 최소 가상의 객체 거리
IPD = 동공 사이 거리, 즉, 시청자의 양쪽 눈 사이의 거리
F = 인간을 위한 편안한 시청 파라미터(comfortable viewing parameter)와 관련된 눈 굴곡성(eye flexibility)(다이옵터(dioptre)), 대체로 ±0.5 ±0.75의 범위에 있는 것으로 알려짐.
눈 굴곡성 팩터는 '조절-폭주 부조화(accommodation-convergence mismatch)'와 관련되고, 시청자의 양쪽 눈은 디스플레이의 거리에 조절되나, 가상의 객체의 겉보기 깊이와 관련된 다른 거리로 수렴한다. 이 상황은 눈의 피로를 초래할 수 있는 불일치(discrepancy)를 야기한다. 주위에서 지적된 것과 같이, ±0.5 ±0.75 다이옵터의 범위에 있는 눈 굴곡성이 편안한 시청을 가능하게 하는 것이 알려져 왔다.
다른 입체적 디스플레이들은 편안한 시청을 위해 다른 시차 범위들뿐 아니라 다른 유효한 시차 최대들 및 최소들을 구비한다. 적합하게 채택된 영화관 화면[디스플레이 거리는 2m보다 훨씬 더 김]상에 입체적 콘텐트를 디스플레이하는 것은 무한의 가상의 객체 거리들의 인지(perception)를 가능하게 한다. 그런데, 더 가까운 거리들에서 보이는 디스플레이들에 대해, 예를 들어, 소형 기기들을 대한 경우에, 상기의 효과 때문에 무한의 거리에 있는 가상의 객체들을 편안히 시청하는 것이 가능하지 않다. 가장 큰 교차되지 않은(uncrossed) 시차(최대 가상의 깊이와 관련됨) 및 가장 큰 교차된(crossed) 시차(최소 가상의 깊이와 관련됨)를 한정함으로써 디스플레이의 시차 범위에 영향을 미치는, 디스플레이 크기와 같은 다른 팩터들이 있다.
하기는 입체적 시점 쌍의 선택에 관련된 프로세스들의 사용된 예를 제공한다.
이 예에서, 3 입체적 이미징 시점 쌍들이 존재하고, 각 3 입체적 이미징 시점 쌍들은 각각 2.5cm, 4cm 및 6cm의 이미징 시점 분리 거리를 구비한다. 시점 쌍들의 각 이미징 시점에서, 1.6 메가픽셀(megapixel) 카메라가 존재한다. 영상화될 객체 장면은 유한한 범위[즉, 입체적 이미징 시점 쌍들로부터 2미터 및 5미터 사이]의 객체들로 구성된다.
이미징 시점 분리 거리(cm) 가장 가까운 객체
영상화 시차
(픽셀들의 개수)		 가장 먼 객체
영상화 시차
(픽셀들의 개수)		 최대 시차 범위
(픽셀들의 개수)
2.5 -62.5 -30 32.5
4 -100 -48 52
6.5 -162.5 -78 84.5
위 시차 값들에서 음의 부호가 주어지는데, 교차된 시차들을 나타내기 위한 통상적인 것과 같다(양의(positive) 시차들은 교차되지 않은 시차들을 나타내기 위해 사용된다).
이 예에서 사용된 입체적 디스플레이는 480 x 800의 해상도를 구비하고, 즉, 그것은 384,000 픽셀들을 구비한다. 디스플레이는 -10 픽셀들(통상적으로 교차된 시차들은 음의 부호임)까지의 교차된 시차를 다룰 수 있는데, 즉, 디스플레이의 앞에서 인지되는 전경(foreground) 객체들을 위해서이다. 디스플레이는 13 픽셀들(통상적으로 교차된 시차들은 양(positive)임)의 교차되지 않은 시차를 다룰 수 있는데, 즉, 디스플레이의 뒤에서 인지되는 배경(background) 객체들을 위해서이다. 그러므로, 디스플레이의 시차 범위[이것은 교차되지 않은 시차 한정(uncrossed disparity limit) 및 교차된 시차 한정 사이의 차이의 측정치(measure)임]는 디스플레이 공간에서 23 픽셀들이다.
그러나, 각각의 카메라들로부터의 1.6 메가픽셀 이미지들은 디스플레이에 맞추기 위해 스케일링되어야 한다. 이 경우에 있어서, 이미지들은 4의 스케일 팩터에 의해 감소된다. 이것은 4의 팩터에 의해 카메라 공간(space)의 시차 범위를 대응하게 감소시킨다.
이미징 시점 분리 거리(cm) 스케일링된 가장 가까운 객체 영상화 시차
(픽셀들의 개수)		 스케일링된 가장 먼 객체 영상화 시차
(픽셀들의 개수)		 스케일링된
최대 시차 범위
(픽셀들의 개수)
2.5 -15.625 -7.5 8.125
4 -25 -12 13
6.5 -40.625 -19.5 21.125
입체적 이미징 시점 쌍은 선택되어 시차 범위, 즉, 스케일링된 최대 시차 범위를 제공하는데, 그 스케일링된 최대 시차 범위는 가장 크며, 디스플레이의 시차 제한(즉, 디스플레이의 시차 범위)보다 작다. 이 예에서, 이미징 시점 분리 거리가 6.5cm인 입체적 이미징 시점 쌍이 선택되어, 그것은 21.125 픽셀들의 가장 큰 시차 범위를 제공하나, 23 픽셀들의 시차 제한보다 더 작다.
최적의 입체적 이미징 시점 쌍을 선택하였으면, 그것들의 각각의 시점들에서 캡처된 이미지들[즉, 선택된 시점 쌍의 이미징 시점들의 각 카메라로부터 얻어진 원본(raw) 이미지들]은 적절히 오프셋(offset)될 수 있다. 그것들은 오프셋되어, 가장 가까운 객체 영상화 시차(closest object imaged disparity) 및 가장 먼 객체 영상화 시차(furthest object imaged disparity)는 각각 디스플레이의 교차된 시차 한정의 값 및 교차되지 않은 시차 한정의 값으로 연관(mapping)시킨다.
오프셋하는 것(offsetting)은 유클리드의 시프트(Euclidean shift) 이미지 프로세싱 알고리즘을 적용함으로써 이뤄질 수 있다. 본 경우에 있어서, +32 픽셀들의 시프트(즉, 우측 이미지를 16 픽셀들만큼 우측으로 이동하고, 그리고 좌측 이미지를 16 픽셀들만큼 좌측으로 이동함)가 적용되어, 입체적 영상화된 장면의 시차들은 -41 픽셀들 및 -20 픽셀들(주의(N.B.)): -40.625 픽셀들 및 -19.5 픽셀들은 픽셀들의 정수(whole number)의 픽셀들로 변환되었음)로부터 -9 픽셀들로 +12 픽셀들로 시프트될 것이고, 이것은 디스플레이의 시차 제한들의 범위 내에 있고, 시청하기에 편안할 것이다.
그 대신에, 디스플레이의 시차들의 파라미터들을 스케일링 업(scaling up)함으로써[즉, 본 경우에서 4의 팩터를 통해] 적절한 시차 범위들의 결정에 접근할 수 있어, 가장 큰 교차된 시차는 -40 픽셀들이고, 그리고 가장 큰 교차되지 않은 시차는 52 픽셀들이다. 그러므로, 디스플레이의 시차 제한은 카메라의 해상도에 맞추기 위한 디스플레이의 스케일링된 시차 범위에 대응할 것이고, 이 경우에 있어서 디스플레이 공간에서 92 픽셀들일 것이다. 다시, 동일한 입체적 이미징 시점 쌍이 선택될 것인데, 즉, 그것의 이미징 시점 분리 거리는 6.5cm이고, 그것이 시차 범위, 즉, 최대 시차 범위(이 경우에 있어서 84.5 픽셀들)를 제공하기 때문이고, 그 시차 범위는 또한 디스플레이의 시차 제한(이 경우에 있어서 92 픽셀들)보다 작다.
최적의 입체적 이미징 시점 쌍을 선택하였으면, 선택된 시점 쌍의 이미징 시점들의 각 카메라로부터 얻어진 원본 이미지들은 적절히 오프셋될 수 있어, 그것들의 시차 한정들은 각각 디스플레이의 교차된 시차 한정의 값 및 교차되지 않은 시차 한정의 값으로 연관(mapping)시킨다. 이 경우들에 있어서, +126 픽셀들의 시프트(즉, 우측 이미지를 63 픽셀들만큼 우측으로 이동하고, 그리고 좌측 이미지를 63 픽셀들만큼 좌측으로 이동함)가 적용되어, 입체적 영상화된 장면의 시차들은 -163 픽셀들 및 -78 픽셀들(주의(N.B.)): -162.5 픽셀들은 정수의 픽셀들로 변환되었음)로부터 -36 픽셀들로 +48 픽셀들로 시프트될 것이고, 이것은 디스플레이의 스케일링 업된 시차 제한들[-40 픽셀들 내지 52 픽셀들]의 범위 내에 있고, 시청을 위해 재스케일링될 때 -9 픽셀들 내지 12 픽셀들이 될 것이다.
이제 상황이 변하여 객체 장면이 더 이상 5미터까지의 유한한 범위를 가진 객체로만 이루어지지 않고, 즉 이제 무한의 거리에서 객체들이 존재하는 경우를 고려한다.
이미징 시점 분리 거리(cm) 가장 가까운 객체
영상화 시차
(픽셀들의 개수)		 가장 먼 객체
영상화 시차
(픽셀들의 개수)		 최대 시차 범위
(픽셀들의 개수)
2.5 -62.5 0 62.5
4 -100 0 100
6.5 -162.5 0 162.5
상기에서 도시된 것과 같이, 4의 적합한 스케일링 팩터를 적용한 후, 디스플레이 기기의 시차 범위에서 92 픽셀들 허용량(allowance)을 가진다. 이 경우에 있어서, 선택된 입체적 이미징 시점 쌍은 이제 2.5cm 이미징 시점 분리 거리를 가지는 것이 될 것인데, 그것은 최대 시차 범위(이 경우에 있어서 62.5 픽셀들)를 제공하며, 디스플레이의 스케일링된 시차 범위(이 경우에 있어서 92 픽셀들)보다 작기 때문이다.
그 대신에, 이미징 시점 분리 거리가 4cm인 입체적 이미징 시점 쌍은, 디스플레이의 스케일링된 시차 범위(이 경우에 있어서 92 픽셀들)의 것을 단지 조금 넘는 최대 시차 범위(100 픽셀들)를 가지기 때문에, 대안의 스케일 팩터[예를 들어, 4 대신에 4.35]를 적용함으로써, 디스플레이의 시차 제한[즉, 디스플레이의 스케일링된 시차 범위]는 이제 100.05일 것이고, 따라서 4cm 이미징 시점 분리 거리를 가지는 입체적 이미징 시점 쌍이 선택될 수 있다. 그러나, 그에 따른 입체적 이미지는 디스플레이상의 전체 화면 이미지가 아니고, 그 이미지의 단지 92%를 차지할 것이다. 입체적 이미지가 전체 화면에서 디스플레이되지 않더라도, 이것은 디스플레이의 시차 용량(capability)의 사용을 더 효과적으로 유리하게 하고, 향상된 3D 효과가 인지되는 것을 가능하게 한다.
도 6은 본 발명의 여러 가지 실시예들에 따른 다른 방법의 흐름도를 나타낸다. 블록들(601, 602 및 603)은 제1, 제2, ... 제N 입체적 이미징 시점 쌍 (SIVP1D, SIVP2D, ... SIVPnD 각각)의 각각으로부터의 객체 장면의 시차 범위를 수신하는 것에 관한 도 1의 블록(101)에 대응한다. 블록(102)은 입체적 디스플레이의 시차 제한(SDD)의 지시를 수신하는 프로세스를 수행한다. 블록(103)은 입체적 이미징 시점 쌍(SIVPx)를 선택하는 프로세스를 수행하는데, 입체적 이미징 시점 쌍(SIVPx)의 시차 범위(SIVPxD)는 각각의 SIVP1D, SIVP2D, ... SIVPnD 중 가장 크지만, 또한 그것의 시차 범위는 SIVPxD < SDD와 같은 시차 제한을 만족시킨다.
선택 기준을 충족시키는 입체적 이미징 시점 쌍(SIVPx)의 선택의 뒤를 이어, 블록(604)은 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터의 이미지를 캡처하는 프로세스를 수행하는데, 예를 들어 각 이미징 시점에 위치한 이미징 기기에 의해서이고, 이미지 쌍(image pair)을 만들기 위해서이다. 이미지들의 시퀀스(sequence) 또는 비디오 스트림(stream)이 비슷하게 캡처될 수 있음이 이해될 것이다.
선택적으로 이미지 프로세싱 알고리즘들은 블록(605)에서 나타난 것과 같이 캡처된 이미지들에 적용될 수 있다. 그러한 이미지 프로세싱 알고리즘들은 다음을 포함하나, 다음을 수행하는 것에 제한되지 않는다: 줌 레벨, 이미지 차원 크기(image dimension size) 및 색 영역(colour gamut), 휘도(brightness) 및 콘트라스트(contrast)와 같은 이미지 쌍의 이미지 특성에 맞추기 위한 이미지 매칭 알고리즘들뿐 아니라 유클리드의 시프트, 키스톤 보정(keystone correction) 및 이미지들의 크로핑(cropping). 유클리드의 시프트 이미지 변환은 입체적 콘텐트의 전체 시차를 오프셋하지만, 시차들의 실제 범위에 영향을 주지 않는다.
블록(606)은 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된(derived) 입체적 콘텐트를 생성하는 프로세스를 수행한다. 입체적 콘텐트는 다음의 것들일 수 있다: 이미징 시점으로부터 캡처된 라이브(live) 또는 녹화된(pre-recorded) 이미지들 또는 비디오 스트림들, 입체적 이미징 시점 쌍으로부터 캡처된 이미지들로부터 유도된 입체적 이미지, 입체적 이미징 시점 쌍으로부터 캡처된 이미지들 또는 비디오로부터 유도된 복수의 입체적 이미지들 또는 입체적 비디오. 또한, 입체적 콘텐트는 입체적 이미징 시점 쌍으로부터의 객체 장면의 시차 범위들에 관한 지시들을 포함할 수 있다. 입체적 콘텐트는 입체적 디스플레이 기술의 특정한 유형을 위해 요구되는 포맷(format)에 맞추기 위해 적절하게 포맷될 수 있다.
마지막으로, 블록(607)은 입체적 디스플레이 제한들과 관련된 입체적 디스플레이상에, 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 디스플레이하는 프로세스를 수행한다.
도 7은 도 6의 방법을 수행하기 위한 본 발명의 여러 가지 실시예들에 따른 장치의 도식도를 나타낸다.
장치(700)는 컴퓨터 프로그램 명령들(202)을 포함하는 컴퓨터 프로그램(204)을 저장하는 메모리(201)를 포함한다. 장치는 출력 인터페이스(205) 및 입력 인터페이스(206)를 포함하는 프로세서(203)를 포함하고, 출력 인터페이스(205)를 통해 데이터 및/또는 명령들이 프로세서(203)에 의해 출력되고, 입력 인터페이스(206)를 통해 데이터 및/또는 명령들이 프로세서(203)로 입력된다. 도 2의 장치(200)와 마찬가지로, 장치(700)의 프로세서(203)는 장치(700)가 도 1의 방법을 수행하도록 야기하는 컴퓨터 프로그램 명령들(202)을 실행하도록 구성된다.
장치는 객체 장면의 이미지를 캡처할 수 있는 이미징 기기들과 같은 영상기들(imagers: 701, 702 및 703)을 더 포함한다. 영상기들(701, 702 및 703)은 이미징 시점들(IV1, IV2 및 IV3)에 대응하는 위치들에 위치하도록 배열된다. 그에 따라, 입체적 이미징 시점 쌍들(SIVP1, SIVP2 및 SIVP3)은 영상기 쌍들: 영상기(701)와 영상기(702), 영상기(702)와 영상기(703), 그리고 영상기(701)와 영상기(703)에 각각 대응한다.
각 영상기는 그것의 각각의 시점으로부터 인지된 것과 같은 객체 장면의 이미지를 캡처한다. 이 이미지들은 프로세서(203)에 의해 처리되어, 각 입체적 이미징 시점 쌍[즉, 각 이미징 쌍(imaging pair)]으로부터 인지된 것과 같은 객체 장면의 시차 범위를 결정한다. 이것들은 메모리(201)에 미리 저장될 수 있는 입체적 디스플레이(704)의 시차 제한의 지시와 함께 프로세서로 입력된다.
프로세서(203)는 선택 기준을 충족시키는 입체적 이미징 쌍들 중 하나를 선택하는 블록(103)의 방법을 수행한다.
컴퓨터 프로그램 명령들(202)은 또한 아래에서 나타낸 것과 같이 장치(700)가 도 6에 도시된 방법들을 수행 가능하게 하는 논리(logic) 및 루틴들(routines)을 제공한다.
입체적 이미징 시점 쌍이 선택되었을 때, 제어기(203)는 선택된 입체적 이미징 시점 쌍을 제어하여 각 적절한 각각의 영상기로부터 이미지를 캡처하고, 캡처된 이미지는 메모리 수단(202)에 저장되고, 그에 의해 블록(604)의 프로세스를 달성한다. 선택적으로 프로세서(203)는 이미지 프로세싱 알고리즘들을 캡처된 이미지들에 적용할 수 있고, 그에 의해 블록(605)의 프로세스를 달성한다. 프로세서(203)는 캡처된 이미지들을 기반으로 입체적 콘텐트를 생성하고, 그 입체적 콘텐트는 디스플레이(704)상에 디스플레이하기에 적합하게 포맷되고, 그에 의해 블록(607)을 달성한다.
일 실시예에서, 장치(700)는 휴대폰 또는 개인 정보 단말기(personal digital assistant)와 같은 휴대용 소형 전자 기기상에 구체화되고, 추가적으로 하나 이상의 오디오/텍스트/비디오 통신 기능들(예를 들어, 원거리 통신(tele-communication), 비디오-통신 및/또는 텍스트 전송(SMS(Short Message Service)/MMS(Multimedia Message Service)/이메일(emailing)) 기능들), 상호적/비상호적(interactive/non-interactive) 시청 기능들(예를 들어, 웹 브라우징(web-browsing), 네비게이션(navigation),텔레비전/프로그램 시청 기능들), 음악 녹음/재생(recording/playing) 기능들(예를 들어, MP3(Moving Picture Experts Group-1 Audio Layer 3) 또는 다른 포맷 및/또는 (주파수 변조/진폭변조(frequency modulation/amplitude modulation)) 라디오 방송 녹음/재생), 데이터의 다운로딩/발송 기능들, 이미지 캡처 기능(예를 들어, 디지털 카메라(예를 들어, 내장됨(in-built)를 사용함) 그리고 게임(gaming) 기능들을 제공할 수 있다.
도 8은 본 발명의 여러 가지 실시예들에 따른 방법들의 흐름도를 나타낸다. 도 1에 관해 설명된 프로세스들[블록들(101 및 102)을 뒤따르는 블록(103)에서 선택된 입체적 이미징 시점 쌍의 선택을 야기함]의 뒤를 이어, 도 8은 블록(103)에서 선택된 입체적 이미징 시점 쌍을 이용하여 다음에 수행될 수 있는 여러 가지 프로세스들(800)을 나타낸다.
블록(604)은 도 6에 관해 검토된 것과 같이 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터의 이미지를 캡처하는 것과 관련된다. 이미지들의 시퀀스 또는 비디오 스트림이 비슷하게 캡처될 수 있음이 이해될 것이다.
블록(801)은 2개 이상의 이미징 시점들의 각각으로부터 캡처된 이미지를 저장하는 프로세스를 수행한다. 게다가, 이미지들의 시퀀스 또는 비디오 스트림이 비슷하게 캡처될 수 있음이 이해될 것이다. 바람직하게는, 시점들 중 적어도 2개는 선택된 입체적 이미징 시점 쌍의 시점들에 대응한다. 만일 이미징 시점들 중 2개 이상 또는 훨씬 더 많이 바람직하게는 모두로부터 캡처된 이미지들이 메모리에 저장되면, 디스플레이의 시차 기준을 충족시키는 입체적 이미징 시점 쌍을 선택하는 프로세스의 뒤를 이어, 선택된 입체적 이미징 시점 쌍에 대응하는 적절한 이미징 시점들로부터의 이미지들은 디스플레이를 위해 메모리로부터 복구될 수 있다. 유리하게, 다른 시차 제한을 가지는 다른 디스플레이상에 입체적 콘텐트를 디스플레이하는 것이 요구되면, 선택 프로세스는 반복될 수 있고, 그리고 새로 선택된 입체적 이미징 시점 쌍에 대응하는 적절한 이미징 시점들로부터의 이미지들은 디스플레이를 위해 메모리로부터 복구될 수 있다. 유리하게, 그러한 설정(setup)은 하나 이상의 디스플레이들의 시차 제한 기준을 충족시키기 위해, 다음에 선택될 수 있는 이미지들의 여러 집합들의 기록(recordal)을 효과적으로 가능하게 한다. 이것은 다양한 기기들[다음과 같이: 휴대용 소형 디스플레이들, 홈 TV 액정 디스플레이 및 플라즈마 디스플레이들 및 디스플레이들 기반의 프로젝션(projection)]상에 보여질 수 있는 입체적 콘텐트의 디스플레이를 가능하게 한다.
블록(802)은 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들 또는 비디오 스트림을, 실시간으로 동시에 또는 동시가 아니게[즉, 이전에 캡처된 이미지들 또는 비디오 스트림들] 수신하는 프로세스를 수행한다.
블록(606)은 도 6에 관해 검토된 것과 같이 입체적 콘텐트의 생성과 관련된다.
블록(803)은 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 전송하는 프로세스를 수행한다.
블록(804)은 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 수신하는 프로세스를 수행한다.
블록(607)은 도 6에 관해 검토된 것과 같이 입체적 콘텐트의 디스플레이와 관련된다.
도 8에 도시된 여러 가지 방법 프로세스들(800)은 여러 가지 소프트웨어 및하드웨어 플랫폼들(platforms)상에서 구현될 수 있고, 그것들 중 주목할만한 것은 도 2 및 7의 장치들(200 및 700)을 포함하는 것임이 이해될 것이다.
도 9a는 도 7에 관하여 설명된 것과 같은 장치(700)의 도식도를 나타내고, 다음을 포함한다: 하나의 유닛(unit)(700)에 모두 수용된 입체적 이미징 시점 쌍들, 제어기 및 디스플레이. 그러한 장치는 "모두 하나로 된(all in one)" 장치로 생각될 수 있는데, 그 장치는 다음 3개의 동작 가능하게 연결된 모듈들(modules)을 포함한다: 영상기 모듈(imager module, 901), 제어기 모듈(902) 및 디스플레이 모듈(903).
제어기 모듈(902)은, 영상기 모듈(901)의 입체적 이미징 시점 쌍들 중 영상화될 객체 장면과 충족되어야 하는 디스플레이 모듈의 디스플레이의 시차 제한들에 대해 최적인 하나를 선택한다. 게다가, 모듈들은 다양하게 배열되어, 적어도 도 8에 도시된 블록들의 프로세스들을 수행하고, 예를 들어:
영상기 모듈(901)은 제어기 모듈에 의해 제어되어, 선택된 입체적 이미징 시점 쌍으로부터의 이미지들을 캡처한다.
제어기 모듈(902)은 영상기 모듈(901)로부터 이미지들을 수신한다.
제어기 모듈(902)은 영상기 모듈(901)로부터 이미지들을 저장한다.
제어기 모듈(902)은 이미지들을 디스플레이 모듈(903)로 전달한다.
제어기 모듈(902) 또는 디스플레이 모듈(903)은 이미지들로부터 입체적 콘텐트를 생성한다.
제어기 모듈은 입체적 콘텐트를 디스플레이 모듈로 전송한다.
디스플레이 모듈(903)은 입체적 콘텐트를 디스플레이한다.
입체적 콘텐트뿐 아니라 입체적 이미징 시점 쌍들로부터 시차 범위들의 지시들 및 입체적 디스플레이들의 시차 제한들의 지시들과 관련된 데이터는 하나의 모듈로부터 다른 모듈로 전송될 수 있다. 그러나, 이 모듈들은 단일 물리적 개체(entity)로 하나의 유닛에 반드시 모두 수용될 필요는 없고, 서로 분리되고 서로 떨어져 있을 수 있음이 이해될 것이다.
도 9b는 디스플레이 모듈을 포함하는 디스플레이(904)가 영상기 모듈(901)과 제어기 모듈(902)을 포함하는 장치(905)로부터 분리되고, 그 장치(905)로부터 떨어져 있는 시스템을 나타낸다. 그러한 배열에서, 디스플레이(904)의 시차 제한들은 통신 네트워크를 통하여 제어기 모듈에 통보되고, 또는 그 대신에 그러한 제한들은 제어기 모듈의 메모리 안에 미리 저장되고, 디스플레이의 식별(identification)이 제어기에 통보되어, 제어기가 입체적 이미징 시점 쌍의 선택 프로세스에 적용할 디스플레이 시차 제한을 알게 된다. 입체적 시점 쌍들로부터 시차 범위들 및 디스플레이(904)의 시차 제한들이 주어져 적절한 이미징 시점 쌍이 선택되었으면, 장치(905)는 선택된 이미징 시점 쌍으로부터 유도된 입체적 콘텐트를 디스플레이(904)로 전송할 수 있다. 그러한 시스템은 이미징 시점들로부터 인지된 객체 장면에 따라 입체적 시점 쌍과 그것으로부터 유도된 입체적 콘텐트를 선택할 수 있다. 그에 따라, 시스템은 인지된 객체 장면이 변할 때[즉, 줌 인/아웃(in/out)하는 이미징 시점들에 의해 그것들 각각의 시야를 변경함에 의해서이고, 또는 장면에서 움직이는 객체들에 의해 최소 및 최대 객체 범위들을 변경함에 의해서임] 적응할 수 있다. 최적의 입체적 시점 쌍 및 그것으로부터 유도된 입체적 콘텐트는 그러한 변경들을 고려하여 선택될 수 있다.
도 9c는 제어기 모듈(902)과 디스플레이 모듈(903)은 모두 장치(906)에 수용되고, 그 장치(906)는 영상기 모듈을 포함하는 장치(907)로부터 분리되고, 그 장치(907)로부터 떨어져 있는 시스템을 나타낸다. 그러한 배열에서, 장치(907)의 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시는 통신 네트워크를 통하여 장치(906)에 통보될 수 있다. 이것의 수령(receipt)의 뒤를 이어, 장치(905)는 디스플레이 모듈(903)의 시차 제한들을 충족시키는 적절한 이미징 시점 쌍을 선택할 수 있다. 그러면, 제어기 모듈은 선택된 이미징 시점 쌍으로부터 유도된 입체적 콘텐트를 요청할 수 있다.
그 대신에, 시점 쌍이 디스플레이 모듈(903)의 시차 용량들에 최적으로 맞춰지는 선택을 하기에 앞서, 제어기 모듈(902)은 적어도 2개의 입체적 이미징 시점 쌍들로부터 유도된 입체적 콘텐트를, 각 입체적 콘텐트가 유도된 입체적 이미징 쌍의 시차 범위의 지시들과 함께 수신할 수 있다. 따라서, 제어기 모듈(903)은 최적의 입체적 이미징 시점 쌍을 선택할 수 있고, 그러면 선택된 입체적 이미징 시점 쌍으로부터 유도된 것에 대응하는 수신된 입체적 콘텐트를 선택한다. 유리하게, 이 시나리오(scenario)에서, 디스플레이 기기의 시차 용량들의 사전 지식(advance knowledge)은, 입체적 콘텐트를 캡처하고, 생성하고 그리고 수신하기에 앞서 요구되지 않는다.
도 9d는 영상기 모듈, 제어기 모듈 및 디스플레이 모듈의 각각이 서로 분리되고 떨어져 있는 시스템을 나타낸다. 그러한 배열 데이터에서, 시차들 및 입체적 콘텐트와 관련된 것은 통신 네트워크를 통하여 하나의 모듈로부터 다른 모듈로 전송될 수 있다.
도 9c의 시스템과 마찬가지로, 제어기 모듈(902)을 포함하는 장치(200)는 적어도 2개의 입체적 이미징 시점 쌍들로부터 유도된 입체적 콘텐트를, 각 입체적 콘텐트가 유도된 입체적 이미징 쌍의 시차 범위의 지시들과 함께 수신할 수 있다. 게다가, 유리하게, 이 시나리오에서, 디스플레이 기기의 시차 용량들의 사전 지식은, 입체적 콘텐트를 캡처하고, 생성하고 그리고 수신하기에 앞서 요구되지 않는다. 그러한 시스템은 사용되는 디스플레이 기기(904)에 따라 입체적 시점 쌍 및 그것으로부터 유도된 입체적 콘텐트를 선택할 수 있다. 그에 따라, 시스템은 다른 디스플레이 기기들[예를 들어, 소형 휴대용 전자 기기상의 디스플레이, 종래의 패널 디스플레이 또는 디스플레이 기반의 프로젝션(projection)과 같음]에 적응할 수 있고, 선택된 입체적 콘텐트는 사용되는 디스플레이를 위해 최적으로 맞춰질 것이다.
상기 예들에서, 입체적 콘텐트의 전송은 실제 이미징 모듈(901) 자체로부터일 필요가 없으나, 예를 들어, 입체적 콘텐트 서버(미도시)로부터일 수 있음이 이해될 것이다. 서버는 데이터베이스를 포함할 수 있는데, 데이터베이스는 입체적 시점 쌍들로부터 유도된 미리 저장된 입체적 콘텐트를 가지며, 그 입체적 콘텐트가 유도된 입체적 이미징 시점 쌍들로부터의 시차 범위의 지시들을 함께 가진다.
데이터[예를 들어, 시차 범위들의 지시들 또는 입체적 콘텐트와 같음]의 전송은 임의의 적합한 전달 메커니즘을 통해서일 수 있다. 전달 메커니즘은 예를 들어, 내부 데이터 버스, 컴퓨터-판독가능 저장 매체, 컴퓨터 프로그램 제품, 메모리 기기, 콤팩트 디스크 읽기 전용 메모리 또는 디지털 다기능 디스크(digital versatile disc)와 같은 기록 매체, 데이터를 실질적으로 수록한 제조 물품일 수 있다. 전달 메커니즘은 데이터를 확실하게 전달하도록 구성된 신호일 수 있다. 그러한 신호는 통신 네트워크를 통해 전송될 수 있는데, 예를 들어, 통신 네트워크는 근거리 네트워크(local area network), 광역 네트워크(wide area network), 인터넷 또는 무선 영역 네트워크(wireless area network)나 원거리 통신 네트워크(telecommunications network)와 같은 무선 네트워크(wireless network)이다.
'컴퓨터-판독가능 저장 매체', '컴퓨터 프로그램 제품', '실질적으로 수록된 컴퓨터 프로그램' 등 또는 '제어기', '컴퓨터', '프로세서' 등에 대한 참조들은 단일/다중-프로세서 아키텍처들(architectures) 및 순차적(폰 노이만(Von Neumann))/병렬적 아키텍처들과 같은 다른 아키텍처들을 구비하는 컴퓨터들뿐 아니라 FPGA(field-programmable gate arrays), ASIC(application specific circuits), 신호 프로세싱 기기들 및 다른 기기들과 같은 특수한 회로들(specialized circuits)을 내포하는 것으로 이해되어야만 한다. 컴퓨터 프로그램, 명령들, 코드 등에 대한 참조들은, 프로세서를 위한 명령들이든 또는 고정 기능(fixed-function) 기기, 게이트 어레이 또는 프로그램 가능한 논리 기기 등을 위한 구성 세팅들(configuration settings)이든, 프로그램 가능한 프로세서를 위한 소프트웨어 또는 펌웨어를 내포하는 것으로 이해되어야만 하고, 펌웨어는 예를 들어 하드웨어 기기의 프로그램 가능한 콘텐트와 같은 것이다.
도 1, 6 및 8에 도시된 블록들은 방법에서의 단계들 및/또는 컴퓨터 프로그램(204)에서의 코드의 부문들(sections)을 나타낼 수 있다. 블록들에 대한 특정한 순서의 도시는 반드시 블록들을 위해 요구되거나 선호되는 순서가 있음을 뜻하지 않고, 블록의 순서 및 배열은 변할 수 있다. 게다가, 일부 단계들은 생략되는 것이 가능할 수 있다.
본 발명의 여러 가지 실시예들이 여러 가지 예들을 참고하여 앞선 단락들에서 설명되었으나, 주어진 예들에 대한 변경들은 청구된 것과 같은 본 발명의 범위로부터 벗어나지 않으면서 이루어질 수 있음이 이해되어야만 한다.
앞선 설명에서 기술된 특징들은 명확하게 기술된 결합들 외의 결합들에서 사용될 수 있다.
기능들이 특정한 특징들을 참고하여 설명되었으나, 그 기능들은 설명되었든 설명되지 않았든 다른 특징들에 의해 수행 가능할 수 있다.
특징들이 특정한 실시예들을 참고하여 설명되었으나, 그 특징들은 설명되었든 설명되지 않았든 다른 실시예들에서 또한 존재할 수 있다.
앞의 설명서에서 특별히 중요하다고 생각되는 본 발명의 그 특징들을 주목시키기 위해 노력하였으나, 출원인은 위에서 도면들을 참고하고 그리고/또는 도면들에서 도시된 임의의 특허 가능한 특징 또는 특징들의 결합에 대해, 특정한 강조가 그것에 대해 두어졌든 아니든, 보호를 청구하는 것으로 이해되어야만 한다.

Claims (21)

  1. 2개 이상의 입체적 이미징 시점(viewpoint) 쌍들의 각각으로부터의 객체 장면(object scene)의 시차 범위(disparity range)의 지시(indication)를 수신하고;
    입체적 디스플레이의 시차 제한(disparity constraint)의 지시를 수신하고; 그리고
    입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 포함하는 방법.
  2. 제1항에 있어서,
    각 입체적 이미징 시점 쌍은 2개의 이미징 시점들을 포함하는 방법.
  3. 제2항에 있어서,
    상기 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터 변경된 객체 장면의 시차 범위의 지시를 수신하고;
    입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 더 포함하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 이미징 시점들 중 적어도 하나로부터 이미지를 캡처하는 것을 더 포함하는 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 이미징 시점들 중 적어도 하나로부터 캡처된 이미지를 저장하는 것을 더 포함하는 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 이미징 시점들 중 적어도 하나로부터의 이미지 또는 비디오 출력을 저장하는 것을 더 포함하는 방법.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들을 수신하는 것을 더 포함하는 방법.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 생성하는 것을 더 포함하는 방법.
  9. 제2항 내지 제8항 중 어느 한 항에 있어서,
    상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 전송하는 것을 더 포함하는 방법.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서,
    상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 수신하는 것을 더 포함하는 방법.
  11. 제2항 내지 제10항 중 어느 한 항에 있어서,
    상기 입체적 디스플레이상에, 상기 선택된 입체적 이미징 시점 쌍의 각 이미징 시점으로부터 캡처된 이미지들로부터 유도된 입체적 콘텐트를 디스플레이하는 것을 더 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 상기 객체 장면의 상기 시차 범위의 상기 지시는 상기 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 상기 객체 장면의 최대 시차 범위의 지시를 포함하는 방법.
  13. 제12항에 있어서,
    2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 상기 객체 장면의 상기 최대 시차 범위의 상기 지시는, 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 상기 객체 장면의 최대 영상화 시차 값과 최소 영상화 시차 값 사이의 차이의 측정치(measure)의 지시를 포함하고,
    상기 최대 영상화 시차 값은:
    상기 입체적 이미징 시점 쌍의 상기 이미징 시점들 중 하나에 위치한 이미징 기기에 의해 캡처되는 이미지에서, 상기 객체 장면에서 가장 가까운 객체를 나타내는 위치 그리고
    상기 입체적 이미징 시점 쌍의 다른 이미징 시점에 위치한 이미징 기기에 의해 캡처되는 이미지에서, 상기 객체 장면에서 가장 가까운 객체를 나타내는 위치 사이의 차이의 측정치이고;
    상기 최소 영상화 시차 값은:
    상기 입체적 이미징 시점 쌍의 상기 이미징 시점들 중 하나에 위치한 상기 이미징 기기에 의해 캡처되는 이미지에서, 상기 객체 장면에서 가장 먼 객체를 나타내는 위치 그리고
    상기 입체적 이미징 시점 쌍의 다른 이미징 시점에 위치한 상기 이미징 기기에 의해 캡처되는 이미지에서, 상기 객체 장면에서 가장 먼 객체를 나타내는 위치 사이의 차이의 측정치인 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 입체적 디스플레이의 상기 시차 제한의 상기 지시는, 스케일링 팩터(scaling factor)에 의해 스케일링된 상기 입체적 디스플레이의 최대 시차 범위의 지시를 포함하고, 그리고
    상기 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 상기 입체적 이미징 시점 쌍을 선택하는 것은,
    상기 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 스케일링된 최대 시차 범위보다 작은 상기 입체적 이미징 시점 쌍을 선택하는 것을 포함하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 입체적 디스플레이의 상기 시차 제한의 상기 지시는 상기 입체적 디스플레이의 최대 시차 범위의 지시를 포함하고, 그리고
    상기 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 상기 입체적 이미징 시점 쌍을 선택하는 것은,
    상기 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 최대 시차 범위보다 작은 상기 입체적 이미징 시점 쌍을 선택하는 것을 포함하는 방법.
  16. 장치로서,
    컴퓨터 프로그램 명령들을 저장하는 적어도 하나의 메모리;
    상기 컴퓨터 프로그램 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 컴퓨터 프로그램 명령들은 상기 장치가 적어도:
    2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하고;
    입체적 디스플레이의 시차 제한의 지시를 수신하고; 그리고
    입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하는 것을 수행하도록 야기하는 장치.
  17. 장치로서,
    컴퓨터 프로그램 명령들을 저장하는 적어도 하나의 메모리;
    상기 컴퓨터 프로그램 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 컴퓨터 프로그램 명령들은 상기 장치가 적어도 제2항 내지 제15항 중 어느 한 항의 방법을 수행하도록 야기하는 장치.
  18. 제16항 또는 제17항의 장치를 포함하는, 휴대용 소형 기기, 사용자 장비 기기 또는 서버.
  19. 컴퓨터상에서 작동할 때, 제1항 내지 제15항 중 어느 한 항의 방법을 수행하는 컴퓨터 프로그램.
  20. 프로세서에 의해 실행될 때, 제1항 내지 제15항 중 어느 한 항의 방법을 수행하는 명령들로 부호화된 컴퓨터 판독가능 저장 매체.
  21. 2개 이상의 입체적 이미징 시점 쌍들의 각각으로부터의 객체 장면의 시차 범위의 지시를 수신하기 위한 수단;
    입체적 디스플레이의 시차 제한의 지시를 수신하기 위한 수단; 그리고
    입체적 이미징 시점 쌍의 시차 범위가 가장 크며 입체적 이미징 시점 쌍의 시차 범위가 상기 입체적 디스플레이의 상기 시차 제한을 만족시키는 입체적 이미징 시점 쌍을 선택하기 위한 수단을 포함하는 장치.
KR1020127028617A 2010-04-01 2010-04-01 입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램 KR101487587B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2010/051442 WO2011121397A1 (en) 2010-04-01 2010-04-01 Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair

Publications (2)

Publication Number Publication Date
KR20130025395A true KR20130025395A (ko) 2013-03-11
KR101487587B1 KR101487587B1 (ko) 2015-01-29

Family

ID=44711402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127028617A KR101487587B1 (ko) 2010-04-01 2010-04-01 입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20130141550A1 (ko)
EP (1) EP2532166B1 (ko)
KR (1) KR101487587B1 (ko)
CN (1) CN102835116B (ko)
WO (1) WO2011121397A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300089B2 (en) * 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
US20120162394A1 (en) * 2010-12-23 2012-06-28 Tektronix, Inc. Displays for easy visualizing of 3d disparity data
US20130009949A1 (en) * 2011-07-05 2013-01-10 Texas Instruments Incorporated Method, system and computer program product for re-convergence of a stereoscopic image
US10491915B2 (en) 2011-07-05 2019-11-26 Texas Instruments Incorporated Method, system and computer program product for encoding disparities between views of a stereoscopic image
US20130016187A1 (en) * 2011-07-14 2013-01-17 Texas Instruments Incorporated Method and apparatus for auto-convergence for stereoscopic images and videos
JP5920911B2 (ja) * 2011-11-10 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101918030B1 (ko) 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
WO2014127841A1 (en) * 2013-02-25 2014-08-28 Telefonaktiebolaget L M Ericsson (Publ) 3d video apparatus and method
US9838672B2 (en) * 2013-05-16 2017-12-05 Mediatek Inc. Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview
KR102240564B1 (ko) 2014-07-29 2021-04-15 삼성전자주식회사 영상 렌더링 장치 및 방법
CN104320647B (zh) * 2014-10-13 2017-10-10 深圳超多维光电子有限公司 立体图像生成方法及显示装置
WO2018079260A1 (ja) * 2016-10-25 2018-05-03 ソニー株式会社 画像処理装置および画像処理方法
US11598849B2 (en) 2017-12-03 2023-03-07 Munro Design & Technologies, Llc Signal generating systems for three-dimensional imaging systems and methods thereof
WO2019133640A1 (en) * 2017-12-29 2019-07-04 PlusAI Corp Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same
DE102019120998A1 (de) * 2019-08-02 2021-02-04 Psholix Ag Verfahren und Vorrichtung für eine adaptive Disparitätskontrolle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142166A (ja) * 1999-09-15 2001-05-25 Sharp Corp ３ｄカメラ
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
WO2003081921A1 (fr) * 2002-03-27 2003-10-02 Sanyo Electric Co., Ltd. Procede de traitement d'images tridimensionnelles et dispositif
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
WO2007057497A1 (en) * 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
JP4692849B2 (ja) 2007-01-09 2011-06-01 富士フイルム株式会社 立体画像記録装置および立体画像記録方法
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP5299214B2 (ja) * 2009-10-20 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법

Also Published As

Publication number Publication date
EP2532166A4 (en) 2013-10-23
KR101487587B1 (ko) 2015-01-29
US20130141550A1 (en) 2013-06-06
CN102835116B (zh) 2015-03-25
CN102835116A (zh) 2012-12-19
WO2011121397A1 (en) 2011-10-06
EP2532166B1 (en) 2017-07-19
EP2532166A1 (en) 2012-12-12

Similar Documents

Publication Publication Date Title
KR101487587B1 (ko) 입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램
JP5763184B2 (ja) ３次元画像に対する視差の算出
US8447096B2 (en) Method and device for processing a depth-map
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
JP6005731B2 (ja) スケール非依存マップ
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
US20100231689A1 (en) Efficient encoding of multiple views
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
EP2618584A1 (en) Stereoscopic video creation device and stereoscopic video creation method
JP5942195B2 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
JP2013540402A (ja) ユーザ選好に基づいて３ｄビデオレンダリングを調節するための３ｄビデオ制御システム
US20130194395A1 (en) Method, A System, A Viewing Device and a Computer Program for Picture Rendering
JP2011109671A (ja) 三次元オブジェクトの分割に基づく背景画像の最適圧縮（ａｃｂｉ）
US20140022246A1 (en) Three-dimensional image output apparatus and three-dimensional image output method
WO2015100490A1 (en) Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
US20120075419A1 (en) Adaptation of 3D video content
GB2558893A (en) Method for processing media content and technical equipment for the same
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
Chauvier et al. Does size matter? The impact of screen size on stereoscopic 3DTV
CN106559662B (zh) 多视图图像显示设备及其控制方法
CN107767412A (zh) 一种图像处理方法及装置
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
US20150334364A1 (en) Method and device for generating stereoscopic video pair

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140718

Effective date: 20141111

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6