KR20130030780A - 3 차원 이미지 프로세싱 - Google Patents

3 차원 이미지 프로세싱 Download PDF

Info

Publication number
KR20130030780A
KR20130030780A KR1020127034150A KR20127034150A KR20130030780A KR 20130030780 A KR20130030780 A KR 20130030780A KR 1020127034150 A KR1020127034150 A KR 1020127034150A KR 20127034150 A KR20127034150 A KR 20127034150A KR 20130030780 A KR20130030780 A KR 20130030780A
Authority
KR
South Korea
Prior art keywords
image
scene
point
convergence
disparity
Prior art date
Application number
KR1020127034150A
Other languages
English (en)
Inventor
세르지우 알 고마
칼린 엠 아타나소브
밀리보제 알렉식
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130030780A publication Critical patent/KR20130030780A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Abstract

3D 이미지 프로세싱의 시스템들 및 방법들이 개시된다. 특정 실시형태에서, 3 차원 (3D) 미디어 플레이어는 적어도 장면에 대응하는 제 1 이미지 및 장면에 대응하는 제 2 이미지를 포함하는 입력 데이터를 수신하고 3D 디스플레이 디바이스에 출력 데이터를 제공하도록 구성된다. 3D 미디어 플레이어는 줌 커맨드 및 팬 커맨드 중 적어도 하나를 포함하는 사용자 입력에 응답적이다. 3D 미디어 플레이어는 사용자 입력에 응답적인 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈을 포함한다.

Description

3 차원 이미지 프로세싱{THREE-DIMENSIONAL IMAGE PROCESSING}
우선권 주장
본 출원은, 여기에 참조로 포함된, 2010년 5월 28일자로 출원된 발명의 명칭이 "THREE-DIMENSIONAL IMAGE PROCESSING" 인 미국 가특허출원번호 제61/349,738호에 대해 우선권 주장한다.
분야
본 개시물은 일반적으로 3 차원 (3D) 이미지 프로세싱에 관련된다.
기술의 진보는 보다 소형이고 보다 강력한 컴퓨팅 디바이스들을 야기하여 왔다. 예를 들어, 현재는 소형이고, 경량이며 사용자들이 휴대하기 용이한 휴대용 무선 전화기들, 개인 휴대 정보 단말기 (PDA) 들, 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하는, 다양한 휴대용 개인용 컴퓨팅 디바이스들이 존재하고 있다. 많은 이러한 무선 전화기들은 여기에 포함되는 다른 타입들의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 또한 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어를 포함할 수 있다. 또한, 이러한 무선 전화기들은 비디오 파일 플레이어와 같이, 소프트웨어 애플리케이션들을 포함하는, 실행가능한 명령들을 프로세싱할 수 있다.
도 1 은 미디어 파일의 재생 동안 줌 또는 팬 명령에 응답하여 적응적 수렴을 수행하도록 구성된 3D 재생 디바이스를 포함하는 시스템의 특정 실시형태의 블록도이다.
도 2 는 이미지 또는 비디오 캡처 동안 줌 명령에 응답하여 적응적 수렴을 수행하도록 구성된 3D 캡처 디바이스를 포함하는 시스템의 특정 실시형태의 블록도이다.
도 3 은 이미지 또는 비디오 캡처 동안 장면 내의 물체들의 디스패리티 (disparity) 를 검출하도록 구성된 3D 캡처 디바이스의 특정 실시형태의 도면이다.
도 4 는 도 1 내지 도 3 의 시스템들 중 임의의 시스템에 포함될 수 있는 3D 이미지 프로세싱 시스템의 특정 실시형태의 블록도이다.
도 5a 및 도 5b 는 지각된 물체 깊이들과 상관된 물체 디스패리티들의 예시적인 실시형태들의 도면들이다.
도 6 은 도 1 내지 도 3 의 시스템들 중 임의의 시스템에 포함될 수 있는 3D 이미지 프로세싱 시스템의 특정 실시형태의 블록도이다.
도 7 은 장면의 서브샘플링된 루마 성분 및 그 서브샘플링된 루마 성분에 적용된 수평 변화 검출 필터의 결과의 특정 실시형태를 예시하는 도면이다.
도 8a 및 도 8b 는 도 7 의 필터링된 결과에서의 로컬 수평 공간 최대값들 및 도 7 의 장면의 서브샘플링된 루마 성분에서의 각각의 로컬 수평 공간 최대값의 이웃들의 예시적인 실시형태들의 도면들이다.
도 9 는 장면 내의 키 포인트들의 디스패리티를 예시하는 특정 예시적인 실시형태의 히스토그램이다.
도 10 은 뷰잉 거리가 장면의 3D 지각에 미치는 영향을 도시하는 특정 실시형태의 도면이다.
도 11 은 디스플레이 뷰잉 거리에 대한 디스패리티 의존성을 도시하는 예시적인 실시형태들의 도면이다.
도 12 는 줌 동작이 장면의 3D 지각에 미치는 영향을 도시하는 특정 실시형태의 도면이다.
도 13 은 장면 디스패리티 및 수렴 포인트 선택을 도시하는 특정 예시적인 실시형태의 히스토그램이다.
도 14 는 3D 이미지 프로세싱의 방법의 제 1 실시형태의 흐름도이다.
도 15 는 3D 이미지 프로세싱의 방법의 제 2 실시형태의 흐름도이다.
도 16 은 3D 이미지 프로세싱의 방법의 제 3 실시형태의 흐름도이다.
3 차원 (3D) 이미지 프로세싱의 시스템들 및 방법들이 개시된다. 3 차원 (3D) 미디어 플레이어는 장면에 대응하는 입력 데이터를 수신하고 3D 디스플레이 디바이스에 출력 데이터를 제공할 수 있다. 3D 미디어 플레이어는 줌 (zoom) 커맨드 및 팬 (pan) 커맨드를 포함하는 사용자 입력에 응답적이다. 3D 미디어 플레이어는 사용자 입력에 응답적인 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈을 포함한다. 수렴 포인트는 장면 단위 기준으로 적응적으로 결정될 수 있고, 디스플레이 장면 지오메트리, 뷰잉 거리, 및 줌/팬 사용자 입력에 따라 설정될 수 있다.
장면의 좌측 이미지에 보이는 물체를 동일 장면의 우측 이미지에 보이는 대응하는 물체와 융합한 결과로서 뷰어의 생각으로 3D 지각이 발생할 수 있다. 물체의 지각된 깊이는 물체의 디스패리티 (disparity), 즉 좌측 이미지와 우측 이미지 사이에서의 물체의 로케이션 시프트에 기초한다. 디스패리티 (좌측 및 우측) 이미지 시프트가 3D 효과의 요인이 되며, 정확하게 다루어지지 않는다면, 불편/두통을 초래할 수 있다. 디스플레이 디멘젼 및 뷰잉 거리는 디스패리티에 영향을 미치며, 보상되지 않는다면 원하지 않는 효과를 초래할 수 있다. 줌 기능성은 3D 스위트 (suite) 에 대한 속성일 수 있으며, 이 줌 기능성은 또한 (실시간으로) 디스패리티에 영향을 미친다.
디스패리티 제약들은 사용자 선호도에 기초하여 구성될 수도 있다. 장면 의존 디스패리티 제약들은 디스플레이 사이즈 및 거리 및 줌 팩터에 기초하여 실시간으로 유도될 수 있다. 장면 디스패리티가 측정될 수 있고, 그 장면 디스패리티가 제약들 내에 있다면, 장면의 수렴 포인트가 조정될 수도 있다. 장면 디스패리티가 제약들 내에 있지 않다면, 프로세싱은 디스패리티를 제약들 내에 있게 하기 위한 특수 모드로 스위칭할 수도 있다.
디스플레이 뷰잉 각도, 디스플레이 사이즈, 뷰어와 디스플레이 사이의 거리, 및 줌 팩터의 하나 이상에 의존하여 특수 프로세싱 (3D 효과 제어) 이 이용될 수도 있다. 가용 범위를 완전히 이용하고 사용자에게 편안한 3D 효과를 초래하는 것이 고려사항이 될 수도 있다.
사람은 단지 소정의 각도 디스패리티까지만 인터프리팅 (융합) 할 수 있으며, 그 후 고스팅 (ghosting) (이중 이미지들) 이 보인다. 물체의 지각된 깊이는 오로지 각도 디스패리티에만 의존할 수도 있다. 각도 디스패리티는 스크린 사이즈, 스크린 해상도, 및 뷰잉 거리의 조합에 의존한다.
도 1 을 참조하면, 시스템의 특정 예시적인 실시형태는 컴퓨팅 디바이스 (120) 에 커플링된 카메라폰 (102) 과 같은 휴대용 전자 디바이스를 포함한다. 특정 실시형태에서, 컴퓨팅 디바이스 (120) 는 디스플레이 디바이스 (130) 에 커플링되는 개인용 컴퓨터이다. 카메라폰 (102) 은 인터페이스를 통해 컴퓨팅 디바이스 (120) 에 3D 이미지 데이터 (158) 를 제공하기 위해 커플링된다. 카메라폰 (102) 은 이미지 센서 쌍 (104), 동기화 주문형 집적 회로 (ASIC), 비디오 전단 컴포넌트 (108), 및 외부 메모리 (114) 를 포함한다. 동기화 ASIC 은 동기화 및 인터페이스 기능성 (106) 을 포함하고, 이미지 센서 쌍 (104) 에 응답적이다. 동기화 및 인터페이스 기능성 (106) 은 이미지 센서 쌍 (104) 으로부터 제 1 및 제 2 이미지 데이터를 포함하는 이미지 데이터 (150) 를 수신한다. 동기화 ASIC 에는 비디오 전단 컴포넌트 (108) 가 커플링되며, 비디오 전단 컴포넌트 (108) 는 하나 이상의 이미지 프로세싱 기능들 (110) 및 3D 비디오 인코딩 기능성 (112) 을 포함한다. 비디오 전단 컴포넌트 (108) 은 외부 메모리 (114) 에 비디오 인코딩된 데이터 (156) 를 제공한다. 비디오 전단 컴포넌트 (108) 는 카메라폰 (102) 에서 무선 접속성 및 애플리케이션 프로세싱 능력을 또한 가능하게 할 수도 있는 이동국 모뎀.TM (Mobile Station Modem.TM; MSM.TM)-타입 칩셋과 같은 모바일 디바이스 칩셋에 포함될 수도 있다 (이동국 모뎀 (Mobile Station Modem) 과 MSM 은 Qualcomm Incorporated 의 등록 상표들이다).
컴퓨팅 디바이스 (120) 는 사용자 인터페이스를 가진 인-하우스 플레이어 (126), 실시간 재생 컴포넌트 (124) 및 개인용 컴퓨터 (PC) 하드 드라이브 (122) 와 같은 저장 디바이스를 포함한다. 실시간 재생 컴포넌트 (124) 는 미세 (fine) 이미지 얼라인먼트 및 적응적 수렴 기능성을 포함한다. 컴퓨팅 디바이스 (120) 는 3D 이미지 데이터 (158) 를 프로세싱하고 3D 디스플레이 디바이스 (130) 에 출력 신호 (166) 를 제공하도록 구성된다.
동작 동안, 카메라폰 (102) 내의 카메라 디바이스에 의해 이미지가 캡처된다. 캡처된 이미지는 이미지 센서 쌍 (104) 에 의해 검출되고, 장면에 관련된 제 1 및 제 2 이미지들에 대응하는 제 1 및 제 2 이미지 데이터 (150) 가 동기화 ASIC 에 제공된다. 동기화 ASIC 은 자동-노출 및 화이트 밸런싱 타입 프로세싱과 같은 AE 기능성과 센서 쌍 (104) 의 동작의 동기화를 수행한다. 동기화 ASIC 으로부터 동기화되고 프로세싱된 데이터 (152) 는 비디오 전단 컴포넌트 (108) 에 제공된다. 비디오 전단 컴포넌트 (108) 는 하나 이상의 이미지 프로세싱 기능들 (110) 을 수행하고 프로세싱된 데이터 (154) 를 3D 비디오 인코딩 모듈 (112) 에 제공한다. 3D 비디오 인코딩 모듈 (112) 은 3D 비디오 인코딩을 제공하고, 외부 메모리 (114) 에 저장될 수 있는 비디오 인코딩된 데이터를 포함하는 비디오 인코딩된 출력 스트림 (156) 을 제공한다. 외부 메모리 (114) 로부터의 데이터가 출력 접속을 통해 제공될 수 있고, 3D 이미지 데이터 (158) 가 컴퓨팅 디바이스 (120) 로의 전달을 위해 출력될 수 있다.
3D 이미지 데이터 (158) 에 응답적인, 컴퓨팅 디바이스 (120) 는, PC 하드 드라이브 (122) 에 3D 이미지 데이터를 저장한다. 3D 이미지 데이터는 PC 하드 드라이브 (122) 로부터 취출되고 입력 데이터 (160) 로서 실시간 재생 컴포넌트 (124) 에 제공될 수도 있다. 실시간 재생 컴포넌트 (124) 는 입력 데이터 (160) 에 미세 이미지 얼라인먼트 및 적응적 수렴 프로세싱을 수행한다. 적응적 수렴 및 이미지 얼라인먼트 프로세싱은 인-하우스 플레이어 (126) 에 제공되는 추가 프로세싱된 이미지 데이터 (162) 를 산출한다. 인-하우스 플레이어 (126) 는 소정의 사용자 요청된 커맨드들을 수행하기 위해 사용자 입력에 응답적이다. 예를 들어, 인-하우스 플레이어 (126) 는 사용자로부터의 줌 또는 팬 커맨드에 응답적이다. 사용자 커맨드에 응답하여, 인-하우스 플레이어 (126) 는 줌/팬 제어를 나타내는 줌/팬 커맨드 (164) 를 피드백 경로를 통해 실시간 재생 컴포넌트 (124) 에 제공한다. 줌/팬 커맨드 (164) 에 응답적인, 미세 이미지 얼라인먼트 및 적응적 수렴 모듈 (124) 은, 줌 또는 팬 동작으로부터 발생하는 지각된 장면 깊이의 변화에 응답하여 적응적 수렴을 수행한다.
따라서, 컴퓨팅 디바이스 (120) 는, 적어도 장면에 대응하는 제 1 이미지 및 장면에 대응하는 제 2 이미지를 포함하는 입력 데이터를 수신하도록 구성된 3D 미디어 플레이어를 포함한다. 예를 들어, 제 1 이미지 및 제 2 이미지는 이미지 센서 쌍 (104) 에 의해 캡처되고 프로세싱되어 3D 이미지 데이터를 발생시킬 수도 있다. 3D 미디어 플레이어는 3D 디스플레이 디바이스에 출력 데이터를 제공하도록 구성된다. 예를 들어, 인-하우스 플레이어 (126) 와 결합된 실시간 재생 컴포넌트 (124) 는 3D 디스플레이 디바이스 (130) 에 출력 데이터 (166) 를 제공할 수도 있다. 3D 미디어 플레이어는 줌 커맨드 및 팬 커맨드 중 적어도 하나를 포함하는 사용자 입력에 응답적이다. 예를 들어, 실시간 재생 컴포넌트 (124) 는 줌/팬 제어 경로를 통해 수신된 줌 커맨드나 또는 팬 커맨드 (164) 중 어느 하나에 응답적인 적응적 수렴을 수행할 수도 있다. 3D 미디어 플레이어는 사용자 입력에 응답적인 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된다.
도 2 는 이미지 또는 비디오 캡처 동안 줌 명령에 응답하여 적응적 수렴을 수행하도록 구성된 3D 캡처 디바이스 (202) 를 포함하는 시스템의 특정 실시형태의 도면이다. 3D 캡처 디바이스 (202) 는 이미지 프로세싱 모듈 (208) 에 커플링된 이미지 센서 쌍 (204) 을 포함한다. 이미지 프로세싱 모듈 (208) 에는 사용자 인터페이스 디바이스 (280), 외부 메모리 (214), 및 3D 프리뷰 디스플레이 디바이스 (284) 가 커플링된다. 3D 비디오 플레이어 (220) 는 이미지 캡처 디바이스 (202) 에 의해 제공된 3D 이미지 데이터 (258) 를 디스플레이하기 위해 3D 디스플레이 디바이스 (230) 에 커플링되는 것으로 예시된다.
이미지 센서 쌍 (204) 은 이미지 프로세싱 모듈 (208) 에 이미지 데이터 (250) 를 제공하도록 구성된다. 예를 들어, 이미지 센서 쌍 (204) 은 상보형 금속-산화물-실리콘 (CMOS)-타입 이미지 센서들 또는 전하 커플링된 디바이스 (CCD)-타입 이미지 센서들을 포함할 수도 있다. 이미지 센서 쌍 (204) 의 각각의 이미지 센서는 3D 캡처 디바이스 (202) 에 의해 캡처되는 장면에 대응하는 이미지 데이터를 동시발생적으로 캡처할 수도 있다. 이미지 데이터 (250) 는 이미지 센서 쌍 (204) 에서 독출될 수도 있고 이미지 프로세싱 모듈 (208) 에 제공될 수도 있다. 특정 실시형태에서, 이미지 센서 쌍 (204) 은 실질적으로 병렬 얼라인먼트로 세팅되며, 줌 동작들 동안 회전 또는 "토 인 (toe in)" 하도록 제어가능하지 않다.
이미지 프로세싱 모듈 (208) 은 도 1 의 동기화 ASIC 및 비디오 전단 컴포넌트 (108) 에 대응할 수도 있다. 이미지 프로세싱 모듈 (208) 은 동기화 및 인터페이싱 모듈 (206), 이미지 프로세싱 기능들 모듈 (210), 수렴 제어를 가진 3D 프로세싱 모듈 (240), 및 3D 비디오 인코딩 모듈 (212) 을 포함할 수도 있다. 동기화 및 인터페이싱 모듈 (206) 은 이미지 센서 쌍 (204) 의 동작의 동기화를 제어하고 이미지 센서 쌍 (204) 의 하나 이상의 다른 동작 파라미터들을 제어하기 위한 회로를 포함할 수도 있다.
이미지 프로세싱 기능들 모듈 (210) 은 입력 데이터 (252) 를 수신하고 컬러 보정, 컬러 컨버전, 및 잡음 저감과 같은 하나 이상의 이미지 프로세싱 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 이미지 프로세싱 기능들 모듈 (210) 은 도 1 의 이미지 프로세싱 기능들 (110) 을 수행하고 프로세싱된 이미지 데이터 (270) 를 발생시키도록 구성될 수도 있다.
수렴 제어를 가진 3D 프로세싱 모듈 (240) 은 프로세싱된 이미지 데이터 (270) 에 의해 나타내진 장면의 3D-특정 프로세싱을 수행하도록 구성될 수도 있다. 수렴 제어를 가진 3D 프로세싱 모듈 (240) 은 장면 단위 기준으로 수렴 포인트 프로세싱을 수행하도록 구성될 수도 있다.
예를 들어, 수렴 제어를 가진 3D 프로세싱 모듈 (240) 은 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성될 수도 있다. 수렴 제어를 가진 3D 프로세싱 모듈 (240) 은 장면 내의 물체들에 대응하는 디스패리티 값들을 결정하고 장면 내의 물체들의 디스패리티 값들에 기초하여 수렴 포인트를 결정하도록 구성될 수도 있다. 수렴 제어를 가진 3D 프로세싱 모듈 (240) 은, 디스패리티 값들이 3D 렌더링에서 물체들 중 적어도 하나를 융합가능하지 않게 하는지 여부를 결정하도록 구성될 수도 있으며, 장면의 3D 비디오 캡처 동안 그 장면이 융합가능하지 않다는 것을 디바이스 (202) 의 사용자에게 알리기 위해 경보 (alert) 가 사용자 인터페이스 디바이스 (280) 에서 발생될 수도 있다.
수렴 제어를 가진 3D 프로세싱 모듈 (240) 은 미리 결정된 디스플레이 지오메트리에 응답적일 수도 있다. 예를 들어, 수렴 포인트 프로세싱은 장면 내의 물체들에 대응하는 디스패리티 값들에 기초하여, 그리고 미리 결정된 디스플레이 지오메트리에 더욱 기초하여 장면 기반 수렴 포인트를 조정하는 것을 포함할 수도 있다. 장면 단위 기반으로 한 수렴 포인트 프로세싱은 3D 비디오 캡처 동안 이미지 센서 쌍 (204) 의 제 1 이미지 센서 및 제 2 이미지 센서에 의해 수행된 줌 동작 동안 수렴 포인트의 동적 조정을 가능하게 한다.
예를 들어, 미리 결정된 디스플레이 디바이스 지오메트리는 3D 비디오 프리뷰 디스플레이 디바이스 (284) 에 대응할 수도 있다. 대안으로, 또는 이에 더하여, 미리 결정된 디바이스 지오메트리는 3D 비디오 디스플레이 디바이스들에 일반적으로 적용가능할 수도 있는 "제너릭" 또는 디폴트 디바이스 지오메트리에 대응할 수도 있다. 특정 실시형태에서는, 다수의 미리 결정된 디바이스 지오메트리들이 이미지 캡처 디바이스 (202) 에 저장될 수도 있고, 그 미리 결정된 디스플레이 디바이스 지오메트리는 사용자 입력에 따라 선택되는 디스플레이 지오메트리에 대응한다. 예를 들어, 사용자 인터페이스 디바이스 (280) 는, 사용자로 하여금, 제 1 3D 무비를 레코딩할 때 제 1 디스플레이 디바이스 (예를 들어, 3D 디스플레이 디바이스 (230)) 에 대응하는 제 1 디스플레이 지오메트리를 선택할 수 있게 하고, 다른 3D 무비를 레코딩할 때 다른 디스플레이 디바이스 (미도시) 에 대응하는 상이한 디스플레이 지오메트리를 선택할 수 있게 하는 선택가능한 옵션들의 메뉴를 제시할 수도 있다.
3D 비디오 인코딩 모듈 (212) 은 수렴 제어를 가진 3D 프로세싱 모듈 (240) 의 출력 (272) 에 기초하여 3D 출력 데이터 (256) 를 발생시키도록 구성된 3D 인코딩 모듈일 수도 있다. 예를 들어, 출력 (272) 이 스틸 이미지에 대응하는 경우, 3D 비디오 인코딩 모듈 (212) 은 3D 이미지들에 대한 JPEG (Joint Photographic Experts Group) 인코딩 표준에 기초하여 출력 (272) 을 인코딩하도록 구성될 수도 있다. 다른 예로서, 출력 (272) 이 비디오 데이터에 대응하는 경우, 3D 비디오 인코딩 모듈은 3D 이미지들에 대한 MPEG (Moving Pictures Experts Group) 인코딩 표준에 기초하여 출력 (272) 을 인코딩하도록 구성될 수도 있다. 3D 비디오 인코딩 모듈 (212) 은 3D 프리뷰 디스플레이 디바이스 (284), 외부 메모리 (214), 또는 양자에 제공될 수도 있는 3D 데이터 (256) 를 출력할 수도 있다.
3D 프리뷰 디스플레이 디바이스 (284) 는, 이미지 또는 비디오 캡처 동안 사용자로 하여금 3D 장면들을 뷰잉할 수 있게 하기 위해 이미지 프로세싱 모듈 (208) 로부터의 3D 데이터 (256) 를 디스플레이할 수도 있다. 예를 들어, 이미지 프로세싱 모듈 (208) 은 3D 프리뷰 디스플레이 디바이스 (284) 를 통한 비디오 캡처 동안 사용자에 의해 뷰잉하기 위한 저감된 해상도 비디오 데이터를 발생시킬 수도 있다.
장면 단위 기반으로 적응적 수렴 제어를 수행함으로써, 이미지 캡처 디바이스 (202) 는 3D 비디오 캡처 동안 줌 기능성을 가능하게 할 수도 있다. 예를 들어, 사용자 인터페이스 디바이스 (280) 를 통해 줌 커맨드를 나타내는 사용자 입력 (282) 이 수신될 수도 있다. 도 10 내지 도 14 에 대하여 더욱 상세하게 설명한 바와 같이, 줌 동작에 응답하여 다르게는 융합불가능해질 수도 있는 장면이 적응적 수렴 제어를 이용하여 도모될 수 있다. 그 결과, 3D 비디오 플레이어 (220) 가 재생 동안 수렴 포인트를 조정하기 위해 3D 비디오를 프로세싱하는 것이 가능하지 않다면, (예를 들어 이미지 캡처 동안의 주밍으로 인해) 3D 디스플레이 디바이스 (230) 에서 다르게는 융합불가능할 3D 이미지 데이터 (258) 의 부분들이 그 대신 이미지 캡처 디바이스 (202) 에서 수행된 프로세싱으로 인해 융합가능할 수도 있다.
도 3 은 이미지 또는 비디오 캡처 동안 장면 내의 물체들의 디스패리티를 검출하도록 구성된 3D 캡처 디바이스 (302) 의 특정 실시형태의 도면이다. 3D 캡처 디바이스 (302) 는 이미지 프로세싱 모듈 (308) 에 커플링된 이미지 센서 쌍 (304) 을 포함한다. 이미지 프로세싱 모듈 (308) 은 사용자 인터페이스 디바이스 (380) 에, 그리고 외부 메모리 (314) 에 커플링된다. 이미지 프로세싱 모듈 (308) 은, 동기화 및 인터페이싱 모듈 (306), 이미지 프로세싱 기능들 모듈 (310), 디스패리티 검출 모듈 (342), 및 3D 비디오 인코딩 모듈 (312) 을 포함한다.
이미지 센서 쌍 (304) 은 이미지 프로세싱 모듈 (308) 에 이미지 데이터 (350) 를 제공하도록 구성된다. 동기화 및 인터페이싱 모듈 (306) 은 이미지 프로세싱 기능들 모듈 (310) 에 데이터 (352) 를 제공하도록 구성된다. 이미지 프로세싱 기능들 모듈 (310) 은 프로세싱된 이미지 데이터 (370) 를 디스패리티 검출 모듈 (342) 에 제공하도록 구성된다. 3D 비디오 인코딩 모듈 (312) 은 3D 비디오 데이터 (372) 를 수신하고, 인코딩된 3D 비디오 데이터 (356) 를 발생시키도록 구성된다. 특정 실시형태에서, 이미지 센서 쌍 (304), 사용자 인터페이스 디바이스 (380), 외부 메모리 (314), 동기화 및 인터페이싱 모듈 (306), 이미지 프로세싱 기능들 모듈 (310), 및 3D 비디오 인코딩 모듈 (312) 은 각각 도 2 의 이미지 센서 쌍 (204), 사용자 인터페이스 디바이스 (280), 외부 메모리 (214), 동기화 및 인터페이싱 모듈 (206), 이미지 프로세싱 기능들 모듈 (210), 및 3D 비디오 인코딩 모듈 (212) 에 대응한다.
디스패리티 검출 모듈 (342) 은 도 7 내지 도 9 에 대하여 더욱 상세하게 설명한 바와 같이, 이미지 센서 쌍 (304) 에 의해 캡처된 장면 내의 물체들에 대응하는 디스패리티 값들을 결정하도록 구성될 수도 있다. 디스패리티 검출 모듈 (342) 은, 디스패리티 값들이 장면의 3D 렌더링에서 물체들 중 적어도 하나를 융합가능하지 않게 하는지 여부를 결정하도록 구성될 수도 있고, 이 경우에, 장면의 3D 비디오 캡처 동안 그 장면이 융합가능하지 않다는 것을 디바이스 (302) 의 사용자에게 알리기 위해 경보 (382) 가 사용자 인터페이스 디바이스 (380) 에서 발생될 수도 있다. 특정 실시형태에서, 디스패리티 검출 모듈 (342) 은 도 2 의 수렴 제어를 가진 3D 프로세싱 모듈 (240) 의 장면 특정 물체 검출 또는 키 포인트 검출 및 디스패리티 결정 기능성을 포함하지만, 비디오 캡처 동안 장면의 수렴 포인트를 조정하도록 구성되지는 않는다.
이미지 센서 쌍 (304) 은 대표도에서 우측 센서 (즉, 뷰어의 우안에 의해 지각되는 장면과 연관되는 이미지를 캡처하는 제 1 센서) 및 좌측 센서 (즉, 뷰어의 좌안에 의해 지각되는 장면과 연관되는 이미지를 캡처하는 제 2 센서) 를 포함하는 센서들의 쌍으로서 예시된다. 이미지 데이터 (350) 는 좌측 센서에 의해 발생된 좌측 이미지 데이터 및 우측 센서에 의해 발생된 우측 이미지 데이터를 포함한다. 각각의 센서는 수평 방향으로 연장된 감광성 컴포넌트들의 로우 (row) 들 및 수직 방향으로 연장된 감광성 컴포넌트들의 컬럼 (column) 들을 갖는 것으로 예시된다. 좌측 센서 및 우측 센서는 실질적으로 수평 방향을 따라 서로 거리 d 떨어져 얼라이닝된다. 여기에 사용한 바와 같이, 3D 이미지 데이터 내의 "수평" 방향은 우측 이미지 데이터 내의 물체의 로케이션과 좌측 이미지 데이터 내의 동일 물체의 로케이션 사이의 변위의 방향이다.
도 4 는 도 1 내지 도 3 의 시스템들 중 임의의 시스템에 포함될 수 있는 3D 이미지 프로세싱 시스템 (440) 의 특정 실시형태의 도면이다. 3D 프로세싱 시스템 (440) 은 입력 이미지 데이터 (404) 를 수신하고 출력 이미지 데이터 (428) 를 발생시키도록 구성된다. 3D 프로세싱 시스템 (440) 은 캘리브레이션 입력 (450) 을 통해 수신된 카메라 캘리브레이션 파라미터들 (406) 및 사용 모드 입력 (452) 을 통해 수신된 사용 모드 파라미터들 (408) 에 응답적일 수도 있다.
3D 프로세싱 시스템 (440) 은 미세 지오메트리 보상 모듈 (410), 키 포인트 검출 모듈 (412), 키 포인트 매칭 모듈 (414), 3D 수렴 제어 모듈 (416), 3D 이미지 조정 모듈 (418), 하나 이상의 스마트 3D 수렴 조정 모듈 (420), 스마트 2 차원 (2D) 모듈 (422), 및 다른 수렴 제어 모듈 (424) 을 포함한다. 3D 프로세싱 시스템 (440) 은 또한 이미지 크롭 및 경계 보정 모듈 (426) 을 포함할 수도 있다. 특정 실시형태에서, 3D 프로세싱 시스템 (440) 은, GPU 로 하여금 모듈들 (410 내지 426) 중 하나 이상에 대해 설명한 방식으로 입력 이미지 데이터 (404) 를 프로세싱하게 하도록 구성된 프로그램 명령들을 실행하는 그래픽 프로세싱 유닛 (GPU) 에 의해 구현될 수도 있다.
미세 지오메트리 보상 모듈 (410) 은 데이터 경로 (470) 를 통해 입력 이미지 데이터 (404) 를 수신하고 보상된 이미지 데이터 (454) 를 발생시키도록 구성된다. 미세 지오메트리 보상 모듈 (410) 은 카메라 캘리브레이션 파라미터들 (406) 로부터의 데이터를 이용할 수도 있고, 입력 이미지 데이터 (404) 를 조정하여, 미스얼라인먼트, 수차, 또는 3D 이미지 데이터 (404) 의 렌더링에 부정적인 영향을 미칠 수도 있는 다른 캘리브레이션 조건들을 보정할 수도 있다. 설명하면, 미세 지오메트리 보상 모듈 (410) 은 카메라 캘리브레이션 파라미터들 (406) 에 대해 조정하기 위해 임의의 그리드 상의 이미지 데이터 (404) 의 리샘플링을 효과적으로 수행할 수도 있다.
3D 프로세싱 시스템 (440) 이 도 1 의 컴퓨팅 디바이스 (120) 와 같은 3D 비디오 재생 디바이스에서 구현되는 실시형태에서, 카메라 캘리브레이션 파라미터들 (406) 은 3D 비디오 데이터 파일의 헤더에서와 같이 입력 이미지 데이터 (404) 와 함께 수신될 수도 있다. 3D 프로세싱 시스템 (440) 이 도 1 의 이미지 캡처 디바이스 (102), 도 2 의 이미지 캡처 디바이스 (202), 또는 도 3 의 이미지 캡처 디바이스 (302) 와 같은 3D 이미지 캡처 디바이스에서 구현되는 실시형태에서, 카메라 캘리브레이션 파라미터들 (406) 은 이미지 캡처 디바이스의 이미지 센서 쌍에 대응할 수도 있고, 미세 지오메트리 보상 모듈 (410) 에 액세스가능한 메모리에 저장될 수도 있다.
키 포인트 검출 모듈 (412) 은 보상된 이미지 데이터 (454) 를 수신하고 키 포인트 로케이션 데이터 (456) 를 발생시키도록 구성된다. 키 포인트 검출 모듈 (412) 은 보상된 이미지 데이터 (454) 에서 특유의 포인트들을 식별하도록 구성된다. 예를 들어, 그 특유의 포인트들은 장면 내의 물체들의 수직 에지들 또는 수평 방향의 고주파수 성분을 갖는 장면의 다른 포인트들에 대응할 수도 있다. 이미지 데이터 내의 이러한 특유의 엘리먼트들은 여기서 "키 포인트들" 또는 "물체들" 로 지칭되지만, 이러한 식별된 엘리먼트들은 개별 픽셀들, 픽셀들의 그룹들, 단편적인 픽셀 부분들, 다른 이미지 성분들, 또는 이들의 임의의 조합에 대응할 수도 있다는 것이 이해되어야 한다. 예를 들어, 도 7a 및 도 7b 에 대하여 더욱 설명한 바와 같이, 키 포인트들은 수신된 이미지 데이터의 서브샘플링된 루마 성분을 가진 픽셀들에 대응할 수도 있고, 수직 에지 검출 필터를 이용하여 검출될 수도 있다.
키 포인트 매칭 모듈 (414) 은 키 포인트 로케이션 데이터 (454) 를 수신하고 식별된 키 포인트들에 대응하는 디스패리티 데이터 (458) 를 발생시키도록 구성된다. 키 포인트 매칭 모듈 (414) 은 검색 범위 내의 키 포인트들 주위를 검색하고 디스패리티 벡터들의 신뢰도 측정치를 산출하도록 구성될 수도 있다.
3D 수렴 제어 모듈 (416) 은 디스패리티 데이터 (458) 를 수신하고 수렴 포인트를 나타내는 데이터 (460) 를 발생시키도록 구성된다. 예를 들어, 3D 수렴 제어 모듈 (416) 은 디스플레이 지오메트리, 줌 동작들, 팬 동작들, 다른 디스플레이 팩터들, 또는 이들의 임의의 조합에 기초하여 수렴 포인트를 추출할 수도 있다. 3D 수렴 제어 모듈 (416) 은 또한 수렴 루프들을 제어할 수도 있다. 예를 들어, 3D 수렴 제어 모듈 (416) 은 무한 임펄스 응답 (IIR) 필터와 같은 필터를 구현하여, 장면 변화를 매끄럽게 하고 장면 간 디스패리티의 큰 점프들을 방지하기 위해 장면들의 히스토리에 기초하여 수렴 포인트를 느리게 변화시킬 수도 있다. 그러나, 줌 또는 팬 동작의 표시가 사용 모드 입력 (452) 을 통해 수신되는 경우, 3D 수렴 제어 모듈 (416) 은 필터의 스테이트 리셋을 초기화하여 디스패리티의 큰 변화가 줌 또는 팬 동작을 도모할 수 있게 할 수도 있다.
3D 이미지 조정 모듈 (418) 은 수렴 포인트를 나타내는 데이터 (460) 를 수신하고, 선택적으로 이미지 프로세싱을 3D 수렴 조정 모듈 (420) 로, 스마트 3D 모듈 (422) 로, 또는 다른 수렴 제어 모듈 (424) 로 향하게 하도록 구성된다. 예를 들어, 장면 내의 키 포인트들의 디스패리티의 범위가 미리 결정된 범위 내인 경우, 그 장면의 키 포인트들은 융합가능하고, 수렴 포인트는 제 1 이미지 및 제 2 이미지 중 적어도 일방을 제 1 이미지 및 제 2 이미지 중 타방에 대하여 시프트함으로써 3D 수렴 조정 모듈 (420) 에서 조정될 수도 있다.
다른 예로서, 키 포인트들의 디스패리티의 범위가 미리 결정된 범위를 초과하는 경우, 프로세싱은 스마트 3D 모듈 (422) 에서 수행될 수도 있다. 스마트 3D 모듈 (422) 은 제 1 이미지 및 제 2 이미지 중 일방을 제 1 이미지 및 제 2 이미지 중 타방의 시프티된 버전으로 교체하도록 구성될 수도 있다. 시프트 양은 식별된 키 포인트들의 평균 디스패리티 또는 중간값 디스패리티에 기초하여 결정될 수도 있다. 결과의 장면은, 모든 물체들이 장면 내의 적어도 일부 물체들에 대해 적합한 깊이에서 지각되는 평탄한 장면 (즉 장면 내의 물체들 사이에는 지각된 깊이가 없다) 인 것으로 보일 수도 있다.
대안으로, 키 포인트들의 디스패리티의 범위가 미리 결정된 범위를 초과하는 경우, 프로세싱은 다른 수렴 모듈 (424) 에서 수행될 수도 있다. 예를 들어, 다른 수렴 모듈 (424) 은 하나 이상의 침습적 (invasive) 기법들을 이용함으로써, 이를 테면 융합가능하지 않은 장면 내의 물체를 식별하고 제 1 이미지 및 제 2 이미지 중 적어도 일방을 변경하여 융합가능할 물체를 리포지셔닝함으로써, 이미지 데이터를 조정하도록 구성될 수도 있다.
이미지 크롭 및 경계 보정 모듈 (426) 은 융합가능한 3D 이미지 데이터 (464) 를 수신하고 출력 3D 데이터 (428) 를 발생시키도록 구성될 수도 있다. 이미지 크롭 및 경계 보정 모듈 (426) 은 융합가능한 3D 이미지 데이터 (464) 의 하나 이상의 이미지 크롭 동작들을 수행하도록 구성될 수도 있다. 이미지 크롭 및 경계 보정 모듈 (426) 은 또한, 융합가능한 3D 이미지 데이터 (464) 에 경계 보정을 수행하도록 구성될 수도 있다.
동작 동안, (예를 들어, 미세 지오메트리 보상 모듈 (410) 에 의한) 3D 이미지 데이터 (404) 의 미세 지오메트리 보상을 포함하는 장면 의존 적응적 수렴 프로세스가 수행된다. 3D 이미지 데이터 (404) 를 캡처한 2 개의 센서들 사이의 상대적 포지션을 추정 및 보상하도록 설계된 캘리브레이션 절차가 (예를 들어, 디바이스의 최종 사용자에게 전달되기 전에) 오프-라인으로 수행될 수도 있지만, 3D 이미지 데이터 (404) 의 매 프레임마다 지오메트리 보상이 수행될 수도 있다.
프로세싱은 (예를 들어, 키 포인트 검출 모듈 (412) 에서) 키 포인트 검출로 계속된다. 디스패리티들을 신뢰가능하게 추정하는데 이용될 수 있는 이미지의 물체들 또는 픽셀들 (키 포인트들) 의 세트가 선택된다. 추정된 디스패리티에서의 높은 신뢰도가 얻어질 수도 있으며, 반드시 장면 내의 모든 영역들 또는 물체들이 이용될 수 있는 것은 아니다. 키 포인트들의 세트의 선택은 적절한 해상도(들)를 산출하기 위한 이미지 서브-샘플링을 포함할 수도 있다. 이미지 고역통과 필터가 (예를 들어, 수직 피처들에 대응하는, 수평 주파수들을 검색하는 것만으로) 적용된 후, 필터를 적용함으로써 발생된 결과의 제곱 또는 절대값을 취할 수도 있다. 미리 결정된 임계값을 초과하는 결과들이 잠재적인 키 포인트들로서 식별될 수도 있다. 키 포인트 제거 (pruning) 프로세스가 일부 로컬 이웃 내에서 최선의 키 포인트를 선택하기 위해 잠재적인 키 포인트들에 대해 수행될 수도 있다 (예를 들어, 키 포인트는 미리 결정된 영역 내의 모든 키 포인트들의 가장 큰 필터 결과에 대응한다).
(예를 들어, 키 포인트 매칭 모듈 (414) 에서) 검출된 키 포인트들을 이용하여 키 포인트 매칭이 수행될 수도 있다. 제 1 이미지 (예를 들어, 좌측 이미지 또는 우측 이미지) 내의 키 포인트와 제 2 이미지 (좌측 이미지 및 우측 이미지 중 타방) 내의 대응하는 영역 사이의 관련성 (correspondence) 이 결정될 수도 있다. 신뢰도 추정기가 생산될 수도 있으며, 이는 키 포인트 선택과 함께 디스패리티 추정 정확성을 상당히 개선시킬 수도 있다. 좌측 이미지와 우측 이미지 내의 키 포인트들 간의 매치가 얼마나 근접한지에 대한 결정을 가능하게 하기 위해 정규화된 교차 공분산 (cross-covariance) 을 이용하여 매칭이 수행될 수도 있다. 신뢰도 측정치는 정규화된 교차 공분산에 기초할 수도 있다. 특정 실시형태에서, 제 1 이미지 내의 키 포인트에 대응하는 제 2 이미지 내의 키 포인트를 로케이팅하기 위한 검색 범위는, 센서 캘리브레이션에 대한 이미지 보상이 이미 수행되었기 때문에 단지 수평적이며, 그 검색 범위는 단지 수렴 포인트 주위의 소정의 범위를 커버하도록 조정되는데, 이는 미세 지오메트리 보상 모듈 (410) 에서 결정될 수도 있다.
(예를 들어, 3D 수렴 제어 모듈 (416) 에서의) 3D 수렴 제어는, 제 1 이미지 내의 키 포인트들의 세트가 제 2 이미지 내의 대응하는 키 포인트들의 세트에 매칭된 후에 수행될 수도 있다. 충분한 통계치, 이를 테면 디스패리티 히스토그램 스크린 지오메트리 및 크롭 윈도우 사이즈에 기초하여, 장면이 3D 에서 렌더링될 수 있는지 여부에 대해 결정이 행해질 수 있다. 장면이 3D 에서 렌더링될 수 있다면, (예를 들어, 3D 수렴 조정 모듈 (420) 을 통하여) 수평 시프트가 적용된다. 장면이 3D 에서 렌더링될 수 없다면, 특정 예들로서, 스마트 2D 프로세싱, 2D 대 3D 프로세싱, 또는 침습적 수렴 제어 프로세싱과 같이, 여러 가능한 폴백들 중 하나 이상이 이용될 수도 있다.
장면이 3D 에서 렌더링될 수 있는지 여부를 결정하기 위해, 키 포인트들의 선택된 세트의 각각의 키 포인트에 대한 디스패리티 값들에 대해 히스토그램이 발생될 수도 있다. 히스토그램의 하나 또는 양자의 테일 (tail) 들이 크롭될 수도 있다. 예를 들어, 디스패리티 값들 중 일부가 에러가 있는 것으로 예상되는 경우, 장면이 융합가능한지 여부를 결정하는 신뢰도 (즉 심사되는 모든 키 포인트 디스패리티 값들은 디스패리티 값들의 미리 결정된 범위 내에 놓인다) 는 가장 큰 디스패리티 값들 또는 가장 작은 디스패리티 값들 중 하나 이상을 고려되는 키 포인트 디스패리티 값들의 세트에서 제거함으로써 개선될 수도 있다. 그 후 장면의 디스패리티 범위가 히스토그램의 최소/최대에 의해 특정된다.
특정 실시형태에서, 3D 이미지 프로세싱 시스템 (440) 의 적어도 일부가 도 1 내지 도 3 의 시스템들 중 하나 이상의 시스템에서 구현될 수도 있다. 예를 들어, 3D 이미지 프로세싱 시스템 (440) 은 도 1 의 미세 이미지 얼라인먼트 및 적응적 수렴 모듈 (124) 에서 구현될 수도 있다. 다른 예로서, 3D 이미지 프로세싱 시스템 (440) 은 도 2 의 수렴 제어를 가진 3D 프로세싱 모듈 (240) 내에서 구현될 수도 있다. 다른 예로서, 3D 이미지 프로세싱 시스템 (440) 의 모듈들 (410 내지 416) 은 도 3 의 디스패리티 검출 모듈 (342) 에서 구현될 수도 있다.
도 1 내지 도 4 는 3D 캡쳐용으로 사용된 이미지 센서들의 쌍들을 기술하고 있지만, 다른 실시형태들에서는, 2 개 보다 많은 이미지 센서들이 사용될 수도 있다. 일부 실시형태들에서, 도 1 내지 도 4 에서 설명된 다양한 모듈들 및 컴포넌트들 중 하나 이상은 전용 하드웨어 (즉, 회로) 로서, 소거가능한 프로그램가능한 판독 전용 메모리 (PROM)-타입 저장장치, 플래시 메모리, 판독 전용 메모리 (ROM) 메모리와 같은 비일시적 저장 매체에 저장되는 프로세서 실행가능한 명령들을 실행하는 프로세서로서, 또는 프로세싱 디바이스에서 (예를 들어, 제어기, 범용 프로세서, 디지털 신호 프로세서 (DSP), 그래픽 프로세싱 유닛 (GPU), 또는 이들의 임의의 조합에서) 실행하는 하드웨어 및 명령들의 조합으로서 구현될 수도 있다.
도 5a 및 도 5b 는 지각된 물체 깊이들과 상관된 물체 디스패리티들의 예시적인 실시형태들의 도면들이다. 스테레오 3D 디스플레이는 상이한 이미지들을 각각의 눈 (504, 506) 으로 향하게 하는 것에 의존한다. 그 목적은, 물체 디스패리티들 (수평 시프트) 가 깊이들과 상관될 때, 좌측 및 우측 (L/R) 이미지들로부터 깊이 착시 (depth illusion) 를 재생성하는 것이다. 도 5a 는 디스플레이 표면 (524) 을 지나서 지각된 물체 (530) 에 대응하는 포지티브 디스패리티 (550) 를 도시한다. 그 디스패리티 (550) 는, 좌측 이미지 내의 물체의 로케이션 (520) 과 우측 이미지 내의 물체의 로케이션 (522) 사이의 거리를 나타낸다. 관찰자는, 좌안 (504) 의 시선 (560) 과 우안 (506) 의 시선 (562) 의 교차점에서 물체 (530) 를 지각하기 위해 좌측 이미지 내의 물체 (530) 의 이미지와 우측 이미지 내의 물체 (530) 의 이미지를 융합할 것이다.
도 5b 는 디스플레이 표면 (524) 앞에서 지각된 물체 (530) 에 대응하는 네거티브 디스패리티 (550) 를 도시한다. 그 디스패리티 (550) 는 좌측 이미지 내의 물체의 로케이션 (520) 과 우측 이미지 내의 물체의 로케이션 (522) 사이의 거리를 나타낸다. 관찰자는, 좌안 (504) 의 시선 (560) 과 우안 (506) 의 시선 (562) 의 교차점에서 디스플레이 표면 (534) 앞에서 물체 (530) 를 지각하기 위해 좌측 이미지 내의 물체 (530) 의 이미지와 우측 이미지 내의 물체 (530) 의 이미지를 융합할 것이다.
2 개의 눈으로부터 보여진 바와 같은 물체 변위는 시각 피질에 의해 깊이로서 인터프리팅된다. 시각 피질은 소정의 변위까지 깊이로서 인터프리팅할 수 있다. 눈의 피로 없이 이미지 융합이 발생할 수 있는 범위 [-d1...d2] 가 있다. 2 개의 캡처된 이미지들 사이의 디스패리티는 장면에 의존할 것이다. 장면 깊이 (또는 디스패리티 범위) 를 감지하는 것은 디스패리티를 조정하여 융합가능한 범위 [-d1...d2] 에 피팅하는 것을 허용한다. 디스패리티는 수렴 포인트를 변화시킴으로써, 이를 테면 이미지들 중 일방을 타방에 대하여 수평으로 시프트함으로써 조정될 수 있다.
수렴 포인트는 좌측 이미지 및 우측 이미지 내의 크롭 윈도우들을 수평으로 시프트함으로써 제어될 수 있다. 수렴 포인트는 장면 상의 가용 z-범위 (즉, 도 1 의 3D 디스플레이 디바이스 (130) 의 디스플레이 표면에서 이용가능한 깊이 범위) 를 완전히 이용하기 위하여 장면 의존적일 수도 있다.
적응적 수렴 제어를 위한 설계는 장면 범위 추정 및 수렴 제어를 포함할 수 있다. 장면 범위 추정은 수렴 포인트 제어 및 가능하게는 침습적 디스패리티 제어를 위해 이용될 수 있다. 수렴 제어는 이미지 내의 모든 디스패리티를 제어하는 로직을 포함할 수도 있다.
도 6 은 도 1 내지 도 3 의 시스템들 중 임의의 시스템에 포함될 수 있는 3D 이미지 프로세싱 시스템의 특정 실시형태의 도면이다. 장면 범위 추정 모듈 (602) 은 적응적 수렴 포인트 제어 모듈 (604) 에 장면 범위 데이터 (620) 를 제공한다. 적응적 수렴 포인트 제어 프로세싱 후에, 이미지 데이터가 수평 시프트 크롭 모듈 (606), 2D 로의 스위치 모듈 (608), 2D 대 3D 모듈 (610), 또는 침습적 디스패리티 제어 모듈 (612) 에 의해 프로세싱될 수도 있다. 프로세싱된 이미지 데이터는 이미지 데이터의 3D 융합가능한 스트림 (614) 내에 포함될 수도 있다.
장면 범위 추정 모듈 (602) 에 의해 수행된 장면 범위 추정은 좌측 이미지와 우측 이미지 사이의 스파스 (sparse) 모션 벡터들 추정으로서 일반화될 수도 있다. 장면 범위 추정 프로세스는 키 (특유의) 포인트 식별을 포함할 수 있다. 단지 수평 시프트만이 존재하기 때문에 (그리고 측정될 것임) 수직 변화를 필요로 하지 않는다. 수평 변화 (일부 수직 성분을 가진 에지들) 가 이용된다. 일부 실시형태들에서, 키 포인트들이 상이한 해상도에서 검출될 수도 있다. 장면 범위 추정 프로세스가 또한 키 포인트 매칭을 포함할 수 있다. 키 포인트 매칭은 라이트-레벨 (light-level) 독립적이고 로버스트 디스패리티 신뢰도 메트릭을 산출하기 위하여 정규화된 교차 공분산을 이용하여 수행될 수도 있다. 그 결과, 상이한 해상도들을 가진 키 포인트들의 매칭이 불필요해질 수도 있다.
도 7 은 장면 (702) 의 서브샘플링된 루마 성분 및 그 서브샘플링된 루마 성분에 적용된 수평 변화 검출 필터링 (704) 의 결과 (706) 의 특정 실시형태를 예시하는 도면이다. 장면의 루마 성분은 예시적인 예로서 4 개로 서브샘플링될 수도 있다. 수평 에지 검출 필터링 (706) 은 :
Figure pct00001
에 의해 주어진 응답 (h) 을 가진 필터를 통과할 수도 있다.
결과의 절대값은 결과 (706) 를 발생시키기 위해 취해질 수도 있다.
도 8a 및 도 8b 는 도 7 의 필터링된 결과 (706) 의 로컬 수평 공간 최대값들 및 도 7 의 장면의 서브샘플링된 루마 성분 내의 각각의 로컬 수평 공간 최대값의 이웃들의 예시적인 실시형태들의 도면들이다. 도 7 의 필터링된 결과 (706) 를 이용하여, 필터링된 결과 (706) 내의 잠재적인 키 포인트들의 각각의 수평 이웃 내의 가장 큰 값 (로컬 수평 공간 최대값) 이 도 8a 에 예시되는 선택된 키 포인트들을 발생시키기 위해 선택될 수도 있다.
매 선택된 키 포인트마다, 이웃이 (도 8b 에 도시된) 좌측 루마 이미지로부터 키 포인트 주위에서 선택될 수도 있고, 우측 이미지 이웃과의 상관 계수가 (검색 범위에 따라) 컴퓨팅될 수도 있으며, 상관 신뢰도가 소정의 임계값을 넘는다면, 모션 벡터를 유지한다 (즉 신뢰가능한 디스패리티를 갖는 것으로 키 포인트를 취급).
(예를 들어, 도 6 의 적응적 수렴 포인트 제어 모듈 (604) 에 의한) 수렴 제어가 모션 벡터들의 히스토그램을 구축함으로써 수행될 수도 있다. 도 9 는 장면 내의 키 포인트들의 디스패리티의 특정 예시적인 실시형태의 히스토그램을 도시한다. 디스패리티 값들 (하나 이상의 디스패리티 값들의 빈들) 이 수평 축을 따라 도시되며, 각각의 빈에 대응하는 디스패리티 값을 갖는 다수의 선택된 키 포인트들이 수직 축을 따라 예시된다. 최대 디스패리티 범위 및 원하는 수렴 포인트가 또한 히스토그램에 예시된다. 도 9 는 설명의 명료성을 위해 그래픽 형태로 히스토그램을 도시하고 있지만, 프로세스의 구현들은 디스패리티 히스토그램의 그래픽 형태를 발생시키는 것을 포함하지 않을 수도 있고, 그 대신에 테이블, 리스트, 어레이 또는 다른 구조와 같은 데이터 구조가 디스패리티 값들에 대응하는 키 포인트들의 카운트와 디스패리티 값들을 관련시키는데 이용될 수도 있다.
히스토그램을 구축한 후에, 히스토그램의 테일들이 트리밍될 수도 있다. 장면 범위는 히스토그램 내의 최소값과 최대값 사이의 차이 (예를 들어, 넌-제로 사이즈를 갖는 히스토그램 내의 가장 큰 디스패리티 빈과 넌-제로 사이즈를 갖는 히스토그램 내의 가장 작은 디스패리티 빈 사이의 차이) 로서 추정될 수도 있다. 최소값과 최대값 사이의 평균, 또는 일부 다른 선형 조합이 원하는 제로 디스패리티 포인트 (수렴 포인트) 일 것이다. 최대 잔여 디스패리티는 장면이 융합가능한지 여부를 결정한다. 장면이 융합가능하지 않다면, 옵션들은 예시적인 예들로서, 2D 스트림으로 스위칭하는 것 (좌측 프레임과 우측 프레임을 동일하게 한다), 2D 대 3D 컨버전을 수행하는 것, 또는 침습적 디스패리티 제어 프로세싱을 포함한다.
디스패리티 (좌측 및 우측) 이미지 시프트는 3D 효과의 요인이 되며, 정확하게 다루어지지 않는다면, 불편/두통을 초래할 수 있다. 디스플레이 디멘젼 및 뷰잉 거리는 디스패리티에 영향을 미치며, 보상되지 않는다면 원하지 않는 효과를 초래할 수 있다. 줌 기능성은 3D 스위트에 대한 속성일 수 있으며, 이 줌 기능성은 또한 (실시간으로) 디스패리티에 영향을 미친다.
디스패리티 제약들은 사용자 선호도에 기초하여 구성될 수도 있다. 장면 의존 디스패리티 제약들은 디스플레이 사이즈 및 거리 및 줌 팩터에 기초하여 실시간으로 유도될 수 있다. 장면 디스패리티가 측정될 수 있고, 그 장면 디스패리티가 제약들 내에 있다면, 장면의 수렴 포인트가 조정될 수도 있다. 장면 디스패리티가 제약들 내에 있지 않다면, 프로세싱은 디스패리티를 제약들 내에 있게 하기 위한 특수 모드로 스위칭할 수도 있다.
디스플레이 뷰잉 각도, 디스플레이 사이즈, 뷰어와 디스플레이 간의 거리, 및 줌 팩터의 하나 이상에 의존하여 특수 프로세싱 (3D 효과 제어) 이 이용될 수도 있다. 가용 범위를 완전히 이용하고 사용자에게 편안한 3D 효과를 초래하는 것이 고려사항이 될 수도 있다.
사람은 단지 소정의 각도 디스패리티까지만 인터프리팅 (융합) 할 수 있으며, 그 후 고스팅 (이중 이미지들) 이 보인다. 물체의 지각된 깊이는 오로지 각도 디스패리티에만 의존할 수도 있다. 각도 디스패리티는 스크린 사이즈, 스크린 해상도, 및 뷰잉 거리의 조합에 의존한다.
도 10 은 뷰잉 거리가 장면의 3D 지각에 미치는 영향의 특정 실시형태의 도면이다. 제 1 구성 (1000) 은 뷰어 (1002) 가 스크린 (1008) 으로부터 제 1 거리 (1018) 떨어져 있다. 제 1 물체 (1004) 는 장면 앞에서 지각되고 (즉, 네거티브 디스패리티를 갖는다), 제 2 물체 (1006) 는 스크린 (1008) 에서 지각되고 (즉, 제로 디스패리티를 갖는다), 제 3 물체 (1010) 는 스크린 (1008) 을 지나서 지각되며 (즉, 포지티브 디스패리티를 갖는다), 제 4 물체 (1012) 는 디스패리티가 너무 크기 때문에 융합가능하지 않다.
제 2 구성 (1020) 에서, 뷰잉 거리 (1038) 가 증가되며 모든 물체들 (1004, 1006, 1010 및 1012) 이 융합된다. 그러나, 깊이 콘트라스트가 저감된다. 제 3 구성 (1040) 에서, 뷰잉 거리 (1018) 는 제 1 구성 (1000) 에 매칭하며, 뷰잉 스크린 (1008) 의 사이즈가 감소했다. 모든 물체들 (1004, 1006, 1010, 및 1012) 은 융합되지만 깊이 콘트라스트가 저감된다.
도 11 은 디스플레이 뷰잉 거리에 대한 디스패리티 의존도의 예시적인 실시형태들의 도면이다. 제 1 구성 (1102) 은 스크린 (1108) 의 앞에서 스크린 (1108) 의 뒤까지 연장되는 허용된 장면 깊이 범위 (1110) 를 예시한다. 제 1 포지션 (1116) 은 가장 큰 허용된 스크린 전 교차 (cross-before-screen) 디스패리티를 나타내고, 제 2 포지션 (1114) 은 가장 큰 스크린 후 교차 (cross-after-screen) 디스패리티를 나타낸다. 제 2 구성 (1104) 은 제 1 구성 (1102) 보다 스크린 (1108) 과 관찰자 사이의 더 작은 뷰잉 거리를 예시한다. 허용된 장면 깊이의 범위 (1110) 는 스크린 (1108) 앞에서 제 1 구성 (1102) 에서와 같은 거리까지 연장되지 않는다.
스크린 (1108) 상의 스크린 후 교차 디스패리티는 눈 거리 (즉, 관찰자의 눈 간의 거리) 보다 크지 않을 수도 있다. 이 고려사항은 스크린들에 대한 그 방향에서 더 큰 거리를 두고 더 적은 각도 시프트를 남긴다. 제 2 구성 (1104) 에서 예시한 바와 같이, 더 근접한 스크린들이 눈의 피로로 인해 큰 스크린 전 교차 디스패리티를 허용하지 않는다. 이러한 고려사항들에 기초한 특정 솔루션은 더 근접한 스크린들에 대해 더 큰 3D 깊이 효과를, 그리고 더 먼 스크린들에 대해 더 큰 3D 팝 아웃 효과를 허용하는 것을 포함한다.
도 12 는 줌 동작이 장면의 3D 지각에 미치는 영향의 특정 실시형태의 도면이다. 제 1 구성 (1200) 은 뷰어 (1202) 가 스크린 (1208) 앞의 제 1 물체 (1214) 및 제 2 물체 (1204), 스크린 (1208) 에 있는 제 3 물체 (1206), 및 스크린 (1208) 을 지난 제 4 물체 (1210) 및 제 5 물체 (1212) 를 포함하는, 물체들의 세트를 포함하는 장면을 지각하는 것을 포함한다.
제 2 구성 (1220) 은 제 1 구성 (1200) 과 동일한 장면의 주밍된 이미지를 포함한다. 단지 제 3 물체 (1206) 및 제 4 물체 (1210) 만이 줌으로 인해 장면에 보인다. 제 4 물체 (1210) 는 융합가능하지 않다.
제 3 구성 (1240) 은 적절한 줌 제어에 의해 제 1 구성 (1200) 과 동일한 장면의 주밍된 이미지를 포함한다. 제 2 구성 (1220) 과 달리, 제 3 물체 (1206) 와 제 4 물체 (1210) 양자는 융합가능하다. 제 4 물체 (1210) 의 디스패리티는, 제 3 물체 (1206) 가 스크린 (1208) 앞에서 보이고 제 4 물체 (1210) 가 스크린 (1208) 을 지나 보이도록 물체들 (1206 및 1210) 사이의 장면의 수렴 포인트를 시프트함으로써 융합가능한 범위 내로 저감된다.
디스플레이 및 줌 의존 3D 효과 제어를 위해, 허용가능한 디스패리티는 (예를 들어, 구성 시간 동안 특정된) 값 α= 0.5°- 2°으로 설정될 수도 있다. θdisplay 는 뷰잉 각도이고, D 는 장면 깊이, 즉 픽셀들의 수로 표현되는, 최대 (D2) 및 최소 (D1) 디스패리티 벡터들 사이의 차이이다. W 는 픽셀 단위의 이미지 폭이고, x 는 스크린으로부터의 거리이다. 해결될 수도 있는 2 개의 질문들은, 장면 깊이 범위가 융합가능한지 여부 및 수렴 포인트가 배치되어야 하는 장소이다.
스크린 상에 보여질 각도 디스패리티 (°) 는 (D/W)*θdisplay 로 주어진다. 디스패리티는 테스트되고, α > (D/W)*θdisplay 일 때 융합가능한 것으로 결정될 수도 있다. 디스패리티가 융합가능하다면, 수렴 포인트가 조정될 수도 있다. 스크린 전 교차 디스패리티에 대한 표기법 D1 및 스크린 후 교차 디스패리티에 대한 표기법 D2 를 이용하여, 수렴 포인트는 C = D1 + D * M(X) 로서 선택될 수도 있으며, 여기서 X 는 스크린으로부터의 거리이고, M() 은 0 과 1 사이의 단조 증가 함수이다.
도 13 은 장면 디스패리티 및 수렴 포인트 선택의 특정 예시적인 실시형태의 히스토그램이다. 뷰어와 디스플레이 사이의 거리 (X) 가 작을 때, 수렴 포인트는, 스크린 앞에서 적은 물체들이 보이도록 설정된다. 그에 반해서, 거리 (X) 가 더 클 때, 수렴 포인트는, 스크린 앞에서 더 많은 물체들이 보이도록 설정된다.
도 1 내지 도 13 에 예시된 시스템들 및 프로세스들과 함께, 적응적 3D 수렴이 비디오 캡처 동안, 재생 동안, 또는 양자 동안 가능해진다. 예를 들어, 특정 실시형태에서, 도 14 에 예시된 방법 (1400) 이 각각 도 1 내지 도 3 의 디바이스들 (102, 202, 및 302) 과 같은 3D 이미지 캡처 디바이스에서 수행될 수도 있다. 대안으로 또는 이에 더하여, 방법은 도 1 의 디바이스 (120) 와 같은 3D 재생 디바이스에서, 또는 도 4 의 컴포넌트들 (410 내지 426) 중 하나 이상 또는 도 6 의 컴포넌트들 (602 내지 614) 중 하나 이상을 포함하는 다른 디바이스에서 수행될 수도 있다.
방법은 단일 장면에 대응하는 제 1 이미지 및 제 2 이미지를 이용하여 수행될 수도 있다. 제 1 이미지는 제 1 센서에 의한 장면의 제 1 이미지 캡처에 대응할 수도 있고, 제 2 이미지는 제 2 센서에 의한 장면의 제 2 이미지 캡처에 대응할 수도 있으며, 제 2 이미지 캡처는 1402 에서, 도 1 내지 도 3 에 도시된 센서 쌍들 중 하나에 의해서와 같이, 제 1 이미지 캡처와 실질적으로 동시발생적이다.
1404 에서, 제 1 이미지에 대응하는 이미지 데이터 내의 변화에 기초하여 제 1 이미지 내에서 제 1 포인트가 선택될 수도 있다. 설명하면, 제 1 포인트는 도 4 의 키 포인트 검출 모듈 (412) 에 대하여 설명한 바와 같이 선택되는 키 포인트 또는 물체일 수도 있다. 1406 에서, 제 2 이미지 내에 제 2 포인트가 로케이팅될 수도 있다. 제 2 포인트는 제 1 포인트에 대응할 수도 있다. 설명하면, 제 2 포인트는 도 4 의 키 포인트 매칭 모듈 (414) 에 대하여 설명한 바와 같이 로케이팅될 수도 있다.
1408 에서, 제 1 포인트와 제 2 포인트 사이의 거리가 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정할 수도 있다. 예를 들어, 제 1 포인트와 제 2 포인트 사이의 거리는 키 포인트 또는 물체 디스패리티에 대응할 수 있으며, 디스패리티가 임계값을 초과하거나 (예를 들어 도 13 의 D1 보다 작거나 또는 D2 보다 크거나) 또는 허용가능한 범위 (예를 들어 도 11 의 범위 (1110) 에 따르는 범위) 밖에 있을 때 융합불가능할 수도 있다. 설명하면, 도 4 의 3D 수렴 제어 모듈 (416) 에 의해 결정이 수행될 수도 있다. 제 1 포인트와 제 2 포인트 사이의 거리가 임계 거리를 초과하는 것에 응답하여, 1410 에서, 제 2 이미지가 제 1 이미지의 시프트된 버전으로 교체될 수도 있다. 그렇지 않고, 제 1 포인트와 제 2 포인트 사이의 거리가 임계 거리보다 크지 않을 때, 제 1 포인트와 제 2 포인트는 융합가능하다.
예를 들어, 제 1 이미지에 대응하는 이미지 데이터에 에지 검출 필터를 적용하고 제 1 이미지의 수평 영역 내에 에지 검출 필터를 적용하는 것으로부터 발생하는 가장 큰 절대값을 로케이팅함으로써 변화가 식별될 수도 있으며, 여기서 제 1 이미지는 좌측 이미지에 대응하고 제 2 이미지는 3D 렌더링의 우측 이미지에 대응한다. 일 예로서, 필터는 적어도 일부 수직 성분을 갖는 에지들을 로케이팅하기 위해 도 7 의 수평 변화 검출 필터링 (704) 용으로 사용되는 필터일 수 있다. 이미지 데이터는 도 7 에 대하여 설명한 바와 같이, 제 1 이미지에 대응하는 서브샘플링된 루마 데이터를 포함할 수도 있다. 수평 검출은 도 3 에 대하여 설명한 바와 같이, 제 1 이미지에 대응하는 제 1 이미지 캡처 디바이스와 제 2 이미지에 대응하는 제 2 이미지 캡처 디바이스 사이의 방향에 대응할 수도 있다.
당업자는, 방법이 하나 이상의 필드 프로그램가능한 게이트 어레이 (FPGA) 디바이스들, 하나 이상의 주문형 집적 회로 (ASIC) 들, 하나 이상의 중앙 프로세싱 유닛 (CPU) 들, 하나 이상의 디지털 신호 프로세서들 (DSP), 하나 이상의 그래픽 프로세싱 유닛 (GPU) 들, 하나 이상의 제어기들, 하나 이상의 다른 하드웨어 디바이스들, 하나 이상의 펌웨어 디바이스들, 또는 이들의 임의의 조합에 의해 구현될 수 있다는 것을 이해할 것이다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 또는 프로세싱 유닛에 의해 판독가능하고 컴퓨터 또는 프로세싱 유닛으로 하여금 방법의 적어도 일부를 수행하게 하도록 실행가능한 프로그램 명령들을 스테어링 (staring) 할 수도 있다. 예를 들어, 컴퓨터 판독가능 매체는 플래시 메모리, EEPROM, ROM, 또는 제 1 이미지에 대응하는 이미지 데이터 내의 변화에 기초하여 제 1 이미지 내에서 제 1 포인트를 선택하기 위한 코드, 제 2 이미지 내에 제 2 포인트를 로케이팅하기 위한 코드, 및 제 1 포인트와 제 2 포인트 사이의 거리가 임계 거리를 초과하는지 여부를 결정하기 위한 코드를 포함하는 다른 비일시적 저장장치를 포함할 수도 있다.
다른 실시형태에서, 도 15 에 도시된 방법 (1500) 은 각각 도 1 내지 도 3 의 디바이스들 (102, 202 및 302) 과 같은 3D 이미지 캡처 디바이스에서 수행될 수도 있다. 대안으로 또는 이에 더하여, 방법은 도 1 의 디바이스 (120) 와 같은 3D 재생 디바이스에서, 또는 도 4 의 컴포넌트들 (410 내지 426) 중 하나 이상 또는 도 6 의 컴포넌트들 (602 내지 614) 중 하나 이상을 포함하는 다른 디바이스에서 수행될 수도 있다.
방법은 1502 에서 제 1 이미지 내에서 제 1 포인트를 선택하는 단계를 포함할 수도 있다. 방법은 또한 1504 에서, 신뢰도 측정치를 이용하여 제 2 이미지 내에 제 2 포인트를 로케이팅하는 단계를 포함할 수도 있다. 제 2 포인트는 제 1 포인트에 대응할 수도 있고, 제 1 이미지 및 제 2 이미지는 단일 장면에 대응할 수도 있다. 예를 들어, 제 1 포인트를 선택하는 단계는 키 포인트 검출 모듈 (412) 에서 수행될 수도 있고, 제 2 포인트를 로케이팅하는 단계는 키 포인트 매칭 모듈 (414) 에서 수행될 수도 있다. 신뢰도 측정치는 제 1 포인트를 포함하는 제 1 이미지의 제 1 영역과 제 2 포인트를 포함하는 제 2 이미지의 제 2 영역 사이의 정규화된 교차 공분산에 기초하여 결정될 수도 있다.
예를 들어, 제 2 포인트를 로케이팅하는 단계는 제 1 이미지 내에 제 1 포인트를 포함하는 제 1 영역을 선택하고 제 1 영역에 대해 가장 높은 결정된 상관을 갖는 제 2 이미지의 제 2 영역을 선택함으로써 수행될 수도 있다. 상관 결정은 제 1 이미지 및 제 2 이미지의 루마 성분들을 이용하여 수행될 수도 있다. 상관 결정은 제 1 포인트의 검색 범위 내의 제 2 이미지의 다수의 영역들에 대해 수행될 수도 있다. 신뢰도 측정치는 제 2 영역에 대응할 수도 있고, 제 2 영역은 신뢰도 측정치가 신뢰도 임계값을 초과하는지 여부에 기초하여 제 1 영역에 대응하는 것으로서 식별될 수도 있다.
방법은 또한, 1506 에서, 제 1 포인트와 제 2 포인트 사이의 거리가 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정하는 단계를 포함할 수도 있다. 예를 들어, 결정이 도 4 의 3D 수렴 제어 모듈 (416) 에 의해 수행될 수도 있으며, 임의의 키 포인트 디스패리티가 3D 렌더링 동안 융합불가능한지 여부에 대응할 수도 있다.
당업자는, 방법이 하나 이상의 필드 프로그램가능한 게이트 어레이 (FPGA) 디바이스들, 하나 이상의 주문형 집적 회로 (ASIC) 들, 하나 이상의 중앙 프로세싱 유닛 (CPU) 들, 하나 이상의 디지털 신호 프로세서들 (DSP), 하나 이상의 그래픽 프로세싱 유닛 (GPU) 들, 하나 이상의 제어기들, 하나 이상의 다른 하드웨어 디바이스들, 하나 이상의 펌웨어 디바이스들, 또는 이들의 임의의 조합에 의해 구현될 수 있다는 것을 이해할 것이다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 또는 프로세싱 유닛에 의해 판독가능하고 컴퓨터 또는 프로세싱 유닛으로 하여금 방법의 적어도 일부를 수행하게 하도록 실행가능한 프로그램 명령들을 스테어링할 수도 있다. 예를 들어, 컴퓨터 판독가능 매체는 플래시 메모리, EEPROM, ROM, 또는 제 1 이미지 내에서 제 1 포인트를 선택하기 위한 코드, 신뢰도 측정치를 이용하여 제 2 이미지 내에 제 2 포인트를 로케이팅하기 위한 코드, 및 제 1 포인트와 제 2 포인트 사이의 거리가 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정하기 위한 코드를 포함하는 다른 비일시적 저장장치를 포함할 수도 있다.
다른 실시형태에서, 도 16 에 도시된 방법 (1600) 은, 1602 에서, 물체들 (예를 들어, 도 4 의 키 포인트 검출 모듈 (412) 에 의해서와 같이, 이미지 내에 로케이팅된 키 포인트들) 의 세트를 포함하는 3 차원 (3D) 장면이 물체들의 세트의 각각의 물체가 (예를 들어 융합가능한 것으로 결정된) 3D 장면 내의 단일 물체로서 지각가능하게 장면의 제 1 이미지 및 장면의 제 2 이미지를 이용하여 렌더링될 수 있는지 여부를 결정하는 단계를 포함한다. 방법은 또한, 1604 에서, 3D 장면이 물체들의 세트의 각각의 물체가 단일 물체로서 지각가능하게 렌더링될 수 있다는 것을 결정하는 것에 응답하여, 1606 에서, 물체들의 세트의 각각의 물체의 디스패리티로 하여금, 디스패리티 값들의 미리 결정된 범위 내에 있도록 장면의 수렴 포인트를 조정하는 단계를 포함할 수도 있다. 장면의 수렴 포인트를 조정하는 단계는 제 1 이미지 및 제 2 이미지 중 적어도 일방을 제 1 이미지 및 제 2 이미지 중 타방에 대하여 시프트하여 도 4 의 3D 수렴 조정 모듈 (420) 에 의해서와 같이, 물체들의 세트의 각각의 물체의 디스패리티를 변화시키는 단계를 포함할 수도 있다.
방법은 또한, 3D 장면이 물체들의 세트의 각각의 물체가 단일 물체로서 지각가능하게 렌더링될 수 없다는 것을 결정하는 것에 응답하여, 도 4 의 스마트 2D 모듈 (420) 에 대하여 설명한 바와 같이, 1608 에서, 제 2 이미지를 제 1 이미지의 시프트된 버전으로 교체하는 단계를 포함할 수도 있다.
3D 장면이 물체들의 세트의 각각의 물체가 단일 물체로서 지각가능하게 렌더링될 수 있는지 여부를 결정하는 단계는, 물체들의 세트의 각각의 물체에 대해, 제 1 이미지 내의 물체의 제 1 로케이션과 제 2 이미지 내의 물체의 제 2 로케이션 사이의 거리를 나타내는 대응하는 디스패리티 값을 발생시키는 단계를 포함할 수도 있다. 디스패리티 값들의 범위는 도 9 에 예시된 최대 디스패리티 범위와 같이, 디스패리티 값들의 미리 결정된 범위와 비교될 수도 있다. 디스패리티 값들의 범위는 적어도 물체들의 세트에 대응하는 디스패리티 값들 중 가장 큰 값 또는 디스패리티 값들 중 가장 작은 값을 배제한다. 예를 들어, 디스패리티 값들의 히스토그램이 발생될 수도 있으며, 하나 이상의 가장 큰 값 및/또는 가장 작은 값이 폐기될 수도 있다.
당업자는, 방법이 하나 이상의 필드 프로그램가능한 게이트 어레이 (FPGA) 디바이스들, 하나 이상의 주문형 집적 회로 (ASIC) 들, 하나 이상의 중앙 프로세싱 유닛 (CPU) 들, 하나 이상의 디지털 신호 프로세서들 (DSP), 하나 이상의 그래픽 프로세싱 유닛 (GPU) 들, 하나 이상의 제어기들, 하나 이상의 다른 하드웨어 디바이스들, 하나 이상의 펌웨어 디바이스들, 또는 이들의 임의의 조합에 의해 구현될 수 있다는 것을 이해할 것이다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 또는 프로세싱 유닛에 의해 판독가능하고 컴퓨터 또는 프로세싱 유닛으로 하여금 방법의 적어도 일부를 수행하게 하도록 실행가능한 프로그램 명령들을 스테어링할 수도 있다. 예를 들어, 컴퓨터 판독가능 매체는 플래시 메모리, EEPROM, ROM, 또는 물체들의 세트를 포함하는 3 차원 (3D) 장면이 물체들의 세트의 각각의 물체가 3D 장면 내의 단일 객체로서 지각가능하게 장면의 제 1 이미지 및 장면의 제 2 이미지를 이용하여 렌더링될 수 있는지 여부를 결정하기 위한 코드, 및 3D 장면이 물체들의 세트의 각각의 물체가 단일 물체로서 지각가능하게 렌더링될 수 있다는 것을 결정하는 것에 응답하여, 물체들의 세트의 각각의 물체의 디스패리티로 하여금 디스패리티 값들의 미리 결정된 범위 내에 있도록 장면의 수렴 포인트를 조정하기 위한 코드를 포함하는 다른 비일시적 저장장치를 포함할 수도 있다.
다른 실시형태에서, 디바이스는 적어도 장면에 대응하는 제 1 이미지 및 장면에 대응하는 제 2 이미지를 포함하는 입력 데이터를 수신하도록 구성되고 3D 디스플레이 디바이스에 출력 데이터를 제공하도록 구성된 3 차원 (3D) 미디어 플레이어를 포함한다. 3D 미디어 플레이어는 줌 커맨드 및 팬 커맨드 중 적어도 하나를 포함하는 사용자 입력에 응답적일 수도 있다. 3D 미디어 플레이어는 사용자 입력에 응답적인 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈을 포함한다. 예를 들어, 디바이스는 도 4 의 3D 프로세싱 시스템 (440) 을 포함할 수도 있다. 디바이스는 단일 칩으로서, 모바일 디바이스용 칩셋과 같은 칩셋으로서, 또는 스마트폰, 포토그래피 디바이스, 또는 다른 타입의 디바이스와 같은 모바일 디바이스로서 구현될 수도 있다.
수렴 제어 모듈은 재생 동안 장면 단위 기준으로 수렴 포인트를 조정하도록 구성될 수도 있다. 수렴 제어 모듈은 장면 내의 물체들의 디스패리티 값들에 기초하여 수렴 포인트를 결정하도록 구성될 수도 있다. 수렴 포인트는 3D 디스플레이 디바이스의 사이즈 및 해상도 중 적어도 하나, 3D 디스플레이 디바이스로부터의 뷰잉 거리, 하나 이상의 다른 팩터들, 또는 이들의 임의의 조합에 더욱 기초하여 결정될 수도 있다. 디스패리티 값들은 3D 디스플레이 디바이스의 픽셀 단위로 결정될 수도 있다.
다른 실시형태에서, 디바이스는 제 1 이미지 센서에 대응하는 제 1 이미지 데이터 및 제 2 이미지 센서에 대응하는 제 2 이미지 데이터를 포함하는 이미지 데이터를 수신하도록 구성되는 이미지 프로세싱 모듈을 포함한다. 예를 들어, 디바이스는 도 2 의 디바이스 (202), 도 3 의 디바이스 (302), 또는 도 4 의 3D 프로세싱 시스템 (404) 의 컴포넌트들을 포함할 수도 있는 다른 디바이스일 수도 있다. 이미지 프로세싱 모듈은 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈을 포함할 수도 있다. 이미지 프로세싱 모듈은 또한 수렴 제어 모듈의 출력에 기초하여 3D 출력 데이터를 발생시키도록 구성된 3D 인코딩 모듈을 포함할 수도 있다.
수렴 제어 모듈은 또한, 장면 내의 물체들의 디스패리티 값들에 기초하여 수렴 포인트를 결정하도록 구성될 수도 있다. 수렴 제어 모듈은 또한, 디스패리티 값들이 물체들 중 적어도 하나를 3D 렌더링에서 융합가능하지 않게 하는지 여부를 결정하도록 구성될 수도 있다. 예를 들어, 도 3 의 경보 (382) 와 같이, 장면의 3D 비디오 캡처 동안 장면이 융합가능하지 않다는 것을 디바이스의 사용자에게 알리기 위해 경보가 발생될 수 있다.
수렴 제어 모듈은 장면 단위 기준으로 수렴 포인트 프로세싱을 수행하도록 구성될 수 있다. 수렴 포인트 프로세싱은 장면 내의 물체들에 대응하는 디스패리티 값들에 기초하여, 그리고 미리 결정된 디스플레이 지오메트리에 더욱 기초하여 장면 기반 수렴 포인트를 조정하는 것을 포함할 수도 있다. 장면 단위 기준으로 한 수렴 포인트 프로세싱은, 3D 비디오 캡처 동안 제 1 이미지 센서 및 제 2 이미지 센서에 의해 수행되는 줌 동작 동안 수렴 포인트의 동적 조정을 가능하게 할 수 있다.
디바이스는 단일 칩으로서, 모바일 디바이스용 칩셋과 같은 칩셋으로서, 또는 스마트폰, 포토그래피 디바이스, 또는 다른 타입의 디바이스와 같은 모바일 디바이스로서 구현될 수도 있다. 예를 들어, 디바이스는 또한 도 2 의 3D 프리뷰 디스플레이 디바이스 (284) 와 같은 비디오 프리뷰 디스플레이를 포함할 수도 있다. 미리 결정된 디스플레이 디바이스 지오메트리는 비디오 프리뷰 디스플레이에 대응할 수도 있다. 대안으로, 또는 그에 더하여, 디바이스 지오메트리는 사용자 입력에 따라 선택되는 디스플레이 지오메트리에 대응할 수도 있다.
여기에 개시된 실시형태들과 함께 설명된 방법 또는 알고리즘의 단계들은 직접 하드웨어에, 프로세서에 의해 실행된 소프트웨어 모듈에, 또는 이 둘의 조합에 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능한 판독 전용 메모리 (PROM), 소거가능한 프로그램가능한 판독 전용 메모리 (ERPOM), 전기적으로 소거가능한 프로그램가능한 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 콤팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 공지된 임의의 다른 형태의 비일시적 저장 매체에 상주할 수도 있다. 일 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 한다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서와 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안으로, 프로세서와 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에 별개의 컴포넌트들로서 상주할 수도 있다.
상기 개시된 실시형태들의 이전의 설명은 당업자로 하여금 상기 개시된 실시형태들을 실시 또는 이용할 수 있게 하기 위해 제공된다. 이들 실시형태들에 대한 다양한 변경들이 당업자에게 쉽게 명백할 것이며, 여기에 정의된 원리들은 본 개시물의 범위로부터의 벗어남 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 도시된 실시형태들에 제한되는 것으로 의도되지 않고 다음의 청구항에 의해 정의한 바와 같이 원리들 및 신규한 특징들에 가능한 부합하는 최광의 범위를 따르게 될 것이다.

Claims (40)

  1. 제 1 이미지에 대응하는 이미지 데이터 내의 변화에 기초하여 상기 제 1 이미지 내에서 제 1 포인트를 선택하는 단계;
    제 2 이미지 내에 제 2 포인트를 로케이팅하는 단계로서, 상기 제 2 포인트는 상기 제 1 포인트에 대응하고, 상기 제 1 이미지 및 상기 제 2 이미지는 단일 장면에 대응하는, 상기 제 2 포인트를 로케이팅하는 단계; 및
    상기 제 1 포인트와 상기 제 2 포인트 사이의 거리가 상기 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 변화는 상기 제 1 이미지에 대응하는 이미지 데이터에 에지 검출 필터를 적용하고 상기 제 1 이미지의 수평 영역 내에 상기 에지 검출 필터를 적용하는 것으로부터 발생하는 가장 큰 절대값을 로케이팅함으로써 식별되며,
    상기 제 1 이미지는 좌측 이미지에 대응하고, 상기 제 2 이미지는 상기 3D 렌더링의 우측 이미지에 대응하는, 방법.
  3. 제 2 항에 있어서,
    수평 방향은 상기 제 1 이미지에 대응하는 제 1 이미지 캡처 디바이스와 상기 제 2 이미지에 대응하는 제 2 이미지 캡처 디바이스 사이의 방향에 대응하는, 방법.
  4. 제 2 항에 있어서,
    상기 이미지 데이터는 상기 제 1 이미지에 대응하는 서브샘플링된 루마 데이터를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 제 1 이미지는 제 1 센서에 의한 상기 장면의 제 1 이미지 캡처에 대응하고, 상기 제 2 이미지는 제 2 센서에 의한 상기 장면의 제 2 이미지 캡처에 대응하며,
    상기 제 2 이미지 캡처는 상기 제 1 이미지 캡처와 실질적으로 동시발생적인, 방법.
  6. 제 1 이미지 내에서 제 1 포인트를 선택하는 단계;
    신뢰도 측정치를 이용하여 제 2 이미지 내에 제 2 포인트를 로케이팅하는 단계로서, 상기 제 2 포인트는 상기 제 1 포인트에 대응하고, 상기 제 1 이미지 및 상기 제 2 이미지는 단일 장면에 대응하는, 상기 제 2 포인트를 로케이팅하는 단계; 및
    상기 제 1 포인트와 상기 제 2 포인트 사이의 거리가 상기 단일 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정하는 단계를 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 신뢰도 측정치는 상기 제 1 포인트를 포함하는 상기 제 1 이미지의 제 1 영역과 상기 제 2 포인트를 포함하는 상기 제 2 이미지의 제 2 영역 사이의 정규화된 교차 공분산에 기초하여 결정되는, 방법.
  8. 제 6 항에 있어서,
    상기 제 2 포인트를 로케이팅하는 단계는 :
    상기 제 1 이미지 내의 상기 제 1 포인트를 포함하는 제 1 영역을 선택하는 단계; 및
    상기 제 1 영역에 대한 가장 높은 결정된 상관을 갖는 상기 제 2 이미지의 제 2 영역을 선택하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상관 결정은 상기 제 1 이미지 및 상기 제 2 이미지의 루마 성분들을 이용하여 수행되는, 방법.
  10. 제 9 항에 있어서,
    상기 상관 결정은 상기 제 1 포인트의 검색 범위 내의 상기 제 2 이미지의 다수의 영역들에 대해 수행되는, 방법.
  11. 제 8 항에 있어서,
    상기 신뢰도 측정치는 상기 제 2 영역에 대응하고, 상기 제 2 영역은, 상기 신뢰도 측정치가 신뢰도 임계값을 초과하는지 여부에 기초하여 상기 제 1 영역에 대응하는 것으로서 식별되는, 방법.
  12. 물체들의 세트를 포함하는 3 차원 (3D) 장면이 상기 물체들의 세트의 각각의 물체가 상기 3D 장면 내의 단일 물체로서 지각가능하게 상기 장면의 제 1 이미지 및 상기 장면의 제 2 이미지를 이용하여 렌더링될 수 있는지 여부를 결정하는 단계; 및
    상기 3D 장면이 상기 물체들의 세트의 각각의 물체가 상기 단일 물체로서 지각가능하게 렌더링될 수 있다는 것을 결정하는 것에 응답하여, 상기 물체들의 세트의 각각의 물체의 디스패리티 (disparity) 로 하여금 디스패리티 값들의 미리 결정된 범위 내에 있도록 상기 장면의 수렴 포인트를 조정하는 단계를 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 3D 장면이 상기 물체들의 세트의 각각의 물체가 상기 단일 물체로서 지각가능하게 렌더링될 수 없다는 것을 결정하는 것에 응답하여, 상기 제 2 이미지를 상기 제 1 이미지의 시프트된 버전으로 교체하는 단계를 더 포함하는, 방법.
  14. 제 12 항에 있어서,
    상기 3D 장면이 상기 물체들의 세트의 각각의 물체가 상기 단일 물체로서 지각가능하게 렌더링될 수 있는지 여부를 결정하는 단계는, 상기 물체들의 세트의 각각의 물체에 대해, 상기 제 1 이미지 내의 상기 물체의 제 1 로케이션과 상기 제 2 이미지 내의 상기 물체의 제 2 로케이션 사이의 거리를 나타내는 대응하는 디스패리티 값을 발생시키는 단계를 포함하는, 방법.
  15. 제 14 항에 있어서,
    상기 3D 장면이 상기 물체들의 세트의 각각의 물체가 상기 단일 물체로서 지각가능하게 렌더링될 수 있는지 여부를 결정하는 단계는, 상기 디스패리티 값들의 범위를 디스패리티 값들의 미리 결정된 범위와 비교하는 단계를 더 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 디스패리티 값들의 범위는 적어도, 상기 물체들의 세트에 대응하는 상기 디스패리티 값들 중 가장 큰 값 또는 상기 디스패리티 값들 중 가장 작은 값을 배제하는, 방법.
  17. 제 12 항에 있어서,
    상기 장면의 수렴 포인트를 조정하는 단계는, 상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 일방을 상기 제 1 이미지 및 상기 제 2 이미지 중 타방에 대하여 시프트하여 상기 물체들의 세트의 각각의 물체의 디스패리티를 변화시키는 단계를 포함하는, 방법.
  18. 적어도 장면에 대응하는 제 1 이미지 및 상기 장면에 대응하는 제 2 이미지를 포함하는 입력 데이터를 수신하도록 구성되고 3 차원 (3D) 디스플레이 디바이스에 출력 데이터를 제공하도록 구성된 3D 미디어 플레이어를 포함하며,
    상기 3D 미디어 플레이어는 줌 커맨드 및 팬 커맨드 중 적어도 하나를 포함하는 사용자 입력에 응답적이며,
    상기 3D 미디어 플레이어는 상기 사용자 입력에 응답적인 상기 장면의 3D 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈을 포함하는, 디바이스.
  19. 제 18 항에 있어서,
    상기 수렴 제어 모듈은 미디어 파일의 재생 동안 장면 단위 기준으로 상기 수렴 포인트를 조정하도록 구성되는, 디바이스.
  20. 제 18 항에 있어서,
    상기 수렴 제어 모듈은 상기 장면 내의 물체들의 디스패리티 (disparity) 값들에 기초하여 상기 수렴 포인트를 결정하도록 구성되는, 디바이스.
  21. 제 20 항에 있어서,
    상기 수렴 제어 모듈은 상기 3D 디스플레이 디바이스의 사이즈 및 해상도 중 적어도 하나에 더욱 기초하여 상기 수렴 포인트를 결정하도록 구성되는, 디바이스.
  22. 제 20 항에 있어서,
    상기 수렴 제어 모듈은 상기 3D 디스플레이 디바이스로부터의 뷰잉 거리에 더욱 기초하여 상기 수렴 포인트를 결정하도록 구성되는, 디바이스.
  23. 제 20 항에 있어서,
    상기 디스패리티 값들은 상기 3D 디스플레이 디바이스의 픽셀 단위로 결정되는, 디바이스.
  24. 제 1 이미지 센서에 대응하는 제 1 이미지 데이터 및 제 2 이미지 센서에 대응하는 제 2 이미지 데이터를 포함하는 이미지 데이터를 수신하도록 구성된 이미지 프로세싱 모듈을 포함하며,
    상기 이미지 프로세싱 모듈은 :
    장면의 3 차원 (3D) 렌더링의 수렴 포인트를 결정하도록 구성된 수렴 제어 모듈; 및
    상기 수렴 제어 모듈의 출력에 기초하여 3D 출력 데이터를 발생시키도록 구성된 3D 인코딩 모듈을 포함하는, 디바이스.
  25. 제 24 항에 있어서,
    상기 수렴 제어 모듈은 미리 결정된 디스플레이 지오메트리에 응답적인, 디바이스.
  26. 제 24 항에 있어서,
    상기 수렴 제어 모듈은 또한, 상기 장면 내의 물체들의 디스패리티 (disparity) 값들에 기초하여 상기 수렴 포인트를 결정하도록 구성되는, 디바이스.
  27. 제 26 항에 있어서,
    상기 수렴 제어 모듈은 또한, 상기 디스패리티 값들이 상기 3D 렌더링에서 상기 물체들 중 적어도 하나를 융합가능하지 않게 하는지 여부를 결정하도록 구성되며, 상기 장면의 3D 비디오 캡처 동안, 상기 장면이 융합가능하지 않다는 것을 상기 디바이스의 사용자에게 알리기 위해 경보가 발생되는, 디바이스.
  28. 제 24 항에 있어서,
    상기 수렴 제어 모듈은 장면 단위 기준으로 수렴 포인트 프로세싱을 수행하도록 구성되는, 디바이스.
  29. 제 28 항에 있어서,
    상기 수렴 포인트 프로세싱은, 상기 장면 내의 물체들에 대응하는 디스패리티 값들에 기초하여, 그리고 미리 결정된 디스플레이 지오메트리에 더욱 기초하여 장면 기반 수렴 포인트를 조정하는 것을 포함하는, 디바이스.
  30. 제 29 항에 있어서,
    상기 장면 단위 기준으로 한 상기 수렴 포인트 프로세싱은, 3D 비디오 캡처 동안 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서에 의해 수행된 줌 동작 동안 상기 수렴 포인트의 동적 조정을 가능하게 하는, 디바이스.
  31. 제 29 항에 있어서,
    비디오 프리뷰 디스플레이 디바이스를 더 포함하며,
    상기 미리 결정된 디스플레이 디바이스 지오메트리는 상기 비디오 프리뷰 디스플레이 디바이스에 대응하는, 디바이스.
  32. 제 29 항에 있어서,
    상기 미리 결정된 디스플레이 디바이스 지오메트리는 사용자 입력에 따라 선택되는 디스플레이 지오메트리에 대응하는, 디바이스.
  33. 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 프로세서에 의해,
    제 1 이미지에 대응하는 이미지 데이터 내의 변화에 기초하여 상기 제 1 이미지 내에서 제 1 포인트를 선택하고;
    제 2 이미지 내에 제 2 포인트를 로케이팅하되, 상기 제 2 포인트는 상기 제 1 포인트에 대응하고, 상기 제 1 이미지 및 상기 제 2 이미지는 단일 장면에 대응하며;
    상기 제 1 포인트와 상기 제 2 포인트 사이의 거리가 상기 장면의 3 차원 (3D) 렌더링의 단일 포인트로서 지각가능할 임계 거리를 초과하는지 여부를 결정하도록 실행가능한, 비일시적 컴퓨터 판독가능 매체.
  34. 제 33 항에 있어서,
    상기 프로세서에 의해, 상기 제 1 이미지에 대응하는 이미지 데이터에 에지 검출 필터를 적용하고 상기 제 1 이미지의 수평 영역 내에 상기 에지 검출 필터를 적용하는 것으로부터 발생하는 가장 큰 절대값을 로케이팅함으로써 상기 변화를 식별하도록 실행가능한 명령들을 더 포함하며,
    상기 제 1 이미지는 좌측 이미지에 대응하고, 상기 제 2 이미지는 상기 3D 렌더링의 우측 이미지에 대응하는, 비일시적 컴퓨터 판독가능 매체.
  35. 제 34 항에 있어서,
    수평 방향은 상기 제 1 이미지에 대응하는 제 1 이미지 캡처 디바이스와 상기 제 2 이미지에 대응하는 제 2 이미지 캡처 디바이스 사이의 방향에 대응하는, 비일시적 컴퓨터 판독가능 매체.
  36. 제 34 항에 있어서,
    상기 이미지 데이터는 상기 제 1 이미지에 대응하는 서브샘플링된 루마 데이터를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  37. 제 33 항에 있어서,
    상기 제 1 이미지는 제 1 센서에 의한 상기 장면의 제 1 이미지 캡처에 대응하고, 상기 제 2 이미지는 제 2 센서에 의한 상기 장면의 제 2 이미지 캡처에 대응하며,
    상기 제 2 이미지 캡처는 상기 제 1 이미지 캡처와 실질적으로 동시발생적인, 비일시적 컴퓨터 판독가능 매체.
  38. 제 1 이미지 센서에 대응하는 제 1 이미지 데이터 및 제 2 이미지 센서에 대응하는 제 2 이미지 데이터를 포함하는 이미지 데이터를 수신하는 수단;
    장면의 3 차원 (3D) 렌더링의 수렴 포인트를 결정하는 수단; 및
    상기 수렴 포인트를 결정하는 수단의 출력에 기초하여 3D 출력 데이터를 발생시키는 수단을 포함하는, 장치.
  39. 제 38 항에 있어서,
    상기 수렴 포인트를 결정하는 수단은 미리 결정된 디스플레이 지오메트리에 응답적인, 장치.
  40. 제 38 항에 있어서,
    상기 수렴 포인트를 결정하는 수단은 또한, 상기 장면 내의 물체들의 디스패리티 (disparity) 값들에 기초하여 상기 수렴 포인트를 결정하도록 구성되는, 장치.
KR1020127034150A 2010-05-28 2011-05-24 3 차원 이미지 프로세싱 KR20130030780A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34973810P 2010-05-28 2010-05-28
US61/349,738 2010-05-28
US13/079,752 US8970672B2 (en) 2010-05-28 2011-04-04 Three-dimensional image processing
US13/079,752 2011-04-04
PCT/US2011/037779 WO2011149967A2 (en) 2010-05-28 2011-05-24 Three-dimensional image processing

Publications (1)

Publication Number Publication Date
KR20130030780A true KR20130030780A (ko) 2013-03-27

Family

ID=44310201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127034150A KR20130030780A (ko) 2010-05-28 2011-05-24 3 차원 이미지 프로세싱

Country Status (6)

Country Link
US (1) US8970672B2 (ko)
EP (1) EP2577978A2 (ko)
JP (1) JP5592006B2 (ko)
KR (1) KR20130030780A (ko)
CN (1) CN103098477A (ko)
WO (1) WO2011149967A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180127886A (ko) * 2017-05-22 2018-11-30 주식회사 그루크리에이티브랩 가상현실영상 제공장치, 입체감 향상을 위한 가상공간 크기 조절방법 및 프로그램
KR20190008057A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007819A1 (en) * 2010-07-08 2012-01-12 Gregory Robert Hewes Automatic Convergence Based on Touchscreen Input for Stereoscopic Imaging
KR101708306B1 (ko) * 2010-09-13 2017-02-20 엘지전자 주식회사 이동 단말기 및 그의 3ｄ 이미지 합성방법
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9591281B2 (en) * 2010-12-22 2017-03-07 Thomson Licensing Apparatus and method for determining a disparity estimate
JP2012191608A (ja) * 2011-02-22 2012-10-04 Panasonic Corp 立体撮像装置および立体撮像方法
JP5664356B2 (ja) * 2011-03-09 2015-02-04 富士通株式会社 生成装置および生成方法
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
EP2511875A1 (en) * 2011-04-14 2012-10-17 Thomson Licensing Apparatus and method for refining a value of a similarity measure
US10805625B2 (en) * 2011-07-05 2020-10-13 Texas Instruments Incorporated Method, system and computer program product for adjusting a stereoscopic image in response to decoded disparities between views of the stereoscopic image
US20130009949A1 (en) * 2011-07-05 2013-01-10 Texas Instruments Incorporated Method, system and computer program product for re-convergence of a stereoscopic image
KR101828805B1 (ko) * 2011-07-07 2018-03-29 삼성전자주식회사 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
JP5281720B1 (ja) * 2011-09-20 2013-09-04 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
US9374571B2 (en) * 2011-10-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging device, and image processing method
WO2014037603A1 (en) * 2012-09-06 2014-03-13 Nokia Corporation An apparatus, a method and a computer program for image processing
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
KR102130123B1 (ko) * 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
EP3264359A1 (en) 2016-06-28 2018-01-03 Dassault Systèmes A computer-implemented method of calibrating a camera
US10798364B2 (en) * 2016-10-20 2020-10-06 Nokia Of America Corporation 3D image reconstruction based on lensless compressive image acquisition
US11463677B2 (en) * 2017-07-13 2022-10-04 Samsung Electronics Co., Ltd. Image signal processor, image processing system and method of binning pixels in an image sensor

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
WO1994018789A1 (en) 1993-02-11 1994-08-18 Polycom, Inc. Resolution enhancement system
US6233361B1 (en) 1993-08-24 2001-05-15 Roger Colston Downs Topography processor system
JPH09507349A (ja) 1993-12-29 1997-07-22 ライカ アクチエンゲゼルシャフト 表示装置上に立体ビデオ映像を表示するための方法及び装置
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
JPH07336590A (ja) * 1994-06-09 1995-12-22 Minolta Co Ltd 画像記録再生システム及び画像再生装置並びにカメラ
JP3157384B2 (ja) 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
JP3653790B2 (ja) 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
US6278480B1 (en) 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
JPH10224825A (ja) * 1997-02-10 1998-08-21 Canon Inc 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US20020113865A1 (en) * 1997-09-02 2002-08-22 Kotaro Yano Image processing method and apparatus
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
AU2487000A (en) 1998-12-30 2000-07-31 Chequemate International Inc. System and method for recording and broadcasting three-dimensional video
JP2000209614A (ja) 1999-01-14 2000-07-28 Sony Corp 立体映像システム
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US6665440B1 (en) * 2000-05-30 2003-12-16 Microsoft Corporation System and method for performing corner guided curve matching of multiple images representing a scene
TWI223780B (en) * 2001-01-24 2004-11-11 Vrex Inc Method for zooming a stereoscopic image, article of manufacture comprising a computer usable medium, computer related product for use with a graphics display device, and program storage device readable by a machine and tangibly embodying a program of iK
WO2002090887A2 (en) 2001-05-04 2002-11-14 Vexcel Imaging Gmbh Digital camera for and method of obtaining overlapping images
JP2003018619A (ja) 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US7174033B2 (en) * 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
WO2004049734A1 (ja) 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
US7525576B2 (en) 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
KR100771299B1 (ko) 2003-06-26 2007-10-29 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7372996B2 (en) * 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20070146478A1 (en) 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070248260A1 (en) 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP4925354B2 (ja) * 2008-03-31 2012-04-25 富士フイルム株式会社 画像処理装置、画像表示装置、撮像装置及び画像処理方法
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180127886A (ko) * 2017-05-22 2018-11-30 주식회사 그루크리에이티브랩 가상현실영상 제공장치, 입체감 향상을 위한 가상공간 크기 조절방법 및 프로그램
KR20190008057A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법

Also Published As

Publication number Publication date
US20110292178A1 (en) 2011-12-01
CN103098477A (zh) 2013-05-08
WO2011149967A3 (en) 2012-01-12
US8970672B2 (en) 2015-03-03
JP5592006B2 (ja) 2014-09-17
EP2577978A2 (en) 2013-04-10
WO2011149967A2 (en) 2011-12-01
JP2013533672A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
US8970672B2 (en) Three-dimensional image processing
US20230353869A1 (en) Imaging apparatus and setting screen thereof
CN107948519B (zh) 图像处理方法、装置及设备
US10455141B2 (en) Auto-focus method and apparatus and electronic device
US10389948B2 (en) Depth-based zoom function using multiple cameras
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
CN108055452B (zh) 图像处理方法、装置及设备
CN107945105B (zh) 背景虚化处理方法、装置及设备
US9210408B2 (en) Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
US9485495B2 (en) Autofocus for stereo images
KR101958044B1 (ko) 입체 이미지 페어를 캡처하는 시스템들 및 방법들
US20130342641A1 (en) Stereoscopic shooting device
US8648961B2 (en) Image capturing apparatus and image capturing method
EP3154251A1 (en) Application programming interface for multi-aperture imaging systems
CN111726521B (zh) 终端的拍照方法、拍照装置和终端
JP2011029905A (ja) 撮像装置、方法およびプログラム
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
WO2012092246A2 (en) Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US20130107015A1 (en) Image capture device, player, and image processing method
CN111630837B (zh) 图像处理装置、输出信息控制方法以及程序
CN108053438B (zh) 景深获取方法、装置及设备
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee