KR20140053313A - 입체 이미지 페어를 캡처하는 시스템들 및 방법들 - Google Patents

입체 이미지 페어를 캡처하는 시스템들 및 방법들 Download PDF

Info

Publication number
KR20140053313A
KR20140053313A KR1020147006656A KR20147006656A KR20140053313A KR 20140053313 A KR20140053313 A KR 20140053313A KR 1020147006656 A KR1020147006656 A KR 1020147006656A KR 20147006656 A KR20147006656 A KR 20147006656A KR 20140053313 A KR20140053313 A KR 20140053313A
Authority
KR
South Korea
Prior art keywords
image
imaging sensor
capturing
capture
electronic display
Prior art date
Application number
KR1020147006656A
Other languages
English (en)
Other versions
KR101958044B1 (ko
Inventor
세포 로버트 훙
루벤 엠 벨라르데
토마스 웨슬리 오스본
량 량
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140053313A publication Critical patent/KR20140053313A/ko
Application granted granted Critical
Publication of KR101958044B1 publication Critical patent/KR101958044B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Abstract

설명되는 것은, 단일 이미징 센서를 갖춘 이미징 디바이스를 사용하여 입체 이미지 페어를 캡처하는 시스템, 장치, 및 방법이다. 특히, 설명되는 것은, 이미지 센서를 통해 제 1 및 제 2 이미지를 캡처하고, 2 개의 이미지들 사이에서 수직 및 수평 이격도를 결정하고, 2 개의 이미지들 사이에서의 기하학적 왜곡, 수직 이격도 및 수렴에 대한 정정들을 적용하는 시스템들 및 방법들이다. 몇몇 실시형태들은 입체 이미지 페어의 제 2 이미지가 캡처되기 전에 방향 표시자를 디스플레이하는 것을 고려한다. 방향 표시자를 디스플레이함으로써, 입체 이미지 페어의 제 2 이미지에 대한 보다 최적인 포지션이 발견되어, 보다 높은 품질의 입체 이미지 페어를 초래할 수도 있다.

Description

입체 이미지 페어를 캡처하는 시스템들 및 방법들{SYSTEMS AND METHODS TO CAPTURE A STEREOSCOPIC IMAGE PAIR}
본 발명의 일 양태는 이미징 디바이스들에 관한 것이며, 보다 구체적으로는, 이미징 디바이스에서 단일 이미징 센서를 이용하여 입체 이미지들을 캡처하는 방법들, 장치 및 시스템들에 관한 것이다.
과거 수년간, 디지털 이미징 능력들은 디지털 카메라들 및 모바일 전화들을 포함한 다양한 디바이스들에 통합되었다. 최근, 이러한 디바이스들로 입체 이미지들을 캡처하는 능력이 기술적으로 가능해지고 있다. 디바이스 제조자들은 다수의 디지털 이미징 센서들을 통합한 디바이스들을 선보임으로써 응답하고 있다. 모바일 무선 통신 디바이스들, 개인 휴대 정보 단말기 (PDA) 들, 개인용 음악 시스템들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 회의 시스템들 등을 포함한 광범위한 전자 디바이스들은 다수의 이미징 센서들을 이용하여 전자 디바이스들의 사용자들에게 다양한 능력들 및 피처들을 제공한다. 이들은 입체 (3D) 이미징 애플리케이션들, 이를테면 사진들 및 영화들 뿐 아니라, 보다 높은 명암비 이미징 및 파노라마식 이미징을 포함한다.
그러나, 제 2 디지털 이미징 센서의 추가는 몇몇 불리점들을 가져 온다. 예를 들어, 제 2 이미징 센서 및 관련 전자 장치들의 추가 비용은 적어도 몇몇 마켓 세그먼트들에서 금지될 수 있다. 추가로, 제 2 이미징 센서는 다수의 방식들로 디바이스의 유용성에 영향을 미친다. 예를 들어, 제 2 이미징 센서의 순응 (accommodation) 은 단일 센서만을 구비한 디바이스보다 다소 큰 디바이스를 요구한다. 추가로, 디바이스의 전력 능력들은 이미징 센서들 양자 모두로의 전력 공급을 동시에 지원하도록 사이즈 조정되어야 한다. 이것은 보다 크고 보다 비싼 전력 핸들링 회로를 요구할 수도 있다. 디바이스의 배터리 수명이 또한 영향을 받을 수도 있어, 아마도 보다 큰 배터리를 요구할 수도 있다.
실시형태들 중 일부는 입체 이미지를 캡처하는 방법을 포함한다. 방법은 이미징 센서를 통한 제 1 이미지의 캡처를 포함할 수도 있다. 방법은 이미징 센서를 통한 제 2 이미지의 캡처, 및 제 1 이미지와 제 2 이미지 사이의 수직 이격도의 결정을 더 포함할 수도 있다. 방법은 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정하는 단계, 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하는 단계, 제 1 이미지와 제 2 이미지 사이의 수렴 포인트를 결정하는 단계, 및 정정을 적용하여 적어도 하나의 정정된 이미지를 생성하는 단계를 더 포함할 수도 있다. 다른 실시형태들에서, 수렴 포인트는 깊이 범위 및 깊이 히스토그램에 기초하여 결정된다. 대안의 실시형태들에서, 수직 이격도는 행 합 벡터들의 크로스 상관에 의해 결정된다. 몇몇 실시형태들은 정정된 이미지에 기초한 입체 이미지 페어의 생성을 더 포함할 수도 있다. 다른 실시형태들에서, 위의 엘리먼트들은 반복적으로 수행될 수도 있다.
다른 실시형태들은 입체 이미지를 캡처하는 방법을 포함할 수도 있다. 방법은 이미징 센서를 통한 제 1 이미지의 캡처, 전자 디스플레이 상에서의 방향 표시자의 디스플레이, 이미징 센서를 통한 제 2 이미지의 캡처, 및 제 1 이미지 및 제 2 이미지에 기초한 입체 이미지의 생성을 포함할 수도 있다. 대안의 실시형태들에서, 방법은 제 1 이미지의 일부분을 전자 디스플레이의 대응하는 부분 상에서 디스플레이하는 단계, 및 이미징 센서의 프리뷰의 일부분을 전자 디스플레이의 대응하는 부분 상에 디스플레이하는 단계를 더 포함할 수도 있다. 다른 실시형태들에서, 방법은 제 1 이미지의 투명 버전을 전자 디스플레이 상에 디스플레이하는 단계, 또는 프리뷰 이미지의 투명 버전을 전자 디스플레이 상에 디스플레이하는 단계를 더 포함할 수도 있다. 또 다른 실시형태들에서, 방법은 고품질 이미지를 캡처하는 데 필요한 수평 시프트의 표시를 전자 디스플레이 상에 디스플레이하는 단계를 더 포함할 수도 있다. 다른 실시형태들은 동적으로 추정된 품질 표시자의 디스플레이를 포함할 수도 있다. 몇몇 실시형태들에서, 제 2 이미지의 캡처는 사용자 작동 제어에 응답하여 수행되고, 반면에, 다른 실시형태들에서, 제 2 이미지는 자동으로 캡처된다. 이들 실시형태들에서, 제 2 이미지의 자동 캡처는 제 1 이미지와 프리뷰 이미지 사이의 수평 이격도 (horizontal disparity) 에 기초할 수도 있다. 다른 실시형태들에서, 제 2 이미지의 캡처는 제 1 이미지와 실시간 이미지 사이의 프레임 이격도 또는 자동 포커스 모듈 또는 가속도계로부터의 입력에 적어도 부분적으로 기초한다.
다른 실시형태들은 이미징 센서 및 전자 프로세서를 포함하는 이미징 디바이스를 포함하며, 전자 프로세서는 이미징 센서를 제어하도록 구성된다. 이들 실시형태들은 또한 이미징 센서를 사용하여 제 1 이미지를 캡처하고, 이미징 센서를 사용하여 제 2 이미지를 캡처하고, 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정하고, 제 1 이미지와 제 2 이미지 사이의 수평 이격도를 결정하고, 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하고, 제 1 이미지와 제 2 이미지 사이의 수렴 포인트를 결정하고, 정정을 적용하여 적어도 하나의 정정된 이미지를 생성하도록 구성된 제어 모듈을 포함할 수도 있다. 몇몇 실시형태들에서, 방법은 정정된 이미지에 기초한 입체 이미지 페어의 생성을 더 포함할 수도 있다. 몇몇 실시형태들에서, 엘리먼트들은 반복적으로 수행될 수도 있다. 다른 실시형태들에서, 이미징 디바이스는 무선 전화 핸드셋을 더 포함할 수도 있다. 다른 실시형태들에서, 제어 모듈은 제 2 이미지를 자동으로 캡처하도록 구성될 수도 있다. 디바이스의 몇몇 실시형태들은 사용자 작동 제어를 더 포함하며, 제어 모듈은 사용자 작동 제어의 제 1 작동에 응답하여 제 1 이미지를 캡처하고 그리고 사용자 작동 제어의 제 2 상황에 응답하여 제 2 이미지를 캡처하도록 추가로 구성된다.
다른 실시형태들은 이미징 센서, 전자 디스플레이, 및 프로세서를 포함하는 이미징 디바이스를 포함하며, 프로세서는 이미징 센서 및 전자 디스플레이를 제어하도록 구성될 수 있다. 이들 실시형태들은 이미징 센서를 사용하여 제 1 이미지를 캡처하고, 전자 디스플레이 상에 방향 표시자를 디스플레이하고, 이미징 센서를 사용하여 제 2 이미지를 캡처하고, 제 1 및 제 2 이미지에 기초하여 입체 이미지를 생성하도록 구성된 제어 모듈을 더 포함한다. 몇몇 실시형태들에서, 제어 모듈은 제 1 이미지와 제 2 이미지 사이의 수평 기격도를 결정하도록 추가로 구성되고, 방향 표시자의 디스플레이는 수평 이격도에 기초한다. 다른 실시형태들에서, 디바이스는 가속도계를 더 포함하고, 방향 표시자의 디스플레이는 가속도계로부터의 입력에 기초한다. 대안의 실시형태들에서, 제어 모듈은 전자 디스플레이 상에 제 1 이미지의 일부분을 디스플레이하도록 구성되고, 또 다른 실시형태들에서, 제어 모듈은 전자 디스플레이 상에 프리뷰 이미지의 일부분을 디스플레이하도록 추가로 구성된다. 다른 실시형태들에서, 제 1 이미지의 일부분 및 프리뷰 이미지의 일부분이 동시에 디스플레이된다.
다른 실시형태들은 프로세서로 하여금 이미징 센서를 사용하여 제 1 이미지를 캡처하고, 이미징 센서를 사용하여 제 2 이미지를 캡처하고, 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정하고, 제 1 이미지와 제 2 이미지 사이의 수평 이격도를 결정하고, 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하고, 제 1 이미지와 제 2 이미지 사이의 수렴 포인트를 결정하고, 정정을 적용하여, 적어도 하나의 정정된 이미지를 생성하게 하도록 동작가능한 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함한다. 다른 실시형태들은 프로세서로 하여금 정정된 이미지에 기초하여 입체 이미지 페어를 생성하게 하다록 동작가능한 실행가능 명령들을 더 포함한다. 몇몇 다른 실시형태들은 프로세서로 하여금 행 합 벡터들의 크로스 상관에 기초하여 수직 이격도를 결정하게 하도록 동작가능한 명령들을 포함한다.
다른 실시형태들은 프로세서로 하여금 이미징 센서를 사용하여 제 1 이미지를 캡처하고, 전자 디스플레이 상에 방향 표시자를 디스플레이하고, 이미징 센서를 사용하여 제 2 이미지를 캡처하고, 제 1 및 제 2 이미지에 기초하여 입체 이미지를 생성하게 하도록 동작가능한 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함한다. 다른 실시형태들은 프로세서로 하여금 전자 디스플레이의 일부분 상에 제 1 이미지의 일부분을 디스플레이하고 전자 디스플레이의 일부분 상에 프리뷰 이미지의 일부분을 디스플레이하게 하도록 동작가능한 명령들을 더 포함한다. 몇몇 다른 실시형태들은 프로세서로 하여금 전자 디스플레이 상에 제 1 이미지의 투명 버전을 디스플레이하고 또는 전자 디스플레이 상에 프리뷰 이미지의 투명 버전을 디스플레이하게 하도록 구성가능한 명령들을 포함할 수도 있다.
다른 실시형태들은, 이미징 센서를 통해 제 1 이미지를 캡처하는 수단, 이미징 센서를 사용하여 제 2 이미지를 캡처하는 수단, 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 수평 이격도를 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 수렴 포인트를 결정하는 수단, 및 정정을 적용하여, 적어도 하나의 정정된 이미지를 생성하는 수단을 포함하는 이미징 디바이스를 포함한다. 몇몇 실시형태들은 정정된 이미지에 기초하여 입체 이미지를 생성하는 수단을 더 포함할 수도 있다.
다른 실시형태들은 이미징 센서를 사용하여 제 1 이미지를 캡처하는 수단, 방향 표시자를 디스플레이하는 수단, 이미징 센서를 통해 제 2 이미지를 캡처하는 수단, 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 수평 이격도를 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하는 수단, 제 1 이미지와 제 2 이미지 사이의 수렴 포인트를 결정하는 수단, 및 정정을 적용하여, 적어도 하나의 정정된 이미지를 생성하는 수단을 포함하는 이미징 디바이스를 포함한다.
개시된 양태들은 개시된 양태들을 설명하기 위해 제공되고 제한하기 위해 제공되는 것이 아닌 첨부된 도면들과 결부하여 이하에서 설명될 것이며, 유사한 부호들은 유사한 엘리먼트들을 표시한다.
도 1 은 개시된 본 발명의 일부 동작가능한 실시형태들을 구현하는 디바이스를 나타낸 블록도이다.
도 2 는 캡처 제어 모듈의 일 실시형태에서 이용되는 프로세스를 나타낸 플로우차트이다.
도 3 은 2 개의 이미지들의 행 합 벡터들 사이에서 최상의 피트를 수행하는 데 이용되는, 이미지 행 합산 및 행 합 벡터의 작성을 나타낸다. 열 합 벡터들이 마찬가지로 나타내진다.
도 4 는 2 개의 이미지들 사이의 수직 이격도, 및 일 실시형태가 그 수직 이격도 (vertical disparity) 를 감소시키거나 또는 제거하도록 이미지들을 크롭 (crop) 할 수 있는 방법을 나타낸다.
도 5a 및 도 5b 는 입체 이미지 페어를 캡처하기 위해 캡처 제어 모듈에 의해 이용되는 프로세스들의 일 실시형태를 나타낸 플로우차트들이다.
도 6 은 입체 이미지 페어의 제 2 이미지를 자동으로 캡처하기 위해 캡처 제어 모듈에 의해 이용되는 프로세스의 일 실시형태를 도시한 플로우차트이다.
도 7 은 캡처 제어 모듈의 일 실시형태가 입체 이미지 페어의 제 2 이미지를 자동으로 캡처하기 위해 최상의 수평 이격도를 결정할 수 있는 방법을 나타낸다.
도 8 은 입체 이미지 페어의 제 2 이미지의 캡처를 용이하게 하기 위해 전자 디스플레이 상에 디스플레이되는 이미지의 일 실시형태를 나타낸다.
도 9 는 입체 이미지 페어의 제 2 이미지의 캡처를 용이하게 하기 위해 전자 디스플레이 상에 디스플레이되는 이미지의 다른 실시형태를 나타낸다.
도 10 은 전자 디스플레이 상에서 방향 표시자를 디스플레이하는 캡처 제어 모듈 또는 사용자 인터페이스 모듈에서 실행되는 프로세스의 일 실시형태를 나타낸 플로우차트이다.
본 명세서에서 개시된 구현예들은 단 하나의 이미징 센서만을 포함하는 디바이스로 입체 이미지를 캡처하는 시스템들, 방법들 및 장치를 제공한다. 특히, 본 명세서에서 설명된 몇몇 실시형태들은 단 하나의 이미징 센서를 사용하여 2 개의 개별적인 이미지들을 캡처하는 것 및 2 개의 이미지들에 기초하여 입체 이미지를 생성하는 것을 고려한다. 일 실시형태는 전자 디스플레이 상에 방향 표시자를 제공하는 것을 포함하며, 방향 표시자는 이미징 센서가 제 2 이미지를 캡처하기 전에 이동해야 하는 방향을 나타낸다. 당업자는, 이러한 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있음을 인식할 것이다.
다음의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 당업자들은, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음을 이해할 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해 전기 콤포넌트들/디바이스들은 블록도들로 나타내질 수도 있다. 다른 사례들에서, 이러한 콤포넌트들, 다른 구조들, 및 기법들이 예들을 추가로 설명하기 위해 상세히 나타내질 수도 있다.
예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 흐름도, 유한 상태도, 구조도, 또는 블록도로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 때에 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 발호 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.
당업자라면, 정보 및 신호들이 다양한 상이한 기술들 및 기법들 중 임의의 것을 이용하여 표현될 수도 있음을 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 광 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
도 1 은 이미지 센서 (115) 에 링크된 프로세서 (120) 를 포함한 콤포넌트들의 세트를 구비한 디바이스 (100) 의 고차원 블록도를 나타낸다. 작업 메모리 (105), 스토리지 (110), 전자 디스플레이 (125), 및 메모리 (130) 가 또한 프로세서 (120) 와 통신한다.
디바이스 (100) 는 셀 폰, 디지털 카메라, 개인 휴대 정보 단말기 등일 수도 있다. 디바이스 (100) 는 또한 데스크톱 개인용 컴퓨터, 비디오 회의 스테이션 등과 같이, 이미지들을 캡처하는 데 내부 또는 외부 카메라를 사용하는 보다 비유동적인 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (100) 상에서 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 일반 포토그래픽 애플리케이션들, 높은 명암비 이미징, 파노라마 비디오, 또는 3D 이미지들이나 3D 비디오와 같은 입체 이미징을 포함할 수도 있다.
프로세서 (120) 는 범용 프로세싱 유닛 또는 애플리케이션들을 이미징하도록 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (120) 는 메모리 (130) 및 작업 메모리 (105) 에 접속된다. 예시된 실시형태에서, 메모리 (130) 는 이미징 센서 제어 모듈 (135), 이격도 제거 모듈 (140), 수렴 조절 모듈 (145), 기하학적 왜곡 추정 및 정정 모듈 (150), 시프트 및 크롭 모듈 (155), 인코딩 모듈 (160), 사용자 인터페이스 모듈 (165), 캡처 제어 모듈 (170), 및 오퍼레이팅 시스템 (175) 을 저장한다. 이들 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 작업들을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 작업 메모리 (105) 는 메모리 (130) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 프로세서 (120) 에 의해 사용될 수도 있다. 대안으로, 작업 메모리 (105) 는 또한 디바이스 (100) 의 동작 동안에 작성된 동적 데이터를 저장하도록 프로세서 (120) 에 의해 사용될 수도 있다.
전술된 바와 같이, 프로세서는 메모리들에 저장된 여러 개의 모듈들에 의해 구성된다. 이미징 센서 제어 모듈 (135) 은 이미징 센서 (115) 의 포커스 포지션을 조절하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 이미징 센서 제어 모듈 (135) 은 또한 이미징 센서 (115) 로 이미지들을 캡처하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 따라서, 프로세서 (120) 는, 이미지 캡처 제어 모듈 (135), 이미징 센서 (115) 및 작업 메모리 (105) 와 함께, 이미징 센서를 사용하여 이미지를 캡처하는 하나의 수단을 나타낸다. 이격도 제거 모듈 (140) 은 이미징 센서 (115) 에 의해 캡처된 2 개의 이미지들 사이에서 수직 이격도를 검출하고 제거하도록 프로세서 (120) 를 구성하는 명령들을 제공한다. 이격도 제거 모듈 (140) 은 또한 이미징 센서 (115) 에 의해 캡처된 2 개의 이미지들 사이의 수평 이격도를 검출하도록 하는 명령들을 제공할 수도 있다. 수렴 조절 모듈은 이미징 센서 (115) 로 캡처된 2 개의 이미지들 사이에서 수렴 포인트를 조절하도록 프로세서를 구성하는 명령들을 포함한다. 기하학적 왜곡 추정 및 정정 모듈 (150) 은 이미징 센서 (115) 에 의해 캡처된 2 개의 이미지들의 오정렬에 의해 야기된 기하학적 왜곡을 검출하도록 프로세서를 구성하는 명령들을 포함한다. 시프트 및 크롭 모듈 (155) 은 2 개의 이미지들 사이에서 수직 이격도를 정정하기 위해 이미지 1 및 이미지 2 를 서로에 관하여 시프트하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 시프트 및 크롭 모듈 (155) 은 또한 2 개의 이미지들 사이에서 일관된 정렬을 달성하도록 이미지 1 및/또는 이미지 2 를 크롭하는 명령들을 포함할 수도 있다. 인코딩 모듈 (160) 은 이미징 센서 (115) 에 의해 캡처된 이미지들을 입체 이미지로 인코딩하도록 프로세서를 구성하는 명령들을 포함한다. 따라서, 인코딩 모듈 (160) 내에 포함된 명령들은 제 1 이미지 및 제 2 이미지에 기초하여 입체 이미지를 생성하는 하나의 수단을 나타낸다. 사용자 인터페이스 모듈 (165) 은 전자 디스플레이 (125) 상에서 정보를 디스플레이하도록 프로세서를 구성하는 명령들을 포함한다.
캡처 제어 모듈 (170) 은 디바이스 (100) 의 전체 이미지 프로세싱 기능들을 제어하는 명령들을 포함한다. 예를 들어, 캡처 제어 모듈 (170) 은 이미징 센서 (115) 를 사용하여 제 1 및 제 2 이미지를 캡처하도록 프로세서 (120) 를 구성하기 위해 이미징 제어 모듈 (135) 에서 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 그 후, 캡처 제어 모듈 (170) 은 2 개의 이미지들 사이에서 수평 이격도를 결정하도록 이격도 제거 모듈 (140) 을 호출할 수도 있다. 캡처 제어 모듈 (170) 은 제 1 이미지와 제 2 이미지 사이의 기하학적 왜곡을 결정하도록 기하학적 왜곡 추정 및 정정 모듈 (150) 을 호출할 수도 있다. 그 후, 캡처 제어 모듈은 2 개의 이미지들 사이의 수렴 포인트를 조절하도록 수렴 조절 모듈 (145) 내의 서브루틴들을 호출할 수도 있다.
오퍼레이팅 시스템 모듈 (175) 은 디바이스 (100) 의 메모리 및 프로세싱 리소스들을 관리하도록 프로세서를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (175) 은 전자 디스플레이 (125), 스토리지 (110), 또는 이미징 센서 (115) 와 같은 하드웨어 리소스들을 관리하도록 디바이스 드라이버들을 포함할 수도 있다. 따라서, 몇몇 실시형태들에서, 전술된 이미지 프로세싱 모듈들에 포함된 명령들은, 이들 하드웨어 리소스들과 직접적으로 상호작용할 수도 있는 것이 아니라, 그 대신에, 오퍼레이팅 시스템 콤포넌트 (175) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호 작용할 수도 있다. 그 후, 오퍼레이팅 시스템 (175) 내의 명령들은 이들 하드웨어 콤포넌트들과 직접적으로 상호작용할 수도 있다.
프로세서 (120) 는 스토리지 모듈 (110) 에 데이터를 기록할 수도 있다. 스토리지 모듈 (110) 이 일반적인 디스크 디바이스로서 나타내지지만, 당업자들은, 다수의 실시형태들이 디스크 기반 스토리지 디바이스 또는 여러 다른 타입의 스토리지 매체들 중 하나를 포함하여, 메모리 디스크, USB 드라이브, 플래시 드라이브, 원격 접속된 스토리지 매체, 가상 디스크 드라이버 등을 포함할 수 있음을 이해할 것이다.
도 1 이 프로세서, 이미징 센서, 및 메모리를 포함하도록 개별적인 콤포넌트들을 포함하는 디바이스를 도시하고 있지만, 당업자라면, 이러한 개별적인 콤포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 인식할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 콤포넌트들은 프로세서 콤포넌트들과 결합되어 비용을 절약하고 성능을 개선할 수도 있다.
또한, 도 1 이 여러 모듈들을 포함하는 메모리 콤포넌트 (130) 와, 작업 메모리를 포함하는 개별적인 메모리 (105) 를 포함하는 2 개의 메모리 컴포넌트들을 나타내고 있지만, 당업자라면, 상이한 메모리 아키텍처들을 이용하는 여러 개의 실시형태들을 인식할 것이다. 예를 들어, 설계는 메모리 (130) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장에 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 대안으로, 프로세서 명령들은 디바이스 (100) 내에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 스토리지 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 그 후, 프로세서 명령들은 RAM 내로 로딩되어 프로세서에 의한 실행을 용이하게 할 수도 있다. 예를 들어, 작업 메모리 (105) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (120) 에 의한 실행 전에 작업 메모리 (105) 내에 로딩된다.
도 2 는 도 1 의 캡처 제어 모듈 (170) 의 일 실시형태 내에서 구동하는 프로세스 (200) 를 나타낸 플로우차트이다. 프로세스 (200) 는 시작 블록 (205) 에서 시작하고, 그 후, 제 1 이미지가 캡처되는 블록 (210) 으로 천이한다. 제 1 이미지는 이미징 센서 제어 모듈 (135) 내부에서의 서브루틴들을 호출하는 캡처 제어 모듈 (170) 에서 명령들에 의해 캡처될 수도 있다. 그 후, 이미징 센서 제어 모듈 (135) 은 이미지를 캡처하기 위해, 가능하게는 오퍼레이팅 시스템 모듈 (175) 을 통해, 이미징 센서 (115) 를 제어하도록 프로세서를 구성한다. 그 후, 프로세스 (200) 는 제 2 이미지가 캡처되는 블록 (215) 으로 이동한다. 그 후, 프로세스 (200) 는 명령들이 제 1 이미지와 제 2 이미지 사이에서 수직 이격도를 결정하는 블록 (220) 으로 이동한다. 이들 명령들은 도 1 의 이격도 제거 모듈 (140) 에 위치될 수도 있다. 2 개의 입체 이미지들 사이에서의 수직 이격도는 구토, 두통, 및 다른 신체적 효과를 생성할 수 있다. 따라서, 입체 이미지로부터의 수직 이격도 제거는 즐거운 관람 경험을 보장한다.
예시된 실시형태에서, 프로세스 (200) 의 블록 (220) 은 각각의 이미지의 행들을 처음 합산함으로써 제 1 이미지와 제 2 이미지 사이의 수직 이격도를 결정할 수도 있다. 이 합산 프로세스는 2 개의 벡터들, 즉 각각의 이미지마다 하나의 벡터를 생성한다. 벡터의 각각의 엘리먼트는 이미지에 대해 하나의 행 합을 나타낸다. 예시적인 벡터는 도 3 에서 항목 (310) 에 나타내진다. 도 3 에서 이미지 (305) 의 행들은 합산되어, 그래프 (310) 에 의해 나타내지는 벡터를 생성한다. 동일한 이미징 센서에 의해 상이한 이미징 센서 포지션들에 의해 취해진 2 개의 이미지들에 대한 행 합이 도 3 에 나타내진다. 이미지 (320) 는 제 1 포지션으로부터 취해지고, 이미지 (330) 는 제 2 포지션으로부터 취해진다. 2 개의 그래프들에서의 차이들은 2 개의 이미지들 사이에서의 변동을 나타낸다.
그러나, 벡터들은 실질적인 유사성들을 가지며, 예를 들어 2 개의 그래프들의 피크들과 밸리들 사이에는 일반적인 대응성이 있다. 이들 유사성들은 2 개의 벡터들에 대해 최상의 피트 동작이 수행되게 한다. 몇몇 실시형태들에서, 최상의 피트는 2 개의 벡터들의 포지션들 사이의 절대 차이들의 합을 최소화하는 2 개의 벡터들 사이의 오프셋을 식별함으로써 결정될 수도 있다. 열 합산이 이격도 인식 및 조절에 대해 상대적으로 간단한 해법을 제공하지만, 그것은 몇몇 불리한 점들을 갖는다. 예를 들어, 그것의 유효성은 장면 의존적이고, 그것은 몇몇 경우들에 있어서 완전히 실패할 수도 있다. 또한, 그것의 정확성은 2 개의 이미지들 사이에 오정렬이 있을 때 영향받을 수 있는데, 예를 들어 피치에서의 오정렬은 행 합산 기반 해법의 정확도에 영향을 줄 수 있다. 스케일링 (하나의 센서가 다른 센서보다 장면에 더 가까움) 으로 인한 이미지 오정렬은 또한 행 합산에 기초하여 수직 이격도 결정의 정확도에 영향을 미칠 수 있다. 다른 실시형태들은 수평 에지 검출 프로세스의 결과들에 기초하여 벡터들을 형성할 수도 있다. 그 후, 최상의 피트는 전술된 바와 유사한 방식으로 수평 에지 벡터들에 대해 수행된다.
이 최상의 피트 동작은 하나의 그래프가 다른 그래프와 가장 잘 정렬하도록 조절될 수도 있는 오프셋을 식별할 것이다. 이 오프셋은 이미지들을 수직으로 정렬하도록 이미지들 중 하나에 적용될 수 있다. 따라서, 행 합 벡터들의 최상의 피트를 수행하는 수직 이격도 제거 모듈 (140) 내에서의 명령들은 2 개의 이미지들 사이에서 수직 이격도를 결정하는 하나의 수단을 나타낸다.
블록 (220)(도 2) 의 다른 실시형태들은 다른 기법들을 이용하여 수직 이격도를 결정할 수도 있다. 예를 들어, 몇몇 실시형태들은 2 개의 이미지들의 로컬 이웃 내에서 최상의 매칭을 식별할 수도 있다. 예를 들어, 일 실시형태는 하나의 이미지 내에서 키 피처 포인트들을 위치시킬 수도 있고, 다른 이미지에서의 최상의 매칭을 검색할 수도 있다. 따라서, 키 피처 포인트에 대한 로컬 이웃 내에서 최상의 매칭을 수행하는 수직 이격도 제거 모듈 (140) 내에서의 명령들은 2 개의 이미지들 사이에서 수직 이격도를 결정하는 다른 수단을 나타낸다.
대안의 실시형태들은 2 개의 이미지들 사이에서 각도 모션 및 포지션 시프트를 결정하도록 가속도계와 같은 임베드된 모션 센서를 이용할 수도 있다. 상대적인 수직 이격도는 2 개의 이미지들의 캡처 사이에 발생하는 상대적 모션에 기초하여 컴퓨팅될 수 있다. 따라서, 2 개의 이미지들의 캡처 사이에 발생하는 상대적 모션을 계산하기 위해 가속도계와 같은 임베드된 모션 센서를 이용하는 수직 이격도 제거 모듈 (140) 내에서의 명령들은 2 개의 이미지들 사이에서 수직 이격도를 결정하는 다른 수단을 나타낸다.
수직 이격도가 결정된 후, 프로세스 (200) 는 수평 이격도가 결정되는 블록 (225) 으로 이동한다. 수평 이격도 검출은, 벡터들이 행들 대신에 이미지의 열들을 합산함으로써 작성된다는 점을 제외하면, 수직 이격도 검출과 유사한 방식으로 수행될 수도 있다. 이 열 합산 프로세스가 또한 도 3 에 나타내진다. 도 3 의 그래프 (340) 는 이미지의 열을 합산함으로써 생성된 벡터의 값들을 나타낸다. 수직 이격도에 대해 전술된 것과 유사한 프로세스에서, 수평 이격도에 대한 정정은 2 개의 이미지들의 열 합 벡터들 사이에서 최상의 피트를 결정함으로써 얻어질 수 있다. 따라서, 2 개의 이미지들의 열을 합산하여 2 개의 열 합 벡터들을 작성하고, 2 개의 열 합 벡터들 사이에서 최상의 피트를 수행하는 명령들은 2 개의 이미지들 사이에서 수평 이격도를 결정하는 하나의 수단을 나타낸다.
대안의 실시형태들은 또한 수평 이격도를 결정하기 위해 전술된 피처 포인트 기법을 이용할 수도 있다. 따라서, 2 개의 이미지들의 로컬 이웃에서 피처 포인트에 대한 최상의 매칭을 결정하는 이격도 제거 모듈 (140) 에서의 명령들은 2 개의 이미지들 사이에서 수평 이격도를 결정하는 하나의 수단을 나타낸다.
그 후, 도 2 로 되돌아가서, 프로세스 (200) 는 기하학적 왜곡이 결정되는 블록 (230) 으로 이동한다. 블록 (230) 은 프로세서 (120) 를 구성하는 기하학적 왜곡 추정 및 정정 모듈 (150) 에 포함된 명령들에 의해 수행될 수도 있다. 몇몇 실시형태들에서, 기하학적 왜곡 추정에 대한 수단은 기하학적 왜곡 추정 및 정정 모듈 (150) 내에서 피처 포인트 매칭을 수행하는 명령들에 대한 것이다. 상이한 위치들로부터 취해질 수도 있는 이미지 1 과 이미지 2 사이에서 피처 포인트들을 매칭시킴으로써, 명령들은 기하학적 왜곡을 정정하도록 3 차원 프로젝션 매트릭스를 생성할 수 있다. 이러한 기법들은 당업계에 공지되어 있다. 2 개의 이미지들 사이에서의 기하학적 왜곡을 결정하는 다른 수단은 가속도계와 같은 모션 센서를 이용할 수도 있다. 명령들은 2 개의 이미지들의 캡처 사이에 위치에서의 상대적 시프트를 기록한다. 최신식인 가속도계들은 6 개의 독립 축들에 걸쳐서 이러한 시프트를 측정할 수 있다. 가속도계가 디바이스 (100) 와 같은 이미징 디바이스에 임베드되면, 몇몇 실시형태들은 또한 전술된 수직 및 수평 이격도의 추정을 보조하는 데 그것을 이용할 수도 있다.
다음, 프로세스 (200) 는 정정이 이미지들 중 하나 또는 양쪽 이미지들 모두에 적용되는 블록 (235) 으로 이동한다. 블록 (235) 은 도 1 에 나타내진 디바이스 (100) 의 이격도 제거 모듈 (140), 수렴 조절 모듈 (145), 기하학적 왜곡 추정 및 정정 모듈 (150), 시프트 및 크롭 모듈 (155), 또는 캡처 제어 모듈 (170) 중 임의의 하나 또는 이들의 조합에 포함되는 명령들에 의해 수행될 수도 있다. 이들 모듈들에서의 명령들은 정정된 이미지를 작성하도록 정정을 적용하는 하나의 수단을 나타낸다.
임의의 기하학적 왜곡을 정정하기 위해, 블록 (235) 은 블록 (230) 에서 결정된 각도 변위 정보에 의존할 수도 있다. 일단 각도 변위가 공지되면, 3 차원 프로젝션 매트릭스가 추정된다. 그 후, 하나의 이미지가 다른 이미지와 적절히 매칭하도록 정정될 수도 있다. 이들 기법들을 구현하는 명령들은 이미지에 정정을 적용하는 하나의 수단을 나타낸다.
임의의 수직 이격도를 정정하기 위해, 블록 (235) 은 하나 또는 양측 모두의 이미지들을 시프트 및/또는 크롭할 수도 있다. 예를 들어, 제 1 이미지는 제 2 이미지에 대해 이격도를 제거하도록 크롭될 수도 있다. 그러나, 현재는, 제 1 이미지가 크롭된 치수 면에서 보다 작기 때문에, 제 2 이미지는 제 1 이미지와 동등한 치수들로 크롭될 필요가 있을 것이다. 이러한 크롭은 오리지널 이미지들의 것보다 더 적은 수직 뷰 필드를 갖는 입체 이미지 페어를 초래한다. 그러나, 수직 이격도를 제거하는 것은 수직으로 정렬된 입체 이미지 페어를 생성하기 위해 이미지의 하측 및 상측에 최대 5 퍼센트의 이미지 제거를 요구하는 것이 일반적이다. 이것은 총 10 퍼센트의 수직 뷰 필드를 감소시킨다. 전술된 바와 같은 이미지들 중 하나 또는 양쪽 이미지들 모두를 크롭하는 것을 수행하는 시프트 및 크롭 모듈 (155) 에 포함된 명령들은 정정된 이미지를 생성하도록 정정을 적용하는 다른 수단을 나타낸다.
일단 적절한 정정들이 적용되었다면, 프로세스 (200) 는 제 1 및 제 2 이미지들의 수렴 포인트가 결정되는 블록 (240) 으로 이동한다. 블록 (240) 은 도 1 의 수렴 조절 모듈 (145) 내에 포함된 명령들에 의해 수행될 수도 있다. 일단 수평 이격도가 공지되면, 몇몇 실시형태들에서 수렴 포인트를 결정하는 하나의 수단은 수렴 포인트를 글로벌 수평 이격도의 1/2 로 설정하는 명령들이다. 대안으로, 2 개의 이미지들 사이의 수렴 포인트를 결정하는 다른 수단은 먼저 장면에 대한 깊이 범위를 추정하고 깊이 히스토그램을 작성하는 명령들에 대한 것이다. 그 후, 수렴 포인트는 입체 깊이가 편안한 뷰잉 구역 내에 있도록 하는 명령들에 의해 설정된다. 이러한 기법들은 당업계에 공지되어 있다.
다음, 프로세스 (200) 는 입체 이미지 페어가 임의의 정정된 이미지들에 기초하여 작성되는 블록 (245) 으로 이동한다. 일 실시형태에서, 블록 (245) 은 인코딩 모듈 (160) 에서 명령들에 의해 수행될 수도 있다. 본래의 제 1 및 제 2 이미지들이 또한 이용될 수도 있다. 그 후, 프로세스 (200) 는 종료 스테이트 (250) 로 천이한다.
크로핑 프로세스의 일 실시형태는 도 4 에 도시된 이미지들에 의해 나타내진다. 예시된 것은 물줄기 (body of water) 상의 빌딩의 2 개의 이미지들이다. 이미지 (410) 는 이미지 (420) 보다 약간 낮은 관점으로부터 취해졌지만, 동일한 이미지 센서를 이용하여 취해졌다. 따라서, 이미지 (410) 는 그것의 뷰 필드에서 호수가 보다 큰 부분을 차지하고, 반면에, 이미지 (420) 는 그것의 뷰 필드에서 하늘이 보다 큰 부분을 차지한다. 다른 이미지에 포함되지 않는 각각의 이미지의 일부분들은, 415 및 425 로 식별되는, 각각의 이미지의 음영 부분에 의해 나타내진다. 예시된 바와 같이, 2 개의 이미지들은 중요한 수직 이격도를 포함하며, 이는 입체 이미지 페어를 형성하기 전에 제거될 수도 있다. 수직 이격도를 제거하기 위해, 각각의 이미지의 음영 부분 (415, 425) 은 크롭되어, 괄호 표시 영역 (440) 에 의해 식별되는, 2 개의 이미지들의 공통 부분들에 의해 나타내지는 최종 뷰 필드를 초래할 것이다.
도 5a 및 도 5b 는 입체 이미지 페어를 캡처하기 위해 캡처 제어 모듈에 의해 이용되는 프로세스들의 일 실시형태를 나타낸 플로우차트들이다. 도 5a 는 도 1 의 캡처 제어 모듈 (170) 의 일 실시형태 내에서 구동하는 프로세스 (500) 을 나타낸 플로우차트이다. 예시된 프로세스 (500) 에 긴밀하게 관련된 것은 도 5b 에 예시된 프로세스 (550) 이다. 프로세스 (550) 는 또한 도 1 의 캡처 제어 모듈 (170) 의 일 실시형태 내에서 구동할 수도 있다. 프로세스 (500) 및 프로세스 (550) 는, 이미징 센서의 최적 포지션에 관한 정보를 전자 디스플레이 상에 디스플레이하도록 그리고 입체 이미지 페어의 제 1 및 제 2 이미지를 캡처하도록 함께 작업한다. 프로세스 (500) 및 프로세스 (550) 에 의해 예시된 실시형태는 입체 이미지를 형성하기 전에 제 2 이미지를 캡처하기 위해 사용자 입력에 의존한다. 프로세스 (500) 는 입체 이미지 페어의 제 1 이미지를 캡처하는 것 및 전자 디스플레이 상에서의 정보의 디스플레이를 관리하는 것을 담당하고, 반면에, 프로세스 (550) 는 제 2 이미지를 캡처하고 디바이스를 입체 캡처 모드로부터 종료시킨다.
프로세스 (500) 는 도 1 에 예시된 디바이스 (100) 의 캡처 제어 모듈 (170) 에 포함된 명령들에 의해 수행될 수도 있다. 프로세스 (500) 는 시작 스테이트 (505) 에서 시작하고, 그 후, 프로세스 (500) 가 이미지 캡처 커맨드를 기다리는 블록 (510) 으로 천이한다. 이미지 캡처 커맨드는 사용자가 디바이스 제어를 작동시킬 때 발생할 수도 있고, 또는 보다 많은 자동화 수단에 의해 발생할 수도 있다. 예를 들어, 이미징 디바이스 (100) 는 특정 지연 이후에 이미지를 자동으로 캡처하는 셀프 타이머를 포함할 수도 있다. 대안으로, 디바이스 (100) 의 다른 실시형태들은, 예를 들어 디바이스 (100) 로의 유선 커넥션 또는 무선 커넥션 중 어느 하나를 통해, 이미지 캡처를 원격으로 커맨드하는 원격 제어 수단을 포함할 수도 있다.
캡처 캐먼드가 발생한 후, 프로세스 (500) 는 제 1 이미지가 캡처되는 블록 (512) 으로 이동한다. 프로세스 (500) 를 구현하는 명령들은 제 1 이미지를 캡처하기 위해, 도 1 에 예시된 디바이스 (100) 의 이미징 센서 제어 모듈 (135) 에 위치된 서브루틴들을 호출 (invoke) 할 수도 있다. 이러한 서브루틴들에서의 명령들은 제 1 이미지를 캡처하기 위해 이미징 센서 (115) 를 제어하도록 프로세서 (120) 를 구성할 수도 있다. 그 후, 프로세스 (500) 는 명령들이 이미지를 데이터 스토어에 저장하는 블록 (514) 으로 이동한다. 몇몇 실시형태들에서, 이미지는 도 1 의 데이터 스토어 (110) 와 같은 데이터 스토어 저장될 수도 있다. 그 후, 프로세스 (500) 는, 명령들이, 디바이스가 현재 입체 캡처 모드에 있는지를 결정하는 결정 블록 (516) 으로 이동한다. 이러한 모드는 사용자가 제 1 이미지 캡처 커맨드를 수행하기 전에 입체 동작 모드를 선택했다면 인에이블될 수도 있다. 입체 캡처 모드가 인에이블되지 않으면, 프로세스 (500) 는 블록 (530) 으로 이동하고, 프로세스 (500) 는 종료된다.
그러나, 입체 캡처 모드가 인에이블되면, 프로세스 (500) 의 몇몇 실시형태들은 블록 (518) 으로 이동하고, 제 1 캡처된 이미지의 일부분을 전자 디스플레이 상에 디스플레이한다. 제 1 캡처된 이미지의 디스플레이의 실시형태들은 도 7 및 도 8 에 대한 하기 설명에서 보다 상세히 설명된다. 그 후, 프로세스 (500) 는 명령들이 프리뷰 (preview) 이미지를 캡처하는 블록 (520) 으로 이동한다. 프리뷰 이미지는 도 1 의 디바이스 (100) 의 이미징 센서 (115) 에 의해 인식되는 바와 같은 실시간 이미지일 수도 있다. 그 후, 프로세스 (500) 는 프리뷰 이미지의 일부분이 또한 전자 디스플레이 상에 디스플레이되는 블록 (522) 으로 이동한다. 블록들 (518-522) 의 디스플레이 기능들을 예시하는 실시형태들은 도 8 및 도 9 에 대한 하기의 설명에서 더 설명된다.
다음, 프로세스 (500) 는 명령들이 이미지 1 과 프리뷰 이미지 사이에서의 수평 이격도를 계산하는 블록 (524) 으로 이동한다. 블록 (524) 은 도 1 에 예시된 디바이스 (100) 의 이격도 제거 모듈 (140) 에 포함된 서브루틴들에 의해 수행될 수도 있다. 수평 이격도를 계산하는 것은, 행 합산, 배향 센서, 또는 관심 매칭 포인트들을 포함하는, 도 2 에 대해 전술된 기법들 중 하나를 이용할 수도 있다. 일단 이미지 1 과 프리뷰 이미지 사이의 수평 이격도가 이해된다면, 프로세스 (500) 는 명령들이 하나 이상의 표시자들을 디스플레이하는 블록 (526) 으로 이동한다. 블록 (526) 은 도 10 에 대한 하기의 설명에서 보다 상세히 설명된다. 표시자들이 블록 (526) 에서 디스플레이된 후, 프로세스 (500) 는 결정 블록 (516) 으로 리턴한다. 그 후, 프로세스 (500) 는 전술된 바와 같이 반복된다.
이제, 프로세스 (550) 로 돌아가서, 프로세스는 시작 스테이트 (555) 에서 시작하고, 그 후, 프로세스 (550) 가 제 2 이미지 캡처 커맨드를 기다리는 블록 (560) 으로 이동한다. 제 2 이미지 캡처 커맨드가 발생할 때, 프로세스 (550) 는 블록 (565) 에서 제 2 이미지를 캡처한다. 블록 (565) 은, 도 1 에 예시된, 캡처 제어 모듈 (170) 에서 명령들에 의해 또는 디바이스 (100) 의 이미징 센서 제어 모듈 (135) 에 의해 구현될 수도 있다. 그 후, 프로세스 (550) 는 제 2 이미지가 데이터 스토어에 저장되는 블록 (570) 으로 이동한다. 그 후, 프로세스 (550) 는 명령들이 입체 캡처 모드를 턴오프하는 블록 (575) 으로 이동한다. 입체 캡처 모드가 프로세스 (550) 의 블록 (575) 에 의해 턴오프될 때, 프로세스 (500) 의 결정 블록 (516) 은 프로세스 (500) 를 종료 블록 (530) 으로 천이시킬 것이다. 따라서, 프로세스 (550) 및 프로세스 (500) 는 디스플레이 상에 방향 표시자를 디스플레이하면서 입체 이미지 페어의 캡처를 완료하도록 상호작용한다.
도 6 은 입체 이미지 페어 캡처 프로세스의 대안의 실시형태를 나타낸다. 프로세스 (600) 는 도 1 에 예시된 디바이스 (100) 의 캡처 제어 모듈 (170) 에 포함된 명령들에 의해 수행될 수도 있다. 프로세스 (500) 및 프로세스 (550) 과는 다르게, 프로세스 (600) 는 제 2 입체 이미지를 자동으로 캡처한다. 프로세스 (600) 는 시작 블록 (605) 에서 시작하고, 그 후, 프로세스 (600) 를 구현하는 명령들이 이미지 캡처 커맨드를 기다리는 블록 (607) 으로 이동한다. 이미지 캡처 커맨드가 발생할 때, 프로세스 (600) 는 블록 (610) 으로 이동하고, 명령들은 이미지 1 을 캡처한다. 이미지 1 은 입체 이미지 페어를 작성하는 데 요구되는 2 개의 이미지들 중 제 1 이미지를 나타낸다. 이미지가 캡처된 후, 프로세스 (600) 는 명령들이 이미지 1 을 데이터 스토어에 기록하는 블록 (615) 으로 이동한다. 데이터 스토어는 플래시 디스크, 외부 하드 디스크 등과 같은 비휘발성 메모리를 포함할 수도 있고, 또는 도 1 에 예시된 작업 메모리 (105) 또는 RAM 과 같은 휘발성 메모리일 수도 있다.
다음, 프로세스 (600) 는 명령들이 이미지 1 의 일부분을 전자 디스플레이 상에 디스플레이되게 하는 블록 (620) 으로 이동한다. 블록 (620) 은 몇몇 실시형태들에서 도 1 에 예시된 디바이스 (100) 의 사용자 인터페이스 모듈 (165) 에 포함된 명령들에 의해 수행될 수도 있다. 몇몇 다른 실시형태들에서, 전자 디스플레이는 도 1 에 예시된 디바이스 (100)의 디스플레이 (125) 와 유사한 디스플레이일 수도 있다. 그 후, 프로세스 (600) 는 명령들이 프리뷰 이미지를 캡처하는 블록 (625) 으로 이동한다. 프리뷰 이미지는 이미징 센서, 예를 들어 도 1 의 디바이스 (100) 의 이미징 센서 (115) 로부터 캡처된 실시간 이미지일 수도 있다. 그 후, 프로세스 (600) 는 프리뷰 이미지의 일부분이 또한 전자 디스플레이 상에 디스플레이되는 블록 (630) 으로 이동한다. 블록 (630) 은 또한 몇몇 실시형태들에서 디바이스 (100) 의 사용자 인터페이스 모듈 (165) 에 포함된 명령들에 의해 수행될 수도 있다.
그 후, 프로세스 (600) 는 프리뷰 이미지와 이미지 1 사이의 수평 이격도가 계산되는 블록 (635) 으로 이동한다. 블록 (635) 은 디바이스 (100) 의 이격도 제거 모듈 (140) 에 포함된 명령들에 의해 수행될 수도 있으며, 이미지 1 및 프리뷰 이미지의 열들을 합산하는 것에 의한 벡터들의 최상의 피트, 이미지 1 과 프리뷰 이미지 사이에서 관심 매칭 포인트들, 또는 가속도계의 활용을 포함하는, 수평 이격도를 계산하기 위한 전술된 기법들 중 임의의 것을 이용하여 프리뷰 이미지에 대한 이미지 1 의 상대적 포지션을 결정할 수도 있다.
다음, 프로세스 (600) 는 현재 수평 이격도가 제 2 이미지에 대해 요구되는 임계치들에 비교되는 결정 블록 (640) 으로 이동한다. 몇몇 실시형태들에서, 현재 수평 이격도가 적절한 입체 이미지 페어를 생성하도록 하는 파라미터들 내에 있다면, 프로세스 (600) 는 제 3 이미지가 캡처되는 블록 (645) 으로 이동한다. 그 후, 프로세스 (600) 는 그 다음에 종료 단계 (675) 로 이동한다. 현재 수평 이격도가 적절한 입체 이미지 페어에 필요한 임계치 외부에 있다면, 프로세스 (600) 는 결정 블록 (670) 으로 이동한다.
결정 블록 (670) 에서, 프로세스 (600) 는 사용자 기동 제어가 기동되었는지를 결정한다. 프로세스 (600) 에 의해 예시되는 실시형태와 같은 몇몇 실시형태들에서, 입체 이미징 디바이스는 자동 캡처 모드를 제공하지만, 또한 사용자가 자동 캡처 프로세스를 오버라이드하게 하고 입체 이미지 페어의 제 2 이미지를 수동으로 캡처하게 한다. 블록 (670) 은 이 능력을 제공한다. 사용자 작동 제어가 작동되었다면, 프로세스 (600) 는 제 2 이미지가 캡처되는 블록 (645) 으로 이동한다. 어떠한 사용자 작동 제어도 작동되지 않았다면, 프로세스 (600) 는 결정 블록 (670) 으로부터 결정 블록 (655) 으로 이동한다.
결정 블록 (655) 에서, 현재 수평 이격도는 경계 임계치들과 비교된다. 경계 임계치들은, 제 2 이미지의 자동 캡처를 중단할 것을 이미징 디바이스에게 요구할 정도로 수평 이격도가 큰지를 확립한다. 입체 이미지 캡처를 중단하는 것은, 예를 들어 이미징 프로세싱 알고리즘들이 이미지 1 과 프리뷰 이미지 사이의 상관성을 결정할 수 없을 때, 요구될 수도 있다. 이러한 경우에 있어서, 사용자에 대한 비논리적인 결과들을 회피하기 위해 입체 이미지 캡처 모드를 자동으로 벗어나는 것이 필수적일 수도 있다. 현재 수평 이격도가 이러한 경계들을 초과한다면, 프로세스 (600) 는 에러가 생성되는 블록 (650) 으로 이동한다. 블록 (650) 을 구현하는 명령들은, 예를 들어 디바이스 (100) 의 디스플레이 (125) 상에 에러 메시지를 생성할 수도 있다. 이들 명령들은 디바이스 (100) 의 사용자 인터페이스 모듈 (165) 내에 포함될 수도 있다. 수평 이격도가, 입체 이미지 페어가 캡처될 수 있도록 하는 경계들 내에서 게속 유지되면, 프로세스 (600) 는 블록 (660) 으로 이동한다.
블록 (660) 에서, 하나 이상의 디스플레이 표시들은 전자 디스플레이, 예를 들어 도 1 에 예시된 디바이스 (100) 의 디스플레이 (125) 상에 제공된다. 블록 (660) 은 도 8 내지 도 10 에 대한 하기의 설명에서 보다 상세히 설명된다. 표시자들이 블록 (660) 에서 디스플레이된 후, 프로세스 (600) 는 블록 (625) 으로 리턴하고 프로세스 (600) 는 반복된다.
블록 (640) 의 다른 실시형태들은 제 2 이미지가 캡처되어야 하는지를 결정하는 복잡한 기술들을 구현하는 명령들을 포함할 수도 있다. 예를 들어, 몇몇 실시형태들은 현재 수평 이격도가 수용가능한 범위 내에 있는지의 여부뿐 아니라, 현재 수평 이격도가 보다 높은 품질의 입체 이미지 페어를 생성하는 추세를 보이는지 또는 역으로 그 추세가 보다 낮은 품질의 입체 이미지 페어로 향하는지를 고려할 수도 있다.
이러한 접근법의 이점들은 하나의 이미징 센서의 팬 (pan) 거리의 함수로서 수평 이격도의 그래프인 도 7 에 의해 예시된다. 수용가능한 입체 이미지들은 수평 이격도가 y 축의 괄호 영역 (760) 으로 나타내지는 그래프의 음영 부분 내에 있을 때 일반적으로 생성된다. 어두운 음영 부분들 (720, 730) 은 수용가능한 품질의 입체 이미지 페어를 생성하는 수평 이격도 값들을 나타낸다. 좁고 밝은 음영 영역 (740) 은 최적의 수평 이격도를 나타낸다. 사선 (750) 은 하나의 예시적인 이미징 시나리오에 대한 수평 이격도를 나타낸다.
이미징 센서가 제 1 이미지 포지션으로부터 이동할수록, 제 1 이미지와 프리뷰 이미지 사이의 초기 수평 이격도는, 도 7 의 포인트 (포인트 (705)) 로 예시된 바와 같이, 0 에 가까워질 수도 있다. 그러나, 이미징 센서가 특정 방향으로 패닝할 때, 수평 이격도는 준최적인 상태로 유지되면서 수용가능한 범위에 진입할 수도 있다. 이 조건은 포인트 (770) 에 의해 나타내진다. 이 포인트에서 캡처된 제 2 이미지가 수용가능한 품질의 입체 이미지 페어를 제공하지만, 그것은 최적의 품질은 아닐 것이다. 수평 이격도가 더 많은 최적의 포지션을 향하는 추세에 있는 경우, 몇몇 실시형태들은 제 2 이미지를 캡처하기를 기다릴 수도 있다. 예를 들어, 기다리는 것은, 포인트 (780) 에 의해 나타내지는, 최적의 구역 내에 새로운 수평 이격도를 초래할 수도 있다. 이 포인트에서 제 2 이미지의 캡처를 초기화하는 것은, 제 2 이미지가 포인트 (770) 에서 캡처된 경우, 상항히 더 좋은 품질의 입체 이미지 페어를 초래할 수도 있다.
도 8 은 제 2 이미지를 캡처하는 방향 표시자를 포함하는 전자 디스플레이 상에 디스플레이되는 이미지의 일 실시형태를 나타낸다. 이미지 (810) 는 입체 이미지 시퀀스에서 캡처된 제 1 이미지를 나타낸다. 이미지 (810) 는 프로세스 (200) 의 블록 (210) 에서 캡처된 제 1 이미지 또는 프로세스 (500) 의 이미지 1 일 수도 있다. 이미지 (810) 는 도 1 의 디바이스 (100) 의 이미징 센서 (115) 에 의해 캡처될 수도 있다. 이미지 (820) 는 여러 디스플레이된 엘리먼트들을 포함하는, 전자 디스플레이 상의 이미지의 일 실시형태를 나타낸다. 먼저, 디스플레이의 상측 절반은 이미지 (810) 의 상측 절반을 포함한다. 디스플레이의 이 부분은 몇몇 실시형태들에서 프로세스 (500) 의 블록 (530) 에 의해 제어될 수도 있다. 다른 실시형태들은 프로세스 (600) 의 블록 (620) 으로 디스플레이의 이 부분을 제어할 수도 있다. 디스플레이된 이미지 (820) 의 하측 절반은 다른 이미지 부분을 포함한다. 예시된 실시형태에서, 이 이미지 부분은 프리뷰 이미지이다. 프리뷰 이미지의 디스플레이는 프로세스 (500) 의 블록 (540) 에 의해 제어될 수도 있다. 대안으로, 프로세스 (600) 의 블록 (630) 은 몇몇 실시형태들에서 디스플레이의 이 부분을 제어할 수도 있다.
예시된 실시형태에서, 디스플레이 (820) 의 상측 절반은 또한 화살표 (830) 를 포함한다. 화살표는 디스플레이 (820) 의 상측 절반에서 디스플레이된 이미지 (810) 와 디스플레이 (820) 의 하측 절반에서 디스플레이된 프리뷰 이미지 사이에 최적의 수평방향 이격도를 제공하도록 이미징 센서가 이동되어야 하는 방향을 나타낸다. 화살표 (830) 는 스냅샷이 현재 카메라 포지션에서 캡처되면 달성되는 입체 품질을 나타내도록 컬러를 변화시킬 수도 있다. 예를 들어, 입체 품질이 최적과는 멀리 떨어져 있을 때, 화살표는 적색이 될 수도 있다. 몇몇 실시형태들에서, 화살표 (830) 는 수평 이격도가 타당한 역시 준최적인 구역으로 천이할 때 황색 컬러로 천이할 수도 있다. 화살표 (830) 의 길이는 또한 최적의 수평 이격도를 달성하는 데 필요한 추가적인 이미징 센서 변위의 양에 의존하여 확장 또는 수축할 수도 있다. 수평 이격도가 최적의 포지션을 달성할 때, 몇몇 실시형태들에서, 화살표는 상이한 심볼, 예를 들어 녹색 라이트로 천이할 수도 있다. 대안으로, 화살표는 전체적으로 나타나지 않을 수도 있고, 또는 다른 형태로 변화할 수도 있다.
디스플레이된 이미지 (820) 의 몇몇 실시형태들은 또한 좌표선 또는 룰러 표시자 (840) 를 포함할 수도 있다. 좌표선은 이 실시형태에서 디스플레이 (820) 의 상측 절반에 디스플레이된 제 1 이미지와 이 실시형태에서 디스플레이된 이미지 (820) 의 하측 절반에 디스플레이된 프리뷰 이미지 사이의 허용된 수평 시프트를 통신한다. 좌표선은 또한 제 2 이미지가 현재 이미징 센서 포지션에서 캡처된다면 달성되는 입체 이미지 품질의 레벨을 나타내는 컬러를 변화시킬 수도 있다. 예를 들어, 몇몇 실시형태들에서, 좌표선은 현재 수평 이격도가 불량한 입체 이미지 풀질을 초래할 때 적색으로 될 수도 있다. 좌표선은 수평 이격도가 합당한 레벨에 접근할 때에는 황색으로 될 수도 있고, 수평 이격도가 양호한 입체 이미지 품질을 제공할 때 녹색으로 될 수도 있다.
몇몇 실시형태들은 또한 디스플레이 이미지 (820) 의 하측 부분에 나타내진 상태 바 (850) 와 같이 동적으로 계산된 입체 이미지 품질 표시자로 디스플레이 이미지 (820) 의 일부분을 파퓰레이트할 수도 있다. 예시된 실시형태에서, 상태 바 (850) 위의 작은 화살표는 제 2 이미지가 현재 센서 포지션에서 캡처되는 경우에 입체 이미지 품질 레벨을 나타내도록 수평으로 이동한다. 예시된 실시형태에서 수평 바 내의 각각의 컬러 구역은 특정 입체 이미지 페어 품질 레벨에 대응한다. 일 실시형태에서, 이미지 프로세싱 명령들은 화살표를 어디에 포지셔닝할 것인지를 결정하기 위해 제 1 이미지와 현재 프리뷰 또는 실시간 이미지 사이의 수평 이격도를 동적으로 계산할 수도 있다. 다른 실시형태들은 그들의 동적 품질 표시자에 대해 상이한 형태를 선택할 수도 있다.
도 9 는 제 2 이미지를 캡처하는 가이드를 제공하기 위해 전자 디스플레이 상에 디스플레이된 이미지의 다른 실시형태를 나타낸다. 제 1 이미지 (910) 는 입체 이미지 페어의 제 1 이미지를 나타낸다. 이미지 (920) 는 제 1 이미지 (910) 가 캡처된 후 전자 디스플레이 상에 디스플레이된 이미지의 일 실시형태를 나타낸다. 중요한 것은, 이미지 (910) 에서, 갈색 곰의 등에 튀어 나온 부분 (hump) 이 이미지에 서의 중앙에 오도록 조정되는 것이다. 일 실시형태에서, 이미지 (920) 에서 밝게 비춰진 곰은 프리뷰 이미지, 또는 디바이스 이미징 센서에 의해 현재 감지되는 실시간 이미지이다. 이미지 (920) 에서 프리뷰 이미지는 곰의 튀어 나온 부분을 중앙의 좌측에 나타낸다. 곰의 포지션에서의 이러한 시프트는 이미지 (910) 가 캡처된 후에 우측으로 패닝되는 이미징 센서로 인한 것이다. 그러나, 중요한 것은, 곰의 흐릿하게 비춰진 이미지는 밝게 비춰진 프리뷰 이미지의 우측에 대한 것이다. 흐릿하게 비춰진 곰의 포지션은 이미지 (910) 에 대응하며, 이는 프리뷰 이미지에 반투명하게 오버레이된다. 몇몇 실시형태들에서, 흐릿하게 비춰진 곰은 프로세스 (600) 의 블록 (620) 또는 프로세스 (500) 의 블록 (518) 에 의해 디스플레이될 수도 있다. 몇몇 다른 실시형태들에서, 밝게 비춰진 곰은 프리뷰 또는 실시간 이미지를 나타낼 수도 있고, 프로세스 (500) 의 블록 (5220 또는 프로세스 (600) 의 블록 (630) 에 의해 디스플레이될 수도 있다. 2 개의 이미지들을 투명하게 오버레이함으로써, 입체 이미지 페어의 제 2 이미지를 캡처하기 전에 이미징 센서를 포지셔닝하는 방법에 대한 유익한 가이드가 제공된다.
입체 장치 디스플레이의 이 실시형태는 또한 방향 표시자 (930) 및 품질 표시자 (940) 를 포함한다는 것에 주목한다. 예시된 실시형태에서, 방향 표시자 (930) 는 빛을 더 패닝하기 위한 필요성을 나타내고 있다. 품질 표시자는, 제 2 이미지가 현재 이미징 센서 포지션에서 캡처된다면, 낮은 품질의 입체 이미지 페어가 초래될 것임을 통신하고 있다. 이것은 수평 품질 바 (840) 의 특정 부분 위에 작은 화살표로 나타내진다.
도 10 은 도 1 의 캡처 제어 모듈 (170) 또는 사용자 인터페이스 (165) 의 일 실시형태 내에서 구동하는 프로세스 (1000) 를 나타낸 플로우차트이다. 프로세스 (1000) 는 시작 스테이트 (1005) 에서 시작하고, 그 후, 블록 (1010) 으로 이동한다. 일 실시형태에서, 블록 (1010) 은 제 1 이미지와 현재 프리뷰 또는 실시간 이미지 사이의 수평 이격도를 결정하는 캡처 제어 모듈 (170) 에서 명령들에 의해 구현된다. 대안으로, 캡처 제어 모듈 (170) 은 이격도 제거 모듈 (140) 에서 서브루틴들을 호출할 수도 있는데, 이는 몇몇 실시형태들에서 2 개의 이미지들 사이에서 수평 이격도를 결정하는 명령들을 포함한다.
다음, 프로세스 (1000) 는 블록 (1020) 으로 이동하고, 방향 표시에 대한 초기 방향이 결정된다. 예시적인 방향 표시는 도 8 의 화살표 (830) 이다. 몇몇 실시형태들은 도 5 에 예시된 프로세스 (500) 의 블록 (515) 또는 도 6 에 예시된 프로세스 (600) 의 블록 (610) 에서의 이미지 1 의 캡처 후에 좌측 방향에 대해 디폴트할 수도 있다. 다른 실시형태들은 우측 방향에 대해 디폴트할 수도 있다. 그러나, 몇몇 실시형태들에서, 일단 이미징 센서가 제 1 이미지를 캡처하는 데 이용되는 포지션에 대해 수평 포지션을 변화시킨다면, 화살표 (830) 의 방향은 제 1 이미지와 현재 프리뷰 또는 실시간 이미지 사이의 수평 이격도에 의해 결정될 수도 있다. 일단 표시자의 방향이 결정되었다면, 프로세스 (1000) 는 표시자의 길이가 결정되는 블록 (1030) 으로 이동한다. 몇몇 실시형태들은 고정된 길의 표시자를 유지할 수도 있고, 반면에, 다른 실시형태들은 제 1 캡처된 이미지와 프리뷰 또는 실시간 이미지 사이의 수평 이격도에 기초하여 방향 표시자의 길이를 변화시킬 수도 있다. 방향 표시자의 폭은 또한 최적의 수평 이격도와 현재 수평 이격도 사이의 거리에 기초하여 변할 수도 있다. 추가로, 몇몇 실시형태들은 방향 표시자의 최대 및 최소 폭을 제한할 수도 있다. 예를 들어, 몇몇 실시형태들에서, 방향 표시자 길이는 디스플레이의 수평 폭의 75 퍼센트로 제한될 수도 있다. 반대로, 길이는 수평 이격도가 최적에 가까울 때 하측 경계에 의해 제한될 수도 있다. 이 길이는 디스플레이의 사이즈에 의해 결정될 수도 있고, 또는 인간의 눈에 의해 용이하게 인지가능한 사이즈로 제한될 수도 있다. 몇몇 실시형태들에서, 수평 이격도가 최적에 접근할 때, 방향 표시자는 하나의 형태로부터 다른 형태로 천이할 수도 있다. 예를 들어, 몇몇 실시형태들에서, 방향 표시자는, 수평 이격도가 최적이 아닌 경우, 화살표로부터, 제 2 픽처가 지금 취해질 수 있음을 나타내는 녹색 (녹색 원 또는 다른 녹색 표시자로 표현됨) 으로 변환할 수도 있다. 다른 실시형태들은 제 2 이미지를 캡처함에 있어서 긴급 정도를 통신하기 위해 플래싱 표시자로 천이할 수도 있다.
일단 방향 표시자의 길이 및 방향이 결정되면, 프로세스 (1000) 는 임의의 구 방향 표시자가 (존재 시) 소거되고, 새로운 표시자가 블록들 (1020, 1030) 에서 결정된 파라미터들에 기초하여 디스플레이되는 블록 (1040) 으로 이동한다. 따라서, 전술된 블록들 (1010-1040) 을 수행하는 명령들을 포함하는 캡처 제어 모듈 (170) 또는 사용자 인터페이스 모듈 (165) 은, 이미징 센서를 이동시키는 방향을 나타내는 방향 표시자를 디스플레이하는 하나의 수단을 나타낸다.
다음, 프로세스 (1000) 는 블록 (1050) 으로 이동하고, 현재 수평 이격도와 최적의 수평 이격도 사이의 델타가 특정 품질 표시에 맵핑된다. 일 실시형태에서, 품질 표시자는 도 8 의 아이템 (850) 을 닮을 수도 있다. 최적의 수평 이격도는 뷰 필드의 약 1/30 일 수 있다. 따라서, 수평 이격도가 이 레벨에 도달할 때, 도 8 의 예시된 실시형태는 바의 녹색 부분을 넘어 수평 품질 바 (850) 에 작은 화살표를 배치할 것이다. 작은 화살표의 우측에 대한 영역은 수평 이격도를 나타내기에는 너무 작고, 반면에, 화살표의 좌측 영역은 점진적으로 보다 큰 수평 이격도들을 나타내고, 바의 좌측 원단에 대한 밝은 적색 영역은 제 2 이미지를 캡처하기에는 최악의 포지션을 나타낸다. 일단 품질 레벨에 대한 수평 이격도의 적절한 맵핑이 수행되면, 프로세스 (1000) 는 임의의 보다 오래된 품질 표시자가 (존재 시) 소거되고 새로운 품질 표시자가 디스플레이되는 블록 (1060) 으로 이동한다.
다음, 프로세스 (1000) 는 블록 (1070) 으로 이동하고, 좌표선이 스크린 상에 디스플레이된다. 일 실시형태에서, 좌표선은 도 8 의 아이템 (840) 일 수도 있다. 좌표선은 제 1 이미지와 실시간 이미지 또는 프리뷰 이미지 사이의 최적의 수평 이격도를 통신한다. 최적의 수평 이격도가 일반적으로 뷰 필드의 약 1/30 에서 발견되므로, 좌표선의 길이는 일반적으로 디스플레이의 폭과 비례할 것이다. 좌표선이 디스플레이된 후, 프로세스 (1000) 는 종료 스테이트 (1080) 로 이동한다.
당업자라면, 본 명세서에 개시된 구현예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 프로세스 블록들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로 구현될 수도 있음을 또한 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 콤포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성에 대해 전반적으로 전술되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면 전술된 기능성을 각각의 특정 어플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정들이 본 발명의 범주를 벗어나게 하는 것으로 이해되어서는 안된다. 당업자라면, 일부분 또는 일부이 무엇인가를 전체보다 적게 또는 전체와 동일하게 포함할 수도 있는 것임을 인식할 것이다. 예를 들어, 픽셀들의 집합의 일부분은 이러한 픽셀들의 하위 집합을 지칭할 수도 있다.
본 명세서에 개시된 구현예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 본 명세서에서 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 콤포넌트들, 또는 이들의 임의의 조합으로 구현되거나 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로는, 프로세서가 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면 DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
본 명세서에 개시된 구현예들과 관련하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 비일시적 저장 매체에 상주할 수도 있다. 예시적인 컴퓨터 판독가능 저장 매체는 프로세서에 커플링되어 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독하고 컴퓨터 판독가능 저장 매체에 정보를 기록할 수 있도록 한다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 있을 수도 있다. ASIC 는 사용자 단말기, 카메라, 또는 다른 디바이스에 있을 수도 있다. 대안에서, 프로세서 및 저장 매체는 사용자 단말기, 카메라, 또는 다른 디바이스에서의 개별 콤포넌트들로서 있을 수도 있다.
제목들은 참조를 위해 그리고 다양한 섹션들을 위치시키는 것을 돕기 위해 본 명세서에 포함되된다. 이러한 제목들은 이와 관련하여 설명된 개념들의 범주를 제한하고자 의도되지 않는다. 이러한 개념들은 전체 명세서 전반에 걸쳐 적용적용가능할 수도 있다.
개시된 구현예들에 대한 이전 설명들은 임의의 당업자가 본 발명을 행하거나 또는 이용하게 하도록 제공된다. 이러한 구현예들에 대한 다양한 변경들은 당업자에게는 자명할 것이며, 본 명세서에서 정의된 일반적인 원칙들은 본 발명의 사상 또는 범주를 벗어나지 않으면서 다른 구현예들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에서 나타내진 구현예들로 제한되도록 의도되는 것이 아니며, 본 명세서에 개시된 원칙들 및 신규한 특징들과 일치하는 최광의의 범주에 따르는 것이다.

Claims (32)

  1. 입체 이미지를 캡처하는 방법으로서,
    이미징 센서를 통해 제 1 이미지를 캡처하는 단계;
    상기 이미징 센서를 통해 제 2 이미지를 캡처하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 이격도 (vertical disparity) 를 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수평 이격도 (horizontal disparity) 를 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 기하학적 왜곡을 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수렴 포인트를 결정하는 단계;
    상기 수직 이격도, 상기 수평 이격도, 상기 기하학적 왜곡, 및 적어도 상기 제 1 이미지 또는 상기 제 2 이미지에 대한 수렴 포인트 중 적어도 하나에 대한 정정을 적용하여 적어도 하나의 정정된 이미지를 생성하는 단계;
    상기 정정된 이미지를 데이터 스토어에 저장하는 단계를 포함하는, 입체 이미지를 캡처하는 방법.
  2. 제 1 항에 있어서,
    상기 수렴 포인트는 깊이 범위 및 깊이 히스토그램에 기초하여 결정되는, 입체 이미지를 캡처하는 방법.
  3. 제 1 항에 있어서,
    상기 수직 이격도를 결정하는 단계는 행 합 벡터들의 크로스 상관을 포함하는, 입체 이미지를 캡처하는 방법.
  4. 제 1 항에 있어서,
    상기 수직 이격도를 결정하는 단계는 수평 에지 합 벡터들의 크로스 상관을 포함하는, 입체 이미지를 캡처하는 방법.
  5. 제 1 항에 있어서,
    상기 정정된 이미지에 기초하여 입체 이미지 페어를 생성하는 단계를 더 포함하는, 입체 이미지를 캡처하는 방법.
  6. 제 5 항에 있어서,
    상기 방법은 반복적으로 수행되는, 입체 이미지를 캡처하는 방법.
  7. 입체 이미지를 캡처하는 방법으로서,
    이미징 센서를 통해 제 1 이미지를 캡처하는 단계;
    전자 디스플레이 상에 방향 표시자를 디스플레이하는 단계로서, 상기 방향 표시자는 상기 이미징 센서를 이동시키는 방향을 나타내는, 상기 디스플레이하는 단계;
    상기 이미징 센서를 통해 제 2 이미지를 캡처하는 단계; 및
    상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 입체 이미지를 생성하는 단계를 포함하는, 입체 이미지를 캡처하는 방법.
  8. 제 7 항에 있어서,
    전자 디스플레이의 대응하는 부분 상에 상기 제 1 이미지의 일부분을 디스플레이하는 단계; 및
    상기 전자 디스플레이의 대응하는 부분 상에 상기 이미징 센서로부터의 프리뷰 이미지의 일부분을 디스플레이하는 단계를 더 포함하는, 입체 이미지를 캡처하는 방법.
  9. 제 7 항에 있어서,
    전자 디스플레이 상에 상기 제 1 이미지의 투명 버전을 디스플레이하는 단계; 또는
    상기 전자 디스플레이 상에 상기 이미징 센서로부터의 프리뷰 이미지의 투명 버전을 디스플레이하는 단계를 더 포함하는, 입체 이미지를 캡처하는 방법.
  10. 제 7 항에 있어서,
    고품질 이미지를 캡처하는 데 필요한 수평 시프트의 제 1 표시를 상기 전자 디스플레이 상에 디스플레이하는 단계를 더 포함하는, 입체 이미지를 캡처하는 방법.
  11. 제 10 항에 있어서,
    상기 제 1 표시는 좌표선 (gridline) 인, 입체 이미지를 캡처하는 방법.
  12. 제 10 항에 있어서,
    상기 제 1 표시는 룰러 (ruler) 인, 입체 이미지를 캡처하는 방법.
  13. 제 7 항에 있어서,
    동적으로 추정된 품질 표시자를 디스플레이하는 단계를 더 포함하는, 입체 이미지를 캡처하는 방법.
  14. 제 10 항에 있어서,
    상기 제 1 표시의 컬러는 상기 제 1 이미지와 프리뷰 이미지 사이의 상기 수평 이격도에 기초하는, 입체 이미지를 캡처하는 방법.
  15. 제 7 항에 있어서,
    상기 제 2 이미지는 제어의 작동에 응답하여 캡처되는, 입체 이미지를 캡처하는 방법.
  16. 전자 이미징 센서;
    상기 이미징 센서를 제어하도록 구성된 전자 프로세서; 및
    제어 모듈을 포함하며,
    상기 제어 모듈은,
    상기 이미징 센서를 사용하여 제 1 이미지를 캡처하고,
    상기 이미징 센서를 사용하여 제 2 이미지를 캡처하고;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 이격도를 결정하고;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수평 이격도를 결정하고;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 기하학적 왜곡을 결정하고;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수렴 포인트를 결정하고;
    적어도 하나의 정정된 이미지를 생성하기 위해, 상기 수직 이격도, 상기 수평 이격도, 상기 기하학적 왜곡, 또는 적어도 상기 제 1 이미지 또는 상기 제 2 이미지에 대한 수렴 포인트 중 적어도 하나에 대한 정정을 적용하도록 구성된, 이미징 디바이스.
  17. 제 16 항에 있어서,
    상기 제어 모듈은 상기 정정된 이미지에 기초하여 입체 이미지 페어를 생성하도록 추가로 구성된, 이미징 디바이스.
  18. 제 16 항에 있어서,
    상기 제어 모듈은 행 합 벡터들의 크로스 상관에 기초하여 상기 수직 이격도를 결정하도록 구성된, 이미징 디바이스.
  19. 제 16 항에 있어서,
    상기 제어 모듈은 수평 에지 합 벡터들의 크로스 상관에 기초하여 상기 수직 이격도를 결정하도록 구성된, 이미징 디바이스.
  20. 제 16 항에 있어서,
    상기 이미징 디바이스는 무선 전화 핸드셋인, 이미징 디바이스.
  21. 제 16 항에 있어서,
    상기 제어 모듈은 상기 제 2 이미지를 자동으로 캡처하도록 구성된, 이미징 디바이스.
  22. 제 16 항에 있어서,
    사용자 작동 제어를 더 포함하며, 상기 제어 모듈은 상기 사용자 작동 제어의 제 1 작동에 응답하여 상기 제 1 이미지를 캡처하고 그리고 상기 사용자 작동 제어의 제 2 작동에 응답하여 상기 제 2 이미지를 캡처하도록 추가로 구성된, 이미징 디바이스.
  23. 입체 이미지들을 캡처하도록 구성된 이미징 디바이스로서,
    이미징 센서;
    전자 디스플레이;
    상기 이미징 센서 및 상기 전자 디스플레이를 제어하도록 구성된 프로세서; 및
    제어 모듈을 포함하며,
    상기 제어 모듈은,
    상기 이미징 센서를 사용하여 제 1 이미지를 캡처하고,
    상기 전자 디스플레이 상에 방향 표시자를 디스플레이하고, 상기 방향 표시자는 상기 이미징 센서를 이동시키는 방향을 나타내고,
    상기 이미징 센서를 사용하여 제 2 이미지를 캡처하고,
    상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 입체 이미지를 생성하도록 구성된, 입체 이미지들을 캡처하도록 구성된 이미징 디바이스.
  24. 제 23 항에 있어서,
    상기 제어 모듈은 상기 제 1 이미지와 상기 제 2 이미지 사이의 수평 이격도를 결정하도록 추가로 구성되고, 상기 방향 표시자의 상기 전자 디스플레이는 결정된 상기 수평 이격도에 기초하는, 입체 이미지들을 캡처하도록 구성된 이미징 디바이스.
  25. 제 23 항에 있어서,
    가속도계를 더 포함하며, 상기 방향 표시자의 상기 전자 디스플레이는 상기 가속도계로부터의 입력에 기초하는, 입체 이미지들을 캡처하도록 구성된 이미징 디바이스.
  26. 제 23 항에 있어서,
    상기 제어 모듈은 상기 전자 디스플레이 상에 상기 제 1 이미지의 일부분을 디스플레이하도록 추가로 구성된, 입체 이미지들을 캡처하도록 구성된 이미징 디바이스.
  27. 프로세서 실행가능 제 1 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로세서 실행가능 제 1 명령들은, 실행 시,
    이미징 센서를 사용하여 제 1 이미지를 캡처하는 단계;
    상기 이미징 센서를 사용하여 제 2 이미지를 캡처하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 이격도를 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수평 이격도를 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 기하학적 왜곡을 결정하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수렴 포인트를 결정하는 단계; 및
    적어도 하나의 정정된 이미지를 생성하기 위해 상기 수직 이격도, 상기 수평 이격도, 상기 기하학적 왜곡, 및 적어도 상기 제 1 이미지 또는 상기 제 2 이미지에 대한 수렴 포인트 중 적어도 하나에 대한 정정을 적용하여 적어도 하나의 정정된 이미지를 생성하는 단계를 포함하는 방법을 수행하는, 비일시적 컴퓨터 판독가능 매체.
  28. 제 27 항에 있어서,
    실행 시, 행 합 벡터들의 크로스 상관에 기초하여 상기 수직 이격도를 결정하는 방법을 수행하는 프로세서 실행가능 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  29. 제 27 항에 있어서,
    실행 시, 상기 정정된 이미지에 기초하여 입체 이미지 페어를 생성하는 방법을 수행하는 프로세서 실행가능 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  30. 프로세서 실행가능 제 1 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로세서 실행가능 제 1 명령들은, 실행 시,
    이미징 센서를 사용하여 제 1 이미지를 캡처하는 단계;
    상기 이미징 센서를 이동시키는 방향을 나타내는 방향 표시자를 디스플레이하는 단계;
    상기 이미징 센서를 사용하여 제 2 이미지를 캡처하는 단계; 및
    상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 입체 이미지를 생성하는 단계를 포함하는 방법을 수행하는, 비일시적 컴퓨터 판독가능 매체.
  31. 제 30 항에 있어서,
    상기 컴퓨터 판독가능 매체는, 실행 시, 전자 디스플레이의 일부분 상에 상기 제 1 이미지의 일부분을 디스플레이하고 상기 전자 디스플레이의 대응하는 부분 상에 프리뷰 이미지의 일부분을 디스플레이하는 방법을 수행하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  32. 이미징 센서를 통해 제 1 이미지를 캡처하는 수단;
    상기 이미징 센서를 이동시키는 방향을 나타내는 방향 표시자를 디스플레이하는 수단;
    상기 이미징 센서를 통해 제 2 이미지를 캡처하는 수단; 및
    상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 입체 이미지를 생성하는 수단을 포함하는, 이미징 디바이스.
KR1020147006656A 2011-08-12 2012-08-06 입체 이미지 페어를 캡처하는 시스템들 및 방법들 KR101958044B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/208,838 2011-08-12
US13/208,838 US9191649B2 (en) 2011-08-12 2011-08-12 Systems and methods to capture a stereoscopic image pair
PCT/US2012/049754 WO2013025391A2 (en) 2011-08-12 2012-08-06 Systems and methods to capture a stereoscopic image pair

Publications (2)

Publication Number Publication Date
KR20140053313A true KR20140053313A (ko) 2014-05-07
KR101958044B1 KR101958044B1 (ko) 2019-03-13

Family

ID=46642659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006656A KR101958044B1 (ko) 2011-08-12 2012-08-06 입체 이미지 페어를 캡처하는 시스템들 및 방법들

Country Status (6)

Country Link
US (1) US9191649B2 (ko)
EP (2) EP2955916A1 (ko)
JP (1) JP6042434B2 (ko)
KR (1) KR101958044B1 (ko)
CN (1) CN103733617B (ko)
WO (1) WO2013025391A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012014355A1 (ja) * 2010-07-27 2013-09-09 パナソニック株式会社 撮像装置
KR101773616B1 (ko) * 2011-05-16 2017-09-13 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
US9402065B2 (en) * 2011-09-29 2016-07-26 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
US20130107008A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Method, apparatus and computer program product for capturing images
KR101873747B1 (ko) * 2011-12-27 2018-07-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
US10148929B2 (en) 2013-04-15 2018-12-04 Htc Corporation Method of prompting proper rotation angle for image depth establishing
CN105143816B (zh) * 2013-04-19 2018-10-26 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
DE102013014536B4 (de) * 2013-09-03 2015-07-09 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Übertragung von Information und Vorrichtung zur Durchführung des Verfahrens
CN103945207B (zh) * 2014-04-24 2015-09-02 浙江大学 一种基于视点合成的立体图像垂直视差消除方法
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
US10089396B2 (en) * 2014-07-30 2018-10-02 NthGen Software Inc. System and method of a dynamic interface for capturing vehicle data
US20180007345A1 (en) * 2015-01-16 2018-01-04 Imra Europe S.A.S. Self-rectification of stereo camera
EP3089449B1 (en) * 2015-04-30 2020-03-04 InterDigital CE Patent Holdings Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US10362205B2 (en) * 2016-04-28 2019-07-23 Qualcomm Incorporated Performing intensity equalization with respect to mono and color images
CN107046638A (zh) * 2016-12-30 2017-08-15 无锡易维视显示技术有限公司 单摄像头的3d影像拍摄方法
WO2018223267A1 (en) * 2017-06-05 2018-12-13 Shanghaitech University Method and system for hyperspectral light field imaging
JP2019057840A (ja) * 2017-09-21 2019-04-11 トヨタ自動車株式会社 撮像装置
US11721010B2 (en) 2019-09-22 2023-08-08 Openlane, Inc. Vehicle self-inspection apparatus and method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754327A (en) 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US4966436A (en) 1987-04-30 1990-10-30 Christopher A. Mayhew Apparatus for obtaining images for use in displaying a three-dimensional
US5157484A (en) 1989-10-23 1992-10-20 Vision Iii Imaging, Inc. Single camera autosteroscopic imaging system
JPH08262527A (ja) * 1995-03-24 1996-10-11 Canon Inc カメラ
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US5883695A (en) 1997-09-19 1999-03-16 Paul; Eddie Method and apparatus for producing stereoscopic images with single sensor
GB9810553D0 (en) 1998-05-15 1998-07-15 Tricorder Technology Plc Method and apparatus for 3D representation
AU2001268416A1 (en) * 2000-06-15 2001-12-24 Auckland Uniservices Limited Basis functions of three-dimensional models for compression, transformation and streaming
JP2003244727A (ja) * 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
GB2405764A (en) * 2003-09-04 2005-03-09 Sharp Kk Guided capture or selection of stereoscopic image pairs.
CN1998153A (zh) 2004-05-10 2007-07-11 辉达公司 用于视频数据的处理器
JP2006005417A (ja) * 2004-06-15 2006-01-05 Canon Inc 撮影装置
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
JP4712661B2 (ja) 2006-09-22 2011-06-29 オリンパスイメージング株式会社 撮像装置
JP4828486B2 (ja) * 2007-08-14 2011-11-30 富士フイルム株式会社 デジタルカメラ、撮影方法及び撮影プログラム
KR100962329B1 (ko) * 2009-02-05 2010-06-10 연세대학교 산학협력단 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
US20100316282A1 (en) 2009-06-16 2010-12-16 Hope Clinton B Derivation of 3D information from single camera and movement sensors
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
KR101661969B1 (ko) 2009-11-02 2016-10-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2013062557A (ja) * 2010-01-14 2013-04-04 Panasonic Corp デジタル撮影装置及び、３ｄ撮影方法

Also Published As

Publication number Publication date
CN103733617A (zh) 2014-04-16
WO2013025391A3 (en) 2013-04-11
EP2955916A1 (en) 2015-12-16
EP2742696A2 (en) 2014-06-18
JP2014527756A (ja) 2014-10-16
JP6042434B2 (ja) 2016-12-14
WO2013025391A2 (en) 2013-02-21
EP2742696B1 (en) 2015-11-04
US20130038701A1 (en) 2013-02-14
KR101958044B1 (ko) 2019-03-13
US9191649B2 (en) 2015-11-17
CN103733617B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR101958044B1 (ko) 입체 이미지 페어를 캡처하는 시스템들 및 방법들
US10389948B2 (en) Depth-based zoom function using multiple cameras
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US10171791B2 (en) Methods and apparatus for conditional display of a stereoscopic image pair
CN106899781B (zh) 一种图像处理方法及电子设备
US9300947B2 (en) Producing 3D images from captured 2D video
EP3038345B1 (en) Auto-focusing method and auto-focusing device
EP3544286B1 (en) Focusing method, device and storage medium
EP2562715A1 (en) Portable electric equipment and method of processing a series of frames
KR20180109918A (ko) 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들
CN105120172A (zh) 一种移动终端前后置摄像头拍照方法及移动终端
KR20130030780A (ko) 3 차원 이미지 프로세싱
CN103402058A (zh) 一种拍摄图像的处理方法及装置
CN106922181B (zh) 方向感知自动聚焦
US20230033956A1 (en) Estimating depth based on iris size
WO2012147368A1 (ja) 撮影装置
CN113890984B (zh) 拍照方法、图像处理方法和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant