KR101517661B1 - 다중 이미지 센서들로부터 데이터의 결합 - Google Patents

다중 이미지 센서들로부터 데이터의 결합 Download PDF

Info

Publication number
KR101517661B1
KR101517661B1 KR1020127029027A KR20127029027A KR101517661B1 KR 101517661 B1 KR101517661 B1 KR 101517661B1 KR 1020127029027 A KR1020127029027 A KR 1020127029027A KR 20127029027 A KR20127029027 A KR 20127029027A KR 101517661 B1 KR101517661 B1 KR 101517661B1
Authority
KR
South Korea
Prior art keywords
image
line
data
sensor
processor
Prior art date
Application number
KR1020127029027A
Other languages
English (en)
Other versions
KR20130006503A (ko
Inventor
세르지우 알 고마
하우 황
조셉 청
밀리보제 알렉식
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130006503A publication Critical patent/KR20130006503A/ko
Application granted granted Critical
Publication of KR101517661B1 publication Critical patent/KR101517661B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Abstract

다중 센서들로부터의 데이터를 결합하는 방법이 개시된다. 그 방법은 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 또한 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 단계, 동기화된 데이터 라인을 생성하기 위해 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 결합하는 단계, 및 미지 프로세서의 단일 카메라 입력을 통해 동기화된 데이터 라인을 이미지 프로세서에 제공하는 단계를 포함한다.

Description

다중 이미지 센서들로부터 데이터의 결합{COMBINING DATA FROM MULTIPLE IMAGE SENSORS}
우선권 주장
본 출원은 각각 2010 년 4 월 5 일에 출원된 미국 가출원 제 61/320,940 호, 2010 년 4 월 14 일에 출원된 미국 가출원 제 61/324,259 호, 2010 년 6 월 28 일에 출원된 미국 가출원 제 61/359,312 호 및 2010 년 11 월 11 일에 출원된 미국 가출원 제 61/412,755 호를 우선권 주장하고 참조로서 통합한다.
기술 분야
본 개시물은 일반적으로 다중 이미지 센서들로부터 데이터를 결합하는 것과 관련된다.
기술의 진보는 더 작고 더 강력한 컴퓨팅 디바이스들을 발생하였다. 예를 들면, 소형이고, 경량이며, 사용자들이 쉽게 운반할 수 있는, 휴대용 무선 전화기들, 개인 휴대 정보 단말기들 (PDAs) 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현존하고 있다. 더욱 상세하게는, 셀룰러 전화기들 및 인터넷 프로토콜 (IP) 전화기들과 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 추가로, 다수의 이러한 무선 전화기들은 그 내부에 통합되는 다른 타입의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 디지털 스틸 카메라 및 디지털 비디오 카메라를 포함할 수 있다. 또한, 이러한 무선 전화기들은 인터넷에 액세스하는데 이용될 수 있는, 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 처리할 수도 있다.
추가로, 무선 디바이스들은 3 차원 (3D) 애플리케이션들을 실행할 수도 있다. 3D 애플리케이션들에서, 통상적으로 적어도 2 개의 이미지 센서들이 장면으로부터 깊이 (depth) 정보를 캡처하는데 이용된다. 2 개의 이미지 센서들로부터의 프레임 데이터는 거리 정보를 추론하기 위해 결합되고 처리되며, 3D 표현을 구성하기 위해 이용된다. 센서들 각각으로부터의 이미지 데이터를 결합하는 것은 통상적으로 프레임 동기화 및 라인 동기화를 수행하는 것을 포함하며, 이들은 동기화 및 정렬 문제들을 발생할 수도 있다. 추가로, 다중 센서들로부터의 이미지 데이터의 필터링 및 이러한 이미지 데이터의 인터리빙은 소스 센서들이 상이한 주파수들 또는 위상들로 데이터를 제공할 경우 더 복잡해질 수도 있다. 다중 센서들로부터의 데이터를 효율적으로 동기화하고, 데이터를 효율적으로 처리하여 전체 이미지 프로세싱 시스템 비용 및 복잡도를 감소시키는 것은 유리할 것이다.
다수의 카메라 어레이 애플리케이션들에서, 다중 센서들 각각으로부터의 이미지 데이터는 라인 레벨로 동기화되고 처리된다. 다중 센서들로부터의 데이터를 결합하기 위한 이미지 프로세싱 시스템이 개시되며, 여기서 제 1 이미지 센서와 제 2 이미지 센서로부터의 이미지 데이터는 동기화되고 처리된다. 동기화된 데이터 라인들은 제 1 이미지 센서에 의해 생성된 제 1 데이터 스트림으로부터의 제 1 데이터와 제 2 이미지 센서에 의해 생성된 제 2 데이터 스트림으로부터의 제 2 데이터를 동기화시키고 결합함으로써 생성된다. 이미지 신호 프로세서는 결합기로부터 수신된 동기화된 데이터 라인들을 처리하여, 처리된 프레임을 디스플레이로 출력하도록 구성된다.
특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 동기화될 다중 이미지 센서들에 공통 제어 신호를 제공하는 단계를 포함한다. 그 방법은 다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인을 수신하는 단계, 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인을 수신하는 단계, 및 동기화된 데이터 라인을 생성하기 위해 제 1 데이터 라인과 제 2 데이터 라인을 결합하는 단계를 더 포함한다.
다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 통해 동기화될 다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인을 수신하도록 구성된 제 1 입력을 포함한다. 그 장치는 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인을 수신하도록 구성된 제 2 입력, 및 제 1 입력과 제 2 입력에 커플링된 결합기를 더 포함하며, 상기 결합기는 제 1 데이터 라인과 제 2 데이터 라인을 결합하여 동기화된 데이터 라인을 생성하도록 구성된다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들의 각각으로부터의 동기화된 데이터 출력을 수신하는 단계, 동기화된 데이터 라인을 생성하기 위해 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 결합하는 단계 및 이미지 프로세서의 단일 카메라 입력을 통해 동기화된 데이터 라인을 이미지 프로세서에 제공하는 단계를 더 포함한다.
또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 다중 이미지 센서들에 제공하도록 구성된 센서 동기화기를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 장치는 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공될 동기화된 데이터 라인을 생성하기 위해 다중 이미지 센서들 각각으로부터의 동기화된 데이터 출력을 결합하도록 구성된 결합기를 더 포함한다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들의 각각으로부터 동기화된 데이터 출력을 수신하는 단계를 더 포함한다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 다중 이미지 센서들에서 공통 제어 신호를 수신하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 단계를 더 포함한다.
또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 다중 이미지 센서들에 제공하여 다중 이미지 센서들이 이미지 데이터를 생성하게 하도록 구성된 센서 동기화기를 포함한다. 그 장치는 다중 이미지 센서들의 각각으로부터의 동기화된 데이터 출력을 수신하도록 구성된 센서 데이터 인터페이스를 더 포함한다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 라인들을 수신하는 단계를 포함한다. 이미지 데이터의 각각의 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함한다. 그 방법은 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션 및 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하는 단계를 더 포함한다. 제 1 섹션 및 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성된다.
또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 단일 카메라에 대한 입력을 갖는 이미지 프로세서를 포함한다. 이미지 프로세서는 입력을 통해 이미지 데이터의 라인들을 수신하도록 구성된다. 이미지 데이터의 각각의 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함한다. 이미지 프로세서는 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션 및 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하도록 구성된다. 제 1 섹션 및 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성된다.
특정 실시형태에서, 다중 센서들로부터의 데이터를 결합하는 방법이 개시된다. 그 방법은 제 1 이미지 센서로부터 제 1 데이터 스트림을 수신하는 단계, 제 2 이미지 센서로부터 제 2 데이터 스트림을 수신하는 단계, 및 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하는 단계를 포함한다. 그 방법은 이미지 신호 프로세서에서 프레임을 추리하여 처리된 프레임을 생성하고 처리된 프레임을 디스플레이를 위해 출력하는 단계를 더 포함한다. 제 1 이미지 센서와 제 2 이미지 센서 각각은 이미지 신호 프로세서에 직접 응답한다.
다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 제 1 데이터 스트림을 생성하도록 구성된 제 1 이미지 센서, 제 2 데이터 스트림을 생성하도록 구성된 제 2 이미지 센서, 및 제 1 데이터 스트림으로부터의 제 1 데이터와 제 2 데이터 스트림으로부터의 제 2 데이터를 결합하여 프레임을 생성하도록 구성된 결합기를 포함한다. 그 장치는 프레임을 처리하여 처리된 프레임을 디스플레이에 출력하도록 구성된 이미지 신호 프로세서를 더 포함한다. 제 1 이미지 센서와 제 2 이미지 센서 각각은 이미지 신호 프로세서에 직접 응답한다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 제 1 이미지 센서로부터 이미지의 제 1 이미지 데이터를 수신하는 단계, 제 2 이미지 센서로부터 이미지의 제 2 이미지 데이터를 수신하는 단계, 및 이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 노출을 라인별로 동기화하는 단계를 포함한다. 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 동기화는 라인별로 이루어질 수도 있고, 프레임별로 이루어질 수도 있다.
또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 메모리 버퍼를 포함한다. 메모리 버퍼는 각각의 프레임의 스트리밍을 통해 들어온 스트림들을 결정적 순서로 정렬하는 섹션, 및 스트림들 사이에 프로그래밍 가능한 갭 섹션을 포함한다.
또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 로우들을 수신하는 단계를 포함한다. 이미지 데이터의 각각의 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 데이터를 포함한다. 그 방법은 또한 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 갖는 출력을 생성하는 단계를 포함한다. 출력은 제 1 이미지와 제 2 이미지에 대응한다.
또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 단일 카메라에 대한 입력을 갖는 이미지 프로세서를 포함한다. 그 장치는 또한 이미지 데이터의 로우들을 이미지 프로세서에 송신하도록 구성된 결합기를 포함한다. 이미지 데이터의 각각의 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 제 1 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 제 2 데이터를 포함한다. 이미지 프로세서는 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 갖는 출력을 생성하도록 구성된다. 출력은 제 1 이미지와 제 2 이미지에 대응한다.
개시된 실시형태들 중 적어도 하나에 의해 제공되는 하나의 특별한 장점은 단일 이미지 신호 프로세서가 다중 이미지 센서들로부터의 이미지 데이터를 동기화하고 제어하는데 이용될 수도 있다. 다른 특별한 장점은 스트림들 사이에 갭들을 가지는 것이 이미지 신호 프로세서에서 결합된 스트림을 단일 프레임으로서 처리하는 유연성을 제공하고, 후속하는 블록-기반 프로세싱에 의한 스트림들의 오염을 방지하는 (즉, 그 갭이 최대 블록 기반 프로세싱과 동일하다면 스트림들의 오염이 방지된다) 것이다.
본 개시물의 다른 양태들, 장점들 및 특징들은 하기의 섹션들 : 도면의 간단한 설명, 상세한 설명, 및 청구범위를 포함하는 전체 출원을 검토한 후에 인식될 것이다.
도 1 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 2 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 2 예시적 실시형태의 블록도이다.
도 3 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 3 예시적 실시형태의 블록도이다.
도 4 는 도 2 의 이미지 프로세싱 시스템의 선택된 부분의 특정 예시적 실시형태의 블록도이며, 여기서 제 1 이미지 센서와 제 2 이미지 센서는 공통 제어 데이터를 수신한다.
도 5 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 4 예시적 실시형태의 블록도이다.
도 6 은 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 1 실시형태의 도식적인 표현이다.
도 7 은 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 2 실시형태의 도식적인 표현이다.
도 8 은 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 2 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이다.
도 9 는 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 1 라인 위상 차이를 예시하는 위상도의 제 2 실시형태의 도식적인 표현이다.
도 10 은 다중 센서들 각각의 픽셀 데이터를 예시하고 동기화된 데이터 라인들을 예시하는 도식적인 표현이다.
도 11 은 다중 센서들에 대한 프레임 유효 및 라인 유효 신호 타이밍을 예시하는 타이밍도이다.
도 12 는 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 3 라인 위상 차이를 예시하는 위상도의 제 3 실시형태의 도식적인 표현이다.
도 13 은 다중 이미지 센서들로부터의 데이터를 결합하여 3 차원 이미지 포맷을 생성하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 14 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템들을 갖는 모바일 디바이스들의 다양한 실시형태들을 예시하는 도식적 표현이다.
도 15 는 이미지들 사이의 중첩을 포함하는, 카메라 어레이에 의해 캡쳐된 이미지들의 일 예를 예시하는 도식적인 표현이다.
도 16 은 이미지들 사이의 중첩을 포함하는, 카메라 어레이에 의해 캡쳐된 이미지들의 일 예를 예시하는 도식적인 표현이며, 여기서 각각의 이미지는 자기 소유의 쉬프팅 성분 및 회전 성분을 가질 수도 있다.
도 17 은 카메라 어레이 및 카메라 어레이와 연관된 전기적 접속들의 특정 실시형태를 예시하는 블록도이다.
도 18 은 카메라 어레이 프로세싱 시스템의 제 1 특정 예시적인 실시형태의 블록도이다.
도 19 는 카메라 어레이 프로세싱 시스템의 제 1 특정 예시적인 실시형태의 블록도이다.
도 20 은 메인 렌즈 및 하나의 어레이에 배열된 다중 카메라들을 포함하는 카메라 시스템을 예시하는 도식적인 표현이다.
도 21 은 자동차 내의 다중 카메라 모듈을 예시하는 도식적인 표현이다.
도 22 는 다중 센서들로부터의 데이터를 동기화된 데이터 라인으로 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 23 은 공통 제어 신호를 다중 이미지 센서들에 제공하고, 동기화된 데이터 라인을 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 24 는 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 25 는 다중 이미지 센서들에서 공통 제어 신호를 수신하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 26 은 단일 카메라에 대한 입력을 갖는 이미지 신호 프로세서에서 다중 센서들로부터의 데이터를 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 27 은 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 28 은 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출을 동기화하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 29 는 다중 센서들로부터의 데이터를 결합하여 3 차원 이미지 데이터를 생성하는 방법의 제 1 예시적 실시형태의 흐름도이다.
도 30 은 다중 센서들로부터의 데이터를 결합하여 3 차원 이미지 데이터를 생성하는 방법의 제 2 예시적 실시형태의 흐름도이다.
도 31 은 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출을 동기화하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 32 는 다중 센서들로부터의 데이터를 결합하여 동기화된 데이터 라인으로부터 3 차원 이미지 데이터를 생성하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 33 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 34 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템을 포함하는 무선 디바이스의 제 1 예시적 실시형태의 블록도이다.
도 35 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템을 포함하는 무선 디바이스의 제 2 예시적 실시형태의 블록도이다.
도 1 을 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태가 도시되고, 일반적으로 100 으로 지정된다. 이미지 프로세싱 시스템 (100) 은 다중 카메라 모듈 (102), 센서 모듈 (104) 및 단일 카메라 칩 모듈 (106) 을 포함한다. 특정 실시형태에서, 센서 모듈 (104) 은 도 2 및 도 3 의 센서들 (202 및 204) 과 같은 다중 센서들을 포함할 수도 있고, 여기서 다중 센서들 각각은 이미지의 데이터 라인들을 포함하는 데이터 스트림을 생성하도록 구성된다. 단일 카메라 모듈 (106) 은 도 2 및 도 3 의 이미지 프로세서 (208) 와 같은 단일 카메라 입력을 갖는 이미지 프로세서를 포함할 수도 있다. 다중 센서들의 이미지 데이터 스트림들의 라인별 이미지 데이터를 동기화된 데이터 라인들 (108) 로 결합하는 것은 이미지 프로세서가 단일 카메라 입력을 가지는데도 불구하고 이미지 프로세서가 다중 카메라 프로세싱을 위한 포맷화를 수행하는 것을 가능하게 한다. 결과적으로, 시스템 (100) 은 각각의 카메라에 대하여 별개의 프로세서를 이용하거나 다중 카메라 입력들을 구비한 프로세서를 이용하는 시스템과 비교할 때 감소된 비용으로 구현될 수도 있다.
도 2 를 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적인 실시형태가 도시되고, 일반적으로 200 으로 지정된다. 이미지 프로세싱 시스템 (200) 은 제 1 센서 (202) 와 제 2 센서 (204) 를 포함한다. 이미지 프로세싱 시스템 (200) 은 결합기 (206), 이미지 신호 프로세서 또는 비디오 프론트 엔드 (208), 및 센서 동기화기 (230) 를 추가로 포함한다. 이미지 신호 프로세서 (208) 는 디스플레이 디바이스 (미도시) 에 커플링될 수도 있다. 결합기 (206) 는 하나 이상의 라인 버퍼들 (216) 을 포함한다. 이미지 프로세싱 시스템 (200) 은 적어도 하나의 반도체 다이에 집적될 수도 있다.
제 1 센서 (202) 는 제 1 이미지 데이터 스트림 (212) 으로 도시된 제 1 데이터 스트림을 생성하도록 구성된다. 제 1 이미지 데이터 스트림 (212) 은 제 1 데이터 라인 (222) 을 포함한다. 제 2 센서 (204) 는 제 2 이미지 데이터 스트림 (214) 으로 도시된 제 2 데이터 스트림을 생성하도록 구성된다. 제 2 이미지 데이터 스트림 (214) 은 제 2 데이터 라인 (224) 을 포함한다. 제 1 및 제 2 센서들 (202, 204) 은 서로에 대하여 독립적이며, 센서 동기화기 (230) 로부터 공통 제어 신호 (234) 를 수신하는 실질적으로 유사한 이미지 센서들일 수도 있다. 센서 동기화기 (230) 는 제어/데이터 신호 (232) 를 수신하고 공통 제어 신호 (234) 를 제 1 및 제 2 센서들 (202, 204) 에 출력하여 제 1 및 제 2 센서들 (202, 204) 이 인접하여 정렬된 데이터 스트림들 (212, 214) 을 생성하게 하도록 구성된다. 예를 들어, 데이터 스트림들 (212, 214) 은 실질적으로 동일한 타이밍 특성들, 예컨대 주파수 및 위상을 가질 수도 있다. 특정 실시형태에서, 제어/데이터 신호 (232) 는 이미지 신호 프로세서 (208) 로부터 수신될 수도 있다.
결합기 (206) 는 제 1 이미지 데이터 스트림 (212) 과 제 2 이미지 데이터 스트림 (214) 에 응답한다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212) 으로부터의 데이터와 제 2 이미지 데이터 스트림 (214) 으로부터의 데이터를 라인 버퍼 (216) 내에서 결합하도록 구성된다. 특정 실시형태에서, 라인 버퍼 (216) 는 제 1 센서 (202) 로부터의 제 1 데이터 라인 (222) 과 같은 제 1 데이터 및 제 2 센서 (204) 로부터의 제 2 데이터 라인 (224) 과 같은 제 2 데이터를 정렬시키도록 구성된다. 특정 실시형태에서, 결합기 (206) 는 라인 버퍼 (216) 내에 저장된 데이터에 응답하여 라인 데이터 (218) 를 이미지 신호 프로세서 (208) 에 제공한다. 특정 실시형태에서, 라인 데이터 (218) 는 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 도 6 을 참조하여 설명된 것과 같이 각각의 센서 (202, 204) 로부터의 대응하는 로우들의 조합이다.
이미지 신호 프로세서 (208) 는 라인 데이터 (218) 를 처리하고, 처리된 라인 데이터 (240) 를 생성하도록 구성된다. 특정 실시형태에서, 처리된 라인 데이터 (240) 는 처리된 프레임 데이터로서 제공될 수도 있다. 2 개의 센서들이 도시되지만, 다른 실시형태들은 3 이상의 센서들을 포함할 수도 있다. 예를 들면, 도 3 은 3 이상의 센서들을 포함하는 일 실시형태 (300) 를 도시한다. 제 N 센서 (305) 는 제 N 이미지 데이터 스트림 (315) 으로 도시된 제 N 데이터 스트림을 생성하도록 구성된다. 제 N 이미지 데이터 스트림 (315) 은 제 N 데이터 라인 (325) 을 포함한다. 제 N 센서 (305) 는 제 1 및 제 2 이미지 센서들 (202, 204) 과 실질적으로 유사할 수도 있고, 센서 동기화기 (230) 로부터 공통 제어 신호 (234) 를 수신하여 제 1, 제 2, 및 제 N 센서들 (202, 204, 305) 이 인접하여 정렬된 데이터 스트림들 (212, 214, 315) 을 생성하게 할 수도 있다. 예를 들어, 데이터 스트림들 (212, 214, 315) 은 주파수 및 위상과 같은 실질적으로 동일한 타이밍 특성들을 가질 수도 있다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212), 제 2 이미지 데이터 스트림 (214) 및 제 N 이미지 데이터 스트림 (315) 에 응답한다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212), 제 2 이미지 데이터 스트림 (214) 및 제 N 이미지 데이터 스트림 (315) 을 라인 버퍼 (216) 내에서 결합하도록 구성된다.
공통 제어되는, 유사한 센서들 (예컨대, 도 2 의 202, 204 또는 도 3 의 202, 204, 305) 로부터 수신된 데이터가 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 결합기 (206) 에서 수신된 데이터 스트림들 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 특정 실시형태에서, 라인 버퍼 (216) 는 오정렬 (misalignment) 과 같은 최악의 경우를 위한 크기를 가질 수도 있다 (즉, 동기화 오정렬이 3 개의 라인들에서 발생하면, 라인 버퍼 (212) 는 적어도 6 개 라인들을 버퍼링하도록 크기가 정해져야 한다). 결과적으로, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 다중 프로세서 시스템들 (예컨대, 각각의 센서에 하나의 프로세서가 할당됨) 과 비교할 때 감소될 수도 있다.
도 4 를 참조하면, 도 2 의 이미지 프로세싱 시스템 (200) 의 선택된 부분 (400) 의 특정 예시적인 실시형태가 도시된다. 이미지 프로세싱 시스템의 부분 (400) 은 제 1 센서 (202), 제 2 센서 (204) 및 센서 동기화기 (230) 를 포함한다. 특정 실시형태에서, 제 1 센서 (202) 와 제 2 센서 (204) 는 센서 동기화기 (230) 로부터 동일한 시작 또는 리셋 신호들 및 동일한 클록 입력을 수신하는, 동일한 센서들 또는 거의 동일한 센서들이다. 예를 들면, 제 1 센서 (202) 및 제 2 센서 (204) 는 각각 센서 동기화기 (230) 로부터 공통 제어 데이터/신호들을 수신할 수도 있다. 특정 실시형태에서, 제어 데이터/신호들은 제어 클록 신호 (404), 제어 데이터 신호 (406), 카메라 클록 신호 (408) 및 카메라 리셋 신호 (410) 를 포함할 수도 있다. 제어 데이터/신호들 (404-410) 은 I2C (Inter-Integrated Circuit) 멀티-마스터 직렬 컴퓨터 버스와 같은 2 와이어 칩간 통신 프로토콜과 호환가능한 인터페이스를 통해 형성되고 송신될 수도 있다. 대안적으로, 제어 데이터/신호들 (404-410) 은 카메라 직렬 인터페이스 (CSI) 와 같이 디지털 카메라 모듈과 모바일 전화 엔진 간의 직렬 인터페이스, 카메라 직렬 인터페이스 2 (CSI-2) 와 같이 주변 장치 (카메라) 와 호스트 프로세서 (베이스밴드, 애플리케이션 엔진) 간의 인터페이스, 카메라 병렬 인터페이스 (CPI) 와 같이 디지털 카메라 모듈과 모바일 전화 엔진 간의 병렬 인터페이스, 또는 다른 제어 인터페이스들의 사양에 부합하는 인터페이스에 따라 형성되고 송신될 수도 있다.
제 1 센서 (202) 는 제 1 타이밍 데이터 (420) 와 제 1 센서 이미지 데이터 (422) 를 도 2 또는 도 5 의 시스템에 도시된 것과 같은 결합기 (206) 로 송신하도록 구성될 수도 있다. 유사하게, 제 2 센서 (204) 는 제 2 타이밍 데이터 (430) 와 제 3 센서 이미지 데이터 (432) 를 도 2 또는 도 5 의 시스템에 도시된 것과 같은 결합기 (206) 로 송신하도록 구성될 수도 있다.
동작 동안, 제 1 센서 (202) 와 제 2 센서 (204) 는 각각 타이밍 관점에서 동일하거나 거의 동일한 조건들에서 동작한다. 예를 들면, 제 1 및 제 2 센서들 (202, 204) 은 각각 동일한 제어 클록 신호 (404), 동일한 제어 데이터 신호 (406), 동일한 카메라 클록 신호 (408) 및 동일한 카메라 리셋 신호 (410) 를 수신한다. 제 1 및 제 2 센서들 (202, 204) 이 동일하거나 거의 동일하기 때문에, 동일한 타이밍 조건들에서 실질적으로 유사하게 동작한다. 예를 들면, 제 1 센서 (202) 로부터의 데이터 출력은 센서 (204) 로부터의 데이터 출력과 실질적으로 동일한 주파수 및 위상을 갖는다. 설명을 위해, 제 1 센서 (202) 및 제 2 센서 (204) 로부터의 데이터 출력 간의 위상 차이는 단일 수평선의 위상 차이보다 적을 수도 있으며, 이는 단일 이미지 신호 프로세서가 2 개의 이미지 센서들 (202, 204) 로부터의 이미지 데이터를 동기화하고 제어하는데 이용되게 한다.
도 5 를 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 500 으로 지정된다. 시스템 (500) 은 제 1 이미지 센서 (202), 제 2 이미지 센서 (204), 결합기 (206), 센서 동기화기 (230) 및 이미지 신호 프로세서 (208) 를 포함한다. 시스템 (500) 은 레지스터 인터페이스 (510) 및 클록 관리 디바이스 (512) 를 추가로 포함한다. 특정 실시형태에서, 레지스터 인터페이스 (510) 는 센서 동기화기 (230) 내에 있을 수도 있다. 대안적으로, 레지스터 인터페이스 (510) 는 자립형 모듈일 수도 있다. 특정 실시형태에서, 시스템 (500) 은 (쉐도우로 도시된) 얇은 출력 포맷화기 (506) 와, (쉐도우로 도시된) 전송 패커 및 포맷화기 (508) 를 추가로 포함할 수도 있다.
특정 실시형태에서, 결합기 (206) 는 제 1 센서 (202) 로부터 제 1 타이밍 데이터 (420) 와 제 1 센서 이미지 데이터 (422) 를 수신하도록 구성된다. 결합기 (206) 는 또한 제 2 센서 (204) 로부터 제 2 타이밍 데이터 (430) 와 제 2 센서 이미지 데이터 (432) 를 수신하도록 구성된다. 결합기 (206) 는 추가로 클록 관리 디바이스 (512) 로부터 클록 신호 (526) 를 수신하도록 구성된다. 결합기 (206) 는 제 1 타이밍 데이터 (420), 제 2 센서 이미지 데이터 (422), 제 2 타이밍 데이터 (430) 및 제 2 센서 이미지 데이터 (432) 를 이용하여 이미지 프로세서 (208) 에 제공되는 동기화된 데이터 라인을 생성한다. 이미지 신호 프로세서 (208) 는 동기화된 데이터 라인을 처리하여 처리된 데이터 라인 데이터를 생성한다. 처리된 데이터 라인 데이터는 또 다른 컴포넌트, 예컨대 디스플레이 디바이스로 제공될 수도 있다. 따라서, 다중 센서들로부터의 이미지 데이터가 결합되고, 처리되고, 디스플레이에서 디스플레이를 위해 렌더링될 수도 있다.
특정 실시형태에서, 제 1 타이밍 데이터 (420) 는 제 1 픽셀 클록과 연관될 수도 있고, 제 1 센서 이미지 데이터 (422) 는 제 1 픽셀 사이즈와 연관될 수도 있고, 제 2 타이밍 데이터 (430) 는 제 2 픽셀 클록과 연관될 수도 있고, 제 2 센서 이미지 데이터 (432) 는 제 2 픽셀 사이즈와 연관될 수도 있다. 결합기 (406) 가 제 1 타이밍 데이터 (420), 제 2 센서 이미지 데이터 (422), 제 2 타이밍 데이터 (430) 및 제 2 센서 이미지 데이터 (432) 를 결합하여 동기화된 데이터 라인을 생성할 경우에, 제 1 이미지 데이터의 제 1 라인 및 제 2 이미지 데이터의 대응하는 라인은 단일 이미지 라인으로 결합된다. 특정 실시형태에서, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 실질적으로 2 배 (예컨대, 제 1 픽셀 사이즈 또는 제 2 픽셀 사이즈의 2 배) 가 될 수도 있고, 결합된 단일 이미지 라인의 픽셀 클록의 레이트는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 레이트의 실질적으로 2 배일 수도 있다 (예컨대, 제 1 픽셀 클록 주파수 또는 제 2 픽셀 클록 주파수의 2 배인 클록 주파수를 가질 수도 있다). 생성된 동기화된 데이터 라인은 결합기 타이밍 데이터 신호 (528) 와 결합기 이미지 데이터 신호 (530) 를 통해 이미지 신호 프로세서 (208) 로 송신된다.
특정 실시형태에서, 결합기 (206) 에 의해 생성된 동기화된 데이터 라인은 포맷화된 데이터를 생성하기 위해 얇은 출력 포맷화기 (506) 로 제공될 수도 있고, 이 포맷화된 데이터는 이미지 신호 프로세서 (208) 로 제공되기 전에 전송 패커 및 포맷화기 (508) 로 제공된다.
특정 실시형태에서, 얇은 출력 포맷화기 (506) 는 결합기 타이밍 데이터 신호 (528) 및 결합기 이미지 데이터 신호 (530) 를 수신하여 포맷화된 데이터를 생성한다. 포맷화된 데이터는 출력 포맷화기 타이밍 데이터 신호 (536), 출력 포맷화기 이미지 데이터 신호 (538), 출력 포맷화기 통계 데이터 신호 (540), 출력 포맷화기 시작 데이터 신호 (542) 및 출력 포맷화기 유효 데이터 신호 (544) 를 포함할 수도 있다. 특정 실시형태에서, 전송 패커 및 포맷화기 (508) 는 얇은 출력 포맷화기 (506) 로부터 포맷화된 데이터 (536-544) 를 수신하고, 전송 타이밍 데이터 신호 (546) 와 전송 이미지 데이터 신호 (548) 를 포함하는 전송 데이터 스트림을 생성한다.
특정 실시형태에서, 레지스터 인터페이스 (510) 는 이미지 신호 프로세서 (208) 에 커플링되고, 클록 관리 디바이스 (512) 에 커플링될 수도 있다. 특정 실시형태에서, 레지스터 인터페이스 (510) 는 클록 관리 디바이스 (512) 로부터 클록 신호 (527) 를 수신할 수도 있고, 레지스터 버스 (572) 에 커플링될 수도 있다. 클록 관리 디바이스 (512) 는 제 2 타이밍 데이터 신호 (430) 를 수신하고 클록 신호 (526) 를 출력하도록 구성된다. 특정 실시형태에서, 클록 신호 (526) 는 제 2 타이밍 데이터 신호 (430) 의 주파수의 실질적으로 2 배이며, 이는 결합기 (206) 가 다중 센서들로부터의 동시 데이터를 결합하면서 프레임 프로세싱 레이트를 유지할 수 있게 한다.
공통으로 제어된, 유사한 센서들로부터의 데이터 출력이 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 데이터 스트림들 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 따라서, 결합된 데이터는 이미지 데이터의 단일 라인으로 액세스하는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다.
도 6 을 참조하면, 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 특정 실시형태의 도식적인 표현이 도시되며, 일반적으로 600 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 이미지의 제 1 이미지 데이터에 대응하는 제 1 데이터 스트림 (602) 을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 이미지의 제 2 이미지 데이터에 대응하는 제 2 데이터 스트림 (604) 을 생성한다. 제 1 데이터 스트림 (602) 으로부터의 데이터 및 제 2 데이터 스트림 (604) 으로부터의 데이터는 데이터 아웃 데이터 스트림 (606) 을 형성하도록 결합된다.
특정 실시형태에서, 제 1 데이터 스트림 (602) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함하고, 제 2 데이터 스트림 (604) 은 이미지의 제 2 이미지 데이터의 대응하는 라인과 연관된 데이터를 포함한다. 제 1 데이터 스트림 (602) 은 제 1 라인 인덱스 값을 갖는 라인 데이터 (610), 제 2 라인 인덱스 값을 갖는 라인 데이터 (612), 제 3 라인 인덱스 값을 갖는 라인 데이터 (614) 및 제 4 라인 인덱스 값을 갖는 라인 데이터 (616) 를 포함한다. 제 2 데이터 스트림 (604) 은 제 1 데이터 스트림과 대응하는 라인 데이터를 포함하며, 제 1 라인 인덱스 값을 갖는 대응 라인 데이터 (620), 제 2 라인 인덱스 값을 갖는 대응 라인 데이터 (622), 제 3 라인 인덱스 값을 갖는 대응 라인 데이터 (624) 및 제 4 라인 인덱스 값을 갖는 대응 라인 데이터 (626) 를 포함한다.
데이터 아웃 데이터 스트림 (606) 은 이미지의 제 1 이미지 데이터의 제 1 라인 및 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림 (602) 과 제 2 데이터 스트림 (604) 은 데이터 아웃 데이터 스트림 (606) 을 형성하도록 인터리빙된다. 예를 들면, 데이터 아웃 데이터 스트림 (606) 은 제 1 라인 인덱스 값을 갖는 결합된 라인 데이터 (630), 제 2 라인 인덱스 값을 갖는 결합된 라인 데이터 (632), 및 제 3 라인 인덱스 값을 갖는 결합된 라인 데이터 (634) 를 포함한다. 결합된 라인 데이터 (630) 는 라인 데이터 (610) 및 대응 라인 데이터 (620) 를 포함한다. 결합된 라인 데이터 (632) 는 라인 데이터 (612) 및 대응 라인 데이터 (622) 를 포함한다. 결합된 라인 데이터 (634) 는 라인 데이터 (614) 및 대응 라인 데이터 (624) 를 포함한다. 각각의 결합된 라인 데이터 (630-634) 는 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다.
특정 실시형태에서, 제 1 데이터 스트림 (602) 으로부터의 데이터는 제 2 데이터 스트림 (604) 으로부터의 데이터와 결합되어 프레임 (660) 을 형성하는 복수의 동기화된 데이터 라인들을 생성한다. 프레임 (660) 은 복수의 로우들 (642) 을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 그 라인 인덱스 값을 갖는 제 1 이미지 데이터의 하나의 라인과 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 포함하는 동기화된 데이터 라인을 저장한다. 예를 들면, 프레임 (660) 의 제 1 로우는 결합된 라인 데이터 (630) 를 포함할 수도 있고, 프레임 (660) 의 제 2 로우는 결합된 라인 데이터 (632) 를 포함할 수도 있고, 프레임 (660) 의 제 3 로우는 결합된 라인 데이터 (634) 를 포함할 수도 있다. 각각의 동기화된 이미지 데이터 라인은 프레임 (660) 내의 데이터가 정렬되도록 프레임 (660) 의 일부를 형성한다.
프레임 (660) 은 이미지 센서들로부터의 이미지 데이터의 판독 순서에 매칭하는 로우들 (642) 의 순서가 함께 도시된다 (즉, 이미지 센서들의 최상위 라인으로부터 결합된 데이터 (라인 인덱스 1) 는 프레임 (660) 의 최상위 라인에 있고, 이미지 센서들의 다음 라인으로부터 결합된 데이터 (라인 인덱스 2) 는 프레임 (660) 의 다음 라인에 있다). 대안적으로, 다른 실시형태들에서, 프레임 (660) 의 로우들은 이미지 데이터의 판독 순서와 매칭하지 않을 수도 있고, 대신에 이미지 데이터의 임의의 다른 순서에 대응할 수도 있다. 예를 들면, 프레임 (660) 의 최상위 로우는 라인 인덱스 2 에 대응할 수도 있고, 프레임 (660) 의 다음 로우는 라인 인덱스 1 에 대응할 수도 있다. 프레임 (660) 은 로우들 (642) 각각이 이미지 데이터의 라인 인덱스 값들 중 임의의 라인 인덱스 값에 대응하게 프로그래밍될 수 있도록 프로그래밍 가능할 수도 있다.
특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인 (610) 은 제 1 픽셀 사이즈 (예컨대, 라인당 픽셀 수) 및 제 1 픽셀 클록과 연관되고, 제 2 이미지 데이터의 대응하는 라인 (620) 은 제 2 픽셀 사이즈 및 제 2 픽셀 클록과 연관된다. 데이터 스트림들 (602, 604) 을 생성하는 제 1 센서와 제 2 센서는 공통 제어 신호 및 공통 리셋 신호를 수신하도록 구성된다. 제 1 이미지 데이터의 제 1 라인 (610) 과 제 2 이미지 데이터의 대응하는 라인 (620) 이 단일 이미지 라인으로 결합될 경우에, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 (610) 또는 제 2 이미지 데이터의 대응하는 라인 (620) 의 사이즈의 실질적으로 2 배이고, 결합된 단일 이미지 라인의 픽셀 클록 신호 (예컨대, 제 3 픽셀 클록 신호) 는 제 1 픽셀 클록 신호 또는 제 2 픽셀 클록 신호의 클록 레이트의 실질적으로 2 배의 클록 레이트를 갖는다. 예를 들면, 결합된 라인 데이터 (630) 는 라인 데이터 (610) 의 실질적으로 2 배 또는 대응하는 라인 데이터 (620) 의 실질적으로 2 배인 이미지 사이즈를 가질 수도 있다. 유사하게, 결합된 라인 데이터 (630) 의 픽셀 클록 주파수는 라인 데이터 (610) 와 연관된 제 1 픽셀 클록 신호의 실질적으로 2 배 또는 대응하는 라인 데이터 (620) 와 연관된 제 2 픽셀 클록 신호의 실질적으로 2 배인 주파수를 가질 수도 있으며, 따라서 결합된 라인 데이터 (630) 의 픽셀 클록 주파수는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 주파수의 실질적으로 2 배의 주파수를 갖는 제 3 픽셀 클록 신호와 연관될 수도 있다.
대안적으로, 동일한 라인 사이즈들을 갖는 라인 데이터 3 이미지 센서들이 결합되는 일 구현에서, 동기화된 라인 사이즈는 센서 라인 사이즈의 실질적으로 3 배일 수도 있고, 픽셀 클록 레이트는 개별 센서들의 픽셀 클록 레이트의 실질적으로 3 배일 수도 있다. 임의의 수의 센서들이 동일하지 않은 사이즈들을 가질 수 있는 일반적인 경우에, 동기화된 라인 사이즈는 결합된 라인 사이즈들의 합보다 크거나 동일하게 세팅될 수도 있고, 픽셀 클록 레이트는 출력 라인 대역폭이 입력 대역폭의 합보다 크거나 동일하도록 세팅될 수도 있다.
프레임 (660) 은 도 2 의 이미지 신호 프로세서 (208) 와 같은 이미지 신호 프로세서에서 처리되어 처리된 프레임 (650) 을 생성할 수도 있다. 처리된 프레임 (650) 은 도 2 의 센서 (202) 와 같은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션 (652), 도 2 의 센서 (204) 와 같은 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹션 (654) 및 갭 섹션 (656) 을 포함한다. 갭 섹션 (656) 은 제 1 섹션 (652) 과 제 2 섹션 (654) 사이에 배치된 비-이미지 데이터를 포함할 수도 있다.
특정 실시형태에서, 제 1 섹션 (652) 은 제 1 이미지 데이터의 라인을 포함하고, 제 2 섹션 (654) 은 제 2 이미지 데이터의 대응하는 라인을 포함한다. 특정 실시형태에서, 갭 섹션 (656) 은 에지 필터링을 위해 이용될 수도 있고, 폭이 대략 5 개 픽셀들인 블랙 갭을 포함할 수도 있다. 추가의 예로서, 갭 섹션 (656) 은 라인들 사이에 부가될 수도 있고, 보간 커널 (interpolation kernel) 의 사이즈 또는 아미지 신호 프로세서에 의해 프레임 (650) 에 적용되는 최대 2 차원 필터의 사이즈와 동일한 사이즈를 가질 수도 있다.
특정 예시적인 실시형태에서, 자동 노출, 자동 포커스, 및 자동 화이트 벨런스를 위한 통계치들이 제 1 섹션 (652) 또는 제 2 섹션 (654) 으로부터 수집될 수도 있으여, 이들 각각은 개별 센서들 중 하나의 센서로부터의 완전한 이미지일 수도 있다. 따라서, 자동 노출, 자동 포커스 및 자동 화이트 벨런스에 대한 통계치들은 최종 이미지의 절반 (예컨대, 제 1 섹션 (652)) 으로부터 수집될 수도 있고, 양자의 센서들이 실질적으로 동일한 타이밍 정보를 수신하고 있기 때문에 양자의 센서들로 적용될 수도 있다. 이와 같이, 다중 센서들로부터의 데이터 출력은 이미지의 이미지 데이터의 하나의 이미지 라인에서 동기화가 발생할 수 있도록 실질적으로 동일한 주파수와 위상을 가질 수도 있다.
프레임 (650) 은 적어도 하나의 반도체 다이에 집적된 메모리에 저장될 수도있다. 프레임 (650) 은 고객용 전자 디바이스, 예컨대 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 디지털 보조장치 (PDA), 고정 위치 데이터 유닛, 및 컴퓨터 내에 통합된 메모에 저장될 수도 있다. 전자 디바이스들은 다중 센서들로부터의 이미지데이터를 처리하는 3D 애플리케이션들을 포함하여 이미지 프로세싱 방법들을 활용할 수도 있다.
도 7 을 참조하면, 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 2 실시형태의 도식적인 표현이 도시되고, 일반적으로 700 으로 지정된다. 도 2 의 제 1 이미지 센서 (202) 와 같은 제 1 센서는 이미지의 제 1 이미지 데이터에 대응하는 제 1 데이터 스트림 (702) 을 생성한다. 도 2 의 제 2 이미지 센서 (204) 와 같은 제 2 센서는 이미지의 제 2 이미지 데이터에 대응하는 제 2 데이터 스트림 (704) 을 생성한다. 제 1 데이터 스트림 (702) 으로부터의 데이터와 제 2 데이터 스트림 (704) 으로부터의 데이터는 결합되어 데이터 아웃 데이터 스트림 (706) 을 형성한다.
특정 실시형태에서, 제 1 데이터 스트림 (702) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함하고, 제 2 데이터 스트림 (704) 은 이미지의 제 2 이미지 데이터의 대응하는 라인과 연관된 데이터를 포함한다. 제 1 데이터 스트림 (702) 은 제 1 라인 인덱스 값을 갖는 라인 데이터 (710), 제 2 라인 인덱스 값을 갖는 라인 데이터 (712), 제 3 라인 인덱스 값을 갖는 라인 데이터 (714) 및 제 4 라인 인덱스 값을 갖는 라인 데이터 (716) 를 포함한다. 제 2 데이터 스트림 (704) 은 제 1 데이터 스트림과 대응하는 라인 데이터를 포함하며, 제 1 라인 인덱스 값을 갖는 대응 라인 데이터 (720), 제 2 라인 인덱스 값을 갖는 대응 라인 데이터 (722), 제 3 라인 인덱스 값을 갖는 대응 라인 데이터 (724) 및 제 4 라인 인덱스 값을 갖는 대응 라인 데이터 (726) 를 포함한다.
데이터 아웃 데이터 스트림 (706) 은 이미지의 제 1 이미지 데이터의 제 1 라인 및 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림 (702) 과 제 2 데이터 스트림 (704) 은 데이터 아웃 데이터 스트림 (706) 을 형성하도록 갭 섹션 (708) 과 인터리빙된다. 예를 들면, 데이터 아웃 데이터 스트림 (706) 의 도시된 부분은 제 1 라인 인덱스 값을 갖는 결합된 라인 데이터 (730), 제 2 라인 인덱스 값을 갖는 결합된 라인 데이터 (732), 및 제 3 라인 인덱스 값을 갖는 결합된 라인 데이터 (734) 를 포함한다. 결합된 라인 데이터 (730) 는 갭 섹션 (708) 에 의해 대응하는 라인 데이터 (720) 와 분리되는 라인 데이터 (710) 를 포함한다. 결합된 라인 데이터 (732) 는 갭 섹션 (708) 에 의해 대응 라인 데이터 (722) 와 분리되는 라인 데이터 (712) 를 포함한다. 결합된 라인 데이터 (734) 는 갭 섹션 (708) 에 의해 대응 라인 데이터 (724) 와 분리되는 라인 데이터 (714) 를 포함한다. 각각의 결합된 라인 (730-734) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들 간의 갭 섹션 (708) 과 대응하는 라인들을 결합함으로써 생성될 수도 있다.
특정 실시형태에서, 제 1 데이터 스트림 (702) 으로부터의 데이터는 제 2 데이터 스트림 (704) 으로부터의 데이터와 결합되어 프레임 (740) 을 형성하는 복수의 동기화된 데이터 라인들을 생성한다. 프레임 (740) 은 복수의 로우들 (742) 을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 그 라인 인덱스 값을 갖는 제 1 이미지 데이터의 하나의 라인을 저장하고 그 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 예를 들면, 프레임 (740) 의 제 1 로우는 결합된 라인 데이터 (730) 를 포함할 수도 있고, 프레임 (740) 의 제 2 로우는 결합된 라인 데이터 (732) 를 포함할 수도 있고, 프레임 (740) 의 제 3 로우는 결합된 라인 데이터 (734) 를 포함하여 프레임 (740) 내의 데이터가 정렬되도록 한다.
특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인 (710) 은 제 1 픽셀 사이즈 (예컨대, 라인당 픽셀 수) 및 제 1 픽셀 클록과 연관되고, 제 2 이미지 데이터의 대응하는 라인 (720) 은 제 2 픽셀 사이즈 및 제 2 픽셀 클록과 연관된다. 데이터 스트림들 (702, 704) 을 생성하는 제 1 센서와 제 2 센서는 공통 클록 신호 및 공통 리셋 신호를 수신하도록 구성된다. 제 1 이미지 데이터의 제 1 라인 (710) 과 제 2 이미지 데이터의 대응하는 라인 (720) 이 단일 이미지 라인으로 결합될 경우에, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 (710) 또는 제 2 이미지 데이터의 대응하는 라인 (720) 의 사이즈의 실질적으로 2 배이다. 추가로, 결합된 단일 이미지 라인의 픽셀 클록 신호 (예컨대, 제 3 픽셀 클록 신호) 는 제 1 픽셀 클록 신호 또는 제 2 픽셀 클록 신호의 클록 레이트의 실질적으로 2 배의 클록 레이트를 갖는다. 예를 들면, 결합된 라인 데이터 (730) 는 라인 데이터 (710) 의 대략 2 배 또는 대응하는 라인 데이터 (720) 의 대략 2 배인 이미지 사이즈를 가질 수도 있다. 유사하게, 결합된 라인 데이터 (730) 의 픽셀 클록 주파수는 라인 데이터 (710) 와 연관된 제 1 픽셀 클록 신호의 대략 2 배 또는 대응하는 라인 데이터 (720) 와 연관된 제 2 픽셀 클록 신호의 대략 2 배인 주파수를 가질 수도 있으며, 따라서 결합된 라인 데이터 (730) 의 픽셀 클록 주파수는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 주파수의 대략 2 배의 주파수를 갖는 제 3 픽셀 클록 신호와 연관될 수도 있다.
각각의 갭 섹션 (708) 은 비-이미지 데이터를 포함할 수도 있다. 특정 실시형태에서, 갭 섹션들 (708) 에 의해 형성된 프레임 (740) 내의 비-이미지 데이터 영역은 에지 필터링을 위해 이용될 수도 있다. 갭 섹션 (708) 은 폭이 대략 5 픽셀들인 블랙 갭을 포함할 수도 있다. 다른 실시형태들에서, 각각의 갭 섹션 (708) 은 도 2 의 이미지 프로세서 (208) 와 같은 이미지 프로세서에 의해 프레임 (740) 에 적용된 최대 2-차원 필터의 사이즈 또는 보간 커널의 사이즈와 동일한 사이즈를 갖는다. 프레임 (740) 은 이미지 프로세서에 의해 처리되어 3D 이미지를 생성할 수도 있다.
도 8 을 참조하면, 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 2 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 800 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (802), 제 1 센서 제 2 라인 데이터 (804) 및 제 1 센서 제 3 라인 데이터 (806) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (812), 제 2 센서 제 2 라인 데이터 (814) 및 제 2 센서 제 3 라인 데이터 (816) 를 포함하는 제 2 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (820) 을 형성한다. 도 8 에 도시된 특정 실시형태에서, 제 1, 제 2 및 제 3 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.
도 8 의 특정 실시형태에서, 제 1 데이터 스트림의 데이터와 제 2 데이터 스트림의 데이터 간에 2 라인 위상 차이가 발생한다. 예컨대, 제 1 센서 제 1 라인 데이터 (802) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (804) 는 제 2 라인 위상 동안 수신될 수도 있고, 제 1 센서 제 3 라인 데이터 (806) 와 제 2 센서 제 1 라인 데이터 (812) 는 제 3 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (802) 와 제 2 센서 제 1 라인 데이터 (812) 사이에 2 라인 위상 차이가 존재한다.
결합된 라인 (820) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙되어 결합된 라인 (820) 을 형성한다. 예를 들어, 결합된 라인 (820) 은 제 1 센서 제 1 라인 데이터 (802) 와 제 2 센서 제 1 라인 데이터 (812) 를 갖는 결합된 라인 데이터 (822), 제 1 센서 제 2 라인 데이터 (804) 와 제 2 센서 제 2 라인 데이터 (814) 를 갖는 결합된 라인 데이터 (824), 및 제 1 센서 제 3 라인 데이터 (806) 와 제 2 센서 제 3 라인 데이터 (816) 를 갖는 결합된 라인 데이터 (826) 를 포함한다. 각각의 결합된 라인 (822-826) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 라인 버퍼는 동기화된 데이터 라인 (예컨대, 결합된 라인 데이터 (822)) 가 생성되기 전에 제 1 이미지 센서로부터 수신되는, 다음 데이터 라인 (예컨대, 제 1 센서 제 2 라인 데이터 (804) 의 적어도 일부분을 버퍼링하도록 구성될 수도 있다. 이와 같이, 2 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.
도 9 를 참조하면, 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 1 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 900 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (902), 제 1 센서 제 2 라인 데이터 (904), 제 1 센서 제 3 라인 데이터 (906) 및 제 1 센서 제 4 라인 데이터 (908) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (912), 제 2 센서 제 2 라인 데이터 (914), 제 2 센서 제 3 라인 데이터 (916) 및 제 2 센서 제 4 라인 데이터 (918) 를 포함하는 제 2 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (920) 을 형성한다. 도 9 에 도시된 특정 실시형태에서, 제 1, 제 2, 제 3 및 제 4 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.
도 9 의 특정 실시형태에서, 제 1 데이터 스트림의 데이터와 제 2 데이터 스트림의 데이터 간에 1 라인 위상 차이가 발생한다. 예컨대, 제 1 센서 제 1 라인 데이터 (902) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (904) 및 제 2 센서 제 1 라인 데이터 (912) 는 제 2 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (902) 와 제 2 센서 제 1 라인 데이터 (912) 사이에 1 라인 위상 차이가 존재한다.
결합된 라인 (920) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙되어 결합된 라인 (920) 을 형성한다. 예를 들어, 결합된 라인 (920) 은 제 1 센서 제 1 라인 데이터 (902) 와 제 2 센서 제 1 라인 데이터 (912) 를 갖는 결합된 라인 데이터 (922), 제 1 센서 제 2 라인 데이터 (904) 와 제 2 센서 제 2 라인 데이터 (914) 를 갖는 결합된 라인 데이터 (924), 제 1 센서 제 3 라인 데이터 (906) 와 제 2 센서 제 3 라인 데이터 (916) 를 갖는 결합된 라인 데이터 (926), 및 제 1 센서 제 4 라인 데이터 (908) 와 제 2 센서 제 4 라인 데이터 (918) 를 갖는 결합된 라인 데이터 (928) 를 포함한다. 각각의 결합된 라인 (922-926) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 이와 같이, 1 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.
도 10 을 참조하면, 다중 센서들 각각에 대한 적색-녹색-청색 (RGB) 데이터를 예시하고 동기화된 데이터 라인들을 예시하는 도식적인 표현이 도시되고, 일반적으로 1000 으로 지정된다. 도 10 에 도시된 실시형태에서, 도 3 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (1002), 제 1 센서 제 2 라인 데이터 (1004), 및 제 1 센서 제 3 라인 데이터 (1006) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 3 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (1012), 제 2 센서 제 2 라인 데이터 (1014), 및 제 2 센서 제 3 라인 데이터 (1016) 를 포함하는 제 2 데이터 스트림을 생성한다. 도 3 의 제 N 센서 (305) 와 같은 제 3 센서는 제 3 센서 제 1 라인 데이터 (1022), 제 3 센서 제 2 라인 데이터 (1024), 및 제 3 센서 제 3 라인 데이터 (1026) 를 포함하는 제 3 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터, 제 2 데이터 스트림으로부터의 데이터, 및 제 3 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (1020) 을 형성한다.
일 예로서, 베이어 (Bayer) 필터 패턴에 따라, 제 1 라인 데이터 (1002, 1012, 1022) 각각은 교번하는 적색 및 녹색 픽셀 값들을 포함하고, 제 2 라인 데이터 (1004, 1014, 1024) 의 각각은 교번하는 녹색 및 청색 픽셀 값들을 포함하고, 제 3 라인 데이터 (1006, 1016, 1026) 의 각각은 교번하는 적색 및 녹색 픽셀 값들을 포함한다.
도시된 것과 같이, 제 1 데이터 스트림, 제 2 데이터 스트림 및 제 3 데이터 스트림은 결합된 라인 데이터 스트림 (1020) 을 형성하도록 인터리빙된다. 예를 들어, 결합된 라인 데이터 스트림 (1020) 은 제 1 센서 제 1 라인 데이터 (1002), 제 2 센서 제 1 라인 데이터 (1012), 및 제 3 센서 제 1 라인 데이터 (1022) 를 갖는 결합된 라인 데이터 (1040), 제 1 센서 제 2 라인 데이터 (1004), 제 2 센서 제 2 라인 데이터 (1014) 및 제 3 센서 제 2 라인 데이터 (1024) 를 갖는 결합된 라인 데이터 (1050), 및 제 1 센서 제 3 라인 데이터 (1006), 제 2 센서 제 3 라인 데이터 (1016) 및 제 3 센서 제 3 라인 데이터 (1026) 를 갖는 결합된 라인 데이터 (1060) 를 포함한다. 각각의 결합된 라인 데이터 (1040-1060) 는 도 3 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 각각의 결합된 라인 데이터 (1040-1060) 는 그 개별 센서 라인 데이터로부터 판독된 로우 픽셀 (예컨대, R, G 및 B) 값들을 포함하며, 이 값들은 도 3 의 이미지 신호 프로세서 (208) 와 같은 이미지 신호 프로세서에서 디모자이크 (demosaic) 될 수도 있다. 이와 같이, 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하게 할 수도 있다.
도 10 은 원시 (raw) 픽셀 값들을 베이어 필터 패턴에 따라 RGB 데이터를 포함하는 것으로 도시하지만, 다른 실시형태들에서, 센서들로부터의 라인 데이터는 베이어 RGB 픽셀 값들을 포함하지 않을 수도 있다. 예를 들어, 대신에 센서들은: 루마, 청색-차이 크로마, 적색-차이 크로마 (YCbCr) 값들; 시안, 노랑색, 녹색 및 마젠타 (CYGM) 값들; 적색, 녹색, 청색 및 에메랄드 (RGBE) 값들; 적색, 녹색, 청색 및 백색 (RGBW) 값들; 또는 예시적이고 비제한적인 예들로서 임의의 다른 타입의 값들을 제공할 수도 있다. 대안적으로 또는 추가로, 센서들 중 하나 이상은 팬크로마틱 셀들, 포토 리셉터 그룹상의 마이크로 렌즈들, 수직 컬러 필터들 또는 원시 이미지 데이터의 라인별 판독이 가능한 임의의 다른 센서 기술을 구현할 수도 있다.
도 11 을 참조하면, 다중 센서들을 갖는 장치와 연관된 신호 타이밍을 예시하는 타이밍도의 특정 실시형태가 도시되고, 일반적으로 1100 으로 지정된다. 신호들은 제 1 센서의 프레임 유효 (FV) 신호 (1102) 및 라인 유효 (LV) 신호 (1104), 제 2 센서의 FV (1106) 및 LV (1108), 및 제 3 센서의 FV (1110) 및 LV (1112) 를 포함한다. 특정 실시형태에서, 제 1 센서, 제 2 센서, 및 제 3 센서는 도 3 의 제 1, 제 2, 및 제 3 센서들 (202, 204, 305) 일 수도 있다. 결합된 프레임 유효 신호 (1114) 는 결합된 라인 유효/데이터 신호 (1116) 와 라인 부하 (LL) 신호 (1118) 와 함께 도시된다.
특정 실시형태에서, 신호들 (1114-1118) 은 결합기에 의해 생성된 도 6 의 프레임 (660) 과 같은, 프레임의 하나 이상의 동기화된 데이터 라인들과 관련된 시그널링에 대응하고, 신호들 (1102-1112) 은 결합기에서 수신된 시그널링에 대응된다. 도시된 것과 같이, 제 1 라인 데이터 (1120), 제 2 라인 데이터 (1122), 및 제 3 라인 데이터 (1124) 는 제 1 센서로부터 수신되고, 제 1 라인 데이터 (1130), 제 2 라인 데이터 (1132), 및 제 3 라인 데이터 (1134) 는 제 2 센서로부터 수신되며, 제 1 라인 데이터 (1140), 제 2 라인 데이터 (1142) 및 제 3 라인 데이터 (1144) 는 제 3 센서로부터 수신된다.
제 1 라인 데이터 (1130) 는 제 1 라인 데이터 (1120) 및 제 2 라인 데이터 (1140) 이전에 제 2 센서로부터 수신된다. 제 1 라인 데이터 (1130) 와 제 1 라인 데이터 (1120) 의 수신 간의 위상 차이는 제 1 위상 차이 (1180) 로 도시된다. 제 1 센서의 제 1 라인 데이터 (1120) 는 제 3 센서의 제 1 라인 데이터 (1140) 이전에 수신되며, 이는 제 2 위상 차이 (1182) 로서 도시된다. 센서들 각각으로부터의 라인 데이터는 대응하는 프레임 유효 신호의 상승 에지를 뒤따를 수도 있으며, 이는 이미지 데이터 라인을 통해 수신된 데이터가 각각의 특정 센서로부터 유효한 라인 데이터임을 나타낸다. 도시된 것과 같이, 결합된 프레임 유효 라인 (1114) 은 로우 (low) 를 유지하며, 이는 제 1 라인 데이터 (1120, 1130 및 1140) 각각이 예컨대 도 2 의 결합기 (206) 에서 수신된 이후 까지 비-유효 데이터임을 나타낸다. 제 1 라인 데이터 (1120, 1130 및 1140) 각각이 수신된 후에, 결합된 프레임 유효 신호 (1114) 는 라인 유효 신호 (1116) 상에 유효한 데이터를 나타내도록 상승한다. 제 1 동기화된 라인 데이터 (1150) 는 LL 라인 (1118) 상에서 강조되고 있는 유효 신호와 결합하여 생성된다. 제 1 동기화된 라인 데이터 (1150) 의 생성 이후에, 결합된 프레임 유효 신호 (1114) 는 유효 상태를 유지하지만 LL 신호 (1118) 는 비-유효 상태로 리턴하며, 그 후에 LL 신호 (1118) 는 제 2 동기화된 데이터 라인 (1160) 의 생성 및 그 후의 제 3 동기화된 데이터 라인 (1170) 의 생성시 유효 상태로 복귀한다.
도 12 를 참조하면, 제 1 센서로부터의 제 1 데이터 스트림, 제 2 센서로부터의 제 2 데이터 스트림 및 제 3 센서로부터의 제 3 데이터 스트림 간의 3 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 1200 으로 지정된다. 도 3 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (1202), 제 1 센서 제 2 라인 데이터 (1204), 제 1 센서 제 3 라인 데이터 (1206) 및 제 1 센서 제 4 라인 데이터 (1208) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 3 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (1212), 제 2 센서 제 2 라인 데이터 (1214), 제 2 센서 제 3 라인 데이터 (1216) 및 제 2 센서 제 4 라인 데이터 (1218) 를 포함하는 제 2 데이터 스트림을 생성한다. 도 3 의 제 N 센서 (305) 와 같은 제 3 센서는 제 3 센서 제 1 라인 데이터 (1222), 제 3 센서 제 2 라인 데이터 (1224), 제 3 센서 제 3 라인 데이터 (1226) 및 제 3 센서 제 4 라인 데이터 (1228) 를 포함하는 제 3 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터, 제 2 데이터 스트림으로부터의 데이터, 및 제 3 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (1220) 을 형성한다. 도 12 에 도시된 특정 실시형태에서, 제 1, 제 2, 제 3 및 제 4 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.
특정 실시형태에서, 제 1 데이터 스트림의 데이터, 제 2 데이터 스트림의 데이터 및 제 3 데이터 스트림의 데이터 간에 3 라인 위상 차이가 발생한다. 예컨대, 제 3 센서 제 1 라인 데이터 (1222) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 1 라인 데이터 (1202) 와 제 3 센서 제 2 라인 데이터 (1224) 는 제 2 라인 위상 동안 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (1204) 와 제 3 센서 제 3 라인 데이터 (1226) 는 제 3 라인 위상 동안 수신될 수도 있으며, 제 1 센서 제 3 라인 데이터 (1206), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 4 라인 데이터 (1228) 는 제 4 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (1202), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 1 라인 데이터 (1222) 사이에 3 라인 위상 차이가 존재한다.
결합된 라인 (1220) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터 및 이미지의 제 3 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림, 제 2 데이터 스트림 및 제 3 데이터 스트림은 인터리빙되어 결합된 라인 (1220) 을 형성한다. 예를 들어, 결합된 라인 (1220) 은 제 1 센서 제 1 라인 데이터 (1202), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 1 라인 데이터 (1222) 를 갖는 결합된 라인 데이터 (1232), 제 1 센서 제 2 라인 데이터 (1204), 제 2 센서 제 2 라인 데이터 (1214) 및 제 3 센서 제 2 라인 데이터 (1224) 를 갖는 결합된 라인 데이터 (1234), 및 제 1 센서 제 3 라인 데이터 (1206), 제 2 센서 제 3 라인 데이터 (1216) 및 제 3 센서 제 3 라인 데이터 (1226) 를 갖는 결합된 라인 데이터 (1236) 를 포함한다. 각각의 결합된 라인 (1232-1236) 은 도 3 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 이와 같이, 3 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.
도 13 을 참조하면, 다중 센서들로부터의 데이터를 결합하여 3D 데이터를 생성하는 이미지 프로세싱 시스템의 특정 예시적 실시형태가 도시되고, 일반적으로 1300 으로 지정된다. 이미지 프로세싱 시스템 (1300) 은 제 1 이미지 센서 (1302) 및 제 2 이미지 센서 (1304) 를 포함한다. 이미지 프로세싱 시스템 (1300) 은 추가로 결합기 (1306) 및 이미지 프로세서 (1308) 를 포함한다. 이미지 프로세서 (1308) 는 디스플레이 디바이스 (1310) 에 커플링된다. 결합기 (1306) 는 적어도 하나의 라인 버퍼 (1312) 를 포함한다. 이미지 프로세싱 시스템 (1300) 은 적어도 하나의 반도체 다이에 집적될 수도 있다.
제 1 이미지 센서 (1302) 는 제 1 이미지 데이터 스트림 (1314) 으로 도시된 제 1 데이터 스트림을 생성하도록 구성되고, 제 2 이미지 센서 (1304) 는 제 2 이미지 데이터 스트림 (1316) 으로 도시된 제 2 데이터 스트림을 생성하도록 구성된다. 특정 실시형태에서, 제 1 이미지 데이터 스트림 (1314) 은 제 2 이미지 데이터 스트림 (1316) 과 비동기적일 수도 있다. 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 서로에 대하여 독립적이고 프로세서 (예컨대, 결합기 (1306) 또는 이미지 프로세서 (1308)) 로부터 공통 제어 신호를 수신하여 인접하게 정렬된 이미지 데이터 스트림들 (1314, 1316) 을 생성할 수도 있는 실질적으로 유사한 이미지 센서들일 수도 있다. 예를 들면, 이미지 데이터 스트림들 (1314, 1316) 은 주파수 및 위상과 같이 실질적으로 동일한 타이밍 특성들을 가질 수도 있다. 공통 제어 신호는 도 2 의 신호 동기화기 (230) 를 통해서와 같이 프로세서에 의해 생성될 수도 있기 때문에, 이미지 센서들 (1302, 1304) 각각은 단일 프로세서에 직접 응답하고 단일 프로세서에 의해 제어될 수도 있다. 2 개의 이미지 센서들 (1302, 1304) 이 도시되지만, 3 이상의 이미지 센서들이 이미지 프로세싱 시스템 (1300) 과 함께 사용될 수도 있음이 이해되어야 한다.
결합기 (1306) 는 제 1 이미지 데이터 스트림 (1314) 과 제 2 이미지 데이터 스트림 (1316) 에 대응한다. 결합기 (1306) 는 제 1 이미지 데이터 스트림 (1314) 으로부터의 데이터와 제 2 이미지 데이터 스트림 (1316) 으로부터의 데이터를 라인 버퍼 (1312) 내에서 결합하도록 구성된다. 특정 실시형태에서, 라인 버퍼 (1312) 는 제 1 이미지 센서 (1302) 로부터의 제 1 데이터와 제 2 이미지 센서 (1304) 로부터의 제 2 데이터를 정렬하도록 구성된다. 특정 실시형태에서, 결합기 (1306) 는 라인 버퍼 (1312) 내에 저장된 데이터에 응답하고, 프레임 데이터 (1318) 를 이미지 프로세서 (1308) 에 제공한다. 특정 실시형태에서, 프레임 데이터 (1318) 는 이미지 데이터의 복수의 로우들로 구성되고, 여기서 각각의 로우는 도 3 과 관련하여 설명된 것과 같은 각각의 센서 (1302, 1304) 로부터의 대응하는 로우들의 조합이다.
이미지 센서 (1308) 는 프레임 데이터 (1318) 를 처리하여 처리된 프레임 데이터 (1320) 를 디스플레이 디바이스 (1310) 에 제공하도록 구성된다. 처리된 프레임 데이터 (1320) 는 3D 이미지 포맷 또는 3D 비디오 포맷을 가질 수도 있다.
디스플레이 디바이스 (1310) 는 처리된 프레임 데이터 (1320) 를 수신하는데 응답하여 이미지 데이터를 렌더링하고 디스플레레이한다. 따라서, 다중 이미지 센서들로부터의 이미지 데이터는 결합되고, 처리된 후, 디스플레이 디바이스 (1310) 에서의 디스플레이를 위해 렌더링될 수도 있다. 특정 실시형태에서, 디스플레이 디바이스 (1310) 는 이미지 프로세서 (1308) 에 직접 응답하지 않도록 이미지 프로세서 (1308) 로부터 디커플링될 수도 있다. 예를 들면, 디스플레이 디바이스 (1310) 는 이미지 프로세서 (1308) 와 별개의 디바이스일 수도 있다.
공통으로 제어되는, 유사한 이미지 센서들 (1302, 1304) 로부터 수신된 데이터가 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 데이터 스트림들 (1314, 1316) 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 특정 실시형태에서, 라인 버퍼 (1312) 는 오정렬과 같은 최악의 경우를 위한 크기를 가질 수도 있다 (예컨대, 동기화 오정렬이 3 개의 라인들에서 발생하면, 라인 버퍼 (1312) 는 적어도 6 개 라인들을 저장하도록 크기가 정해져야 한다). 결과적으로, 결합된 데이터는 단일 이미지 프로세서 (1308) 를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 다중 프로세서 시스템들 (예컨대, 각각의 센서에 하나의 프로세서가 할당됨) 과 비교할 때 감소될 수도 있다.
실시형태들은 3D/입체 이미지들 및/또는 비디오 데이터를 제공하도록 구성될 수도 있다. 예를 들면, 일 실시형태에서, 제 1 이미지 센서 (1302) 와 제 2 이미지 센서 (1304) 는 좌/우 (입체) 이미지들을 제공하기 위해 나란히 위치될 수도 있다. 결합기 (1306) 에 의해 제공된 신호가 수신되어, 이미지 프로세서 (1308) 에 의해 3D 이미지들을 생성하도록 처리될 수도 있다. 사용자 명령은 이미지 프로세서 (1308) 로 하여금 오직 단일 센서 (즉, 제 1 이미지 센서 (1302) 또는 제 2 이미지 센서 (1304)) 로부터 데이터를 수신하고 처리하여 3D 이미지들을 생성하는 대신 2 차원 (2D) 이미지들을 생성하게 할 수도 있다.
이미지 프로세서 (1308) 와 같이, 단일 카메라에 대한 입력을 갖는 이미지 프로세서는 결합기 (1306) 에 의해 제공된 2 개의 카메라들로부터의 결합된 데이터를 이용함으로써 3D 프로세싱을 위해 이용될 수 있는 데이터를 처리할 수 있다. 이미지 프로세서 (1308) 는 결합기 (1306) 로부터 또는 결합기 (1306) 로부터의 이미지 데이터를 저장하는 메모리로부터 이미지 데이터를 수신할 수도 있다. 이러한 실시형태에서, 이미지 프로세서 (1308) 는 수신된 이미지 데이터를 2D 이미지/비디오 데이터로서 처리하여, 이미지 프로세서 (1308) 에 의한 후속 프로세싱이 이미지 프로세서 (1308) 로부터의 처리된 데이터에 기초하여 3D 입체 이미지/비디오 스트림을 제공할 수 있게 한다. 대안적으로, 이미지 프로세서 (1308) 는 수신된 이미지 데이터에 기초하여 3D 입체 이미지/비디오 스트림을 직접 제공하도록 구성될 수도 있다. 일 실시형태에서, 3D 캡쳐 시스템은 제 1 집적 회로로 구현된 결합기 (1306) 및 제 2 집적 회로로 구현된 이미지 프로세서 (1308) 를 포함한다. 제 1 및 제 2 집적 회로들은 예컨대, 직렬, 병렬 또는 I2C 버스 중 하나 이상의 버스에 의해 접속될 수도 있다.
프레임 데이터 (1318) 를 생성하기 위해 이미지 데이터 스트림 (1314, 1316) 을 결합하는 것은 이미지 프로세서 (1308) 가 단일 카메라 입력을 가지는데도 불구하고 이미지 프로세서 (1308) 가 다중 카메라 3D 프로세싱을 위한 포맷화를 수행하는 것을 가능하게 한다. 결과적으로, 시스템 (1300) 은 각각의 카메라에 대하여 별개의 프로세서를 이용하거나 다중 카메라 입력들을 구비한 프로세서를 이용하는 시스템과 비교할 때 감소된 비용으로 구현될 수도 있다.
도 14 를 참조하면, 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템들을 갖는 모바일 디바이스들의 다양한 실시형태들을 예시하는 도식적 표현이 도시되고, 일반적으로 1400 으로 지정된다. 1402 에 도시된 특정 실시형태에서, 모바일 디바이스는 2 개의 인접하는 카메라들의 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 1404 에 도시된 특정 실시형태에서, 모바일 디바이스는 인라인 (in-line) 구성으로 배열된 3 개의 카메라들의 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 대안적으로, 임의의 수의 카메라들이 인라인 구성으로 배열될 수도 있다. 1406 에 도시된 특정 실시형태에서, 모바일 디바이스는 카메라들의 3×3 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 1408 에 도시된 특정 실시형태에서, 모바일 디바이스는 카메라들의 5×5 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 대안적으로, 임의의 수의 카메라들이 2-차원 어레이에 배열될 수도 있다.
도 15 를 참조하면, 다중 카메라들 또는 이미지 센서들에 의해 캡처되는 이미지들의 어레이의 일 예가 도시되고, 일반적으로 1500 으로 지정된다. 도 15 에 도시된 것과 같이, 하나의 카메라에 의해 캡처된 이미지는 다른 인접 카메라들에 의해 캡처된 이미지들과 중첩할 수도 있다. 이미지 중첩은 가메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 15 에 도시된 특정 실시형태에서, 어레이 (1500) 는 카메라들 또는 이미지 센서들의 4×4 어레이에 대응한다. 대안적으로, 임의의 수의 카메라들이 2 차원 어레이 (예컨대, 도 18 및 도 19 에 도시된 것과 같은 5×5 어레이) 로 배열될 수도 있다.
각각의 카메라는 어레이 (1500) 의 단일 카메라 이미지를 캡처한다. 도 15 에 도시된 실시형태에서, 어레이 (1500) 는 4×4 어레이이다. 이와 같이, 어레이 (1500) 는 제 1 로우 (1502), 제 2 로우 (1504), 제 3 로우 (1506) 및 제 4 로운 (1608) 를 포함한다. 추가로, 어레이 (1500) 는 제 1 컬럼 (1510), 제 2 컬럼 (1512), 제 3 컬럼 (1514) 및 제 4 컬럼 (1516) 을 포함한다. 일 예로서, 단일 카메라 이미지 (1518) 는 제 1 로우 (1502) 및 제 4 컬럼(1516) 에 대응하는 카메라에 의해 캡처될 수도 있다. 단일 카메라 이미지 (1518) 는 인접 셀들의 다른 카메라들에 의해 캡처된 카메라 이미지들과 중첩할 수도 있다. 제 1 로우 (1502) 및 제 4 컬럼 (1516) 에 대응하는 카메라의 경우에, 인접 셀의 카메라는 제 1 로우 (1502) 및 제 3 컬럼 (1514) 에 대응하는 카메라, 제 2 로우 (1504) 및 제 3 컬럼 (1514) 에 대응하는 카메라, 또는 제 2 로우 (1504) 및 제 4 컬럼 (1516) 에 대응하는 카메라를 포함할 수도 있다. 예를 들면, 단일 카메라 이미지 중첩 (1520) 은 제 1 로우 (1502) 및 제 4 컬럼 (1516) 에 대응하는 카메라에 의해 캡처된 단일 카메라 이미지 (1508) 와 연관될 수도 있다. 도 15 는 로우들 (1502-1508) 각각의 각 카메라와 컬럼들 (1510-1516) 각각의 각 카메라에 대한 절대적인 정렬의 이론적인 경우를 도시한다. 이와 같이, 인접하는 로우 (예컨대, 제 2 로우 (1504)) 에 대응하는 카메라에 의해 캡처된 이미지와의 이미지 중첩은 이웃하는 컬럼 (예컨대, 제 3 컬럼 (1514)) 에 대응하는 카메라에 의해 캡처된 이미지와의 이미지 중첩과 동일할 수도 있다.
특정 수평 해상도 ("H-res") 에 따라 개별 이미지가 캡처될 수도 있다. 설명을 위해, 수평 해상도 (1522) 는 제 1 로우 (1502) 와 제 4 컬럼 (1516) 에 대응하는 카메라에 의해 캡처된 단일 카메라 이미지 (1518) 와 연관될 수도 있다. 도 15 는 각각의 카메라가 동일한 수평 해상도 (1522) 를 갖는 이미지 중첩의 이론적인 케이스를 도시한다. 이와 같이, 전체 수평 해상도 (1524) (즉, 로우들 (1502-1508) 각각에서 픽셀들의 수) 는 개별 카메라의 수평 해상도 (1522) 와 하나의 로우에서 셀들의 수 ("n") 의 조합에 기초하여 계산될 수도 있다. 도 15 의 4×4 어레이 (1500) 의 경우에, 각각의 로우에는 4 개의 셀들이 존재한다 (즉, 하나의 셀은 컬럼들 (1510-1516) 각각과 연관된다). 전체 수형 해상도 (1524) 는 이미지 중첩을 고려할 수도 있다. 예를 들면, 전체 수평 해상도 (1524) 는 H_res*n - overlap*(n-2) 로 계산될 수도 있으며, 여기서 overlap 은 인접하는 이미지들의 중첩하는 픽셀들의 개수를 나타낸다. 전체 수직 해상도를 결정하기 위해 유사한 계산이 수행될 수도 있다.
도 15 는 동일한 이미지 중첩을 갖는 각각의 카메라의 절대적인 정렬의 이론적인 케이스를 도시한다. 개별 카메라들에 의해 캡처된 이미지들 간의 이미지 중첩은 개별 이미지들 각각이 단일 이미지 내에 "함께 스티치 (stitched together)" 되게 할 수도 있다.
도 16 을 참조하면, 다중 카메라들 또는 이미지 센서들에 의해 캡쳐된 이미지들의 어레이의 일 예가 도시되고, 일반적으로 1600 으로 지정된다. 도 16 에 도시된 것과 같이, 하나의 카메라에 의해 캡처된 이미지는 다른 인접 카메라들에 의해 캡처된 이미지들과 중첩할 수도 있다. 이미지 중첩은 카메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 16 에 도시된 특정 실시형태에서, 어레이 (1600) 는 카메라들 또는 이미지 센서들의 4×4 어레이에 대응한다. 대안적으로, 임의의 수의 카메라들이 2-차원 어레이에 배열될 수도 있다. 도 16 은 기계적인 제약들로 인해, (도 15 에 도시된 것과 같이) 로우 또는 컬럼에서 카메라들의 절대적인 정렬을 달성하는 것이 가능하지 않을 수도 있는 것을 도시한다.
어레이 (1600) 의 각각의 이미지는 자신의 회전 (1602), 쉬프트 (1604) 및 틸트 (비도시) 를 가질 수도 있다. 하나 이상의 포지셔닝 오차들 (1606) 은 각각의 이미지와 연관될 수도 있다 포지셔닝 오차들 (1606) 은 회전 오차, 쉬프트 오차, 틸트 오차 또는 이들의 조합을 포함할 수도 있다. 이미지 중첩은 카메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 16 은 디바이스를 구성하는 것과 관련된 기계적인 제약들에서 기인하는 각각의 이미지의 회전 (1602), 쉬프트 (1604) 및 틸트를 고려할 수도 있다. 디바이스가 구성되면, 이미지 중첩은 알려지거나 안정적일 수도 있다. 이와 같이, 이미지 중첩은 정량화될 수도 있고, 후속 단계에서 수정될 수도 있다.
도 17 을 참조하면, 카메라들의 어레이 및 그 카메라 어레이와 연관된 전기적 접속들의 특정 실시형태가 도시되고, 일반적으로 1700 으로 지정된다. 도 17 은 어레이 (1700) 의 각 카메라가 제 1 타입 인터페이스 (즉, 데이터 인터페이스 (1702)) 및 제 2 타입 인터페이스 (즉, 제어 인터페이스 (1704)) 를 가지는 것을 도시한다. 도 17 에 도시된 실시형태에서, 어레이 (1700) 는 카메라들의 3×3 어레이를 포함한다. 대안적으로, 어레이 (1700) 는 (예컨대, 도 15 및 16 의 어레이들 (1500, 1600) 과 같은) 4×4 어레이에 배열된 카메라들 또는 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다.
데이터 인터페이스 (1702) 는 직렬 데이터 버스 (예컨대, 모바일 산업 프로세서 인터페이스 또는 표준 모바일 이미징 아키텍처 인터페이스) 를 포함할 수도 있다. 도 17 의 데이서 인터페이스 (1702) 는 어레이 (1700) 의 제 1 로우 (1706), 어레이 (1700) 의 제 2 로우 (1708) 및 어레이 (1700) 의 제 3 로우 (1710) 와 연관된다. 데이터 인터페이스 (1702) 와 연관된 라인들은 로우들 (1706-1710) 의 각각에서의 카메라들의 데이터를 수집하여 병렬로 처리되도록 하는데 이용될 수도 있다. 일 예로서, 5 메가픽셀 (mpix) 및 초당 10 프레임 까지의 해상도에 대하여, 4 개의 와이어들이 요구될 수도 있다 (예컨대, 상이한 데이터 및 클럭).
도 17 의 예시적인 3×3 어레이 (1700) 에서, 로우들 (1706-1710) 각각은 어레이 (1700) 의 제 1 컬럼 (1712) 에서 일 카메라, 어레이 (1700) 의 제 2 컬럼 (1714) 에서 일 카메라, 및 어레이 (1700) 의 제 3 컬럼(1716) 에서 일 카메라를 포함한다. 따라서, 데이터 인터페이스 (1702) 는 9 개의 카메라들로부터의 데이터를 수집하여 병렬로 처리되도록 하는데 이용될 수도 있다.
제어 인터페이스 (1704) 는 어레이 (1700) 에서 모든 카메라를 동기화하는데 이용되는 라인들을 포함할 수도 있다. 예를 들면, 제어 인터페이스 라인들은 클록, 리셋 및 I2C 통신과 연관될 수도 있다. 도 17 의 예시적인 3×3 어레이 (1700) 에서, 제어 인터페이스 (1704) 는 어레이 (1700) 의 9 개 카메라들을 동기화시키는데 이용될 수도 있다.
도 18 을 참조하면, 카메라 어레이 프로세싱 시스템의 특정 실시형태가 도시되고, 일반적으로 1800 으로 지정된다. 어레이 (1802) 에서 모든 카메라들은 공통 제어 신호에 응답하고, 정렬되고, 처리된 후에 결과적인 이미지 데이터가 최종 이미지로 결합될 수도 있다. 도 18 에 도시된 실시형태에서, 어레이 (1802) 는 카메라들의 5×5 어레이를 포함한다. 대안적으로, 어레이 (1802) 는 (예컨대, 도 17 의 3×3 어레이 (1700) 와 같은) 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다.
어레이 (1802) 에서 모든 카메라들은 단일 ISP 파이프라인을 이용하는 동시 이미지 센서 지원 방식을 이용하여 동기화될 수도 있다. 또한, 카메라들의 각각의 로우는 정렬 방법을 이용하여 정렬될 수도 있다. 즉, 이미지들의 하나의 로우가 수집되고, 동일한 순서로 정렬되며, 사이즈 n*line 을 갖는 단일 라인으로 처리하기 위해 송신될 수도 있고, 여기서 n 은 하나의 로우에서 카메라들의 수이고, line 은 하나의 카메라의 수평 사이즈 (즉, 도 15 에 도시된 것과 같은 "H_res") 이다. 도 18 에 도시된 5×5 어레이 (1802) 는 제 1 로우 (1804), 제 2 로우 (1806), 제 3 로우 (1808), 제 4 로우 (1810) 및 제 5 로우 (1812) 를 포함한다. 추가로, 5×5 어레이 (1802) 는 제 1 컬럼 (1814), 제 2 컬럼 (1816), 제 3 컬럼 (1818), 제 4 컬럼 (1820) 및 제 5 컬럼 (1822) 을 포함한다. 로우들 (1804-1812) 각각은 VFE 성분에서의 컬러에 대하여 병렬로 처리될 수도 있고, 로우들 (1804-1812) 각각은 하나의 로우에서 각각의 개별 이미지를 정렬하고 교정하기 위해 그래픽 프로세서 또는 그래픽 프로세싱 유닛 (GPU) 성분에서 처리될 수도 있다. 교정 및 정렬 이후, GPU 프로세싱이 수행되어 로우들 (1804-1812) 전부를 함께 결합하고, 그 결과 최종 이미지를 발생한다.
제 1 로우 (1804) 는 제 1 이미지 정렬 블록 (1824) 과 연관될 수도 있고, 제 2 로우 (1806) 는 제 2 이미지 정렬 블록 (1826) 과 연관될 수도 있고, 제 3 로우 (1808) 는 제 3 이미지 정렬 블록 (1828) 과 연관될 수도 있고, 제 4 로우 (1810) 는 제 4 이미지 정렬 블록 (1830) 과 연관될 수도 있으며, 제 5 로우 (1812) 는 제 5 이미지 정렬 블록 (1832) 과 연관될 수도 있다. 설명을 위해, 제 1 정렬 블록 (1824) 은 제 1 로우 (1804) 에서 각각의 카메라 (즉, 어레이 (1802) 의 5 개 컬럼들 (1814-1822) 에서의 5 개 카메라들) 로부터 이미지 데이터 라인들을 수집하도록 구성될 수도 있다. 제 1 정렬 블록 (1824) 은 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 1 정렬 블록 (1824) 은 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 제 1 VFE 성분 (1834) 에 송신하여 도 2, 도 3 및 도 5 의 결합기 (206) 와 관련하여 설명된 것과 같이 컬러에 대하여 처리되도록 구성될 수도 있다. 단일 라인의 사이즈는 카메라들의 수 (즉, 5 개 카메라) 및 제 1 로우 (1804) 의 각각의 카메라의 수평 사이즈 (즉, 도 15 에서 설명된 것과 같은 "H_res") 에 기초하여 결정될 수도 있다.
제 2 정렬 블록 (1826) 은 제 2 로우 (1806) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 2 VFE 성분 (1836) 에 송신하도록 구성될 수도 있다. 제 3 정렬 블록 (1828) 은 제 3 로우 (1808) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 3 VFE 성분 (1838) 에 송신하도록 구성될 수도 있다. 제 4 정렬 블록 (1830) 은 제 4 로우 (1810) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 4 VFE 성분 (1840) 에 송신하도록 구성될 수도 있다. 제 5 정렬 블록 (1832) 은 제 5 로우 (1812) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 5 VFE 성분 (1842) 에 송신하도록 구성될 수도 있다.
제어 동기화 블록 (1844) 은 센서 동기화기 (230) 와 유사한 방식으로 어레이 (1802) 의 카메라들 (즉, 도 18 의 예시적인 5×5 어레이 (1802) 의 경우에 25 개 카메라들) 각각을 동기화하는데 이용될 수도 있다. 특정 실시형태에서, 제어 동기화 블록 (1844) 은 도 17 의 제어 인터페이스 (1704) 를 구현할 수도 있다. 제어 동기화 블록 (1844) 은 어레이 (1802) 의 카메라들 각각과 VFE 성분들 (1834-1842) 각각에 통신적으로 커플링될 수도 있다. 어레이 (1802) 에서 모든 카메라들의 동기화는 고 해상도에서 롤링 셔터 (rolling shutter) 의 이용을 허용할 수도 있다. 모든 카메라들이 동시에 판독될 수도 있기 때문에, 롤링 셔터 영향은 (어레이의 사이즈에 따라) 감소될 수도 있다. 예를 들어, 도 18 의 5×5 어레이 (1802) 에서, 25 개 카메라들의 동기화는 상보적 금속 산화물 반도체 (CMOS) 카메라와 연관된 롤링 셔터 영향을 감소시킬 수도 있다.
제 1 VFE 성분 (1834) 은 제 1 GPU 성분 (1846) 에 통신적으로 커플링되어 제 1 로우 (1804) 에서 각각의 개별 이미지 (즉, 5 개 컬럼들 (1814-1822) 에서의 카메라들에 의해 캡처된 5 개 이미지들) 를 정렬시키고 교정할 수도 있다. 제 2 VFE 성분 (1836) 은 제 2 GPU 성분 (1848) 에 통신적으로 커플링되어 제 2 로우 (1806) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 3 VFE 성분 (1838) 은 제 3 GPU 성분 (1850) 에 통신적으로 커플링되어 제 3 로우 (1808) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 4 VFE 성분 (1840) 은 제 4 GPU 성분 (1852) 에 통신적으로 커플링되어 제 4 로우 (1810) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 5 VFE 성분 (1842) 은 제 5 GPU 성분 (1854) 에 통신적으로 커플링되어 제 5 로우 (1812) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. GPU 성분들 (1846-1854) 각각은 로우들 (1804-1812) 전부를 함께 결합하여 최종 이미지를 발생하도록 구성된 GPU 프로세싱 성분 (1856) 에 통신적으로 커플링될 수도 있다.
도 18 에 도시된 실시형태에서, 정렬 블록들 (1824-1832) 각각은 자신의 VFE 성분 및 GPU 교정 및 정렬 성분과 연합된다. 따라서, 도 18 은 로우들 (1804-1812) 각각이 별개의 VFE 성분들을 이용하여 컬러에 대하여 병렬로 처리될 수도 있고, 로우들 (1804-1812) 각각이 별개의 GPU 성분들을 이용하여 특정 로우에서 각각의 개별 이미지를 정렬하고 교정하도록 처리될 수도 있는 것을 도시한다. 대안적으로, 정렬 블록들 (1824-1832) 각각은 단일 VFE 성분 및 단일 GPU 교정 및 정렬 성분과 연합될 수도 있다 (도 19 참조).
도 19 를 참조하면, 카메라 어레이 프로세싱 시스템의 특정 실시형태가 도시되고, 일반적으로 1900 으로 지정된다. 어레이 (1902) 에서 모든 카메라들은 동기화되고, 정렬되고, 처리된 후에 최종 이미지로 결합될 수도 있다. 도 19 에 도시된 실시형태에서, 어레이 (1902) 는 카메라들의 5×5 어레이를 포함한다. 대안적으로, 어레이 (1902) 는 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다. 도 19 는, 도 18 에 도시된 복수의 VFE 및 GPU 교정 및 정렬 성분들보다는 단일 VFE 성분과 단일 GPU 교정 및 정렬 성분이 어레이 (1902) 의 모든 로우들을 처리하기 위해 이용될 수도 있는 것을 도시한다.
도 19 에 도시된 5×5 어레이 (1902) 는 제 1 로우 (1904), 제 2 로우 (1906), 제 3 로우 (1908), 제 4 로우 (1910) 및 제 5 로우 (1912) 를 포함한다. 추가로, 5×5 어레이 (1902) 는 제 1 컬럼 (1914), 제 2 컬럼 (1916), 제 3 컬럼 (1918), 제 4 컬럼 (1920) 및 제 5 컬럼 (1922) 을 포함한다. 제 1 로우 (1904) 는 제 1 이미지 정렬 블록 (1924) 과 연관될 수도 있고, 제 2 로우 (1906) 는 제 2 이미지 정렬 블록 (1926) 과 연관될 수도 있고, 제 3 로우 (1908) 는 제 3 이미지 정렬 블록 (1928) 과 연관될 수도 있고, 제 4 로우 (1910) 는 제 4 이미지 정렬 블록 (1930) 과 연관될 수도 있으며, 제 5 로우 (1912) 는 제 5 이미지 정렬 블록 (1932) 과 연관될 수도 있다. 설명을 위해, 제 1 정렬 블록 (1924) 은 제 1 로우 (1904) 에서 각각의 카메라 (즉, 어레이 (1902) 의 5 개 컬럼들 (1914-1922) 에서의 5 개 카메라들) 로부터 이미지 데이터 라인들을 수집하도록 구성될 수도 있다.
제 1 정렬 블록 (1924) 은 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 2 정렬 블록 (1926) 은 제 2 로우 (1906) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 3 정렬 블록 (1928) 은 제 3 로우 (1908) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 4 정렬 블록 (1930) 은 제 4 로우 (1910) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 5 정렬 블록 (1932) 은 제 5 로우 (1912) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다.
도 19 에 도시된 실시형태에서, 정렬 블록들 (1924-1932) 각각은 단일 VFE 성분 (1934) 으로의 처리를 위해 그 이미지들을 송신하여 컬러에 대하여 처리되도록 구성될 수도 있다. 단일 VFE 성분 (1934) 은 5 개 정렬 블록들 (1924-1932) 로부터 송신된 5 개 라인들 각각을 처리할 수도 있다. 전술된 것과 같이, 특정 정렬 블록으로부터의 단일 라인의 사이즈는 특정 로우에서 카메라들의 수 (즉, 5 개 카메라들) 및 특정 로우의 각각의 카메라의 수평 사이즈 (즉, 도 5 에서 설명한 "H_res") 에 기초하여 결정될 수도 있다. 이와 같이, 도 19 의 단일 VFE 성분 (1934) 에 의해 처리된 다중 라인들의 사이즈는 도 18 의 VFE 성분들 (1834-1842) 중 하나에 의해 처리된 단일 라인의 사이즈의 5 배일 수도 있다.
제어 동기화 블록 (1936) 은 하나 이상의 로우들 (1904-1912) 의 카메라들에 공통 제어 신호들을 제공하여 어레이 (1902) 의 카메라들 각각을 동기화하는데 이용될 수도 있다. 제어 동기화 블록 (1936) 은 어레이 (1902) 의 카메라들 각각과 단일 VFE 성분들 (1934) 에 통신적으로 커플링될 수도 있다. 어레이 (1902) 에서 모든 카메라들의 동기화는 고 해상도에서 롤링 셔터의 이용을 허용할 수도 있다. 모든 카메라들이 동시에 판독될 수도 있기 때문에, 롤링 셔터 영향은 (어레이의 사이즈에 따라) 감소될 수도 있다. 예를 들어, 도 19 의 5×5 어레이 (1902) 에서, 25 개 카메라들의 동기화는 CMOS 카메라와 연관된 롤링 셔터 영향을 감소시킬 수도 있다.
단일 VFE 성분 (1934) 은 단일 GPU 성분 (1938) 에 통신적으로 커플링되어 로우들 (1904-1912) 각각에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 이와 같이, 도 19 의 단일 GPU 성분 (1938) 은 도 18 의 GPU 정렬 및 교정 성분들 (1846-1854) 의 각각에서 처리된 5 개의 이미지들과 비교할 때 25 개의 이미지들을 정렬하고 교정할 수도 있다. 단일 GPU 성분 (1938) 은 로우들 (1904-1912) 전부를 함께 결합하여 최종 이미지를 발생하도록 구성된 GPU 프로세싱 성분 (1940) 에 통신적으로 커플링될 수도 있다.
도 20 은 들어오는 광 (2004) 을 포커싱하도록 구성된 메인 렌즈 (2002) 및 하나의 어레이 (2006) 에 배열된 다중 카메라들을 포함하는 고 해상도 디지털 카메라 시스템 (2000) 을 도시한다. 고 해상도 이미지는 어레이 (2006) 의 카메라들 각각에서 캡처되는 이미지들을 결합함으로써 합성 (또는 "모자이크") 이미지로서 생성될 수 있다. 예를 들면, 어레이 (2006) 의 카메라들 각각은 CMOS-타입 카메라 또는 전하 결합 디바이스 (CCD) 타입 카메라일 수도 있다. 메인 렌즈 (2002) 는 (어레이 (2006) 에서 메인 렌즈 (200) 의 "초점 평면" 과 카메라들의 "객체 평면" 으로 지칭되는) 평면 (2008) 에 캡처된 장면을 포커싱할 수도 있고, 어레이 (2006) 에서 각각의 카메라는 전체 이미지의 일부분을 캡처할 수도 있다. 어레이 (2006) 의 각각의 카메라는 평면 (2008) 에서 인접 카메라의 시계와 부분적으로 중첩하는 시계를 갖는다. 이러한 중첩은 어레이 (2006) 에서 인접 카메라들로부터 취득된 이미지들이 로우 별로 정렬되고 후속 프로세싱 동안 함께 "스티치" 될 수 있게 하며, (도 16 과 관련하여 설명된 것과 같은) 어레이 내의 카메라들의 비-이상적인 위치 및 정렬에 대한 오차를 제공할 수도 있다.
합성 이미지는 어레이 (2006) 의 카메라들로부터 이미지 데이터를 로우 별로 정렬함으로써 생성될 수 있다. 예를 들면, 도 20 의 어레이 (2006) 는 3 개의 로우들을 갖는 3×3 어레이를 포함한다. 어레이 (2006) 의 특정 로우 ("어레이 로우") 내의 각각의 카메라는 컬럼들 및 로우들 ("센서 컬럼" 및 "센서 로우") 로 배열된 광 검출기들을 갖는 이미지 센서를 포함할 수도 있다. 어레이 로우 내의 카메라들은 센서 로우들이 실질적으로 정렬될 수 있도록 포지셔닝될 수도 있다. 설명을 위해, 하나의 어레이 로우에서 각각의 카메라의 제 1 센서 로우는 동일한 어레이 로우 에서 모든 다른 카메라의 제 1 센서 로우와 실질적으로 정렬된다.
이미지 캡처 동안, 이미지 데이터의 제 1 센서 로우는 하나의 어레이 로우에서 각각의 카메라로부터 판독되고, (도 17 내지 도 19 와 관련하여 설명된 것과 같은) 이미지 프로세싱 회로에 제공된다. 제 1 센서 로우로부터의 이미지 데이터는 그 어레이 로우의 각각의 카메라의 위치에 따라 통합된다. 통합된 이미지 데이터는 더 큰 카메라로부터의 이미지 데이터의 단일 로우가 존재하는 것처럼 처리된다. 제 2, 제 3 및 후속 이미지 센서 로우들이 통합되어 이미지 프로세싱 회로에 제공되고, 합성 이미지의 로우들로서 처리된다. 각각의 어레이 로우는 다른 어레이 로우들과 병렬로 처리될 수도 있다.
도 20 의 배열은 고 해상도 카메라들에 대한 저렴한 대안을 제공할 수도 있다. 예를 들면, 100 메가픽셀 (mpix) 카메라는 메인 렌즈 뒤의 20 개의 5 mpix CMOS 카메라들의 어레이를 이용하여 구성될 수 있다. 각 카메라가 이미지의 일부분을 캡처하는 다중 CMOS 카메라들을 이용하여 이미지 캡처가 수행될 수 있기 때문에, 전체 이미지를 캡처하는 단일 100 mpix CMOS 카메라와 비교하여 "롤링 셔터" 아티팩트가 감소될 수도 있다.
도 21 을 참조하면, 다중 카메라 모듈의 일 구현의 특정 실시형태가 도시되고, 일반적으로 2100 으로 지정된다. 시스템 (2100) 은 다중 카메라 모듈, 예컨대 도 1 내지 도 5 에 도시된 것과 같은 다중 카메라 모듈이 자동차에 장착된 것을 도시한다. 다중 카메라 모듈은 도 6 및 도 7 과 관련하여 설명된 것과 같은 3 차원 이미지 또는 비디오 데이터로서 포맷화하기 위한, 동기화된 라인 데이터 프레임들을 생성하도록 구성될 수도 있다. 다중 카메라 모듈을 자동차의 후면부에 장착함으로써, 3차원 뷰가 획득되며, 이는 자동차를 후진하는 동안 내부 디스플레이 (비도시) 상에 거리 감각 (depth perception) 을 자동차의 운전자에게 제공할 수도 있다. 다중 카메라 모듈은 자동차에 대한 제한 없이 임의의 타입의 차량에 장착될 수도 있다.
도 22 를 참조하면, 다중 센서들로부터의 데이터를 동기화된 데이터 라인으로 결합하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2200 으로 지정된다. 일 예로서, 방법 (2200) 은 도 2 의 시스템, 도 3 의 시스템, 도 5 의 시스템 또는 이들의 임의의 조합에 의해 수행될 수도 있다.
공통 제어 신호는 동기화될 다중 이미지 센서들에 제공될 수도 있다 (2202). 예를 들면, 공통 제어 신호는 도 4 에 도시된 공통 제어 신호들 (404-410) 과 같이 공통 클록 신호 및 공통 리셋 신호를 포함할 수도 있다.
다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인이 수신될 수도 있다 (2204). 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인이 수신될 수도 있다 (2206). 예를 들어, 제 1 센서와 제 2 센서는 도 2 의 센서들 (202, 204) 일 수도 있다.
제 1 데이터 라인 및 제 2 데이터 라인은 동기화된 데이터 라인을 생성하도록 라인 결합될 수도 있다 (2208). 예를 들어, 방법 (2200) 은 제 1 이미지 센서로부터 수신된 제 1 데이터 스트림과 제 2 이미지 센서로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙하는 것을 포함할 수도 있다. 동기화된 데이터 라인은 도 5 에 도시된 제 1 센서 이미지 데이터 (422) 와 제 2 센서 이미지 데이터 (432) 를 결합하는 결합기 (406) 와 관련하여 설명된 것과 같이 형성될 수도 있다.
동기화된 데이터 라인은 도 6 의 프레임 (660) 과 같은 일 프레임의 부분을 형성할 수도 있다. 프레임은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션 (예컨대, 제 1 섹션 (652)), 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹선 (예컨대, 제 2 섹션 (654)) 및 제 1 섹션과 제 2 섹션 사이에 보간된 비-이미지 데이터를 포함하는 갭 섹션 (예컨대, 갭 섹션 (656)) 을 포함할 수 있다. 다른 실시형태들에서, 프레임은 제 1 섹션과 제 2 섹션 사이에 갭 섹션을 포함하지 않을 수도 있다.
제 1 데이터 라인을 수신하는 것은 제 2 데이터 라인을 수신하는 것이 완료되기 전에 종료될 수도 있고, 동기화된 데이터 라인은 제 2 데이터 라인을 수신하는 것이 완료된 이후에 발생될 수도 있다. 일 예로서, 도 8 의 결합된 데이터 라인 (822) 은 제 2 센서 제 1 라인 데이터 (812) 가 수신된 후에 생성된다.
3 이상의 이미지 센서들을 갖는 일 실시형태에서, 제 3 데이터 라인은 도 11 에 도시된 것과 같은 다중 이미지 센서들 중 제 3 이미지 센서로부터 수신될 수도 있다. 제 3 데이터 라인은 제 1 데이터 라인 및 제 2 데이터 라인과 결합되어 도 11 의 제 1 동기화된 데이터 라인 (1150) 과 같은 동기화된 데이터 라인을 생성할 수 있다.
도 23 을 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 동기화된 데이터 라인을 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공하는 방법의 특정 예시적 실시형태의 흐름도가 도시되며, 일반적으로 2300 으로 지정된다. 방법 (2300) 은 예시적이고 제한되지 않는 예들로서 도 2, 도 3, 도 5 의 시스템들 중 하나 이상에서 수행될 수도 있다.
공통 제어 신호는 다중 이미지 센서들에 제공될 수도 있다 (2302). 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성할 수도 있다. 예를 들면, 공통 제어 신호는 도 2 의 센서 동기화기 (230) 와 같이, 다중 이미지 센서들의 각각에 커플링된 센서 동기화기에 제공될 수도 있다. 설명을 위해, 센서 동기화기는 I2C (inter-integrated circuit) 제어 인터페이스를 통해, 카메라 직렬 인터페이스 (CSI) 사양에 부합하는 인터페이스를 통해, 또는 카메라 병렬 인터페이스 (CPI) 사양에 부합하는 인터페이스를 통해 다중 이미지 센서들 각각에 커플링될 수도 있다.
다중 이미지 센서들 중 각각으로부터 출력된 동기화된 데이터가 수신될 수도 있다 (2304). 제 1 데이터 라인은 다중 이미지 센서들 중 제 1 이미지 센서로부터 수신될 수도 있고, 제 2 데이터 라인은 다중 이미지 센서들 중 제 2 이미지 센서로부터 수신될 수도 있다. 제 1 데이터 라인을 수신하는 것은 제 2 데이터 라인을 수신하는 것이 완료되기 전에 종료될 수도 있고, 동기화된 데이터 라인은 제 2 데이터 라인을 수신하는 것이 완료된 이후에 발생될 수도 있으며, 예컨대 도 8 에서 결합된 데이터 라인 (822) 은 제 2 센서 제 1 라인 데이터 (812) 가 수신된 후에 생성된다.
다중 이미지 센서들 각각으로부터 동기화된 데이터 출력은 결합되어 동기화된 데이터 라인을 생성할 수도 있다 (2306). 예를 들면, 도 2 의 결합기 (206) 는 제 1 이미지 센서 (202) 로부터 수신된 제 1 데이터 스트림과 제 2 이미지 센서 (204) 로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙할 수도 있다.
동기화된 데이터 라인은 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공될 수도 있다 (2308). 동기화된 데이터 라인은 도 6 의 프레임 (660) 과 같이, 복수의 로우들을 갖는 일 프레임의 부분을 형성할 수도 있다. 예를 들면, 프레임은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션, 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹선 및 제 1 섹션과 제 2 섹션 사이의 갭 섹션을 포함할 수 있다.
도 24 를 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2400 으로 도시된다.
다중 이미지 센서들로의 공통 제어 신호가 제공될 수도 있다 (2402). 다중 이미지 센서들의 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 예를 들면, 공통 제어 신호는 다중 이미지 센서들의 각각에 커플링된 센서 동기화기, 예컨대 도 2 내지 도 5 중 임의의 것의 센서 동기화기 (230), 도 18 의 제어 동기화 블록 (1844), 도 19 의 제어 동기화 블록 (1936), 또는 이들의 임의의 조합에 의해 제공될 수도 있다.
다중 이미지 센서들 각각으로부터 동기화된 데이터 출력이 수신될 수도 있다 (2404). 동기화된 데이터 출력은 제 1 이미지 센서로부터 수신된 제 1 데이터 라인들 및 제 2 이미지 센서로부터 수신된 제 2 데이터 라인들을 포함할 수도 있다. 제 1 이미지 센서로부터의 각각의 수신된 데이터 라인과 제 2 이미지 센서로부터의 각각의 대응하는 데이터 라인 사이의 위상 오프셋은, 예시적이고 제한되지 않는 예들로서 도 9 의 1-라인 위상 차이, 도 8 의 2-라인 위상 차이, 또는 도 12 의 3-라인 위상 차이와 같이 실질적으로 일정할 수도 있다.
도 25 를 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2500 으로 지정된다.
다중 이미지 센서들에서 공통 제어 신호가 수신될 수도 있다 (2502). 다중 이미지 센서들의 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 예를 들면, 공통 제어 신호는 다중 이미지 센서들의 각각에 커플링된 센서 동기화기, 예컨대 도 2 내지 도 5 중 임의의 것의 센서 동기화기 (230), 도 18 의 제어 동기화 블록 (1844), 도 19 의 제어 동기화 블록 (1936), 또는 이들의 임의의 조합으로부터 수신될 수도 있다.
다중 이미지 센서들 각각으로부터 동기화된 데이터 출력이 생성될 수도 있다 (2504). 동기화된 데이터 출력은 제 1 이미지 센서로부터 수신된 제 1 데이터 라인들 및 제 2 이미지 센서로부터 수신된 제 2 데이터 라인들을 포함할 수도 있다. 제 1 이미지 센서로부터의 각각의 수신된 데이터 라인과 제 2 이미지 센서로부터의 각각의 대응하는 데이터 라인 사이의 위상 오프셋은, 예시적이고 제한되지 않는 예들로서 도 9 의 1-라인 위상 차이, 도 8 의 2-라인 위상 차이, 또는 도 12 의 3-라인 위상 차이와 같이 실질적으로 일정할 수도 있다.
도 26 을 참조하면, 단일 카메라에 대한 입력을 갖는 이미지 신호 프로세서에서 다중 센서들로부터의 데이터를 결합하는 방법의 특정 예시적 실시형태의 흐름가 도시되고, 일반적으로 2600 으로 지정된다.
이미지 데이터의 라인들은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 수신될 수도 있다 (2602). 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함할 수도 있다. 예시적이고 제한되지 않은 예로서, 이미지 프로세서는 도 2 및 도 3 또는 도 5 의 이미지 신호 프로세서 (208), 도 13 의 이미지 프로세서 (1308), 도 18 의 VFE들 (1834-1842), 도 19 의 VFE들 (1934-1942), 또는 이들의 임의의 조합을 포함할 수도 있다.
이미지 데이터의 라인들은 제 1 카메라 및 제 2 카메라에 커플링된 결합기로부터 제 1 이미지 프로세서에서 수신될 수도 있다. 제 1 카메라로부터의 제 1 이미지 데이터와 제 2 카메라로부터의 제 2 이미지 데이터의 라인별 판독은 결합기를 이용하여 이미지 데이터의 각 라인을 생성하도록 동기화될 수도 있다. 예를 들면, 결합기는 도 2 및 도 3 또는 도 5 의 결합기 (206), 도 13 의 결합기 (1306), 도 18 의 데이터 정렬 블록들 (1824-1832), 도 19 의 데이터 정렬 블록들 (1924-1932), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임이 생성될 수도 있다 (2604). 제 1 섹션 및 제 2 섹선은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성될 수도 있다.
특정 실시형태에서, 출력 프레임은 3D 이미지 데이터를 생성하도록 처리되고, 3D 이미지 데이터는 디스플레이 디바이스로 송신된다. 다른 실시형태에서, 출력 프레임은 3D 비디오 데이터를 생성하도록 처리되고, 3D 비디오 데이터는 도 13 의 디스플레이 디바이스 (1310) 와 같은 디스플레이 디바이스로 송신된다. 설명을 위해, 디스플레이 디바이스는 통신 디바이스, 카메라, 개인 휴대 정보 단말기, 및 컴퓨터 중 적어도 하나의 구성요소일 수도 있다.
도 27 을 참조하면, 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2700 으로 지정된다. 일 예로서, 방법 (2700) 은 도 2 의 시스템, 도 5 의 시스템, 또는 이들의 임의의 조합에 의해 수행될 수도 있다.
제 1 데이터 스트림은 도 2 의 제 1 센서 (202) 와 같은 제 1 이미지 센서로부터 수신될 수도 있다 (2702). 도 2 의 제 1 이미지 데이터 스트림 (212), 도 6 의 제 1 데이터 스트림 (602), 또는 도 5 의 타이밍 데이터 신호 (420) 와 이미지 데이터 신호 (422) 와 같은 제 1 데이터 스트림은 이미지의 제 1 이미지 데이터에 대응할 수도 있다. 제 2 데이터 스트림은 도 2 의 제 2 센서 (204) 와 같은 제 2 이미지 센서로부터 수신될 수도 있다 (2704). 도 2 의 이미지 데이터 스트림 (214) 과 같은 제 2 데이터 스트림, 도 6 의 제 2 데이터 스트림 (604) 또는 도 5 의 타이밍 신호 데이터 (430) 와 이미지 데이터 신호 (432) 는 이미지의 제 2 이미지 데이터에 대응할 수도 있다.
제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터가 결합될 수도 있다 (2706). 예를 들면, 도 2 의 결합기 (206) 또는 도 5 의 결합기 (206) 와 같은 결합기는 제 1 데이터 스트림으로부터의 제 1 이미지 데이터와 제 2 데이터 스트림으로부터의 제 2 이미지 데이터를 결합하여 결과적인 프레임을 생성할 수도 있다. 설명을 위해, 제 1 데이터 스트림은 제 1 라인 인덱스 값을 갖는 라인 데이터, 제 2 라인 인덱스 값을 갖는 라인 데이터, 등을 포함하는 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함할 수도 있다. 제 2 데이터 스트림은 제 1 라인 인덱스 값을 갖는 대응하는 라인 데이터, 제 2 라인 인덱스 값을 갖는 대응하는 라인 데이터, 등을 포함하는, 제 1 데이터 스트림의 라인 데이터에 대응하는 라인 데이터를 포함할 수도 있다. 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터 및 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되거나 결합되어 단일 이미지 라인을 형성할 수도 있다. 프로세스는 도 6 의 프레임 (660) 과 같은 결과적인 프레임을 생성하기 위해 각각의 라인 인덱스 값에 대하여 반복될 수도 있다. 특정 실시형태에서, 프레임은 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 라인 인덱스 값을 갖는 제 1 이미지 데이터의 라인을 저장하고, 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인과 제 2 이미지 데이터의 대응하는 라인이 단일 이미지 라인으로 결합될 경우, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 사이즈의 실질적으로 2 배이다.
프레임은 이미지 신호 프로세서에서 처리되어 처리된 프레임을 생성할 수도 있다 (2708). 특정 실시형태에서, 이미지 신호 프로세서는 도 2 의 이미지 신호 프로세서 (208) 또는 도 5 의 이미지 신호 프로세서 (208) 일 수도 있고, 처리된 프레임은 도 2 의 처리된 프레임 (240) 또는 도 6 의 처리된 프레임 (650) 일 수도 있다. 특정 실시형태에서, 처리된 프레임은 제 1 섹션 (652) 과 같이 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션, 제 2 섹션 (654) 과 같이 제 2 이미지로부터의 제 2 이미지 데이터를 포함하는 제 2 섹션 및 도 6 의 갭 섹션 (656) 과 같은 갭 섹션을 포함할 수도 있다. 갭 섹션은 제 1 섹션과 제 2 섹션 사이에 배치된 비-이미지 데이터를 포함할 수도 있다. 특정 실시형태에서, 제 1 섹션은 제 1 이미지 데이터의 라인을 포함할 수도 있고, 제 2 섹션은 제 2 이미지 데이터의 대응하는 라인을 포함할 수도 있다.
처리된 프레임은 디스플레이 디바이스에 디스플레이 되도록 출력될 수도 있다 (2710). 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 각각 이미지 신호 프로세서에 직접 응답하고, 디스플레이 디바이스는 이미지 신호 프로세서로부터 디커플링될 수도 있다.
도 28 을 참조하면, 제 1 이미지 센서와 제 2 이미지 센서를 동기화하는 방법의 예시적인 실시형태의 흐름도가 도시되며, 일반적으로 2800 으로 지정된다. 일 예로서, 방법 (2800) 은 도 2 의 시스템 (200), 도 5 의 시스템 (600), 또는 이들의 임의의 조합에서 수행될 수도 있다.
이미지의 제 1 이미지 데이터는 제 1 이미지 센서로부터 수신될 수도 있다 (2802). 특정 실시형태에서, 제 1 이미지 센서는 도 2 의 제 1 센서 (202) 일 수도 있다. 제 1 이미지 데이터와 연관된 제 1 데이터 스트림은 제 1 이미지 센서로부터 수신될 수도 있다 (2804). 특정 실시형태에서, 제 1 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 2 의 제 1 이미지 데이터 스트림 (212), 도 6 의 제 1 데이터 스트림 (602), 또는 도 5 의 타이밍 데이터 신호 (420) 와 이미지 데이터 신호 (422) 일 수도 있다.
이미지의 제 2 이미지 데이터는 제 2 이미지 센서로부터 수신될 수도 있다 (2806). 특정 실시형태에서, 제 2 이미지 센서는 도 2 의 제 2 센서 (204) 일 수도 있다. 제 2 이미지 데이터와 연관된 제 2 데이터 스트림은 제 2 이미지 센서로부터 수신될 수도 있다 (2808). 특정 실시형태에서, 제 2 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 2 의 제 2 이미지 데이터 스트림 (214), 도 6 의 제 2 데이터 스트림 (604), 또는 도 5 의 타이밍 데이터 신호 (430) 와 이미지 데이터 신호 (432) 일 수도 있다.
이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출은 동기화될 수도 있다 (2810). 특정 실시형태에서, 동기화는 도 2 의 결합기 (206) 또는 도 5 의 결합기 (206) 와 같은 결합기를 포함하는 호스트에서 이미지의 이미지 데이터 획득 동안 발생할 수도 있다. 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 예를 들어, 도 2 의 제 1 및 제 2 센서들 (202, 204) 은 제어 신호 (232) 를 통해 이미지 신호 프로세서 (208) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙될 수도 있다 (2812). 특정 실시형태에서, 제 1 데이터 스트림과 제 2 데이터 스트림은 라인별로 인터리빙될 수도 있다. 예를 들어, 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터와 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되어 인터리빙된 단일 이미지 라인을 형성할 수도 있다.
따라서, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 프로세서가 각각의 센서에 할당되는 다중 프로세서 시스템들과 비교할 때 감소될 수도 있다.
도 29 를 참조하면, 다중 이미지 센서들로부터의 데이터를 결합하여 3D 이미지 데이터를 생성하는 방법의 제 1 예시적 실시형태의 흐름도가 도시되며, 일반적으로 2900 으로 지정된다. 일 예로서, 방법 (2900) 은 도 13 의 시스템에 의해 수행될 수도 있다.
방법은 제 1 카메라와 제 2 카메라로부터 제 1 이미지의 라인별 판독을 동기화하여 이미지 데이터의 로우들을 생성하는 것을 포함한다 (2902). 제 1 카메라로부터의 제 1 이미지 데이터는 도 1 의 제 1 이미지 센서 (1302) 로부터의 이미지 데이터 스트림 (1314) 일 수도 있고, 제 2 이미지 데이터는 도 13 의 제 2 이미지 센서 (1304) 로부터의 이미지 데이터 스트림 (1316) 일 수도 있다.
방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 로우들을 수신하는 것을 포함한다 (2904). 이미지 데이터의 각 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 데이터와 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 데이터를 포함한다. 이미지 데이터의 로우들은 도 7 에 도시된 데이터 아웃 데이터 스트림 (706) 일 수도 있다.
방법은 이미지 프로세서를 사용하여 3D 이미지 포맷과 3D 비디오 포맷 중 하나를 갖는 출력을 생성하는 것을 포함한다 (2906). 출력은 제 1 이미지와 제 2 이미지에 대응한다. 출력은 디스플레이 디바이스 (예컨대, 도 13 의 디스플레이 디바이스 (1310)) 로 송신된다 (2908).
도 30 을 참조하면, 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 예시적 실시형태의 흐름도가 도시되고, 일반적으로 3000 으로 지정된다. 일 예로서, 방법 (3000) 은 도 13 의 시스템에 의해 수행될 수도 있다.
제 1 데이터 스트림은 도 13 의 제 1 이미지 센서 (1302) 와 같은 제 1 이미지 센서로부터 수신된다 (3002). 도 13 의 제 1 이미지 데이터 스트림 (1314) 또는 도 7 의 제 1 데이터 스트림 (702) 와 같은 제 1 데이터 스트림은 제 1 이미지의 제 1 이미지 데이터에 대응할 수도 있다. 제 2 데이터 스트림은 도 13 의 제 2 이미지 센서 (1304) 와 같은 제 2 이미지 센서로부터 수신될 수도 있다 (3004). 도 13 의 제 2 이미지 데이터 스트림 (1316), 도 7 의 제 2 데이터 스트림 (704) 과 같은 제 2 데이터 스트림은 제 2 이미지의 제 2 이미지 데이터에 대응할 수도 있다. 제 1 이미지와 제 2 이미지는 장면의 이미지들일 수도 있다. 장면의 제 1 이미지와 제 2 이미지는 실질적으로 동시에 취득될 수도 있거나, 상이한 시간에 취득될 수도 있다. 제 1 이미지는 제 2 이미지와 서로 다른 유리한 지점으로부터 취득되며, 따라서 깊이 정보는 장면의 제 1 이미지와 제 2 이미지로부터 결정될 수도 있다.
제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터가 결합된다 (3006). 예를 들면, 도 13 의 결합기 (1306) 와 같은 결합기는 제 1 데이터 스트림으로부터의 제 1 이미지 데이터와 제 2 데이터 스트림으로부터의 제 2 이미지 데이터를 결합하여 결과적인 프레임을 생성할 수도 있다. 설명을 위해, 제 1 데이터 스트림은 제 1 라인 인덱스 값을 갖는 라인 데이터, 제 2 라인 인덱스 값을 갖는 라인 데이터, 등을 포함하는 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함할 수도 있다. 제 2 데이터 스트림은 제 1 라인 인덱스 값을 갖는 대응하는 라인 데이터, 제 2 라인 인덱스 값을 갖는 대응하는 라인 데이터, 등을 포함하는, 제 1 데이터 스트림의 라인 데이터에 대응하는 라인 데이터를 포함할 수도 있다. 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터 및 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되거나 결합되어 단일 이미지 라인을 형성할 수도 있다. 프로세스는 도 7 의 프레임 (740) 과 같은 결과적인 프레임을 생성하기 위해 각각의 라인 인덱스 값에 대하여 반복될 수도 있다. 특정 실시형태에서, 프레임은 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 라인 인덱스 값을 갖는 제 1 이미지 데이터의 라인을 저장하고, 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인과 제 2 이미지 데이터의 대응하는 라인이 단일 이미지 라인으로 결합될 경우, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 사이즈의 실질적으로 2 배이다.
프레임은 단일 카메라에 대한 입력을 통해 이미지 데이터의 로우들로서 수신된다 (3008). 특정 실시형태에서, 단일 카메라에 대한 입력은 도 13 의 이미지 프로세서 (1308) 과 같은 이미지 프로세서의 입력일 수도 있다. 프레임은 도 7 의 프레임 (740) 일 수도 있다.
프레임으로부터 출력이 생성된다 (3010). 출력은 3D 이미지 포맷과 3D 비디오 포맷 중 하나를 갖는다. 출력은 제 1 이미지와 제 2 이미지에 대응한다. 출력은 도 13의 처리된 프레임 데이터 (1320) 일 수도 있다. 출력은 디스플레이 디바이스로 송신된다 (3012). 특정 실시형태에서, 디스플레이 디바이스는 도 13 의 디스플레이 디바이스 (1310) 일 수도 있다.
도 31 을 참조하면, 제 1 이미지 센서와 제 2 이미지 센서를 동기화하는 방법의 예시적인 실시형태의 흐름도가 도시되며, 일반적으로 3100 으로 지정된다. 일 예로서, 방법 (3100) 은 도 13 의 시스템 (1300) 에 의해 수행될 수도 있다.
이미지의 제 1 이미지 데이터는 제 1 이미지 센서로부터 수신될 수도 있다 (3102). 특정 실시형태에서, 제 1 이미지 센서는 도 13 의 제 1 이미지 센서 (1302) 일 수도 있다. 제 1 이미지 데이터와 연관된 제 1 데이터 스트림은 제 1 이미지 센서로부터 수신될 수도 있다 (3104). 특정 실시형태에서, 제 1 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 13 의 제 1 이미지 데이터 스트림 (1314) 또는 도 7 의 제 1 데이터 스트림 (702) 일 수도 있다.
이미지의 제 2 이미지 데이터는 제 2 이미지 센서로부터 수신될 수도 있다 (3106). 특정 실시형태에서, 제 2 이미지 센서는 도 13 의 제 2 이미지 센서 (1304) 일 수도 있다. 제 2 이미지 데이터와 연관된 제 2 데이터 스트림은 제 2 이미지 센서로부터 수신될 수도 있다 (3108). 특정 실시형태에서, 제 2 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 13 의 제 2 이미지 데이터 스트림 (1316) 또는 도 7 의 제 2 데이터 스트림 (704) 일 수도 있다.
이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출은 동기화될 수도 있다 (3110). 특정 실시형태에서, 동기화는 도 13 의 결합기 (1306) 와 같은 결합기를 포함하는 호스트에서 이미지의 이미지 데이터 획득 동안 발생할 수도 있다. 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 예를 들어, 도 13 의 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 제어 신호를 통해 이미지 프로세서 (1308) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 다른 실시형태에서, 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 제어 신호를 통해 결합기 (1306) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙될 수도 있다 (3112). 특정 실시형태에서, 제 1 데이터 스트림과 제 2 데이터 스트림은 라인별로 인터리빙될 수도 있다. 예를 들어, 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터와 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되어 인터리빙된 단일 이미지 라인을 형성할 수도 있다.
따라서, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 프로세서가 각각의 센서에 할당되는 다중 프로세서 시스템들과 비교할 때 감소될 수도 있다.
도 32 를 참조하면, 이미지 프로세서를 이용하여 3D 이미지를 생성하는 방법의 예시적 실시형태의 흐름도가 도시되고, 일반적으로 3200 으로 지정된다. 이미지 프로세서는 도 13 의 이미지 프로세서 (1308) 일 수도 있다. 방법 (3200) 은 이미지 프로세서가 (예컨대, 도 1 의 결합기 (1306) 와 같은) 결합기로부터 수신된 프레임, 메모리로부터의 프레임을 처리할 경우, 또는 사용자가 3D 이미지를 디스플레이하는 디바이스의 줌 특징 또는 팬 특징을 이용하여 디스플레이된 3D 이미지를 변경할 것을 선택할 경우에 이용될 수도 있다.
이미지 프로세서는 캘리브레이션 행렬의 파라미터들에 기초하여 제 1 이미지와 제 2 이미지를 교정한다 (3202). 캘리브레이션 행렬은 제 1 이미지와 제 2 이미지를 캡처하는 제 1 이미지 센서와 제 2 이미지 센서의 상대적인 위치들에 대한 조정들을 제공할 수도 있다. 2 개의 카메라들의 상대적인 위치들은 최소의 장면 왜곡 및 눈의 피로를 보장하도록 선택될 수도 있다. 캘리브레이션 행렬은 3D 이미지를 취득하는 디바이스에 대한 제작 프로세스에서 결정될 수도 있고, 여기서 제 1 이미지 센서와 제 2 이미지 센서의 위치들은 서로에 대하여 고정된다. 캘리브레이션은 디바이스의 메모리 내에 저장될 수도 있다. 제 1 이미지 센서, 제 2 이미지 센서, 또는 이들 양자의 위치들은 조정가능한, 3D 이미지를 취득하는 디바이스에 대하여, 디바이스의 프로세서는 캘리브레이션 행렬을 결정하기 위해 캘리브레이션 루틴을 실행하고 캘리브레이션 행렬을 메모리에 저장하는데 이용될 수도 있다. 캘리브레이션 루틴은 제 1 이미지 센서와 제 2 이미지 센서가 이미지 센서들로부터 설정된 거리에 위치된 특정 캘리브레이션 장면에서 포커싱될 것을 요구할 수도 있다. 캘리브레이션 루틴은 이미지 센서들의 서로에 대한 위치 조정 이후에 수행될 수도 있다.
이미지 프로세서는 제 1 이미지에서 키포인트들을 검출한다 (3204). 이미지 프로세서는 제 1 이미지에서 독특한 (고주파수) 포인트들을 검출할 수도 있다. 이미지 프로세서 블록은 제 1 이미지에서 각각의 검출된 키포인트에 대한 디스패리티들을 계산하기 위해 제 1 이미지와 제 2 이미지의 로컬 이미지 패치들 간에 매칭된다 (3206). 신뢰도 추정기는 모든 키포인트들이 에러 있는 매칭들이 제거되는 것을 보장하도록 생성될 수도 있다. 이미지 프로세서는 계산된 디스패리티들로부터 결정된 디스패리티 범위에 기초하여 컨버전스 조정을 결정한다 (3208). 컨버전스 조정은 장면 깊이 및 디스플레이 지오메트리를 고려한다.
이미지 프로세서는 컨버전스 조정이 출력을 생성하기 위해 3D 이미지를 디스플레이하는 디스플레이 디바이스의 능력 내에 있을 경우 컨버전스 조정에 기초하여 제 1 이미지와 제 2 이미지 중 적어도 하나를 선택적으로 쉬프트한다 (3210). 이미지 프로세서는 컨버전스 조정이 출력을 생성하기 위한 디스플레이 디바이스의 능력 밖일 경우에 대부분의 장면에 매칭하도록 조정된 디스패리티를 갖는 제 1 이미지를 이용한다 (3212). 이미지 프로세서는 디바이스 디바이스의 하나 이상의 디바이스 특징들에 기초하여 출력을 크롭한다 (3214).
도 33 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템 (3300) 의 특정 실시형태의 블록도이다. 이미지 프로세싱 시스템 (3300) 은 제 1 렌즈 (3304) 에 커플링되고, 제 2 렌즈 (3306) 에 커플링되고, 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 에 커플링된 이미지 센서 디바이스 (3302) 를 포함할 수도 있다. 이미지 센서 디바이스 (3302) 는 결합기 (3310) 및 단일 카메라에 대한 입력을 수신하는 이미지 프로세서 (3312) 를 포함할 수도 있다. 이미지 프로세서 (3312) 는 결합기 (3310) 로부터, 또는 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 의 메모리 디바이스 (3314) 로부터 단일 카메라 입력을 수신할 수도 있다. 결합기 (3310) 는, 예컨대 도 13 의 시스템 (1300) 을 구현함으로써, 도 29 내지 도 31 의 임의의 실시형태들에 따라 동작함으로써, 또는 이들의 임의의 조합에 의해 프레임을 생성하기 위해 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터를 결합할 수도 있다.
결합기 (3310) 는 제 1 아날로그-디지털 컨버터 (3318) 를 통해 제 1 센서 (3316) 로부터 이미지 데이터를 수신하도록 커플링된다. 결합기 (3310) 는 제 2 아날로그-디지털 컨버터 (3322) 를 통해 제 2 센서 (3320) 로부터 이미지 데이터를 수신하도록 커플링된다. 결합기 (3310) 또는 이미지 프로세서 (3312) 는 서로 독립적일 수도 있는 제 1 센서 (3316) 와 제 2 센서 (3320) 를 제어할 수도 있다. 특정 실시형태에서, 이미지 프로세서 (3312) 는 (쉐도우로 도시된) 센서 동기화기 (3330) 를 통해 제 1 센서 (3316) 와 제 2 센서 (3320) 를 제어할 수도 있다.
특정 실시형태에서, 결합기 (3310) 와 같은 이미지 프로세싱 회로를 포함하는 집적 회로는 프레임을 생성하도록 구성된다. 이미지 프로세싱 회로는 제 1 센서 (3316) 와 같은 제 1 이미지 센서로부터 제 1 데이터 스트림을 수신하고, 제 2 세서 (3320) 와 같은 제 2 이미지 센서로부터 제 2 데이터 스트림을 수신하고, 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 구성된다. 예를 들면, 도 7 의 제 1 데이터 스트림 (702) 과 제 2 데이터 스트림 (704) 은 도 7 의 프레임 (740) 을 형성하기 위해 결합기 (3310) 에 의해 결합될 수도 있다.
결합기 (3310) 로부터의 출력은 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 의 메모리 디바이스 (3314) 로, 이미지 프로세서 (3312) 로, 또는 이들 양자로 송신될 수도 있다. 이미지 프로세서 (3312) 는 이미지 프로세싱 시스템에 의해 수행된 하나 이상의 동작들과 같은 추가의 이미지 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (3312) 는 결합기 (3310) 로부터 또는 메모리 디바이스 (3314) 로부터 프레임을 수신할 수도 있다. 이미지 프로세서 (3312) 는 3D 이미지 포맷 또는 3D 비디오 포맷을 갖는 처리된 프레임과 같은 처리된 이미지 데이터를 생성할 수도 있다. 일 실시형태에서, 처리도니 이미지 데이터를 생성하기 위한 평균 시간은 약 20 밀리초이다. 이미지 프로세서 (3312) 는 추가의 처리, 송신, 저장, 디스플레이 디바이스 (3324) 로의 디스플레이 또는 이들의 임의의 조합을 위해 처리된 이미지 데이터를 퓨대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 에 제공할 수도 있다.
도 34 를 참조하면, 본 명세서에서 설명된 것과 같은 프레임 생성기 모듈을 포함하여 무선 전화기와 같은 전자 디바이스의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 3400 로 지정된다. 디바이스 (3400) 는 메모리 (3432) 에 커플링된 프로세서 (3410) 를 포함한다. 프로세서는 제어기 (3464) 를 포함하거나 커플링된다. 대안적으로, 전자 디바이스는 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 카메라, 고정 위치 데이터 유닛, 또는 컴퓨터일 수도 있다.
도 34 는 또한 프로세서 (3410) 및 디스플레이 (3428) 에 커플링된 디스플레이 제어기 (3426) 를 도시한다. 코더/디코더 (코덱; 3434) 는 또한 프로세서 (3410) 에 커플링될 수 있다. 스피커 (3439) 및 마이크로폰 (3438) 은 코덱 (3434) 에 커플링될 수 있다. 카메라 제어기 (3470) 는 또한 프로세서 (3410) 에 커플링될 수 있다. 제 1 카메라 (3472) 및 제 2 카메라 (3473) 은 카메라 제어기 (3470) 에 커플링될 수 있다.
도 34 는 또한 무선 인터페이스 (3440) 가 프로세서 (3410) 및 무선 안테나 (3442) 에 커플링될 수 있는 것을 나타낸다. 특정 실시형태에서, 프로세서 (3410), 디스플레이 제어기 (3426), 메모리 (3432), 코덱 (3434), 무선 인터페이스 (3440) 및 제어기 (3464) 는 시스템-인-패키지 또는 시스템-온-칩 (3422) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (3430) 및 전원 (3444) 은 온-칩 시스템 (3422) 에 커플링된다. 추가로, 특정 실시형태에서, 도 34 에 도시된 것과 같이, 디스플레이 (3428), 입력 디바이스 (3430), 스피커 (3439), 마이크로폰 (3438), 무선 안테나 (3442), 및 전원 (3444) 이 온-칩 시스템 (3422) 외부에 있다. 그러나, 그 각각이 인터페이스 또는 제어기와 같은 온-칩 시스템 (3422) 의 컴포넌트에 커플링될 수 있다.
특정 실시형태에서, 프로세서 (3410) 는 메모리 (3432) 에 저장된 프로그램 명령들 (3482) 과 같은, 프로세서 판독가능 매체로부터의 프로세서 실행가능 프로그램 명령들을 실행한다. 예를 들면, 메모리 (3432) 는 프로세서 (3410) 에 의해 판독될 수도 있고, 명령들 (3482) 은 프로세서 (3410) 에 의해 도 22 의 방법 (2200) 을 수행하도록 실행가능한 동작 명령들일 수도 있다. 예를 들면, 명령들 (3482) 은 프로세서 (3410) 에 의해 카메라 (3473) 와 같은 제 1 이미지 센서로부터의 제 1 데이터 스트림을 수신하고, 카메라 (3472) 와 같은 제 2 이미지 센서로부터의 제 2 데이터 스트림을 수신하고, 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 실행가능한 명령들을 포함할 수도 있다. 예를 들면, 제 1 이미지 센서는 도 2 의 제 1 센서 (202) 일 수도 있고, 제 2 이미지 센서는 도 2 의 제 2 센서 (204) 일 수도 있다. 명령들 (3482) 은 프로세서 (3410) 에 의해 프로세서 (3410) 또는 이미지 신호 프로세서 (미도시) 에서 프레임을 처리하여 처리된 프레임을 생성하도록 실행가능한 명령들을 추가로 포함할 수도 있다. 명령들 (3482) 은 프로세서 (3410) 에 의해 처리된 프레임을 출력하여 디스플레이 디바이스 (3428) 에 디스플레이 되거나 메모리 (3432) 에 이미지 데이터 (3480) 로서 저장되도록 실행가능한 명령들을 추가로 포함할 수도 있다.
도 35 를 참조하면, 모바일 전화기와 같은 전자 디바이스의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 3500 로 지정된다. 디바이스 (3500) 는 메모리 (3504) 에 커플링된 프로세서 (3502) 를 포함한다. 프로세서 (3502) 는 이미지 프로세서 (3506) 를 포함하거나 커플링된다. 이미지 프로세서 (3506) 는 단일 카메라 입력을 수신할 수도 있고, 3D 데이터 (3590) 를 출력할 수도 있다. 3D 데이터 (3590) 는 3D 이미지 포맷 또는 3D 비디오 포맷일 수도 있다. 대안적으로, 전자 디바이스 (3500) 는 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 카메라, 고정 위치 데이터 유닛, 컴퓨터, 또는 이들의 임의이 조합일 수도 있다.
도 35 는 또한 프로세서 (3502) 및 디스플레이 (3510) 에 커플링된 디스플레이 제어기 (3508) 를 도시한다. 코더/디코더 (코덱; 3512) 는 또한 프로세서 (3502) 에 커플링될 수 있다. 스피커 (3514) 및 마이크로폰 (3516) 은 코덱 (3512) 에 커플링될 수 있다. 카메라 제어기 (3518) 는 또한 프로세서 (3502) 에 커플링될 수 있다. 카메라 제어기 (3518) 는 결합기 (3520) 를 포함할 수도 있다. 결합기 (3520) 는 이미지 데이터를 이미지 프로세서 (3506) 에 제공할 수도 있다. 예들로서, 결합기 (3520) 는 도 13 의 결합기 (1306), 또는 도 7 과 관련하여 도시된 것과 같은 다중 카메라들로부터의 데이터를 결합하도록 구성된 다른 하드웨어 회로 또는 프로세서일 수도 있다. 제 1 카메라 (3522) 및 제 2 카메라 (3524) 는 카메라 제어기 (3518) 에 커플링될 수 있다.
도 35 는 또한 무선 인터페이스 (3526) 가 프로세서 (3502) 및 무선 안테나 (3528) 에 커플링될 수 있는 것을 나타낸다. 특정 실시형태에서, 프로세서 (3502), 디스플레이 제어기 (3508), 메모리 (3504), 코덱 (3512), 카메라 제어기 (3518) 및 무선 인터페이스 (3526) 는 시스템-인-패키지 또는 시스템-온-칩 (3530) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (3532) 및 전원 (3534) 은 온-칩 시스템 (3530) 에 커플링된다. 추가로, 특정 실시형태에서, 도 35 에 도시된 것과 같이, 디스플레이 (3510), 입력 디바이스 (3532), 스피커 (3514), 마이크로폰 (3516), 무선 안테나 (3528), 및 전원 (3534) 이 온-칩 시스템 (3530) 외부에 있다. 그러나, 그 각각이 인터페이스 또는 제어기와 같은 온-칩 시스템 (3530) 의 컴포넌트에 커플링될 수 있다.
특정 실시형태에서, 프로세서 (3502) 는 메모리 (3504) 에 저장된 프로그램 명령들 (3536) 과 같은, 프로세서 판독가능 매체로부터의 프로세서 실행가능 프로그램 명령들을 실행한다. 예를 들면, 메모리 (3504) 는 프로세서 (3502) 에 의해 판독될 수도 있고, 명령들 (3536) 은 프로세서 (3502) 에 의해 도 25 의 방법 (2500) 을 수행하도록 실행가능한 동작 명령들일 수도 있다. 예를 들면, 명령들 (3536) 은 프로세서 (3502) 에 의해 카메라 (3524) 와 같은 제 1 이미지 센서로부터의 제 1 데이터 스트림을 수신하고, 카메라 (3524) 와 같은 제 2 이미지 센서로부터의 제 2 데이터 스트림을 수신하고, 카메라 제어기 (3518) 의 제어기 (3520) 를 이용하여 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 실행가능한 명령들을 포함할 수도 있다. 예를 들면, 제 1 이미지 센서는 도 13 의 제 1 이미지 센서 (1302) 일 수도 있고, 제 2 이미지 센서는 도 13 의 제 2 이미지 센서 (1304) 일 수도 있다. 명령들 (3536) 은 프로세서 (3502) 에 의해 이미지 프로세서 (3506) 에서 프레임을 처리하여 처리된 프레임을 생성하도록 실행가능한 명령들을 추가로 포함할 수도 있다. 명령들 (3536) 은 프로세서 (3502) 에 의해 디스플레이 디바이스 (3510) 에서 디스플레이를 위해 처리된 프레임을 3D 데이터로서 출력하거나 처리된 프레임을 메모리 (3504) 에 이미지 데이터 (3538) 로서 저장되도록 실행가능한 명령들을 추가로 포함할 수도 있다.
당업자는 또한 본 명세서에 개시된 실시형태들과 관련하여 설명되는 다양한 설명의 논리적인 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 프로세서에 의해 실행되는 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있음을 인식할 것이다. 다양하게 설명되는 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성에 관련하여 전술되었다. 그러한 기능성이 프로세서에 의해 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 각각의 특정 애플리케이션을 위해 다양한 방식들로 기술된 기능성을 구현할 수도 있지만, 그러한 구현 결정들은 본 발명의 예시적인 실시예들의 범위로부터 벗어나는 것으로 해석되지 않아야 한다.
도 22 내지 도 32 의 방법들은 컴퓨터 판독가능 명령들의 형태로 메모리에 저장될 수 있는 프로그램 코드를 실행함으로써 수행될 수도 있다. 그 경우, 디지털 신호 프로세서 (DSP), 이미지 신호 프로세서 (ISP) 또는 다른 프로세서와 같은 프로세서는 이미지 프로세싱 방법들 중 하나 이상을 실행하기 위해 메모리에 저장된 명령들을 실행할 수도 있다. 일부 경우에, 방법들은 이미지 프로세싱을 가속화하기 위해 다양한 하드웨어 컴포넌트들을 적용하는 DSP 또는 ISP 에 의해 실행될 수도 있다. 다른 경우에, 본 명세서에서 설명된 유닛들은 마이크로프로세서, 하나 이상의 애플리케이션용 집적 회로들 (ASICs), 하나 이상의 현장 프로그래머블 게이트 어레이들 (FPGAs), 또는 이들의 임의의 조합에 의해 수행될 수도 있다.
본 명세서에 개시된 실시형태들와 관련하여 설명되는 방법 또는 알고리즘의 단계들은 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들의 조합에서 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거가능한 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터들, 하드디스크, 소거가능한 디스크, CD-ROM 또는 당업계에 공지된 임의의 다른 형태의 비-일시적인 컴퓨터 판독가능한 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 따라서 프로세서는 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 필수일 수도 있다. 프로세서 및 저장 매체는 애플리케이션용 집적 회로 (ASIC) 내에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기 내에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내에 별개의 컴포넌트들로서 상주할 수도 있다.
개시된 실시예들의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당업자에게 자명하며, 여기서 정의된 원칙들은 본 개시물의 범위를 벗어나지 않고 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 도시된 실시형태들에 한정되는 것이 아니며, 다음 청구범위들에 의해 정의된 것과 같은 원칙들 및 신규한 특징들과 일치하는 가장 넓은 범위에 따른다.

Claims (39)

  1. 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계로서, 상기 다중 이미지 센서들 각각은 상기 공통 제어 신호에 응답하여 이미지 데이터를 생성하고, 상기 다중 이미지 센서들은 적어도 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는, 상기 공통 제어 신호를 제공하는 단계;
    상기 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 단계로서, 상기 동기화된 데이터 출력은, 상기 제 1 이미지 센서로부터의 적어도 제 1 이미지 라인 및 제 2 이미지 라인과, 상기 제 2 이미지 센서로부터의 적어도 제 3 이미지 라인 및 제 4 이미지 라인을 포함하는, 상기 동기화된 데이터 출력을 수신하는 단계;
    적어도 제 1 동기화된 데이터 라인 및 제 2 동기화된 데이터 라인을 생성하기 위해 상기 다중 이미지 센서들 각각으로부터 상기 동기화된 데이터 출력을 결합하는 단계;
    이미지 프로세서의 단일 카메라 입력을 통해 상기 제 1 동기화된 데이터 라인 및 상기 제 2 동기화된 데이터 라인을 상기 이미지 프로세서에 제공하는 단계; 및
    상기 제 1 동기화된 데이터 라인 및 상기 제 2 동기화된 데이터 라인에 기초하여 결합된 이미지 프레임을 형성하는 단계를 포함하고,
    상기 결합된 이미지 프레임은 제 1 결합된 라인 및 제 2 결합된 라인을 포함하고,
    상기 제 1 결합된 라인은 상기 제 1 이미지 라인, 상기 제 3 이미지 라인, 및 상기 제 1 이미지 라인과 상기 제 3 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 1 갭 섹션을 포함하며,
    상기 제 2 결합된 라인은 상기 제 2 이미지 라인, 상기 제 4 이미지 라인, 및 상기 제 2 이미지 라인과 상기 제 4 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 2 갭 섹션을 포함하는, 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제 1 이미지 센서로부터 수신된 제 1 데이터 스트림과 상기 제 2 이미지 센서로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙하는 단계를 더 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 제 1 이미지 센서로부터 상기 제 1 이미지 라인을 수신하는 것은, 상기 제 2 이미지 센서로부터 상기 제 3 이미지 라인을 수신하는 것이 완료되기 전에 종료되며, 그리고 상기 제 1 동기화된 데이터 라인은, 상기 제 3 이미지 라인을 수신하는 것이 완료된 이후에 생성되는, 방법.
  7. 제 6 항에 있어서,
    상기 제 1 동기화된 데이터 라인이 생성되기 전에 상기 제 1 이미지 센서로부터 수신된 상기 제 2 이미지 라인의 적어도 일부분을 버퍼링하는 단계를 더 포함하는, 방법.
  8. 제 1 항에 있어서,
    센서 동기화기가 상기 다중 이미지 센서들의 각각에 커플링되는, 방법.
  9. 제 8 항에 있어서,
    상기 센서 동기화기는 I2C (inter-integrated circuit) 제어 인터페이스를 통해, 카메라 직렬 인터페이스 (CSI) 사양에 부합하는 인터페이스를 통해, 또는 카메라 병렬 인터페이스 (CPI) 사양에 부합하는 인터페이스를 통해 다중 이미지 센서들 각각에 커플링되는, 방법.
  10. 장치로서,
    공통 제어 신호를 다중 이미지 센서들에 제공하도록 구성된 센서 동기화기로서, 상기 다중 이미지 센서들 각각은 상기 공통 제어 신호에 응답하여 이미지 데이터를 생성하고, 상기 다중 이미지 센서들은 적어도 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는, 상기 센서 동기화기; 및
    결합기를 포함하고,
    상기 결합기는,
    상기 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 것으로서, 상기 동기화된 데이터 출력은, 상기 제 1 이미지 센서로부터의 적어도 제 1 이미지 라인 및 제 2 이미지 라인과, 상기 제 2 이미지 센서로부터의 적어도 제 3 이미지 라인 및 제 4 이미지 라인을 포함하는, 상기 동기화된 데이터 출력을 수신하도록 구성되고, 또한
    이미지 프로세서의 단일 카메라 입력을 통해 상기 이미지 프로세서에 제공될 적어도 제 1 동기화된 데이터 라인 및 제 2 동기화된 데이터 라인을 생성하기 위해 상기 다중 이미지 센서들 각각으로부터의 상기 동기화된 데이터 출력을 결합하도록 구성되며,
    상기 이미지 프로세서는, 제 1 결합된 라인 및 제 2 결합된 라인을 포함하는 결합된 이미지 프레임을 형성하고,
    상기 제 1 결합된 라인은 상기 제 1 이미지 라인, 상기 제 3 이미지 라인, 및 상기 제 1 이미지 라인과 상기 제 3 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 1 갭 섹션을 포함하며,
    상기 제 2 결합된 라인은 상기 제 2 이미지 라인, 상기 제 4 이미지 라인, 및 상기 제 2 이미지 라인과 상기 제 4 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 2 갭 섹션을 포함하는, 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 10 항에 있어서,
    상기 결합기는 상기 다중 이미지 센서들로부터 수신된 데이터 스트림들을 라인별로 인터리빙하도록 구성되는, 장치.
  15. 제 10 항에 있어서,
    상기 제 3 이미지 라인의 수신은, 상기 제 1 이미지 라인의 수신에 대하여 지연되고,
    상기 제 1 동기화된 데이터 라인은, 상기 결합기가 상기 제 3 이미지 라인을 수신한 후에 상기 결합기에서 생성되는, 장치.
  16. 제 15 항에 있어서,
    상기 제 1 동기화된 데이터 라인이 생성되기 전에 상기 제 1 이미지 센서로부터 수신된 상기 제 2 이미지 라인의 적어도 일부분을 버퍼링하도록 구성된 버퍼를 더 포함하는, 장치.
  17. 제 10 항에 있어서,
    상기 센서 동기화기는 I2C (inter-integrated circuit) 제어 인터페이스를 통해, 카메라 직렬 인터페이스 (CSI) 사양에 부합하는 인터페이스를 통해, 또는 카메라 병렬 인터페이스 (CPI) 사양에 부합하는 인터페이스를 통해 다중 이미지 센서들 각각에 커플링되는, 장치.
  18. 제 10 항에 있어서,
    상기 센서 동기화기는 상기 이미지 프로세서에 응답하는, 장치.
  19. 제 10 항에 있어서,
    상기 센서 동기화기 및 상기 결합기는 휴대용 전자 디바이스 내에 통합되는, 장치.
  20. 제 10 항에 있어서,
    상기 센서 동기화기 및 상기 결합기는 휴대용 전자 디바이스의 프로세서에 커플링되도록 구성된 카메라 모듈 내에 통합되는, 장치.
  21. 장치로서,
    공통 제어 신호를 다중 이미지 센서들에 제공하는 수단으로서, 상기 다중 이미지 센서들 각각은 상기 공통 제어 신호에 응답하여 이미지 데이터를 생성하고, 상기 다중 이미지 센서들은 적어도 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는, 상기 공통 제어 신호를 제공하는 수단; 및
    이미지 프로세서의 단일 카메라 입력을 통해 상기 이미지 프로세서에 제공될 적어도 제 1 동기화된 데이터 라인 및 제 2 동기화된 데이터 라인을 생성하기 위해 상기 다중 이미지 센서들 각각으로부터 수신되는 동기화된 데이터 출력을 결합하는 수단으로서, 상기 동기화된 데이터 출력은, 상기 제 1 이미지 센서로부터의 적어도 제 1 이미지 라인 및 제 2 이미지 라인과, 상기 제 2 이미지 센서로부터의 적어도 제 3 이미지 라인 및 제 4 이미지 라인을 포함하는, 상기 동기화된 데이터 출력을 결합하는 수단을 포함하고,
    상기 이미지 프로세서는, 제 1 결합된 라인 및 제 2 결합된 라인을 포함하는 결합된 이미지 프레임을 형성하고,
    상기 제 1 결합된 라인은 상기 제 1 이미지 라인, 상기 제 3 이미지 라인, 및 상기 제 1 이미지 라인과 상기 제 3 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 1 갭 섹션을 포함하며,
    상기 제 2 결합된 라인은 상기 제 2 이미지 라인, 상기 제 4 이미지 라인, 및 상기 제 2 이미지 라인과 상기 제 4 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 2 갭 섹션을 포함하는, 장치.
  22. 제 21 항에 있어서,
    상기 다중 이미지 센서들의 각각으로부터 상기 동기화된 데이터 출력을 수신하는 수단을 더 포함하는, 장치.
  23. 제 21 항에 있어서,
    특정 데이터 라인이 생성되기 전에 상기 다중 이미지 센서들 중 적어도 하나로부터 수신되는 다음 데이터 라인의 적어도 일부분을 버퍼링하는 수단을 더 포함하는, 장치.
  24. 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금,
    공통 제어 신호를 다중 이미지 센서들에 제공하게 하는 것으로서, 상기 다중 이미지 센서들 각각은 상기 공통 제어 신호에 응답하여 이미지 데이터를 생성하고, 상기 다중 이미지 센서들은 적어도 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는, 상기 공통 제어 신호를 제공하게 하게 하고;
    이미지 프로세서의 단일 카메라 입력을 통해 상기 이미지 프로세서에 제공되는 적어도 제 1 동기화된 데이터 라인 및 제 2 동기화된 데이터 라인을 생성하기 위해 상기 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 결합하게 하는 것으로서, 상기 동기화된 데이터 출력은, 상기 제 1 이미지 센서로부터의 적어도 제 1 이미지 라인 및 제 2 이미지 라인과, 상기 제 2 이미지 센서로부터의 적어도 제 3 이미지 라인 및 제 4 이미지 라인을 포함하는, 상기 동기화된 데이터 출력을 결합하게 하며; 그리고
    상기 제 1 동기화된 데이터 라인 및 상기 제 2 동기화된 데이터 라인에 기초하여 결합된 이미지 프레임을 형성하게 하고,
    상기 결합된 이미지 프레임은 제 1 결합된 라인 및 제 2 결합된 라인을 포함하고,
    상기 제 1 결합된 라인은 상기 제 1 이미지 라인, 상기 제 3 이미지 라인, 및 상기 제 1 이미지 라인과 상기 제 3 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 1 갭 섹션을 포함하며,
    상기 제 2 결합된 라인은 상기 제 2 이미지 라인, 상기 제 4 이미지 라인, 및 상기 제 2 이미지 라인과 상기 제 4 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 2 갭 섹션을 포함하는, 컴퓨터 판독가능 저장 매체.
  25. 삭제
  26. 제 24 항에 있어서,
    상기 프로세서로 하여금, 상기 제 1 이미지 센서로부터 수신된 제 1 데이터 스트림과 상기 제 2 이미지 센서로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  27. 제 24 항에 있어서,
    상기 프로세서로 하여금, 특정 데이터 라인이 생성되기 전에 상기 제 1 이미지 센서로부터 수신된 다음 데이터 라인의 적어도 일부분을 버퍼링하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  28. 장치로서,
    공통 제어 신호를 수신하고, 상기 공통 제어 신호에 응답하여 이미지 데이터를 생성하도록 커플링된 다중 이미지 센서들로서, 상기 다중 이미지 센서들은 적어도 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는, 상기 다중 이미지 센서들;
    상기 공통 제어 신호를 상기 다중 이미지 센서들에 제공하도록 구성된 센서 동기화기; 및
    결합기를 포함하고,
    상기 결합기는,
    상기 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 것으로서, 상기 동기화된 데이터 출력은, 상기 제 1 이미지 센서로부터의 적어도 제 1 이미지 라인 및 제 2 이미지 라인과, 상기 제 2 이미지 센서로부터의 적어도 제 3 이미지 라인 및 제 4 이미지 라인을 포함하는, 상기 동기화된 데이터 출력을 수신하도록 구성되고, 또한
    이미지 프로세서의 단일 카메라 입력을 통해 상기 이미지 프로세서에 제공될 적어도 제 1 동기화된 데이터 라인 및 제 2 동기화된 데이터 라인을 생성하기 위해 상기 동기화된 데이터 출력을 결합하도록 구성되며,
    상기 이미지 프로세서는, 제 1 결합된 라인 및 제 2 결합된 라인을 포함하는 결합된 이미지 프레임을 형성하고,
    상기 제 1 결합된 라인은 상기 제 1 이미지 라인, 상기 제 3 이미지 라인, 및 상기 제 1 이미지 라인과 상기 제 3 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 1 갭 섹션을 포함하며,
    상기 제 2 결합된 라인은 상기 제 2 이미지 라인, 상기 제 4 이미지 라인, 및 상기 제 2 이미지 라인과 상기 제 4 이미지 라인의 사이에 배치된 비-이미지 데이터를 포함하는 제 2 갭 섹션을 포함하는, 장치.
  29. 제 28 항에 있어서,
    상기 이미지 프로세서; 및
    처리된 이미지 데이터를 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는, 장치.
  30. 제 1 항에 있어서,
    상기 공통 제어 신호는 상기 이미지 프로세서로부터의 제어 신호에 응답하여 상기 다중 이미지 센서들의 각각에 커플링되는 센서 동기화기에 의해 제공되는 동기화 신호이고, 상기 다중 이미지 센서들은 상기 이미지 데이터의 생성을 초기화하도록 상기 동기화 신호에 응답하는, 방법.
  31. 제 10 항에 있어서,
    상기 공통 제어 신호는 상기 이미지 프로세서로부터의 제어 신호에 응답하여 상기 다중 이미지 센서들로 전송되는 동기화 신호이고, 상기 다중 이미지 센서들은 상기 이미지 데이터의 생성을 초기화하도록 상기 동기화 신호에 응답하는, 장치.
  32. 제 21 항에 있어서,
    상기 공통 제어 신호는 상기 이미지 프로세서로부터의 제어 신호에 응답하여 상기 다중 이미지 센서들로 전송되는 동기화 신호이고, 상기 다중 이미지 센서들은 상기 이미지 데이터의 생성을 초기화하도록 상기 동기화 신호에 응답하는, 장치.
  33. 제 24 항에 있어서,
    상기 공통 제어 신호는 상기 이미지 프로세서로부터의 제어 신호에 응답하여 상기 다중 이미지 센서들의 각각에 커플링되는 센서 동기화기에 의해 제공되는 동기화 신호이고, 상기 다중 이미지 센서들은 상기 이미지 데이터의 생성을 초기화하도록 상기 동기화 신호에 응답하는, 컴퓨터 판독가능 저장 매체.
  34. 제 28 항에 있어서,
    상기 공통 제어 신호는 상기 이미지 프로세서로부터의 제어 신호에 응답하여 상기 다중 이미지 센서들로 전송되는 동기화 신호이고, 상기 다중 이미지 센서들은 상기 이미지 데이터의 생성을 초기화하도록 상기 동기화 신호에 응답하는, 장치.
  35. 제 1 항에 있어서,
    상기 제 1 갭 섹션의 사이즈는, 보간 커널 (interpolation kernel) 의 사이즈 또는 상기 이미지 프로세서에 의해 상기 결합된 이미지 프레임에 적용되는 필터의 사이즈에 기초하는, 방법.
  36. 제 10 항에 있어서,
    상기 제 1 갭 섹션의 사이즈는, 보간 커널의 사이즈 또는 상기 이미지 프로세서에 의해 상기 결합된 이미지 프레임에 적용되는 필터의 사이즈에 기초하는, 장치.
  37. 제 21 항에 있어서,
    상기 제 1 갭 섹션의 사이즈는, 보간 커널의 사이즈 또는 상기 이미지 프로세서에 의해 상기 결합된 이미지 프레임에 적용되는 필터의 사이즈에 기초하는, 장치.
  38. 제 24 항에 있어서,
    상기 제 1 갭 섹션의 사이즈는, 보간 커널의 사이즈 또는 상기 이미지 프로세서에 의해 상기 결합된 이미지 프레임에 적용되는 필터의 사이즈에 기초하는, 컴퓨터 판독가능 저장 매체.
  39. 제 28 항에 있어서,
    상기 제 1 갭 섹션의 사이즈는, 보간 커널의 사이즈 또는 상기 이미지 프로세서에 의해 상기 결합된 이미지 프레임에 적용되는 필터의 사이즈에 기초하는, 장치.
KR1020127029027A 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합 KR101517661B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US32094010P 2010-04-05 2010-04-05
US61/320,940 2010-04-05
US32425910P 2010-04-14 2010-04-14
US61/324,259 2010-04-14
US35931210P 2010-06-28 2010-06-28
US61/359,312 2010-06-28
US41275510P 2010-11-11 2010-11-11
US61/412,755 2010-11-11
US13/079,619 2011-04-04
US13/079,619 US20110242355A1 (en) 2010-04-05 2011-04-04 Combining data from multiple image sensors
PCT/US2011/031283 WO2011127077A1 (en) 2010-04-05 2011-04-05 Combining data from multiple image sensors

Publications (2)

Publication Number Publication Date
KR20130006503A KR20130006503A (ko) 2013-01-16
KR101517661B1 true KR101517661B1 (ko) 2015-05-04

Family

ID=44709236

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127029028A KR101512222B1 (ko) 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합
KR1020127029023A KR101399718B1 (ko) 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합
KR1020127029027A KR101517661B1 (ko) 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020127029028A KR101512222B1 (ko) 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합
KR1020127029023A KR101399718B1 (ko) 2010-04-05 2011-04-05 다중 이미지 센서들로부터 데이터의 결합

Country Status (15)

Country Link
US (3) US20110242342A1 (ko)
EP (3) EP2556656A1 (ko)
JP (3) JP2013528021A (ko)
KR (3) KR101512222B1 (ko)
CN (3) CN102870401B (ko)
AR (3) AR081486A1 (ko)
AU (1) AU2011237801A1 (ko)
BR (2) BR112012025366A2 (ko)
CA (1) CA2794682A1 (ko)
IL (1) IL222289A0 (ko)
RU (1) RU2012146968A (ko)
SG (1) SG184225A1 (ko)
TW (3) TWI442766B (ko)
WO (3) WO2011127078A1 (ko)
ZA (1) ZA201208298B (ko)

Families Citing this family (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8744420B2 (en) * 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8555067B2 (en) 2010-10-28 2013-10-08 Apple Inc. Methods and apparatus for delivering electronic identification components over a wireless network
KR101720190B1 (ko) * 2010-11-04 2017-03-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
WO2012155119A1 (en) * 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP5821300B2 (ja) 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US9495018B2 (en) 2011-11-01 2016-11-15 Qualcomm Incorporated System and method for improving orientation data
JP5918982B2 (ja) * 2011-11-22 2016-05-18 キヤノン株式会社 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
DE102012003127A1 (de) * 2012-02-16 2013-09-05 Leica Camera Ag Verfahren für eine Autofokuseinrichtung
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US11263823B2 (en) 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
JP6007509B2 (ja) * 2012-02-27 2016-10-12 株式会社リコー シリアルｉ／ｆバス制御装置及び撮像装置
US9253450B2 (en) 2012-04-18 2016-02-02 Utc Fire & Security Americas Corporation, Inc. Total bus surveillance system
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20130327831A1 (en) * 2012-06-11 2013-12-12 Datalogic ADC, Inc. Dynamic imager switching
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140085497A1 (en) * 2012-09-26 2014-03-27 Omnivision Technologies, Inc. Systems And Methods For Sychronizing Multiple Video Sensors
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN116405747A (zh) 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US9195254B2 (en) * 2012-12-21 2015-11-24 Qualcomm, Incorporated Method and apparatus for multi-level de-emphasis
US9244694B2 (en) 2012-12-27 2016-01-26 Intel Corporation Executing a command within a transport mechanism based on a get and set architecture
US9686460B2 (en) * 2012-12-27 2017-06-20 Intel Corporation Enabling a metadata storage subsystem
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
CN104969238B (zh) 2013-01-15 2019-06-18 移动眼视力科技有限公司 车辆和用于车辆的成像系统
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
JP5953270B2 (ja) * 2013-07-04 2016-07-20 オリンパス株式会社 撮像装置
EP3779564B1 (en) 2013-07-04 2024-04-10 Corephotonics Ltd. Miniature telephoto lens assembly
US10033989B2 (en) * 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
JP5902354B2 (ja) * 2013-07-16 2016-04-13 富士フイルム株式会社 撮影装置及び３次元計測装置
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9563033B2 (en) * 2013-10-18 2017-02-07 Light Labs Inc. Methods and apparatus for capturing images and/or for using captured images
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及系统
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
KR101530163B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
KR101528556B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN103916498B (zh) * 2014-03-28 2017-02-15 宁波萨瑞通讯有限公司 串口摄像头和并口摄像头兼容方法
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN106575366A (zh) 2014-07-04 2017-04-19 光实验室股份有限公司 关于检测和/或指示脏镜头状况的方法和装置
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN105335779B (zh) * 2014-08-14 2018-03-02 夏志刚 数卡器及使用数卡器进行数卡的方法
US9313391B1 (en) * 2014-08-14 2016-04-12 Amazon Technologies, Inc. Camera interfaces for electronic devices
US9992483B2 (en) * 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
US10944911B2 (en) * 2014-10-24 2021-03-09 Texas Instruments Incorporated Image data processing for digital overlap wide dynamic range sensors
US9842071B2 (en) * 2014-11-11 2017-12-12 Microchip Technology Incorporated Multi-channel I2S transmit control system and method
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
JP2016178371A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 撮像装置
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
CN112305833A (zh) 2015-04-16 2021-02-02 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
US10091447B2 (en) * 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10872241B2 (en) 2015-04-17 2020-12-22 Ubicquia Iq Llc Determining overlap of a parking space by a vehicle
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
ES2891150T3 (es) * 2015-05-06 2022-01-26 Reactive Reality Ag Método y sistema para producir imágenes de salida
EP3306267B1 (en) * 2015-05-27 2020-04-01 Kyocera Corporation Arithmetic logic device, camera device, vehicle and calibration method
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
CN107615748B (zh) * 2015-06-10 2020-10-09 索尼公司 图像处理装置和方法
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10230898B2 (en) 2015-08-13 2019-03-12 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US10070060B2 (en) 2015-09-06 2018-09-04 Corephotonics Ltd Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR101751140B1 (ko) 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102433293B1 (ko) * 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102291525B1 (ko) 2015-12-29 2021-08-19 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10108462B2 (en) 2016-02-12 2018-10-23 Microsoft Technology Licensing, Llc Virtualizing sensors
JP6743427B2 (ja) * 2016-03-08 2020-08-19 株式会社リコー 情報処理装置、撮像システムおよびデータ転送方法
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
CN105635601B (zh) * 2016-03-28 2019-04-23 广州市盛光微电子有限公司 一种多传感器多通道视频数据输入方法和装置
US10719107B2 (en) 2016-03-29 2020-07-21 Intel Corporation Method and apparatus to maintain node power budget for systems that share a power supply
US9813783B2 (en) * 2016-04-01 2017-11-07 Intel Corporation Multi-camera dataset assembly and management with high precision timestamp requirements
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
JP6695739B2 (ja) * 2016-05-26 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
WO2017208090A1 (en) 2016-05-30 2017-12-07 Corephotonics Ltd. Rotational ball-guided voice coil motor
CN107925728B (zh) 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
EP4224233A1 (en) 2016-07-07 2023-08-09 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US10284838B2 (en) 2016-08-19 2019-05-07 Titan Medical Inc. Method and apparatus for transmitting images captured by first and second image sensors
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
JP6330873B2 (ja) * 2016-09-14 2018-05-30 株式会社リコー 撮像装置
KR101809727B1 (ko) * 2016-09-27 2017-12-15 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
JP6838725B2 (ja) * 2016-10-20 2021-03-03 日立Astemo株式会社 カメラ装置
US20190349502A1 (en) * 2016-11-29 2019-11-14 Sony Corporation Imaging device, imaging control method, and program
CN114051092A (zh) 2016-12-28 2022-02-15 核心光电有限公司 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机
EP3789810B1 (en) 2017-01-12 2022-09-28 Corephotonics Ltd. Compact folded camera
US10692262B2 (en) 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
KR102557662B1 (ko) * 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
JP2018128401A (ja) * 2017-02-10 2018-08-16 東芝Ｉｔコントロールシステム株式会社 Ｘ線透視検査装置
EP3579040B1 (en) 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
EP3591959B1 (en) * 2017-03-02 2023-06-07 Sony Semiconductor Solutions Corporation Image sensor and control system
US10554958B2 (en) 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
CN114137791A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的照相装置及移动装置
CN108881946A (zh) * 2017-05-10 2018-11-23 北京猎户星空科技有限公司 传感器数据的生成、传输、处理方法、装置及其系统
CN108881112B (zh) * 2017-05-10 2021-07-30 北京猎户星空科技有限公司 基于传感器的数据的生成、传输、处理方法、装置及其系统
TWI617195B (zh) * 2017-06-22 2018-03-01 宏碁股份有限公司 影像擷取裝置及其影像拼接方法
CN109214983B (zh) * 2017-06-30 2022-12-13 宏碁股份有限公司 图像获取装置及其图像拼接方法
CN109309784B (zh) * 2017-07-28 2021-05-28 展讯通信（上海）有限公司 移动终端
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102104761B1 (ko) 2017-11-23 2020-04-27 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR20190065736A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 3d 이미지를 생성하기 위한 전자 장치 및 방법
EP3848749A1 (en) 2018-02-05 2021-07-14 Corephotonics Ltd. Reduced height penalty for folded camera
CN111448793B (zh) 2018-02-12 2021-08-31 核心光电有限公司 具有光学图像稳定化的折叠摄像机
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
CN108540689B (zh) * 2018-04-09 2020-10-02 珠海全志科技股份有限公司 图像信号处理器、应用处理器及移动装置
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP3822588B1 (en) 2018-04-23 2022-09-07 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3573342B1 (en) * 2018-05-25 2021-03-31 Harman Becker Automotive Systems GmbH Multi-rate digital sensor synchronization
KR102107299B1 (ko) * 2018-06-21 2020-05-06 한국산업기술대학교산학협력단 영상 데이터 전송 방법 및 이를 수행하는 장치들
KR102170447B1 (ko) * 2018-06-22 2020-10-28 재단법인 실감교류인체감응솔루션연구단 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라
CN111316346B (zh) 2018-08-04 2022-11-29 核心光电有限公司 摄像机上方的可切换连续显示信息系统
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
CN113366495B (zh) * 2018-12-21 2024-03-22 伟摩有限责任公司 搜索自主车辆传感器数据存储库
KR102242437B1 (ko) 2019-01-07 2021-04-20 코어포토닉스 리미티드 슬라이딩 조인트를 갖는 회전 메커니즘
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
EP4224841A1 (en) 2019-03-09 2023-08-09 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
CN110392149A (zh) * 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN110381272B (zh) * 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
GB2587670A (en) * 2019-10-02 2021-04-07 Advanced Mobility Res And Development Ltd Systems and methods for aircraft
CA3157194C (en) 2019-10-07 2023-08-29 Boston Polarimetrics, Inc. Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN111031209B (zh) * 2019-12-17 2021-11-05 威海华菱光电股份有限公司 图像处理装置
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021162173A1 (ko) * 2020-02-14 2021-08-19 엘지전자 주식회사 멀티 카메라, 이미지를 촬영하는 장치 및 그 방법
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN117372248A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
KR20210150704A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
KR102455520B1 (ko) 2020-06-05 2022-10-17 한국과학기술원 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4045960A4 (en) 2020-07-15 2022-12-14 Corephotonics Ltd. CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA
CN114071027B (zh) * 2020-07-29 2023-04-28 华为技术有限公司 一种多数据传输通道的融合装置和电子设备
WO2022023914A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Hall sensor - magnet geometry for large stroke linear position sensing
JP7419204B2 (ja) * 2020-09-18 2024-01-22 株式会社東芝 画像処理装置
US20220103752A1 (en) * 2020-09-30 2022-03-31 Snap Inc. Ultra low power camera pipeline for cv in ar systems
US20220164350A1 (en) * 2020-11-25 2022-05-26 Waymo Llc Searching an autonomous vehicle sensor data repository based on context embedding
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN112689072A (zh) * 2020-12-23 2021-04-20 合肥安迅精密技术有限公司 一种相机系统
CN115190254A (zh) * 2021-04-07 2022-10-14 影石创新科技股份有限公司 多个视觉传感器的同步曝光电路、曝光方法及曝光装置
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023064505A1 (en) * 2021-10-14 2023-04-20 Redzone Robotics, Inc. Data translation and interoperability
US20230297525A1 (en) * 2022-03-15 2023-09-21 Samsung Electronics Co., Ltd. High speed interface for multi image sensor device
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355612A (en) * 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
US20080309774A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Multiple sensor input data synthesis
US20090026267A1 (en) * 2007-06-04 2009-01-29 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8030A (en) * 1851-04-08 Celia b
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
US4523226A (en) * 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
JPH0530423A (ja) 1991-07-25 1993-02-05 Nippon Television Network Corp ワイド画面ｅｄｔｖ信号用映像切替装置
WO1994018789A1 (en) 1993-02-11 1994-08-18 Polycom, Inc. Resolution enhancement system
JPH06350937A (ja) 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
US5475422A (en) 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
US6233361B1 (en) 1993-08-24 2001-05-15 Roger Colston Downs Topography processor system
WO1995018512A1 (de) 1993-12-29 1995-07-06 Leica Ag Verfahren und vorrichtung zur darstellung von stereoskopischen videobildern auf einem display
US5786850A (en) 1994-02-17 1998-07-28 Ultrak, Inc. Multiple room portable camera system
JP3428132B2 (ja) 1994-03-14 2003-07-22 ソニー株式会社 テレビジョン方式及び表示装置
US6064355A (en) 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
DE19542308A1 (de) 1994-11-25 1996-05-30 Zeiss Carl Fa Verfahren und Vorrichtung zur Darstellung dreidimensionaler Videobilder
JP3771954B2 (ja) 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
US5995140A (en) 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
UA22127C2 (uk) 1996-09-10 1998-04-30 Сергій Іванович Мірошніченко Телевізійhа система високої розрізhяльhої здатhості
US6278480B1 (en) 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
US6137580A (en) * 1998-09-22 2000-10-24 Creo Srl Autofocus system
GB2343320B (en) * 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
AU2487000A (en) 1998-12-30 2000-07-31 Chequemate International Inc. System and method for recording and broadcasting three-dimensional video
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
WO2001048537A2 (en) 1999-12-28 2001-07-05 Vrex, Inc. Stereoscopic camera
WO2001097531A2 (en) 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
WO2002090887A2 (en) 2001-05-04 2002-11-14 Vexcel Imaging Gmbh Digital camera for and method of obtaining overlapping images
US7002618B2 (en) 2001-06-01 2006-02-21 Stereographics Corporation Plano-stereoscopic DVD movie
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
US20040075741A1 (en) 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP4252105B2 (ja) 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置及び画像データ再生装置
KR100477801B1 (ko) 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
US7525576B2 (en) * 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
SE0300428D0 (sv) 2003-02-17 2003-02-17 Axis Ab Digital camera having panning and/or tilting functionality
KR100771299B1 (ko) 2003-06-26 2007-10-29 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
RU2250504C1 (ru) 2003-07-18 2005-04-20 Мироничев Сергей Юрьевич Способ многоканального видеоаудионаблюдения и реализующая его интегрированная высокочастотная система
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4483261B2 (ja) 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
JP4424088B2 (ja) 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
KR100782811B1 (ko) 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7577881B1 (en) 2005-05-10 2009-08-18 Ikanos Communications Inc. Method and apparatus for an interleaver
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US20070146478A1 (en) 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP4630149B2 (ja) 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP4185926B2 (ja) 2005-08-26 2008-11-26 ファナック株式会社 ロボット協調制御方法及びシステム
KR101185870B1 (ko) 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
JP4199238B2 (ja) 2006-01-11 2008-12-17 パナソニック株式会社 撮影システム
US20070248260A1 (en) 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
EP1988713A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Image processing apparatus and method using padding data
JP4720785B2 (ja) 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
KR101313740B1 (ko) 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
CN101286000A (zh) * 2008-05-30 2008-10-15 钟磊 N镜头立体数码相机
JP5512683B2 (ja) * 2008-09-11 2014-06-04 ユニバーシティ オブ マルタ 同期化された映像データを生成及び送信するための方法及び装置
JP4793451B2 (ja) 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US9544661B2 (en) * 2009-09-03 2017-01-10 Lg Electronics Inc. Cable broadcast receiver and 3D video data processing method thereof
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355612A (en) * 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
US20090026267A1 (en) * 2007-06-04 2009-01-29 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US20080309774A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Multiple sensor input data synthesis

Also Published As

Publication number Publication date
CN102884783A (zh) 2013-01-16
BR112012025182A2 (pt) 2016-06-21
WO2011127078A1 (en) 2011-10-13
TWI508520B (zh) 2015-11-11
KR101512222B1 (ko) 2015-04-14
US20110242342A1 (en) 2011-10-06
TW201212643A (en) 2012-03-16
KR20130006503A (ko) 2013-01-16
AR081486A1 (es) 2012-09-19
KR20120137432A (ko) 2012-12-20
WO2011127077A1 (en) 2011-10-13
CN102859987A (zh) 2013-01-02
BR112012025366A2 (pt) 2016-06-28
AR081160A1 (es) 2012-07-04
US9001227B2 (en) 2015-04-07
ZA201208298B (en) 2013-07-31
JP5559416B2 (ja) 2014-07-23
CN102870401B (zh) 2016-04-06
EP2556658A1 (en) 2013-02-13
AU2011237801A1 (en) 2012-11-01
EP2556656A1 (en) 2013-02-13
CA2794682A1 (en) 2011-10-13
JP2013528021A (ja) 2013-07-04
EP2556657A1 (en) 2013-02-13
US20110242355A1 (en) 2011-10-06
JP5675959B2 (ja) 2015-02-25
KR101399718B1 (ko) 2014-05-27
RU2012146968A (ru) 2014-05-20
CN102884783B (zh) 2017-03-08
AR081161A1 (es) 2012-07-04
SG184225A1 (en) 2012-11-29
JP2013539608A (ja) 2013-10-24
TWI442766B (zh) 2014-06-21
JP2013530558A (ja) 2013-07-25
KR20130028096A (ko) 2013-03-18
US20110242356A1 (en) 2011-10-06
TW201205308A (en) 2012-02-01
CN102870401A (zh) 2013-01-09
WO2011127076A1 (en) 2011-10-13
TW201210314A (en) 2012-03-01
IL222289A0 (en) 2012-12-31

Similar Documents

Publication Publication Date Title
KR101517661B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
KR101400515B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
EP3902242A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US20210203899A1 (en) Image processing device, image processing method, and imaging device
US20230007197A1 (en) Electronic device and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee