KR101400515B1 - 다중 이미지 센서들로부터 데이터의 결합 - Google Patents

Abstract

다중 센서들로부터의 데이터를 결합하는 방법이 개시된다. 그 방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 라인들을 수신하는 단계를 포함한다. 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터와 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함한다. 그 방법은 또한 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션을 가지고 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 가지는 출력 프레임을 생성하는 단계를 포함한다. 제 1 섹션과 제 2 섹션은 3차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성된다.

Description

다중 이미지 센서들로부터 데이터의 결합{COMBINING DATA FROM MULTIPLE IMAGE SENSORS}

우선권 주장

본 출원은 각각 2010 년 4 월 5 일에 출원된 미국 가출원 제 61/320,940 호, 2010 년 4 월 14 일에 출원된 미국 가출원 제 61/324,259 호, 2010 년 6 월 28 일에 출원된 미국 가출원 제 61/359,312 호 및 2010 년 11 월 11 일에 출원된 미국 가출원 제 61/412,755 호를 우선권 주장하고 참조로서 통합한다.

기술 분야

본 개시물은 일반적으로 다중 이미지 센서들로부터 데이터를 결합하는 것과 관련된다.

기술의 진보는 더 작고 더 강력한 컴퓨팅 디바이스들을 발생하였다. 예를 들면, 소형이고, 경량이며, 사용자들이 쉽게 운반할 수 있는, 휴대용 무선 전화기들, 개인 휴대 정보 단말기들 (PDAs) 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현존하고 있다. 더욱 상세하게는, 셀룰러 전화기들 및 인터넷 프로토콜 (IP) 전화기들과 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 추가로, 다수의 이러한 무선 전화기들은 그 내부에 통합되는 다른 타입의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 디지털 스틸 카메라 및 디지털 비디오 카메라를 포함할 수 있다. 또한, 이러한 무선 전화기들은 인터넷에 액세스하는데 이용될 수 있는, 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 처리할 수도 있다.

추가로, 무선 디바이스들은 3 차원 (3D) 애플리케이션들을 실행할 수도 있다. 3D 애플리케이션들에서, 통상적으로 적어도 2 개의 이미지 센서들이 장면으로부터 깊이 (depth) 정보를 캡처하는데 이용된다. 2 개의 이미지 센서들로부터의 프레임 데이터는 거리 정보를 추론하기 위해 결합되고 처리되며, 3D 표현을 구성하기 위해 이용된다. 센서들 각각으로부터의 이미지 데이터를 결합하는 것은 통상적으로 프레임 동기화 및 라인 동기화를 수행하는 것을 포함하며, 이들은 동기화 및 정렬 문제들을 발생할 수도 있다. 추가로, 다중 센서들로부터의 이미지 데이터의 필터링 및 이러한 이미지 데이터의 인터리빙은 소스 센서들이 상이한 주파수들 또는 위상들로 데이터를 제공할 경우 더 복잡해질 수도 있다. 다중 센서들로부터의 데이터를 효율적으로 동기화하고, 데이터를 효율적으로 처리하여 전체 이미지 프로세싱 시스템 비용 및 복잡도를 감소시키는 것은 유리할 것이다.

다수의 카메라 어레이 애플리케이션들에서, 다중 센서들 각각으로부터의 이미지 데이터는 라인 레벨로 동기화되고 처리된다. 다중 센서들로부터의 데이터를 결합하기 위한 이미지 프로세싱 시스템이 개시되며, 여기서 제 1 이미지 센서와 제 2 이미지 센서로부터의 이미지 데이터는 동기화되고 처리된다. 동기화된 데이터 라인들은 제 1 이미지 센서에 의해 생성된 제 1 데이터 스트림으로부터의 제 1 데이터와 제 2 이미지 센서에 의해 생성된 제 2 데이터 스트림으로부터의 제 2 데이터를 동기화시키고 결합함으로써 생성된다. 이미지 신호 프로세서는 결합기로부터 수신된 동기화된 데이터 라인들을 처리하여, 처리된 프레임을 디스플레이로 출력하도록 구성된다.

특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 동기화될 다중 이미지 센서들에 공통 제어 신호를 제공하는 단계를 포함한다. 그 방법은 다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인을 수신하는 단계, 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인을 수신하는 단계, 및 동기화된 데이터 라인을 생성하기 위해 제 1 데이터 라인과 제 2 데이터 라인을 결합하는 단계를 더 포함한다.

다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 통해 동기화될 다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인을 수신하도록 구성된 제 1 입력을 포함한다. 그 장치는 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인을 수신하도록 구성된 제 2 입력, 및 제 1 입력과 제 2 입력에 커플링된 결합기를 더 포함하며, 상기 결합기는 제 1 데이터 라인과 제 2 데이터 라인을 결합하여 동기화된 데이터 라인을 생성하도록 구성된다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들의 각각으로부터의 동기화된 데이터 출력을 수신하는 단계, 동기화된 데이터 라인을 생성하기 위해 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 결합하는 단계 및 이미지 프로세서의 단일 카메라 입력을 통해 동기화된 데이터 라인을 이미지 프로세서에 제공하는 단계를 더 포함한다.

또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 다중 이미지 센서들에 제공하도록 구성된 센서 동기화기를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 장치는 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공될 동기화된 데이터 라인을 생성하기 위해 다중 이미지 센서들 각각으로부터의 동기화된 데이터 출력을 결합하도록 구성된 결합기를 더 포함한다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 공통 제어 신호를 다중 이미지 센서들에 제공하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들의 각각으로부터 동기화된 데이터 출력을 수신하는 단계를 더 포함한다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 다중 이미지 센서들에서 공통 제어 신호를 수신하는 단계를 포함한다. 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 그 방법은 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 단계를 더 포함한다.

또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 공통 제어 신호를 다중 이미지 센서들에 제공하여 다중 이미지 센서들이 이미지 데이터를 생성하게 하도록 구성된 센서 동기화기를 포함한다. 그 장치는 다중 이미지 센서들의 각각으로부터의 동기화된 데이터 출력을 수신하도록 구성된 센서 데이터 인터페이스를 더 포함한다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 라인들을 수신하는 단계를 포함한다. 이미지 데이터의 각각의 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함한다. 그 방법은 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션 및 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하는 단계를 더 포함한다. 제 1 섹션 및 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성된다.

또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 단일 카메라에 대한 입력을 갖는 이미지 프로세서를 포함한다. 이미지 프로세서는 입력을 통해 이미지 데이터의 라인들을 수신하도록 구성된다. 이미지 데이터의 각각의 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함한다. 이미지 프로세서는 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션 및 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하도록 구성된다. 제 1 섹션 및 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성된다.

특정 실시형태에서, 다중 센서들로부터의 데이터를 결합하는 방법이 개시된다. 그 방법은 제 1 이미지 센서로부터 제 1 데이터 스트림을 수신하는 단계, 제 2 이미지 센서로부터 제 2 데이터 스트림을 수신하는 단계, 및 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하는 단계를 포함한다. 그 방법은 이미지 신호 프로세서에서 프레임을 추리하여 처리된 프레임을 생성하고 처리된 프레임을 디스플레이를 위해 출력하는 단계를 더 포함한다. 제 1 이미지 센서와 제 2 이미지 센서 각각은 이미지 신호 프로세서에 직접 응답한다.

다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 제 1 데이터 스트림을 생성하도록 구성된 제 1 이미지 센서, 제 2 데이터 스트림을 생성하도록 구성된 제 2 이미지 센서, 및 제 1 데이터 스트림으로부터의 제 1 데이터와 제 2 데이터 스트림으로부터의 제 2 데이터를 결합하여 프레임을 생성하도록 구성된 결합기를 포함한다. 그 장치는 프레임을 처리하여 처리된 프레임을 디스플레이에 출력하도록 구성된 이미지 신호 프로세서를 더 포함한다. 제 1 이미지 센서와 제 2 이미지 센서 각각은 이미지 신호 프로세서에 직접 응답한다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 제 1 이미지 센서로부터 이미지의 제 1 이미지 데이터를 수신하는 단계, 제 2 이미지 센서로부터 이미지의 제 2 이미지 데이터를 수신하는 단계, 및 이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 노출을 라인별로 동기화하는 단계를 포함한다. 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 동기화는 라인별로 이루어질 수도 있고, 프레임별로 이루어질 수도 있다.

또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 메모리 버퍼를 포함한다. 메모리 버퍼는 각각의 프레임의 스트리밍을 통해 들어온 스트림들을 결정적 순서로 정렬하는 섹션, 및 스트림들 사이에 프로그래밍 가능한 갭 섹션을 포함한다.

또 다른 특정 실시형태에서, 하나의 방법이 개시된다. 그 방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 로우들을 수신하는 단계를 포함한다. 이미지 데이터의 각각의 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 데이터를 포함한다. 그 방법은 또한 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 갖는 출력을 생성하는 단계를 포함한다. 출력은 제 1 이미지와 제 2 이미지에 대응한다.

또 다른 특정 실시형태에서, 하나의 장치가 개시된다. 그 장치는 단일 카메라에 대한 입력을 갖는 이미지 프로세서를 포함한다. 그 장치는 또한 이미지 데이터의 로우들을 이미지 프로세서에 송신하도록 구성된 결합기를 포함한다. 이미지 데이터의 각각의 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 제 1 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 제 2 데이터를 포함한다. 이미지 프로세서는 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 갖는 출력을 생성하도록 구성된다. 출력은 제 1 이미지와 제 2 이미지에 대응한다.

개시된 실시형태들 중 적어도 하나에 의해 제공되는 하나의 특별한 장점은 단일 이미지 신호 프로세서가 다중 이미지 센서들로부터의 이미지 데이터를 동기화하고 제어하는데 이용될 수도 있다. 다른 특별한 장점은 스트림들 사이에 갭들을 가지는 것이 이미지 신호 프로세서에서 결합된 스트림을 단일 프레임으로서 처리하는 유연성을 제공하고, 후속하는 블록-기반 프로세싱에 의한 스트림들의 오염을 방지하는 (즉, 그 갭이 최대 블록 기반 프로세싱과 동일하다면 스트림들의 오염이 방지된다) 것이다.

본 개시물의 다른 양태들, 장점들 및 특징들은 하기의 섹션들 : 도면의 간단한 설명, 상세한 설명, 및 청구범위를 포함하는 전체 출원을 검토한 후에 인식될 것이다.

도 1 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 2 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 2 예시적 실시형태의 블록도이다.
도 3 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 3 예시적 실시형태의 블록도이다.
도 4 는 도 2 의 이미지 프로세싱 시스템의 선택된 부분의 특정 예시적 실시형태의 블록도이며, 여기서 제 1 이미지 센서와 제 2 이미지 센서는 공통 제어 데이터를 수신한다.
도 5 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 제 4 예시적 실시형태의 블록도이다.
도 6 은 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 1 실시형태의 도식적인 표현이다.
도 7 은 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 2 실시형태의 도식적인 표현이다.
도 8 은 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 2 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이다.
도 9 는 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 1 라인 위상 차이를 예시하는 위상도의 제 2 실시형태의 도식적인 표현이다.
도 10 은 다중 센서들 각각의 픽셀 데이터를 예시하고 동기화된 데이터 라인들을 예시하는 도식적인 표현이다.
도 11 은 다중 센서들에 대한 프레임 유효 및 라인 유효 신호 타이밍을 예시하는 타이밍도이다.
도 12 는 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 3 라인 위상 차이를 예시하는 위상도의 제 3 실시형태의 도식적인 표현이다.
도 13 은 다중 이미지 센서들로부터의 데이터를 결합하여 3 차원 이미지 포맷을 생성하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 14 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템들을 갖는 모바일 디바이스들의 다양한 실시형태들을 예시하는 도식적 표현이다.
도 15 는 이미지들 사이의 중첩을 포함하는, 카메라 어레이에 의해 캡쳐된 이미지들의 일 예를 예시하는 도식적인 표현이다.
도 16 은 이미지들 사이의 중첩을 포함하는, 카메라 어레이에 의해 캡쳐된 이미지들의 일 예를 예시하는 도식적인 표현이며, 여기서 각각의 이미지는 자기 소유의 쉬프팅 성분 및 회전 성분을 가질 수도 있다.
도 17 은 카메라 어레이 및 카메라 어레이와 연관된 전기적 접속들의 특정 실시형태를 예시하는 블록도이다.
도 18 은 카메라 어레이 프로세싱 시스템의 제 1 특정 예시적인 실시형태의 블록도이다.
도 19 는 카메라 어레이 프로세싱 시스템의 제 1 특정 예시적인 실시형태의 블록도이다.
도 20 은 메인 렌즈 및 하나의 어레이에 배열된 다중 카메라들을 포함하는 카메라 시스템을 예시하는 도식적인 표현이다.
도 21 은 자동차 내의 다중 카메라 모듈을 예시하는 도식적인 표현이다.
도 22 는 다중 센서들로부터의 데이터를 동기화된 데이터 라인으로 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 23 은 공통 제어 신호를 다중 이미지 센서들에 제공하고, 동기화된 데이터 라인을 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 24 는 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 25 는 다중 이미지 센서들에서 공통 제어 신호를 수신하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 26 은 단일 카메라에 대한 입력을 갖는 이미지 신호 프로세서에서 다중 센서들로부터의 데이터를 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 27 은 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 28 은 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출을 동기화하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 29 는 다중 센서들로부터의 데이터를 결합하여 3 차원 이미지 데이터를 생성하는 방법의 제 1 예시적 실시형태의 흐름도이다.
도 30 은 다중 센서들로부터의 데이터를 결합하여 3 차원 이미지 데이터를 생성하는 방법의 제 2 예시적 실시형태의 흐름도이다.
도 31 은 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출을 동기화하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 32 는 다중 센서들로부터의 데이터를 결합하여 동기화된 데이터 라인으로부터 3 차원 이미지 데이터를 생성하는 방법의 특정 예시적 실시형태의 흐름도이다.
도 33 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도이다.
도 34 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템을 포함하는 무선 디바이스의 제 1 예시적 실시형태의 블록도이다.
도 35 는 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템을 포함하는 무선 디바이스의 제 2 예시적 실시형태의 블록도이다.

도 1 을 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태가 도시되고, 일반적으로 100 으로 지정된다. 이미지 프로세싱 시스템 (100) 은 다중 카메라 모듈 (102), 센서 모듈 (104) 및 단일 카메라 칩 모듈 (106) 을 포함한다. 특정 실시형태에서, 센서 모듈 (104) 은 도 2 및 도 3 의 센서들 (202 및 204) 과 같은 다중 센서들을 포함할 수도 있고, 여기서 다중 센서들 각각은 이미지의 데이터 라인들을 포함하는 데이터 스트림을 생성하도록 구성된다. 단일 카메라 모듈 (106) 은 도 2 및 도 3 의 이미지 프로세서 (208) 와 같은 단일 카메라 입력을 갖는 이미지 프로세서를 포함할 수도 있다. 다중 센서들의 이미지 데이터 스트림들의 라인별 이미지 데이터를 동기화된 데이터 라인들 (108) 로 결합하는 것은 이미지 프로세서가 단일 카메라 입력을 가지는데도 불구하고 이미지 프로세서가 다중 카메라 프로세싱을 위한 포맷화를 수행하는 것을 가능하게 한다. 결과적으로, 시스템 (100) 은 각각의 카메라에 대하여 별개의 프로세서를 이용하거나 다중 카메라 입력들을 구비한 프로세서를 이용하는 시스템과 비교할 때 감소된 비용으로 구현될 수도 있다.

도 2 를 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적인 실시형태가 도시되고, 일반적으로 200 으로 지정된다. 이미지 프로세싱 시스템 (200) 은 제 1 센서 (202) 와 제 2 센서 (204) 를 포함한다. 이미지 프로세싱 시스템 (200) 은 결합기 (206), 이미지 신호 프로세서 또는 비디오 프론트 엔드 (208), 및 센서 동기화기 (230) 를 추가로 포함한다. 이미지 신호 프로세서 (208) 는 디스플레이 디바이스 (미도시) 에 커플링될 수도 있다. 결합기 (206) 는 하나 이상의 라인 버퍼들 (216) 을 포함한다. 이미지 프로세싱 시스템 (200) 은 적어도 하나의 반도체 다이에 집적될 수도 있다.

제 1 센서 (202) 는 제 1 이미지 데이터 스트림 (212) 으로 도시된 제 1 데이터 스트림을 생성하도록 구성된다. 제 1 이미지 데이터 스트림 (212) 은 제 1 데이터 라인 (222) 을 포함한다. 제 2 센서 (204) 는 제 2 이미지 데이터 스트림 (214) 으로 도시된 제 2 데이터 스트림을 생성하도록 구성된다. 제 2 이미지 데이터 스트림 (214) 은 제 2 데이터 라인 (224) 을 포함한다. 제 1 및 제 2 센서들 (202, 204) 은 서로에 대하여 독립적이며, 센서 동기화기 (230) 로부터 공통 제어 신호 (234) 를 수신하는 실질적으로 유사한 이미지 센서들일 수도 있다. 센서 동기화기 (230) 는 제어/데이터 신호 (232) 를 수신하고 공통 제어 신호 (234) 를 제 1 및 제 2 센서들 (202, 204) 에 출력하여 제 1 및 제 2 센서들 (202, 204) 이 인접하여 정렬된 데이터 스트림들 (212, 214) 을 생성하게 하도록 구성된다. 예를 들어, 데이터 스트림들 (212, 214) 은 실질적으로 동일한 타이밍 특성들, 예컨대 주파수 및 위상을 가질 수도 있다. 특정 실시형태에서, 제어/데이터 신호 (232) 는 이미지 신호 프로세서 (208) 로부터 수신될 수도 있다.

결합기 (206) 는 제 1 이미지 데이터 스트림 (212) 과 제 2 이미지 데이터 스트림 (214) 에 응답한다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212) 으로부터의 데이터와 제 2 이미지 데이터 스트림 (214) 으로부터의 데이터를 라인 버퍼 (216) 내에서 결합하도록 구성된다. 특정 실시형태에서, 라인 버퍼 (216) 는 제 1 센서 (202) 로부터의 제 1 데이터 라인 (222) 과 같은 제 1 데이터 및 제 2 센서 (204) 로부터의 제 2 데이터 라인 (224) 과 같은 제 2 데이터를 정렬시키도록 구성된다. 특정 실시형태에서, 결합기 (206) 는 라인 버퍼 (216) 내에 저장된 데이터에 응답하여 라인 데이터 (218) 를 이미지 신호 프로세서 (208) 에 제공한다. 특정 실시형태에서, 라인 데이터 (218) 는 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 도 6 을 참조하여 설명된 것과 같이 각각의 센서 (202, 204) 로부터의 대응하는 로우들의 조합이다.

이미지 신호 프로세서 (208) 는 라인 데이터 (218) 를 처리하고, 처리된 라인 데이터 (240) 를 생성하도록 구성된다. 특정 실시형태에서, 처리된 라인 데이터 (240) 는 처리된 프레임 데이터로서 제공될 수도 있다. 2 개의 센서들이 도시되지만, 다른 실시형태들은 3 이상의 센서들을 포함할 수도 있다. 예를 들면, 도 3 은 3 이상의 센서들을 포함하는 일 실시형태 (300) 를 도시한다. 제 N 센서 (305) 는 제 N 이미지 데이터 스트림 (315) 으로 도시된 제 N 데이터 스트림을 생성하도록 구성된다. 제 N 이미지 데이터 스트림 (315) 은 제 N 데이터 라인 (325) 을 포함한다. 제 N 센서 (305) 는 제 1 및 제 2 이미지 센서들 (202, 204) 과 실질적으로 유사할 수도 있고, 센서 동기화기 (230) 로부터 공통 제어 신호 (234) 를 수신하여 제 1, 제 2, 및 제 N 센서들 (202, 204, 305) 이 인접하여 정렬된 데이터 스트림들 (212, 214, 315) 을 생성하게 할 수도 있다. 예를 들어, 데이터 스트림들 (212, 214, 315) 은 주파수 및 위상과 같은 실질적으로 동일한 타이밍 특성들을 가질 수도 있다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212), 제 2 이미지 데이터 스트림 (214) 및 제 N 이미지 데이터 스트림 (315) 에 응답한다. 결합기 (206) 는 제 1 이미지 데이터 스트림 (212), 제 2 이미지 데이터 스트림 (214) 및 제 N 이미지 데이터 스트림 (315) 을 라인 버퍼 (216) 내에서 결합하도록 구성된다.

공통 제어되는, 유사한 센서들 (예컨대, 도 2 의 202, 204 또는 도 3 의 202, 204, 305) 로부터 수신된 데이터가 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 결합기 (206) 에서 수신된 데이터 스트림들 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 특정 실시형태에서, 라인 버퍼 (216) 는 오정렬 (misalignment) 과 같은 최악의 경우를 위한 크기를 가질 수도 있다 (즉, 동기화 오정렬이 3 개의 라인들에서 발생하면, 라인 버퍼 (212) 는 적어도 6 개 라인들을 버퍼링하도록 크기가 정해져야 한다). 결과적으로, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 다중 프로세서 시스템들 (예컨대, 각각의 센서에 하나의 프로세서가 할당됨) 과 비교할 때 감소될 수도 있다.

도 4 를 참조하면, 도 2 의 이미지 프로세싱 시스템 (200) 의 선택된 부분 (400) 의 특정 예시적인 실시형태가 도시된다. 이미지 프로세싱 시스템의 부분 (400) 은 제 1 센서 (202), 제 2 센서 (204) 및 센서 동기화기 (230) 를 포함한다. 특정 실시형태에서, 제 1 센서 (202) 와 제 2 센서 (204) 는 센서 동기화기 (230) 로부터 동일한 시작 또는 리셋 신호들 및 동일한 클록 입력을 수신하는, 동일한 센서들 또는 거의 동일한 센서들이다. 예를 들면, 제 1 센서 (202) 및 제 2 센서 (204) 는 각각 센서 동기화기 (230) 로부터 공통 제어 데이터/신호들을 수신할 수도 있다. 특정 실시형태에서, 제어 데이터/신호들은 제어 클록 신호 (404), 제어 데이터 신호 (406), 카메라 클록 신호 (408) 및 카메라 리셋 신호 (410) 를 포함할 수도 있다. 제어 데이터/신호들 (404-410) 은 I2C (Inter-Integrated Circuit) 멀티-마스터 직렬 컴퓨터 버스와 같은 2 와이어 칩간 통신 프로토콜과 호환가능한 인터페이스를 통해 형성되고 송신될 수도 있다. 대안적으로, 제어 데이터/신호들 (404-410) 은 카메라 직렬 인터페이스 (CSI) 와 같이 디지털 카메라 모듈과 모바일 전화 엔진 간의 직렬 인터페이스, 카메라 직렬 인터페이스 2 (CSI-2) 와 같이 주변 장치 (카메라) 와 호스트 프로세서 (베이스밴드, 애플리케이션 엔진) 간의 인터페이스, 카메라 병렬 인터페이스 (CPI) 와 같이 디지털 카메라 모듈과 모바일 전화 엔진 간의 병렬 인터페이스, 또는 다른 제어 인터페이스들의 사양에 부합하는 인터페이스에 따라 형성되고 송신될 수도 있다.

제 1 센서 (202) 는 제 1 타이밍 데이터 (420) 와 제 1 센서 이미지 데이터 (422) 를 도 2 또는 도 5 의 시스템에 도시된 것과 같은 결합기 (206) 로 송신하도록 구성될 수도 있다. 유사하게, 제 2 센서 (204) 는 제 2 타이밍 데이터 (430) 와 제 3 센서 이미지 데이터 (432) 를 도 2 또는 도 5 의 시스템에 도시된 것과 같은 결합기 (206) 로 송신하도록 구성될 수도 있다.

동작 동안, 제 1 센서 (202) 와 제 2 센서 (204) 는 각각 타이밍 관점에서 동일하거나 거의 동일한 조건들에서 동작한다. 예를 들면, 제 1 및 제 2 센서들 (202, 204) 은 각각 동일한 제어 클록 신호 (404), 동일한 제어 데이터 신호 (406), 동일한 카메라 클록 신호 (408) 및 동일한 카메라 리셋 신호 (410) 를 수신한다. 제 1 및 제 2 센서들 (202, 204) 이 동일하거나 거의 동일하기 때문에, 동일한 타이밍 조건들에서 실질적으로 유사하게 동작한다. 예를 들면, 제 1 센서 (202) 로부터의 데이터 출력은 센서 (204) 로부터의 데이터 출력과 실질적으로 동일한 주파수 및 위상을 갖는다. 설명을 위해, 제 1 센서 (202) 및 제 2 센서 (204) 로부터의 데이터 출력 간의 위상 차이는 단일 수평선의 위상 차이보다 적을 수도 있으며, 이는 단일 이미지 신호 프로세서가 2 개의 이미지 센서들 (202, 204) 로부터의 이미지 데이터를 동기화하고 제어하는데 이용되게 한다.

도 5 를 참조하면, 다중 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 500 으로 지정된다. 시스템 (500) 은 제 1 이미지 센서 (202), 제 2 이미지 센서 (204), 결합기 (206), 센서 동기화기 (230) 및 이미지 신호 프로세서 (208) 를 포함한다. 시스템 (500) 은 레지스터 인터페이스 (510) 및 클록 관리 디바이스 (512) 를 추가로 포함한다. 특정 실시형태에서, 레지스터 인터페이스 (510) 는 센서 동기화기 (230) 내에 있을 수도 있다. 대안적으로, 레지스터 인터페이스 (510) 는 자립형 모듈일 수도 있다. 특정 실시형태에서, 시스템 (500) 은 (쉐도우로 도시된) 얇은 출력 포맷화기 (506) 와, (쉐도우로 도시된) 전송 패커 및 포맷화기 (508) 를 추가로 포함할 수도 있다.

특정 실시형태에서, 결합기 (206) 는 제 1 센서 (202) 로부터 제 1 타이밍 데이터 (420) 와 제 1 센서 이미지 데이터 (422) 를 수신하도록 구성된다. 결합기 (206) 는 또한 제 2 센서 (204) 로부터 제 2 타이밍 데이터 (430) 와 제 2 센서 이미지 데이터 (432) 를 수신하도록 구성된다. 결합기 (206) 는 추가로 클록 관리 디바이스 (512) 로부터 클록 신호 (526) 를 수신하도록 구성된다. 결합기 (206) 는 제 1 타이밍 데이터 (420), 제 2 센서 이미지 데이터 (422), 제 2 타이밍 데이터 (430) 및 제 2 센서 이미지 데이터 (432) 를 이용하여 이미지 프로세서 (208) 에 제공되는 동기화된 데이터 라인을 생성한다. 이미지 신호 프로세서 (208) 는 동기화된 데이터 라인을 처리하여 처리된 데이터 라인 데이터를 생성한다. 처리된 데이터 라인 데이터는 또 다른 컴포넌트, 예컨대 디스플레이 디바이스로 제공될 수도 있다. 따라서, 다중 센서들로부터의 이미지 데이터가 결합되고, 처리되고, 디스플레이에서 디스플레이를 위해 렌더링될 수도 있다.

특정 실시형태에서, 제 1 타이밍 데이터 (420) 는 제 1 픽셀 클록과 연관될 수도 있고, 제 1 센서 이미지 데이터 (422) 는 제 1 픽셀 사이즈와 연관될 수도 있고, 제 2 타이밍 데이터 (430) 는 제 2 픽셀 클록과 연관될 수도 있고, 제 2 센서 이미지 데이터 (432) 는 제 2 픽셀 사이즈와 연관될 수도 있다. 결합기 (406) 가 제 1 타이밍 데이터 (420), 제 2 센서 이미지 데이터 (422), 제 2 타이밍 데이터 (430) 및 제 2 센서 이미지 데이터 (432) 를 결합하여 동기화된 데이터 라인을 생성할 경우에, 제 1 이미지 데이터의 제 1 라인 및 제 2 이미지 데이터의 대응하는 라인은 단일 이미지 라인으로 결합된다. 특정 실시형태에서, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 실질적으로 2 배 (예컨대, 제 1 픽셀 사이즈 또는 제 2 픽셀 사이즈의 2 배) 가 될 수도 있고, 결합된 단일 이미지 라인의 픽셀 클록의 레이트는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 레이트의 실질적으로 2 배일 수도 있다 (예컨대, 제 1 픽셀 클록 주파수 또는 제 2 픽셀 클록 주파수의 2 배인 클록 주파수를 가질 수도 있다). 생성된 동기화된 데이터 라인은 결합기 타이밍 데이터 신호 (528) 와 결합기 이미지 데이터 신호 (530) 를 통해 이미지 신호 프로세서 (208) 로 송신된다.

특정 실시형태에서, 결합기 (206) 에 의해 생성된 동기화된 데이터 라인은 포맷화된 데이터를 생성하기 위해 얇은 출력 포맷화기 (506) 로 제공될 수도 있고, 이 포맷화된 데이터는 이미지 신호 프로세서 (208) 로 제공되기 전에 전송 패커 및 포맷화기 (508) 로 제공된다.

특정 실시형태에서, 얇은 출력 포맷화기 (506) 는 결합기 타이밍 데이터 신호 (528) 및 결합기 이미지 데이터 신호 (530) 를 수신하여 포맷화된 데이터를 생성한다. 포맷화된 데이터는 출력 포맷화기 타이밍 데이터 신호 (536), 출력 포맷화기 이미지 데이터 신호 (538), 출력 포맷화기 통계 데이터 신호 (540), 출력 포맷화기 시작 데이터 신호 (542) 및 출력 포맷화기 유효 데이터 신호 (544) 를 포함할 수도 있다. 특정 실시형태에서, 전송 패커 및 포맷화기 (508) 는 얇은 출력 포맷화기 (506) 로부터 포맷화된 데이터 (536-544) 를 수신하고, 전송 타이밍 데이터 신호 (546) 와 전송 이미지 데이터 신호 (548) 를 포함하는 전송 데이터 스트림을 생성한다.

특정 실시형태에서, 레지스터 인터페이스 (510) 는 이미지 신호 프로세서 (208) 에 커플링되고, 클록 관리 디바이스 (512) 에 커플링될 수도 있다. 특정 실시형태에서, 레지스터 인터페이스 (510) 는 클록 관리 디바이스 (512) 로부터 클록 신호 (527) 를 수신할 수도 있고, 레지스터 버스 (572) 에 커플링될 수도 있다. 클록 관리 디바이스 (512) 는 제 2 타이밍 데이터 신호 (430) 를 수신하고 클록 신호 (526) 를 출력하도록 구성된다. 특정 실시형태에서, 클록 신호 (526) 는 제 2 타이밍 데이터 신호 (430) 의 주파수의 실질적으로 2 배이며, 이는 결합기 (206) 가 다중 센서들로부터의 동시 데이터를 결합하면서 프레임 프로세싱 레이트를 유지할 수 있게 한다.

공통으로 제어된, 유사한 센서들로부터의 데이터 출력이 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 데이터 스트림들 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 따라서, 결합된 데이터는 이미지 데이터의 단일 라인으로 액세스하는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다.

도 6 을 참조하면, 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 특정 실시형태의 도식적인 표현이 도시되며, 일반적으로 600 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 이미지의 제 1 이미지 데이터에 대응하는 제 1 데이터 스트림 (602) 을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 이미지의 제 2 이미지 데이터에 대응하는 제 2 데이터 스트림 (604) 을 생성한다. 제 1 데이터 스트림 (602) 으로부터의 데이터 및 제 2 데이터 스트림 (604) 으로부터의 데이터는 데이터 아웃 데이터 스트림 (606) 을 형성하도록 결합된다.

특정 실시형태에서, 제 1 데이터 스트림 (602) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함하고, 제 2 데이터 스트림 (604) 은 이미지의 제 2 이미지 데이터의 대응하는 라인과 연관된 데이터를 포함한다. 제 1 데이터 스트림 (602) 은 제 1 라인 인덱스 값을 갖는 라인 데이터 (610), 제 2 라인 인덱스 값을 갖는 라인 데이터 (612), 제 3 라인 인덱스 값을 갖는 라인 데이터 (614) 및 제 4 라인 인덱스 값을 갖는 라인 데이터 (616) 를 포함한다. 제 2 데이터 스트림 (604) 은 제 1 데이터 스트림과 대응하는 라인 데이터를 포함하며, 제 1 라인 인덱스 값을 갖는 대응 라인 데이터 (620), 제 2 라인 인덱스 값을 갖는 대응 라인 데이터 (622), 제 3 라인 인덱스 값을 갖는 대응 라인 데이터 (624) 및 제 4 라인 인덱스 값을 갖는 대응 라인 데이터 (626) 를 포함한다.

데이터 아웃 데이터 스트림 (606) 은 이미지의 제 1 이미지 데이터의 제 1 라인 및 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림 (602) 과 제 2 데이터 스트림 (604) 은 데이터 아웃 데이터 스트림 (606) 을 형성하도록 인터리빙된다. 예를 들면, 데이터 아웃 데이터 스트림 (606) 은 제 1 라인 인덱스 값을 갖는 결합된 라인 데이터 (630), 제 2 라인 인덱스 값을 갖는 결합된 라인 데이터 (632), 및 제 3 라인 인덱스 값을 갖는 결합된 라인 데이터 (634) 를 포함한다. 결합된 라인 데이터 (630) 는 라인 데이터 (610) 및 대응 라인 데이터 (620) 를 포함한다. 결합된 라인 데이터 (632) 는 라인 데이터 (612) 및 대응 라인 데이터 (622) 를 포함한다. 결합된 라인 데이터 (634) 는 라인 데이터 (614) 및 대응 라인 데이터 (624) 를 포함한다. 각각의 결합된 라인 데이터 (630-634) 는 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다.

특정 실시형태에서, 제 1 데이터 스트림 (602) 으로부터의 데이터는 제 2 데이터 스트림 (604) 으로부터의 데이터와 결합되어 프레임 (660) 을 형성하는 복수의 동기화된 데이터 라인들을 생성한다. 프레임 (660) 은 복수의 로우들 (642) 을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 그 라인 인덱스 값을 갖는 제 1 이미지 데이터의 하나의 라인과 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 포함하는 동기화된 데이터 라인을 저장한다. 예를 들면, 프레임 (660) 의 제 1 로우는 결합된 라인 데이터 (630) 를 포함할 수도 있고, 프레임 (660) 의 제 2 로우는 결합된 라인 데이터 (632) 를 포함할 수도 있고, 프레임 (660) 의 제 3 로우는 결합된 라인 데이터 (634) 를 포함할 수도 있다. 각각의 동기화된 이미지 데이터 라인은 프레임 (660) 내의 데이터가 정렬되도록 프레임 (660) 의 일부를 형성한다.

프레임 (660) 은 이미지 센서들로부터의 이미지 데이터의 판독 순서에 매칭하는 로우들 (642) 의 순서가 함께 도시된다 (즉, 이미지 센서들의 최상위 라인으로부터 결합된 데이터 (라인 인덱스 1) 는 프레임 (660) 의 최상위 라인에 있고, 이미지 센서들의 다음 라인으로부터 결합된 데이터 (라인 인덱스 2) 는 프레임 (660) 의 다음 라인에 있다). 대안적으로, 다른 실시형태들에서, 프레임 (660) 의 로우들은 이미지 데이터의 판독 순서와 매칭하지 않을 수도 있고, 대신에 이미지 데이터의 임의의 다른 순서에 대응할 수도 있다. 예를 들면, 프레임 (660) 의 최상위 로우는 라인 인덱스 2 에 대응할 수도 있고, 프레임 (660) 의 다음 로우는 라인 인덱스 1 에 대응할 수도 있다. 프레임 (660) 은 로우들 (642) 각각이 이미지 데이터의 라인 인덱스 값들 중 임의의 라인 인덱스 값에 대응하게 프로그래밍될 수 있도록 프로그래밍 가능할 수도 있다.

특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인 (610) 은 제 1 픽셀 사이즈 (예컨대, 라인당 픽셀 수) 및 제 1 픽셀 클록과 연관되고, 제 2 이미지 데이터의 대응하는 라인 (620) 은 제 2 픽셀 사이즈 및 제 2 픽셀 클록과 연관된다. 데이터 스트림들 (602, 604) 을 생성하는 제 1 센서와 제 2 센서는 공통 제어 신호 및 공통 리셋 신호를 수신하도록 구성된다. 제 1 이미지 데이터의 제 1 라인 (610) 과 제 2 이미지 데이터의 대응하는 라인 (620) 이 단일 이미지 라인으로 결합될 경우에, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 (610) 또는 제 2 이미지 데이터의 대응하는 라인 (620) 의 사이즈의 실질적으로 2 배이고, 결합된 단일 이미지 라인의 픽셀 클록 신호 (예컨대, 제 3 픽셀 클록 신호) 는 제 1 픽셀 클록 신호 또는 제 2 픽셀 클록 신호의 클록 레이트의 실질적으로 2 배의 클록 레이트를 갖는다. 예를 들면, 결합된 라인 데이터 (630) 는 라인 데이터 (610) 의 실질적으로 2 배 또는 대응하는 라인 데이터 (620) 의 실질적으로 2 배인 이미지 사이즈를 가질 수도 있다. 유사하게, 결합된 라인 데이터 (630) 의 픽셀 클록 주파수는 라인 데이터 (610) 와 연관된 제 1 픽셀 클록 신호의 실질적으로 2 배 또는 대응하는 라인 데이터 (620) 와 연관된 제 2 픽셀 클록 신호의 실질적으로 2 배인 주파수를 가질 수도 있으며, 따라서 결합된 라인 데이터 (630) 의 픽셀 클록 주파수는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 주파수의 실질적으로 2 배의 주파수를 갖는 제 3 픽셀 클록 신호와 연관될 수도 있다.

대안적으로, 동일한 라인 사이즈들을 갖는 라인 데이터 3 이미지 센서들이 결합되는 일 구현에서, 동기화된 라인 사이즈는 센서 라인 사이즈의 실질적으로 3 배일 수도 있고, 픽셀 클록 레이트는 개별 센서들의 픽셀 클록 레이트의 실질적으로 3 배일 수도 있다. 임의의 수의 센서들이 동일하지 않은 사이즈들을 가질 수 있는 일반적인 경우에, 동기화된 라인 사이즈는 결합된 라인 사이즈들의 합보다 크거나 동일하게 세팅될 수도 있고, 픽셀 클록 레이트는 출력 라인 대역폭이 입력 대역폭의 합보다 크거나 동일하도록 세팅될 수도 있다.

프레임 (660) 은 도 2 의 이미지 신호 프로세서 (208) 와 같은 이미지 신호 프로세서에서 처리되어 처리된 프레임 (650) 을 생성할 수도 있다. 처리된 프레임 (650) 은 도 2 의 센서 (202) 와 같은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션 (652), 도 2 의 센서 (204) 와 같은 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹션 (654) 및 갭 섹션 (656) 을 포함한다. 갭 섹션 (656) 은 제 1 섹션 (652) 과 제 2 섹션 (654) 사이에 배치된 비-이미지 데이터를 포함할 수도 있다.

특정 실시형태에서, 제 1 섹션 (652) 은 제 1 이미지 데이터의 라인을 포함하고, 제 2 섹션 (654) 은 제 2 이미지 데이터의 대응하는 라인을 포함한다. 특정 실시형태에서, 갭 섹션 (656) 은 에지 필터링을 위해 이용될 수도 있고, 폭이 대략 5 개 픽셀들인 블랙 갭을 포함할 수도 있다. 추가의 예로서, 갭 섹션 (656) 은 라인들 사이에 부가될 수도 있고, 보간 커널 (interpolation kernel) 의 사이즈 또는 아미지 신호 프로세서에 의해 프레임 (650) 에 적용되는 최대 2 차원 필터의 사이즈와 동일한 사이즈를 가질 수도 있다.

특정 예시적인 실시형태에서, 자동 노출, 자동 포커스, 및 자동 화이트 벨런스를 위한 통계치들이 제 1 섹션 (652) 또는 제 2 섹션 (654) 으로부터 수집될 수도 있으여, 이들 각각은 개별 센서들 중 하나의 센서로부터의 완전한 이미지일 수도 있다. 따라서, 자동 노출, 자동 포커스 및 자동 화이트 벨런스에 대한 통계치들은 최종 이미지의 절반 (예컨대, 제 1 섹션 (652)) 으로부터 수집될 수도 있고, 양자의 센서들이 실질적으로 동일한 타이밍 정보를 수신하고 있기 때문에 양자의 센서들로 적용될 수도 있다. 이와 같이, 다중 센서들로부터의 데이터 출력은 이미지의 이미지 데이터의 하나의 이미지 라인에서 동기화가 발생할 수 있도록 실질적으로 동일한 주파수와 위상을 가질 수도 있다.

프레임 (650) 은 적어도 하나의 반도체 다이에 집적된 메모리에 저장될 수도있다. 프레임 (650) 은 고객용 전자 디바이스, 예컨대 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 디지털 보조장치 (PDA), 고정 위치 데이터 유닛, 및 컴퓨터 내에 통합된 메모에 저장될 수도 있다. 전자 디바이스들은 다중 센서들로부터의 이미지데이터를 처리하는 3D 애플리케이션들을 포함하여 이미지 프로세싱 방법들을 활용할 수도 있다.

도 7 을 참조하면, 제 1 이미지 센서의 출력에서 제 1 데이터 스트림과 제 2 이미지 센서의 출력에서 제 2 데이터 스트림이 결합되어 동기화된 데이터 라인을 형성하는 제 2 실시형태의 도식적인 표현이 도시되고, 일반적으로 700 으로 지정된다. 도 2 의 제 1 이미지 센서 (202) 와 같은 제 1 센서는 이미지의 제 1 이미지 데이터에 대응하는 제 1 데이터 스트림 (702) 을 생성한다. 도 2 의 제 2 이미지 센서 (204) 와 같은 제 2 센서는 이미지의 제 2 이미지 데이터에 대응하는 제 2 데이터 스트림 (704) 을 생성한다. 제 1 데이터 스트림 (702) 으로부터의 데이터와 제 2 데이터 스트림 (704) 으로부터의 데이터는 결합되어 데이터 아웃 데이터 스트림 (706) 을 형성한다.

특정 실시형태에서, 제 1 데이터 스트림 (702) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함하고, 제 2 데이터 스트림 (704) 은 이미지의 제 2 이미지 데이터의 대응하는 라인과 연관된 데이터를 포함한다. 제 1 데이터 스트림 (702) 은 제 1 라인 인덱스 값을 갖는 라인 데이터 (710), 제 2 라인 인덱스 값을 갖는 라인 데이터 (712), 제 3 라인 인덱스 값을 갖는 라인 데이터 (714) 및 제 4 라인 인덱스 값을 갖는 라인 데이터 (716) 를 포함한다. 제 2 데이터 스트림 (704) 은 제 1 데이터 스트림과 대응하는 라인 데이터를 포함하며, 제 1 라인 인덱스 값을 갖는 대응 라인 데이터 (720), 제 2 라인 인덱스 값을 갖는 대응 라인 데이터 (722), 제 3 라인 인덱스 값을 갖는 대응 라인 데이터 (724) 및 제 4 라인 인덱스 값을 갖는 대응 라인 데이터 (726) 를 포함한다.

데이터 아웃 데이터 스트림 (706) 은 이미지의 제 1 이미지 데이터의 제 1 라인 및 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림 (702) 과 제 2 데이터 스트림 (704) 은 데이터 아웃 데이터 스트림 (706) 을 형성하도록 갭 섹션 (708) 과 인터리빙된다. 예를 들면, 데이터 아웃 데이터 스트림 (706) 의 도시된 부분은 제 1 라인 인덱스 값을 갖는 결합된 라인 데이터 (730), 제 2 라인 인덱스 값을 갖는 결합된 라인 데이터 (732), 및 제 3 라인 인덱스 값을 갖는 결합된 라인 데이터 (734) 를 포함한다. 결합된 라인 데이터 (730) 는 갭 섹션 (708) 에 의해 대응하는 라인 데이터 (720) 와 분리되는 라인 데이터 (710) 를 포함한다. 결합된 라인 데이터 (732) 는 갭 섹션 (708) 에 의해 대응 라인 데이터 (722) 와 분리되는 라인 데이터 (712) 를 포함한다. 결합된 라인 데이터 (734) 는 갭 섹션 (708) 에 의해 대응 라인 데이터 (724) 와 분리되는 라인 데이터 (714) 를 포함한다. 각각의 결합된 라인 (730-734) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들 간의 갭 섹션 (708) 과 대응하는 라인들을 결합함으로써 생성될 수도 있다.

특정 실시형태에서, 제 1 데이터 스트림 (702) 으로부터의 데이터는 제 2 데이터 스트림 (704) 으로부터의 데이터와 결합되어 프레임 (740) 을 형성하는 복수의 동기화된 데이터 라인들을 생성한다. 프레임 (740) 은 복수의 로우들 (742) 을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 그 라인 인덱스 값을 갖는 제 1 이미지 데이터의 하나의 라인을 저장하고 그 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 예를 들면, 프레임 (740) 의 제 1 로우는 결합된 라인 데이터 (730) 를 포함할 수도 있고, 프레임 (740) 의 제 2 로우는 결합된 라인 데이터 (732) 를 포함할 수도 있고, 프레임 (740) 의 제 3 로우는 결합된 라인 데이터 (734) 를 포함하여 프레임 (740) 내의 데이터가 정렬되도록 한다.

특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인 (710) 은 제 1 픽셀 사이즈 (예컨대, 라인당 픽셀 수) 및 제 1 픽셀 클록과 연관되고, 제 2 이미지 데이터의 대응하는 라인 (720) 은 제 2 픽셀 사이즈 및 제 2 픽셀 클록과 연관된다. 데이터 스트림들 (702, 704) 을 생성하는 제 1 센서와 제 2 센서는 공통 클록 신호 및 공통 리셋 신호를 수신하도록 구성된다. 제 1 이미지 데이터의 제 1 라인 (710) 과 제 2 이미지 데이터의 대응하는 라인 (720) 이 단일 이미지 라인으로 결합될 경우에, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 (710) 또는 제 2 이미지 데이터의 대응하는 라인 (720) 의 사이즈의 실질적으로 2 배이다. 추가로, 결합된 단일 이미지 라인의 픽셀 클록 신호 (예컨대, 제 3 픽셀 클록 신호) 는 제 1 픽셀 클록 신호 또는 제 2 픽셀 클록 신호의 클록 레이트의 실질적으로 2 배의 클록 레이트를 갖는다. 예를 들면, 결합된 라인 데이터 (730) 는 라인 데이터 (710) 의 대략 2 배 또는 대응하는 라인 데이터 (720) 의 대략 2 배인 이미지 사이즈를 가질 수도 있다. 유사하게, 결합된 라인 데이터 (730) 의 픽셀 클록 주파수는 라인 데이터 (710) 와 연관된 제 1 픽셀 클록 신호의 대략 2 배 또는 대응하는 라인 데이터 (720) 와 연관된 제 2 픽셀 클록 신호의 대략 2 배인 주파수를 가질 수도 있으며, 따라서 결합된 라인 데이터 (730) 의 픽셀 클록 주파수는 제 1 픽셀 클록 또는 제 2 픽셀 클록의 주파수의 대략 2 배의 주파수를 갖는 제 3 픽셀 클록 신호와 연관될 수도 있다.

각각의 갭 섹션 (708) 은 비-이미지 데이터를 포함할 수도 있다. 특정 실시형태에서, 갭 섹션들 (708) 에 의해 형성된 프레임 (740) 내의 비-이미지 데이터 영역은 에지 필터링을 위해 이용될 수도 있다. 갭 섹션 (708) 은 폭이 대략 5 픽셀들인 블랙 갭을 포함할 수도 있다. 다른 실시형태들에서, 각각의 갭 섹션 (708) 은 도 2 의 이미지 프로세서 (208) 와 같은 이미지 프로세서에 의해 프레임 (740) 에 적용된 최대 2-차원 필터의 사이즈 또는 보간 커널의 사이즈와 동일한 사이즈를 갖는다. 프레임 (740) 은 이미지 프로세서에 의해 처리되어 3D 이미지를 생성할 수도 있다.

도 8 을 참조하면, 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 2 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 800 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (802), 제 1 센서 제 2 라인 데이터 (804) 및 제 1 센서 제 3 라인 데이터 (806) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (812), 제 2 센서 제 2 라인 데이터 (814) 및 제 2 센서 제 3 라인 데이터 (816) 를 포함하는 제 2 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (820) 을 형성한다. 도 8 에 도시된 특정 실시형태에서, 제 1, 제 2 및 제 3 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.

도 8 의 특정 실시형태에서, 제 1 데이터 스트림의 데이터와 제 2 데이터 스트림의 데이터 간에 2 라인 위상 차이가 발생한다. 예컨대, 제 1 센서 제 1 라인 데이터 (802) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (804) 는 제 2 라인 위상 동안 수신될 수도 있고, 제 1 센서 제 3 라인 데이터 (806) 와 제 2 센서 제 1 라인 데이터 (812) 는 제 3 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (802) 와 제 2 센서 제 1 라인 데이터 (812) 사이에 2 라인 위상 차이가 존재한다.

결합된 라인 (820) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙되어 결합된 라인 (820) 을 형성한다. 예를 들어, 결합된 라인 (820) 은 제 1 센서 제 1 라인 데이터 (802) 와 제 2 센서 제 1 라인 데이터 (812) 를 갖는 결합된 라인 데이터 (822), 제 1 센서 제 2 라인 데이터 (804) 와 제 2 센서 제 2 라인 데이터 (814) 를 갖는 결합된 라인 데이터 (824), 및 제 1 센서 제 3 라인 데이터 (806) 와 제 2 센서 제 3 라인 데이터 (816) 를 갖는 결합된 라인 데이터 (826) 를 포함한다. 각각의 결합된 라인 (822-826) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 라인 버퍼는 동기화된 데이터 라인 (예컨대, 결합된 라인 데이터 (822)) 가 생성되기 전에 제 1 이미지 센서로부터 수신되는, 다음 데이터 라인 (예컨대, 제 1 센서 제 2 라인 데이터 (804) 의 적어도 일부분을 버퍼링하도록 구성될 수도 있다. 이와 같이, 2 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.

도 9 를 참조하면, 제 1 센서로부터의 제 1 데이터 스트림과 제 2 센서로부터의 제 2 데이터 스트림 간의 1 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 900 으로 지정된다. 도 2 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (902), 제 1 센서 제 2 라인 데이터 (904), 제 1 센서 제 3 라인 데이터 (906) 및 제 1 센서 제 4 라인 데이터 (908) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 2 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (912), 제 2 센서 제 2 라인 데이터 (914), 제 2 센서 제 3 라인 데이터 (916) 및 제 2 센서 제 4 라인 데이터 (918) 를 포함하는 제 2 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (920) 을 형성한다. 도 9 에 도시된 특정 실시형태에서, 제 1, 제 2, 제 3 및 제 4 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.

도 9 의 특정 실시형태에서, 제 1 데이터 스트림의 데이터와 제 2 데이터 스트림의 데이터 간에 1 라인 위상 차이가 발생한다. 예컨대, 제 1 센서 제 1 라인 데이터 (902) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (904) 및 제 2 센서 제 1 라인 데이터 (912) 는 제 2 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (902) 와 제 2 센서 제 1 라인 데이터 (912) 사이에 1 라인 위상 차이가 존재한다.

결합된 라인 (920) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙되어 결합된 라인 (920) 을 형성한다. 예를 들어, 결합된 라인 (920) 은 제 1 센서 제 1 라인 데이터 (902) 와 제 2 센서 제 1 라인 데이터 (912) 를 갖는 결합된 라인 데이터 (922), 제 1 센서 제 2 라인 데이터 (904) 와 제 2 센서 제 2 라인 데이터 (914) 를 갖는 결합된 라인 데이터 (924), 제 1 센서 제 3 라인 데이터 (906) 와 제 2 센서 제 3 라인 데이터 (916) 를 갖는 결합된 라인 데이터 (926), 및 제 1 센서 제 4 라인 데이터 (908) 와 제 2 센서 제 4 라인 데이터 (918) 를 갖는 결합된 라인 데이터 (928) 를 포함한다. 각각의 결합된 라인 (922-926) 은 도 2 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 이와 같이, 1 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.

도 10 을 참조하면, 다중 센서들 각각에 대한 적색-녹색-청색 (RGB) 데이터를 예시하고 동기화된 데이터 라인들을 예시하는 도식적인 표현이 도시되고, 일반적으로 1000 으로 지정된다. 도 10 에 도시된 실시형태에서, 도 3 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (1002), 제 1 센서 제 2 라인 데이터 (1004), 및 제 1 센서 제 3 라인 데이터 (1006) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 3 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (1012), 제 2 센서 제 2 라인 데이터 (1014), 및 제 2 센서 제 3 라인 데이터 (1016) 를 포함하는 제 2 데이터 스트림을 생성한다. 도 3 의 제 N 센서 (305) 와 같은 제 3 센서는 제 3 센서 제 1 라인 데이터 (1022), 제 3 센서 제 2 라인 데이터 (1024), 및 제 3 센서 제 3 라인 데이터 (1026) 를 포함하는 제 3 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터, 제 2 데이터 스트림으로부터의 데이터, 및 제 3 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (1020) 을 형성한다.

일 예로서, 베이어 (Bayer) 필터 패턴에 따라, 제 1 라인 데이터 (1002, 1012, 1022) 각각은 교번하는 적색 및 녹색 픽셀 값들을 포함하고, 제 2 라인 데이터 (1004, 1014, 1024) 의 각각은 교번하는 녹색 및 청색 픽셀 값들을 포함하고, 제 3 라인 데이터 (1006, 1016, 1026) 의 각각은 교번하는 적색 및 녹색 픽셀 값들을 포함한다.

도시된 것과 같이, 제 1 데이터 스트림, 제 2 데이터 스트림 및 제 3 데이터 스트림은 결합된 라인 데이터 스트림 (1020) 을 형성하도록 인터리빙된다. 예를 들어, 결합된 라인 데이터 스트림 (1020) 은 제 1 센서 제 1 라인 데이터 (1002), 제 2 센서 제 1 라인 데이터 (1012), 및 제 3 센서 제 1 라인 데이터 (1022) 를 갖는 결합된 라인 데이터 (1040), 제 1 센서 제 2 라인 데이터 (1004), 제 2 센서 제 2 라인 데이터 (1014) 및 제 3 센서 제 2 라인 데이터 (1024) 를 갖는 결합된 라인 데이터 (1050), 및 제 1 센서 제 3 라인 데이터 (1006), 제 2 센서 제 3 라인 데이터 (1016) 및 제 3 센서 제 3 라인 데이터 (1026) 를 갖는 결합된 라인 데이터 (1060) 를 포함한다. 각각의 결합된 라인 데이터 (1040-1060) 는 도 3 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 각각의 결합된 라인 데이터 (1040-1060) 는 그 개별 센서 라인 데이터로부터 판독된 로우 픽셀 (예컨대, R, G 및 B) 값들을 포함하며, 이 값들은 도 3 의 이미지 신호 프로세서 (208) 와 같은 이미지 신호 프로세서에서 디모자이크 (demosaic) 될 수도 있다. 이와 같이, 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하게 할 수도 있다.

도 10 은 원시 (raw) 픽셀 값들을 베이어 필터 패턴에 따라 RGB 데이터를 포함하는 것으로 도시하지만, 다른 실시형태들에서, 센서들로부터의 라인 데이터는 베이어 RGB 픽셀 값들을 포함하지 않을 수도 있다. 예를 들어, 대신에 센서들은: 루마, 청색-차이 크로마, 적색-차이 크로마 (YCbCr) 값들; 시안, 노랑색, 녹색 및 마젠타 (CYGM) 값들; 적색, 녹색, 청색 및 에메랄드 (RGBE) 값들; 적색, 녹색, 청색 및 백색 (RGBW) 값들; 또는 예시적이고 비제한적인 예들로서 임의의 다른 타입의 값들을 제공할 수도 있다. 대안적으로 또는 추가로, 센서들 중 하나 이상은 팬크로마틱 셀들, 포토 리셉터 그룹상의 마이크로 렌즈들, 수직 컬러 필터들 또는 원시 이미지 데이터의 라인별 판독이 가능한 임의의 다른 센서 기술을 구현할 수도 있다.

도 11 을 참조하면, 다중 센서들을 갖는 장치와 연관된 신호 타이밍을 예시하는 타이밍도의 특정 실시형태가 도시되고, 일반적으로 1100 으로 지정된다. 신호들은 제 1 센서의 프레임 유효 (FV) 신호 (1102) 및 라인 유효 (LV) 신호 (1104), 제 2 센서의 FV (1106) 및 LV (1108), 및 제 3 센서의 FV (1110) 및 LV (1112) 를 포함한다. 특정 실시형태에서, 제 1 센서, 제 2 센서, 및 제 3 센서는 도 3 의 제 1, 제 2, 및 제 3 센서들 (202, 204, 305) 일 수도 있다. 결합된 프레임 유효 신호 (1114) 는 결합된 라인 유효/데이터 신호 (1116) 와 라인 부하 (LL) 신호 (1118) 와 함께 도시된다.

특정 실시형태에서, 신호들 (1114-1118) 은 결합기에 의해 생성된 도 6 의 프레임 (660) 과 같은, 프레임의 하나 이상의 동기화된 데이터 라인들과 관련된 시그널링에 대응하고, 신호들 (1102-1112) 은 결합기에서 수신된 시그널링에 대응된다. 도시된 것과 같이, 제 1 라인 데이터 (1120), 제 2 라인 데이터 (1122), 및 제 3 라인 데이터 (1124) 는 제 1 센서로부터 수신되고, 제 1 라인 데이터 (1130), 제 2 라인 데이터 (1132), 및 제 3 라인 데이터 (1134) 는 제 2 센서로부터 수신되며, 제 1 라인 데이터 (1140), 제 2 라인 데이터 (1142) 및 제 3 라인 데이터 (1144) 는 제 3 센서로부터 수신된다.

제 1 라인 데이터 (1130) 는 제 1 라인 데이터 (1120) 및 제 2 라인 데이터 (1140) 이전에 제 2 센서로부터 수신된다. 제 1 라인 데이터 (1130) 와 제 1 라인 데이터 (1120) 의 수신 간의 위상 차이는 제 1 위상 차이 (1180) 로 도시된다. 제 1 센서의 제 1 라인 데이터 (1120) 는 제 3 센서의 제 1 라인 데이터 (1140) 이전에 수신되며, 이는 제 2 위상 차이 (1182) 로서 도시된다. 센서들 각각으로부터의 라인 데이터는 대응하는 프레임 유효 신호의 상승 에지를 뒤따를 수도 있으며, 이는 이미지 데이터 라인을 통해 수신된 데이터가 각각의 특정 센서로부터 유효한 라인 데이터임을 나타낸다. 도시된 것과 같이, 결합된 프레임 유효 라인 (1114) 은 로우 (low) 를 유지하며, 이는 제 1 라인 데이터 (1120, 1130 및 1140) 각각이 예컨대 도 2 의 결합기 (206) 에서 수신된 이후 까지 비-유효 데이터임을 나타낸다. 제 1 라인 데이터 (1120, 1130 및 1140) 각각이 수신된 후에, 결합된 프레임 유효 신호 (1114) 는 라인 유효 신호 (1116) 상에 유효한 데이터를 나타내도록 상승한다. 제 1 동기화된 라인 데이터 (1150) 는 LL 라인 (1118) 상에서 강조되고 있는 유효 신호와 결합하여 생성된다. 제 1 동기화된 라인 데이터 (1150) 의 생성 이후에, 결합된 프레임 유효 신호 (1114) 는 유효 상태를 유지하지만 LL 신호 (1118) 는 비-유효 상태로 리턴하며, 그 후에 LL 신호 (1118) 는 제 2 동기화된 데이터 라인 (1160) 의 생성 및 그 후의 제 3 동기화된 데이터 라인 (1170) 의 생성시 유효 상태로 복귀한다.

도 12 를 참조하면, 제 1 센서로부터의 제 1 데이터 스트림, 제 2 센서로부터의 제 2 데이터 스트림 및 제 3 센서로부터의 제 3 데이터 스트림 간의 3 라인 위상 차이를 예시하는 위상도의 제 1 실시형태의 도식적인 표현이 도시되고, 일반적으로 1200 으로 지정된다. 도 3 의 제 1 센서 (202) 와 같은 제 1 센서는 제 1 센서 제 1 라인 데이터 (1202), 제 1 센서 제 2 라인 데이터 (1204), 제 1 센서 제 3 라인 데이터 (1206) 및 제 1 센서 제 4 라인 데이터 (1208) 를 포함하는 제 1 데이터 스트림을 생성한다. 도 3 의 제 2 센서 (204) 와 같은 제 2 센서는 제 2 센서 제 1 라인 데이터 (1212), 제 2 센서 제 2 라인 데이터 (1214), 제 2 센서 제 3 라인 데이터 (1216) 및 제 2 센서 제 4 라인 데이터 (1218) 를 포함하는 제 2 데이터 스트림을 생성한다. 도 3 의 제 N 센서 (305) 와 같은 제 3 센서는 제 3 센서 제 1 라인 데이터 (1222), 제 3 센서 제 2 라인 데이터 (1224), 제 3 센서 제 3 라인 데이터 (1226) 및 제 3 센서 제 4 라인 데이터 (1228) 를 포함하는 제 3 데이터 스트림을 생성한다. 제 1 데이터 스트림으로부터의 데이터, 제 2 데이터 스트림으로부터의 데이터, 및 제 3 데이터 스트림으로부터의 데이터는 결합되어 결합된 라인 (1220) 을 형성한다. 도 12 에 도시된 특정 실시형태에서, 제 1, 제 2, 제 3 및 제 4 라인 데이터가 도시된다. 대안적으로, 임의의 수의 라인 데이터 (예컨대, 도 6 및 도 7 에 도시된 것과 같은 720 개 라인들) 가 생성될 수도 있다.

특정 실시형태에서, 제 1 데이터 스트림의 데이터, 제 2 데이터 스트림의 데이터 및 제 3 데이터 스트림의 데이터 간에 3 라인 위상 차이가 발생한다. 예컨대, 제 3 센서 제 1 라인 데이터 (1222) 는 제 1 라인 위상 동안 도 2 의 결합기 (216) 와 같은 결합기에 의해 수신될 수도 있고, 제 1 센서 제 1 라인 데이터 (1202) 와 제 3 센서 제 2 라인 데이터 (1224) 는 제 2 라인 위상 동안 수신될 수도 있고, 제 1 센서 제 2 라인 데이터 (1204) 와 제 3 센서 제 3 라인 데이터 (1226) 는 제 3 라인 위상 동안 수신될 수도 있으며, 제 1 센서 제 3 라인 데이터 (1206), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 4 라인 데이터 (1228) 는 제 4 라인 위상 동안 수신될 수도 있다. 이와 같이, 제 1 센서 제 1 라인 데이터 (1202), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 1 라인 데이터 (1222) 사이에 3 라인 위상 차이가 존재한다.

결합된 라인 (1220) 은 이미지의 제 1 이미지 데이터의 제 1 라인과 이미지의 제 2 이미지 데이터 및 이미지의 제 3 이미지 데이터의 대응하는 라인의 결합을 포함한다. 도시된 것과 같이, 제 1 데이터 스트림, 제 2 데이터 스트림 및 제 3 데이터 스트림은 인터리빙되어 결합된 라인 (1220) 을 형성한다. 예를 들어, 결합된 라인 (1220) 은 제 1 센서 제 1 라인 데이터 (1202), 제 2 센서 제 1 라인 데이터 (1212) 및 제 3 센서 제 1 라인 데이터 (1222) 를 갖는 결합된 라인 데이터 (1232), 제 1 센서 제 2 라인 데이터 (1204), 제 2 센서 제 2 라인 데이터 (1214) 및 제 3 센서 제 2 라인 데이터 (1224) 를 갖는 결합된 라인 데이터 (1234), 및 제 1 센서 제 3 라인 데이터 (1206), 제 2 센서 제 3 라인 데이터 (1216) 및 제 3 센서 제 3 라인 데이터 (1226) 를 갖는 결합된 라인 데이터 (1236) 를 포함한다. 각각의 결합된 라인 (1232-1236) 은 도 3 의 라인 버퍼 (216) 와 같은 라인 버퍼 내에서 대응하는 라인들을 결합함으로써 생성될 수도 있다. 이와 같이, 3 라인 위상 차이를 갖는 다중 센서들로부터의 데이터 출력은 결합되어 이미지의 이미지 데이터의 하나의 이미지 라인 내에서 동기화가 발생하도록 할 수도 있다.

도 13 을 참조하면, 다중 센서들로부터의 데이터를 결합하여 3D 데이터를 생성하는 이미지 프로세싱 시스템의 특정 예시적 실시형태가 도시되고, 일반적으로 1300 으로 지정된다. 이미지 프로세싱 시스템 (1300) 은 제 1 이미지 센서 (1302) 및 제 2 이미지 센서 (1304) 를 포함한다. 이미지 프로세싱 시스템 (1300) 은 추가로 결합기 (1306) 및 이미지 프로세서 (1308) 를 포함한다. 이미지 프로세서 (1308) 는 디스플레이 디바이스 (1310) 에 커플링된다. 결합기 (1306) 는 적어도 하나의 라인 버퍼 (1312) 를 포함한다. 이미지 프로세싱 시스템 (1300) 은 적어도 하나의 반도체 다이에 집적될 수도 있다.

제 1 이미지 센서 (1302) 는 제 1 이미지 데이터 스트림 (1314) 으로 도시된 제 1 데이터 스트림을 생성하도록 구성되고, 제 2 이미지 센서 (1304) 는 제 2 이미지 데이터 스트림 (1316) 으로 도시된 제 2 데이터 스트림을 생성하도록 구성된다. 특정 실시형태에서, 제 1 이미지 데이터 스트림 (1314) 은 제 2 이미지 데이터 스트림 (1316) 과 비동기적일 수도 있다. 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 서로에 대하여 독립적이고 프로세서 (예컨대, 결합기 (1306) 또는 이미지 프로세서 (1308)) 로부터 공통 제어 신호를 수신하여 인접하게 정렬된 이미지 데이터 스트림들 (1314, 1316) 을 생성할 수도 있는 실질적으로 유사한 이미지 센서들일 수도 있다. 예를 들면, 이미지 데이터 스트림들 (1314, 1316) 은 주파수 및 위상과 같이 실질적으로 동일한 타이밍 특성들을 가질 수도 있다. 공통 제어 신호는 도 2 의 신호 동기화기 (230) 를 통해서와 같이 프로세서에 의해 생성될 수도 있기 때문에, 이미지 센서들 (1302, 1304) 각각은 단일 프로세서에 직접 응답하고 단일 프로세서에 의해 제어될 수도 있다. 2 개의 이미지 센서들 (1302, 1304) 이 도시되지만, 3 이상의 이미지 센서들이 이미지 프로세싱 시스템 (1300) 과 함께 사용될 수도 있음이 이해되어야 한다.

결합기 (1306) 는 제 1 이미지 데이터 스트림 (1314) 과 제 2 이미지 데이터 스트림 (1316) 에 대응한다. 결합기 (1306) 는 제 1 이미지 데이터 스트림 (1314) 으로부터의 데이터와 제 2 이미지 데이터 스트림 (1316) 으로부터의 데이터를 라인 버퍼 (1312) 내에서 결합하도록 구성된다. 특정 실시형태에서, 라인 버퍼 (1312) 는 제 1 이미지 센서 (1302) 로부터의 제 1 데이터와 제 2 이미지 센서 (1304) 로부터의 제 2 데이터를 정렬하도록 구성된다. 특정 실시형태에서, 결합기 (1306) 는 라인 버퍼 (1312) 내에 저장된 데이터에 응답하고, 프레임 데이터 (1318) 를 이미지 프로세서 (1308) 에 제공한다. 특정 실시형태에서, 프레임 데이터 (1318) 는 이미지 데이터의 복수의 로우들로 구성되고, 여기서 각각의 로우는 도 3 과 관련하여 설명된 것과 같은 각각의 센서 (1302, 1304) 로부터의 대응하는 로우들의 조합이다.

이미지 센서 (1308) 는 프레임 데이터 (1318) 를 처리하여 처리된 프레임 데이터 (1320) 를 디스플레이 디바이스 (1310) 에 제공하도록 구성된다. 처리된 프레임 데이터 (1320) 는 3D 이미지 포맷 또는 3D 비디오 포맷을 가질 수도 있다.

디스플레이 디바이스 (1310) 는 처리된 프레임 데이터 (1320) 를 수신하는데 응답하여 이미지 데이터를 렌더링하고 디스플레레이한다. 따라서, 다중 이미지 센서들로부터의 이미지 데이터는 결합되고, 처리된 후, 디스플레이 디바이스 (1310) 에서의 디스플레이를 위해 렌더링될 수도 있다. 특정 실시형태에서, 디스플레이 디바이스 (1310) 는 이미지 프로세서 (1308) 에 직접 응답하지 않도록 이미지 프로세서 (1308) 로부터 디커플링될 수도 있다. 예를 들면, 디스플레이 디바이스 (1310) 는 이미지 프로세서 (1308) 와 별개의 디바이스일 수도 있다.

공통으로 제어되는, 유사한 이미지 센서들 (1302, 1304) 로부터 수신된 데이터가 실질적으로 동일한 주파수 및 위상을 가지기 때문에, 데이터 스트림들 (1314, 1316) 간의 동기화는 이미지 데이터의 단일 이미지 라인 내에서 발생할 수도 있다. 특정 실시형태에서, 라인 버퍼 (1312) 는 오정렬과 같은 최악의 경우를 위한 크기를 가질 수도 있다 (예컨대, 동기화 오정렬이 3 개의 라인들에서 발생하면, 라인 버퍼 (1312) 는 적어도 6 개 라인들을 저장하도록 크기가 정해져야 한다). 결과적으로, 결합된 데이터는 단일 이미지 프로세서 (1308) 를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 다중 프로세서 시스템들 (예컨대, 각각의 센서에 하나의 프로세서가 할당됨) 과 비교할 때 감소될 수도 있다.

실시형태들은 3D/입체 이미지들 및/또는 비디오 데이터를 제공하도록 구성될 수도 있다. 예를 들면, 일 실시형태에서, 제 1 이미지 센서 (1302) 와 제 2 이미지 센서 (1304) 는 좌/우 (입체) 이미지들을 제공하기 위해 나란히 위치될 수도 있다. 결합기 (1306) 에 의해 제공된 신호가 수신되어, 이미지 프로세서 (1308) 에 의해 3D 이미지들을 생성하도록 처리될 수도 있다. 사용자 명령은 이미지 프로세서 (1308) 로 하여금 오직 단일 센서 (즉, 제 1 이미지 센서 (1302) 또는 제 2 이미지 센서 (1304)) 로부터 데이터를 수신하고 처리하여 3D 이미지들을 생성하는 대신 2 차원 (2D) 이미지들을 생성하게 할 수도 있다.

이미지 프로세서 (1308) 와 같이, 단일 카메라에 대한 입력을 갖는 이미지 프로세서는 결합기 (1306) 에 의해 제공된 2 개의 카메라들로부터의 결합된 데이터를 이용함으로써 3D 프로세싱을 위해 이용될 수 있는 데이터를 처리할 수 있다. 이미지 프로세서 (1308) 는 결합기 (1306) 로부터 또는 결합기 (1306) 로부터의 이미지 데이터를 저장하는 메모리로부터 이미지 데이터를 수신할 수도 있다. 이러한 실시형태에서, 이미지 프로세서 (1308) 는 수신된 이미지 데이터를 2D 이미지/비디오 데이터로서 처리하여, 이미지 프로세서 (1308) 에 의한 후속 프로세싱이 이미지 프로세서 (1308) 로부터의 처리된 데이터에 기초하여 3D 입체 이미지/비디오 스트림을 제공할 수 있게 한다. 대안적으로, 이미지 프로세서 (1308) 는 수신된 이미지 데이터에 기초하여 3D 입체 이미지/비디오 스트림을 직접 제공하도록 구성될 수도 있다. 일 실시형태에서, 3D 캡쳐 시스템은 제 1 집적 회로로 구현된 결합기 (1306) 및 제 2 집적 회로로 구현된 이미지 프로세서 (1308) 를 포함한다. 제 1 및 제 2 집적 회로들은 예컨대, 직렬, 병렬 또는 I2C 버스 중 하나 이상의 버스에 의해 접속될 수도 있다.

프레임 데이터 (1318) 를 생성하기 위해 이미지 데이터 스트림 (1314, 1316) 을 결합하는 것은 이미지 프로세서 (1308) 가 단일 카메라 입력을 가지는데도 불구하고 이미지 프로세서 (1308) 가 다중 카메라 3D 프로세싱을 위한 포맷화를 수행하는 것을 가능하게 한다. 결과적으로, 시스템 (1300) 은 각각의 카메라에 대하여 별개의 프로세서를 이용하거나 다중 카메라 입력들을 구비한 프로세서를 이용하는 시스템과 비교할 때 감소된 비용으로 구현될 수도 있다.

도 14 를 참조하면, 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템들을 갖는 모바일 디바이스들의 다양한 실시형태들을 예시하는 도식적 표현이 도시되고, 일반적으로 1400 으로 지정된다. 1402 에 도시된 특정 실시형태에서, 모바일 디바이스는 2 개의 인접하는 카메라들의 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 1404 에 도시된 특정 실시형태에서, 모바일 디바이스는 인라인 (in-line) 구성으로 배열된 3 개의 카메라들의 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 대안적으로, 임의의 수의 카메라들이 인라인 구성으로 배열될 수도 있다. 1406 에 도시된 특정 실시형태에서, 모바일 디바이스는 카메라들의 3×3 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 1408 에 도시된 특정 실시형태에서, 모바일 디바이스는 카메라들의 5×5 어레이를 갖는 이미지 프로세싱 시스템을 포함한다. 대안적으로, 임의의 수의 카메라들이 2-차원 어레이에 배열될 수도 있다.

도 15 를 참조하면, 다중 카메라들 또는 이미지 센서들에 의해 캡처되는 이미지들의 어레이의 일 예가 도시되고, 일반적으로 1500 으로 지정된다. 도 15 에 도시된 것과 같이, 하나의 카메라에 의해 캡처된 이미지는 다른 인접 카메라들에 의해 캡처된 이미지들과 중첩할 수도 있다. 이미지 중첩은 가메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 15 에 도시된 특정 실시형태에서, 어레이 (1500) 는 카메라들 또는 이미지 센서들의 4×4 어레이에 대응한다. 대안적으로, 임의의 수의 카메라들이 2 차원 어레이 (예컨대, 도 18 및 도 19 에 도시된 것과 같은 5×5 어레이) 로 배열될 수도 있다.

각각의 카메라는 어레이 (1500) 의 단일 카메라 이미지를 캡처한다. 도 15 에 도시된 실시형태에서, 어레이 (1500) 는 4×4 어레이이다. 이와 같이, 어레이 (1500) 는 제 1 로우 (1502), 제 2 로우 (1504), 제 3 로우 (1506) 및 제 4 로운 (1608) 를 포함한다. 추가로, 어레이 (1500) 는 제 1 컬럼 (1510), 제 2 컬럼 (1512), 제 3 컬럼 (1514) 및 제 4 컬럼 (1516) 을 포함한다. 일 예로서, 단일 카메라 이미지 (1518) 는 제 1 로우 (1502) 및 제 4 컬럼(1516) 에 대응하는 카메라에 의해 캡처될 수도 있다. 단일 카메라 이미지 (1518) 는 인접 셀들의 다른 카메라들에 의해 캡처된 카메라 이미지들과 중첩할 수도 있다. 제 1 로우 (1502) 및 제 4 컬럼 (1516) 에 대응하는 카메라의 경우에, 인접 셀의 카메라는 제 1 로우 (1502) 및 제 3 컬럼 (1514) 에 대응하는 카메라, 제 2 로우 (1504) 및 제 3 컬럼 (1514) 에 대응하는 카메라, 또는 제 2 로우 (1504) 및 제 4 컬럼 (1516) 에 대응하는 카메라를 포함할 수도 있다. 예를 들면, 단일 카메라 이미지 중첩 (1520) 은 제 1 로우 (1502) 및 제 4 컬럼 (1516) 에 대응하는 카메라에 의해 캡처된 단일 카메라 이미지 (1508) 와 연관될 수도 있다. 도 15 는 로우들 (1502-1508) 각각의 각 카메라와 컬럼들 (1510-1516) 각각의 각 카메라에 대한 절대적인 정렬의 이론적인 경우를 도시한다. 이와 같이, 인접하는 로우 (예컨대, 제 2 로우 (1504)) 에 대응하는 카메라에 의해 캡처된 이미지와의 이미지 중첩은 이웃하는 컬럼 (예컨대, 제 3 컬럼 (1514)) 에 대응하는 카메라에 의해 캡처된 이미지와의 이미지 중첩과 동일할 수도 있다.

특정 수평 해상도 ("H-res") 에 따라 개별 이미지가 캡처될 수도 있다. 설명을 위해, 수평 해상도 (1522) 는 제 1 로우 (1502) 와 제 4 컬럼 (1516) 에 대응하는 카메라에 의해 캡처된 단일 카메라 이미지 (1518) 와 연관될 수도 있다. 도 15 는 각각의 카메라가 동일한 수평 해상도 (1522) 를 갖는 이미지 중첩의 이론적인 케이스를 도시한다. 이와 같이, 전체 수평 해상도 (1524) (즉, 로우들 (1502-1508) 각각에서 픽셀들의 수) 는 개별 카메라의 수평 해상도 (1522) 와 하나의 로우에서 셀들의 수 ("n") 의 조합에 기초하여 계산될 수도 있다. 도 15 의 4×4 어레이 (1500) 의 경우에, 각각의 로우에는 4 개의 셀들이 존재한다 (즉, 하나의 셀은 컬럼들 (1510-1516) 각각과 연관된다). 전체 수형 해상도 (1524) 는 이미지 중첩을 고려할 수도 있다. 예를 들면, 전체 수평 해상도 (1524) 는 H_res*n - overlap*(n-2) 로 계산될 수도 있으며, 여기서 overlap 은 인접하는 이미지들의 중첩하는 픽셀들의 개수를 나타낸다. 전체 수직 해상도를 결정하기 위해 유사한 계산이 수행될 수도 있다.

도 15 는 동일한 이미지 중첩을 갖는 각각의 카메라의 절대적인 정렬의 이론적인 케이스를 도시한다. 개별 카메라들에 의해 캡처된 이미지들 간의 이미지 중첩은 개별 이미지들 각각이 단일 이미지 내에 "함께 스티치 (stitched together)" 되게 할 수도 있다.

도 16 을 참조하면, 다중 카메라들 또는 이미지 센서들에 의해 캡쳐된 이미지들의 어레이의 일 예가 도시되고, 일반적으로 1600 으로 지정된다. 도 16 에 도시된 것과 같이, 하나의 카메라에 의해 캡처된 이미지는 다른 인접 카메라들에 의해 캡처된 이미지들과 중첩할 수도 있다. 이미지 중첩은 카메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 16 에 도시된 특정 실시형태에서, 어레이 (1600) 는 카메라들 또는 이미지 센서들의 4×4 어레이에 대응한다. 대안적으로, 임의의 수의 카메라들이 2-차원 어레이에 배열될 수도 있다. 도 16 은 기계적인 제약들로 인해, (도 15 에 도시된 것과 같이) 로우 또는 컬럼에서 카메라들의 절대적인 정렬을 달성하는 것이 가능하지 않을 수도 있는 것을 도시한다.

어레이 (1600) 의 각각의 이미지는 자신의 회전 (1602), 쉬프트 (1604) 및 틸트 (비도시) 를 가질 수도 있다. 하나 이상의 포지셔닝 오차들 (1606) 은 각각의 이미지와 연관될 수도 있다 포지셔닝 오차들 (1606) 은 회전 오차, 쉬프트 오차, 틸트 오차 또는 이들의 조합을 포함할 수도 있다. 이미지 중첩은 카메라들 각각에 의해 캡처된 이미지들을 단일 이미지로 결합하는데 있어 유용할 수도 있다. 도 16 은 디바이스를 구성하는 것과 관련된 기계적인 제약들에서 기인하는 각각의 이미지의 회전 (1602), 쉬프트 (1604) 및 틸트를 고려할 수도 있다. 디바이스가 구성되면, 이미지 중첩은 알려지거나 안정적일 수도 있다. 이와 같이, 이미지 중첩은 정량화될 수도 있고, 후속 단계에서 수정될 수도 있다.

도 17 을 참조하면, 카메라들의 어레이 및 그 카메라 어레이와 연관된 전기적 접속들의 특정 실시형태가 도시되고, 일반적으로 1700 으로 지정된다. 도 17 은 어레이 (1700) 의 각 카메라가 제 1 타입 인터페이스 (즉, 데이터 인터페이스 (1702)) 및 제 2 타입 인터페이스 (즉, 제어 인터페이스 (1704)) 를 가지는 것을 도시한다. 도 17 에 도시된 실시형태에서, 어레이 (1700) 는 카메라들의 3×3 어레이를 포함한다. 대안적으로, 어레이 (1700) 는 (예컨대, 도 15 및 16 의 어레이들 (1500, 1600) 과 같은) 4×4 어레이에 배열된 카메라들 또는 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다.

데이터 인터페이스 (1702) 는 직렬 데이터 버스 (예컨대, 모바일 산업 프로세서 인터페이스 또는 표준 모바일 이미징 아키텍처 인터페이스) 를 포함할 수도 있다. 도 17 의 데이서 인터페이스 (1702) 는 어레이 (1700) 의 제 1 로우 (1706), 어레이 (1700) 의 제 2 로우 (1708) 및 어레이 (1700) 의 제 3 로우 (1710) 와 연관된다. 데이터 인터페이스 (1702) 와 연관된 라인들은 로우들 (1706-1710) 의 각각에서의 카메라들의 데이터를 수집하여 병렬로 처리되도록 하는데 이용될 수도 있다. 일 예로서, 5 메가픽셀 (mpix) 및 초당 10 프레임 까지의 해상도에 대하여, 4 개의 와이어들이 요구될 수도 있다 (예컨대, 상이한 데이터 및 클럭).

도 17 의 예시적인 3×3 어레이 (1700) 에서, 로우들 (1706-1710) 각각은 어레이 (1700) 의 제 1 컬럼 (1712) 에서 일 카메라, 어레이 (1700) 의 제 2 컬럼 (1714) 에서 일 카메라, 및 어레이 (1700) 의 제 3 컬럼(1716) 에서 일 카메라를 포함한다. 따라서, 데이터 인터페이스 (1702) 는 9 개의 카메라들로부터의 데이터를 수집하여 병렬로 처리되도록 하는데 이용될 수도 있다.

제어 인터페이스 (1704) 는 어레이 (1700) 에서 모든 카메라를 동기화하는데 이용되는 라인들을 포함할 수도 있다. 예를 들면, 제어 인터페이스 라인들은 클록, 리셋 및 I2C 통신과 연관될 수도 있다. 도 17 의 예시적인 3×3 어레이 (1700) 에서, 제어 인터페이스 (1704) 는 어레이 (1700) 의 9 개 카메라들을 동기화시키는데 이용될 수도 있다.

도 18 을 참조하면, 카메라 어레이 프로세싱 시스템의 특정 실시형태가 도시되고, 일반적으로 1800 으로 지정된다. 어레이 (1802) 에서 모든 카메라들은 공통 제어 신호에 응답하고, 정렬되고, 처리된 후에 결과적인 이미지 데이터가 최종 이미지로 결합될 수도 있다. 도 18 에 도시된 실시형태에서, 어레이 (1802) 는 카메라들의 5×5 어레이를 포함한다. 대안적으로, 어레이 (1802) 는 (예컨대, 도 17 의 3×3 어레이 (1700) 와 같은) 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다.

어레이 (1802) 에서 모든 카메라들은 단일 ISP 파이프라인을 이용하는 동시 이미지 센서 지원 방식을 이용하여 동기화될 수도 있다. 또한, 카메라들의 각각의 로우는 정렬 방법을 이용하여 정렬될 수도 있다. 즉, 이미지들의 하나의 로우가 수집되고, 동일한 순서로 정렬되며, 사이즈 n*line 을 갖는 단일 라인으로 처리하기 위해 송신될 수도 있고, 여기서 n 은 하나의 로우에서 카메라들의 수이고, line 은 하나의 카메라의 수평 사이즈 (즉, 도 15 에 도시된 것과 같은 "H_res") 이다. 도 18 에 도시된 5×5 어레이 (1802) 는 제 1 로우 (1804), 제 2 로우 (1806), 제 3 로우 (1808), 제 4 로우 (1810) 및 제 5 로우 (1812) 를 포함한다. 추가로, 5×5 어레이 (1802) 는 제 1 컬럼 (1814), 제 2 컬럼 (1816), 제 3 컬럼 (1818), 제 4 컬럼 (1820) 및 제 5 컬럼 (1822) 을 포함한다. 로우들 (1804-1812) 각각은 VFE 성분에서의 컬러에 대하여 병렬로 처리될 수도 있고, 로우들 (1804-1812) 각각은 하나의 로우에서 각각의 개별 이미지를 정렬하고 교정하기 위해 그래픽 프로세서 또는 그래픽 프로세싱 유닛 (GPU) 성분에서 처리될 수도 있다. 교정 및 정렬 이후, GPU 프로세싱이 수행되어 로우들 (1804-1812) 전부를 함께 결합하고, 그 결과 최종 이미지를 발생한다.

제 1 로우 (1804) 는 제 1 이미지 정렬 블록 (1824) 과 연관될 수도 있고, 제 2 로우 (1806) 는 제 2 이미지 정렬 블록 (1826) 과 연관될 수도 있고, 제 3 로우 (1808) 는 제 3 이미지 정렬 블록 (1828) 과 연관될 수도 있고, 제 4 로우 (1810) 는 제 4 이미지 정렬 블록 (1830) 과 연관될 수도 있으며, 제 5 로우 (1812) 는 제 5 이미지 정렬 블록 (1832) 과 연관될 수도 있다. 설명을 위해, 제 1 정렬 블록 (1824) 은 제 1 로우 (1804) 에서 각각의 카메라 (즉, 어레이 (1802) 의 5 개 컬럼들 (1814-1822) 에서의 5 개 카메라들) 로부터 이미지 데이터 라인들을 수집하도록 구성될 수도 있다. 제 1 정렬 블록 (1824) 은 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 1 정렬 블록 (1824) 은 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 제 1 VFE 성분 (1834) 에 송신하여 도 2, 도 3 및 도 5 의 결합기 (206) 와 관련하여 설명된 것과 같이 컬러에 대하여 처리되도록 구성될 수도 있다. 단일 라인의 사이즈는 카메라들의 수 (즉, 5 개 카메라) 및 제 1 로우 (1804) 의 각각의 카메라의 수평 사이즈 (즉, 도 15 에서 설명된 것과 같은 "H_res") 에 기초하여 결정될 수도 있다.

제 2 정렬 블록 (1826) 은 제 2 로우 (1806) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 2 VFE 성분 (1836) 에 송신하도록 구성될 수도 있다. 제 3 정렬 블록 (1828) 은 제 3 로우 (1808) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 3 VFE 성분 (1838) 에 송신하도록 구성될 수도 있다. 제 4 정렬 블록 (1830) 은 제 4 로우 (1810) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 4 VFE 성분 (1840) 에 송신하도록 구성될 수도 있다. 제 5 정렬 블록 (1832) 은 제 5 로우 (1812) 에서 각각의 카메라로부터 이미지들을 수집하고, 이미지들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지들을 제 5 VFE 성분 (1842) 에 송신하도록 구성될 수도 있다.

제어 동기화 블록 (1844) 은 센서 동기화기 (230) 와 유사한 방식으로 어레이 (1802) 의 카메라들 (즉, 도 18 의 예시적인 5×5 어레이 (1802) 의 경우에 25 개 카메라들) 각각을 동기화하는데 이용될 수도 있다. 특정 실시형태에서, 제어 동기화 블록 (1844) 은 도 17 의 제어 인터페이스 (1704) 를 구현할 수도 있다. 제어 동기화 블록 (1844) 은 어레이 (1802) 의 카메라들 각각과 VFE 성분들 (1834-1842) 각각에 통신적으로 커플링될 수도 있다. 어레이 (1802) 에서 모든 카메라들의 동기화는 고 해상도에서 롤링 셔터 (rolling shutter) 의 이용을 허용할 수도 있다. 모든 카메라들이 동시에 판독될 수도 있기 때문에, 롤링 셔터 영향은 (어레이의 사이즈에 따라) 감소될 수도 있다. 예를 들어, 도 18 의 5×5 어레이 (1802) 에서, 25 개 카메라들의 동기화는 상보적 금속 산화물 반도체 (CMOS) 카메라와 연관된 롤링 셔터 영향을 감소시킬 수도 있다.

제 1 VFE 성분 (1834) 은 제 1 GPU 성분 (1846) 에 통신적으로 커플링되어 제 1 로우 (1804) 에서 각각의 개별 이미지 (즉, 5 개 컬럼들 (1814-1822) 에서의 카메라들에 의해 캡처된 5 개 이미지들) 를 정렬시키고 교정할 수도 있다. 제 2 VFE 성분 (1836) 은 제 2 GPU 성분 (1848) 에 통신적으로 커플링되어 제 2 로우 (1806) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 3 VFE 성분 (1838) 은 제 3 GPU 성분 (1850) 에 통신적으로 커플링되어 제 3 로우 (1808) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 4 VFE 성분 (1840) 은 제 4 GPU 성분 (1852) 에 통신적으로 커플링되어 제 4 로우 (1810) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 제 5 VFE 성분 (1842) 은 제 5 GPU 성분 (1854) 에 통신적으로 커플링되어 제 5 로우 (1812) 에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. GPU 성분들 (1846-1854) 각각은 로우들 (1804-1812) 전부를 함께 결합하여 최종 이미지를 발생하도록 구성된 GPU 프로세싱 성분 (1856) 에 통신적으로 커플링될 수도 있다.

도 18 에 도시된 실시형태에서, 정렬 블록들 (1824-1832) 각각은 자신의 VFE 성분 및 GPU 교정 및 정렬 성분과 연합된다. 따라서, 도 18 은 로우들 (1804-1812) 각각이 별개의 VFE 성분들을 이용하여 컬러에 대하여 병렬로 처리될 수도 있고, 로우들 (1804-1812) 각각이 별개의 GPU 성분들을 이용하여 특정 로우에서 각각의 개별 이미지를 정렬하고 교정하도록 처리될 수도 있는 것을 도시한다. 대안적으로, 정렬 블록들 (1824-1832) 각각은 단일 VFE 성분 및 단일 GPU 교정 및 정렬 성분과 연합될 수도 있다 (도 19 참조).

도 19 를 참조하면, 카메라 어레이 프로세싱 시스템의 특정 실시형태가 도시되고, 일반적으로 1900 으로 지정된다. 어레이 (1902) 에서 모든 카메라들은 동기화되고, 정렬되고, 처리된 후에 최종 이미지로 결합될 수도 있다. 도 19 에 도시된 실시형태에서, 어레이 (1902) 는 카메라들의 5×5 어레이를 포함한다. 대안적으로, 어레이 (1902) 는 2 차원 어레이에 배열된 임의의 다른 수의 카메라들을 포함할 수도 있다. 도 19 는, 도 18 에 도시된 복수의 VFE 및 GPU 교정 및 정렬 성분들보다는 단일 VFE 성분과 단일 GPU 교정 및 정렬 성분이 어레이 (1902) 의 모든 로우들을 처리하기 위해 이용될 수도 있는 것을 도시한다.

도 19 에 도시된 5×5 어레이 (1902) 는 제 1 로우 (1904), 제 2 로우 (1906), 제 3 로우 (1908), 제 4 로우 (1910) 및 제 5 로우 (1912) 를 포함한다. 추가로, 5×5 어레이 (1902) 는 제 1 컬럼 (1914), 제 2 컬럼 (1916), 제 3 컬럼 (1918), 제 4 컬럼 (1920) 및 제 5 컬럼 (1922) 을 포함한다. 제 1 로우 (1904) 는 제 1 이미지 정렬 블록 (1924) 과 연관될 수도 있고, 제 2 로우 (1906) 는 제 2 이미지 정렬 블록 (1926) 과 연관될 수도 있고, 제 3 로우 (1908) 는 제 3 이미지 정렬 블록 (1928) 과 연관될 수도 있고, 제 4 로우 (1910) 는 제 4 이미지 정렬 블록 (1930) 과 연관될 수도 있으며, 제 5 로우 (1912) 는 제 5 이미지 정렬 블록 (1932) 과 연관될 수도 있다. 설명을 위해, 제 1 정렬 블록 (1924) 은 제 1 로우 (1904) 에서 각각의 카메라 (즉, 어레이 (1902) 의 5 개 컬럼들 (1914-1922) 에서의 5 개 카메라들) 로부터 이미지 데이터 라인들을 수집하도록 구성될 수도 있다.

제 1 정렬 블록 (1924) 은 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 2 정렬 블록 (1926) 은 제 2 로우 (1906) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 3 정렬 블록 (1928) 은 제 3 로우 (1908) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 4 정렬 블록 (1930) 은 제 4 로우 (1910) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다. 제 5 정렬 블록 (1932) 은 제 5 로우 (1912) 에서 각각의 카메라로부터 이미지 데이터 라인들을 수집하고, 이미지 데이터 라인들을 동일한 순서로 정렬하고, 단일 라인으로서 처리를 위해 이미지 데이터 라인들을 송신하도록 구성될 수도 있다.

도 19 에 도시된 실시형태에서, 정렬 블록들 (1924-1932) 각각은 단일 VFE 성분 (1934) 으로의 처리를 위해 그 이미지들을 송신하여 컬러에 대하여 처리되도록 구성될 수도 있다. 단일 VFE 성분 (1934) 은 5 개 정렬 블록들 (1924-1932) 로부터 송신된 5 개 라인들 각각을 처리할 수도 있다. 전술된 것과 같이, 특정 정렬 블록으로부터의 단일 라인의 사이즈는 특정 로우에서 카메라들의 수 (즉, 5 개 카메라들) 및 특정 로우의 각각의 카메라의 수평 사이즈 (즉, 도 5 에서 설명한 "H_res") 에 기초하여 결정될 수도 있다. 이와 같이, 도 19 의 단일 VFE 성분 (1934) 에 의해 처리된 다중 라인들의 사이즈는 도 18 의 VFE 성분들 (1834-1842) 중 하나에 의해 처리된 단일 라인의 사이즈의 5 배일 수도 있다.

제어 동기화 블록 (1936) 은 하나 이상의 로우들 (1904-1912) 의 카메라들에 공통 제어 신호들을 제공하여 어레이 (1902) 의 카메라들 각각을 동기화하는데 이용될 수도 있다. 제어 동기화 블록 (1936) 은 어레이 (1902) 의 카메라들 각각과 단일 VFE 성분들 (1934) 에 통신적으로 커플링될 수도 있다. 어레이 (1902) 에서 모든 카메라들의 동기화는 고 해상도에서 롤링 셔터의 이용을 허용할 수도 있다. 모든 카메라들이 동시에 판독될 수도 있기 때문에, 롤링 셔터 영향은 (어레이의 사이즈에 따라) 감소될 수도 있다. 예를 들어, 도 19 의 5×5 어레이 (1902) 에서, 25 개 카메라들의 동기화는 CMOS 카메라와 연관된 롤링 셔터 영향을 감소시킬 수도 있다.

단일 VFE 성분 (1934) 은 단일 GPU 성분 (1938) 에 통신적으로 커플링되어 로우들 (1904-1912) 각각에서 각각의 개별 이미지를 정렬시키고 교정할 수도 있다. 이와 같이, 도 19 의 단일 GPU 성분 (1938) 은 도 18 의 GPU 정렬 및 교정 성분들 (1846-1854) 의 각각에서 처리된 5 개의 이미지들과 비교할 때 25 개의 이미지들을 정렬하고 교정할 수도 있다. 단일 GPU 성분 (1938) 은 로우들 (1904-1912) 전부를 함께 결합하여 최종 이미지를 발생하도록 구성된 GPU 프로세싱 성분 (1940) 에 통신적으로 커플링될 수도 있다.

도 20 은 들어오는 광 (2004) 을 포커싱하도록 구성된 메인 렌즈 (2002) 및 하나의 어레이 (2006) 에 배열된 다중 카메라들을 포함하는 고 해상도 디지털 카메라 시스템 (2000) 을 도시한다. 고 해상도 이미지는 어레이 (2006) 의 카메라들 각각에서 캡처되는 이미지들을 결합함으로써 합성 (또는 "모자이크") 이미지로서 생성될 수 있다. 예를 들면, 어레이 (2006) 의 카메라들 각각은 CMOS-타입 카메라 또는 전하 결합 디바이스 (CCD) 타입 카메라일 수도 있다. 메인 렌즈 (2002) 는 (어레이 (2006) 에서 메인 렌즈 (200) 의 "초점 평면" 과 카메라들의 "객체 평면" 으로 지칭되는) 평면 (2008) 에 캡처된 장면을 포커싱할 수도 있고, 어레이 (2006) 에서 각각의 카메라는 전체 이미지의 일부분을 캡처할 수도 있다. 어레이 (2006) 의 각각의 카메라는 평면 (2008) 에서 인접 카메라의 시계와 부분적으로 중첩하는 시계를 갖는다. 이러한 중첩은 어레이 (2006) 에서 인접 카메라들로부터 취득된 이미지들이 로우 별로 정렬되고 후속 프로세싱 동안 함께 "스티치" 될 수 있게 하며, (도 16 과 관련하여 설명된 것과 같은) 어레이 내의 카메라들의 비-이상적인 위치 및 정렬에 대한 오차를 제공할 수도 있다.

합성 이미지는 어레이 (2006) 의 카메라들로부터 이미지 데이터를 로우 별로 정렬함으로써 생성될 수 있다. 예를 들면, 도 20 의 어레이 (2006) 는 3 개의 로우들을 갖는 3×3 어레이를 포함한다. 어레이 (2006) 의 특정 로우 ("어레이 로우") 내의 각각의 카메라는 컬럼들 및 로우들 ("센서 컬럼" 및 "센서 로우") 로 배열된 광 검출기들을 갖는 이미지 센서를 포함할 수도 있다. 어레이 로우 내의 카메라들은 센서 로우들이 실질적으로 정렬될 수 있도록 포지셔닝될 수도 있다. 설명을 위해, 하나의 어레이 로우에서 각각의 카메라의 제 1 센서 로우는 동일한 어레이 로우 에서 모든 다른 카메라의 제 1 센서 로우와 실질적으로 정렬된다.

이미지 캡처 동안, 이미지 데이터의 제 1 센서 로우는 하나의 어레이 로우에서 각각의 카메라로부터 판독되고, (도 17 내지 도 19 와 관련하여 설명된 것과 같은) 이미지 프로세싱 회로에 제공된다. 제 1 센서 로우로부터의 이미지 데이터는 그 어레이 로우의 각각의 카메라의 위치에 따라 통합된다. 통합된 이미지 데이터는 더 큰 카메라로부터의 이미지 데이터의 단일 로우가 존재하는 것처럼 처리된다. 제 2, 제 3 및 후속 이미지 센서 로우들이 통합되어 이미지 프로세싱 회로에 제공되고, 합성 이미지의 로우들로서 처리된다. 각각의 어레이 로우는 다른 어레이 로우들과 병렬로 처리될 수도 있다.

도 20 의 배열은 고 해상도 카메라들에 대한 저렴한 대안을 제공할 수도 있다. 예를 들면, 100 메가픽셀 (mpix) 카메라는 메인 렌즈 뒤의 20 개의 5 mpix CMOS 카메라들의 어레이를 이용하여 구성될 수 있다. 각 카메라가 이미지의 일부분을 캡처하는 다중 CMOS 카메라들을 이용하여 이미지 캡처가 수행될 수 있기 때문에, 전체 이미지를 캡처하는 단일 100 mpix CMOS 카메라와 비교하여 "롤링 셔터" 아티팩트가 감소될 수도 있다.

도 21 을 참조하면, 다중 카메라 모듈의 일 구현의 특정 실시형태가 도시되고, 일반적으로 2100 으로 지정된다. 시스템 (2100) 은 다중 카메라 모듈, 예컨대 도 1 내지 도 5 에 도시된 것과 같은 다중 카메라 모듈이 자동차에 장착된 것을 도시한다. 다중 카메라 모듈은 도 6 및 도 7 과 관련하여 설명된 것과 같은 3 차원 이미지 또는 비디오 데이터로서 포맷화하기 위한, 동기화된 라인 데이터 프레임들을 생성하도록 구성될 수도 있다. 다중 카메라 모듈을 자동차의 후면부에 장착함으로써, 3차원 뷰가 획득되며, 이는 자동차를 후진하는 동안 내부 디스플레이 (비도시) 상에 거리 감각 (depth perception) 을 자동차의 운전자에게 제공할 수도 있다. 다중 카메라 모듈은 자동차에 대한 제한 없이 임의의 타입의 차량에 장착될 수도 있다.

도 22 를 참조하면, 다중 센서들로부터의 데이터를 동기화된 데이터 라인으로 결합하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2200 으로 지정된다. 일 예로서, 방법 (2200) 은 도 2 의 시스템, 도 3 의 시스템, 도 5 의 시스템 또는 이들의 임의의 조합에 의해 수행될 수도 있다.

공통 제어 신호는 동기화될 다중 이미지 센서들에 제공될 수도 있다 (2202). 예를 들면, 공통 제어 신호는 도 4 에 도시된 공통 제어 신호들 (404-410) 과 같이 공통 클록 신호 및 공통 리셋 신호를 포함할 수도 있다.

다중 이미지 센서들 중 제 1 이미지 센서로부터 제 1 데이터 라인이 수신될 수도 있다 (2204). 다중 이미지 센서들 중 제 2 이미지 센서로부터 제 2 데이터 라인이 수신될 수도 있다 (2206). 예를 들어, 제 1 센서와 제 2 센서는 도 2 의 센서들 (202, 204) 일 수도 있다.

제 1 데이터 라인 및 제 2 데이터 라인은 동기화된 데이터 라인을 생성하도록 라인 결합될 수도 있다 (2208). 예를 들어, 방법 (2200) 은 제 1 이미지 센서로부터 수신된 제 1 데이터 스트림과 제 2 이미지 센서로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙하는 것을 포함할 수도 있다. 동기화된 데이터 라인은 도 5 에 도시된 제 1 센서 이미지 데이터 (422) 와 제 2 센서 이미지 데이터 (432) 를 결합하는 결합기 (406) 와 관련하여 설명된 것과 같이 형성될 수도 있다.

동기화된 데이터 라인은 도 6 의 프레임 (660) 과 같은 일 프레임의 부분을 형성할 수도 있다. 프레임은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션 (예컨대, 제 1 섹션 (652)), 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹선 (예컨대, 제 2 섹션 (654)) 및 제 1 섹션과 제 2 섹션 사이에 보간된 비-이미지 데이터를 포함하는 갭 섹션 (예컨대, 갭 섹션 (656)) 을 포함할 수 있다. 다른 실시형태들에서, 프레임은 제 1 섹션과 제 2 섹션 사이에 갭 섹션을 포함하지 않을 수도 있다.

제 1 데이터 라인을 수신하는 것은 제 2 데이터 라인을 수신하는 것이 완료되기 전에 종료될 수도 있고, 동기화된 데이터 라인은 제 2 데이터 라인을 수신하는 것이 완료된 이후에 발생될 수도 있다. 일 예로서, 도 8 의 결합된 데이터 라인 (822) 은 제 2 센서 제 1 라인 데이터 (812) 가 수신된 후에 생성된다.

3 이상의 이미지 센서들을 갖는 일 실시형태에서, 제 3 데이터 라인은 도 11 에 도시된 것과 같은 다중 이미지 센서들 중 제 3 이미지 센서로부터 수신될 수도 있다. 제 3 데이터 라인은 제 1 데이터 라인 및 제 2 데이터 라인과 결합되어 도 11 의 제 1 동기화된 데이터 라인 (1150) 과 같은 동기화된 데이터 라인을 생성할 수 있다.

도 23 을 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 동기화된 데이터 라인을 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공하는 방법의 특정 예시적 실시형태의 흐름도가 도시되며, 일반적으로 2300 으로 지정된다. 방법 (2300) 은 예시적이고 제한되지 않는 예들로서 도 2, 도 3, 도 5 의 시스템들 중 하나 이상에서 수행될 수도 있다.

공통 제어 신호는 다중 이미지 센서들에 제공될 수도 있다 (2302). 다중 이미지 센서들 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성할 수도 있다. 예를 들면, 공통 제어 신호는 도 2 의 센서 동기화기 (230) 와 같이, 다중 이미지 센서들의 각각에 커플링된 센서 동기화기에 제공될 수도 있다. 설명을 위해, 센서 동기화기는 I2C (inter-integrated circuit) 제어 인터페이스를 통해, 카메라 직렬 인터페이스 (CSI) 사양에 부합하는 인터페이스를 통해, 또는 카메라 병렬 인터페이스 (CPI) 사양에 부합하는 인터페이스를 통해 다중 이미지 센서들 각각에 커플링될 수도 있다.

다중 이미지 센서들 중 각각으로부터 출력된 동기화된 데이터가 수신될 수도 있다 (2304). 제 1 데이터 라인은 다중 이미지 센서들 중 제 1 이미지 센서로부터 수신될 수도 있고, 제 2 데이터 라인은 다중 이미지 센서들 중 제 2 이미지 센서로부터 수신될 수도 있다. 제 1 데이터 라인을 수신하는 것은 제 2 데이터 라인을 수신하는 것이 완료되기 전에 종료될 수도 있고, 동기화된 데이터 라인은 제 2 데이터 라인을 수신하는 것이 완료된 이후에 발생될 수도 있으며, 예컨대 도 8 에서 결합된 데이터 라인 (822) 은 제 2 센서 제 1 라인 데이터 (812) 가 수신된 후에 생성된다.

다중 이미지 센서들 각각으로부터 동기화된 데이터 출력은 결합되어 동기화된 데이터 라인을 생성할 수도 있다 (2306). 예를 들면, 도 2 의 결합기 (206) 는 제 1 이미지 센서 (202) 로부터 수신된 제 1 데이터 스트림과 제 2 이미지 센서 (204) 로부터 수신된 제 2 데이터 스트림을 라인별로 인터리빙할 수도 있다.

동기화된 데이터 라인은 이미지 프로세서의 단일 카메라 입력을 통해 이미지 프로세서에 제공될 수도 있다 (2308). 동기화된 데이터 라인은 도 6 의 프레임 (660) 과 같이, 복수의 로우들을 갖는 일 프레임의 부분을 형성할 수도 있다. 예를 들면, 프레임은 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션, 제 2 이미지 센서로부터의 제 2 이미지 데이터를 포함하는 제 2 섹선 및 제 1 섹션과 제 2 섹션 사이의 갭 섹션을 포함할 수 있다.

도 24 를 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 수신하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2400 으로 도시된다.

다중 이미지 센서들로의 공통 제어 신호가 제공될 수도 있다 (2402). 다중 이미지 센서들의 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 예를 들면, 공통 제어 신호는 다중 이미지 센서들의 각각에 커플링된 센서 동기화기, 예컨대 도 2 내지 도 5 중 임의의 것의 센서 동기화기 (230), 도 18 의 제어 동기화 블록 (1844), 도 19 의 제어 동기화 블록 (1936), 또는 이들의 임의의 조합에 의해 제공될 수도 있다.

다중 이미지 센서들 각각으로부터 동기화된 데이터 출력이 수신될 수도 있다 (2404). 동기화된 데이터 출력은 제 1 이미지 센서로부터 수신된 제 1 데이터 라인들 및 제 2 이미지 센서로부터 수신된 제 2 데이터 라인들을 포함할 수도 있다. 제 1 이미지 센서로부터의 각각의 수신된 데이터 라인과 제 2 이미지 센서로부터의 각각의 대응하는 데이터 라인 사이의 위상 오프셋은, 예시적이고 제한되지 않는 예들로서 도 9 의 1-라인 위상 차이, 도 8 의 2-라인 위상 차이, 또는 도 12 의 3-라인 위상 차이와 같이 실질적으로 일정할 수도 있다.

도 25 를 참조하면, 공통 제어 신호를 다중 이미지 센서들에 제공하고, 다중 이미지 센서들 각각으로부터 동기화된 데이터 출력을 생성하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2500 으로 지정된다.

다중 이미지 센서들에서 공통 제어 신호가 수신될 수도 있다 (2502). 다중 이미지 센서들의 각각은 공통 제어 신호에 응답하여 이미지 데이터를 생성한다. 예를 들면, 공통 제어 신호는 다중 이미지 센서들의 각각에 커플링된 센서 동기화기, 예컨대 도 2 내지 도 5 중 임의의 것의 센서 동기화기 (230), 도 18 의 제어 동기화 블록 (1844), 도 19 의 제어 동기화 블록 (1936), 또는 이들의 임의의 조합으로부터 수신될 수도 있다.

다중 이미지 센서들 각각으로부터 동기화된 데이터 출력이 생성될 수도 있다 (2504). 동기화된 데이터 출력은 제 1 이미지 센서로부터 수신된 제 1 데이터 라인들 및 제 2 이미지 센서로부터 수신된 제 2 데이터 라인들을 포함할 수도 있다. 제 1 이미지 센서로부터의 각각의 수신된 데이터 라인과 제 2 이미지 센서로부터의 각각의 대응하는 데이터 라인 사이의 위상 오프셋은, 예시적이고 제한되지 않는 예들로서 도 9 의 1-라인 위상 차이, 도 8 의 2-라인 위상 차이, 또는 도 12 의 3-라인 위상 차이와 같이 실질적으로 일정할 수도 있다.

도 26 을 참조하면, 단일 카메라에 대한 입력을 갖는 이미지 신호 프로세서에서 다중 센서들로부터의 데이터를 결합하는 방법의 특정 예시적 실시형태의 흐름가 도시되고, 일반적으로 2600 으로 지정된다.

이미지 데이터의 라인들은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 수신될 수도 있다 (2602). 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함할 수도 있다. 예시적이고 제한되지 않은 예로서, 이미지 프로세서는 도 2 및 도 3 또는 도 5 의 이미지 신호 프로세서 (208), 도 13 의 이미지 프로세서 (1308), 도 18 의 VFE들 (1834-1842), 도 19 의 VFE들 (1934-1942), 또는 이들의 임의의 조합을 포함할 수도 있다.

이미지 데이터의 라인들은 제 1 카메라 및 제 2 카메라에 커플링된 결합기로부터 제 1 이미지 프로세서에서 수신될 수도 있다. 제 1 카메라로부터의 제 1 이미지 데이터와 제 2 카메라로부터의 제 2 이미지 데이터의 라인별 판독은 결합기를 이용하여 이미지 데이터의 각 라인을 생성하도록 동기화될 수도 있다. 예를 들면, 결합기는 도 2 및 도 3 또는 도 5 의 결합기 (206), 도 13 의 결합기 (1306), 도 18 의 데이터 정렬 블록들 (1824-1832), 도 19 의 데이터 정렬 블록들 (1924-1932), 또는 이들의 임의의 조합을 포함할 수도 있다.

제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임이 생성될 수도 있다 (2604). 제 1 섹션 및 제 2 섹선은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성될 수도 있다.

특정 실시형태에서, 출력 프레임은 3D 이미지 데이터를 생성하도록 처리되고, 3D 이미지 데이터는 디스플레이 디바이스로 송신된다. 다른 실시형태에서, 출력 프레임은 3D 비디오 데이터를 생성하도록 처리되고, 3D 비디오 데이터는 도 13 의 디스플레이 디바이스 (1310) 와 같은 디스플레이 디바이스로 송신된다. 설명을 위해, 디스플레이 디바이스는 통신 디바이스, 카메라, 개인 휴대 정보 단말기, 및 컴퓨터 중 적어도 하나의 구성요소일 수도 있다.

도 27 을 참조하면, 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 특정 예시적 실시형태의 흐름도가 도시되고, 일반적으로 2700 으로 지정된다. 일 예로서, 방법 (2700) 은 도 2 의 시스템, 도 5 의 시스템, 또는 이들의 임의의 조합에 의해 수행될 수도 있다.

제 1 데이터 스트림은 도 2 의 제 1 센서 (202) 와 같은 제 1 이미지 센서로부터 수신될 수도 있다 (2702). 도 2 의 제 1 이미지 데이터 스트림 (212), 도 6 의 제 1 데이터 스트림 (602), 또는 도 5 의 타이밍 데이터 신호 (420) 와 이미지 데이터 신호 (422) 와 같은 제 1 데이터 스트림은 이미지의 제 1 이미지 데이터에 대응할 수도 있다. 제 2 데이터 스트림은 도 2 의 제 2 센서 (204) 와 같은 제 2 이미지 센서로부터 수신될 수도 있다 (2704). 도 2 의 이미지 데이터 스트림 (214) 과 같은 제 2 데이터 스트림, 도 6 의 제 2 데이터 스트림 (604) 또는 도 5 의 타이밍 신호 데이터 (430) 와 이미지 데이터 신호 (432) 는 이미지의 제 2 이미지 데이터에 대응할 수도 있다.

제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터가 결합될 수도 있다 (2706). 예를 들면, 도 2 의 결합기 (206) 또는 도 5 의 결합기 (206) 와 같은 결합기는 제 1 데이터 스트림으로부터의 제 1 이미지 데이터와 제 2 데이터 스트림으로부터의 제 2 이미지 데이터를 결합하여 결과적인 프레임을 생성할 수도 있다. 설명을 위해, 제 1 데이터 스트림은 제 1 라인 인덱스 값을 갖는 라인 데이터, 제 2 라인 인덱스 값을 갖는 라인 데이터, 등을 포함하는 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함할 수도 있다. 제 2 데이터 스트림은 제 1 라인 인덱스 값을 갖는 대응하는 라인 데이터, 제 2 라인 인덱스 값을 갖는 대응하는 라인 데이터, 등을 포함하는, 제 1 데이터 스트림의 라인 데이터에 대응하는 라인 데이터를 포함할 수도 있다. 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터 및 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되거나 결합되어 단일 이미지 라인을 형성할 수도 있다. 프로세스는 도 6 의 프레임 (660) 과 같은 결과적인 프레임을 생성하기 위해 각각의 라인 인덱스 값에 대하여 반복될 수도 있다. 특정 실시형태에서, 프레임은 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 라인 인덱스 값을 갖는 제 1 이미지 데이터의 라인을 저장하고, 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인과 제 2 이미지 데이터의 대응하는 라인이 단일 이미지 라인으로 결합될 경우, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 사이즈의 실질적으로 2 배이다.

프레임은 이미지 신호 프로세서에서 처리되어 처리된 프레임을 생성할 수도 있다 (2708). 특정 실시형태에서, 이미지 신호 프로세서는 도 2 의 이미지 신호 프로세서 (208) 또는 도 5 의 이미지 신호 프로세서 (208) 일 수도 있고, 처리된 프레임은 도 2 의 처리된 프레임 (240) 또는 도 6 의 처리된 프레임 (650) 일 수도 있다. 특정 실시형태에서, 처리된 프레임은 제 1 섹션 (652) 과 같이 제 1 이미지 센서로부터의 제 1 이미지 데이터를 포함하는 제 1 섹션, 제 2 섹션 (654) 과 같이 제 2 이미지로부터의 제 2 이미지 데이터를 포함하는 제 2 섹션 및 도 6 의 갭 섹션 (656) 과 같은 갭 섹션을 포함할 수도 있다. 갭 섹션은 제 1 섹션과 제 2 섹션 사이에 배치된 비-이미지 데이터를 포함할 수도 있다. 특정 실시형태에서, 제 1 섹션은 제 1 이미지 데이터의 라인을 포함할 수도 있고, 제 2 섹션은 제 2 이미지 데이터의 대응하는 라인을 포함할 수도 있다.

처리된 프레임은 디스플레이 디바이스에 디스플레이 되도록 출력될 수도 있다 (2710). 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 각각 이미지 신호 프로세서에 직접 응답하고, 디스플레이 디바이스는 이미지 신호 프로세서로부터 디커플링될 수도 있다.

도 28 을 참조하면, 제 1 이미지 센서와 제 2 이미지 센서를 동기화하는 방법의 예시적인 실시형태의 흐름도가 도시되며, 일반적으로 2800 으로 지정된다. 일 예로서, 방법 (2800) 은 도 2 의 시스템 (200), 도 5 의 시스템 (600), 또는 이들의 임의의 조합에서 수행될 수도 있다.

이미지의 제 1 이미지 데이터는 제 1 이미지 센서로부터 수신될 수도 있다 (2802). 특정 실시형태에서, 제 1 이미지 센서는 도 2 의 제 1 센서 (202) 일 수도 있다. 제 1 이미지 데이터와 연관된 제 1 데이터 스트림은 제 1 이미지 센서로부터 수신될 수도 있다 (2804). 특정 실시형태에서, 제 1 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 2 의 제 1 이미지 데이터 스트림 (212), 도 6 의 제 1 데이터 스트림 (602), 또는 도 5 의 타이밍 데이터 신호 (420) 와 이미지 데이터 신호 (422) 일 수도 있다.

이미지의 제 2 이미지 데이터는 제 2 이미지 센서로부터 수신될 수도 있다 (2806). 특정 실시형태에서, 제 2 이미지 센서는 도 2 의 제 2 센서 (204) 일 수도 있다. 제 2 이미지 데이터와 연관된 제 2 데이터 스트림은 제 2 이미지 센서로부터 수신될 수도 있다 (2808). 특정 실시형태에서, 제 2 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 2 의 제 2 이미지 데이터 스트림 (214), 도 6 의 제 2 데이터 스트림 (604), 또는 도 5 의 타이밍 데이터 신호 (430) 와 이미지 데이터 신호 (432) 일 수도 있다.

이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출은 동기화될 수도 있다 (2810). 특정 실시형태에서, 동기화는 도 2 의 결합기 (206) 또는 도 5 의 결합기 (206) 와 같은 결합기를 포함하는 호스트에서 이미지의 이미지 데이터 획득 동안 발생할 수도 있다. 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 예를 들어, 도 2 의 제 1 및 제 2 센서들 (202, 204) 은 제어 신호 (232) 를 통해 이미지 신호 프로세서 (208) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙될 수도 있다 (2812). 특정 실시형태에서, 제 1 데이터 스트림과 제 2 데이터 스트림은 라인별로 인터리빙될 수도 있다. 예를 들어, 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터와 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되어 인터리빙된 단일 이미지 라인을 형성할 수도 있다.

따라서, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 프로세서가 각각의 센서에 할당되는 다중 프로세서 시스템들과 비교할 때 감소될 수도 있다.

도 29 를 참조하면, 다중 이미지 센서들로부터의 데이터를 결합하여 3D 이미지 데이터를 생성하는 방법의 제 1 예시적 실시형태의 흐름도가 도시되며, 일반적으로 2900 으로 지정된다. 일 예로서, 방법 (2900) 은 도 13 의 시스템에 의해 수행될 수도 있다.

방법은 제 1 카메라와 제 2 카메라로부터 제 1 이미지의 라인별 판독을 동기화하여 이미지 데이터의 로우들을 생성하는 것을 포함한다 (2902). 제 1 카메라로부터의 제 1 이미지 데이터는 도 1 의 제 1 이미지 센서 (1302) 로부터의 이미지 데이터 스트림 (1314) 일 수도 있고, 제 2 이미지 데이터는 도 13 의 제 2 이미지 센서 (1304) 로부터의 이미지 데이터 스트림 (1316) 일 수도 있다.

방법은 단일 카메라에 대한 입력을 갖는 이미지 프로세서에서 이미지 데이터의 로우들을 수신하는 것을 포함한다 (2904). 이미지 데이터의 각 로우는 제 1 카메라에 의해 캡처된 제 1 이미지의 로우로부터의 데이터와 제 2 카메라에 의해 캡처된 제 2 이미지의 로우로부터의 데이터를 포함한다. 이미지 데이터의 로우들은 도 7 에 도시된 데이터 아웃 데이터 스트림 (706) 일 수도 있다.

방법은 이미지 프로세서를 사용하여 3D 이미지 포맷과 3D 비디오 포맷 중 하나를 갖는 출력을 생성하는 것을 포함한다 (2906). 출력은 제 1 이미지와 제 2 이미지에 대응한다. 출력은 디스플레이 디바이스 (예컨대, 도 13 의 디스플레이 디바이스 (1310)) 로 송신된다 (2908).

도 30 을 참조하면, 다중 센서들로부터의 데이터를 하나의 프레임으로 결합하는 방법의 예시적 실시형태의 흐름도가 도시되고, 일반적으로 3000 으로 지정된다. 일 예로서, 방법 (3000) 은 도 13 의 시스템에 의해 수행될 수도 있다.

제 1 데이터 스트림은 도 13 의 제 1 이미지 센서 (1302) 와 같은 제 1 이미지 센서로부터 수신된다 (3002). 도 13 의 제 1 이미지 데이터 스트림 (1314) 또는 도 7 의 제 1 데이터 스트림 (702) 와 같은 제 1 데이터 스트림은 제 1 이미지의 제 1 이미지 데이터에 대응할 수도 있다. 제 2 데이터 스트림은 도 13 의 제 2 이미지 센서 (1304) 와 같은 제 2 이미지 센서로부터 수신될 수도 있다 (3004). 도 13 의 제 2 이미지 데이터 스트림 (1316), 도 7 의 제 2 데이터 스트림 (704) 과 같은 제 2 데이터 스트림은 제 2 이미지의 제 2 이미지 데이터에 대응할 수도 있다. 제 1 이미지와 제 2 이미지는 장면의 이미지들일 수도 있다. 장면의 제 1 이미지와 제 2 이미지는 실질적으로 동시에 취득될 수도 있거나, 상이한 시간에 취득될 수도 있다. 제 1 이미지는 제 2 이미지와 서로 다른 유리한 지점으로부터 취득되며, 따라서 깊이 정보는 장면의 제 1 이미지와 제 2 이미지로부터 결정될 수도 있다.

제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터가 결합된다 (3006). 예를 들면, 도 13 의 결합기 (1306) 와 같은 결합기는 제 1 데이터 스트림으로부터의 제 1 이미지 데이터와 제 2 데이터 스트림으로부터의 제 2 이미지 데이터를 결합하여 결과적인 프레임을 생성할 수도 있다. 설명을 위해, 제 1 데이터 스트림은 제 1 라인 인덱스 값을 갖는 라인 데이터, 제 2 라인 인덱스 값을 갖는 라인 데이터, 등을 포함하는 제 1 이미지 데이터의 제 1 라인과 연관된 데이터를 포함할 수도 있다. 제 2 데이터 스트림은 제 1 라인 인덱스 값을 갖는 대응하는 라인 데이터, 제 2 라인 인덱스 값을 갖는 대응하는 라인 데이터, 등을 포함하는, 제 1 데이터 스트림의 라인 데이터에 대응하는 라인 데이터를 포함할 수도 있다. 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터 및 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되거나 결합되어 단일 이미지 라인을 형성할 수도 있다. 프로세스는 도 7 의 프레임 (740) 과 같은 결과적인 프레임을 생성하기 위해 각각의 라인 인덱스 값에 대하여 반복될 수도 있다. 특정 실시형태에서, 프레임은 복수의 로우들을 포함할 수도 있고, 여기서 각각의 로우는 라인 인덱스 값에 대응하고, 라인 인덱스 값을 갖는 제 1 이미지 데이터의 라인을 저장하고, 라인 인덱스 값을 갖는 제 2 이미지 데이터의 대응하는 라인을 저장한다. 특정 실시형태에서, 제 1 이미지 데이터의 제 1 라인과 제 2 이미지 데이터의 대응하는 라인이 단일 이미지 라인으로 결합될 경우, 단일 이미지 라인의 사이즈는 제 1 이미지 데이터의 제 1 라인 또는 제 2 이미지 데이터의 대응하는 라인의 사이즈의 실질적으로 2 배이다.

프레임은 단일 카메라에 대한 입력을 통해 이미지 데이터의 로우들로서 수신된다 (3008). 특정 실시형태에서, 단일 카메라에 대한 입력은 도 13 의 이미지 프로세서 (1308) 과 같은 이미지 프로세서의 입력일 수도 있다. 프레임은 도 7 의 프레임 (740) 일 수도 있다.

프레임으로부터 출력이 생성된다 (3010). 출력은 3D 이미지 포맷과 3D 비디오 포맷 중 하나를 갖는다. 출력은 제 1 이미지와 제 2 이미지에 대응한다. 출력은 도 13의 처리된 프레임 데이터 (1320) 일 수도 있다. 출력은 디스플레이 디바이스로 송신된다 (3012). 특정 실시형태에서, 디스플레이 디바이스는 도 13 의 디스플레이 디바이스 (1310) 일 수도 있다.

도 31 을 참조하면, 제 1 이미지 센서와 제 2 이미지 센서를 동기화하는 방법의 예시적인 실시형태의 흐름도가 도시되며, 일반적으로 3100 으로 지정된다. 일 예로서, 방법 (3100) 은 도 13 의 시스템 (1300) 에 의해 수행될 수도 있다.

이미지의 제 1 이미지 데이터는 제 1 이미지 센서로부터 수신될 수도 있다 (3102). 특정 실시형태에서, 제 1 이미지 센서는 도 13 의 제 1 이미지 센서 (1302) 일 수도 있다. 제 1 이미지 데이터와 연관된 제 1 데이터 스트림은 제 1 이미지 센서로부터 수신될 수도 있다 (3104). 특정 실시형태에서, 제 1 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 13 의 제 1 이미지 데이터 스트림 (1314) 또는 도 7 의 제 1 데이터 스트림 (702) 일 수도 있다.

이미지의 제 2 이미지 데이터는 제 2 이미지 센서로부터 수신될 수도 있다 (3106). 특정 실시형태에서, 제 2 이미지 센서는 도 13 의 제 2 이미지 센서 (1304) 일 수도 있다. 제 2 이미지 데이터와 연관된 제 2 데이터 스트림은 제 2 이미지 센서로부터 수신될 수도 있다 (3108). 특정 실시형태에서, 제 2 데이터 스트림은 이미지 센서에 의해 생성될 수도 있고, 도 13 의 제 2 이미지 데이터 스트림 (1316) 또는 도 7 의 제 2 데이터 스트림 (704) 일 수도 있다.

이미지 데이터 획득 동안 제 1 이미지 센서와 제 2 이미지 센서의 라인별 노출은 동기화될 수도 있다 (3110). 특정 실시형태에서, 동기화는 도 13 의 결합기 (1306) 와 같은 결합기를 포함하는 호스트에서 이미지의 이미지 데이터 획득 동안 발생할 수도 있다. 특정 실시형태에서, 제 1 이미지 센서와 제 2 이미지 센서는 서로 독립적이다. 예를 들어, 도 13 의 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 제어 신호를 통해 이미지 프로세서 (1308) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 다른 실시형태에서, 제 1 및 제 2 이미지 센서들 (1302, 1304) 은 제어 신호를 통해 결합기 (1306) 에 직접 응답하며, 서로 독립적이지만 유사한 타이밍 특성들을 갖는다. 제 1 데이터 스트림과 제 2 데이터 스트림은 인터리빙될 수도 있다 (3112). 특정 실시형태에서, 제 1 데이터 스트림과 제 2 데이터 스트림은 라인별로 인터리빙될 수도 있다. 예를 들어, 제 1 라인 인덱스 값을 갖는 제 1 데이터 스트림으로부터의 라인 데이터와 대응하는 제 1 라인 인덱스 값을 갖는 제 2 데이터 스트림으로부터의 라인 데이터는 서로 부가되어 인터리빙된 단일 이미지 라인을 형성할 수도 있다.

따라서, 결합된 데이터는 단일 이미지 신호 프로세서를 이용하여 효율적으로 처리될 수도 있다. 따라서, 전체 이미지 시스템 비용 및 복잡도는 프로세서가 각각의 센서에 할당되는 다중 프로세서 시스템들과 비교할 때 감소될 수도 있다.

도 32 를 참조하면, 이미지 프로세서를 이용하여 3D 이미지를 생성하는 방법의 예시적 실시형태의 흐름도가 도시되고, 일반적으로 3200 으로 지정된다. 이미지 프로세서는 도 13 의 이미지 프로세서 (1308) 일 수도 있다. 방법 (3200) 은 이미지 프로세서가 (예컨대, 도 1 의 결합기 (1306) 와 같은) 결합기로부터 수신된 프레임, 메모리로부터의 프레임을 처리할 경우, 또는 사용자가 3D 이미지를 디스플레이하는 디바이스의 줌 특징 또는 팬 특징을 이용하여 디스플레이된 3D 이미지를 변경할 것을 선택할 경우에 이용될 수도 있다.

이미지 프로세서는 캘리브레이션 행렬의 파라미터들에 기초하여 제 1 이미지와 제 2 이미지를 교정한다 (3202). 캘리브레이션 행렬은 제 1 이미지와 제 2 이미지를 캡처하는 제 1 이미지 센서와 제 2 이미지 센서의 상대적인 위치들에 대한 조정들을 제공할 수도 있다. 2 개의 카메라들의 상대적인 위치들은 최소의 장면 왜곡 및 눈의 피로를 보장하도록 선택될 수도 있다. 캘리브레이션 행렬은 3D 이미지를 취득하는 디바이스에 대한 제작 프로세스에서 결정될 수도 있고, 여기서 제 1 이미지 센서와 제 2 이미지 센서의 위치들은 서로에 대하여 고정된다. 캘리브레이션은 디바이스의 메모리 내에 저장될 수도 있다. 제 1 이미지 센서, 제 2 이미지 센서, 또는 이들 양자의 위치들은 조정가능한, 3D 이미지를 취득하는 디바이스에 대하여, 디바이스의 프로세서는 캘리브레이션 행렬을 결정하기 위해 캘리브레이션 루틴을 실행하고 캘리브레이션 행렬을 메모리에 저장하는데 이용될 수도 있다. 캘리브레이션 루틴은 제 1 이미지 센서와 제 2 이미지 센서가 이미지 센서들로부터 설정된 거리에 위치된 특정 캘리브레이션 장면에서 포커싱될 것을 요구할 수도 있다. 캘리브레이션 루틴은 이미지 센서들의 서로에 대한 위치 조정 이후에 수행될 수도 있다.

이미지 프로세서는 제 1 이미지에서 키포인트들을 검출한다 (3204). 이미지 프로세서는 제 1 이미지에서 독특한 (고주파수) 포인트들을 검출할 수도 있다. 이미지 프로세서 블록은 제 1 이미지에서 각각의 검출된 키포인트에 대한 디스패리티들을 계산하기 위해 제 1 이미지와 제 2 이미지의 로컬 이미지 패치들 간에 매칭된다 (3206). 신뢰도 추정기는 모든 키포인트들이 에러 있는 매칭들이 제거되는 것을 보장하도록 생성될 수도 있다. 이미지 프로세서는 계산된 디스패리티들로부터 결정된 디스패리티 범위에 기초하여 컨버전스 조정을 결정한다 (3208). 컨버전스 조정은 장면 깊이 및 디스플레이 지오메트리를 고려한다.

이미지 프로세서는 컨버전스 조정이 출력을 생성하기 위해 3D 이미지를 디스플레이하는 디스플레이 디바이스의 능력 내에 있을 경우 컨버전스 조정에 기초하여 제 1 이미지와 제 2 이미지 중 적어도 하나를 선택적으로 쉬프트한다 (3210). 이미지 프로세서는 컨버전스 조정이 출력을 생성하기 위한 디스플레이 디바이스의 능력 밖일 경우에 대부분의 장면에 매칭하도록 조정된 디스패리티를 갖는 제 1 이미지를 이용한다 (3212). 이미지 프로세서는 디바이스 디바이스의 하나 이상의 디바이스 특징들에 기초하여 출력을 크롭한다 (3214).

도 33 은 다중 이미지 센서들로부터의 데이터를 결합하는 이미지 프로세싱 시스템 (3300) 의 특정 실시형태의 블록도이다. 이미지 프로세싱 시스템 (3300) 은 제 1 렌즈 (3304) 에 커플링되고, 제 2 렌즈 (3306) 에 커플링되고, 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 에 커플링된 이미지 센서 디바이스 (3302) 를 포함할 수도 있다. 이미지 센서 디바이스 (3302) 는 결합기 (3310) 및 단일 카메라에 대한 입력을 수신하는 이미지 프로세서 (3312) 를 포함할 수도 있다. 이미지 프로세서 (3312) 는 결합기 (3310) 로부터, 또는 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 의 메모리 디바이스 (3314) 로부터 단일 카메라 입력을 수신할 수도 있다. 결합기 (3310) 는, 예컨대 도 13 의 시스템 (1300) 을 구현함으로써, 도 29 내지 도 31 의 임의의 실시형태들에 따라 동작함으로써, 또는 이들의 임의의 조합에 의해 프레임을 생성하기 위해 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터를 결합할 수도 있다.

결합기 (3310) 는 제 1 아날로그-디지털 컨버터 (3318) 를 통해 제 1 센서 (3316) 로부터 이미지 데이터를 수신하도록 커플링된다. 결합기 (3310) 는 제 2 아날로그-디지털 컨버터 (3322) 를 통해 제 2 센서 (3320) 로부터 이미지 데이터를 수신하도록 커플링된다. 결합기 (3310) 또는 이미지 프로세서 (3312) 는 서로 독립적일 수도 있는 제 1 센서 (3316) 와 제 2 센서 (3320) 를 제어할 수도 있다. 특정 실시형태에서, 이미지 프로세서 (3312) 는 (쉐도우로 도시된) 센서 동기화기 (3330) 를 통해 제 1 센서 (3316) 와 제 2 센서 (3320) 를 제어할 수도 있다.

특정 실시형태에서, 결합기 (3310) 와 같은 이미지 프로세싱 회로를 포함하는 집적 회로는 프레임을 생성하도록 구성된다. 이미지 프로세싱 회로는 제 1 센서 (3316) 와 같은 제 1 이미지 센서로부터 제 1 데이터 스트림을 수신하고, 제 2 세서 (3320) 와 같은 제 2 이미지 센서로부터 제 2 데이터 스트림을 수신하고, 제 1 데이터 스트림으로부터의 데이터와 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 구성된다. 예를 들면, 도 7 의 제 1 데이터 스트림 (702) 과 제 2 데이터 스트림 (704) 은 도 7 의 프레임 (740) 을 형성하기 위해 결합기 (3310) 에 의해 결합될 수도 있다.

결합기 (3310) 로부터의 출력은 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 의 메모리 디바이스 (3314) 로, 이미지 프로세서 (3312) 로, 또는 이들 양자로 송신될 수도 있다. 이미지 프로세서 (3312) 는 이미지 프로세싱 시스템에 의해 수행된 하나 이상의 동작들과 같은 추가의 이미지 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (3312) 는 결합기 (3310) 로부터 또는 메모리 디바이스 (3314) 로부터 프레임을 수신할 수도 있다. 이미지 프로세서 (3312) 는 3D 이미지 포맷 또는 3D 비디오 포맷을 갖는 처리된 프레임과 같은 처리된 이미지 데이터를 생성할 수도 있다. 일 실시형태에서, 처리도니 이미지 데이터를 생성하기 위한 평균 시간은 약 20 밀리초이다. 이미지 프로세서 (3312) 는 추가의 처리, 송신, 저장, 디스플레이 디바이스 (3324) 로의 디스플레이 또는 이들의 임의의 조합을 위해 처리된 이미지 데이터를 퓨대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (3308) 에 제공할 수도 있다.

도 34 를 참조하면, 본 명세서에서 설명된 것과 같은 프레임 생성기 모듈을 포함하여 무선 전화기와 같은 전자 디바이스의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 3400 로 지정된다. 디바이스 (3400) 는 메모리 (3432) 에 커플링된 프로세서 (3410) 를 포함한다. 프로세서는 제어기 (3464) 를 포함하거나 커플링된다. 대안적으로, 전자 디바이스는 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 카메라, 고정 위치 데이터 유닛, 또는 컴퓨터일 수도 있다.

도 34 는 또한 프로세서 (3410) 및 디스플레이 (3428) 에 커플링된 디스플레이 제어기 (3426) 를 도시한다. 코더/디코더 (코덱; 3434) 는 또한 프로세서 (3410) 에 커플링될 수 있다. 스피커 (3439) 및 마이크로폰 (3438) 은 코덱 (3434) 에 커플링될 수 있다. 카메라 제어기 (3470) 는 또한 프로세서 (3410) 에 커플링될 수 있다. 제 1 카메라 (3472) 및 제 2 카메라 (3473) 은 카메라 제어기 (3470) 에 커플링될 수 있다.

도 34 는 또한 무선 인터페이스 (3440) 가 프로세서 (3410) 및 무선 안테나 (3442) 에 커플링될 수 있는 것을 나타낸다. 특정 실시형태에서, 프로세서 (3410), 디스플레이 제어기 (3426), 메모리 (3432), 코덱 (3434), 무선 인터페이스 (3440) 및 제어기 (3464) 는 시스템-인-패키지 또는 시스템-온-칩 (3422) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (3430) 및 전원 (3444) 은 온-칩 시스템 (3422) 에 커플링된다. 추가로, 특정 실시형태에서, 도 34 에 도시된 것과 같이, 디스플레이 (3428), 입력 디바이스 (3430), 스피커 (3439), 마이크로폰 (3438), 무선 안테나 (3442), 및 전원 (3444) 이 온-칩 시스템 (3422) 외부에 있다. 그러나, 그 각각이 인터페이스 또는 제어기와 같은 온-칩 시스템 (3422) 의 컴포넌트에 커플링될 수 있다.

특정 실시형태에서, 프로세서 (3410) 는 메모리 (3432) 에 저장된 프로그램 명령들 (3482) 과 같은, 프로세서 판독가능 매체로부터의 프로세서 실행가능 프로그램 명령들을 실행한다. 예를 들면, 메모리 (3432) 는 프로세서 (3410) 에 의해 판독될 수도 있고, 명령들 (3482) 은 프로세서 (3410) 에 의해 도 22 의 방법 (2200) 을 수행하도록 실행가능한 동작 명령들일 수도 있다. 예를 들면, 명령들 (3482) 은 프로세서 (3410) 에 의해 카메라 (3473) 와 같은 제 1 이미지 센서로부터의 제 1 데이터 스트림을 수신하고, 카메라 (3472) 와 같은 제 2 이미지 센서로부터의 제 2 데이터 스트림을 수신하고, 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 실행가능한 명령들을 포함할 수도 있다. 예를 들면, 제 1 이미지 센서는 도 2 의 제 1 센서 (202) 일 수도 있고, 제 2 이미지 센서는 도 2 의 제 2 센서 (204) 일 수도 있다. 명령들 (3482) 은 프로세서 (3410) 에 의해 프로세서 (3410) 또는 이미지 신호 프로세서 (미도시) 에서 프레임을 처리하여 처리된 프레임을 생성하도록 실행가능한 명령들을 추가로 포함할 수도 있다. 명령들 (3482) 은 프로세서 (3410) 에 의해 처리된 프레임을 출력하여 디스플레이 디바이스 (3428) 에 디스플레이 되거나 메모리 (3432) 에 이미지 데이터 (3480) 로서 저장되도록 실행가능한 명령들을 추가로 포함할 수도 있다.

도 35 를 참조하면, 모바일 전화기와 같은 전자 디바이스의 특정 예시적 실시형태의 블록도가 도시되고, 일반적으로 3500 로 지정된다. 디바이스 (3500) 는 메모리 (3504) 에 커플링된 프로세서 (3502) 를 포함한다. 프로세서 (3502) 는 이미지 프로세서 (3506) 를 포함하거나 커플링된다. 이미지 프로세서 (3506) 는 단일 카메라 입력을 수신할 수도 있고, 3D 데이터 (3590) 를 출력할 수도 있다. 3D 데이터 (3590) 는 3D 이미지 포맷 또는 3D 비디오 포맷일 수도 있다. 대안적으로, 전자 디바이스 (3500) 는 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, 개인 휴대 정보 단말기 (PDA), 카메라, 고정 위치 데이터 유닛, 컴퓨터, 또는 이들의 임의이 조합일 수도 있다.

도 35 는 또한 프로세서 (3502) 및 디스플레이 (3510) 에 커플링된 디스플레이 제어기 (3508) 를 도시한다. 코더/디코더 (코덱; 3512) 는 또한 프로세서 (3502) 에 커플링될 수 있다. 스피커 (3514) 및 마이크로폰 (3516) 은 코덱 (3512) 에 커플링될 수 있다. 카메라 제어기 (3518) 는 또한 프로세서 (3502) 에 커플링될 수 있다. 카메라 제어기 (3518) 는 결합기 (3520) 를 포함할 수도 있다. 결합기 (3520) 는 이미지 데이터를 이미지 프로세서 (3506) 에 제공할 수도 있다. 예들로서, 결합기 (3520) 는 도 13 의 결합기 (1306), 또는 도 7 과 관련하여 도시된 것과 같은 다중 카메라들로부터의 데이터를 결합하도록 구성된 다른 하드웨어 회로 또는 프로세서일 수도 있다. 제 1 카메라 (3522) 및 제 2 카메라 (3524) 는 카메라 제어기 (3518) 에 커플링될 수 있다.

도 35 는 또한 무선 인터페이스 (3526) 가 프로세서 (3502) 및 무선 안테나 (3528) 에 커플링될 수 있는 것을 나타낸다. 특정 실시형태에서, 프로세서 (3502), 디스플레이 제어기 (3508), 메모리 (3504), 코덱 (3512), 카메라 제어기 (3518) 및 무선 인터페이스 (3526) 는 시스템-인-패키지 또는 시스템-온-칩 (3530) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (3532) 및 전원 (3534) 은 온-칩 시스템 (3530) 에 커플링된다. 추가로, 특정 실시형태에서, 도 35 에 도시된 것과 같이, 디스플레이 (3510), 입력 디바이스 (3532), 스피커 (3514), 마이크로폰 (3516), 무선 안테나 (3528), 및 전원 (3534) 이 온-칩 시스템 (3530) 외부에 있다. 그러나, 그 각각이 인터페이스 또는 제어기와 같은 온-칩 시스템 (3530) 의 컴포넌트에 커플링될 수 있다.

특정 실시형태에서, 프로세서 (3502) 는 메모리 (3504) 에 저장된 프로그램 명령들 (3536) 과 같은, 프로세서 판독가능 매체로부터의 프로세서 실행가능 프로그램 명령들을 실행한다. 예를 들면, 메모리 (3504) 는 프로세서 (3502) 에 의해 판독될 수도 있고, 명령들 (3536) 은 프로세서 (3502) 에 의해 도 25 의 방법 (2500) 을 수행하도록 실행가능한 동작 명령들일 수도 있다. 예를 들면, 명령들 (3536) 은 프로세서 (3502) 에 의해 카메라 (3524) 와 같은 제 1 이미지 센서로부터의 제 1 데이터 스트림을 수신하고, 카메라 (3524) 와 같은 제 2 이미지 센서로부터의 제 2 데이터 스트림을 수신하고, 카메라 제어기 (3518) 의 제어기 (3520) 를 이용하여 제 1 데이터 스트림과 제 2 데이터 스트림으로부터의 데이터를 결합하여 프레임을 생성하도록 실행가능한 명령들을 포함할 수도 있다. 예를 들면, 제 1 이미지 센서는 도 13 의 제 1 이미지 센서 (1302) 일 수도 있고, 제 2 이미지 센서는 도 13 의 제 2 이미지 센서 (1304) 일 수도 있다. 명령들 (3536) 은 프로세서 (3502) 에 의해 이미지 프로세서 (3506) 에서 프레임을 처리하여 처리된 프레임을 생성하도록 실행가능한 명령들을 추가로 포함할 수도 있다. 명령들 (3536) 은 프로세서 (3502) 에 의해 디스플레이 디바이스 (3510) 에서 디스플레이를 위해 처리된 프레임을 3D 데이터로서 출력하거나 처리된 프레임을 메모리 (3504) 에 이미지 데이터 (3538) 로서 저장되도록 실행가능한 명령들을 추가로 포함할 수도 있다.

당업자는 또한 본 명세서에 개시된 실시형태들과 관련하여 설명되는 다양한 설명의 논리적인 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 프로세서에 의해 실행되는 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있음을 인식할 것이다. 다양하게 설명되는 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성에 관련하여 전술되었다. 그러한 기능성이 프로세서에 의해 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 각각의 특정 애플리케이션을 위해 다양한 방식들로 기술된 기능성을 구현할 수도 있지만, 그러한 구현 결정들은 본 발명의 예시적인 실시예들의 범위로부터 벗어나는 것으로 해석되지 않아야 한다.

도 22 내지 도 32 의 방법들은 컴퓨터 판독가능 명령들의 형태로 메모리에 저장될 수 있는 프로그램 코드를 실행함으로써 수행될 수도 있다. 그 경우, 디지털 신호 프로세서 (DSP), 이미지 신호 프로세서 (ISP) 또는 다른 프로세서와 같은 프로세서는 이미지 프로세싱 방법들 중 하나 이상을 실행하기 위해 메모리에 저장된 명령들을 실행할 수도 있다. 일부 경우에, 방법들은 이미지 프로세싱을 가속화하기 위해 다양한 하드웨어 컴포넌트들을 적용하는 DSP 또는 ISP 에 의해 실행될 수도 있다. 다른 경우에, 본 명세서에서 설명된 유닛들은 마이크로프로세서, 하나 이상의 애플리케이션용 집적 회로들 (ASICs), 하나 이상의 현장 프로그래머블 게이트 어레이들 (FPGAs), 또는 이들의 임의의 조합에 의해 수행될 수도 있다.

본 명세서에 개시된 실시형태들와 관련하여 설명되는 방법 또는 알고리즘의 단계들은 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들의 조합에서 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거가능한 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터들, 하드디스크, 소거가능한 디스크, CD-ROM 또는 당업계에 공지된 임의의 다른 형태의 비-일시적인 컴퓨터 판독가능한 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 따라서 프로세서는 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 필수일 수도 있다. 프로세서 및 저장 매체는 애플리케이션용 집적 회로 (ASIC) 내에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기 내에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내에 별개의 컴포넌트들로서 상주할 수도 있다.

개시된 실시예들의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당업자에게 자명하며, 여기서 정의된 원칙들은 본 개시물의 범위를 벗어나지 않고 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 도시된 실시형태들에 한정되는 것이 아니며, 다음 청구범위들에 의해 정의된 것과 같은 원칙들 및 신규한 특징들과 일치하는 가장 넓은 범위에 따른다.

Claims (22)

1. 이미지 데이터를 생성하는 방법으로서,
   단일 카메라에 대한 입력을 갖는 이미지 프로세서에서, 이미지 데이터의 순차적인 라인들 및 상기 이미지 데이터의 순차적인 라인들의 각 라인을 상기 이미지 데이터의 순차적인 라인들 중 다른 라인들로부터 구분하는 결합된 라인 신호를 수신하는 단계로서, 상기 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함하는, 상기 이미지 데이터의 순차적인 라인들 및 결합된 라인 신호를 수신하는 단계; 및
   상기 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 상기 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하는 단계를 포함하며,
   상기 제 1 섹션과 상기 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성되는, 이미지 데이터를 생성하는 방법.
2. 제 1 항에 있어서,
   상기 결합된 라인 신호는 라인 유효 신호에 대응하고, 상기 라인 유효 신호는 상기 제 2 라인 데이터에 부가된 상기 제 1 라인 데이터가 상기 이미지 프로세서에서 수신된 이미지 데이터의 단일 라인에 대응하는 것을 나타내는, 이미지 데이터를 생성하는 방법.
3. 제 2 항에 있어서,
   프레임 유효 신호를 수신하는 단계를 더 포함하며,
   상기 프레임 유효 신호는 상기 이미지 데이터의 순차적인 라인들의 그룹들을, 상기 이미지 프로세서에서 다중 카메라들로부터 수신된 결합된 이미지 데이터의 프레임들에 대응하는 것으로서 구분하는, 이미지 데이터를 생성하는 방법.
4. 제 1 항에 있어서,
   3D 이미지 데이터를 생성하기 위해 상기 출력 프레임을 처리하는 단계; 및
   상기 3D 이미지 데이터를 디스플레이 디바이스에 송신하는 단계를 더 포함하는, 이미지 데이터를 생성하는 방법.
5. 제 1 항에 있어서,
   3D 비디오 데이터를 생성하기 위해 상기 출력 프레임을 처리하는 단계; 및
   상기 3D 비디오 데이터를 디스플레이 디바이스에 송신하는 단계를 더 포함하는, 이미지 데이터를 생성하는 방법.
6. 제 5 항에 있어서,
   상기 디스플레이 디바이스는 통신 디바이스, 카메라, 개인 휴대정보 단말기 및 컴퓨터 중 적어도 하나의 컴포넌트인, 이미지 데이터를 생성하는 방법.
7. 제 1 항에 있어서,
   상기 이미지 데이터의 각 라인은 상기 제 1 라인 데이터와 상기 제 2 라인 데이터 사이에 갭 섹션을 포함하며, 상기 갭 섹션은 비-이미지 데이터를 포함하는, 이미지 데이터를 생성하는 방법.
8. 제 1 항에 있어서,
   상기 이미지 데이터의 순차적인 라인들의 각 라인을 생성하기 위해, 상기 제 1 카메라와 상기 제 2 카메라에 커플링된 결합기를 이용하여, 상기 제 1 카메라로부터의 제 1 이미지 데이터와 상기 제 2 카메라로부터의 제 2 이미지 데이터의 라인별 판독을 동기화하는 단계를 더 포함하는, 이미지 데이터를 생성하는 방법.
9. 이미지 데이터를 생성하는 장치로서,
   단일 카메라에 대한 입력을 갖는 이미지 프로세서를 포함하며,
   상기 이미지 프로세서는, 상기 입력을 통해, 이미지 데이터의 순차적인 라인들 및 상기 이미지 데이터의 순차적인 라인들의 각 라인을 상기 이미지 데이터의 순차적인 라인들 중 다른 라인들로부터 구분하는 결합된 라인 신호를 수신하도록 구성되고, 상기 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함하며,
   상기 이미지 프로세서는 상기 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 상기 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하도록 구성되고, 상기 제 1 섹션과 상기 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성되는, 이미지 데이터를 생성하는 장치.
10. 제 9 항에 있어서,
    상기 결합된 라인 신호는 라인 유효 신호에 대응하고, 상기 라인 유효 신호는 상기 제 2 라인 데이터에 부가된 상기 제 1 라인 데이터가 상기 이미지 프로세서에서 수신된 이미지 데이터의 단일 라인에 대응하는 것을 나타내는, 이미지 데이터를 생성하는 장치.
11. 제 10 항에 있어서,
    상기 이미지 프로세서는 프레임 유효 신호를 수신하도록 구성되고, 상기 프레임 유효 신호는 상기 이미지 데이터의 순차적인 라인들의 그룹들을, 상기 이미지 프로세서에서 다중 카메라들로부터 수신된 결합된 이미지 데이터의 프레임들에 대응하는 것으로서 구분하는, 이미지 데이터를 생성하는 장치.
12. 제 9 항에 있어서,
    3D 이미지 데이터 또는 3D 비디오 데이터를 생성하기 위해 상기 출력 프레임을 처리하도록 구성된 그래픽 프로세싱 유닛을 더 포함하는, 이미지 데이터를 생성하는 장치.
13. 제 12 항에 있어서,
    상기 3D 이미지 데이터 또는 상기 3D 비디오 데이터를 디스플레이하도록 커플링된 디스플레이 디바이스를 더 포함하며,
    상기 디스플레이 디바이스는 통신 디바이스, 카메라, 개인 휴대정보 단말기 및 컴퓨터 중 적어도 하나의 컴포넌트인, 이미지 데이터를 생성하는 장치.
14. 제 9 항에 있어서,
    상기 제 1 카메라와 상기 제 2 카메라에 커플링된 결합기는, 상기 이미지 데이터의 순차적인 라인들의 각 라인을 생성하기 위해 상기 제 1 카메라로부터의 제 1 이미지 데이터와 상기 제 2 카메라로부터의 제 2 이미지 데이터의 라인별 판독을 동기화하도록 구성되고, 상기 이미지 데이터의 순차적인 라인들과 상기 결합된 라인 신호는 상기 이미지 프로세서에서 상기 결합기로부터 수신되는, 이미지 데이터를 생성하는 장치.
15. 명령들을 포함하는 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금,
    단일 카메라에 대한 입력을 통해, 이미지 데이터의 순차적인 라인들 및 상기 이미지 데이터의 순차적인 라인들의 각 라인을 상기 이미지 데이터의 순차적인 라인들 중 다른 라인들로부터 구분하는 결합된 라인 신호를 수신하게 하는 것으로서, 상기 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함하는, 상기 이미지 데이터의 순차적인 라인들 및 결합된 라인 신호를 수신하게 하고; 그리고
    상기 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 상기 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하게 하며,
    상기 제 1 섹션과 상기 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성되는, 비-일시적인 컴퓨터 판독가능 매체.
16. 제 15 항에 있어서,
    상기 결합된 라인 신호는 라인 유효 신호에 대응하고, 상기 라인 유효 신호는 상기 제 2 라인 데이터에 부가된 상기 제 1 라인 데이터가 상기 프로세서에 의해 수신된 이미지 데이터의 단일 라인에 대응하는 것을 나타내는, 비-일시적인 컴퓨터 판독가능 매체.
17. 제 15 항에 있어서,
    그래픽 프로세서로 하여금,
    3D 이미지 데이터를 생성하기 위해 상기 출력 프레임을 처리하게 하고; 그리고
    상기 3D 이미지 데이터를 디스플레이 디바이스에 송신하게 하는 명령들을 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
18. 제 15 항에 있어서,
    그래픽 프로세서로 하여금,
    3D 비디오 데이터를 생성하기 위해 상기 출력 프레임을 처리하게 하고; 그리고
    상기 3D 비디오 데이터를 디스플레이 디바이스에 송신하게 하는 명령들을 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
19. 단일 카메라에 대한 입력에서, 이미지 데이터의 순차적인 라인들 및 상기 이미지 데이터의 순차적인 라인들의 각 라인을 상기 이미지 데이터의 순차적인 라인들 중 다른 라인들로부터 구분하는 결합된 라인 신호를 수신하는 수단으로서, 상기 이미지 데이터의 각 라인은 제 1 카메라에 의해 캡처된 제 1 이미지로부터의 제 1 라인 데이터 및 제 2 카메라에 의해 캡처된 제 2 이미지로부터의 제 2 라인 데이터를 포함하는, 상기 이미지 데이터의 순차적인 라인들 및 결합된 라인 신호를 수신하는 수단; 및
    상기 제 1 이미지의 라인 데이터에 대응하는 제 1 섹션과 상기 제 2 이미지의 라인 데이터에 대응하는 제 2 섹션을 갖는 출력 프레임을 생성하는 수단을 포함하며, 상기 제 1 섹션과 상기 제 2 섹션은 3 차원 (3D) 이미지 포맷 또는 3D 비디오 포맷을 생성하는데 이용되도록 구성되는, 장치.
20. 제 19 항에 있어서,
    상기 결합된 라인 신호는 라인 유효 신호에 대응하고, 상기 라인 유효 신호는 상기 제 2 라인 데이터에 부가된 상기 제 1 라인 데이터가 상기 수신하는 수단에 의해 수신된 이미지 데이터의 단일 라인에 대응하는 것을 나타내는, 장치.
21. 제 19 항에 있어서,
    3D 이미지 데이터를 생성하기 위해 상기 출력 프레임을 처리하는 수단; 및
    상기 3D 이미지 데이터를 디스플레이 디바이스에 송신하는 수단을 더 포함하는, 장치.
22. 제 19 항에 있어서,
    3D 비디오 데이터를 생성하기 위해 상기 출력 프레임을 처리하는 수단; 및
    상기 3D 비디오 데이터를 디스플레이 디바이스에 송신하는 수단을 더 포함하는, 장치.
    

Images