JP5559416B2 - 複数の画像センサからのデータの合成 - Google Patents

Description

優先権の主張

本出願は、２０１０年４月５日に出願された米国仮出願第６１／３２０，９４０号、２０１０年４月１４日に出願された米国仮出願第６１／３２４，２５９号、２０１０年６月２８日に出願された米国仮出願第６１／３５９，３１２号、および２０１０年１１月１１日に出願された米国仮出願第６１／４１２，７５５号の各々の利益を主張し、その各々を参照により組み込む。

本開示は、一般に、複数の画像センサからのデータを合成することに関する。

技術の進歩により、コンピューティングデバイスは、より小型でより強力になった。たとえば、現在、小型で軽量な、ユーザが容易に持ち運べるポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話やインターネットプロトコル（ＩＰ）電話などのポータブルワイヤレス電話は、ボイスおよびデータパケットを、ワイヤレスネットワークを介して伝達することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話は、デジタルスチルカメラおよびデジタルビデオカメラをも含むことができる。また、そのようなワイヤレス電話は、ウェブブラウザアプリケーションなど、インターネットにアクセスするために使用できるソフトウェアアプリケーションを含む実行可能命令を処理することができる。

さらに、ワイヤレスデバイスは、３次元（３Ｄ）アプリケーションを実行し得る。３Ｄアプリケーションでは、一般に、シーンから深さ情報をキャプチャするために少なくとも２つの画像センサが使用される。２つの画像センサからのフレームデータは、距離情報を推論するために合成および処理され、３Ｄ表現を構築するために使用される。センサの各々からの画像データを合成することは、一般に、フレーム同期およびライン同期を実行することを伴い、それにより、同期および整合の課題を生じ得る。さらに、複数のセンサからの画像データのフィルタリング、およびそのような画像データをインターリーブすることは、ソースセンサが異なる周波数または位相でデータを与えるときにさらに複雑になり得る。複数のセンサからのデータを効果的に同期させ、全体的な画像処理システムコストおよび複雑さを低減するようにデータを効率的に処理することが有利であろう。

複数カメラアレイアプリケーションでは、複数のセンサの各々からの画像データは、ラインレベルにおいて同期され、処理されるべきである。第１の画像センサからの画像データと第２の画像センサからの画像データとが同期され、処理される、複数のセンサからのデータを合成する画像処理システムを開示する。同期データラインは、第１の画像センサによって生成された第１のデータストリームからの第１のデータを第２の画像センサによって生成された第２のデータストリームからの第２のデータと同期させ、合成することによって生成される。画像信号プロセッサは、コンバイナから受信した同期データラインを処理し、処理済みフレームをディスプレイに出力するように構成される。

特定の実施形態では、方法を開示する。本方法は、同期すべき複数の画像センサに共通制御信号を与えることを含む。本方法は、複数の画像センサのうちの第１の画像センサから第１のデータラインを受信することと、複数の画像センサのうちの第２の画像センサから第２のデータラインを受信することと、同期データラインを生成するために第１のデータラインと第２のデータラインとを合成することとをさらに含む。

別の特定の実施形態では、装置を開示する。本装置は、共通制御信号を介して同期すべき複数の画像センサの第１の画像センサからの第１のデータラインを受信するように構成された第１の入力を含む。本装置は、複数の画像センサのうちの第２の画像センサからの第２のデータラインを受信するように構成された第２の入力と、第１の入力と第２の入力とに結合されたコンバイナとをさらに含み、コンバイナは、同期データラインを生成するために第１のデータラインと第２のデータラインとを合成するように構成される。

別の特定の実施形態では、方法を開示する。本方法は、複数の画像センサに共通制御信号を与えることを含む。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。本方法は、複数の画像センサの各々から同期データ出力を受信することと、同期データラインを生成するために複数の画像センサの各々からの同期データ出力を合成することと、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期データラインを与えることとをさらに含む。

別の特定の実施形態では、装置を開示する。本装置は、複数の画像センサに共通制御信号を与えるように構成されたセンサシンクロナイザを含む。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。本装置は、画像プロセッサの単一カメラ入力を介して画像プロセッサに与えられるべき同期データラインを生成するために複数の画像センサの各々から受信した同期データ出力を合成するように構成されたコンバイナをさらに含む。

別の特定の実施形態では、方法を開示する。本方法は、複数の画像センサに共通制御信号を与えることを含む。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。本方法は、複数の画像センサの各々から同期データ出力を受信することをさらに含む。

別の特定の実施形態では、方法を開示する。本方法は、複数の画像センサにおいて共通制御信号を受信することを含む。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。本方法は、複数の画像センサの各々から同期データ出力を生成することをさらに含む。

別の特定の実施形態では、装置を開示する。本装置は、複数の画像センサに画像データを生成させるために複数の画像センサに共通制御信号を与えるように構成されたセンサシンクロナイザを含む。本装置は、複数の画像センサの各々から同期データ出力を受信するように構成されたセンサデータインターフェースをさらに含む。

別の特定の実施形態では、方法を開示する。本方法は、単一カメラのための入力を有する画像プロセッサにおいて画像データのラインを受信することを含む。画像データの各ラインは、第１のカメラによってキャプチャされた第１の画像からの第１のラインデータと、第２のカメラによってキャプチャされた第２の画像からの第２のラインデータとを含む。本方法は、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成することをさらに含む。第１のセクションと第２のセクションとは、３次元（３Ｄ）画像フォーマットまたは３Ｄビデオフォーマットを生成するために使用されるように構成される。

別の特定の実施形態では、装置を開示する。本装置は、単一カメラのための入力を有する画像プロセッサを含む。画像プロセッサは、入力を介して画像データのラインを受信するように構成される。画像データの各ラインは、第１のカメラによってキャプチャされた第１の画像からの第１のラインデータと、第２のカメラによってキャプチャされた第２の画像からの第２のラインデータとを含む。画像プロセッサは、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成するように構成される。第１のセクションと第２のセクションとは、３次元（３Ｄ）画像フォーマットまたは３Ｄビデオフォーマットを生成するために使用されるように構成される。

特定の実施形態では、複数のセンサからのデータをフレームに合成する方法を開示する。本方法は、第１の画像センサから第１のデータストリームを受信することと、第２の画像センサから第２のデータストリームを受信することと、フレームを生成するために第１のデータストリームからのデータと第２のデータストリームからのデータとを合成することとを含む。本方法は、画像信号プロセッサにおいてフレームを処理して処理済みフレームを生成することと、表示のために処理済みフレームを出力することとをさらに含む。第１の画像センサと第２の画像センサの各々は、画像信号プロセッサに直接応答する。

別の特定の実施形態では、装置を開示する。本装置は、第１のデータストリームを生成するように構成された第１の画像センサと、第２のデータストリームを生成するように構成された第２の画像センサと、フレームを生成するために第１のデータストリームからの第１のデータと第２のデータストリームからの第２データとを合成するように構成されたコンバイナとを含む。本装置は、フレームを処理し、処理済みフレームをディスプレイに出力するように構成された画像信号プロセッサをさらに含む。第１の画像センサと第２の画像センサの各々は、画像信号プロセッサに直接応答する。

別の特定の実施形態では、方法を開示する。本方法は、第１の画像センサから画像の第１の画像データを受信することと、第２の画像センサから画像の第２の画像データを受信することと、画像データの収集中に第１の画像センサと第２の画像センサとのラインごとの露光を同期させることを含む。第１の画像センサと第２の画像センサとは、互いに独立している。同期は、ラインごとに行われ得、フレームごとに行われ得る。

別の特定の実施形態では、装置を開示する。本装置は、メモリバッファを含む。メモリバッファは、各フレームのストリーミングを通して決定論的順序（deterministic order）で着信ストリームを整合させるセクションと、ストリーム間のプログラマブルギャップセクションとを含む。

別の特定の実施形態では、方法を開示する。本方法は、単一カメラのための入力を有する画像プロセッサにおいて画像データの行を受信することを含む。画像データの各行は、第１のカメラによってキャプチャされた第１の画像の行からのデータと、第２のカメラによってキャプチャされた第２の画像の行からのデータとを含む。本方法はまた、３次元（３Ｄ）画像フォーマットまたは３Ｄビデオフォーマットを有する出力を生成することを含む。出力は、第１の画像と第２の画像とに対応する。

別の特定の実施形態では、装置を開示する。本装置は、単一カメラのための入力を有する画像プロセッサを含む。本装置はまた、画像データの行を画像プロセッサに送るように構成されたコンバイナを含む。画像データの各行は、第１のカメラによってキャプチャされた第１の画像の行からの第１のデータと、第２のカメラによってキャプチャされた第２の画像の行からの第２のデータとを含む。画像プロセッサは、３次元（３Ｄ）画像フォーマットまたは３Ｄビデオフォーマットのいずれかを有する出力を生成するように構成される。出力は、第１の画像と第２の画像とに対応する。

開示する実施形態のうちの少なくとも１つによって与えられる１つの特定の利点は、複数の画像センサからの画像データを同期させ、制御するために単一の画像信号プロセッサが使用され得るということである。別の特定の利点は、ストリーム間にギャップがあるので画像信号プロセッサ中で合成されたストリームを単一フレームとして処理するフレキシビリティがもたらされることであり、後続のブロックベースの処理によるストリームのコンタミネーションを回避する（すなわち、ギャップが最大のブロックベース処理に等しい場合、ストリームのコンタミネーションが回避される）。

本開示の他の態様、利点、および特徴は、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本出願全体の検討の後に明らかになろう。

複数の画像センサからのデータを合成する画像処理システムの特定の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムの第２の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムの第３の例示的な実施形態のブロック図。 第１の画像センサと第２の画像センサとが共通制御データを受信する、図２の画像処理システムの選択された部分の特定の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムの第４の例示的な実施形態のブロック図。 第１の画像センサの出力における第１のデータストリームと第２の画像センサの出力における第２のデータストリームとが合成されて同期データラインを形成する第１の実施形態の図表示。 第１の画像センサの出力における第１のデータストリームと第２の画像センサの出力における第２のデータストリームとが合成されて同期データラインを形成する第２の実施形態の図表示。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の２ライン位相差を示す位相図の第１の実施形態の図表示。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の１ライン位相差を示す位相図の第２の実施形態の図表示。 複数のセンサの各々のピクセルデータと同期データラインとを示す図表示。 複数のセンサのためのフレーム有効信号タイミングとライン有効信号タイミングとを示すタイミング図。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の３ライン位相差を示す位相図の第３の実施形態の図表示。 ３次元画像フォーマットを生成するために複数の画像センサからのデータを合成する画像処理システムの特定の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムを有するモバイルデバイスの様々な実施形態を示す図表示。 画像間の重複を含む、カメラのアレイによってキャプチャされる画像の一例を示す図表示。 各画像がそれ自体のシフト成分と回転成分とを有し得る、画像間の重複を含む、カメラのアレイによってキャプチャされる画像の一例を示す図表示。 カメラのアレイとカメラのアレイに関連する電気接続との特定の一実施形態を示すブロック図。 カメラアレイ処理システムの第１の特定の例示的な実施形態のブロック図。 カメラアレイ処理システムの第１の特定の例示的な実施形態のブロック図。 メインレンズとアレイに配列された複数のカメラとを含むカメラシステムを示す図表示。 自動車における複数カメラモジュールを示す図表示。 複数のセンサからのデータを同期データラインに合成する方法の特定の例示的な実施形態の流れ図。 複数の画像センサに共通制御信号を与え、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期データラインを与える方法の特定の例示的な実施形態の流れ図。 複数の画像センサに共通制御信号を与え、複数の画像センサの各々から同期データ出力を受信する方法の特定の例示的な実施形態の流れ図。 複数の画像センサにおいて共通制御信号を受信し、複数の画像センサの各々から同期データ出力を生成する方法の特定の例示的な実施形態の流れ図。 単一カメラのための入力を有する画像信号プロセッサにおいて複数のセンサからのデータを合成する方法の特定の例示的な実施形態の流れ図。 複数のセンサからのデータをフレームに合成する方法の特定の例示的な実施形態の流れ図。 第１の画像センサと第２の画像センサとのラインごとの露光を同期させる方法の特定の例示的な実施形態の流れ図。 複数のセンサからのデータを合成して３次元画像データを生成する方法の第１の例示的な実施形態の流れ図。 複数のセンサからのデータを合成して３次元画像データを生成する方法の第２の例示的な実施形態の流れ図。 第１の画像センサと第２の画像センサとのラインごとの露光を同期させる方法の特定の例示的な実施形態の流れ図。 複数のセンサからのデータを合成して同期データラインから３次元画像データを生成する方法の特定の例示的な実施形態の流れ図。 複数の画像センサからのデータを合成する画像処理システムの特定の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムを含むワイヤレスデバイスの第１の例示的な実施形態のブロック図。 複数の画像センサからのデータを合成する画像処理システムを含むワイヤレスデバイスの第２の例示的な実施形態のブロック図。

図１を参照すると、複数のセンサからのデータを合成する画像処理システムの特定の例示的な実施形態が示され、全体的に１００と称される。画像処理システム１００は、複数カメラモジュール１０２と、センサモジュール１０４と、単一カメラチップモジュール１０６とを含む。特定の実施形態では、センサモジュール１０４は、図２および図３のセンサ２０２および２０４などの複数のセンサを含むことができ、複数のセンサの各々は、画像のデータラインを含むデータストリームを生成するように構成される。単一カメラモジュール１０６は、図２および図３の画像プロセッサ２０８など、単一カメラ入力を有する画像プロセッサを含むことができる。複数のセンサの画像データストリームのラインごとの画像データを同期データライン１０８に合成することによって、画像プロセッサが単一カメラ入力を有するとしても、画像プロセッサがマルチカメラ処理のためのフォーマッティングを実行することが可能になる。その結果、各カメラのために別個のプロセッサを使用するシステム、または複数カメラ入力を有するプロセッサを使用するシステムと比較して、システム１００は低コストで実装され得る。

図２を参照すると、複数のセンサからのデータを合成する画像処理システムの特定の例示的な実施形態が示され、全体的に２００と称される。画像処理システム２００は、第１のセンサ２０２と、第２のセンサ２０４とを含む。画像処理システム２００は、コンバイナ２０６と、画像信号プロセッサまたはビデオフロントエンド２０８と、センサシンクロナイザ２３０とをさらに含む。画像信号プロセッサ２０８は、ディスプレイデバイス（図示せず）に結合され得る。コンバイナ２０６は、１つまたは複数のラインバッファ２１６を含む。画像処理システム２００は、少なくとも１つの半導体ダイに統合され得る。

第１のセンサ２０２は、第１の画像データストリーム２１２として示される第１のデータストリームを生成するように構成される。第１の画像データストリーム２１２は、第１のデータライン２２２を含む。第２のセンサ２０４は、第２の画像データストリーム２１４として示される第２のデータストリームを生成するように構成される。第２の画像データストリーム２１４は、第２のデータライン２２４を含む。第１のセンサ２０２および第２のセンサ２０４は、互いに独立し、センサシンクロナイザ２３０から共通制御信号２３４を受信する実質的に同様の画像センサであり得る。センサシンクロナイザ２３０は、制御／データ信号２３２を受信し、第１のセンサ２０２および第２のセンサ２０４に共通制御信号２３４を出力するように構成され、第１のセンサ２０２および第２のセンサ２０４が近接して整合されるデータストリーム２１２、２１４を生成することが可能になる。たとえば、データストリーム２１２、２１４は、周波数および位相など、実質的に同じタイミング特性を有し得る。特定の実施形態では、制御／データ信号２３２は、画像信号プロセッサ２０８から受信され得る。

コンバイナ２０６は、第１の画像データストリーム２１２と第２の画像データストリーム２１４とに応答する。コンバイナ２０６は、ラインバッファ２１６内で第１の画像データストリーム２１２からのデータと第２の画像データストリーム２１４からのデータとを合成するように構成される。特定の実施形態では、ラインバッファ２１６は、第１のセンサ２０２からの第１のデータライン２２２などの第１のデータを整合させ、第２のセンサ２０４からの第２のデータライン２２４などの第２のデータを整合させるように構成される。特定の実施形態では、コンバイナ２０６は、ラインバッファ２１６内に記憶されたデータに応答し、画像信号プロセッサ２０８にラインデータ２１８を与える。特定の実施形態では、ラインデータ２１８は複数の行を含むことができ、各行は、図６に関して説明するような、各センサ２０２、２０４からの対応する行の合成である。

画像信号プロセッサ２０８は、ラインデータ２１８を処理し、処理済みラインデータ２４０を生成するように構成される。特定の実施形態では、処理済みラインデータ２４０は、処理済みフレームデータとして与えられ得る。２つのセンサを示したが、他の実施形態が３つ以上のセンサを含むことができることを理解されたい。たとえば、図３に、３つ以上のセンサを含む実施形態３００を示す。第Ｎのセンサ３０５は、第Ｎの画像データストリーム３１５として示される第Ｎのデータストリームを生成するように構成される。第Ｎの画像データストリーム３１５は、第Ｎのデータライン３２５を含む。第Ｎのセンサ３０５は、第１の画像センサ２０２および第２の画像センサ２０４と実質的に同様であり得、センサシンクロナイザ２３０から共通制御信号２３４を受信し得、第１のセンサ２０２、第２のセンサ２０４、および第Ｎのセンサ３０５が近接して整合されるデータストリーム２１２、２１４、３１５を生成することが可能になる。たとえば、データストリーム２１２、２１４、３１５は、周波数および位相など、実質的に同じタイミング特性を有し得る。コンバイナ２０６は、第１の画像データストリーム２１２と第２の画像データストリーム２１４と第Ｎの画像データストリーム３１５とに応答する。コンバイナ２０６は、ラインバッファ２１６内で第１の画像データストリーム２１２からのデータと第２の画像データストリーム２１４からのデータと第Ｎの画像データストリーム３１５からのデータとを合成するように構成される。

共通に制御される同様のセンサ（たとえば、図２の２０２、２０４、または図３の２０２、２０４、３０５）から受信されたデータは実質的に同じ周波数および位相を有するので、コンバイナ２０６において受信されるデータストリーム間の同期は画像データの単一画像ライン内で行われ得る。特定の実施形態では、ラインバッファ２１６は、最悪の場合のミスアラインメントのために寸法決定され得る（すなわち、同期ミスアラインメントが３本のラインであった場合、ラインバッファ２１２は、少なくとも６本のラインをバッファするようにサイズ決定される）。その結果、合成データは、単一の画像信号プロセッサを使用して効率的に処理され得る。したがって、複数プロセッサシステム（たとえば、各センサに割り当てられたプロセッサ）と比較して、全体的な画像システムのコストおよび複雑さが低減され得る。

図４を参照すると、図２の画像処理システム２００の選択された部分４００の特定の例示的な実施形態が示されている。画像処理システムの部分４００は、第１のセンサ２０２と、第２のセンサ２０４と、センサシンクロナイザ２３０とを含む。特定の実施形態では、第１のセンサ２０２と第２のセンサ２０４とは、センサシンクロナイザ２３０から同じ開始信号またはリセット信号と同じクロック入力とを受信する同じセンサまたはほとんど同じセンサである。たとえば、第１のセンサ２０２と第２のセンサ２０４とは各々、センサシンクロナイザ２３０から共通制御データ／信号を受信し得る。特定の実施形態では、制御データ／信号は、制御クロック信号４０４と、制御データ信号４０６と、カメラクロック信号４０８と、カメラリセット信号４１０とを含むことができる。制御データ／信号４０４〜４１０は、形成され、２ワイヤチップ間通信プロトコルに準拠する、集積回路間（Ｉ２Ｃ：Inter-Integrated Circuit）マルチマスタシリアルコンピュータバスなどのインターフェースを介して送信され得る。代替的に、制御データ／信号４０４〜４１０は、形成され、デジタルカメラモジュールとモバイルフォンエンジンとの間のシリアルインターフェースの仕様に準拠する、カメラシリアルインターフェース（ＣＳＩ：Camera Serial Interface）などのインターフェース、周辺デバイス（カメラ）とホストプロセッサ（ベースバンド、アプリケーションエンジン）との間の、カメラシリアルインターフェース２（ＣＳＩ−２：Camera Serial Interface 2）などのインターフェース、デジタルカメラモジュールとモバイルフォンエンジンとの間の、カメラパラレルインターフェース（ＣＰＩ：Camera Parallel Interface）などのパラレルインターフェース、または他の制御インターフェースに従って送信され得る。

第１のセンサ２０２は、図２または図５のシステムに示すように、コンバイナ２０６に第１のタイミングデータ４２０と第１のセンサ画像データ４２２とを送るように構成され得る。同様に、第２のセンサ２０４は、図２または図５のコンバイナ２０６に第２のタイミングデータ４３０と第２のセンサ画像データ４３２とを送るように構成され得る。

動作中、第１のセンサ２０２と第２のセンサ２０４とは各々、タイミングの見地から同じ条件またはほとんど同じ条件で動作する。たとえば、第１のセンサ２０２と第２のセンサ２０４は各々、同じ制御クロック信号４０４と、同じ制御データ信号４０６と、同じカメラクロック信号４０８と、同じカメラリセット信号４１０とを受信する。第１のセンサ２０２と第２のセンサ２０４とは同じであるか、ほとんど同じであるので、それらは、同じタイミング条件下で実質的に同様に動作する。たとえば、第１のセンサ２０２からのデータ出力は、第２のセンサ２０４からのデータ出力と実質的に同じ周波数および位相を有する。例示のために、第１のセンサ２０２と第２のセンサ２０４とからのデータ出力間の位相差は、位相差の単一水平線未満であり得、２つの画像センサ２０２、２０４からの画像データを同期させて、制御するために単一の画像信号プロセッサを使用することが可能になる。

図５を参照すると、複数のセンサからのデータを合成する画像処理システムの特定の例示的な実施形態のブロック図が示され、全体的に５００と称される。システム５００は、第１の画像センサ２０２と、第２の画像センサ２０４と、コンバイナ２０６と、センサシンクロナイザ２３０と、画像信号プロセッサ２０８とを含む。システム５００は、レジスタインターフェース５１０とクロック管理デバイス５１２とをさらに含む。特定の実施形態では、レジスタインターフェース５１０は、センサシンクロナイザ２３０内にあり得る。代替的に、レジスタインターフェース５１０はスタンドアロンモジュールであり得る。特定の実施形態では、システム５００は、（影で示された）薄型出力フォーマッタ（thin output formatter）５０６と（影で示された）トランスポートパッカーおよびフォーマッタ（transport packer and formatter）５０８とをさらに含むことができる。

特定の実施形態では、コンバイナ２０６は、第１のセンサ２０２から第１のタイミングデータ４２０と第１のセンサ画像データ４２２とを受信するように構成される。コンバイナ２０６はまた、第２のセンサ２０４から第２のタイミングデータ４３０と第２のセンサ画像データ４３２とを受信するように構成される。コンバイナ２０６は、クロック管理デバイス５１２からクロック信号５２６を受信するようにさらに構成される。コンバイナ２０６は、第１のタイミングデータ４２０と、第１のセンサ画像データ４２２と、第２のタイミングデータ４３０と、第２のセンサ画像データ４３２とを使用して同期データラインを生成し、この同期データラインは、画像信号プロセッサ２０８に与えられる。画像信号プロセッサ２０８は、同期データラインを処理して処理済みデータラインデータを作成する。処理済みデータラインデータは、ディスプレイデバイスなどの別の構成要素に与えられ得る。したがって、複数のセンサからの画像データは、ディスプレイデバイスにおける表示のために合成され、処理され、レンダリングされ得る。

特定の実施形態では、第１のタイミングデータ４２０は第１のピクセルクロックに関連し得、第１のセンサ画像データ４２２は第１のピクセルサイズに関連し得、第２のタイミングデータ４３０は第２のピクセルクロックに関連し得、第２のセンサ画像データ４３２は第２のピクセルサイズに関連し得る。コンバイナ４０６が、第１のタイミングデータ４２０と、第１のセンサ画像データ４２２と、第２のタイミングデータ４３０と、第２のセンサ画像データ４３２とを合成して同期データラインを生成するとき、第１の画像データの第１のラインと第２の画像データの対応するラインとが単一画像ラインに合成される。特定の実施形態では、単一画像ラインのサイズは、第１の画像データの第１のラインまたは第２の画像データの対応するラインのサイズの実質的に２倍（たとえば、第１のピクセルサイズまたは第２のピクセルサイズのサイズの２倍）であり得、合成された単一画像ラインのピクセルクロックのレートは、第１のピクセルクロックまたは第２のピクセルクロックのレートの実質的に２倍であり得る（たとえば、第１のピクセルクロック周波数または第２のピクセルクロック周波数の２倍であるクロック周波数を有し得る）。生成された同期データラインは、コンバイナタイミングデータ信号５２８とコンバイナ画像データ信号５３０とを介して画像信号プロセッサ２０８に送られる。

特定の実施形態では、コンバイナ２０６によって生成された同期データラインは、薄型出力フォーマッタ５０６に与えられてフォーマット済みデータを作成し、このフォーマット済みデータは、画像信号プロセッサ２０８に与えられるより前にトランスポートパッカーおよびフォーマッタ５０８に与えられる。

特定の実施形態では、薄型出力フォーマッタ５０６は、コンバイナタイミングデータ信号５２８とコンバイナ画像データ信号５３０とを受信してフォーマット済みデータを作成する。フォーマット済みデータは、出力フォーマッタタイミングデータ信号５３６と、出力フォーマッタ画像データ信号５３８と、出力フォーマッタ統計データ信号５４０と、出力フォーマッタ開始データ信号５４２と、出力フォーマッタ有効データ信号５４４とを含むことができる。特定の実施形態では、トランスポートパッカーおよびフォーマッタ５０８は、薄型出力フォーマッタ５０６からフォーマット済みデータ５３６〜５４４を受信し、トランスポートタイミングデータ信号５４６とトランスポート画像データ信号５４８とを含むトランスポートデータストリームを生成する。

特定の実施形態では、レジスタインターフェース５１０は、画像信号プロセッサ２０８に結合され、クロック管理デバイス５１２に結合され得る。特定の実施形態では、レジスタインターフェース５１０は、クロック管理デバイス５１２からクロック信号５２７を受信し得、レジスタバス５７２に結合され得る。クロック管理デバイス５１２は、第２のタイミングデータ信号４３０を受信し、クロック信号５２６を出力するように構成される。特定の実施形態では、コンバイナ２０６が複数のセンサからの同時データを合成しながらフレーム処理レートを維持すること可能にするために、クロック信号５２６は、第２のタイミングデータ信号４３０の周波数の実質的に２倍である。

共通に制御される同様のセンサからのデータ出力は実質的に同じ周波数および位相を有するので、データストリーム間の同期は画像データの単一画像ライン内で行われ得る。このようにして、合成データは、画像データの単一のラインへのアクセスを有する単一の画像信号プロセッサを使用して効率的に処理され得る。

図６を参照すると、第１の画像センサの出力における第１のデータストリームと第２の画像センサの出力における第２のデータストリームとが合成されて同期データラインを形成する特定の実施形態の図表示が示され、全体的に６００と称される。図２の第１のセンサ２０２などの第１のセンサは、画像の第１の画像データに対応する第１のデータストリーム６０２を生成する。図２の第２のセンサ２０４などの第２のセンサは、画像の第２の画像データに対応する第２のデータストリーム６０４を生成する。第１のデータストリーム６０２からのデータと第２のデータストリーム６０４からのデータとは合成されて、データ出力データストリーム６０６を形成する。

特定の実施形態では、第１のデータストリーム６０２は、画像の第１の画像データの第１のラインに関連するデータを含み、第２のデータストリーム６０４は、画像の第２の画像データの対応するラインに関連するデータを含む。第１のデータストリーム６０２は、第１のラインインデックス値を有するラインデータ６１０と、第２のラインインデックス値を有するラインデータ６１２と、第３のラインインデックス値を有するラインデータ６１４と、第４のラインインデックス値を有するラインデータ６１６とを含む。第２のデータストリーム６０４は、第１のラインインデックス値を有する対応するラインデータ６２０と、第２のラインインデックス値を有する対応するラインデータ６２２と、第３のラインインデックス値を有する対応するラインデータ６２４と、第４のラインインデックス値を有する対応するラインデータ６２６とを含む、第１のデータストリームのラインデータに対応するラインデータを含む。

データ出力データストリーム６０６は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインとの合成を含む。図示のように、第１のデータストリーム６０２と第２のデータストリーム６０４とはインターリーブされて、データ出力データストリーム６０６を形成する。たとえば、データ出力データストリーム６０６は、第１のラインインデックス値を有する合成ラインデータ６３０と、第２のラインインデックス値を有する合成ラインデータ６３２と、第３のラインインデックス値を有する合成ラインデータ６３４とを含む。合成ラインデータ６３０は、ラインデータ６１０と対応するラインデータ６２０とを含む。合成ラインデータ６３２は、ラインデータ６１２と対応するラインデータ６２２とを含む。合成ラインデータ６３４は、ラインデータ６１４と対応するラインデータ６２４とを含む。各合成ライン６３０〜６３４は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを合成することによって生成され得る。

特定の実施形態では、第１のデータストリーム６０２からのデータは、第２のデータストリーム６０４からのデータと合成されて、フレーム６６０を形成する複数の同期データラインを生成する。フレーム６６０は、複数の行６４２を含むことができ、各行は、ラインインデックス値に対応し、ラインインデックス値を有する第１の画像データのラインとラインインデックス値を有する第２の画像データの対応するラインとを含む同期データラインを記憶する。たとえば、フレーム６６０の第１の行は、合成ラインデータ６３０を含み、フレーム６６０の第２の行は、合成ラインデータ６３２を含み、フレーム６６０の第３の行は、合成ラインデータ６３４を含むなどがあり得る。各同期画像データラインは、フレーム６６０中のデータを整合するようにフレーム６６０の一部を形成する。

フレーム６６０は、画像センサからの画像データの読取り順序に一致する行６４２の順序で示される（すなわち、画像センサのトップライン（ラインインデックス１）からの合成データがフレーム６６０の上部ラインにあり、画像センサの次のライン（ラインインデックス２）からの合成データがフレーム６６０の次のラインにある）。代替的に、他の実施形態では、フレーム６６０の行は、画像データの読取り順序に一致しないことがあり、代わりに画像データの任意の他の順序に対応することがある。たとえば、フレーム６６０のトップ行がラインインデックス２に対応し得、フレーム６６０の次の行がラインインデックス１に対応し得る。フレーム６６０は、行６４２の各々が画像データのラインインデックス値のいずれかに対応するようにプログラムされ得るようにプログラム可能であり得る。

特定の実施形態では、第１の画像データの第１のライン６１０は、第１のピクセルサイズ（たとえば、ライン当たりのピクセル数）と第１のピクセルクロックとに関連し、第２の画像データの対応するライン６２０は、第２のピクセルサイズと第２のピクセルクロックとに関連する。データストリーム６０２を生成する第１のセンサとデータストリーム６０４を生成する第２のセンサとは、共通クロック信号と共通リセット信号とを受信するように構成される。第１の画像データの第１のライン６１０と第２の画像データの対応するライン６２０とが単一画像ラインに合成されると、単一画像ラインのサイズは、第１の画像データの第１のライン６１０または第２の画像データの対応するライン６２０のサイズの実質的に２倍になり、合成された単一画像ラインのピクセルクロック信号（たとえば、第３のピクセルクロック信号）は、第１のピクセルクロック信号または第２のピクセルクロック信号のクロックレートの実質的に２倍であるクロックレートを有する。たとえば、合成ラインデータ６３０は、ラインデータ６１０の画像サイズの実質的に２倍である画像サイズ、または対応するラインデータ６２０の画像サイズの実質的に２倍である画像サイズを有し得る。同様に、合成ラインデータ６３０のピクセルクロック周波数が、第１のピクセルクロックまたは第２のピクセルクロックの周波数の実質的に２倍である周波数を有する第３のピクセルクロック信号に関連するように、合成ラインデータ６３０のピクセルクロック周波数は、ラインデータ６１０に関連する第１のピクセルクロック信号の周波数の実質的に２倍である周波数、または対応するラインデータ６２０に関連する第２のピクセルクロック信号の周波数の実質的に２倍である周波数を有し得る。

代替的に、ラインサイズが等しい、３つの画像センサからのラインデータを合成する実装形態では、同期ラインサイズは、センサラインサイズの実質的に３倍であり得、ピクセルクロックレートは、個々のセンサのピクセルクロックレートの実質的に３倍であり得る。サイズが等しくない任意の数のセンサの一般的な場合では、同期ラインサイズは、合成されたラインサイズの和以上として設定され得、ピクセルクロックレートは、出力ライン帯域幅が入力帯域幅の和以上となるように設定され得る。

フレーム６６０は、図２の画像信号プロセッサ２０８などの画像信号プロセッサにおいて処理されて、処理済みフレーム６５０を生成する。処理済みフレーム６５０は、図２のセンサ２０２などの第１の画像センサからの第１の画像データを含む第１のセクション６５２と、図２のセンサ２０４などの第２の画像センサからの第２の画像データを含む第２のセクション６５４と、ギャップセクション６５６とを含む。ギャップセクション６５６は、第１のセクション６５２と第２のセクション６５４との間に配設される非画像データを含むことができる。

特定の実施形態では、第１のセクション６５２は、第１の画像データのラインを含み、第２のセクション６５４は、第２の画像データの対応するラインを含む。特定の実施形態では、ギャップセクション６５６は、エッジフィルタリングのために使用され得、幅が約５ピクセルであるブラックギャップを含むことができる。さらなる一例として、ギャップセクション６５６は、ライン間に追加され、補間カーネルのサイズ、または画像信号プロセッサによってフレーム６５０に適用される最大２次元フィルタのサイズに等しいサイズを有し得る。

特定の例示的な実施形態では、自動露光、自動フォーカス、および自動ホワイトバランスのための統計は、第１のセクション６５２または第２のセクション６５４のいずれかから収集され得、そのいずれかは、それぞれのセンサのうちの１つからの全画像であり得る。したがって、両方のセンサが実質的に同じタイミング情報を受信しているので、自動露光、自動フォーカス、および自動ホワイトバランスのための統計は、最終画像の１／２（たとえば、第１のセクション６５２）から収集され得、両方のセンサに適用され得る。したがって、画像の画像データの１画像ライン内で同期が行われ得るように、複数のセンサからのデータ出力は実質的に同じ周波数および位相を有する。

フレーム６５０は、少なくとも１つの半導体ダイに統合されたメモリに記憶され得る。フレーム６５０は、セットトップボックス、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、ナビゲーションデバイス、通信デバイス、携帯情報端末（ＰＤＡ）、固定ロケーションデータユニット、およびコンピュータなどの消費者用電子装置に組み込まれたメモリに記憶され得る。電子デバイスは、複数のセンサからの画像データを処理する３Ｄアプリケーションを含む、画像処理方法を利用し得る。

図７を参照すると、第１の画像センサの出力における第１のデータストリームと第２の画像センサの出力における第２のデータストリームとが合成されて同期データラインを形成する第２の実施形態の図表示が示され、全体的に７００と称される。図２の第１の画像センサ２０２などの第１のセンサは、画像の第１の画像データに対応する第１のデータストリーム７０２を生成する。図２の第２の画像センサ２０４などの第２のセンサは、画像の第２の画像データに対応する第２のデータストリーム７０４を生成する。第１のデータストリーム７０２からのデータと第２のデータストリーム７０４からのデータとは合成されて、データ出力データストリーム７０６を形成する。

特定の実施形態では、第１のデータストリーム７０２は、画像の第１の画像データの第１のラインに関連するデータを含み、第２のデータストリーム７０４は、画像の第２の画像データの対応するラインに関連するデータを含む。第１のデータストリーム７０２は、第１のラインインデックス値を有するラインデータ７１０と、第２のラインインデックス値を有するラインデータ７１２と、第３のラインインデックス値を有するラインデータ７１４と、第４のラインインデックス値を有するラインデータ７１６とを含む。第２のデータストリーム７０４は、第１のラインインデックス値を有する対応するラインデータ７２０と、第２のラインインデックス値を有する対応するラインデータ７２２と、第３のラインインデックス値を有する対応するラインデータ７２４と、第４のラインインデックス値を有する対応するラインデータ７２６とを含む、第１のデータストリームのラインデータに対応するラインデータを含む。

データ出力データストリーム７０６は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインとの合成を含む。図示のように、第１のデータストリーム７０２と第２のデータストリーム７０４とはギャップセクション７０８を用いてインターリーブされて、データ出力データストリーム７０６を形成する。たとえば、データ出力データストリーム７０６の図示の部分は、第１のラインインデックス値を有する合成ラインデータ７３０と、第２のラインインデックス値を有する合成ラインデータ７３２と、第３のラインインデックス値を有する合成ラインデータ７３４とを含む。合成ラインデータ７３０は、対応するラインデータ７２０からギャップセクション７０８だけ分離されたラインデータ７１０を含む。合成ラインデータ７３２は、対応するラインデータ７２２からギャップセクション７０８だけ分離されたラインデータ７１２を含む。合成ラインデータ７３４は、対応するラインデータ７２４からギャップセクション７０８だけ分離されたラインデータ７１４を含む。各合成ライン７３０〜７３４は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを対応するライン間のギャップセクション７０８と合成することによって生成され得る。

特定の実施形態では、第１のデータストリーム７０２からのデータは、第２のデータストリーム７０４からのデータと合成されて、フレーム７４０を形成する複数の同期データラインを生成する。フレーム７４０は、複数の行７４２を含むことができ、各行は、ラインインデックス値に対応し、ラインインデックス値を有する第１の画像データのラインを記憶し、ラインインデックス値を有する第２の画像データの対応するラインを記憶する。たとえば、フレーム７４０中のデータが整合されるように、フレーム７４０の第１の行は、合成ラインデータ７３０を含み、フレーム７４０の第２の行は、合成ラインデータ７３２を含み、フレーム７４０の第３の行は、合成ラインデータ７３４を含むなどがあり得る。

特定の実施形態では、第１の画像データの第１のライン７１０は、第１のピクセルサイズ（たとえば、ライン当たりのピクセル数）と第１のピクセルクロックとに関連し、第２の画像データの対応するライン７２０は、第２のピクセルサイズと第２のピクセルクロックとに関連する。データストリーム７０２を生成する第１のセンサとデータストリーム７０４を生成する第２のセンサとは、共通クロック信号と共通リセット信号とを受信するように構成される。第１の画像データの第１のライン７１０と第２の画像データの対応するライン７２０とが単一画像ラインに合成されると、単一画像ラインのサイズは、第１の画像データの第１のライン７１０または第２の画像データの対応するライン７２０のサイズの約２倍になる。さらに、合成された単一画像ラインのピクセルクロック信号（たとえば、第３のピクセルクロック信号）は、第１のピクセルクロック信号または第２のピクセルクロック信号のクロックレートの約２倍であるクロックレートを有する。たとえば、合成ラインデータ７３０は、ラインデータ７１０の画像サイズの約２倍である画像サイズ、または対応するラインデータ７２０の画像サイズの約２倍である画像サイズを有し得る。同様に、合成ラインデータ７３０のピクセルクロック周波数が、第１のピクセルクロックまたは第２のピクセルクロックの周波数の約２倍である周波数を有する第３のピクセルクロック信号に関連するように、合成ラインデータ７３０のピクセルクロック周波数は、ラインデータ７１０に関連する第１のピクセルクロック信号の周波数の約２倍である周波数、または対応するラインデータ７２０に関連する第２のピクセルクロック信号の周波数の約２倍である周波数を有し得る。

各ギャップセクション７０８は、非画像データを含むことができる。特定の実施形態では、ギャップセクション７０８によって形成されるフレーム７４０中の非画像データエリアは、エッジフィルタリングのために使用され得る。ギャップセクション７０８は、幅が約５ピクセルであるブラックギャップを含むことができる。他の実施形態では、各ギャップセクション７０８は、補間カーネルのサイズ、または図２の画像プロセッサ２０８などの画像プロセッサによってフレーム７４０に適用される最大２次元フィルタのサイズに等しいサイズを有する。フレーム７４０は、画像プロセッサによって処理されて、３Ｄ画像を生成する。

図８を参照すると、第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の２ライン位相差を示す位相図の第１の実施形態の図表示が示され、全体的に８００と称される。図２の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ８０２と、第１のセンサの第２のラインデータ８０４と、第１のセンサの第３のラインデータ８０６とを含む第１のデータストリームを生成する。図２の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ８１２と、第２のセンサの第２のラインデータ８１４と、第２のセンサの第３のラインデータ８１６とを含む第２のデータストリームを生成する。第１のデータストリームからのデータと第２のデータストリームからのデータとは合成されて、合成ライン８２０を形成する。図８に示す特定の実施形態では、第１、第２および第３のラインデータが示されている。代替的に、任意の数のラインデータが生成され得る（たとえば、図６および図７に示す７２０本のライン）。

図８の特定の実施形態では、第１のデータストリームのデータと第２のデータストリームのデータとの間に２ライン位相差がある。たとえば、第１のセンサの第１のラインデータ８０２は、第１のライン位相中に図２のコンバイナ２１６などのコンバイナによって受信され得、第１のセンサの第２のラインデータ８０４は、第２のライン位相中に受信され得、第１のセンサの第３のラインデータ８０６と第２のセンサの第１のラインデータ８１２とは、第３のライン位相中に受信され得る。したがって、第１のセンサの第１のラインデータ８０２と第２のセンサの第１のラインデータ８１２との間に２ライン位相差がある。

合成ライン８２０は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインとの合成を含む。図示のように、第１のデータストリームと第２のデータストリームとはインターリーブされて、合成ライン８２０を形成する。たとえば、合成ライン８２０は、第１のセンサの第１のラインデータ８０２と第２のセンサの第１のラインデータ８１２とを有する合成ラインデータ８２２と、第１のセンサの第２のラインデータ８０４と第２のセンサの第２のラインデータ８１４とを有する合成ラインデータ８２４と、第１のセンサの第３のラインデータ８０６と第２のセンサの第３のラインデータ８１６とを有する合成ラインデータ８２６とを含む。各合成ライン８２２〜８２６は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを合成することによって生成され得る。ラインバッファは、同期データライン（たとえば、合成ラインデータ８２２）が生成される前に第１の画像センサから受信される次のデータライン（たとえば、第１のセンサの第２のラインデータ８０４）の少なくとも一部分をバッファするように構成され得る。したがって、２ライン位相差を有する複数のセンサからのデータ出力は、画像の画像データの１画像ライン内で同期が行われ得るように合成され得る。

図９を参照すると、第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の１ライン位相差を示す位相図の第１の実施形態の図表示が示され、全体的に９００と称される。図２の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ９０２と、第１のセンサの第２のラインデータ９０４と、第１のセンサの第３のラインデータ９０６と、第１のセンサの第４のラインデータ９０８とを含む第１のデータストリームを生成する。図２の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ９１２と、第２のセンサの第２のラインデータ９１４と、第２のセンサの第３のラインデータ９１６と、第２のセンサの第４のラインデータ９１８とを含む第２のデータストリームを生成する。第１のデータストリームからのデータと第２のデータストリームからのデータとは合成されて、合成ライン９２０を形成する。図９に示す特定の実施形態では、第１、第２、第３、および第４のラインデータが示されている。代替的に、任意の数のラインデータが生成され得る（たとえば、図６および図７に示す７２０本のライン）。

図９の特定の実施形態では、第１のデータストリームのデータと第２のデータストリームのデータとの間に１ライン位相差がある。たとえば、第１のセンサの第１のラインデータ９０２は、第１のライン位相中に図２のコンバイナ２１６などのコンバイナによって受信され得、第１のセンサの第２のラインデータ９０４と第２のセンサの第１のラインデータ９１２とは、第２のライン位相中に受信され得る。したがって、第１のセンサの第１のラインデータ９０２と第２のセンサの第１のラインデータ９１２との間に１ライン位相差がある。

合成ライン９２０は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインとの合成を含む。図示のように、第１のデータストリームと第２のデータストリームとはインターリーブされて、合成ライン９２０を形成する。たとえば、合成ライン９２０は、第１のセンサの第１のラインデータ９０２と第２のセンサの第１のラインデータ９１２とを有する合成ラインデータ９２２と、第１のセンサの第２のラインデータ９０４と第２のセンサの第２のラインデータ９１４とを有する合成ラインデータ９２４と、第１のセンサの第３のラインデータ９０６と第２のセンサの第３のラインデータ９１６とを有する合成ラインデータ９２６と、第１のセンサの第４のラインデータ９０８と第２のセンサの第４のラインデータ９１８とを有する合成ラインデータ９２８とを含む。各合成ライン９２２〜９２６は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを合成することによって生成され得る。したがって、１ライン位相差を有する複数のセンサからのデータ出力は、画像の画像データの１画像ライン内で同期が行われ得るように合成され得る。

図１０を参照すると、複数のセンサの各々の赤緑青（ＲＧＢ）データを示し、同期データラインを示す図表示が示され、全体的に１０００と称される。図１０に示す実施形態では、図３の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ１００２と、第１のセンサの第２のラインデータ１００４と、第１のセンサの第３のラインデータ１００６とを含む第１のデータストリームを生成する。図３の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ１０１２と、第２のセンサの第２のラインデータ１０１４と、第２のセンサの第３のラインデータ１０１６とを含む第２のデータストリームを生成する。図３の第Ｎのセンサ３０５などの第３のセンサは、第３のセンサの第１のラインデータ１０２２と、第３のセンサの第２のラインデータ１０２４と、第３のセンサの第３のラインデータ１０２６とを含む第３のデータストリームを生成する。第１のデータストリームからのデータと第２のデータストリームからのデータと第３のデータストリームからのデータとは合成されて、合成ライン１０２０を形成する。

例示的な一例として、ベイヤー（Bayer）フィルタに従って、第１のラインデータの各々１００２、１０１２、１０２２は、赤と緑との交互のピクセル値を含み、第２のラインデータの各々１００４、１０１４、１０２４は、緑と青との交互のピクセル値を含み、第３のラインデータの各々１００６、１０１６、１０２６は、赤と緑との交互のピクセル値を含む。

図示のように、第１のデータストリームと第２のデータストリームと第３のデータストリームとはインターリーブされて、合成ラインデータストリーム１０２０を形成する。たとえば、合成ラインデータストリーム１０２０は、第１のセンサの第１のラインデータ１００２と第２のセンサの第１のラインデータ１０１２と第３のセンサの第１のラインデータ１００２とを有する合成ラインデータ１０４０と、第１のセンサの第２のラインデータ１００４と第２のセンサの第２のラインデータ１０１４と第３のセンサの第２のラインデータ１０２４とを有する合成ラインデータ１０５０と、第１のセンサの第３のラインデータ１００６と第２のセンサの第３のラインデータ１０１６と第３のセンサの第３のラインデータ１０２６とを有する合成ラインデータ１０６０とを含む。各合成ライン１０４０〜１０６０は、図３のラインバッファ２１６などのラインバッファ内で対応するラインを合成することによって生成され得る。各合成ライン１０４０〜１０６０は、それのそれぞれのセンサラインデータから読み取られた、図３の画像信号プロセッサ２０８などの画像信号プロセッサにおいてデモザイクされるべき未加工ピクセル（たとえば、Ｒ、Ｇ、およびＢ）値を含むことができる。したがって、複数のセンサからのデータ出力は、画像の画像データの１画像ライン内で同期が行われ得るように合成され得る。

図１０には、ベイヤーフィルタパターンに従ってＲＧＢデータを含むものとして未加工ピクセル値を示したが、他の実施形態では、センサからのラインデータは、ベイヤーＲＧＢピクセル値を含まないことがある。たとえば、センサは、代わりに、例示的な、非限定的な例として、ルーマ、青色差クロマ、および赤色差クロマ（ＹＣｂＣｒ）の値、シアン、黄、緑、およびマゼンタ（ＣＹＧＭ）の値、赤、緑、青、およびエメラルド（ＲＧＢＥ）の値、または任意の他のタイプの値を与え得る。代替的に、または追加として、センサのうちの１つまたは複数は、パンクロマティック（panchromatic）セル、光受容体（photoreceptor）のグループを介したマイクロレンズ、垂直方向の色フィルタ、または未加工画像データのラインごとの読出しが可能な任意の他のセンサ技術を実装し得る。

図１１を参照すると、複数のセンサを有する装置に関連する信号タイミングを示すタイミング図の特定の実施形態が示され、全体的に１１００と称される。信号は、第１のセンサのフレーム有効（ＦＶ：frame valid）信号１１０２およびライン有効（ＬＶ：line valid）信号１１０４と、第２のセンサのＦＶ１１０６およびＬＶ１１０８と、第３のセンサのＦＶ１１１０およびＬＶ１１１２とを含む。特定の実施形態では、第１のセンサ、第２のセンサ、および第３のセンサは、図３の第１のセンサ２０２、第２のセンサ２０４、および第３のセンサ３０５であり得る。また、合成フレーム有効信号１１１４が合成ライン有効／データ信号１１１６およびライン負荷（ＬＬ：line load）信号１１１８と共に示されている。

特定の実施形態では、信号１１１４〜１１１８は、コンバイナによって生成される図６のフレーム６６０などのフレームの１つまたは複数の同期データラインに関係するシグナリングに対応し、信号１１０２〜１１１２は、コンバイナにおいて受信されるシグナリングに対応する。図示のように、第１のラインデータ１１２０、第２のラインデータ１１２２、および第３のラインデータ１１２４が第１のセンサから受信され、第１のラインデータ１１３０、第２のラインデータ１１３２、および第３のラインデータ１１３４が第２のセンサから受信され、第１のラインデータ１１４０、第２のラインデータ１１４２、および第３のラインデータ１１４４が第３のセンサから受信される。

第１のラインデータ１１３０は、第１のラインデータ１１２０および第１のラインデータ１１４０より前に第２のセンサから受信される。第１のラインデータ１１３０と第２のラインデータ１１２０との受信間の位相差が第１の位相差１１８０として示されている。第１のセンサの第１のラインデータ１１２０は、第３のセンサの第１のラインデータ１１４０より前に受信され、第２の位相差１１８２として示されている。センサの各々からのラインデータは、対応するフレーム有効信号の立ち上りエッジの後に続き得、画像データラインを介して受信したデータが各特定のセンサからの有効ラインデータであることを示す。図示のように、合成フレーム有効ライン１１１４は、たとえば、図２のコンバイナ２０６において第１のラインデータの各々１１２０、１１３０、および１１４０が受信される後まで低いままであり、非有効データであることを示す。第１のラインの各々１１２０、１１３０、および１１４０が受信された後、合成フレーム有効信号１１１４は上昇して、有効データライン上の有効信号１１１６を示す。第１の同期データライン１１５０は、有効信号がＬＬライン１１１８上でアサートされるのと同時に生成される。第１の同期ラインデータ１１５０が生成された後、合成フレーム有効信号１１１４は有効状態のままであるが、ＬＬ信号１１１８は非有効状態に戻り、その後、第２の同期データライン１１６０が生成されると、ＬＬ信号１１１８は有効状態に戻り、続いて第３の同期データライン１１７０が生成される。

図１２を参照すると、第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームと第３のセンサからの第３のデータストリームとの間の３ライン位相差を示す位相図の第１の実施形態の図表示が示され、全体的に１２００と称される。図３の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ１２０２と、第１のセンサの第２のラインデータ１２０４と、第１のセンサの第３のラインデータ１２０６と、第１のセンサの第４のラインデータ１２０８とを含む第１のデータストリームを生成する。図３の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ１２１２と、第２のセンサの第２のラインデータ１２１４と、第２のセンサの第３のラインデータ１２１６と、第２のセンサの第４のラインデータ１２１８とを含む第２のデータストリームを生成する。図３の第Ｎのセンサ３０５などの第３のセンサは、第３のセンサの第１のラインデータ１２２２と、第３のセンサの第２のラインデータ１２２４と、第３のセンサの第３のラインデータ１２２６と、第３のセンサの第４のラインデータ１２２８とを含む第３のデータストリームを生成する。第１のデータストリームからのデータと第２のデータストリームからのデータと第３のデータストリームからのデータとは合成されて、合成ライン１２２０を形成する。図１２に示す特定の実施形態では、第１、第２、第３、および第４のラインデータが示されている。代替的に、任意の数のラインデータが生成され得る（たとえば、図６および図７に示す７２０本のライン）。

特定の実施形態では、第１のデータストリームのデータと第２のデータストリームのデータと第３のデータストリームからのデータとの間に３ライン位相差がある。たとえば、第３のセンサの第１のラインデータ１２２２は、第１のライン位相中に図２のコンバイナ２１６などのコンバイナによって受信され得、第１のセンサの第１のラインデータ１２０２と第３のセンサの第２のラインデータ１２２４とは、第２のライン位相中に受信され得、第１のセンサの第２のラインデータ１２０４と第３のセンサの第３のラインデータ１２２６とは、第３のライン位相中に受信され得、第１のセンサの第３のラインデータ１２０６と第２のセンサの第１のラインデータ１２１２と第３のセンサの第４のラインデータ１２２８とは、第４のライン位相中に受信され得る。したがって、第１のセンサの第１のラインデータ１２０２と第２のセンサの第１のラインデータ１２１２と第３のセンサの第１のラインデータ１２２２との間に３ライン位相差がある。

合成ライン１２２０は、画像の第１の画像データの第１のラインと画像の第２の画像データと第３の画像データとの対応するラインとの合成を含む。図示のように、第１のデータストリームと第２のデータストリームと第３のデータストリームとはインターリーブされて、合成ライン１２２０を形成する。たとえば、合成ライン１２２０は、第１のセンサの第１のラインデータ１２０２と第２のセンサの第１のラインデータ１２１２と第３のセンサの第１のラインデータ１２２２とを有する合成ラインデータ１２３２と、第１のセンサの第２のラインデータ１２０４と第２のセンサの第２のラインデータ１２１４と第３のセンサの第２のラインデータ１２２４とを有する合成ラインデータ１２３４と、第１のセンサの第３のラインデータ１２０６と第２のセンサの第３のラインデータ１２１６と第３のセンサの第３のラインデータ１２２６とを有する合成ラインデータ１２３６とを含む。各合成ライン１２３２〜１２３６は、図３のラインバッファ２１６などのラインバッファ内で対応するラインを合成することによって生成され得る。したがって、３ライン位相差を有する複数のセンサからのデータ出力は、画像の画像データの１画像ライン内で同期が行われ得るように合成され得る。

図１３を参照すると、複数のセンサからのデータを合成して３Ｄデータを生成する画像処理システムの特定の例示的な実施形態が示され、全体的に１３００と称される。画像処理システム１３００は、第１の画像センサ１３０２と、第２のセンサ１３０４とを含む。画像処理システム１３００は、コンバイナ１３０６と画像プロセッサ１３０８とをさらに含む。画像プロセッサ１３０８は、ディスプレイデバイス１３１０に結合される。コンバイナ１３０６は、少なくとも１つのラインバッファ１３１２を含む。画像処理システム１３００は、少なくとも１つの半導体ダイに統合され得る。

第１の画像センサ１３０２は、第１の画像データストリーム１３１４として示されている第１のデータストリームを生成するように構成され、第２の画像センサ１３０４は、第２の画像データストリーム１３１６として示されている第２のデータストリームを生成するように構成される。特定の実施形態では、第１の画像データストリーム１３１４は、第２の画像データストリーム１３１６と非同期であり得る。第１の画像センサ１３０２および第２の画像センサ１３０４は、互いに独立し、プロセッサ（たとえば、コンバイナ１３０６または画像プロセッサ１３０８）から共通制御信号を受信して、近接して整合されるデータストリーム１３１４、１３１６を生成し得る実質的に同様の画像センサであり得る。たとえば、画像データストリーム１３１４、１３１６は、周波数および位相など、実質的に同じタイミング特性を有し得る。共通制御信号は、図２の信号シンクロナイザ２３０を介してなどプロセッサによって生成され得るので、画像センサ１３０２、１３０４の各々は、単一のプロセッサに直接応答し、単一のプロセッサによって制御され得る。２つの画像センサ１３０２、１３０４について示したが、３つ以上の画像センサが画像処理システム１３００とともに使用され得ることを理解されたい。

コンバイナ１３０６は、第１の画像データストリーム１３１４と第２の画像データストリーム１３１６とに応答する。コンバイナ１３０６は、ラインバッファ１３１２内で第１の画像データストリーム１３１４からのデータと第２の画像データストリーム１３１６からのデータとを合成するように構成される。特定の実施形態では、ラインバッファ１３１２は、第１の画像センサ１３０２からの第１のデータと第２の画像センサ１３０４からの第２のデータとを整合させるように構成される。特定の実施形態では、コンバイナ１３０６は、ラインバッファ１３１２内に記憶されたデータに応答し、画像プロセッサ１３０８にフレームデータ１３１８を与える。特定の実施形態では、フレームデータ１３１８は画像データの複数の行を含むことができ、各行は、図３に関して説明したような、各センサ１３０２、１３０４からの対応する行の合成である。

画像プロセッサ１３０８は、フレームデータ１３１８を処理し、処理済みフレームデータ１３２０をディスプレイデバイス１３１０に出力するように構成される。処理済みフレームデータ１３２０は、３Ｄ画像フォーマットまたは３Ｄビデオフォーマットを有し得る。

ディスプレイデバイス１３１０は、処理済みフレームデータ１３２０を受信することに応答して画像データをレンダリングし、表示する。したがって、複数の画像センサからの画像データは、ディスプレイデバイス１３１０における表示のために合成され、処理され、次いでレンダリングされ得る。特定の実施形態では、ディスプレイデバイス１３１０は、画像プロセッサ１３０８に直接応答しない画像プロセッサ１３０８から分離され得る。たとえば、ディスプレイデバイス１３１０は、画像プロセッサ１３０８とは別個のデバイスであり得る。

共通に制御される同様の画像センサ１３０２、１３０４から受信されるデータは実質的に同じ周波数および位相を有し得るので、データストリーム１３１４、１３１６間の同期は画像データの単一画像ライン内で行われ得る。特定の実施形態では、ラインバッファ１３１２は、最悪の場合のミスアラインメントのために寸法決定され得る（たとえば、同期ミスアラインメントが３本のラインであった場合、ラインバッファ１３１２は、少なくとも６本のラインを記憶するようにサイズ決定される）。その結果、合成データは、単一の画像プロセッサ１３０８を使用して効率的に処理され得る。したがって、複数プロセッサシステム（たとえば、各センサに割り当てられたプロセッサ）と比較して、全体的な画像システムのコストおよび複雑さが低減され得る。

実施形態は、３Ｄ／立体画像および／またはビデオデータを与えるように構成され得る。たとえば、１つのそのような実施形態では、第１の画像センサ１３０２および第２の画像センサ１３０４は、左／右（立体）画像を与えるように隣り合わせに配置され得る。コンバイナ１３０６によって与えられる信号は、画像プロセッサ１３０８によって受信され、画像プロセッサ１３０８によって処理されて３Ｄ画像を生成し得る。ユーザコマンドにより、画像プロセッサ１３０８がただ１つのセンサ（すなわち、第１の画像センサ１３０２または第２の画像センサ１３０４）からデータを受信し、処理して３Ｄ画像を生成する代わりに２次元（２Ｄ）画像を生成することが可能になる。

画像プロセッサ１３０８など、単一カメラのための入力を有する画像プロセッサは、コンバイナ１３０６によって与えられる、２つのカメラからの合成データを使用することによって３Ｄ処理のために使用され得るデータを処理することが可能である。画像プロセッサ１３０８は、コンバイナ１３０６から、またはコンバイナ１３０６からの画像データを記憶するメモリから画像データを受信し得る。１つのそのような実施形態では、画像プロセッサ１３０８は、画像プロセッサ１３０８による後続の処理が画像プロセッサ１３０８からの処理済みデータに基づいて３Ｄ立体画像／ビデオストリームを与えるように、２Ｄ画像／ビデオデータとして受信した画像データを処理する。代替的に、画像プロセッサ１３０８は、受信した画像データに基づいて３Ｄ立体画像／ビデオストリームを直接与えるように構成され得る。一実施形態では、３Ｄキャプチャシステムは、第１の集積回路として実装されるコンバイナ１３０６と、第２の集積回路として実装される画像プロセッサ１３０８とを備える。第１の集積回路および第２の集積回路は、たとえば、シリアルバス、パラレルバス、またはＩ２Ｃバスのうちの１つまたは複数によって接続され得る。

画像データストリーム１３１４、１３１６を合成してフレームデータ１３１８を生成することによって、画像プロセッサ１３０８が単一カメラ入力を有するとしても、画像プロセッサ１３０８がマルチカメラ３Ｄ処理のためのフォーマッティングを実行することが可能になる。その結果、システム１３００は、各カメラのために別個のプロセッサを使用するシステム、または複数カメラ入力を有するプロセッサを使用するシステムと比較して、低コストで実装され得る。

図１４を参照すると、複数の画像センサからのデータを合成する画像処理システムを有するモバイルデバイスの様々な実施形態を示すブロック図が示され、全体的に１４００と称される。１４０２に示す特定の実施形態では、モバイルデバイスは、２つの隣接するカメラのアレイを有する画像処理システムを含む。１４０４に示す特定の実施形態では、モバイルデバイスは、インライン構成に配列された３つのカメラのアレイを有する画像処理システムを含む。代替的に、任意の数のカメラはインライン構成に配列され得る。１４０６に示す特定の実施形態では、モバイルデバイスは、カメラの３×３アレイを有する画像処理システムを含む。１４０８に示す特定の実施形態では、モバイルデバイスは、カメラの５×５アレイを有する画像処理システムを含む。代替的に、任意の数のカメラは、２次元アレイに配列され得る。

図１５を参照すると、複数のカメラまたは画像センサによってキャプチャされた画像のアレイの一例が示され、全体的に１５００と称される。図１５に示すように、１つのカメラによってキャプチャされた画像は、他の近隣カメラによってキャプチャされた画像と重複し得る。画像重複は、カメラの各々によってキャプチャされた画像を単一の画像に合成する際に有用であり得る。図１５に示す特定の実施形態では、アレイ１５００は、カメラまたは画像センサの４×４アレイに対応する。代替的に、任意の数のカメラは、２次元アレイ（たとえば、図１８および図１９に示す５×５アレイ）に配列され得る。

各カメラは、アレイ１５００の単一のカメラ画像をキャプチャする。図１５に示す実施形態では、アレイ１５００は４×４アレイである。したがって、アレイ１５００は、第１の行１５０２と第２の行１５０４と第３の行１５０６と第４の行１５０８とを含む。さらに、アレイ１５００は、第１の列１５１０と第２の列１５１２と第３の列１５１４と第４の列１５１６とを含む。例示的な例として、単一カメラ画像１５１８は、第１の行１５０２と第４の列１５１６とに対応するカメラによってキャプチャされ得る。単一カメラ画像１５１８は、近隣セルの他のカメラによってキャプチャされたカメラ画像と重複し得る。第１の行１５０２と第４の列１５１６とに対応するカメラの場合、近隣セルのカメラは、第１の行１５０２と第３の列１５１４とに対応するカメラ、第２の行１５０４と第３の列１５１４とに対応するカメラ、または第２の行１５０４と第４の列１５１６とに対応するカメラを含むことができる。たとえば、単一カメラ画像重複１５２０は、第１の行１５０２と第４の列１５１６とに対応するカメラによってキャプチャされた単一カメラ画像１５０８に関連し得る。図１５は、行１５０２〜１５０８の各々の各カメラと列１５１０〜１５１６の各々の各カメラとの絶対アラインメントの理論的事例を示す。したがって、近隣行（たとえば、第２の行１５０４）に対応するカメラによってキャプチャされた画像との画像重複は、近隣列（たとえば、第３の列１５１４）に対応するカメラによってキャプチャされた画像との画像重複と同じであり得る。

個々の画像は、特定の水平解像度（「Ｈ−ｒｅｓ」）でキャプチャされ得る。例示のために、水平解像度１５２２は、第１の行１５０２と第４の列１５１６とに対応するカメラによってキャプチャされた単一カメラ画像１５１８に関連し得る。図１５に、各カメラが同じ水平解像度１５２２を有する場合の画像重複の理論的事例を示す。したがって、全体的な水平解像度１５２４（すなわち、行１５０２〜１５０８の各々中のピクセル数）は、個々のカメラの水平解像度１５２２と行中のセルの数（「ｎ」）との組合せに基づいて計算され得る。図１５の４×４アレイ１５００の場合、各行に４つのセル（すなわち、列１５１０〜１５１６の各々に関連するセル）がある。全体的な水平解像度１５２４は、画像重複を考慮し得る。たとえば、全体的な水平解像度１５２４は、Ｈ＿ｒｅｓ＊ｎ−ｏｖｅｒｌａｐ＊（ｎ−２）として計算され得、ｏｖｅｒｌａｐは、隣接する画像の重複ピクセルの数を示す。全体的な垂直解像度を判断するために同様の計算が実行され得る。

図１５に、各カメラの同じ画像重複との絶対アラインメントの理論的事例を示す。個々のカメラによってキャプチャされた画像間の画像重複によって、個々の画像の各々を単一画像に「縫い合わせる」ことが可能になる。

図１６を参照すると、複数のカメラまたは画像センサによってキャプチャされた画像のアレイの一例が示され、全体的に１６００と称される。図１６に示すように、１つのカメラによってキャプチャされた画像は、他の近隣カメラによってキャプチャされた画像と重複し得る。画像重複は、カメラの各々によってキャプチャされた画像を単一の画像に合成する際に有用であり得る。図１６に示す特定の実施形態では、アレイ１６００は、カメラまたは画像センサの４×４アレイに対応する。代替的に、任意の数のカメラは、２次元アレイに配列され得る。図１６に、機械制約のために（図１５に示した）一行または一列に並んだカメラの絶対アラインメントを達成することが実現可能でないことがあることを示す。

アレイ１６００の各画像は、それ自体の回転１６０２、シフト１６０４、傾き（図示せず）を有し得る。１つまたは複数の配置許容差１６０６は、各画像に関連し得る。配置許容差１６０６は、回転許容差、シフト許容差、傾き許容差、またはそれらの組合せを含むことができる。画像重複は、カメラの各々によってキャプチャされた画像を単一の画像に合成する際に有用であり得る。図１６に、画像を合成するのに使用される画像重複が、デバイスを構築することに関連する機械制約から生じる、各画像の回転１６０２、シフト１６０４、および傾きを考慮し得ることを示す。デバイスが構築されると、画像重複は既知となり、不変となり得る。したがって、画像重複は、定量化され得、後の段階で補正され得る。

図１７を参照すると、カメラのアレイとこのアレイに関連する電気接続との特定の実施形態が示され、全体的に１７００と称される。図１７に、アレイ１７００の各カメラが第１のタイプのインターフェース（すなわち、データインターフェース１７０２）と第２のタイプのインターフェース（すなわち、制御インターフェース１７０４）とを有することを示す。図１７に示す実施形態では、アレイ１７００はカメラの３×３アレイを含む。代替的に、アレイ１７００は、４×４アレイに配列されたカメラ（たとえば、図１５および図１６のアレイ１５００、１６００）または２次元アレイに配列された任意の他の数のカメラを含むことができる。

データインターフェース１７０２は、シリアルデータバス（たとえば、モバイル業界プロセッサインターフェース（Mobile Industry Processor Interface）または標準モバイルイメージングアーキテクチャインターフェース（Standard Mobile Imaging Architecture interface））を含むことができる。図１７のデータインターフェース１７０２は、アレイ１７００の第１の行１７０６と、アレイ１７００の第２の行１７０８と、アレイ１７００の第３の行１７１０とに関連する。並列に処理されるべき、行１７０６〜１７１０の各々中のカメラからのデータを収集するために、データインターフェース１７０２に関連するラインが使用され得る。例示的な例として、最大５メガピクセル（ｍｐｉｘ）の解像度および１０フレーム毎秒の場合、４本のワイヤが必要とされ得る（たとえば、差分データおよびクロック）。

図１７の例示的な３×３アレイ１７００では、行１７０６〜１７１０の各々は、アレイ１７００の第１の列１７１２中のカメラと、アレイ１７００の第２の列１７１４中のカメラと、アレイ１７００の第３の列１７１６中のカメラとを含む。したがって、並列に処理されるべき９つのカメラからのデータを収集するために、データインターフェース１７０２が使用され得る。

制御インターフェース１７０４は、アレイ１７００中のすべてのカメラを同期させるために使用されるラインを含むことができる。たとえば、制御インターフェースラインは、クロック、リセット、およびＩ２Ｃ通信に関連し得る。図１７の例示的な３×３アレイ１７００では、アレイ１７００の９つのカメラを同期させるために制御インターフェース１７０４が使用され得る。

図１８を参照すると、カメラアレイ処理システムの特定の実施形態が示され、全体的に１８００と称される。アレイ１８０２中のすべてのカメラは、得られた画像データが最終画像に合成される前に、共通制御信号に応答し、整合され、処理され得る。図１８に示す実施形態では、アレイ１８０２はカメラの５×５アレイを含む。代替的に、アレイ１８０２は、２次元アレイ（たとえば、図１７の３×３アレイ１７００）に配列された任意の他の数のカメラを含むことができる。

アレイ１８０２中のすべてのカメラは、単一のＩＳＰパイプラインを使用する同時画像センササポートの方法を使用して同期され得る。さらに、カメラの各行は、アラインメント方法を使用して整合され得る。すなわち、画像の１つの行は、収集され、同じ順序で整合され、処理のために単一のラインとしてｎ＊ｌｉｎｅのサイズで送られ得、ｎは、行中のカメラの数であり、ｌｉｎｅは、１つのカメラの水平サイズ（すなわち、図１５で説明した「Ｈ＿ｒｅｓ」）である。図１８に示す５×５アレイ１８０２は、第１の行１８０４と第２の行１８０６と第３の行１８０８と第４の行１８１０と第５の行１８１２とを含む。さらに、５×５アレイ１８０２は、第１の列１８１４と第２の列１８１６と第３の列１８１８と第４の列１８２０と第５の列１８２２とを含む。行１８０４〜１８１２の各々は、ＶＦＥ構成要素において色について並列に処理され得、行１８０４〜１８１２の各々は、行中の各個の画像を整合させ、修正するためにグラフィックスプロセッサまたはグラフィックス処理ユニット（ＧＰＵ）構成要素において処理され得る。修正および整合の後に、行１８０４〜１８１２のすべてを一緒に合成するためにＧＰＵ処理が実行され得、最終画像を生じる。

第１の行１８０４は、第１のアラインメントブロック１８２４に関連し得、第２の行１８０６は、第２のアラインメントブロック１８２６に関連し得、第３の行１８０８は、第３のアラインメントブロック１８２８に関連し得、第４の行１８１０は、第４のアラインメントブロック１８３０に関連し得、第５の行１８１２は、第５のアラインメントブロック１８３２に関連し得る。例示のために、第１のアラインメントブロック１８２４は、第１の行１８０４中の各カメラ（すなわち、アレイ１８０２の５つの列１８１４〜１８２２中の５つのカメラ）から画像データラインを収集するように適合され得る。第１のアラインメントブロック１８２４は、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。第１のアラインメントブロック１８２４は、図２、図３、および図５の２０６のコンバイナに関して説明したような色について処理されるように、第１のＶＦＥ構成要素１８３４に単一のラインとして処理のために画像データラインを送るように適合され得る。単一のラインのサイズは、カメラの数（すなわち、５つのカメラ）と第１の行１８０４中の各カメラの水平サイズ（すなわち、図１５で説明した「Ｈ＿ｒｅｓ」）とに基づいて判断され得る。

第２のアラインメントブロック１８２６は、第２の行１８０６中の各カメラから画像を収集し、画像を同じ順序で整合させ、処理するための画像を第２のＶＦＥ構成要素１８３６に単一のラインとして送るように適合され得る。第３のアラインメントブロック１８２８は、第３の行１８０８中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを第３のＶＦＥ構成要素１８３８に単一のラインとして送るように適合され得る。第４のアラインメントブロック１８３０は、第４の行１８１０中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを第４のＶＦＥ構成要素１８４０に単一のラインとして送るように適合され得る。第５のアラインメントブロック１８３２は、第５の行１８１２中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを第５のＶＦＥ構成要素１８４２に単一のラインとして送るように適合され得る。

制御同期ブロック１８４４は、センサシンクロナイザ２３０と同様の方法でアレイ１８０２のカメラの各々（すなわち、図１８の例示的な５×５アレイ１８０２の場合２５個のカメラ）を同期させるために使用され得る。特定の実施形態では、制御同期ブロック１８３４は、図１７に示す制御インターフェース１７０４を実装し得る。制御同期ブロック１８４４は、アレイ１８０２のカメラの各々とＶＦＥ構成要素１８３４〜１８４２の各々とに通信可能に結合され得る。アレイ１８０２中のすべてのカメラの同期は、高解像度でのローリングシャッター（rolling shutter）の使用を可能にし得る。すべてのカメラが同時に読み出され得るので、ローリングシャッター効果が（アレイのサイズとともに）減少され得る。たとえば、図１８の５×５アレイ１８０２では、２５個のカメラの同期は、相補型金属酸化膜半導体（ＣＭＯＳ）カメラに関連するローリングシャッター効果を減少させ得る。

第１のＶＦＥ構成要素１８３４は、第１の行１８０４中の各個の画像（すなわち、５列１８１４〜１８２２中のカメラによってキャプチャされた５つの画像）を整合させ、修正するために第１のＧＰＵ構成要素１８４６に通信可能に結合され得る。第２のＶＦＥ構成要素１８３６は、第２の行１８０６中の各個の画像を整合させ、修正するために第２のＧＰＵ構成要素１８４８に通信可能に結合され得る。第３のＶＦＥ構成要素１８３８は、第３の行１８０８中の各個の画像を整合させ、修正するために第３のＧＰＵ構成要素１８５０に通信可能に結合され得る。第４のＶＦＥ構成要素１８４０は、第４の行１８１０中の各個の画像を整合させ、修正するために第４のＧＰＵ構成要素１８５２に通信可能に結合され得る。第５のＶＦＥ構成要素１８４２は、第５の行１８１２中の各個の画像を整合させ、修正するために第５のＧＰＵ構成要素１８５４に通信可能に結合され得る。ＧＰＵ構成要素１８４６〜１８５４の各々は、行１８０４〜１８１２のすべてを一緒に合成するように適合されたＧＰＵ処理構成要素１８５６に通信可能に結合され得、最終画像を生じる。

図１８に示す実施形態では、アラインメントブロック１８２４〜１８３２の各々は、それ自体のＶＦＥ構成要素とそれ自体のＧＰＵ修正およびアラインメント構成要素とに関連する。したがって、図１８に、行１８０４〜１８１２の各々が、別個のＶＦＥ構成要素を使用して色について並列に処理され得、行１８０４〜１８１２の各々が、特定の行中の各個の画像を整合させ、修正するために別個のＧＰＵ構成要素を使用して処理され得ることを示す。代替的に、アラインメントブロック１８２４〜１８３２の各々は、単一のＶＦＥ構成要素と単一のＧＰＵ修正およびアラインメント構成要素とに関連し得る（図１９参照）。

図１９を参照すると、カメラアレイ処理システムの特定の実施形態が示され、全体的に１９００と称される。アレイ１９０２中のすべてのカメラは、最終画像に合成される前に、同期され、整合され、処理され得る。図１９に示す実施形態では、アレイ１９０２はカメラの５×５アレイを含む。代替的に、アレイ１９０２は、２次元アレイに配列された任意の他の数のカメラを含むことができる。図１９に、アレイ１９０２のすべての行を処理するために、図１８に示した複数のＶＦＥ構成要素と複数のＧＰＵ修正およびアラインメント構成要素ではなく、単一のＶＦＥ構成要素と単一のＧＰＵ修正およびアラインメント構成要素とが使用され得ることを示す。

図１９に示す５×５アレイ１９０２は、第１の行１９０４と第２の行１９０６と第３の行１９０８と第４の行１９１０と第５の行１９１２とを含む。さらに、５×５アレイ１９０２は、第１の列１９１４と第２の列１９１６と第３の列１９１８と第４の列１９２０と第５の列１９２２とを含む。第１の行１９０４は、第１のアラインメントブロック１９２４に関連し得、第２の行１９０６は、第２のアラインメントブロック１９２６に関連し得、第３の行１９０８は、第３のアラインメントブロック１９２８に関連し得、第４の行１９１０は、第４のアラインメントブロック１９３０に関連し得、第５の行１９１２は、第５のアラインメントブロック１９３２に関連し得る。例示のために、第１のアラインメントブロック１９２４は、第１の行１９０４中の各カメラ（すなわち、アレイ１９０２の５つの列１９１４〜１９２２中の５つのカメラ）から画像データラインを収集するように適合され得る。

第１のアラインメントブロック１９２４は、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。第２のアラインメントブロック１９２６は、第２の行１９０６中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。第３のアラインメントブロック１９２８は、第３の行１９０８中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。第４のアラインメントブロック１９３０は、第４の行１９１０中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。第５のアラインメントブロック１９３２は、第５の行１９１２中の各カメラから画像データラインを収集し、画像データラインを同じ順序で整合させ、処理するための画像データラインを単一のラインとして送るように適合され得る。

図１９に示す実施形態では、アラインメントブロック１９２４〜１９３２の各々は、色について処理されるように、単一のＶＦＥ構成要素１９３４に処理のためにそれの画像を送るように適合され得る。単一のＶＦＥ構成要素１９３４は、５つのアラインメントブロック１９２４〜１９３２から送られた５つのラインの各々を処理し得る。上記の通り、特定のアラインメントブロックからの単一のラインのサイズは、特定の行中のカメラの数（すなわち、５つのカメラ）と特定の行中の各カメラの水平サイズ（すなわち、図１５で説明した「Ｈ＿ｒｅｓ」）とに基づいて判断され得る。したがって、図１９の単一のＶＦＥ構成要素１９３４によって処理される複数のラインのサイズは、図１８のＶＦＥ構成要素１８３４〜１８４２のうちの１つによって処理される単一のラインのサイズの５倍になり得る。

制御同期ブロック１９３６は、１つまたは複数の行１９０４〜１９１２中のカメラに共通制御信号を与えることなどによってアレイ１９０２のカメラの各々を同期させるために使用され得る。制御同期ブロック１９３６は、アレイ１９０２のカメラの各々と単一のＶＦＥ構成要素１９３４とに通信可能に結合され得る。アレイ１９０２中のすべてのカメラの同期は、高解像度でのローリングシャッターの使用を可能にし得る。すべてのカメラが同時に読み出され得るので、ローリングシャッター効果が（アレイのサイズとともに）減少され得る。たとえば、図１９の５×５アレイ１９０２では、２５個のカメラの同期は、ＣＭＯＳカメラに関連するローリングシャッター効果を減少させ得る。

単一のＶＦＥ構成要素１９３４は、行１９０４〜１９１２の各々中の各個の画像を整合させ、修正するために単一のＧＰＵ構成要素１９３８に通信可能に結合され得る。したがって、図１９の単一のＧＰＵ構成要素１９３８は、図１８のＧＰＵアラインメントおよび修正構成要素１８４６〜１８５４の各々によって５つの画像が処理されるのと比較して、２５個の画像を整合させ、修正し得る。単一のＧＰＵ構成要素１９３８は、行１９０４〜１９１２のすべてを一緒に合成するように適合されたＧＰＵ処理構成要素１９４０に通信可能に結合され得、最終画像を生じる。

図２０に、入射光２００４を合焦させるように構成されたメインレンズ２００２とアレイ２００６に配列された複数のカメラとを含む高解像度デジタルカメラシステム２０００を示す。高解像度画像は、アレイ２００６中のカメラの各々においてキャプチャされた画像を合成することによってコンポジット（または「モザイク」）画像して生成され得る。たとえば、アレイ２００６のカメラの各々は、ＣＭＯＳタイプカメラまたは電荷結合デバイス（ＣＣＤ）タイプカメラであり得る。メインレンズ２００２は、キャプチャされたシーンを（メインレンズ２００２の「焦点平面」またはアレイ２００６中のカメラの「物体平面」と呼ばれる）平面２００８に合焦させ得、そして、アレイ２００６中の各カメラは、全画像の一部分をキャプチャし得る。アレイ２００６の各カメラは、平面２００８においてそのネイバーの視野に部分的に重複する視野を有する。この重複により、アレイ２００６中の近隣カメラから撮影された画像を行ごとに整合し、後続の処理中に互いに「縫い合わせる」ことが可能になり得、アレイ内のカメラの（図１６に関して説明したような）非理想位置およびアラインメントに対する裕度を与え得る。

コンポジット画像は、行ごとにアレイ２００６のカメラからの画像データを整合させることによって生成され得る。たとえば、図２０のアレイ２００６は、３行をもつ３×３アレイを含む。アレイ２００６の特定の行（「アレイ行」）内の各カメラは、列および行（「センサ列」および「センサ行」）に配列された光検出器を有する画像センサを含むことができる。アレイ行内のカメラは、センサ行が実質的に整合されるように配置され得る。例示のために、アレイ行中の各カメラの第１のセンサ行は、同じアレイ行中の１つおきのカメラの第１のセンサ行と実質的に整合している。

画像キャプチャ中に、画像データの第１のセンサ行は、アレイ行中の各カメラから読み取られ、（図１７〜図１９に関して説明したような）画像処理回路に与えられる。第１のセンサ行からの画像データは、アレイ行中の各カメラの位置に従ってマージされる。マージされた画像データは、それがより大きいカメラからの画像データの単一の行であるかのように処理される。第２、第３、および後続の画像センサ行は、読み取られ、マージされ、コンポジット画像の行として処理させるために画像処理回路に与えられる。各アレイ行は、他のアレイ行と並列に処理され得る。

図２０の構成は、高解像度カメラの廉価の代替物をもたらし得る。たとえば、１００メガピクセル（ｍｐｉｘ）カメラは、メインレンズの後ろに２０個の５ｍｐｉｘのＣＭＯＳカメラのアレイを使用して構築され得る。画像キャプチャは、各カメラが画像の一部分をキャプチャする複数のＣＭＯＳカメラを使用して実行され得るので、「ローリングシャッター」アーティファクトは、単一の１００ｍｐｉｘのＣＭＯＳカメラが画像全体をキャプチャするのと比較して低減され得る。

図２１を参照すると、マルチカメラモジュールの実装形態の特定の実施形態が示され、全体的に２１００と称される。システム２１００に、自動車上に取り付けられる、図１〜図５に示したような複数カメラモジュールなどの複数カメラモジュールを示す。複数カメラモジュールは、図６〜図７に関して説明したような、３次元画像またはビデオデータとしてフォーマットするための同期ラインデータフレームを生成するように構成され得る。自動車の後部部分に複数カメラモジュールを取り付けることによって、自動車をバックさせる間に内部ディスプレイ（図示せず）上で深さ知覚を自動車のオペレータに与えるために３次元ビューが取得され得る。複数カメラモジュールは、自動車に限定されずに、任意のタイプの車両に取り付けられ得ることが理解されよう。

図２２を参照すると、複数のセンサからのデータを同期データラインに合成する方法の特定の例示的な実施形態の流れ図が示され、全体的に２２００と称される。例示的な例として、方法２２００は図２のシステム、図３のシステム、図５のシステム、またはそれらの任意の組合せによって実行され得る。

２２０２において、同期すべき複数の画像センサに共通制御信号を与える。たとえば、共通制御信号は、図４に示す共通制御信号４０４〜４１０など、共通クロック信号と共通リセット信号とを含むことができる。

２２０４において、複数の画像センサの第１の画像センサから第１のデータラインを受信する。２２０６において、複数の画像センサの第２の画像センサから第２のデータラインを受信する。たとえば、第１のセンサおよび第２のセンサは、図２のセンサ２０２、２０４であり得る。

２２０８において、第１のデータラインおよび第２のデータラインを合成して同期データラインを生成する。たとえば、方法２２００は、ラインバイアスによって、ライン上で、第１の画像センサから受信した第１のデータストリームと第２の画像センサから受信した第２のデータストリームとをインターリーブすることを含むことができる。同期データラインは、図５に示す第１のセンサ画像データ４２２と第２のセンサ画像データ４３２とを合成するコンバイナ４０６に関して説明したように形成され得る。

同期データラインは、図６のフレーム６６０などのフレームの一部を形成し得る。フレームは、第１の画像センサからの第１の画像データを含む第１のセクション（たとえば、第１のセクション６５２）と、第２の画像センサからの第２の画像データを含む第２のセクション（たとえば、第２のセクション６５４）と、第１のセクションと第２のセクションとの間に配設される非画像データを含むギャップセクション（たとえば、ギャップセクション６５６）とを含むことができる。他の実施形態では、フレームは、第１のセクションと第２のセクションとの間にギャップセクションを含まないことがある。

第１のデータラインを受信することは、第２のデータラインを受信することが完了する前に完了し得、同期データラインは、第２のデータラインを受信することが完了した後に生成され得る。一例として、図８の合成データライン８２２は、第２のセンサの第１のラインデータ８１２が受信された後に生成される。

３つ以上の画像センサを有する実施形態では、図１１に示したような、複数の画像センサの第３の画像センサから第３のデータラインが受信され得る。第３のデータラインは、第１のデータラインおよび第２のデータラインと合成されて、図１１の第１の同期データライン１１５０などの同期データラインを生成し得る。

図２３を参照すると、複数の画像センサに共通制御信号を与え、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期データラインを与える方法の特定の例示的な実施形態の流れ図が示され、全体的に２３００と称される。方法２３００は、例示的な、非限定的な例として、図２、図３、および図５のシステムのうちの１つまたは複数において実行され得る。

２３０２において、複数の画像センサに共通制御信号を与える。複数の画像センサの各々は、共通制御信号に応答して画像データを生成し得る。たとえば、共通制御信号は、図２のセンサシンクロナイザ２３０など、複数の画像センサの各々に結合されたセンサシンクロナイザによって与えられ得る。例示のために、センサシンクロナイザは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して、またはカメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して複数の画像センサの各々に結合され得る。

２３０４において、複数の画像センサの各々から同期データ出力を受信する。複数の画像センサの第１の画像センサから第１のデータラインが受信され得、複数の画像センサの第２の画像センサから第２のデータラインが受信され得る。第１のデータラインを受信することは、第２のデータラインを受信することが完了する前に完了し得、図８中で第２のセンサの第１のラインデータ８１２が受信された後に生成される合成データライン８２２などの同期データラインは、第２のデータラインを受信することが完了した後に生成され得る。

２３０６において、複数の画像センサの各々からの同期データ出力を合成して同期データラインを生成する。たとえば、図２のコンバイナ２０６は、ラインバイアスによって、ライン上で、第１の画像センサ２０２から受信した第１のデータストリームと第２の画像センサ２０４から受信した第２のデータストリームとをインターリーブし得る。

２３０８において、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期データラインを与える。同期データラインは、図６のフレーム６６０など、複数の行を有するフレームの一部を形成し得る。たとえば、フレームは、第１の画像センサからの第１の画像データを含む第１のセクションと、第２の画像センサからの第２の画像データを含む第２のセクションと、第１のセクションと第２のセクションとの間のギャップセクションとを含むことができる。

図２４を参照すると、複数の画像センサに共通制御信号を与え、複数の画像センサの各々から同期データ出力を受信する方法の特定の例示的な実施形態の流れ図が示され、全体的に２４００と称される。

２４０２において、複数の画像センサに共通制御信号を与える。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。たとえば、共通制御信号は、図２〜図５のいずれかのセンサシンクロナイザ２３０、図１８の制御同期ブロック１８４４、図１９の制御同期ブロック１９３６、またはそれらの任意の組合せなど、複数の画像センサの各々に結合されたセンサシンクロナイザによって与えられ得る。

２４０４において、複数の画像センサの各々から同期データ出力を受信する。同期データ出力は、第１の画像センサから受信した第１のデータラインと第２の画像センサから受信した第２のデータラインとを含むことができる。例示的な、非限定的な例として、図９の１ライン位相差、図８の２ライン位相差、または図１２の３ライン位相差など、第１の画像センサから受信した各データラインと第２の画像センサからの各対応するデータラインとの間の位相オフセットは実質的に一定であり得る。

図２５を参照すると、複数の画像センサにおいて共通制御信号を受信し、複数の画像センサの各々から同期データ出力を生成する方法の特定の例示的な実施形態の流れ図が示され、全体的に２５００と称される。

２５０２において、複数の画像センサにおいて共通制御信号を受信する。複数の画像センサの各々は、共通制御信号に応答して画像データを生成する。たとえば、共通制御信号は、図２〜図５のいずれかのセンサシンクロナイザ２３０、図１８の制御同期ブロック１８４４、図１９の制御同期ブロック１９３６、またはそれらの任意の組合せなど、複数の画像センサの各々に結合されたセンサシンクロナイザから受信され得る。

２５０４において、複数の画像センサの各々から同期データ出力を生成する。同期データ出力は、第１の画像センサから受信した第１のデータラインと第２の画像センサから受信した第２のデータラインとを含むことができる。例示的な、非限定的な例として、図９の１ライン位相差、図８の２ライン位相差、または図１２の３ライン位相差など、第１の画像センサから受信した各データラインと第２の画像センサからの各対応するデータラインとの間の位相オフセットは実質的に一定であり得る。

図２６を参照すると、単一カメラのための入力を有する画像信号プロセッサにおいて複数のセンサからのデータを合成する方法の特定の例示的な実施形態の流れ図が示され、全体的に２６００と称される。

２６０２において、単一カメラのための入力を有する画像プロセッサにおいて画像データのラインを受信する。画像データの各ラインは、第１のカメラによってキャプチャされた第１の画像からの第１のラインデータと、第２のカメラによってキャプチャされた第２の画像からの第２のラインデータとを含むことができる。例示的な、非限定的な例として、画像プロセッサは、図２〜図３または図５の画像信号プロセッサ２０８、図１３の画像プロセッサ１３０８、図１８のＶＦＥ１８３４〜１８４２、図１９のＶＦＥ１９３４〜１９４２、あるいはそれらの任意の組合せを含むことができる。

画像データのラインは、第１のカメラと第２のカメラとに結合されたコンバイナから画像プロセッサにおいて受信され得る。第１のカメラからの第１の画像データと第２のカメラからの第２の画像データとのラインごとの読出しは、コンバイナを使用して同期されて、画像データの各ラインを生成し得る。たとえば、コンバイナは、図２〜図３または図５のコンバイナ２０６、図１３のコンバイナ１３０６、図１８のデータアラインメントブロック１８２４〜１８３２、図１９のデータアラインメントブロック１９２４〜１９３２、あるいはそれらの任意の組合せであり得る。

２６０４において、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成する。第１のセクションと第２のセクションとは、３次元（３Ｄ）画像フォーマットまたは３Ｄビデオフォーマットを生成するために使用されるように構成され得る。

特定の実施形態では、出力フレームは処理されて３Ｄ画像データを生成し、この３Ｄ画像データはディスプレイデバイスに送られる。別の実施形態では、出力フレームは処理されて３Ｄビデオデータを生成し、この３Ｄビデオデータは、図１３のディスプレイデバイス１３１０などのディスプレイデバイスに送られる。例示のために、ディスプレイデバイスは、通信デバイス、カメラ、携帯情報端末、およびコンピュータのうちの少なくとも１つの構成要素であり得る。

図２７を参照すると、複数のセンサからのデータをフレームに合成する方法の例示的な実施形態の流れ図が示され、全体的に２７００と称される。例示的な例として、方法２７００は図２のシステム、図５のシステム、またはそれらの任意の組合せによって実行され得る。

２７０２において、図２の第１のセンサ２０２などの第１の画像センサから第１のデータストリームを受信する。図２の第１の画像データストリーム２１２、図６の第１のデータストリーム６０２、または図５のタイミングデータ信号４２０および画像データ信号４２２などの第１のデータストリームは、画像の第１の画像データに対応し得る。２７０４において、図２の第２のセンサ２０４などの第２の画像センサから第２のデータストリームを受信する。図２の第２の画像データストリーム２１４、図６の第２のデータストリーム６０４、または図５のタイミング信号データ４３０および画像データ信号４３２などの第２のデータストリームは、画像の第２の画像データに対応し得る。

２７０６において、第１のデータストリームからのデータと第２のデータストリームからのデータとを合成する。たとえば、図２のコンバイナ２０６または図５のコンバイナ２０６などのコンバイナは、第１のデータストリームからの第１の画像データと第２のデータストリームからの第２の画像データとを合成し、得られるフレームを生成し得る。例示のために、第１のデータストリームは、第１のラインインデックス値を有するラインデータ、第２のラインインデックス値を有するラインデータなどを含む、第１の画像データの第１のラインに関連するデータを含むことができる。第２のデータストリームは、第１のラインインデックス値を有する対応するラインデータ、第２のラインインデックス値を有する対応するラインデータなどを含む、第１のデータストリームのラインデータに対応するラインデータを含むことができる。第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータとは、互いに付加されるか、または合成されて単一の画像ラインを形成し得る。プロセスは、各ラインインデックス値に対して繰り返されて、図６のフレーム６６０などの得られるフレームを生成し得る。特定の実施形態では、フレームは、複数の行を含むことができ、各行は、ラインインデックス値に対応し、ラインインデックス値を有する第１の画像データのラインを記憶し、ラインインデックス値を有する第２の画像データの対応するラインを記憶する。特定の実施形態では、第１の画像データの第１のラインと第２の画像データの対応するラインとが単一画像ラインに合成されると、単一画像ラインのサイズは、第１の画像データの第１のラインまたは第２の画像データの対応するラインのサイズの実質的に２倍になる。

２７０８において、画像信号プロセッサにおいてフレームを処理して、処理済みフレームを生成する。特定の実施形態では、画像信号プロセッサは、図２の画像信号プロセッサ２０８または図５の画像信号プロセッサ２０８であり得、処理済みフレームは、図２の処理済みフレーム２４０または図６の処理済みフレーム６５０であり得る。特定の実施形態では、処理済みフレームは、第１のセクション６５２など、第１の画像センサからの第１の画像データを含む第１のセクションと、第２のセクション６５４など、第２の画像センサからの第２の画像データを含む第２のセクションと、図６のギャップセクション６５６などのギャップセクションとを含むことができる。ギャップセクションは、第１のセクションと第２のセクションとの間に配設される非画像データを含むことができる。特定の実施形態では、第１のセクションは第１の画像データのラインを含むことができ、第２のセクションは第２の画像データの対応するラインを含むことができる。

２７１０において、ディスプレイデバイスにおいて表示されるべき処理済みフレームを出力する。特定の実施形態では、第１の画像センサおよび第２の画像センサは各々、画像信号プロセッサに直接応答し、ディスプレイデバイスは、画像信号プロセッサから分離され得る。

図２８を参照すると、第１の画像センサと第２の画像センサとを同期させる方法の例示的な実施形態の流れ図が示され、全体的に２８００と称される。例示的な例として、方法２８００は図２のシステム２００、図５のシステム６００、またはそれらの任意の組合せにおいて実行され得る。

２８０２において、第１の画像センサから画像の第１の画像データを受信する。特定の実施形態では、第１の画像センサは、図２の第１のセンサ２０２であり得る。２８０４において、第１の画像センサから第１の画像データに関連する第１のデータストリームを受信する。特定の実施形態では、第１のデータストリームは、画像センサによって生成され得、図２の第１の画像データストリーム２１２、図６の第１のデータストリーム６０２、または図５のタイミングデータ信号４２０および画像データ信号４２２であり得る。

２８０６において、第２の画像センサから画像の第２の画像データを受信する。特定の実施形態では、第２の画像センサは、図２の第２のセンサ２０４であり得る。２８０８において、第２の画像センサから第２の画像データに関連する第２のデータストリームを受信する。特定の実施形態では、第２のデータストリームは、画像センサによって生成され得、図２の第２の画像データストリーム２１４、図６の第２のデータストリーム６０４、または図５のタイミングデータ信号４３０および画像データ信号４３２であり得る。

２８１０において、画像データ収集中に第１の画像センサと第２の画像センサとのラインごとの露光を同期させる。特定の実施形態では、同期は、図２のコンバイナ２０６または図５のコンバイナ２０６などのコンバイナを含むホストにおいて画像の画像データ収集中に行われ得る。特定の実施形態では、第１の画像センサと第２の画像センサとは互いに独立している。たとえば、図２の第１のセンサ２０２と第２のセンサ２０４とは、制御信号２３２を介して画像信号プロセッサ２０８に直接応答して、互いに独立したまま同様のタイミング特性を有する。２８１２において、第１のデータストリームと第２のデータストリームとをインターリーブする。特定の実施形態では、第１のデータストリームと第２のデータストリームとは、ラインバイアスによって、ライン上で、インターリーブされ得る。たとえば、第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータとは、互いに付加されてインターリーブされた単一の画像ラインを形成し得る。

したがって、合成データは、単一の画像信号プロセッサを使用して効率的に処理され得る。したがって、プロセッサが各センサに割り当てられる複数プロセッサシステムと比較して、全体的な画像システムのコストおよび複雑さが低減され得る。

図２９を参照すると、複数の画像センサからのデータを合成して３Ｄ画像データを生成する方法の特定の例示的な実施形態の流れ図が示され、全体的に２９００と称される。例示的な例として、方法２９００は図１３のシステムによって実行され得る。

本方法は、２９０２において、第１のカメラからの第１の画像データと第２のカメラからの第２の画像データとのラインごとの読出しを同期させて、画像データの行を生成することを含む。第１のカメラからの第１の画像データは、図１の第１の画像センサ１３０２からの画像データストリーム１３１４であり得、第２の画像データは、図１３の第２の画像センサ１３０４からの画像データストリーム１３１６であり得る。

本方法は、２９０４において、単一カメラのための入力を有する画像プロセッサにおいて画像データの行を受信することを含む。画像データの各行は、第１のカメラによってキャプチャされた第１の画像の行からのデータと、第２のカメラによってキャプチャされた第２の画像の行からのデータとを含む。画像データの行は、図７に示すデータ出力ストリーム７０６であり得る。

本方法は、２９０６において、画像プロセッサを用いて３Ｄ画像フォーマットまたは３Ｄビデオフォーマットのうちの１つを有する出力を生成することを含む。出力は、第１の画像と第２の画像とに対応する。２９０８において、出力をディスプレイデバイス（たとえば、図１３のディスプレイデバイス１３１０）に送る。

図３０を参照すると、複数のセンサからのデータをフレームに合成する方法の例示的な実施形態の流れ図が示され、全体的に３０００と称される。例示的な例として、方法３０００は図１３のシステムによって実行され得る。

３００２において、図１３の第１の画像センサ１３０２などの第１の画像センサから第１のデータストリームを受信する。図１３の第１の画像データストリーム１３１４または図７の第１のデータストリーム７０２などの第１のデータストリームは、第１の画像の第１の画像データに対応し得る。３００４において、図１３の第２の画像センサ１３０４などの第２の画像センサから第２のデータストリームを受信する。図１３の第２の画像データストリーム１３１６または図７の第２のデータストリーム７０４などの第２のデータストリームは、第２の画像の第２の画像データに対応し得る。第１の画像および第２の画像はシーンの画像であり得る。シーンの第１の画像と第２の画像とは、実質的に同時に撮影され得るか、または異なる時間に撮影され得る。第１の画像は、第２の画像とは異なるバンテージポイント（vantage point）から撮影され得、したがって、深さ情報は、シーンの第１の画像と第２の画像とから判断され得る。

３００６において、第１のデータストリームからのデータと第２のデータストリームからのデータとを合成する。たとえば、図１３のコンバイナ１３０６などのコンバイナは、第１のデータストリームからの第１の画像データと第２のデータストリームからの第２の画像データとを合成し、得られるフレームを生成し得る。例示のために、第１のデータストリームは、第１のラインインデックス値を有するラインデータ、第２のラインインデックス値を有するラインデータなどを含む、第１の画像データの第１のラインに関連するデータを含むことができる。第２のデータストリームは、第１のラインインデックス値を有する対応するラインデータ、第２のラインインデックス値を有する対応するラインデータなどを含む、第１のデータストリームのラインデータに対応するラインデータを含むことができる。第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータとは、互いに付加されるか、または合成されて単一の画像ラインを形成し得る。プロセスは、各ラインインデックス値に対して繰り返されて、図７のフレーム７４０などの得られるフレームを生成し得る。特定の実施形態では、フレームは、複数の行を含むことができ、各行は、ラインインデックス値に対応し、ラインインデックス値を有する第１の画像データのラインを記憶し、ラインインデックス値を有する第２の画像データの対応するラインを記憶する。特定の実施形態では、第１の画像データの第１のラインと第２の画像データの対応するラインとが単一画像ラインに合成されると、単一画像ラインのサイズは、第１の画像データの第１のラインまたは第２の画像データの対応するラインのサイズの実質的に２倍になる。

３００８において、単一カメラのための入力を介して画像データの行としてフレームを受信する。特定の実施形態では、単一カメラのための入力は、図１３の画像プロセッサ１３０８などの画像プロセッサの入力であり得る。フレームは、図７のフレーム７４０であり得る。

３０１０において、フレームから出力を生成する。出力は、３Ｄ画像フォーマットまたは３Ｄビデオフォーマットのうちの１つを有し得る。出力は、第１の画像と第２の画像とに対応する。出力は、図１３の処理済みフレームデータ１３２０であり得る。３０１２において、ディスプレイデバイスに出力を送る。特定の実施形態では、ディスプレイデバイスは、図１３のディスプレイデバイス１３１０であり得る。

図３１を参照すると、第１の画像センサと第２の画像センサとを同期させる方法の例示的な実施形態の流れ図が示され、全体的に３１００と称される。例示的な例として、方法３１００は図１３のシステム１３００によって実行され得る。

３１０２において、第１の画像センサから画像の第１の画像データを受信する。特定の実施形態では、第１の画像センサは、図１３の第１の画像センサ１３０２であり得る。３１０４において、第１の画像センサから第１の画像データに関連する第１のデータストリームを受信する。特定の実施形態では、第１のデータストリームは、画像センサによって生成され得、図１３の第１の画像データストリーム１３１４または図７の第１のデータストリーム７０２であり得る。

３１０６において、第２の画像センサから画像の第２の画像データを受信する。特定の実施形態では、第２の画像センサは、図１３の第２の画像センサ１３０４であり得る。３１０８において、第２の画像センサから第２の画像データに関連する第２のデータストリームを受信する。特定の実施形態では、第２のデータストリームは、画像センサによって生成され得、図１３の第２の画像データストリーム１３１６または図７の第２のデータストリーム７０４であり得る。

３１１０において、画像データ収集中に第１の画像センサと第２の画像センサとのラインごとの露光を同期させる。特定の実施形態では、同期は、図１３のコンバイナ１３０６などのコンバイナを含むホストにおいて画像の画像データ収集中に行われ得る。特定の実施形態では、第１の画像センサと第２の画像センサとは互いに独立している。たとえば、図１３の第１の画像センサ１３０２と第２の画像センサ１３０４とは、制御信号を介して画像プロセッサ１３０８に直接応答して、互いに独立したまま同様のタイミング特性を有し得る。別の実施形態では、第１の画像センサ１３０２と第２の画像センサ１３０４とは、制御信号を介してコンバイナ１３０６に直接応答して、互いに独立したまま同様のタイミング特性を有する。３１１２において、第１のデータストリームと第２のデータストリームとをインターリーブする。特定の実施形態では、第１のデータストリームと第２のデータストリームとは、ラインバイアスによって、ライン上で、インターリーブされ得る。たとえば、第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータとは、互いに付加されてインターリーブされた単一の画像ラインを形成し得る。

したがって、合成データは、単一の画像プロセッサを使用して効率的に処理され得る。したがって、プロセッサが各センサに割り当てられる複数プロセッサシステムと比較して、全体的な画像システムのコストおよび複雑さが低減され得る。

図３２を参照すると、画像プロセッサを用いて３Ｄ画像を生成する方法の例示的な実施形態の流れ図が示され、全体的に３２００と称される。画像プロセッサは、図１３の画像プロセッサ１３０８であり得る。方法３２００は、画像プロセッサがコンバイナ（たとえば、図１のコンバイナ１３０６）から受信したフレームまたはメモリからのフレームを扱うとき、あるいは３Ｄ画像を表示するデバイスのズーム機能またはパン機能を使用して、表示された３Ｄ画像を変更することをユーザが選択したときに使用され得る。

３２０２において、画像プロセッサは、キャリブレーション行列のパラメータに基づいて第１の画像と第２の画像とを修正する。キャリブレーション行列は、第１の画像と第２の画像とをキャプチャする第１の画像センサと第２の画像センサとの相対位置の調整を行い得る。２つのカメラの相対位置は、シーンひずみと目の疲れとを最小限に抑えることを保証するように選択され得る。第１の画像センサの位置と第２の画像センサの位置とが互いに対して固定された、３Ｄ画像を撮影するデバイスの場合、キャリブレーション行列は製造プロセス中に判断され得る。キャリブレーションはデバイスのメモリに記憶され得る。第１の画像センサ、第２の画像センサ、またはその両方の位置が調整可能である、３Ｄ画像を撮影するデバイスの場合、キャリブレーション行列を判断し、メモリにキャリブレーション行列を記憶するキャリブレーションルーチンを実行するために、デバイスのプロセッサが使用され得る。キャリブレーションルーチンは、第１の画像センサと第２の画像センサとを画像センサから設定距離に位置する特定のキャリブレーションシーン上に合焦させることを必要とし得る。キャリブレーションルーチンは、画像センサの互いに対する位置調整の後に実行され得る。

３２０４において、画像プロセッサは第１の画像中でキーポイントを検出する。画像プロセッサは、第１の画像中で特徴的な（高周波数）ポイントを検出し得る。３２０６において、第１の画像および第２の画像中のローカル画像パッチ間のブロックマッチングを行って、第１の画像中で検出された各キーポイントについての視差（disparity）を計算する。誤った一致が破棄されることを保証するために、信頼性推定値（reliability estimator）がキーポイントごとに生成され得る。３２０８において、画像プロセッサは、計算された視差から判断される視差範囲に基づいてコンバージェンス調整を判断する。コンバージェンス調整は、シーン深さと表示ジオメトリとを考慮に入れる。

３２１０において、３Ｄ画像を表示することになるディスプレイデバイスが出力を生成する能力の範囲内にコンバージェンス調整があるとき、画像プロセッサは、コンバージェンス調整に基づいて第１の画像および第２の画像のうちの少なくとも１つを選択的にシフトする。３２１２において、ディスプレイデバイスが出力を生成する能力の範囲内にコンバージェンス調整がないとき、画像プロセッサは、シーンの大部分に一致するように視差を調整して第１の画像を使用する。３２１４において、画像プロセッサは、ディスプレイデバイスの１つまたは複数のディスプレイ特性に基づいて出力をクロップする。

図３３は、複数の画像センサからのデータを合成する画像処理システム３３００の特定の実施形態のブロック図である。画像処理システム３３００は、第１のレンズ３３０４に結合され、第２のレンズ３３０６に結合され、ポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット３３０８に結合された画像センサデバイス３３０２を含むことができる。画像センサデバイス３３０２は、コンバイナ３３１０と、単一カメラのための入力を受信する画像プロセッサ３３１２とを含むことができる。画像プロセッサ３３１２は、コンバイナ３３１０から、またはポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット３３０８のメモリデバイス３３１４から単一カメラ入力を受信し得る。コンバイナ３３１０は、図１３のシステム１３００を実装することによって、図２９〜図３１の実施形態のいずれかに従って動作することによって、またはそれらの任意の組合せなどによって第１のデータストリームからのデータと第２のデータストリームからのデータとを合成してフレームを生成し得る。

コンバイナ３３１０は、第１のセンサ３３１６から第１のアナログデジタル変換器３３１８を介して画像データを受信するために結合される。コンバイナ３３１０は、第２のセンサ３３２０から第２のアナログデジタル変換器３３２２を介して画像データを受信するために結合される。コンバイナ３３１０または画像プロセッサ３３１２は、第１のセンサ３３１６と第２のセンサ３３２０とを制御し得、これらのセンサは、場合によっては互いに独立していることがある。特定の実施形態では、画像プロセッサ３３１２は、（影で示された）センサシンクロナイザ３３３０を介して第１のセンサ３３１６と第２のセンサ３３２０とを制御し得る。

特定の実施形態では、コンバイナ３３１０など、画像処理回路を含む集積回路は、フレームを生成するように構成される。画像処理回路は、第１のセンサ３３１６などの第１の画像センサから第１のデータストリームを受信するように、第２のセンサ３３２０などの第２の画像センサから第２のデータストリームを受信するように、および第１のデータストリームからのデータと第２のデータストリームからのデータとを合成してフレームを生成するように構成される。たとえば、図７の第１のデータストリーム７０２と第２のデータストリーム７０４とはコンバイナ３３１０によって合成されて、図７のフレーム７４０を形成し得る。

コンバイナ３３１０からの出力は、ポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット３３０８のメモリデバイス３３１４に、画像プロセッサ３３１２に、またはその両方に送られ得る。画像プロセッサ３３１２は、画像処理システムによって実行される１つまたは複数の演算などの追加の画像処理演算を実行するように構成され得る。画像プロセッサ３３１２は、コンバイナ３３１０から、またはメモリデバイス３３１４からフレームを受信し得る。画像プロセッサ３３１２は、３Ｄ画像フォーマットまたは３Ｄビデオフォーマットを有する処理済みフレームなどの処理済み画像データを生成し得る。一実施形態では、処理済み画像データを生成するための平均時間は約２０ミリ秒である。画像プロセッサ３３１２は、さらなる処理、送信、記憶、ディスプレイデバイス３３２４への表示、またはそれらの任意の組合せのためのポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット３３０８に処理済み画像データを与え得る。

図３４を参照すると、本明細書で説明する、フレーム生成器モジュールを含むワイヤレス電話などの電子デバイスの特定の例示的な実施形態のブロック図が示され、全体的に３４００と称される。デバイス３４００は、メモリ３４３２に結合されたプロセッサ３４１０を含む。プロセッサは、コントローラ３４６４を含むか、またはそれに結合される。代替的に、電子デバイスは、セットトップボックス、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、ナビゲーションデバイス、通信デバイス、携帯情報端末（ＰＤＡ）、カメラ、固定ロケーションデータユニット、またはコンピュータであり得る。

図３４はまた、プロセッサ３４１０とディスプレイ３４２８とに結合されたディスプレイコントローラ３４２６を示す。コーダ／デコーダ（コーデック）３４３４はまた、プロセッサ３４１０に結合され得る。スピーカー３４３９およびマイクロフォン３４３８はコーデック３４３４に結合され得る。カメラコントローラ３４７０はまた、プロセッサ３４１０に結合され得る。第１のカメラ３４７２および第２のカメラ３４７３はカメラコントローラ３４７０に結合され得る。

図３４はまた、ワイヤレスインターフェース３４４０がプロセッサ３４１０とワイヤレスアンテナ３４４２とに結合され得ることを示す。特定の実施形態では、プロセッサ３４１０、ディスプレイコントローラ３４２６、メモリ３４３２、コーデック３４３４、ワイヤレスインターフェース３４４０、およびコントローラ３４６４は、システムインパッケージまたはシステムオンチップ３４２２中に含まれる。特定の実施形態では、入力デバイス３４３０および電源３４４４はオンチップシステム３４２２に結合される。さらに、特定の実施形態では、図３４に示したように、ディスプレイ３４２８、入力デバイス３４３０、スピーカー３４３９、マイクロフォン３４３８、ワイヤレスアンテナ３４４２、および電源３４４４は、オンチップシステム３４２２の外部にある。しかしながら、各々は、インターフェースまたはコントローラなど、オンチップシステム３４２２の構成要素に結合され得る。

特定の実施形態では、プロセッサ３４１０は、メモリ３４３２に記憶されたプログラム命令３４８２など、プロセッサ可読媒体からプロセッサ可読プログラム命令を実行する。たとえば、メモリ３４３２は、プロセッサ３４１０によって読取り可能であり得、命令３４８２は、図２２の方法２２００を実行するためにプロセッサ３４１０によって実行可能である動作命令であり得る。たとえば、命令３４８２は、カメラ３４７３などの第１の画像センサから第１のデータストリームを受信するために、カメラ３４７２などの第２の画像センサから第２のデータストリームを受信するために、および第１のデータストリームからのデータと第２のデータストリームからのデータとを合成してフレームを生成するためにプロセッサ３４１０によって実行可能である命令を含むことができる。たとえば、第１の画像センサは図２の第１のセンサ２０２であり得、第２の画像センサは図２の第２のセンサ２０４であり得る。命令３４８２は、プロセッサ３４１０において、または画像信号プロセッサ（図示せず）においてフレームを処理して処理済みフレームを生成するためにプロセッサ３４１０によって実行可能である命令をさらに含むことができる。命令３４８２は、ディスプレイデバイス３４２８において表示されるべきであるか、または画像データ３４８０としてメモリ３４３２に記憶されるべき処理済みフレームを出力するためにプロセッサ３４１０によって実行可能である命令をさらに含むことができる。

図３５を参照すると、モバイルフォンなどの電子デバイスの特定の例示的な実施形態のブロック図が示され、全体的に３５００と称される。デバイス３５００は、メモリ３５０４に結合されたプロセッサ３５０２を含む。プロセッサ３５０２は、画像プロセッサ３５０６を含むか、またはそれに結合される。画像プロセッサ３５０６は、単一カメラ入力を受信し得、３Ｄデータ３５９０を出力し得る。３Ｄデータ３５９０は、３Ｄ画像フォーマットまたは３Ｄビデオフォーマットであり得る。代替的に、電子デバイス３５００は、セットトップボックス、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、ナビゲーションデバイス、通信デバイス、携帯情報端末（ＰＤＡ）、カメラ、固定ロケーションデータユニット、コンピュータ、またはそれらの組合せであり得る。

図３５はまた、プロセッサ３５０２とディスプレイ３５１０とに結合されたディスプレイコントローラ３５０８を示す。コーダ／デコーダ（コーデック）３５１２はまた、プロセッサ３５０２に結合され得る。スピーカー３５１４およびマイクロフォン３５１６はコーデック３５１２に結合され得る。カメラコントローラ３５１８はまた、プロセッサ３５０２に結合され得る。カメラコントローラ３５１８はコンバイナ３５２０を含むことができる。コンバイナ３５２０は、画像プロセッサ３５０６に画像データを与え得る。例示的な例として、コンバイナ３５２０は図１３のコンバイナ１３０６、または図７に関して説明したような複数のカメラからのデータを合成するように構成された他のハードウェア回路またはプロセッサであり得る。第１のカメラ３５２２および第２のカメラ３５２４はカメラコントローラ３５１８に結合され得る。

図３５はまた、ワイヤレスインターフェース３５２６がプロセッサ３５０２とワイヤレスアンテナ３５２８とに結合され得ることを示す。特定の実施形態では、プロセッサ３５０２、ディスプレイコントローラ３５０８、メモリ３５０４、コーデック３５１２、カメラコントローラ３５１８、およびワイヤレスインターフェース３５２６は、システムインパッケージまたはシステムオンチップ３５３０中に含まれる。特定の実施形態では、入力デバイス３５３２および電源３５３４はオンチップシステム３５３０に結合される。さらに、特定の実施形態では、図３５に示したように、ディスプレイ３５１０、入力デバイス３５３２、スピーカー３５１４、マイクロフォン３５１６、ワイヤレスアンテナ３５２８、および電源３５３４は、オンチップシステム３５３０の外部にある。しかしながら、各々は、インターフェースまたはコントローラなど、オンチップシステム３５３０の構成要素に結合され得る。

特定の実施形態では、プロセッサ３５０２は、メモリ３５０４に記憶されたプログラム命令３５３６など、プロセッサ可読媒体からプロセッサ可読プログラム命令を実行する。たとえば、メモリ３５０４は、プロセッサ３５０２によって読取り可能であり得、命令３５３６は、図２５の方法２５００を実行するためにプロセッサ３５０２によって実行可能である動作命令であり得る。たとえば、命令３５３６は、カメラ３５２２などの第１の画像センサから第１のデータストリームを受信するために、カメラ３５２４などの第２の画像センサから第２のデータストリームを受信するために、およびカメラコントローラ３５１８のコンバイナ３５２０を使用して第１のデータストリームからのデータと第２のデータストリームからのデータとを合成してフレームを生成するためにプロセッサ３５０２によって実行可能である命令を含むことができる。たとえば、第１の画像センサは図１３の第１の画像センサ１３０２であり得、第２の画像センサは図１３の第２の画像センサ１３０４であり得る。命令３５３６は、画像プロセッサ３５０６においてフレームを処理して処理済みフレームを生成するためにプロセッサ３５０２によって実行可能である命令をさらに含むことができる。命令３５３６は、処理済みフレームを３Ｄデータとしてディスプレイデバイス３５１０において表示するためのディスプレイコントローラ３５０８に出力するために、または処理済みフレームを画像データ３５３８としてメモリ３５０４に記憶するためにプロセッサ３５０２によって実行可能である命令をさらに含むことができる。

さらに、本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップを、上記では概して、それらの機能に関して説明した。そのような機能をハードウェアとして実装するか、プロセッサによって実行されるソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。

図２２〜図３２の方法は、コンピュータ可読命令の形態でメモリに記憶され得るプログラムコードを実行することによって実行され得る。その場合、デジタル信号プロセッサ（ＤＳＰ）、画像信号プロセッサ（ＩＳＰ）、または他のプロセッサなどのプロセッサは、画像処理方法のうちの１つまたは複数を実行するためにメモリに記憶された命令を実行し得る。ある場合には、これらの方法は、画像処理を加速するために様々なハードウェア構成要素を呼び出すＤＳＰまたはＩＳＰによって実行され得る。他の場合には、本明細書で説明するユニットは、マイクロプロセッサ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはそれらの任意の組合せとして実装され得、これらの方法は、それらによって実行され得る。

本明細書で開示する実施形態に関して説明した方法またはアルゴリズムのステップは、直接ハードウェアで実施され得るか、プロセッサによって実行されるソフトウェアモジュールで実施され得るか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、または当技術分野で知られている任意の他の形態の非一時的コンピュータ可読記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体は、プロセッサに一体化され得る。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に常駐し得る。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末中に常駐し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として常駐し得る。

開示した実施形態の上記の説明は、開示した実施形態を当業者が作成または使用できるように行ったものである。これらの実施形態への様々な変更は、当業者にはすぐに明らかになり、本明細書で定義された原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示した実施形態に限定されるものではなく、特許請求の範囲によって定義される原理および新規の特徴と合致することが可能な最も広い範囲が与えられるべきものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 複数の画像センサに共通制御信号を与えることであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
前記複数の画像センサの各々から同期データ出力を受信することと、
を具備する方法。
［２］ 前記同期データ出力は、第１の画像センサから受信した第１のデータラインと第２の画像センサから受信した第２のデータラインとを含み、
前記第１の画像センサから受信した各データラインと前記第２の画像センサからの各対応するデータラインとの間の位相オフセットは、実質的に一定である、上記［１］に記載の方法。
［３］ 前記共通制御信号は、前記複数の画像センサの各々に結合されたセンサシンクロナイザによって与えられる、上記［１］に記載の方法。
［４］ 前記センサシンクロナイザは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、上記［３］に記載の方法。
［５］ 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、上記［４］に記載の方法。
［６］ 前記センサシンクロナイザは、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［３］に記載の方法。
［７］ 前記センサシンクロナイザは、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［３］に記載の方法。
［８］ 複数の画像センサで共通制御信号を受信することであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
前記複数の画像センサの各々から同期データ出力を生成することと、
を具備する方法。
［９］ 前記同期データ出力は、第１の画像センサによって生成された第１のデータラインと第２の画像センサによって生成された第２のデータラインとを含み、
前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、上記［８］に記載の方法。
［１０］ 前記共通制御信号が、前記複数の画像センサの各々に結合されたセンサシンクロナイザから受信される、上記［８］に記載の方法。
［１１］ 前記共通制御信号は、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々で受信される、上記［８］に記載の方法。
［１２］ 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、上記［１１］に記載の方法。
［１３］ 前記共通制御信号は、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々で受信される、上記［８］に記載の方法。
［１４］ 前記共通制御信号が、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々で受信される、上記［８］に記載の方法。
［１５］ 複数の画像センサに画像データを生成させるために、前記複数の画像センサに共通制御信号を与えるように構成されたセンサシンクロナイザと、
前記複数の画像センサの各々から同期データ出力を受信するように構成されたセンサデータインターフェースと、
を具備する装置。
［１６］ 前記センサシンクロナイザは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、上記［１５］に記載の装置。
［１７］ 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、上記［１５］に記載の装置。
［１８］ 前記センサシンクロナイザは、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［１５］に記載の装置。
［１９］ 前記センサシンクロナイザは、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［１５］に記載の装置。
［２０］ 第１の画像センサと、
第２の画像センサと、
を具備し、
前記第１の画像センサと前記第２の画像センサとは、共通制御信号を受信するように構成され、前記共通制御信号に応答して同期データ出力を生成する、装置。
［２１］ 前記同期データ出力は、前記第１の画像センサによって生成された第１のデータラインと前記第２の画像センサによって生成された第２のデータラインとを含み、
前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、上記［２０］に記載の装置。
［２２］ 前記第１の画像センサと前記第２の画像センサとは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記共通制御信号を受信するように構成される、上記［２０］に記載の装置。
［２３］ 前記第１の画像センサと前記第２の画像センサとは、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記共通制御信号を受信するように構成される、上記［２０］に記載の装置。
［２４］ 前記第１の画像センサと前記第２の画像センサとは、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記共通制御信号を受信するように構成される、上記［２０］に記載の装置。
［２５］ 複数の画像センサに画像データを生成させるために、前記複数の画像センサに共通制御信号を与えるための手段と、
前記複数の画像センサの各々から同期データ出力を受信するための手段と、
を具備する装置。
［２６］ 前記共通制御信号を与えるための前記手段は、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、上記［２５］に記載の装置。
［２７］ 前記共通制御信号を与えるための前記手段は、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［２５］に記載の装置。
［２８］ 前記共通制御信号を与えるための前記手段は、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、上記［２５］に記載の装置。
［２９］ 第１の画像データを生成するための手段と、
第２の画像データを生成するための手段と、
を具備し、
前記第１の画像データを生成するための前記手段と前記第２の画像データを生成するための前記手段とは、共通制御信号を受信するように構成され、前記共通制御信号に応答して同期データ出力を生成する、装置。
［３０］ 前記同期データ出力は、前記第１の画像データを生成するための前記手段によって生成された第１のデータラインと前記第２の画像データを生成するための前記手段によって生成された第２のデータラインとを含み、
前記第１の画像データを生成するための前記手段からの各データライン出力と前記第２の画像データを生成するための前記手段からの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、上記［２９］に記載の装置。
［３１］ 前記第１の画像データを生成するための前記手段と前記第２の画像データを生成するための前記手段とは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記共通制御信号を受信するように構成される、上記［２９］に記載の装置。
［３２］ プロセッサによって実行されたとき、前記プロセッサに、
複数の画像センサに共通制御信号を与えることであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
前記複数の画像センサの各々から同期データ出力を受信することと、
を行わせる命令を備える非一時的コンピュータ可読媒体。
［３３］ 前記同期データ出力は、第１の画像センサから受信した第１のデータラインと第２の画像センサから受信した第２のデータラインとを含み、
前記第１の画像センサから受信した各データラインと前記第２の画像センサからの各対応するデータラインとの間の位相オフセットは、実質的に一定である、上記［３２］に記載の非一時的コンピュータ可読媒体。
［３４］ プロセッサによって実行されたとき、前記プロセッサに、
複数の画像センサにおいて共通制御信号を受信することであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
前記複数の画像センサの各々から同期データ出力を生成することと、
を行わせる命令を備える非一時的コンピュータ可読媒体。
［３５］ 前記同期データ出力は、第１の画像センサによって生成された第１のデータラインと第２の画像センサによって生成された第２のデータラインとを含み、
前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、上記［３４］に記載の非一時的コンピュータ可読媒体。

Claims (35)

1. 複数の画像センサに共通制御信号を与えることであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
   前記複数の画像センサの各々から、データラインを含むデータ出力を受信することと、
   第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファすることと、
   同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成することと、
   画像プロセッサの単一カメラ入力を介して、前記画像プロセッサに、前記同期データラインを与えることと、
   を具備する方法。
2. 前記第１の画像センサから受信した各データラインと前記第２の画像センサからの各対応するデータラインとの間の位相オフセットは、実質的に一定である、請求項１に記載の方法。
3. 前記共通制御信号は、前記複数の画像センサの各々に結合されたセンサシンクロナイザによって与えられる、請求項１に記載の方法。
4. 前記センサシンクロナイザは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、請求項３に記載の方法。
5. 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、請求項４に記載の方法。
6. 前記第１の画像センサからの前記少なくとも１つのデータラインは、第１の行ピクセル値を備え、
   前記第２の画像センサからの対応するデータラインは、第２の行ピクセル値を備え、
   前記第１の行ピクセル値は、前記第２の行ピクセル値と合成され、未加工ピクセル値の合成された行を生成する、請求項３に記載の方法。
7. 前記第１の行ピクセル値および前記第２の行ピクセル値は、ベイヤーフィルタパターンの行に対応し、
   前記合成された行の未加工ピクセル値は、単一プロセッサでデモザイクされる、請求項６に記載の方法。
8. 複数の画像センサで共通制御信号を受信することであって、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
   前記複数の画像センサの各々から、データラインを含むデータ出力を生成することと、
   第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファすることと、
   同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成することと、
   画像プロセッサの単一カメラ入力を介して、前記画像プロセッサに、前記同期データラインを与えることと、
   を具備する方法。
9. 前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、請求項８に記載の方法。
10. 前記共通制御信号が、前記複数の画像センサの各々に結合されたセンサシンクロナイザから受信される、請求項８に記載の方法。
11. 前記共通制御信号は、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々で受信される、請求項８に記載の方法。
12. 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、請求項１１に記載の方法。
13. 前記共通制御信号は、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々で受信される、請求項８に記載の方法。
14. 前記共通制御信号が、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々で受信される、請求項８に記載の方法。
15. 複数の画像センサに画像データを生成させるために、前記複数の画像センサに共通制御信号を与えるように構成されたセンサシンクロナイザと、
    前記複数の画像センサの各々から、データラインを含むデータ出力を受信するように構成されたセンサデータインターフェースと、
    第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインを格納するように構成されたバッファと、
    同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成するように構成されたコンバイナと、
    画像プロセッサの単一カメラ入力を介して受信した前記同期データラインを処理する画像プロセッサと、
    を具備する装置。
16. 前記センサシンクロナイザは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、請求項１５に記載の装置。
17. 前記共通制御信号は、カメラリセット信号と、カメラクロック信号と、制御クロック信号と、制御データ信号とを含む、請求項１５に記載の装置。
18. 前記センサシンクロナイザは、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、請求項１５に記載の装置。
19. 前記センサシンクロナイザは、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、請求項１５に記載の装置。
20. 第１の画像センサと、
    第２の画像センサと、
    バッファと、
    コンバイナと、
    画像プロセッサと、
    を具備し、
    前記第１の画像センサと前記第２の画像センサは、共通制御信号を受信するように構成され、前記共通制御信号に応答して、データラインを含むデータ出力をそれぞれ生成し、
    前記バッファは、第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインを格納するように構成され、
    前記コンバイナは、同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成するように構成され、
    前記画像プロセッサは、前記画像プロセッサの単一カメラ入力を介して受信した前記同期データラインを処理するように構成される、
    装置。
21. 前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、請求項２０に記載の装置。
22. 前記第１の画像センサと前記第２の画像センサは、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記共通制御信号を受信するように構成される、請求項２０に記載の装置。
23. 前記第１の画像センサと前記第２の画像センサは、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記共通制御信号を受信するように構成される、請求項２０に記載の装置。
24. 前記第１の画像センサと前記第２の画像センサは、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記共通制御信号を受信するように構成される、請求項２０に記載の装置。
25. 複数の画像センサに画像データを生成させるために、前記複数の画像センサに共通制御信号を与えるための手段と、
    前記複数の画像センサの各々から、データラインを含むデータ出力を受信するための手段と、
    第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファするための手段と、
    同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成する手段と、
    画像プロセッサの単一カメラ入力を介して受信した前記同期データラインを処理する手段と、
    を具備する装置。
26. 前記共通制御信号を与えるための前記手段は、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記複数の画像センサの各々に結合される、請求項２５に記載の装置。
27. 前記共通制御信号を与えるための前記手段は、カメラシリアルインターフェース（ＣＳＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、請求項２５に記載の装置。
28. 前記共通制御信号を与えるための前記手段は、カメラパラレルインターフェース（ＣＰＩ）仕様に準拠するインターフェースを介して前記複数の画像センサの各々に結合される、請求項２５に記載の装置。
29. 第１の画像データを生成するための手段と、
    第２の画像データを生成するための手段と、
    バッファするための手段と、
    合成する手段と、
    処理する手段と、
    を具備し、
    前記第１の画像データを生成するための前記手段と前記第２の画像データを生成するための前記手段は、共通制御信号を受信するように構成され、前記共通制御信号に応答して、データラインを含むデータ出力をそれぞれ生成し、
    前記バッファするための前記手段は、第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファする、
    前記合成する手段は、同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成し、
    前記処理する手段は、画像プロセッサの単一カメラ入力を介して受信した前記同期データラインを処理する、装置。
30. 前記第１の画像データを生成するための前記手段からの各データライン出力と前記第２の画像データを生成するための前記手段からの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、請求項２９に記載の装置。
31. 前記第１の画像データを生成するための前記手段と前記第２の画像データを生成するための前記手段は、集積回路間（Ｉ２Ｃ）制御インターフェースを介して前記共通制御信号を受信するように構成される、請求項２９に記載の装置。
32. プロセッサによって実行されたとき、前記プロセッサに、
    複数の画像センサに共通制御信号を与え、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
    前記複数の画像センサの各々から、データラインを含むデータ出力を受信することと、
    第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファすることと、
    同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成することと、
    画像プロセッサの単一カメラ入力を介して、前記画像プロセッサに、前記同期データラインを与えることと、
    を行わせる命令を備える非一時的コンピュータ可読記憶媒体。
33. 前記第１の画像センサから受信した各データラインと前記第２の画像センサからの各対応するデータラインとの間の位相オフセットは、実質的に一定である、請求項３２に記載の非一時的コンピュータ可読記憶媒体。
34. プロセッサによって実行されたとき、前記プロセッサに、
    複数の画像センサにおいて共通制御信号を受信し、前記複数の画像センサの各々は、前記共通制御信号に応答して画像データを生成することと、
    前記複数の画像センサの各々から、データラインを含むデータ出力を生成することと、
    第１の画像センサからの少なくとも１つのデータラインを、第２の画像センサからの対応するデータラインと整列させるために、前記第１の画像センサからの前記少なくとも１つのデータラインをバッファすることと、
    同期データラインを生成するために、前記第１および第２の画像センサの各々からの前記整列されたデータラインを合成することと、
    画像プロセッサの単一カメラ入力を介して、前記画像プロセッサに、前記同期データラインを与えることと、
    を行わせる命令を備える非一時的コンピュータ可読記憶媒体。
35. 前記第１の画像センサからの各データライン出力と前記第２の画像センサからの各対応するデータライン出力との間の位相オフセットは、実質的に一定である、請求項３４に記載の非一時的コンピュータ可読記憶媒体。

Images