JP5486317B2 - 画像を拡張する二重レンズカメラの操作 - Google Patents

Description

本発明は、デジタル画像のファイルを生成するデジタルカメラに関する。よりに詳細には、複数のレンズと画像センサとを使用して、改良された画像性能を提供するデジタルカメラに関する。

現在、デジタルカメラの多くは、ズーム撮影レンズ（zoom taking lens）及び単一のカラー画像センサを使用して、静止画像及び動画像を捕捉（capture）する。そして、捕捉した画像を処理して、カメラ内部のデジタルメモリに記憶するデジタル画像ファイルを生成する。そして、デジタル画像ファイルは、コンピュータに転送し、表示し、印刷し、インターネットを介して共有することができる。

動く被写体の鮮明な画像を捕捉するために、デジタルカメラは正確な自動レンズ焦点システム（即ち、自動焦点システム）を提供する必要がある。自動焦点システムは、シャッタボタンが押された時と、静止画像が捕捉された時との間の「シャッタ遅延(shutter delay)」を最小化するために、正確な焦点を瞬時に得る能力が必要である。また、自動焦点システムは、ビデオ画像を捕捉する連続画像捕捉モードで動作する必要がある。例えば、ビデオモードでは、焦点は、ビデオ画像が連続的に捕捉されている間、リアルタイムで調整すべきである。

多くデジタルカメラとスキャナとは、画像センサと調整可能な焦点を有する撮影レンズシステムとを使用して画像を捕捉する。一般的には、調整可能な焦点を有する撮影レンズシステムなどの焦点距離は、所望の場面（scene）の被写体エリアに最適な焦点を提供するように構成される検出、制御、及び駆動システムによって、複数の異なる設定の１つに自動的に設定できる。焦点計測と調整可能な焦点レンズとに基づく自動的に調整可能な焦点設定を提供するレンズシステムは、本明細書において自動焦点システムと称する。通常は、デジタルカメラは、レンジファインダシステム（rangefinder system）及びＴＴＬ焦点システム（"trough-the-lens" focus system）の２つの種類の自動焦点システムの１つを使用する。

レンジファインダシステムは、音波式レンジファインダ、二重レンズレンジファインダのようなレンジファインダセンサを使用して、カメラからレンジファインダシステムの視野にある場面の１つ以上の部分までの距離を決定する。音波レンジファインダは、投射音波信号と反射音波信号との位相のオフセットを計測して、場面の被写体との距離を推測する。二重レンズレンジファインダは、一致させた一対の画像を捕捉する２つの一致するセンサエリアとともに、ある距離によって隔てられた２枚のレンズを備える。デジタルカメラにおいては、二重レンズレンジファインダは、一致させた一対の低解像度の画像を捕捉する２つのセンサエリアとともに、ある距離によって隔てられた２枚のレンズを含む二重レンズレンジファインダモジュールの形式で、一般的に使用される。

二重レンズレンジファインダに基づく一般的な自動焦点システムは、アクティブなシステムとパッシブなシステムとを含む。アクティブなシステムは、場面に光をアクティブに投射する一方、パッシブなシステムは、場面から得られる光で動作する。二重レンズレンジファインダモジュールは、ＦＭ６２６０Ｗなどのいくつかのモデルで富士電機から購入できる。カメラなどの光学装置における二重レンズレンジファインダモジュールは、１９８６年８月１９日にHarukiらに特許された（そして富士電機に譲渡された）米国特許第４６０６６３０号に記載されている。この先行技術の記載によれば、一致させた一対の低解像度の画像は、２つの画像の間の相関関係を分析して、２つのレンズの間の分離によって生ずる２つの画像の間のオフセットを決定する。

従来のレンジファインダの動作原理の実例を概略的に示す図を、図２７に示す。この図において、被写体１５１からの光は、十分に短い焦点距離ｆを有する２つの小型レンズ１５２と１５３とに入射する。相違し且つ間隔を空けたパス１５４と１５５とを介して被写体から受信された光線は、対応し且つ間隔を空けた画像１５７と１５８とをレンズ１５２と１５３とに共通する焦点面１５６に生成する。被写体１５１が無限遠点にあるときは、画像１５７と１５８との中心は、図２７の基準位置１７０と１８０とに位置するが、より近い距離に被写体１５１が位置する時は、画像の中心は、位置１７１と１８１とにそれぞれにシフトする。画像１５７と１５８とが基準位置１７０と１８０とからシフトした距離をそれぞれｘ_１、ｘ_２で指定するとき、全体のシフト量は、次のように表すことができる。

ｘ＝ｘ₁+ｘ₂＝ｂ・ｆ／ｄ

したがって、被写体１５１との距離ｄは、ｄ＝ｂ・ｆ／ｘによって測定できる。この場合、ｂは、小レンズの光軸間の距離、即ち、基線長である。図２７に示すように、シフト量ｘ_１及びｘ_２、又は両者の合計のｘを得るために、２つの光学センサアレイ１９０及び１９１は、焦点面１５６に提供される。これらの光学センサアレイは、ＣＣＤデバイスなどの複数の光学センサを含み、アナログ光電信号は、センサに入射する画像の部分の光強度に対応するそれぞれの光学センサによって生成される。Harukiらは、左右の光学センサアレイからのデジタル画像信号を含む2つの画像信号の流れを比較することによって、シフト距離の合計値ｘを得るための従来の回路とともに特許に係る高速レンジファインダを示している。

基本的には、オフセット情報ｘは、レンズの分離距離ｂと焦点距離ｆとをともに使用して、三角測量により場面との距離を計算する。計算された場面との距離ｄを使用して、調整可能な焦点レンズの位置を案内し、最良の画質を生成する。先行技術で公知なように、この調整は、二重レンズレンジファインダモジュールによって計測される場面との距離と、ＴＴＬ自動焦点システムにより生成される最良の一連の焦点が合った画像との間に規定された較正曲線に基づいてもよい。較正曲線は、式又はルックアップテーブルとしてカメラのマイクロプロセッサに記憶される。

レンジファインダに基づく自動焦点システムは、非常に高速であるという利点を有し、０．０１秒〜０．０５秒の範囲内で可能な応答時間を有するものもある。しかしながら、レンジファインダに基づく自動焦点システムは、種々の動作条件で使用したときに、生成される焦点の質（focal quality）が変動する可能性がある。例えば、音波自動焦点システムでは、投射された音波信号をガラスが遮るために、自動焦点システムは、ガラスを通して焦点合わせができないので、ガラス上に焦点を合わせる。一般には、二重レンズレンジファインダ自動焦点システムの場合には、二重レンズレンジファインダの精度は、温度及び／又は湿度のような環境条件の変化に影響される。二重レンズレンジファインダモジュールの問題点は、デジタルカメラの通常の動作環境において、二重レンズレンジファインダモジュールと調整可能な焦点レンズの位置との間の較正が安定していないことである。温度及び湿度の変動などの環境条件により、二重レンズレンジファインダモジュールにより計測される場面の部分までの距離に１０％を超える変化が生じる。その上さらに、調整可能な焦点撮影レンズシステムにおける調整可能な焦点撮影レンズの計測位置は、環境的な変化を生じやすいので調整可能な焦点レンズを制御するシステムが不正確になる。したがって、一般的には、二重レンズレンジファインダモジュールは、デジタルカメラの自動焦点として単独で使用されないが、ＴＴＬ自動焦点システムに補完された粗い焦点調整として使用される。

一方、ＴＴＬ自動焦点システムは、複数の異なる焦点距離に位置する調整可能な焦点レンズシステムで捕捉した一連の自動焦点画像を分析することによって、焦点の状態を決定する。例えば、一般的なＴＴＬ自動焦点システムにおいては、複数の自動焦点画像（例えば、５〜２０）は、いわゆる「山登り（hill climb）」法で一連の異なる位置で調整可能な焦点レンズに捕捉される。この自動焦点の形式は、値がピーク、即ち「山」を通過するまでレベルが増加する一連の値を生成するので、「山登り」自動焦点として知られている。言い換えると、レンズ焦点位置は、画像の詳細なエッジ、又は画像の特定のエリアのコントラストが最大化するまで、自動的に調整される。例えば、それぞれの自動焦点画像にあるコントラストは、比較され、最良のコントラストを有する自動焦点画像は、最良の焦点条件で捕捉されたとみなされる（しばしば、最良の焦点レンズ位置は、さらに、画像間のコントラスト値を補間することにより、改良される）。

焦点精度を落とすことなく焦点応答時間を減少させるために、一般的には、フィルタを使用して、ビデオ信号の高周波成分のみでなく、低周波成分も分離する。例えば、レンズは、最大焦点からもっとも離れた低周波領域では、粗い調整ステップで急速に駆動され、最大焦点により近い高周波領域では、微妙な調整ステップで駆動することができる。従来の「山登り」コントラスト自動焦点のアルゴリズムのフローを、図２８に概略的に示す。このアルゴリズムは、上述し且つ図２９に概略的に示した「山登り」コントラスト自動焦点を使用する。図２９は、フィルタから得られた焦点値（focus value）とレンズの位置との間の関係を説明する。図２９では、横軸は、距離軸に沿ったレンズの焦点位置を示し、縦軸は、焦点評価値を示し、曲線Ａ及び曲線Ｂは、特定の焦点位置Ｐに関する高周波成分及び、低周波成分の焦点評価値をそれぞれ意味する。

図２８のフロー図を参照すると、アルゴリズムの最良の開始点は、焦点距離設定とｆ値との関数であるレンズ設定の過焦点距離に依存する。一般的には、約２メートルの距離が、望ましい開始点である。そして、低周波帯域通過フィルタがロードされ（段階１９７）、焦点値を読み出す。アルゴリズムは、比較段階１９８において、焦点値を増加させる方向へのレンズの調整を設定し、レンズが「山」を越える時を決定する。焦点距離とｆ値とに依存する被写界深度は、ステップの数を設定する。即ち、低周波帯域通過フィルタを使用するときに、次のフレームを捕捉する前に取り込まれるべき、次に近い焦点位置を設定する。「山」のピークを通過すると（図２９の曲線Ｂ）、高周波帯域通過フィルタが、ロードされ（段階１９９）、レンズは、より高い「山」のピークが検出されるまで（図２９の曲線Ａ）、反対方向に移動する。ピーク焦点値は、加重平均値又は多数のピクセルからのピーク値のいずれを使用してもよい。

高性能撮影レンズで捕捉された自動焦点画像から直接焦点の質を計測するので、「ＴＴＬ」自動焦点システムは、非常に正確である。残念なことだが、「ＴＴＬ」自動焦点システムは、捕捉して比較しなければならない自動焦点画像の数が多いために、焦点設定を決定するのが比較的遅くなる。例えば、「ＴＴＬ」自動焦点システムは、０．５〜２．０秒掛けて焦点状態を決定する。

したがって、デジタルカメラでは、ハイブリッドシステムにおいて２種類の自動焦点システムが一緒に使用される。ここでは、レンジファインダに基づく自動焦点システムを使用して調整可能な焦点レンズの位置を素早く推定し、その後に「ＴＴＬ」自動焦点システムを使用することによって、焦点設定を改良する。例えば、「光学装置を焦点調整する焦点装置（Focusing Apparatus for Adjusting Focus of an Optical Instrument）」と題し、Misawaの名前で２００５年３月８日に発行された米国特許第６８６４４７４号には、レンジファインダに基づく自動焦点システムと「ＴＴＬ」自動焦点システムとが連係して使用されることが記載されている。この特許では、調整可能な焦点撮影レンズの焦点位置は、レンジファインダに基づく自動焦点システムと、「ＴＴＬ」自動焦点システムとの双方によって決定される。レンジファインダに基づく自動焦点システムによって決定された調整可能な焦点撮影レンズの焦点位置と、「ＴＴＬ」自動焦点システムにより決定された調整可能な焦点撮影レンズの焦点位置との差異は、後に参照される事項として記憶される。これに続いて画像を捕捉するときには、記憶された差異の情報を使用して、「山登り」法において「ＴＴＬ」自動焦点システムで捕捉し、解析された画像の数を改良し、最良の焦点に対する調整可能な焦点レンズの位置を決定する。これによって、レンジファインダシステムが正確な場合には、捕捉し処理する自動焦点画像の数を減少させ、レンジファインダシステムが不正確な場合には、捕捉し処理する自動焦点画像の数を増加させる。しかしながら、Misawaにより説明された方法では、レンジファインダと、調整可能焦点撮影レンズシステムと、制御システムとは、時間が経っても安定し、環境条件の変化による変動はなく、時間が経ってもほかの変化やドリフトがないことを前提としている。

画像の焦点が合うと、「山登り」法は、焦点が合った被写体の近傍で徐々に距離を増やして動作する。そして、再度焦点を画像に合わせるときに、「山登り」法は、レンズの動きが「山」を上るステップであるか「山」を下るステップであるかを判定し、新たな最大値にレンズを再設定する。実際には、レンズが「山」を下るステップである場合は、その被写体の新たな最大値を探知するために、レンズ動作が直ちに反転することを意味する。これは、ビデオの焦点合わせに特有な問題である。ここでは、現在の被写体からかなり距離が離れている新たな被写体が、画像に入ってくると、新たな被写体が、コントラスト値に関してより大きい「山」がある場合でも、「山登り」法によっては決して検知できない。この問題の１つに応答する方法は、「全経路（whole way）」自動焦点と呼ばれ、焦点位置を決定する前に全ての識別距離に亘って撮影レンズによって自動焦点モジュールが調査する方法である。

同一出願人による米国特許第６４４１８５５号は、「全経路」自動焦点を説明する。ここでは、焦点装置は、全焦点レンジに亘って種々の位置に移動することに適した可動焦点レンズと、焦点レンズに入射して透過した光を信号に変換する変換素子と、焦点レンズを移動するレンズ駆動機構とを有する。焦点調整装置は、変換素子からの信号に基づいて焦点レンズのそれぞれの位置における焦点評価値を計算する焦点評価値計算ユニットをさらに有する。焦点評価値計算ユニットは、さらに９個の「タイル」ブロックに分割された画像の中心など、規定された焦点エリアの画素に相当する信号のみを抽出する。「タイル」ブロックは、焦点エリアをいくつかの列と行とに分割して得られた監視エリアとして使用するブロックである。

焦点評価値を計算するときに、異なる距離設定において焦点評価値の計算がある回数、例えば、１０回、繰り返されているか否かについて、最初に判定される。決定がＮＯであるときは、焦点レンズは、プリセットされたステップ幅に基づいて移動し、計算が繰り返される。したがって、焦点レンズは、無限遠から近傍の位置に段階的に移動し、それぞれの移動のステップについて、それぞれのタイルの焦点評価値が計算される。これらの計算は、それぞれのタイルについて実行されるため、全長にわたって発見されたピークの全てを含む、９個のタイルのそれぞれの１０個のレンズ位置の焦点評価値を得る。各レンズ位置で得られた１０個の総合計を焦点評価値として使用するときは、最大ピークを生成する焦点レンズ位置が焦点レンズ位置として決定される。そして、レンズ駆動出力は、決定された焦点位置にレンズが移動するために、レンズ駆動装置に加えられる。

大きな「光学的なズーム幅」を有する小型デジタルカメラを提供するために、デジタルカメラは、焦点距離の異なるレンズを有する複数の画像センサを使用することができる。これは、同一出願人による「多重レンズ及び画像センサを使用して改良されたズーム幅を提供するデジタルカメラ（Digital Camera Using Multiple Lenses and Image Sensors to Provide an Improved Zoom Range）」の名称で、２００５年２月１８日に、Labaziewiczらの名前で出願された米国特許出願１１／０６２，１７４号に記載されているが、その開示は、参照することにより本明細書に包含される。例えば、コダックイージーシェア（商標）Ｖ６１０二重レンズカメラは、３８−１１４ｍｍ（３５ｍｍ相当）ｆ／３．９−ｆ／４．４レンズと、１３０−３８０ｍｍ（３５ｍｍ相当）ｆ／４．８レンズを有し、１０倍光学ズームレンジを提供する。しかしながら、この特許出願と製品との双方とも、２つの画像センサの１つのみを一度に使用する。２つの画像センサは、同時には画像を捕捉しない。

２００３年１月３０日に公開された米国特許出願公報２００３／００２０８１４は、短い焦点距離を有する第１のシステムと、長い焦点距離を有する第２のシステムとを有し、それぞれがＣＣＤ画像センサに結合された複数の光捕捉システムを有する画像捕捉装置を開示する。この開示に記載された様々な実施形態において、２つのレンズは、一方のシステムが固定焦点レンズ有し、他方のシステムがズームレンズを有するか、又は２つのレンズが双方とも、２つの異なる焦点距離設定に設定された固定焦点レンズであることで、異なる焦点距離レンジを提供できる。いずれの場合にも、選択部は、ユーザ入力を獲得するよりむしろ、計測された距離や、輝度のような捕捉条件獲得部によって決定された捕捉条件に基づいて、光捕捉システムの１つから捕捉信号を自動的に選択する。これらシステムの自動焦点は、分離した距離センサを使用して提供される。いずれの２つのＣＣＤ画像センサも、自動焦点動作に使用されない。

２００３年８月２３日に公開された、米国特許出願公報２００３／０１６０８８６号は、互いに独立した２つの撮影システムを有するデジタルカメラを開示している。１つの実施形態では、一方のシステムは、単焦点「通常モード」（monofocal "ordinary mode"）レンズを有し、他方のシステムは、ズーム「望遠モード」レンズを有し、それぞれのシステムが画像を生成する１つのシステムを示す。操作をする人が作動させる切り替えスイッチは、どの画像を記録するべきかを決定する。分離した撮影システムに関連して自動焦点も開示されている。ここでは、一方のシステムで使用される「山登り」コントラスト比較技法が、他方のシステムで使用される「山登り」コントラスト比較技法を補完する。望遠モード光システムからの画像を捕捉することが要求されるときは、粗い焦点検索（ここでは、ステッピングモーターが数ステップの間隔で駆動できる）が、通常モード光システム（焦点深度が比較的深い）で行われる。この粗い検索により、焦点位置を含む限定された焦点距離レンジを得る。通常モード光システムが提供した焦点距離レンジ情報を使用して、望遠モード光システムは、限定された焦点距離レンジの一端である自動焦点検索の開始位置に動かされる。そして、細かい自動焦点検索が、望遠モード光システム（ここで、焦点深度は比較的浅い）によって実行されるが、通常モード自動焦点検索によって決定された限定された焦点距離レンジのみで実行される。（通常モード光システムからの画像を捕捉することが要求されるときは、自動焦点検索では、望遠モード光システムは、自動焦点検索には関与せずに、通常モード光学検索システムのみでなされる。）

米国特許出願公報２００３／０１６０８８６号に記載され、上記の粗い検索と細かい検索とに依存しない他の実施形態においては、第１の光システムの焦点レンズが無限距離設定から最近接距離位置に向かって動くように段階的に駆動しながら、「山登り」コントラスト比較検索が実行され、第２の光システムの焦点レンズが最近接距離位置から無限距離設定に向かって段階的に駆動しながら、第２の「山登り」コントラスト比較検索を実行する。この手順は、いずれのシステムも通常は全レンジを移動する必要はないが、最大コントラスト位置に位置するまで続けられる。これにより、焦点位置を検出するための時間は減少するようになる。この実施形態では、いずれの光システムも画像を捕捉し焦点調整するために使用するか、又は一方の光システムは、画像捕捉と焦点調整するために使用し、他方の光システムは、画像捕捉光システムの焦点調整するためのみに使用することができる。他の実施形態では、捕捉しない（non-capturing）光システムが最初に焦点位置を決定する場合には、捕捉光システムは、その位置に移動され、その後に、捕捉光システムによって細かい調整がされる。

これらの先行技術のシステムの問題点は、分離した自動焦点センサを使用する必要があること（これにより費用が増加する）、又は画像を捕捉するために使用するセンサと同じセンサを使用して自動焦点を実行すると、著しい「シャッタ遅延」があることである。さらに、分離した自動焦点センサは、通常レンジファインダであり、上述したように、二重レンズレンジファインダモジュールと調整焦点レンズ位置との較正は、デジタルカメラの通常動作環境において、安定していない。自動焦点が、「ＴＴＬ」撮影システムで実行される場合は、捕捉して比較する必要がある自動焦点画像の数が多いため、この処理では、焦点設定の決定が比較的遅くなる。この問題は、上述の米国特許出願公報２００３／０１６０８８６によって、いくらか軽減されるが、操作をする人が１つの撮影システムから他の撮影システムへ捕捉機能を変更するために選択するときに、被写体の変更、移動のように素早く焦点を得る際、又は光システムの焦点条件を素早く交換する際の困難性は残る。

ビデオ画像を構成する一連の同一の静止画像又はフレームから自動焦点画像を抽出するビデオ捕捉では、特別の問題が生じる。このために、自動焦点の処理によって、場面が変わる毎に５〜２０又はそれ以上の焦点が外れたビデオ画像を生じさせる可能性がある。その結果として、場面が絶え間なく変化するカメラのパン動作とともにビデオ捕捉する間は、自動焦点システムが正確な焦点を検索したままで、ビデオのかなりの部分が実際に焦点外れとなる。さらなる問題点は、ビデオ捕捉の間に、焦点合わせに「山登り法」を使用する自動焦点システムを使用するために、多くのフレームが焦点外れとなることである。

「複数のレンズと画像センサとを使用して改良された焦点性能を提供するカメラ（Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability）」という名称で、John Borderらの名前で本願と同日出願された同一出願人による同時係属の米国特許出願（番号９３２３１）において、２つ（又はそれより多い）の画像捕捉部で同一の場面の画像を別々に捕捉して、一方の画像捕捉段（stage）を自動焦点に使用し、他方の画像捕捉段を静止画像又はビデオの捕捉に使用する複数レンズデジタルカメラによって、上述の問題は、対処されている。これは、デジタルカメラの大きさと価格とを必要以上に増加させることなく、静止画像とビデオとの両方において、正確且つ迅速な自動焦点を提供する。

自動焦点の利点に加えて、このようなカメラは、基本的に同一場面又は同一場面の同一部分の別々の高解像度画像を生成する２つの別々の画像捕捉段を提供する。これは、画像の１つを使用して、他の画像を修正し、さもなければ補強する多くの可能性を提示する。したがって、必要とされるものは、双方の画像を利用することによって改良された画像性能を提供する二重捕捉システムを有し、改良された出力画像を提供するデジタルカメラである。

本発明の目的は、カメラの大きさと価格とを必要以上に増加させることなく、双方（又は、それより多い）の画像を利用して改良された出力画像を提供する複数レンズのデジタルカメラで改良された画像性能を提供することである。

本発明のさらなる目的は、二重レンズカメラからの一方の画像を、他方の、第１の画像を修正することによって、高画質の第１の画像を生成する第２の画像として活用することである。

本発明は、上述の問題の１つ以上を解決することを目指すものであって、捕捉した画像信号から場面の出力画像を生成する電子的なカメラに関する。手短に要約すると、発明の第１の実施形態に係る本発明は、
第１のセンサ出力を生成する第１の画像センサと、第１の画像センサ上に場面の第１の画像を形成する第１のレンズとを有する第１の画像形成段（imaging stage）と、
第２のセンサ出力を生成する第２の画像センサと、第２の画像センサ上に場面の第２の画像を形成する第２のレンズとを有する第２の画像形成段と、
捕捉した画像信号を形成するための第１の出力画像として第１の画像形成段のセンサ出力を使用して、第１の出力画像を修正するための第２の出力画像として第２の画像形成段のセンサ出力第１の出力を使用することによって、向上した捕捉画像信号を生成する処理段とを有する。

第２の出力画像は、多くの目的のために処理段で利用してもよいが、これは本発明を限定するものではない。例えば、第１の画像の一部を鮮明にするため（例えば、第１の静止画像の被写界深度を拡張し、又は第１の静止画像の一部を選択的に鮮明にし、他の部分の焦点はぼかす。特にこの場合には、第２の出力画像は、第１の画像形成段を使用して第１の出力画像を捕捉する焦点位置とは異なる焦点位置で、第２の画像形成段によって捕捉される）、第１の画像のダイナミックレンジを修正するため（例えば、この場合には、第２の出力画像は、第２の画像形成段において、第１の画像形成段を使用して第１の出力画像を捕捉する露出レベルとは異なる露出レベルの捕捉される）、第１の画像の捕捉パラメータの設定用の場面解析データを提供するため、又は、第１の画像の一部（低ノイズであるが、モーションブラー（motion blur）があるエリア）を対応する第２の画像（高ノイズであるが、ほぼモーションブラーがないエリア）の部分に置き換えて、比較的低ノイズ且つ鮮明な修正画像を得るためといった目的に使用する。

手短に要約すると、本発明は、複数レンズデジタルカメラでの２つ（又はそれより多い）の画像捕捉段の使用を含み、画像捕捉段は、センサと、レンズと、レンズ焦点調整器とからなり、２つ（又はそれより多い）の画像捕捉段を使用して別々に同じ場面の画像を捕捉して、一方の画像捕捉段は、自動焦点や他の目的に利用することができ、他方の画像捕捉段は、画像の捕捉することができる。したがって有利には、本発明を利用して、デジタルカメラは、デジタルカメラの大きさ又は価格を不必要に増加させることなく、改良された画像性能を提供する。より具体的に言うと、有利には、画像を非捕捉段を使用して、第１の画像の焦点又はダイナミックレンジを修正し、又は拡張する第２の画像を提供することができる。

本発明のこれらの態様、目的、特徴、及び利点ならびに他の態様、目的、特徴、及び利点は、下記の好適な実施形態の詳細な説明及び添付された請求項を検討し、添付の図面を参照することにより、明確に理解、評価されることになる。

本発明に係る第１の画像センサを有する第１のズームレンズと、第２の画像センサ有する第２のズームレンズとを使用したデジタルカメラの第１の実施形態のフローを概略的に示した図である。 図１に示したデジタルカメラの第１の透視図である。 図１に示したデジタルカメラの第２の透視図である。 図１に示したデジタルカメラの第１の実施形態に係る自動焦点の実行方法及びデジタル静止画像の捕捉方法を示すフローを概略的に示した図である。 ２つの画像捕捉段によるレンジファインダ方法を使用した自動焦点の実行方法を示すフローを概略的に示した図である。 ２つの画像捕捉段による「山登り法」を使用した自動焦点の実行方法を示すフローを概略的に示した図である。 自動焦点レンジファインダ較正曲線の生成方法を示すフローを概略的に示した図である。 自動焦点「山登り法」較正曲線を生成する方法を示すフローを概略的に示した図である。 図１に示したデジタルカメラの第２の実施形態に係る自動焦点の実行方法及びデジタルビデオ画像の捕捉方法を示すフローを概略的に示した図である。 ２つの画像捕捉段によるレンジファインダ方法による自動焦点の実行方法を示すフローを概略的に示した図である。 ２つの画像捕捉段による「山登り法」による自動焦点の実行方法を示すフローを概略的に示した図である。 ２つの画像捕捉段によるレンジマップ（range map）の生成方法を示すフローを概略的に示した図である。 第１の画像センサを有する第１の固定焦点距離レンズと、第２の画像センサを有する第２の（ズーム）レンズとを使用するデジタルカメラの他の実施形態を概略的に示したブロック図である。 第１の画像センサを有する第１の固定焦点距離レンズと、第２の画像センサを有する第２の（ズーム）レンズと、第３の画像センサを有する第３の（ズーム）レンズとを使用するデジタルカメラの他の実施形態を概略的に示したブロック図である。 本発明の実施形態に係る双方の画像捕捉段からの画像を使用することによって画像の被写界深度を向上させる方法のフローを概略的に示した図である。 デジタルカメラの他の実施形態に係る２つの画像捕捉段有する携帯電話カメラを概略的に示した図である。 デジタルカメラの他の実施形態に係る２つの画像捕捉段有する携帯電話カメラを概略的に示した図である。 携帯電話カメラの単一の段の中に２つの画像捕捉段を含む段を概略的に示した図である。 携帯電話カメラの単一の段の中に２つの画像捕捉段を含む段を概略的に示した図である。 場面の部分との距離を決定するために使用する２つの画像間のオフセットを示す、２つの画像捕捉段で捕捉された画像である。 場面の部分との距離を決定するために使用する２つの画像間のオフセットを示す、２つの画像捕捉段で捕捉された画像である。 場面の部分のＧＰＳ位置の決定方法のフローを概略的に示した図である。 一方の二重レンズカメラシステムの画像形成段を第１の画像ユニットとして選択する一方、他方の画像形成段に場面解析などの他の機能を委託する、本発明の他の実施形態に係る選択方法のフローを概略的に示した図である。 本発明の他の実施形態に係る、第１の捕捉ユニットでないユニットを場面解析に使用する使用法を示したフローを概略的に示した図である。 本発明の他の実施形態に係る、場面条件の変化がしきい値を越えたときに第１の捕捉ユニットでないユニットを場面解析に使用する使用法を示したフローを概略的に示した図である。 本発明の他の実施形態に係る、第１の捕捉ユニットと第１の捕捉ユニットでないユニットとの双方を場面解析に使用する使用法を示したフローを概略的に示した図である。 本発明の他の実施形態に係る、捕捉ユニットの機能の反転方法、即ち、場面解析と第１の捕捉ユニットとを、それぞれ、第１の捕捉ユニットと場面解析捕捉ユニットとにリセットする方法を示したフローを概略的に示した図である。 本発明の他の実施形態に係る、特に捕捉プロセスの間に第１の捕捉段の捕捉ユニットパラメータを設定するために、第１の捕捉段に取り込まれたプレビュー画像を使用する方法を示すフローを概略的に示した図である。 本発明の他の実施形態に係る、特に捕捉プロセスの間に第１の捕捉段の捕捉ユニットパラメータを設定するために、第１の捕捉段に取り込まれたプレビュー画像と非捕捉段に取り込まれた場面解析画像とを使用する方法を示すフローを概略的に示した図である。 本発明の他の実施形態に係る、向上した画像の生成のために、第１の捕捉段に取り込まれたプレビュー画像と非捕捉段に取り込まれた拡張画像とを使用する方法を示すフローを概略的に示した図である。 従来の二重レンズレンジファインダの動作を示した図である。 「山登り」コントラス自動焦点法のフローを概略的に示した図である。 画像の成分を分離するために使用したフィルタから得られた焦点値と「山登り」自動焦点法のレンズ位置との間の関係を示す図である。

画像デバイスに使用するデジタルカメラと、関連した信号処理回路とは、周知であるので、本明細書は、本発明に係る装置の一部を構成する要素、又は本発明に係る装置とより直接的に協働する要素に特に向けられることになる。本明細書で特に図示又は記載されない要素は、公知技術から選択できる。説明された実施形態の特定の態様は、ソフトウエアによって提供できる。以下の記載において、本発明に係るシステムは、図示及び記載されているので、本明細書において特に図示、記載、又は示唆されず、本発明の実施に有用であるソフトウエアは、標準的且つ当該技術の通常の技術の範囲内のものである。

本明細書に記載されたそれぞれの実施形態は、デジタルカメラ（静止画又はビデオ）、又はデジタルスキャナなどの複数の画像捕捉段を有する画像捕捉アセンブリを含み、それぞれの画像捕捉段が、レンズと画像センサとから構成される。複数の画像捕捉段のレンズは、異なる焦点距離を有し、画像捕捉アセンブリに広範な焦点ズームレンジを提供する。本発明は、向上した自動焦点性能に加えて、複数の画像捕捉段を使用して向上した画像性能を提供することを意図する。画像捕捉と自動焦点とに画像捕捉段を使用して、専用の焦点モジュールを取り除くことによって、画像捕捉アセンブリの価格と大きさを削減する一方、自動焦点システムの反応速度を速くするとともに捕捉された静止画像及びビデオ画像の鮮明さを改善もする。

一方の画像捕捉段を使用してデジタル静止画像又はビデオ画像を捕捉する間に、他方の画像捕捉段を使用して自動焦点の向上、第２の画像の生成、又はレンジマップの生成などの他の目的に同時に使用する、いくつかの実施形態がある。本明細書に記載された第１の実施形態では、第１の光学ズームレンジ内にズーム位置をユーザが設定する時に、第１の(ズーム)レンズを含む第１の画像捕捉段を使用して静止画像又は動画像列の一連の画像を捕捉する一方、第２の画像形成段は、同時に、第１の画像形成段の自動焦点のために画像を提供する。第２の画像形成段を使用して画像を捕捉しないので、第２の画像形成段のレンズの焦点条件は、ピークコントラスト位置（例えば、「山登り」自動焦点）、近い焦点位置から無限遠の焦点位置（例えば、「全経路」自動焦点）などのより広いレンジにわたり調整し、第１の画像形成段によって捕捉された画像の焦点の質に悪影響を与えることなく、第１の画像形成段のレンズの新たな最良の焦点設定を決定することができる。第２の画像形成段を使用して新たな最良の焦点状態を決定するときは、第１の画像形成段の焦点条件は、先の最良の焦点条件から新たな最良の焦点状態に変更される。

ユーザが画像捕捉アセンブリのズーム位置を第２の光学ズームレンジに調整するとき、カメラは、自動的に切り替わり、第２の画像形成段（例えば、第２のズームレンズを含む）を使用し、画像を捕捉するとともに、第２の画像形成段の自動焦点のために第１の画像形成段を使用し始める。２つのレンズは、異なる焦点距離を持つため、２つのレンズは、異なる倍率を有する。したがって、自動焦点の決定に使用されるデジタルフィルタは、倍率の差異を補償するために、この倍率の差異に応じて調整できる。

この実施形態の変形では、２つの画像捕捉段を一緒に使用して、二重レンズレンジファインダに類似する、より高解像度の高解像度レンジファインダを形成する。これは、２つの高解像度画像捕捉段と、２つの画像捕捉段の２つのレンズの間の大きな分離距離とによって提供される。この変形では、第１の画像捕捉段を使用して、「山登り」コントラスト比較法を使用する正確な初期自動焦点を提供できる。次に、第１の画像捕捉段は、差動モードで機能する高解像度レンジファインダとして第２の画像捕捉段と共に使用して、デジタル静止画像を捕捉する前、若しくはビデオを捕捉する前又はビデオを捕捉する間に、再度の焦点合わせを必要とする場面との距離の変化を検出する。差動モードのレンジファインダを使用することによって、即ち、既に焦点合わせをした位置から近接する変化した焦点位置への距離の変化を識別することによって、レンジファインダの精度における環境変化の影響は、軽減される。

本明細書に記載される他の実施形態では、２つの画像捕捉段は双方ともに、第１の画像捕捉段によるデジタル静止画像の捕捉又はビデオ画像の捕捉の前に、「山登り」コントラスト比較法を使用して、同時に自動焦点される。そして、第２の画像捕捉段は、画像のコントラストを計測することによって、焦点のチェックを続ける。コントラストの変化を検出したとき、第２の「山登り」コントラスト比較法を使用した第２の自動焦点機能は、第２の画像捕捉段を使用して実行され、焦点条件の変化を決定する。そして、第１の画像捕捉段の焦点は、第２の画像捕捉段を使用して決定した焦点の変化に比例した量によって変更される。さらに、差動焦点の変化の計測は、「山登り」自動焦点によって定められた位置から実行され、自動焦点処理の精度を改善する。

背景技術で記載したように、ビデオ画像を構成する一連の同一の静止画像又はフレームから自動焦点画像が抽出されるビデオ捕捉に、特別な問題が生ずる。例えば、場面が連続的に変化するカメラのパン動作があるビデオ捕捉の間では、ビデオの多くの部分は、自動焦点システムが正確な焦点を検索している時、ビデオのかなりの部分が実際に焦点外れとなる。さらに、フレームの多くが、「山登り法」を焦点合わせに使用する自動焦点システムを使用するために焦点外れとなる可能性がある。すなわち、先に指摘したように、興味ある被写体が突然場面中に移動する特定の条件下では焦点の変化を識別しえない可能性がある。

したがって、前述の実施形態の変形において、第１の光学ズームのレンジ内にズーム位置をユーザが設定したときは、第１のズームレンズとそれに関連する画像センサとを有する第１の画像形成段を使用して、ビデオ画像などの画像を取り込むための初期の焦点を設定する一方、第２のズームレンズとそれに関連する画像センサとを有する第２の画像形成段は、連続する「全経路」自動焦点入力画像を同時に提供して、第１ズームレンズの焦点を被写体の動きの結果として調整すべきであるか否かを決定する。第２のズームレンズとそれに関連する画像センサとを使用して動画像を捕捉しないので、焦点距離は、近い焦点から無限遠の位置まで調整し、捕捉された動画像に影響することなく、最良の焦点設定を決定することができる。ユーザは、第１のズームレンジの外側にズームを調整したときに、カメラは、自動的に第２の画像形成段に切り替わり、第２のズームレンズと関連するセンサを利用して連続する動きを捕捉する。第１のレンズと関連する画像センサとを有する第１の画像形成段を使用し始めて、第２のズームレンズの焦点を被写体の動きの結果として調整すべき否かを同時に決定する。

本明細書に記載する他の実施形態では、２つの画像捕捉段は、高解像度レンジファインダとして構成され、レンジマップの形式で、場面の異なる部分への距離を決定する。そして、レンジマップを使用して以下の様々な目的のために捕捉された画像信号又は出力画像を修正するが、これは本発明を限定するものではない。その目的は、画像処理を改良し、画質の改良を可能とし、画像内の被写体識別を改良し、画像からの被写体の抽出を可能とし、複数の画像内で被写体の動作追跡を可能とし、所望の被写界深度から外れた被写体のブレによって画像の被写界深度の縮小を可能とし、画像内のダイナミックレンジ（dynamic range）を改良し、フラッシュを使用し、によって生じる露出の問題を減らし、画像内でシーンバランス（scene balance）を改善することである。

本明細書に記載される本発明に係る他の実施形態では、第１のズームレンズと第１の画像センサとを有する第１の画像形成段を使用して、第１の（即ち、主要な）焦点距離で第１の（即ち、主要な）静止画像を捕捉する一方、第２のズームレンズと第２の画像センサとを有する第２の画像形成段を使用して、第２の（即ち、補助的な）焦点距離で第２の（即ち、補助的な）静止画像を同時に捕捉する。第１の出力画像を修正する第２の出力画像として第２の画像形成段からのセンサ出力を使用することによって、向上した第１の画像信号を生成する。例えば、第２の静止画像を使用して、二次的な焦点距離近傍に位置する主要な静止画像の部分を鮮明にでき、又は第１の静止画像のダイナミックレンジを修正することなどができる向上信号を提供する。

上述のように、双方の画像形成段からの画像を使用して、場面の異なる部分への距離を識別するレンジマップを生成できる。さらに本明細書に記載した他の実施形態では、カメラは、カメラの位置のＧＰＳ座標を提供するＧＰＳ部と、カメラの指示方向を提供する電子コンパスとを有する。その結果、カメラの位置のＧＰＳ座標と、カメラの指示方向と、レンジからのオフセット距離とを使用して、場面の部分のＧＰＳ座標を生成できる。

図１は、本発明の第１の実施形態に係る画像捕捉アセンブリ１０Ａのブロックを概略的に示した図である。本発明の本質的な態様ではないが、好適には、画像捕捉アセンブリ１０Ａは、電池で作動する携帯可能なデバイスであり、画像を捕捉して見直すときに、ユーザが楽に携帯できるほど十分小さい。好適な実施形態では、画像捕捉アセンブリ１０Ａは、着脱可能なメモリカード５４に記憶される静止画像と動画ビデオ画像との両方を生成するデジタルカメラである。また、デジタルカメラは、動画像又は静止画像のみを生成し、記憶できる。

画像捕捉アセンブリ１０Ａは、２つの画像形成段１及び２を有し、双方は、ズームレンズ３及び４を有する（以後、本明細書において、これらの段は、画像捕捉段と称するが、多くの場合、着脱可能なメモリカード５４に記憶する画像を一度に１つの段のみが捕捉する）。第１のズームレンズ３は、ズーム及び焦点モータ５ａなどの第１のレンズ焦点調整器によって制御され、第１の画像センサ１２に画像を提供する。第２のズームレンズ４は、ズーム及び焦点モータ５ｂなどの第２のレンズ焦点調整器によって制御され、第２の画像センサ１４に画像を提供する。それぞれのズームレンズの調整可能な絞りとシャッタッセンブリ(図示されない)とを使用して、画像センサ１２、１４への露出を制御する。

図２Ａ及び図２Ｂは、図１において記載した画像捕捉アセンブリ１０Ａの透視図を示す。図２Ａは、画像捕捉アセンブリ１０Ａの正面からの図であり、第１のズームレンズ３と、第２のズームレンズ４と、フラッシュ４８とを図示する。図２Ｂは、画像捕捉アセンブリ１０Ａの背面からの図であり、カラーＬＣＤ画像表示部７０と、画像捕捉シーケンスを可能にするシャッタボタン４２ａ、ズーム設定の選択を可能にするズームボタン４２ｃ、及びカラーＬＣＤ上に表示された画像やメニュー選択などの検索するマルチポジションセレクタ４２ｄを含む複数のユーザ制御部４２とを図示する。

図１に示すように、画像捕捉段１及び２は、ズームレンズ３及び４と、画像センサ１２及び１４を有する。図２ａでは、ズームレンズ３及び４は、垂直方向にオフセットされているが、ズームレンズ３及び４は、水平方向など他の方向へオフセットしてもよい。さらに、本発明の他の実施形態では、ズームレンズ３及び４の一方（又は、双方）を、固定焦点距離レンズに置き換えてもよい。いかなる場合でも、ズームレンズ３及び４と、センサ１２及び１４の光学軸は、異なる視野を有するが、実質的に同一の場面を見るように、概して一列に並べられている。さらに、光学部品の配置は、前述した同一出願人による米国特許出願第１１/０６２１７４号に記載され、その開示は、参照することによって本明細書に包含されるが、ここでは、２つより多い画像捕捉段を使用するいくつかの実施形態が含まれる。画像捕捉段１及び２のズームレンズ３及び４の構成は、折り曲がった光学パスを含み、画像捕捉段１及び２の全体の寸法を変更できる。しかしながら、折り曲がった光学パスは、本発明の実施には必ずしも必要ではない。

好適な実施形態では、画像センサ１２及び１４は、カラー画像を捕捉する周知のBayerカラーフィルタパターンを使用するワンチップのカラーメガピクセルＣＣＤセンサであるが、ＣＭＯＳセンサなどの他のセンサとストライプフィルタなどの他のカラーフィルタアレイとを、発明を限定することなしに同様に好適に使用できる。画像センサ１２及び１４は、４対３画像アスペクト比など様々なアスペクト比と、トータルの有効画素数が６．１ＭＰ（百万ピクセル）などの様々な解像度とを有することができる。この場合では、２８４８列×２１４４行のアクティブな画素数を有する。画像センサ１２及び１４は、同一の仕様を有すると理解すべきではない。例えば、前述した同一出願人による米国特許出願１１／０６２１７４号に開示された実施形態では、画像センサ１２及び１４の大きさ、解像度、カラーフィルタアレイ、スペクトル感度及びアスペクト比が異なっている。

制御プロセッサ及びタイミング生成器４０は、クロックドライバ１３に信号を供給することによって第１の画像センサ１２を制御し、クロックドライバ１５に信号を供給することによって第２の画像センサ１４を制御する。また、制御プロセッサ及びタイミング生成器４０は、ズーム及び焦点モータ５ａ及び５ｂと、自動露出検出器４６と、ユーザ制御４２と、第１及び第２のデジタルマルチプレクサ制御素子３４及び３６と、光を放出して場面に光を当てるフラッシュ４８とを制御する。また、図２Ｂを参照して既に記載したとおり、ユーザ制御４２を使用してデジタルカメラ１０Ａの動作を制御する。

第１の画像センサ１２からのアナログ出力信号１２ｅは、第１のアナログ信号プロセッサ２２によって増幅され、第１のデジタル画像信号に変換される。デジタル化された第１のデジタル画像信号は、第１のデジタルマルチプレクサ素子３４の第１入力と、第２のデジタルマルチプレクサ素子３６の第１入力に印加される。第２の画像センサ１２からのアナログ出力信号１４ｅは、第２のアナログ信号プロセッサ２４によって増幅され、第２のデジタル画像信号に変換される。デジタル化された第２のデジタル画像信号は、第１のデジタルマルチプレクサ素子３４の第２入力と、第２のデジタルマルチプレクサ素子３６の第２入力に印加される。第１のマルチプレクサ３４の機能は、第１の画像センサ１２からの第１のセンサ出力１２ｅ、又は第２の画像センサ１４からの第２のセンサ出力１４ｅのいずれかを画像捕捉信号として選択することである。第２のマルチプレクサ３６の機能は、第２の画像センサ１４からの第２のセンサ出力１４ｅ、又は第１の画像センサ１２からの第１のセンサ出力１２ｅのいずれかを、画像プロセッサ５０に提供する自動焦点画像信号として選択することである。

制御プロセッサ及びタイミング生成器４０は、デジタルマルチプレクサ３４及び３６を制御して、センサ出力（１２ｅ又は１４ｅ）の一方を画像捕捉信号として選択し、センサ出力（１４ｅ又は１２ｅ）の他方を自動焦点画像信号として選択する。第１のデジタルマルチプレクサ制御素子３４によって提供されるデジタルデータは、ＤＲＡＭバッファメモリ３８に一時的に記憶される。その後、画像プロセッサ５０によって処理されて、静止画像又はビデオ画像を含むことができる処理されたデジタル画像ファイルを生成する。第２のデジタルマルチプレクサ制御素子３６により提供されたデジタルデータは、自動焦点予測を実行する画像プロセッサ５０に提供されるが、これは後に、図４、５、６及び７を参照して説明する。

手短に要約すると、画像プロセッサ５０は、第１及び第２の焦点調整器、即ち、ズーム及び焦点モータ５ａ及び５ｂを駆動する焦点検出信号を生成する。制御プロセッサ及びタイミング生成器４０は、画像プロセッサ５０と組み合わせて、（ａ）第１の画像形成段１からのセンサ出力１２ｅを捕捉された画像信号として選択し、第２の画像形成段２からのセンサ出力１４ｅを使用して選択された画像形成段１の焦点検出信号を生成すること、又は、（ｂ）第２の画像形成段２からのセンサ出力１４ｅを捕捉された画像信号として選択し、第１の画像形成段１からのセンサ出力１２ｅを使用して選択された画像形成段２の焦点検出信号を生成すること、のいずれかを行う。このようにして、焦点検出信号は、選択された画像形成段のズーム及び焦点モータ５ａ及び５ｂに印加され、捕捉された画像信号のセンサ出力を提供して画像の焦点を調整する。

画像プロセッサ５０により実行される処理は、フラッシュＥＰＲＯＭメモリ又は他の適当なメモリの形態とすることができるファームウェアメモリ５８に記憶されるファームウェアによって制御される。プロセッサ５０は、処理段による処理中、中間結果を記憶するＲＡＭメモリ５６を使用して、ＤＲＡＭバッファメモリ３８からのデジタル入力画像を処理する。処理されたデジタル画像ファイルは、着脱可能なメモリカード５４にデジタル画像ファイルを記憶するメモリカードインタフェース５２に提供される。着脱可能なメモリカード５４は、着脱可能なデジテル画像記憶メディアの一種であって、いくつかの異なる物理フォーマットを利用できる。例えば、着脱可能なメモリカード５４は、コンパクトフラッシュ（登録商標）、スマートメディア、メモリスティック、ＭＭＣ、ＳＤ、又はＸＤメモリカードフォーマットなどの周知のフォーマットに適合したメモリカードを含むことができるが、これは本発明を限定するものではない。磁気ハードドライブ、磁気テープ、又は光学ディスクなどの着脱可能なデジタル画像記憶メディアの他のタイプを代替的に使用して、静止及び動きデジタル画像を記憶できる。また、デジタルカメラ１０Ａは、内部フラッシュＥＰＲＯＭメモリなどの内部不揮発性メモリ（図示されない）を使用して処理したデジタル画像ファイルを記憶できる。このような実施形態では、メモリカードインタフェース５２及び着脱可能なメモリカード５４は、必要ではない。

また、画像プロセッサ５０は、画像が捕捉された時など適当なときにいつでも、カメラのＧＰＳ座標（即ち、位置）を画像プロセッサが決定できるグローバルポジショニングシステム（ＧＰＳ）部５７からの入力を受信する。また、画像プロセッサは、画像が捕捉された時などにカメラが向けられた方向を画像プロセッサが決定できるようにする電子コンパス５９から方向入力を受信する。画像プロセッサ５０は、レンダリングされたｓＲＧＢ画像データを生成するために、カラー補間に続いてなされるカラー及びトーン補正を含む、様々な他の画像処理機能を実行する。そして、レンダリングされたｓＲＧＢ画像データは、ＪＰＥＧ圧縮され、着脱可能なメモリカード５４にＪＰＥＧ画像ファイルとして記憶される。また、レンダリングされたｓＲＧＢ画像データは、ＳＣＳＩ接続、ＵＳＢ接続又はファイヤーワイヤ接続などの適当な相互接続６４によって通信するホストインタフェース６２を介してホストＰＣ６６に提供できる。好適には、ＪＰＥＧファイルは、「Ｅｘｉｆ」と称され、電子情報技術産業協会（ＪＥＩＴＡ、日本、東京）によって「デジタル静止カメラ画像ファイルフォーマット（Ｅｘｉｆ）」バージョン２．２として規定される画像フォーマットを使用できる。このフォーマットは、画像が捕捉された日付／時間のほかに画像が捕捉された時のレンズのｆナンバー、ＧＰＳ位置、及び指示方向、並びに他のカメラ設定を含む特定の画像メタデータを記憶するＥｘｉｆアプリケーションセグメントを含む。

なお、画像プロセッサ５０は、通常はプログラム可能な画像プロセッサであるが、代替的には、配線で接続されたカスタム集積回路(ＩＣ)プロセッサ、汎用マイクロプロセッサ又は配線で接続されたカスタムＩＣとプログラム可能なプロセッサとの組合せとすることができる。さらに、デジタルマルチプレクサ制御素子３４及び３６、ＤＲＡＭバッファメモリ３８、並びにＲＡＭメモリ５８などの図１では分離したブロックで示される１つ以上の機能は、画像プロセッサ５０を含むＩＣに組み込むことができる。なお、制御プロセッサ４０及び画像プロセッサ５０の少なくともある部分の機能は、センサ出力の選択（制御プロセッサ４０によるものとする）、焦点信号の生成（画像プロセッサ５０によるものとする）などに言及する本明細書及びいくつかの請求項のいずれかに記載された処理段に言及する、ある応用及び論考の目的の必要に応じて併合できる。言い換えると、引用された機能が１つ以上の実在の処理素子、回路又は同種のもので見出されるか否かに関わらず、処理段の詳説は、引用した機能を包含することを意図している。

本発明のさらなる実施形態では、デジタルカメラ１０Ａは、カメラ付き携帯電話の一部として含まれる。この実施形態では、画像プロセッサ５０は、また、携帯電話モデム９２を使用して、アンテナ９４を介して無線通信を使用する携帯電話ネットワーク(図示されない)にデジタル画像を伝送する携帯電話プロセッサ９０と結合される。本発明のある実施形態では、２つの画像捕捉段１及び２と、ズーム及び焦点モータ５ａ及び５ｂとは、統合されたアセンブリの一部にできる。さらに、アナログ信号プロセッサ２２及び２４と、クロックドライバ１３及び１５と、クロックドライバが有するアナログ／デジタルコンバータとは、統合されたアセンブリの一部にできる。

図３は、図１の画像捕捉アセンブリを使用したデジタル画像の捕捉方法のフローを概略的に示した図である。ブロック１００において、カメラ１０Ａが電源スイッチ(図示されない)を使用して電源をオンにしたとき、ズームレンズ３及び４は、デフォルト位置にセットされるが、好適には、デフォルト位置は、第１の画像センサ１２の出力を使用して、カラーＬＣＤ画像表示部７０上に表示するプレビューモードに画像を捕捉して、ユーザが捕捉した画像を構成できる広角の位置である。ブロック１０２では、画像構成の一部として、ユーザは、ズームボタン４２ｃを押して、デジタルカメラ１０Ａの所望の視野にセットする。

ブロック１０２では、ズーム位置設定は、第１の画像捕捉段から第２の画像捕捉段に画像捕捉機能を切り替える値Ｘと比較される。ブロック１０４では、ズーム位置設定が、Ｘより小さい（ブロック１０２は、ＮＯである）場合は、第１の画像捕捉段１を使用してプレビューモードで画像を捕捉する一方、第２の画像捕捉段２を使用して自動焦点画像を捕捉する。第１の画像捕捉段１が表示部７０上にプレビュー画像を捕捉している間（ブロック１１０）、ブロック１０６で、第２の画像捕捉段２を使用して、第１の画像捕捉段１の自動焦点のための自動焦点画像を捕捉する。この自動焦点画像は、画像プロセッサ５０で処理され、ブロック１０８において、第１の画像捕捉段１の焦点を合わせるために使用される。

ブロック１１２において、ズームボタン４２ｃが押されなかった場合で、ブロック１１４において、捕捉ボタンが押された場合は、ブロック１１６において、第１の画像捕捉段１でデジタル画像が捕捉される。また、ブロック１１２において、ズームボタンが押されると、制御は、ブロック１０２に戻り、ブロック１１４において、捕捉ボタンが押されないと、制御は、ブロック１０６に戻る。

ブロック１２４では、ズーム位置設定がＸよりも大きい（ブロック１０２の応答がＹＥＳである）場合は、第２の画像捕捉段２を使用してプレビューモードの画像を捕捉する一方、第１の画像捕捉段２を使用して自動焦点画像を捕捉する。第２の画像捕捉段２が表示部７０上にプレビュー画像を捕捉している間（ブロック１３０）、ブロック１２６において、第１の画像捕捉段１を使用して、第２の画像捕捉段２の自動焦点のための自動焦点画像を捕捉する。この自動焦点画像は、画像プロセッサ５０で処理され、ブロック１２８において、第２の画像捕捉段２の焦点を合わせるために使用される。

ブロック１３２において、ズームボタン４２ｃが押されなかった場合で、ブロック１３４において、捕捉ボタンが押された場合は、ブロック１３６において、第２の画像捕捉段２でデジタル画像が捕捉される。また、ブロック１３２において、ズームボタンが押されると、制御は、ブロック１０２に戻り、ブロック１３４で捕捉ボタンが押されないと、制御は、ブロック１２６に戻る。

レンジファインダ構造において、図３に示した２つの画像捕捉段を使用する自動焦点処理のフローチャートを図４に示す。ここでは、図３のブロック１０８及び１２８において、レンジファインダ方法を使用して、第１及び第２の画像捕捉段からの画像を自動焦点合わせする。ブロック２５０では、ユーザがカメラのズーム制御４２ｃを調整することによってズーム位置を決定する。上述のように、ここでは、どちらの画像捕捉段を使用して最終的な画像を捕捉するか、及びどちらの画像捕捉段を自動焦点画像にのみ使用するのか、について順に指示される（ブロック２５２）。最終的な画像を捕捉するために使用しない画像捕捉段は、２つのズームレンズシステムの間の移行ズーム位置（transition zoom position）に近接する位置にズームされる（ブロック２５４）。２つの画像捕捉段の焦点レンズは、最大焦点レンジを生成するそれぞれの過焦点位置に移動する（ブロック２５６）。ブロック２５８では、ユーザは、位置Ｓ０から位置Ｓ１まで捕捉ボタン４２ａを押して自動焦点シーケンス（及び自動露出シーケンス）を初期化する。（捕捉ボタンは、３つの位置を有している。すなわち、Ｓ０は、ニュートラル位置であり、操作する人が捕捉ボタンに触れる前にボタンを保持する。Ｓ１は、中間位置であり、カメラが自動焦点及び自動露出を実行する。Ｓ２は、最終位置であり、カメラは、最終的な自動露出を実行し、最終的な画像を捕捉する。）

そして、自動焦点画像は、それぞれのズーム位置にズームレンズを有する双方の画像形成段によって捕捉される（ブロック２６０）。そして、低いズーム位置、即ち、ズーム位置がＸよりも小さい位置（図３のブロック１０２を参照）にある画像形成段からの自動焦点画像は、２つの自動焦点画像の対応する特徴を同一ピクセル数に補うように、切り取られてアップサンプリングされる（ブロック２６２）。そして、切り取られてアップサンプリングされた自動焦点画像は、他方の自動焦点画像と相関されて、２つの自動焦点画像の間のピクセルのシフトを識別する（ブロック２６４）ことによって、焦点検出信号を生成する。図１７Ａは、高ズーム位置の画像形成段から捕捉した自動焦点画像３５０の表示を示す。図１７Ｂは、切り取られてアップサンプリングされた低ズーム位置の画像形成段の自動焦点画像３５２の表示を示す。これらの表示は、場面の部分との距離を決定するのに使用する２つの画像の間のオフセットを示す。そして、ブロック２６６では、補正係数を焦点検出信号に与えて焦点レンズを移動して、最良の焦点条件を画像捕捉に生成するのに必要な距離を決定する。ブロック２６８では、焦点検出信号は、ズーム及び焦点モータ５ａに印加され、焦点レンズは、画像捕捉段において決定された距離を移動する。これを最終的な画像捕捉に使用して、最良の焦点の条件を生成する（２６８）。ユーザが捕捉ボタンをＳ１からＳ２に押したとき、画像捕捉段は、最終的な画像を捕捉する。

周知の「山登り」コントラスト比較法において図３に示す２つの画像捕捉段を使用する自動焦点処理のフローチャートを図５に示す。ここで、「山登り」コントラスト比較法を図３のブロック１０８及び１２８で使用して第１及び第２の段からの画像を自動焦点合わせする。ブロック２５０では、ユーザは、ズーム位置を選択する。ズーム位置は、どちらの画像形成段を捕捉段として使用するかを決定する（ブロック２５２）。そして、ブロック２５４では、捕捉に使用しない画像捕捉段は、ブロック２５０からユーザが選択したズーム位置に近接する場所にズームされる。ブロック２５８では、ユーザは、捕捉ボタン４２ａをＳ０位置からＳ１位置に押して自動焦点シーケンスを初期化する。そして、ブロック２７２において、双方の画像捕捉段は、「山登り」法によって自動焦点合わせされる。ユーザが、捕捉ボタンをＳ１位置からＳ２位置に押したとき（ブロック２７４）、ビデオ画像は、捕捉段によって連続的に捕捉される（ブロック２７６）。

最小限のハンチングで焦点を保持するために、ブロック２７８において、焦点は、捕捉に使用せずに「山登り」コントラスト比較法を使用する画像捕捉段で連続的にチェックする。そして、決定ブロック２８０では、焦点が良好な場合は、制御は、ブロック２７６に戻り、ビデオ画像は、捕捉段によって連続的に捕捉される。決定ブロック２８０において、焦点が良好でない場合は、焦点レンズ調整は、識別される（ブロック２８２）が、ここでは、捕捉に使用しない画像捕捉段で良好な焦点を生成する必要がある。ブロック２８４では、自動焦点「山登り」法の較正曲線と識別された焦点レンズの調整とを使用して、最良の焦点を生成する捕捉段に必要な焦点レンズの動作を決定することによって、焦点変更検出信号を生成する。最後に、ブロック２８６では、焦点変更検出信号をズーム及び焦点モータ５ａ又は５ｂに印加して、捕捉段の焦点レンズを新しい最良の焦点位置に移動して、制御をブロック２７６に戻して、ビデオ画像は、捕捉段によって連続的に捕捉される。

また、ブロック２７８では、最小限のハンチングで焦点を保持するために、捕捉に使用せずに「全経路」自動焦点法を使用する段で焦点を連続的にチェックする。したがって、ブロック２８４では、自動焦点「全経路」法の較正曲線と識別された焦点レンズの調整とを使用して、最良の焦点を生成する捕捉段に必要な焦点レンズの動作を決定することによって、焦点変更検出信号を生成する。最後に、ブロック２８６では、焦点変更検出信号をズーム及び焦点モータ５ａ又は５ｂに印加して、捕捉段の焦点レンズを新しい最良の焦点位置に移動して、制御をブロック２７６に戻して、ビデオ画像は、捕捉段によって連続的に捕捉される。

図４及び５の双方で較正曲線を使用して捕捉段に必要なレンズの動作を決定して、最良の焦点を生成する。図６及び７は、これらの曲線を算出するためのフローを概略的に示した図である。より詳細には、図６は、図４のブロック２６６で使用した自動焦点レンジファインダの較正曲線の算出を表す。図６のブロック３００では、一連の画像セットは、短い焦点距離の第１の画像捕捉段と長い焦点距離の第２の画像捕捉段とを一連の焦点レンズ位置で使用して既知の距離で被写体とともに捕捉される。そして、ブロック３０２では、短い焦点距離の第１の画像形成段の自動焦点画像は、図１７Ａ及び１７Ｂに示すように、対応する特徴を同一ピクセル数に補うように、切り取られてアップサンプリングされる。ブロック３０４では、切り取られてアップサンプリングされた第１の画像捕捉段の画像の対応する場所に第２の画像捕捉段の画像が関連付けられて、それぞれの画像セットの画像の間のピクセルのオフセットを決定する。その結果、ブロック３０６では、既知の距離に対するそれぞれの画像セットの画像の間のピクセルのオフセットのデータは、図４のブロック２６６で使用する自動焦点レンジファインダ較正曲線として記憶される。

図７は、図５のブロック２８４で使用した「山登り」較正曲線の算出を示す。図７のブロック４００では、一連の画像セットは、第１の画像捕捉段及び第２の画像捕捉段を使用して、既知の距離で被写体とともに捕捉されるが、ここでは、自動焦点は、それぞれの画像の「山登り」法によって行われる。そして、ブロック４０２では、焦点レンズの位置は、画像セットの焦点が合った被写体との距離に対する２つの画像捕捉段と比較される。そして、焦点が合った画像の被写体との距離が等しい第２の画像捕捉段の焦点レンズの位置に対する第１の画像捕捉段の焦点レンズの位置のデータは、図５のブロック２８４で使用する自動焦点「山登り」法の較正曲線として記憶される。

図８は、図１の画像捕捉アセンブリを使用するビデオ画像捕捉法のフローを概略的に示した図である。フロー図の多くの機能的要素が図３の機能的要素と重複するので、ここでは繰り返さないが、同一の機能及び参照符号が示されている。ズーム位置設定がＸより小さい（ブロック１０２の応答がＮＯである）場合は、第１の画像捕捉段１を使用してビデオ画像を捕捉する一方、第２の画像捕捉段２を使用して自動焦点画像を捕捉する。第１の画像捕捉段１の焦点は、ここではビデオ画像であることを除き、図３の説明のように実行される。その後、図８のブロック１１２において、ズームボタン４２ｃが押されなかった場合で、ブロック１１４において、捕捉ボタンが押された場合は、ブロック１１８において、第１の画像捕捉段１でビデオ画像が捕捉される。ブロック１１９では、ビデオ画像の焦点の質がチェックされ、焦点し直す必要がある場合には、制御は、ブロック１０６に戻って、ブロック１０８で使用されて第１の画像捕捉段１の焦点モータを駆動する焦点変更検出信号が生成される。焦点し直す必要がない場合には、制御は、ブロック１１２に戻る。

ズーム位置設定がＸより大きい（ブロック１０２の応答がＹＥＳである）場合は、第２の画像捕捉段２を使用してビデオ画像を捕捉する一方、第１の画像捕捉段１を使用して自動焦点画像を捕捉する。第２の画像捕捉段２の焦点は、ここではビデオ画像であることを除き、図３の説明のように実行される。その後、ブロック１３２において、ズームボタン４２ｃが押されなかった場合で、ブロック１３４において、捕捉ボタンが押された場合は、ブロック１３８において、第２の画像捕捉段２でビデオ画像が捕捉される。ブロック１３９では、ビデオ画像の焦点の質がチェックされ、焦点し直す必要がある場合には、制御は、ブロック１２６に戻って、ブロック１２８で使用されて第２の画像捕捉段２の焦点モータを駆動する焦点変更検出信号が生成される。焦点し直す必要がない場合には、制御は、ブロック１３２に戻る。

レンジファインダ構造における図８に示した２つの画像捕捉段を使用する自動焦点処理のフローチャートを図９に示す。ここでは、レンジファインダ法を図８のブロック１０８及び１２８で使用して、第１及び第２の画像捕捉段の画像を自動焦点合わせする。図９のブロック４４０では、第１の自動焦点画像は、短い焦点距離の画像捕捉段で捕捉される。そして、ブロック４４２では、短い焦点距離の画像形成段の自動焦点画像は、対応する特徴を同一ピクセル数に補うように、切り取られてアップサンプリングされる。その一方で、ブロック４４８では、第２の自動焦点画像は、長い焦点距離の画像捕捉段で捕捉される。ブロック４４４では、第２の自動焦点画像は、切り取られてアップサンプリングされた画像と関係付けされて、画像の異なる部分の画像の間のピクセルのオフセットを決定する。そして、ブロック４４６では、必要な焦点補正がオフセットと自動焦点レンジファインダの較正曲線（図６で算出される）とから決定される。

「山登り」コントラスト比較法において図８に示した２つの画像捕捉段を使用する自動焦点処理のフローチャートを図１０に示す。ここでは、「山登り」コントラスト比較法を図８のブロック１０８及び１２８で使用して、第１及び第２の画像捕捉段からの画像を自動焦点合わせする。図１０のブロック４６０では、第１の画像は、第１の画像捕捉段に捕捉されるが、自動焦点は、「山登り」法によって行われる。そして、ブロック４６２では、第１の画像捕捉段の画像は、プレビュー画像として表示部上に提供される。その一方で、ブロック４６６では、第２の画像は、第２の画像捕捉段で捕捉されるが、自動焦点は、「山登り」法によって行われる。そして、ブロック４６８では、後続の他の画像は、第２の画像捕捉段で捕捉されるが、自動焦点は、「山登り」法によって行われる。ブロック４７０では、第２の画像の焦点条件は、後続の画像の焦点条件と比較される。そして、焦点条件が変更される（ブロック４７２の応答がＹＥＳである）場合には、第１の画像捕捉段の焦点条件は、第２の画像捕捉段の焦点条件の変更と、自動焦点「山登り」法の較正曲線（図７で算出される）とに基づいて変更される。焦点条件が変更されない（ブロック４７２の応答がＮＯである）場合には、制御は、ブロック４６８に戻り、他の画像を第２の画像捕捉段で捕捉する。

また、最小限のハンチングで焦点を保持するために、ブロック４７０において、焦点は、「全経路」自動焦点法を使用して第２の画像捕捉段で連続的にチェックされる。したがって、焦点条件が変更される（ブロック４７２の応答がＹＥＳである）場合には、第１の画像捕捉段の焦点条件は、第２の画像捕捉段の焦点条件の変更と、自動焦点「全経路」法の較正曲線とに基づいて変更される。焦点条件が変更されない（ブロック４７２の応答がＮＯである）場合には、制御は、ブロック４６８に戻り、他の画像を第２の画像捕捉段で捕捉する。

図１１は、図３又は図８の画像捕捉アセンブリを使用する画像捕捉処理法を示すフローを概略的に示した図であり、レンジマップが生成される。（図の特定の部分は、図９で使用した同一の機能及び参照符号を有する。）レンジマップの生成法は、当業者には周知である。例えば、同様の視野を有する複数のカメラによって捕捉された画像のセットのピクセルのオフセット情報から生成した視差図からレンジマップ又は深度図を生成する方法の記載は、米国特許出願公報２００６／０１９３５０９号（２００６年８月３１日にAntonio Criminisi等の名前で公開され、名称を「ステレオベースの画像処理（Stereo-based Image Processing）」）という）に記載されているが、この出願は、参照することによって本明細書に包含される。この特許出願に記載された場合では、２つ以上の画像捕捉デバイスは、単一の電子的なカメラに含まれる。２つ以上の画像捕捉デバイスは、異なった焦点距離を有するので、少なくとも１つの画像は、修正して２つ以上の画像を比較可能として、ピクセルのオフセットを決定するようにする必要がある。ここで、図１１を参照すると、ブロック４４０では、第１の自動焦点画像は、短い焦点距離の画像捕捉段で捕捉され、ブロック４４２では、短いズーム位置の画像捕捉段の自動焦点画像は、対応する特徴を同一ピクセル数に補うように、切り取られてアップサンプリングされる。その一方で、ブロック４４８では、第２の自動焦点画像は、長い焦点距離の画像捕捉段で捕捉される。そして、ブロック４８０では、第２の焦点画像は、切り取られてアップサンプリングされた画像と相関されて、画像の異なる部分の画像の間のピクセルのオフセットを決定する。そしてブロック４８２で、ピクセルのオフセットは、自動焦点レンジファインダの較正曲線を使用して画像捕捉デバイスからの距離に変換される。そしてブロック４８４で、マップは、生成され、画像の異なる部分への距離を示す。

画像捕捉デバイスから場面の部分への距離は、第１及び第２の自動焦点画像の対応する部分の間、即ち、ブロック４４２で得られた第１の自動焦点画像から切り取られてアップサンプリングされた画像の対応する部分と、ブロック４４８で得られた第２の自動焦点画像との間の測定されたピクセルのオフセットから計算できる。画像センサに生じるピクセルのオフセットｐと、ピクセルサイズｍと、レンズ間の間隔ｓと、レンズの有効焦点距離ｆと、場面の部分への距離ｄとの間の関係は、次の式で与えられる。

ｄ＝ｓ・ｆ／（ｐ・ｍ）

表１は、説明した画像捕捉デバイスの代表的なピクセルのオフセットを示す。好適な実施形態では、ピクセルのオフセットと場面の部分への距離との関係は、既知の距離の場面の被写体に対して測定され、予期しない大きさの変動と、２つのレンズアセンブリの間のあらゆる角度の傾斜とを補償する。

上述のように、レンジマップを使用して、様々な目的のために捕捉した画像信号又は出力画像を修正する。例えば、次の通りであるが、これらは、本発明を限定するものではない。
ａ）被写体の鮮明さを規定できるように被写体の連続する境界線を特定することによって、画像内の被写体の特定性（identification）を改良する。
ｂ）被写体を画像内部で分割するように被写体の連続する境界線を特定することによって、被写体を画像から抽出できるようする。
ｃ）被写体を複数の画像内で同じ被写体として追跡できるように被写体を特定することによって、複数の画像内の動作追跡を可能する。
ｄ）所望の被写界深度からはずれた場面のエリアに対応する画像の部分をぼかすことによって、ダイナミックな被写界深度画像を可能にする。
ｅ）全体としてゲイン調整を被写体に与えることによって、画像内のダイナミックレンジを改良する。
ｆ）前景の被写体に対応する画像の部分のゲインを減らし、背景の被写体のゲインを増やすことによって、フラッシュを使用することにより生じる露出の問題を減らす。
ｇ）前景の被写体を強調することによって、画像内の場面のバランスを改良する。

上述のような目的でレンジマップを使用することを理解するためには、実例を考えることが有益である。ユーザ／写真家は、アラスカの山々の素晴しい写真を有していると仮定しよう。美しく雲がかった空と冠雪した山々とがもっとも距離があるレンジにあり、花のじゅうたんが中間のレンジにあり、そして黒い犬が最前面、約１．５ｍ（５フィート）離れて座っている。しかしながら、雲は、冠雪した山々と同じように消えてしまう（露出オーバ）。黒い犬は、暗すぎて（露出不足）、焦点から外れている（カメラが景色モードであるなどの理由）。レンジデータを使用すると、画像のいくつかの特徴は、修正できる。様々な位置の露出は、具体的には、雲の部分、雪の部分、及び黒い犬の毛皮などの選択した画像の被写体の位置にゲイン調整を加えることによって改良できる。より一般的には、レンジマップを使用して、出力画像の全体として被写体の位置と無関係に被写体にゲイン調整を加えることによって、出力画像のダイナミックレンジを改良できる。さらに、被写界深度は、犬に焦点を合わせたり、山に焦点を合わせたり、これらのきれいな花々に焦点を合わせるなどのように調整できる。また、実際には美しい景観よりも犬を強調したいとユーザが考えている場合は、レンジデータを使用して、山と花を分離してぼかすことができ、さらに犬を分離して鮮明化して鮮明で微細な画像を得る。理解できるように、本発明に係るレンジマップの有用性からは、芸術的に最適化された画像を入手できる他の多くの使用法がある。例えば、ユーザは、ダイナミックな被写界深度を構成できる。即ち、焦点のレンジの領域をミックスさせることができる。より一般的には、レンジマップを使用して、レンジマップの位置に関わらず、画像の特徴的部分の被写界深度から外れた場面のエリアに対応する出力画像の部分をぼかすことによって、ダイナミックな被写界深度が可能になる。例えば、犬と山とは、レンジの反対の端部にあるが、犬と山とが興味がある領域であるので、これらに焦点を合わせて、中間レンジにある花は、平坦にぼかすことができる。

図１２及び１３は、光学画像捕捉段の異なる変形を使用するデジタルカメラのブロックを概略的に示した図である。画像捕捉段につながる構成要素の多くは、図１に関して説明したものと同一であるので、さらにここでは説明しない。図１２は、第１の画像捕捉段７１と、第２の画像捕捉段２とを有するデジタルカメラのブロックを概略的に示した図である。第１の画像捕捉段７１は、第１の固定焦点距離レンズ７３と、第１の画像センサ１２とを有し、第２の画像捕捉段は、第２の（ズーム）レンズ４と、第２の画像センサ１４とを有する。焦点合わせは、第１および第２の画像捕捉段７１及び２の焦点調整との間で実行される。

固定焦点距離レンズの焦点距離は、通常２２ｍｍなどの超広角視野を生成するので、固定焦点は、１．２ｍ程度（４フィート）から無限遠の被写体に焦点を合わすように、２．５ｍ程度（８フィート）などのレンズの過焦点距離に近い距離に設定される。したがって、固定焦点距離レンズは、焦点調整に含む必要がない。固定焦点距離レンズは、調整可能なしぼりとシャッタセンブリと（図示せず）を有し、画像センサの露出を制御する。

図１３は、第１の画像捕捉段７１と、第２の画像捕捉段２と、第３の画像捕捉段７４とを有するデジタルカメラのブロックを概略的に示した図である。第１の画像捕捉段７１は、第１の固定焦点距離レンズ７３と、第１の画像センサ１２とを有し、第２の画像捕捉段２は、第２の（ズーム）レンズ４と、第２の画像センサ１４とを有し、第３の画像捕捉段７４は、第３の（ズーム）レンズ７５と、第３の画像センサ１６とを有する。この構成では、第１のレンズ７３は、超広角レンズであり、第２の（ズーム）レンズ４は、広角レンズであり、第３の（ズーム）レンズ７５は、望遠ズームレンズである。先の段落で述べたように、超広角レンズである第１の固定焦点距離レンズ７３は、焦点合わせをしないので、焦点合わせは、第２および第３の画像捕捉段２及び７４との間で実行される。

図１４は、本発明に係る図１の画像捕捉段の双方の画像を使用することによって、画像の被写界深度を向上する方法を示すフローを概略的に示した図である。図１４のブロック５００では、ズーム位置は、カメラの電源が入れられたときのデフォルト位置に設定される。ブロック５０２では、ズーム位置設定は、第１の画像捕捉段１から第２の画像捕捉段２へ画像捕捉機能を切り替える値Ｘと比較される。ブロック５０４では、ズーム位置設定がＸより小さい（ブロック５０２の応答がＮＯである）場合、第１の画像捕捉段１を使用してプレビューモードの画像を捕捉する一方、第２の画像捕捉段２を使用して自動焦点画像を捕捉する。第１の画像捕捉段１は、表示部７０上のプレビューの画像を捕捉し続ける（ブロック５０６）一方、第２の画像捕捉段２を使用して第１の画像捕捉段１の自動焦点の自動焦点画像を捕捉する。自動焦点画像は、画像プロセッサ５０によって処理され、第１の画像捕捉段１に使用される。ズームボタンが押されずに（ブロック５０８の応答がＮＯ）、シャッタボタン４２ａが押されたときは、ブロック５１０において、第１の静止画像は、第１の焦点位置にセットされた第１の画像捕捉段を使用して捕捉される。そして、ブロック５１２では、第２の静止画像は、第２の焦点位置にセットされた第２の画像捕捉段を使用して捕捉される。そして、ブロック５１４では、第２の静止画像を使用して第１の画像の被写界深度を向上させる。例えば、第２の静止画像を使用して、第２の焦点距離の近くに位置する第１の静止画の鮮明な部分を使用できる向上信号（enhancement signal）を提供する。

ブロック５２４では、ズーム位置設定がＸより大きい（ブロック５０２の応答がＹＥＳである）場合、第２の画像捕捉段２を使用してプレビューモードの画像を捕捉する一方、第１の画像捕捉段１を使用して自動焦点画像を捕捉する。第２の画像捕捉段２は、表示部７０上のプレビューの画像を捕捉し続ける（ブロック５２６）一方、第１の画像捕捉段１を使用して第２の画像捕捉段２の自動焦点の自動焦点画像を捕捉する。自動焦点画像は、画像プロセッサ５０によって処理され、第２の画像捕捉段２に使用される。ズームボタンが押されずに（ブロック５２８の応答がＹＥＳであり）、シャッタボタン４２ａが押されたときは、ブロック５３０において、第１の静止画像は、第１の焦点位置にセットされた第２の画像捕捉段を使用して捕捉される。そして、ブロック５３２では、第２の静止画像は、第２の焦点位置にセットされた第１の画像捕捉段を使用して捕捉される。そして、ブロック５３４では、第２の静止画像を使用して第１の画像の被写界深度を向上させる。例えば、第２の静止画像を使用して、第２の焦点距離の近くに位置する第１の静止画の鮮明な部分を使用できる向上信号を提供する。

上述のように向上信号は、カメラで生成され、第２の焦点距離の近くに位置する第１の静止画像の部分を鮮明にする。しかしながら、第１及び第２の静止画像は、図１に記載されたホストＰＣ６６などの外部のプロセッサから提示でき、向上信号は、外部のプロセッサで生成され、第２の焦点距離の近くに位置する第１の静止画像の部分を鮮明にする。

複数のレンズ及び複数のセンサの概念並びに一体化された画像捕捉アセンブリの使用は、写真撮影性能を有する種類の携帯電話での使用に適応できる。したがって、図１５Ａに示すように、携帯電話６００は、電話をかける人の声を捕捉するマイクロホン６０２と、関係する電子機器であって電話のかけ手と受け手との音声信号を処理する電子機器（図示せず）と、電話の相手の声を再生するスピーカとを有する電話段を有する。キー操作部６０６は、電話番号及び画像捕捉命令の入力を提供し、（ＬＣＤ）表示部６０８は、電話に関係するデータを表示し、電話で捕捉し又は電話ネットワークから受信した画像を再生する。図１５Ｂに示された携帯電話６００の背面側の図は、画像プロセッサ５０（図１に示す）を介して、携帯電話プロセッサ９０とモデム９２とを有する携帯電話処理段と接続される携帯電話画像捕捉アセンブリ６１０を含む内部のいくつかの構成素子を特定している。携帯電話プロセッサ９０は、画像プロセッサ５０からの画像データとマイクロホン６０２で捕捉した音声データとを受信して処理し、画像及び音声データを携帯電話モデム９２に転送する。携帯電話モデム９２は、デジタルの画像及び音声データをアンテナ９４によって携帯電話ネットワークに送信するための適当なフォーマットに変換する。

携帯電話の画像捕捉アセンブリ６１０を図１６Ａ及び１６Ｂに示す。ここで、図１６Ａは、図１６Ｂの２４Ｂ−２４Ｂ線に沿ったアセンブリ６１０の平面図である。アセンブリ６１０は、共通の基板６２０上に光学及び画像構成素子が一体化されたパッケージを有する。より詳細には、アセンブリ６１０は、第１の固定焦点距離レンズ６１２及び第１の画像センサ６１４、並びに第２の固定焦点距離レンズ６１６及び第１２の画像センサ６１８を有する。好適には固定焦点距離広角レンズ（４０ｍｍ相当レンズなど）である第１のレンズ６１２は、第１の画像センサ６１４上に画像を形成し、好適には固定焦点距離望遠レンズ（１００ｍｍ相当レンズなど）である第２のレンズ６１６は、第２の画像センサ６１８上に画像を形成する。双方のレンズは、同一方向に向いており、視野が異なるにも関わらず、レンズの正面の場面全体の同じ部分の画像を形成する。

レンズ６１２及び６１６並びに関係する画像センサ６１４及び６１８はそれぞれ、画像ピクセル上に入射するＩＲ放射を減少するＩＲカットフィルタ６２２を中間に有して基板６２０に搭載される。抵抗、コンデンサ、及び電源管理素子などの電子的な素子６２４は、基板６２０に搭載される。画像信号は、コードコネクタ６２６を介して基板６２０から取り入れられる。アセンブリ６１０から取り入れられたデータは、未加工の画像データとしてもよいが、適当なプロセッサ（図示せず）が基板６２０に搭載される場合は、データは、ＹＵＶ画像データ又はＪＰＥＧ画像データにできる。さらに、画像プロセッサ５０は、広角及び望遠焦点距離の間のデジタルズームを提供できる。ユーザは、このようなズームを（ＬＣＤ）表示部６０８上に表示されたユーザインタフェースを介してキー操作部６０６上の適当なボタンを入力して開始できる。さらに、広角画像センサ６１４は、望遠画像センサ６１８の解像度より高い解像度などの高い解像度を有して、デジタルズームに高品質のソース画像を提供できる。

レンズ６１２及び６１６の双方が調整可能な焦点レンズである、本発明に係る実施形態では、画像プロセッサ５０は、（ａ）広角レンズ６１２のセンサ出力を捕捉した画像信号として選択して、望遠レンズ６１６のセンサ出力を使用して広角レンズ６１２の焦点検出信号を生成すること、又は（ｂ）望遠レンズ６１６のセンサ出力を捕捉した画像信号として選択して、広角レンズ６１２のセンサ出力を使用して望遠レンズ６１６の焦点検出信号を生成すること、のいずれか一方を行う。そして、焦点検出信号は、望遠レンズ６１６の自動焦点サブシステム６２８に印加されて、捕捉した画像信号にセンサ出力を提供する画像の焦点に調整する。この実施形態では、広角レンズ６１２は、代わりにズームレンズとすることができる。例えば、広角レンズを通常のアングルのズームレンズにできる。

他の実施形態では、広角レンズ６１２は、過焦点距離に設定される。これは、ユーザによる焦点調整を必要とせずに、数フィートから無限遠まで焦点を合わすことを意味する。望遠レンズ６１６は、自動焦点サブシステム６２８によって自動的に焦点が合わせられる。これは、焦点距離が増加すると過焦点距離を増加するために必要であり、焦点は、通常の距離（４〜１２など）で被写体に適正な焦点を得るために調整する必要がある。望遠レンズ６１６の１つの焦点サブシステム６２８のみを使用することによって、価格と大きさを削減できる。

この実施形態における重要な制約は、携帯電話のレイアウトと構造とに一致した、とても小さな形状に維持する必要があるｚ寸法６３０である。これは、注意深く選択した望遠焦点距離及びセンサの大きさによって獲得できる。例えば、センサ６１６の大きさと、センサを満たすように生成する必要がある画像の大きさとは、焦点距離を許容可能なｚ寸法６３０に減じるように十分に小さく製造するとよい。

さらなる実施形態では、２つのレンズは、異なる大きさの画像アレイを有し、近似的に同一の焦点距離を有することができる。異なる大きさの画像アレイを有するそれぞれのレンズは、画像アレイのエリアを満たすように配置され、レンズアレイのそれぞれの組合せでは、実際の焦点距離は実質的には同一である。即ち、レンズとアレイとの距離は同一である。しかしながら、３５ｍｍ相当のそれぞれのレンズは、異なる。その結果として、それぞれのレンズは、異なる視野を有することとなる。

図１６Ａ及び１６Ｂに詳細には示していないが、図１に関して説明したのと同様に、第１のセンサ６１４のアナログ出力信号は、第１のアナログ信号プロセッサによって増幅され、基板６２０上の電子的素子６２４の１つとして提供されるアナログマルチプレクサ制御素子などの制御素子の第１の入力に提供される。第２の画像センサ６１８のアナログ出力信号は、第２のアナログ信号プロセッサによって増幅され、制御素子の第２の入力に印加される。制御素子の機能は、ズーム選択に関するキー操作部６０６からのユーザ入力に基づいて、第１の画像センサ６１４のセンサ出力、又は第２の画像センサ６１８のセンサ出力のいずれか１つを選択することによって、携帯電話画像捕捉アセンブリ６００から画像プロセッサ５０に選択されたセンサ出力を提供することである。

（図１１にしたがって生成される）レンジマップを使用するさらなる実施形態では、カメラ内部のＧＰＳ部５７と電子コンパス５９とにより提供されるカメラのＧＰＳ位置及び指示方向は、カメラから場面の部分までの距離及び方向と結合されて、場面の部分のＧＰＳ位置を決定する。図１８は、場面の部分のＧＰＳ位置を決定する方法のフローチャートを示す。ブロック７５０では、カメラのＧＰＳ位置は、カメラ内のＧＰＳ部５７により決定される。ブロック７５２では、カメラの指示方向は、カメラ内の電子コンパスにより決定される。ブロック７５４では、カメラから場面の部分までの距離のオフセットは、図１１に示す手順などで得られるレンジマップにより提供される。ブロック７５６では、（電子コンパス５９により提供される）カメラからの指示方向のアングルのオフセットは、画像の視野における場面の部分の位置から決定される。ブロック７５８では、場面の部分のＧＰＳ位置は、距離のオフセットとアングルのオフセットとをカメラのＧＳＰ位置と指示方向に加えることによって決定される。そして、ブロック７６０では、場面の部分のＧＰＳ位置は、画像のメタデータに記憶されるか、又はＧＰＳ位置マップの形式として画像上にラベルとして表示される。また、画像の部分のＧＰＳ位置は、電子的なカメラに表示される。

当業者は場面の部分のＧＰＳ位置は、本発明を限定することなしに、様々な目的に使用できることを理解するであろう。被写体の正体を決定すること、場面の位置のナビゲーション方向を提供すること、地図や他の地理学的なデータなどとカメラの視野との関係を識別することなどである。

図１９は、本発明に係る二重カメラシステムの一方の画像形成段を第１の捕捉部として選択する一方、他方の画像形成段に場面解析などの他の機能を委ねる処理を説明するフローを概略的に示した図である。より詳細には、カメラの電源が入って、初期化処理が始まる（ブロック１１００）。初期化処理が終了した後、第１及び第２の画像形成段１及び２は、最初に捕捉され表示される画像を決定する所望の初期化ズーム位置である、デフォルトのズーム位置にセットされる（ブロック１１０２）。その後すぐに、第１及び第２の画像形成段は、画像表示部７０に第１及び第２のプレビュー画像を捕捉し、表示する（ブロック１１０４）。これらの画像は、サムネイル又は同種のものとして表示上に横に並べて配置し、一方を他方の内部に配置し、連続的に配置するなどいくつかの方法で表示される。次に、カメラを操作する人は、第１及び第２のプレビュー画像のいずれかを第１の画像にするかの決定について尋ねられる（ブロック１１０６）。ここで、第１の画像は、捕捉され記憶される画像になるものである。操作する人は、表示部に表示される、この決定をするための時間間隔ｘを与えられる（ブロック１１１０）。シャッタボタンがこの間隔の間に押される場合（ブロック１１０８）、又は操作する人がこの間隔の間に決定しない場合（ブロック１１１０のｙｅｓ）、所定の一方の画像形成段（デフォルトの画像形成段）は、自動的に第１の捕捉部に設定される（ブロック１１１２）。（デフォルトの画像形成段は、様々な理由で事前に選択できる。広レンジ且つ広角の視野の場面を最初の画像として提供できる）一方、操作する人が一方の段を選んだ場合（ブロック１１０６のｙｅｓ）、選択された画像形成段は、第１の捕捉部に設定される（ブロック１１２４）。いずれの状態でも、他方の（選択されなかった）画像形成段は、場面解析捕捉部として配置される（ブロック１１１４）。図２０〜２２に関して次に説明するように、その後すぐに、第１の捕捉部は、プレビューモードで操作される。

図２０〜２２及び２４〜２６は、本発明に係る、他方の画像形成段が生成した画像を修正するための二重（又はそれより多い）レンズカメラシステムにおける一方の画像形成段の画像の使用及び解析を説明するフローを概略的に示した図である。即ち、他方の画像形成段が生成した画像に影響を与え、解析し、拡張し、又は他方の画像形成段で生成する画像を変化させるものである。例えば、図２０では、（図１９に示すように）第１の捕捉部がプレビューモードに置かれると、場面解析部は、場面を解析し（ブロック１２００）、画像プロセッサ５０は、場面解析捕捉部が得た場面解析データを利用して第１の捕捉部のパラメータをセットする（ブロック１２０２）。このような場面解析データは、露出のデータ、ダイナミックレンジのデータ、被写界深度のデータ、色のバランス、顔や草や夕日や雪などを含む種々の場面の態様の識別を含むが、これは、本発明を限定するものではない。そして、捕捉部のパラメータは、絞り値、露出時間、焦点位置、ホワイトバランス、ＩＳＯ設定などを含むが、これは、本発明を限定するものではない。そして、プレビュー画像は、第１の捕捉部によって捕捉され、表示部に表示される（ブロック１２０４）。そして、場面解析捕捉部は、場面の解析を続け（ブロック１２０６）、場面条件を変更しなかった場合（ブロック１２０８のＮＯ）、処理のループはブロック１２０４に戻り、プレビュー画像は、第１の捕捉部によって再び捕捉され、表示部７０に表示される（捕捉パラメータは、変更されない）。場面条件を変更した場合（ブロック１２０８のＹＥＳ）、処理ループは、ブロック１２０２に戻り、画像プロセッサ５０は、場面解析捕捉部が得た場面解析データを利用して第１の捕捉部のパラメータをリセットし、後続の処理を始めから繰り返す。

図２１では、第１の捕捉部のパラメータは、場面条件における変化がしきい値ｘを超えた場合にのみ変更される。したがって、しきい値を有するプレビューモードを利用して、場面解析捕捉部は画像を捕捉し、場面を解析する（ブロック１３００）。そして、画像プロセッサ５０は、場面解析捕捉部が得た場面解析データを利用して第１の捕捉部のパラメータをセットする（ブロック１３０２）。そして、プレビュー画像は、第１の捕捉部によって捕捉され、表示部に表示される（ブロック１３０４）。そして、他の画像は、場面解析捕捉部で捕捉される（ブロック１３０６）。後のこの画像の場面条件がしきい値に等しいｘによって変更されない場合（ブロック１３０８のＮＯ）、即ち、場面条件が画像間で安定していると考えられる場合は、処理ループはブロック１３０４に戻り、他のプレビュー画像は、第１の捕捉部で捕捉され、表示部７０に表示される（捕捉パラメータは、変更されない）。そして、他の画像は、場面解析捕捉部から捕捉される（ブロック１３０６）。一方、場面条件の変化がしきい値ｘよりも大きく、状態が安定的でないと考えられる（ブロック１３０８のＵＥＳ）場合、処理ループは、ブロック１３０２に戻り、画像プロセッサ５０は、場面解析捕捉部が得た場面解析データを利用して第１の捕捉部のパラメータをリセットする。そして、処理を始めから繰り返す。

図２２では、しきい値場面条件は、関係する捕捉部のズーム位置を考慮し、双方の捕捉部が捕捉する画像の場面情報を利用することによって、向上する。この向上したプレビューモードを利用するとき、場面解析捕捉部のズーム位置は、第１の捕捉部のズーム位置に関連してセットされる（ブロック１４００）。そして、場面解析捕捉部は、画像を捕捉し（ブロック１４０２）、画像プロセッサは、場面解析捕捉部が得た場面解析データを利用して第１の捕捉部のパラメータをセットする（ブロック１４０４）。そして、プレビュー画像は、第１の捕捉部で捕捉され（ブロック１４０６）、場面は、捕捉したプレビュー画像と場面解析データとを利用して解析される（ブロック１４０８）。そして、画像プロセッサ５０は、先の場面解析の結果、即ち、双方の捕捉部からの画像を解析することによって得た結果を利用して、第１の捕捉部のパラメータをセットする（ブロック１４１０）。次にプレビュー画像は、第１の捕捉部で捕捉され、表示部７０に表示され（ブロック１４１２）、他の画像は、場面解析捕捉部で捕捉される（ブロック１４１４）。そして、場面は、捕捉したプレビューデータと場面解析データとを利用することによって解析される（ブロック１４１６）。場面条件がしきい値に等しいｘによって変化しない場合（ブロック１４１８のＮＯ）、即ち、場面条件が安定していると考えられる場合は、処理ループは、ブロック１４１２に戻り、他のプレビュー画像及び場面解析画像は、第１の捕捉部及び場面解析捕捉部によってそれぞれ捕捉され（ブロック１４１２及び１４１４）、上述の処理が続く。一方、場面条件の変化がしきい値ｘよりも大きく、状態が安定的でないと考えられる（ブロック１４００のＹＥＳ）場合は、処理ループは、ブロック１４１０に戻り、画像プロセッサ５０は、新しい場面解析データ（ブロック１４１６で、場面解析捕捉部が得たデータ）の結果を利用して第１の捕捉部のパラメータをリセットする。そして、処理を繰り返す。

図示したように、先の図１９〜２２に示した動作の間、プレビュー処理は、シャッタボタン４２ａ又はズームボタン４２ｂのいずれかが押さることがない限り、続けられる。図２３に示すように、ズームボタン４２ｃが押され（ブロック１５００）、要求されたズーム位置が第１の捕捉部のズームレンジ内にない（ブロック１５０２のＹＥＳ）場合、捕捉部の機能は、反転する。即ち、現在の場面解析捕捉部及び第１の捕捉部は、それぞれ第１の捕捉部及び場面解析捕捉部にリセットされる。そして、第１の捕捉部のズーム位置は、選択されたズーム位置にセットされ（ブロック１５０６）、処理は、図２０〜２３で説明したレビューモードに戻る。しかしながら、ズームボタン４２ｃが押され（ブロック１５００のＮＯ）、要求されたズーム位置が第１の捕捉部のズームレンジ内にある（ブロック１５０２のＮＯ）場合、捕捉部の機能は、それぞれ以前と同様に維持され、第１の捕捉部のズーム位置は、選択されたズーム位置にセットされ（ブロック１５０６）、処理は、レビューモードに戻る。

図２４〜２６は、本発明に係る、他方の画像形成段が生成した画像を修正するために二重（又はそれより多い）レンズカメラシステムにおける一方の画像形成段の画像の使用及び解析を説明するフローを概略的に示した図である。即ち、特に捕捉処理の間に、他方の画像形成段が生成した画像に影響を与え、解析し、拡張し、又は他方の画像形成段で生成する画像を変化させるものである。図２４を参照すると、第１の捕捉の実施形態にしたがって、捕捉モードに入り（ブロック１６００）、シャッタボタン４２ａは半分押される（Ｓ１）か、さもなければ、処理はプレビューモードに戻る。捕捉モードでは、プレビュー画像は、第１の捕捉部で捕捉する（ブロック１６０２）。次に、場面は、捕捉したプレビュー画像を利用して解析される（ブロック１６０４）。解析が終了したとき（ブロック１６０６のＹＥＳ）、画像プロセッサは、場面解析の結果を利用して第１の捕捉部のパラメータをセットする（ブロック１６０８）。そして、セットしたバラメータを使用して、プレビュー画像は、第１の捕捉部に捕捉され、表示される（ブロック１６１０）。画像捕捉を開始するためにシャッタボタン４２ａが十分に押された（Ｓ２）場合（ブロック１６１２のＹＥＳ）、第１の画像は、セットしたパラメータを使用して第１の画像部に捕捉され（ブロック１６１４）、処理は、プレビューモードに戻る。シャッタボタン４２ａが十分に押されなかった場合（ブロック１６１２のＮＯ）、カメラは、焦点又は露出のロックがセットされているかを確かめる（ブロック１６１６）。焦点又は露出がロックされている場合（ブロック１６１６のＹＥＳ）、処理のループは、ブロック１６１０に戻り、他のプレビュー画像を第１の捕捉部で捕捉して表示する。シャッタボタン４２ａの条件が再びチェックされ（ブロック１６１２）、処理は、上述のように続けられる。焦点又は露出がロックされていない場合（ブロック１６１６のＮＯ）、処理ループは、ブロック１６０２に戻り、プレビュー画像は、第１の捕捉部に捕捉され、場面は、捕捉したプレビュー画像を利用して解析される（ブロック１６０４）。そして、処理は、上述のように続けられる。

図２５を参照すると、第２の捕捉の実施形態にしたがって、捕捉モードに入り（ブロック１７００）、シャッタボタン４２ａは半分押される（Ｓ１）。そして、プレビュー画像は、第１の捕捉部に捕捉される（ブロック１７０２）。次に、画像は、場面解析捕捉部に捕捉され（ブロック１７０４）、場面は、捕捉したプレビュー画像と捕捉した場面解析画像との双方を利用して解析される（ブロック１７０６）。次に、画像プロセッサ５０は、組み合わせた場面解析の結果を利用して第１の捕捉部のパラメータをセットする（ブロック１７０８）。そして、セットしたパラメータを使用して、プレビュー画像は、第１の捕捉部に捕捉され、表示される（ブロック１７１０）。次に、先に示した図２４のように、シャッタボタン４２ａが十分に押された（Ｓ２）とき（ブロック１７１２のＹＥＳ）、第１の画像は、セットしたパラメータを使用して第１の捕捉部に捕捉され（ブロック１７１４）、処理は、プレビューモードに戻る。シャッタボタン４２ａが十分に押されなかった場合、カメラは、焦点又は露出のロックがセットされているかを確かめる（ブロック１７１６）。焦点又は露出がロックされている場合、処理のループは、ブロック１７１０に戻り、他のプレビュー画像を第１の捕捉部で捕捉して表示する（ブロック１７１０）。シャッタボタン４２ａの条件が再びチェックされ（ブロック１７１２）、処理は、上述のように続けられる。焦点又は露出がロックされていない場合（ブロック１７１６のｎｏ）、処理ループは、ブロック１７０２に戻り、プレビュー画像は、第１の捕捉部に捕捉され（ブロック１７０２）、場面は、捕捉したプレビュー画像を利用して解析される（ブロック１７０４）。そして、処理は、上述のように続けられる。

図２６を参照すると、第３の捕捉の実施形態にしたがって、シャッタボタン４２ａは、半分押される（Ｓ１）（ブロック１８００）。そして、プレビュー画像は、第１の捕捉部に捕捉され（ブロック１８０２）、画像は、場面解析捕捉部に捕捉される（ブロック１８０４）。次に、場面は、捕捉したプレビュー画像と捕捉した場面解析画像との双方を利用して解析され（ブロック１８０６）、画像プロセッサ５０は、組み合わせた場面解析の結果を利用して第１の捕捉部のパラメータをセットする（ブロック１８０８）。次に、場面解析捕捉部は、第２の捕捉部として配置され（ブロック１８１０）、画像プロセッサ５０は、組み合わせた場面解析の結果を利用して第２の捕捉部のパラメータをセットする（ブロック１８１２）。次に、シャッタボタンが十分に（Ｓ２）押されたとき（ブロック１８１４のｙｅｓ）、第１の画像は、セットしたパラメータを使用して第１の捕捉部に捕捉され（ブロック１８１６）、拡張した画像は、ここでは第２の捕捉部として配置されている場面解析捕捉部に捕捉される（ブロック１８１８）。そして、向上した画像は、第１及び拡張した画像から画像プロセッサ５０により生成され（ブロック１８２０）、処理は、プレビューモードに戻る。シャッタボタン４２ａが十分に押されない場合（ブロック１８１４）、処理ループは、ブロック１８０２に戻り、処理は、再開されて第１の捕捉部及び場面解析捕捉部から画像を捕捉する（ブロック１８０２及び１８０４）。

本発明によれば、種々の形式の付加、又は修正が図１６に関して考えられる。第１の形式の付加、又は修正は、図１４に示したものであり、画像は、一方の焦点位置で第１の捕捉部に捕捉され、他の画像は、他方の焦点位置で場面解析捕捉部（第２の画像捕捉部）に捕捉される。そして、２つの画像は、広い被写界深度を有する修正された画像に結合される。有利な点は、これは第１のレンズを絞ることなく、大きな被写界深度を得ることができることであり、特に大きな絞りが好適である微小光での捕捉で有用である。

本発明に係る他の形式の付加、又は修正では、画像は、画像プロセッサ５０によってダイナミックレンジを分析される。ダイナミックレンジが所定のしきい値を超えるときは、場面解析捕捉部を使用して第１の画像と異なるダイナミックレンジを有する第２の画像を生成する。例えば、第１の画像は、通常の露出で捕捉できるときは、第２の画像は、極端な露出で、即ち、露出オーバ又は露出不足のいずれかで、捕捉できる。例えば、第１の露出では主要部が消えていた場合、第２の露出では露出不足にして、主要部のディテールを捕捉できる。また、第１の露出では影か暗い場合は、第２の露出では露出オーバとして、影のディテールを捕捉できる。そして、修正された画像は、第１の画像の一部を第２の画像の一部に置き換えることによって広いダイナミックレンジで作られる。

第１及び第２の捕捉部で捕捉された画像は、静止画像又は動画像とすることができ、動画像の場合は一連の画像にできると理解すべきである。いずれの場合でも、静止画像又は一連の画像の構成となる動画像は、本発明に係る、説明した具体的な形によって拡張される。例えば、捕捉部を包含する電子的なカメラは、ビデオ信号を生成でき、第２の出力画像を使用して、少なくともビデオ画像信号を構成する一連の画像の被写界深度及び／又はダイナミックレンジなどを修正する。

図１４に示すフローの概略図は、本発明にしたがって、ダイナミックレンジを特に向上させた第１の画像を得るように修正できる。例えば、図１４を参照して、シャッタボタン４２ａが押されて第１の静止画像は、第１の露出レベルにセットされた第１の（又は第２の）画像捕捉段を使用して捕捉する（ブロック５１０又は５３０と同様）。そして（ブロック５１２又は５３２と同様に）、第２の静止画像は、第２の露出レベルにセットされた第２の（又は第１の）画像捕捉段を使用して捕捉する。そして（ブロック５１４又は５３４と同様に）、第２の静止画像を使用して第１の画像のダイナミックレンジを向上する。例えば、露光不足にして主要部のディテールを捕捉した第２の露出は、第１の画像と結合して広いダイナミックレンジの第１の画像を得る。

修正した画像を生成する好適な方法において、スライドスケール（sliding scale）を使用して、第１及び第２の画像の双方のピクセル値を考慮してピクセル値を決定する、修正された画像を作る。これは、同一出願人且つ同時係属する米国特許出願１１／４６０３６４号（２００６年７月２７日にJohn BorderとEfrain Moralesの名前で出願された「広いダイナミックレンジのデジタル画像の生成（Producing an Extended Dynamic Range Digital Image）」とう名称の出願）に記載されているが、この出願は、参照することによって本願に包含される。なお、２つの露出レベルを有してダイナミックレンジを補正できることは、露出フラッシュを使用するときに特に重要である。このとき、露出オーバの状態がしばしば起こるため、捕捉段の１つの露出時間をとても短い露出に設定したり、露出のタイミングをフラッシュの直前又は直後のいずれかにシフトすることになる。

拡張処理は、異なる解像度を有する画像対に関しても適用できる。例えば、参照することによって本願に包含される、同一出願人且つ同時係属する米国特許出願１１／４６１５７４号（２００６年８月１日にJohn Border、Scott Caholl及びJohn Griffithの名前で出願された「異なる解像度部分を有するデジタル画像の生成（Producing Digital Image with Different Resolution Portions）」とう名称の出願）では、場面の第１の広角デジタル画像と、実質的に同じ場面の部分である第２の望遠デジタル画像とは、２つの捕捉段で捕捉される。そして、合成画像は、第１の広角デジタル画像の一部と第２の望遠デジタル画像の一部とを結合することによって形成し、デジタルズームの間に改良された解像度を有するデジタル画像を生成する。より具体的には、合成画像のデジタルズームは、改良された画質を有し且つズームレンジに亘って高い解像度を有するズーム画像を生成する。

本発明に係るさらなる実施形態では、第１の捕捉段と第２の捕捉段とは、異なるレベルのノイズとモーションブラーとがそれぞれの画像にあるように、異なる露出時間に設定する。例えば、第１の捕捉段は、画像のデジタルノイズを低くするように、比較的長い露出に設定するが、カメラの動き又は場面中の被写体の動きのいずれかにある動作によって、モーションブラーが生じる。同時に、第２の捕捉段は、デジタルノイズは高く、モーションブラーは少なくなるように比較的速い露出に設定する。そして、第１の画像及び第２の画像は、互いに比較されてモーションブラーを特定する。第２の画像の平均ピクセル値と第１の画像の平均ピクセル値とが一致するように第２の画像のゲインを増加する。そして、修正された画像は、第１の画像の一部と第２の画像の一部とを置き換えることによって作られる。実際には、第１の画像の一部（ノイズは低いがモーションブラーがあるエリア）は、第２の画像の対応する部分（ノイズは高いがモーションブラーがないエリア）と置き換えられて、比較的ノイズ且つ鮮明な、修正された画像を得る。

本発明は、本発明のある好適な実施形態を特に参照して詳細に説明されているが、変形及び変更は、本発明の精神及び範囲内で達成できると理解されるであろう。

１ 第１の画像形成段
２ 第２の画像形成段
３ 第１のズームレンズ
４ 第２のズームレンズ
５ａ ズーム及び焦点モータ
５ｂ ズーム及び焦点モータ
１０Ａ デジタルカメラ
１２ 第１の画像センサ
１２ｅ 第１のセンサ出力
１３ クロックドライバ
１４ 第２の画像センサ
１４ｅ 第２のセンサ出力
１５ クロックドライバ
１６ 第３の画像センサ
１７ クロックドライバ
２２ 第１のアナログ信号プロセッサ（ＡＳＰ１）及びＡ／Ｄコンバータ
２４ 第２のアナログ信号プロセッサ（ＡＳＰ２）及びＡ／Ｄコンバータ
２５ 第３のアナログ信号プロセッサ（ＡＳＰ２）及びＡ／Ｄコンバータ
３４ 第１のデジタル信号マルチプレクサ制御素子
３６ 第２のデジタル信号マルチプレクサ制御素子
３７ 第３のデジタル信号マルチプレクサ制御素子
３８ ＤＲＡＭバッファメモリ
４０ 制御プロセッサ及びタイミング生成器
４２ ユーザ制御
４２ａ シャッタボタン
４２ｃ ズームボタン
４２ｄ マルチポジションセレクタ
４６ 自動露出検出器
４８ 電子的フラッシュ
５０ 画像プロセッサ
５２ メモリカードインタフェース
５４ 着脱可能なメモリカード
５６ ＲＡＭメモリ
５７ ＧＰＳ部
５８ ファームウェアメモリ
５９ 電子的コンパス
６２ ホストインタフェース
６４ 相互接続
６６ ホストＰＣ
７０ カラーＬＣＤ画像表示部
７１ 第１の画像捕捉段
７３ 第１の固定焦点距離レンズ
７４ 第３の固定焦点距離レンズ
７５ 第３の（ズーム）レンズ
９０ 携帯電話プロセッサ
９２ 携帯電話モデム
９４ アンテナ
１００ ズームレンズ設定ブロック
１０１ 入力ズーム位置ブロック
１０２ ズーム位置チェックブロック
１０４ 捕捉段設定ブロック
１０６ 第２の段の自動焦点画像捕捉ブロック
１０８ 第１の段焦点ブロック
１１０ 第１の段のプレビュー捕捉及び表示ブロック
１１２ ズームボタンチェックブロック
１１４ 捕捉ボタンチェックブロック
１１６ 第１の段の捕捉ブロック
１１８ 第１の段のビデオ捕捉ブロック
１１９ 焦点の質チェックブロック
１２０ 再焦点チェックブロック
１２４ 捕捉段設定ブロック
１２６ 第１の段の自動焦点画像捕捉ブロック
１２８ 第２の段の焦点ブロック
１３０ 第２の段のプレビュー捕捉及び表示ブロック
１３２ ズームボタンチェックブロック
１３４ 捕捉ボタンチェックブロック
１３６ 第２の段の捕捉ブロック
１３８ 第２の段のビデオ捕捉ブロック
１３９ 焦点の質チェックブロック
１４０ 再焦点チェックブロック
１５１ 被写体
１５２ 第１のレンズ
１５３ 第２のレンズ
１５４ 第１のパス
１５５ 第２のパス
１５６ 焦点面
１５７ 第１の画像
１５８ 第２の画像
１７０ 第１の基準位置
１７１ 第１のシフト位置
１８０ 第２の基準位置
１８１ 第２のシフト位置
１９０ 第１のセンサアレイ
１９１ 第２のセンサアレイ
１９７ 低周波帯域通過フィルタをロードする段階
１９８ 比較する段階
１９９ 高周波帯域通過フィルタをロードする段階
２５０ ズーム位置選択ブロック
２５２ 画像捕捉段決定ブロック
２５４ 非捕捉段ズームブロック
２５６ 過焦点設定ブロック
２５８ 自動焦点シーケンス初期化ブロック
２６０ 自動焦点画像捕捉ブロック
２６２ 切り取り及びアップサンプリングブロック
２６４ 画像相関ブロック
２６６ 最良焦点決定ブロック
２６８ 焦点レンズ動作ブロック
２７０ 画像捕捉ブロック
２７２ 「山登り」自動焦点ブロック
２７４ 捕捉ボタン作動ブロック
２７６ ビデオ捕捉ブロック
２７８ 連続「山登り」焦点チェックブロック
２８０ 焦点チェックブロック
２８２ 最良焦点決定ブロック
２８４ 焦点レンズ動作ブロック
２８６ 捕捉段再焦点ブロック
３００ 画像セット捕捉ブロック
３０２ 切り取り及びアップサンプリングブロック
３０４ 画像相関ブロック
３０６ 自動焦点レンジファインダ較正曲線生成ブロック
３５０ 自動焦点画像の表示
３５２ ズームして切り取った自動焦点画像の表示
４００ 画像セット捕捉ブロック
４０２ 位置ｖ．ｓ距離比較ブロック
４０４ 自動焦点「山登り」較正曲線生成ブロック
４４０ 短焦点距離捕捉ブロック
４４２ 短焦点距離画像の切り取り及びアップサンプリングブロック
４４４ 画像相関ブロック
４４６ 焦点相関決定ブロック
４４８ 長焦点距離捕捉ブロック
４６０ 第１の段の「山登り」第１の画像捕捉ブロック
４６２ 第１の段のプレビュー画像ブロック
４６４ 第１の段の再焦点ブロック
４６６ 第２の段の「山登り」第２の画像捕捉ブロック
４６８ 第２の段の他の画像捕捉ブロック
４７０ 第２の段の焦点条件比較ブロック
４７２ 焦点変化チェックブロック
４８０ ピクセルのオフセットを決定し画像を相関するブロック
４８２ レンジファインダ較正曲線を使用するピクセルのオフセット変換ブロック
４８４ レンジマップ生成ブロック
５００ デフォルトズーム位置ブロック
５０２ ズーム位置チェックブロック
５０４ 捕捉段設定ブロック
５０６ 第２の段のプレビュー捕捉、表示、及び自動焦点ブロック
５０８ ズームボタンチェックブロック
５１０ 第１の焦点における第１の段第１の画像捕捉ブロック
５１２ 第２の焦点における第２の段第２の画像捕捉ブロック
５１４ 第２の画像を使用する第１の画像向上ブロック
５２４ 捕捉段設定ブロック
５２６ 第１の段のプレビュー捕捉、表示、及び自動焦点ブロック
５２８ ズームボタンチェックブロック
５３０ 第１の焦点における第２の段第１の画像捕捉ブロック
５３２ 第２の焦点における第１の段第２の画像捕捉ブロック
５３４ 第２の画像を使用する第１の画像向上ブロック
６００ 携帯電話
６０２ マイクロホン
６０４ スピーカ
６０６ キー操作部
６０８ （ＬＣＤ）表示部
６１０ 携帯電話画像捕捉アセンブリ
６１２ 第１の固定焦点距離レンズ
６１４ 第１の画像センサ
６１６ 第２の固定焦点距離レンズ
６１８ 第２の画像センサ
６２０ 基板
６２２ 赤外線カットフィルタ
６２４ 電子的な素子
６２６ コードコネクタ
６２８ 自動焦点サブシステム
６３０ ｚ寸法
７５０ カメラＧＰＳ位置ブロック
７５２ カメラ指示方向ブロック
７５４ 距離オフセットブロック
７５６ 角度オフセットブロック
７５８ 場面ＧＰＳ位置ブロック
７６０ ＧＰＳ位置記憶ブロック
１１００ 電源入力ブロック
１１０２ デフォルト設定ブロック
１１０４ 捕捉及び表示ブロック
１１０６ プレビュー選択ブロック
１１０８ シャッタチェックブロック
１１１０ 表示時間チェックブロック
１１１２ デフォルト捕捉部設定ブロック
１１１４ 場面解析捕捉部設定ブロック
１１２４ 選択された第１の捕捉部設定ブロック
１２００ 場面解析ブロック
１２０２ 捕捉パラメータ設定ブロック
１２０４ プレビュー画像捕捉及び表示ブロック
１２０６ 場面解析ブロック
１２０８ 場面条件チェックブロック
１３００ 場面解析画像捕捉ブロック
１３０２ 捕捉パラメータ設定ブロック
１３０４ プレビュー画像捕捉及び表示ブロック
１３０６ 場面解析ブロック
１３０８ 場面条件しきい値チェックブロック
１４００ ズーム位置設定ブロック
１４０２ 場面解析画像捕捉ブロック
１４０４ 捕捉パラメータ設定ブロック
１４０６ プレビュー画像捕捉ブロック
１４０８ プレビュー画像及び場面解析データを使用する場面解析ブロック
１４１０ 第１の捕捉パラメータ設定ブロック
１４１２ プレビュー画像捕捉及び表示ブロック
１４１４ 場面解析画像捕捉ブロック
１４１６ プレビュー及び場面解析データを使用する場面解析ブロック
１４１８ 場面条件しきい値チェックブロック
１５００ ズームボタンチェックブロック
１５０２ ズーム位置チェックブロック
１５０４ 捕捉部配置反転ブロック
１５０６ 第１の捕捉部ズーム位置設定ブロック
１６００ シャッタボタンチェックブロック
１６０２ プレビュー画像捕捉ブロック
１６０４ プレビュー画像を使用する場面解析ブロック
１６０６ 解析完了チェックブロック
１６０８ 第１の捕捉パラメータ設定ブロック
１６１０ プレビュー画像捕捉及び表示ブロック
１６１２ シャッタボタンチェックブロック
１６１４ 第１の画像捕捉ブロック
１６１６ 焦点／露出ロックチェックブロック
１７００ シャッタボタンチェックブロック
１７０２ プレビュー画像捕捉ブロック
１７０４ 場面解析画像捕捉ブロック
１７０６ プレビュー及び場面画像を使用する場面解析ブロック
１７０８ 第１の捕捉パラメータ設定ブロック
１７１０ プレビュー画像捕捉及び表示ブロック
１７１２ シャッタボタンチェックブロック
１７１４ 第１の画像捕捉ブロック
１７１６ 焦点／露出ロックチェックブロック
１８００ シャッタボタンチェックブロック
１８０２ プレビュー画像捕捉ブロック
１８０４ 場面解析画像捕捉ブロック
１８０６ プレビュー及び場面画像を使用する場面解析ブロック
１８０８ 第１の捕捉パラメータ設定ブロック
１８１０ 場面解析捕捉ブロックを第２の捕捉部として設定するブロック
１８１２ 第２の捕捉パラメータ設定ブロック
１８１４ シャッタボタンチェックブロック
１８１６ 第１の画像捕捉ブロック
１８１８ 拡張画像捕捉ブロック
１８２０ 向上画像生成ブロック

Claims (20)

1. 捕捉した画像信号から場面の出力画像を生成する画像取得装置であって、
   第１のセンサ出力を生成する第１の画像センサと、該第１の画像センサ上に前記場面の第１の画像を取得する第１のレンズとを有する第１の画像形成段と、
   第２のセンサ出力を生成する第２の画像センサと、該第２の画像センサ上に前記場面の第２の画像を取得する第２のレンズとを有する第２の画像形成段と、
   １つ又は２つ以上の捕捉パラメータを決定するために前記第１及び第２の画像を解析する処理段と、を有し、
   前記第１の画像形成段は、前記捕捉パラメータの少なくとも１つの第１設定を利用して第３の画像を捕捉し、前記第２の画像形成段は、前記捕捉パラメータの前記少なくとも１つと相違する第２設定を利用して前記第３の画像と実質的に同時に第４の画像を捕捉し、且つ前記第３の画像は、前記第４の画像の焦点設定と異なる焦点設定で捕捉され、
   前記処理段は、前記第３及び第４の画像の双方の少なくとも一部から向上した画像を生成することを特徴とする画像取得装置。
2. 前記向上した画像の少なくとも一部は、鮮明にされる請求項１に記載の画像取得装置。
3. 前記向上した画像の少なくとも一部は、被写界深度が広げられる請求項２に記載の画像取得装置。
4. 前記向上した画像は、鮮明にされた部分と、焦点が外された部分とを含む請求項２に記載の画像取得装置。
5. 前記第２の出力画像は、前記第１の画像のダイナミックレンジを修正するために前記処理段で使用される請求項１に記載の画像取得装置。
6. 前記第２の出力画像は、前記第１の出力画像を捕捉するために前記第１の画像形成段で使用された露出レベルと異なる露出レベルで前記第２の画像形成段で捕捉される請求項１に記載の画像取得装置。
7. 前記捕捉された画像信号は、静止画像信号であり、前記第２の出力画像は、前記静止画像信号の被写界深度及びダイナミックレンジの少なくとも一方を修正する請求項１に記載の画像取得装置。
8. 前記捕捉された画像信号は、ビデオ画像信号であり、前記第２の出力画像は、前記ビデオ画像信号の被写界深度及びダイナミックレンジの少なくとも一方を修正する請求項１に記載の画像取得装置。
9. 前記画像形成段は、前記第１及び第２の出力画像がそれぞれ異なるノイズ及びモーションブラーのレベルになるように異なる露出時間に設定されることによって、前記ノイズレベルの増加を最小限としつつ、前記モーションブラーのレベルを減少させるように前記第１の画像の一部を前記第２の画像の一部と置き換えることによって修正された第１の画像を形成する請求項１に記載の画像取得装置。
10. 場面の別々の画像を形成する第１及び第２の画像形成段を有する画像取得装置の操作方法であって、
    第１の画像を捕捉するために前記第１の画像形成段を使用するステップと、
    第２の画像を捕捉するために前記第２の画像形成段を使用するステップと、
    捕捉条件を示すデータを決定するために前記第１及び第２の画像を解析するステップと、
    捕捉パラメータを決定するためにデータを処理することによって、前記第１及び第２の画像処理段で実質的に同時に第３及び第４の画像をそれぞれ捕捉するステップであって、前記第１及び第２の画像処理段の一方の段は、前記第１及び第２の画像処理段の他方の段で使用される設定と異なる、前記捕捉パラメータの少なくとも１つの設定を使用するステップと、
    前記第３及び第４の画像の双方の少なくとも一部から向上した画像を生成するステップと、
    を有し、
    前記第３の画像は、前記第４の画像の焦点設定と異なる焦点設定で捕捉される、ことを特徴とする画像取得装置の操作方法。
11. 前記向上した画像の少なくとも一部は、鮮明にされる請求項１０に記載の画像取得装置の操作方法。
12. 前記向上した画像の少なくとも一部は、被写界深度が広げられる請求項１１に記載の画像取得装置の操作方法。
13. 前記向上した画像は、鮮明にされた部分と、焦点が外された部分とを含む請求項１１に記載の画像取得装置の操作方法。
14. 前記第２の出力画像は、前記第１の画像のダイナミックレンジを修正するために使用される請求項１０に記載の画像取得装置の操作方法。
15. 前記第２の出力画像は、前記第１の出力画像を捕捉するために前記第１の画像形成段で使用された露出レベルと異なる露出レベルで前記第２の画像形成段で捕捉される請求項１０に記載の画像取得装置の操作方法。
16. 前記捕捉された画像信号は、静止画像信号であり、前記第２の出力画像は、前記静止画像信号の被写界深度及びダイナミックレンジの少なくとも一方を修正する請求項１０に記載の画像取得装置の操作方法。
17. 前記捕捉された画像信号は、ビデオ画像信号であり、前記第２の出力画像は、前記ビデオ画像信号の被写界深度及びダイナミックレンジの少なくとも一方を修正する請求項１０に記載の画像取得装置の操作方法。
18. 前記画像形成段は、前記第１及び第２の出力画像がそれぞれ異なるノイズ及びモーションブラーのレベルになるように異なる露出時間に設定されることによって、前記ノイズレベルの増加を最小限としつつ、前記モーションブラーのレベルを減少させるように前記第１の画像の一部を前記第２の画像の一部と置き換えることによって修正された第１の画像を形成する請求項１０に記載の画像取得装置の操作方法。
19. 前記第３の画像は、前記第４の画像と異なる露出レベルで捕捉される請求項１に記載の画像取得装置。
20. 前記第３の画像は、前記第４の画像と異なる露出レベルで捕捉される請求項１０に記載の画像取得装置の操作方法。

Images