JP4546565B2 - デジタル画像処理 - Google Patents

Description

本特許出願は、一般に、デジタル画像装置におけるデジタル画像処理に関する。

過去数年、デジタルカメラなどのデジタル画像装置は、画像技術において注目すべき役割を果たすようになった。従来のカメラは、化学的処理および機械的処理に依存しており、動作させるのに電気を必要としないのが一般的である。しかしながら、デジタルカメラには、１つまたは複数のプロセッサが内蔵されており、このようなカメラでは、画像は、全てデジタル形式で記録される。これらの電子的性質によって、デジタルカメラ（またはデジタルカメラモジュール）を他の電子装置に簡単に統合することができる。現今、移動用通信装置（移動端末）は、これらの電子装置の中で最も一般的な例である。マスタ装置（すなわち、カメラモジュールが統合される装置）によって、カメラモジュールは、マスタ装置の他のいくつかのコンポーネントやシステムと通信を行うことができる。例えば、カメラ付き携帯電話において、カメラモジュールでは、一般に、１つまたは複数のプロセッサとの通信が機能している。デジタルカメラの場合、装置は、他のいくつかのタイプの専用信号処理コンポーネントを備えることもある。

デジタルカメラには、一組のレンズがあり、一場面の画像を作成するために光を集束させるレンズシステムとなっている。しかし、一片のフィルム上で光を集束させる代わりに、光を電子的に記録する半導体素子上で光を集束させる。この半導体素子は、例えば、ＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（電荷結合素子）センサである場合がある。センサは、主に、光を電子電荷に変換する感光ピクセルの集合で構成される。この電子電荷は、さらにデジタル画像データに変換される。一般に、デジタル画像データは、主に、センサコンポーネント自体の外部で処理される。しかし、昨今では、論理とメモリとをＣＭＯＳセンサに統合することもできる。米国特許出願公開第６，５７０，６１７号明細書には、単一のチップカメラが開示されている。ここでは、いくつかの信号及び制御用電子素子は、感光素子と同じ基板上に統合されている。

従来のフィルム型カメラとはかなり異なり、通常、現代のデジタルカメラには、ユーザが撮影中のフレームのプレビュが表示されるカラーディスプレイが統合されている。このディスプレイは、従来の光学ビューファインダの代わりに、デジタルビューファインダとして使用することができる。ディスプレイ上に表示される画像は、一般に画像センサから直接取得され、元の解像度からダウンスケーリングした後、ビューファインダディスプレイ上に表示される。この処理によって、プレビュモードの間のライブ表示を確実で迅速に更新することができる。プレビュ画像は、以下で説明する方法において、画像によるオートフォーカスのためにも使用される。

一般に、デジタルカメラにおいて、画像センサは、プレビュ表示を迅速に更新することができるという前述の要件、およびディスプレイにおけるピクセル解像度の制限のため、低い解像度のＱＶＧＡ（クォータビデオグラフィックアレイ）でディスプレイにデータを出力する。プレビュモードの間、解像度の低い画像を分析してレンズシステムを調整することによって、画像を使用してオートフォーカスを行うので、フォーカシングを改善することができる。ユーザは、ビューファインダディスプレイ上に表示された画像をチェックすることによって、オートフォーカスの適用が成功したか否かを確認することができる。ここで、例えば、当分野で周知の様々な距離測定法によって、画像を使用せずに焦点を合わせることもできる。しかしながら、ビューファインダプレビュのために画像の解像度を下げるため、現代のマルチメガピクセル、例えば３メガピクセルカメラにおいて画像を使用して焦点を正確に合わせるのに十分高い解像度ではない。すなわち、ダウンスケーリングされた画像解像度では、解像度があまり高くないため、画像を正確に解析するための基準としてオートフォーカスの微調整を行うことはできない。したがって、一般に、カメラにおいて、画像を取得する前に、上記で述べた前もって焦点を合わせる方法に加えて、より高い解像度の画像データに基づいて焦点を最終的に合わせるためのいくつかのステップを実行しなければならない。

従来技術のデジタルカメラにおけるオートフォーカス機能およびプレビュ機能の動作は、上記の説明と多少異なる場合がある。しかし、従来技術のシステムには、特に、メガピクセル画像から、不要な遅延を起こさずに連続して正確な焦点データを供給するのに、一定の厳しい制限があることを理解することができる。従来技術のシステムにおいて、一定の時間においてビューファインダのためにダウンスケーリングされた解像度の低い画像しか使用することができない場合があるため、正確な焦点データを常に利用することができないことが理解される。また、焦点を最終的に合わせるために解像度の高い画像を取得した場合、ビューファインダ画像が適切に更新されない場合もある。

デジタルカメラによって斬新で興味深い画像処理方法が提供されたとしても、なお、焦点を合わせる方法を改善する必要がある。つまり、現在の技術におけるものよりさらに正確かつ高速な方法であり、これらの方法によって常に増加し続けるセンサの解像度に対応することができる。さらに、これらの方法は、例えばプレビュ用に画像周波数を高くするため、画像をダウンスケーリングする（解像度を下げる）必要がある状況においても有効である。自動画像処理、例えば、自動ホワイトバランス調整において、クロッピングした画像を使用する場合でも最良の結果を得ることができなければならない。以下の説明では、これらの必要性に対処する解決法が開示される。

上記で述べた1つまたは複数の問題を解決するため、本出願によれば、デジタル画像処理のための方法であって、画像センサによって画像を提供するステップと、第１スケーリング率によってスケーリングするため前記画像中において少なくとも１つの第１領域を選択するステップと、第２スケーリング率によってスケーリングするため前記画像中において少なくとも１つの第２領域を選択するステップと、前記第１領域および前記第２領域をさらに処理するために提供するステップと、を備える方法が提供される。

本出願の他の形態は、デジタル画像処理のための画像処理モジュールであって、画像を提供するための画像センサモジュールと、前記画像に基づいてスケーリングした部分解像度の画像を提供するためのプロセッサと、少なくとも、第１スケーリング率によってスケーリングするための前記画像中の１つの第１領域、および第２スケーリング率によってスケーリングするための前記画像中の１つの第２領域を選択するための選択ユニットと、を備える、画像処理モジュールである。

本出願のさらに他の形態は、コンピュータプログラムを実体として格納するデジタル画像処理のためのコンピュータプログラム製品であって、前記プログラムは、画像センサによって画像を提供することと、前記画像センサにおいて、第１スケーリング率によってスケーリングするため前記画像中で少なくとも１つの第１領域を選択することと、前記画像センサにおいて、第２スケーリング率によってスケーリングするため前記画像中で少なくとも１つの第２領域を選択することと、前記第１領域および前記第２領域をさらに処理するために提供することと、のために少なくとも１つのプロセッサ上で動作する命令を備える、コンピュータプログラム製品である。

上記の特徴と独立して提供されることもある他の形態によれば、本出願によって、前記画像の少なくとも一部に関して統計情報を算出することと、前記画像中においてズーム領域を選択することと、さらに処理するために前記ズーム領域を転送することと、自動ホワイトバランス調整のために前記統計情報を転送することと、が提供される。スケーリングは、前記画像センサまたは前記カメラプロセッサにおいて実行することができる。

本発明は、デジタル画像処理、特にフォーカシング及びホワイトバランス調整の動作に関して、相当に優位である。本発明によって、正確なオートフォーカスが可能となり、ホワイトバランス調整は、デジタルズームを使用する場合でさえより正確になる。さらに、画像の焦点が常に合うようにすることができる。画像センサと他の処理手段との間のインターフェイスにおけるデータ信号速度によって、常時、信頼性のあるフォーカシングおよびビデオ撮影用のビューファインダ上の表示のために、画像を処理することができる。この方法は、静止画像に対して適用可能であり、ビデオ画像処理においても、オートフォーカスがより正確になる。

以下の説明において、明確にするため特定の用語が使用されているが、これらの用語は、図面で例示するために選んだ本発明の特定の構造についてのみ言及することを意図する。したがって、これらの用語は、本発明の範囲を過度に規定したりまたは制限したりすることを意図しない。説明において、一般的な用語「画像」は、視覚的画像データの形式を定義するのに使用する。画像の例としては、静止画像と、ビデオ画像と、撮影処理の間に使用するプレビュ画像と、がある。本説明における「未処理画像」は、いかなる方法でも処理されていない画像データに関する。未処理画像は、画像センサによって取得されたが解釈されていないデータである。「処理済画像」は、未処理画像データを処理した結果である。処理済画像は、視覚的に解釈することができるが、必ずしも解釈する必要はない。「画像処理装置」は、デジタル画像処理のための手段を備える任意の装置でよい。したがって、画像処理装置は、デジタルカメラ、画像電話、あるいは、画像処理手段（例えばウェブカメラ）を含むかまたは画像処理手段に接続される場合がある他の装置でもよい。

次に、図１を参照しながら、本出願によって開示される方法を実現する画像処理装置について説明する。図１では、画像処理装置の構造を非常に簡略化して示す。画像処理装置の図は、本方法が相当有益に利用されるデジタルカメラのコンポーネントなどを示す。

画像処理装置１００は、カメラモジュール１１０と、視聴覚エンジンでもよいカメラプロセッサ１２０と、本体１３０と、を備える。本体１３０の用途は、装置１００を様々に適用するための主要な役割を担当させることである。本体１３０は、例えば、画像処理装置１００のディスプレイ１３２を制御するためのディスプレイ制御装置１３１を備える。本体１３０を配置するのは、画像や他の情報をメモリカード１３３または他の記憶手段に保存するためでもある。さらに、本体１３０は、パーソナルコンピュータなどの外部記憶手段へのデータ転送用接続を構成するための通信手段を有してもよい。これらの通信手段は、データケーブルまたは無線である場合がある。本体１３０は、さらに、他の機能、あるいは、他のシステム、コンポーネント、またはデータベースへの接続を有することがある。このような機能や接続によって、画像処理装置の効率および性能が改善される。

本例において、カメラプロセッサ１２０は、少なくとも、オートフォーカスを決定するための手段１２１と、自動ホワイトバランス調整を算出するための手段１２２と、を備える。また、カメラプロセッサ１２０は、（状況によって）周知の画像処理方式に従って画像を処理することができる。本例では、カメラプロセッサ１２０は、独立コンポーネントとして例示されている。しかし、本体１３０のプロセッサによって、カメラ処理機能を実行することができることを評価されたい。また、他の構成も可能である。カメラプロセッサによって、画像中の領域を選択しスケーリングすることができる場合がある。特に、１または１より大きいスケーリング係数によって未処理画像データ、すなわちフル解像度の画像をスケーリングすることができる。

カメラモジュール１１０とカメラプロセッサは、データバスおよび制御バスを提供するインターフェイス１０１を介して接続される。データバスによって、未処理画像データを処理するための制限された帯域幅が提供される場合がある。カメラモジュール１１０によって、未処理画像の領域を選択しスケーリングすることができる場合がある。カメラモジュール１１０によって、カメラプロセッサ１２０からスケーリング率および選択すべき領域に関する情報を受け取ることができてもよい。

インターフェイス１０１は、カメラモジュール１１０とカメラプロセッサ１２０との間のインターフェイスの一例である。インターフェイス１０１の帯域幅が制限されるため、ビューファインダまたはビデオ用に所望のフレーム速度を保持することができるほど十分速い速度で、フルサイズの未処理データを送ることができない場合がある。

画像センサ１１５は、標準モバイル画像処理アーキテクチャ（Standard Mobile Imaging Architecture）（ＳＭＩＡ）と同様のアーキテクチャを有することがある。このアーキテクチャでは、カメラにおける一連の画像処理の一部として、未処理カメラデータを、例えばビューファインダまたはビデオのために、スケーリングしたり、および／または、例えばデジタルズームのために、クロッピングしたりする場合がある。

ＳＭＩＡセンサは、画像スケーリングおよび画像クロッピング以外に画像再構成のためのハードウェアを含まないという意味において「愚かな」モジュールとして説明されることがある。カメラモジュールは、未処理画像データを出力することもある。例えば、別個のプロセッサエンジン１２０上で実行されるソフトウェアアルゴリズム、またはカメラモジュールに接続された他のコンピューティングハードウェアによって、データを処理してもよい。

実施例によれば、カメラモジュール１１０は、レンズ１１１を介して画像センサ１１５上に光を生成するレンズ１１１を備える。この例において、画像センサ１１５は、アナログ−デジタル変換器１１６と、利得を取り入れる手段と、光感知エリア１１８と、を備える。いくつかの画像センサ１１５は、利得のみを備え、いくつかの画像センサ１１５は、備えない場合がある。

画像センサ１１５から受け取ったダウンスケーリングした未処理画像データからは、信頼できるオートフォーカス（ＡＦ）統計を算出することができないことが分かった。解像度を下げることによって、フォーカスエラーの一部が隠れる場合があるからである。したがって、ＡＦ統計情報は、スケーリングされていない未処理画像データから算出しなければならない。

カメラ装置に手動フォーカスオプションがある場合、ユーザが焦点を正確に見ることができるようにフル解像度に拡大された画像の一部を見る必要がある。したがって、手動フォーカスにも未処理画像データが必要である。

しかしながら、ビューファインダディスプレイ１３２またはビデオアプリケーションに適用するのに、画像センサ１１５側で未処理データをダウンスケーリングしなければならない場合がある。インターフェイス１０１の帯域幅によって、十分速い速度でフルサイズの未処理データを送ることができないからである。あるいは、画像の再構成に加えてフレーム全体にスケーリングを行い、それでもなお、ビューファインダおよびビデオのために所望のフレーム速度を保持することができるほど、十分な処理能力が受信端にないからである。インターフェイス１０１の帯域幅によって、フルサイズの未処理画像のフレーム速度を１５フレーム／秒（ｆｐｓ）に制限するようにすることができる。

画像センサ１１５内においてスケーリングを行うため、画像センサ１１５は、ビデオ画像スケーラ１１７も備える。スケーラ１１７は、未処理画像データのスケーリングを行うため配置される。スケーラ１１７は、画像の解像度を異なるスケーリング率にスケーリングする。スケーラ１１７は、画像の第１領域の解像度を１：１のスケーリング率に変更するために配置される。この場合、１または１より小さいＮに対して、第２の領域または他の任意の領域を１：Ｎでスケーリングすることができる。画像センサ１１０は、スケーリングされていない第１領域とスケーリングされた第２領域とをカメラプロセッサ１２０に送ることができる。

オートフォーカス手段１２１は、スケーリングされていない第１領域内の情報からオートフォーカスの統計情報を算出することができる。第１領域とオーバーラップする場合があるスケーリングされた第２領域をダウンスケーリングされた第１領域と一緒に使用して、ディスプレイ１３２に表示することができる。

スケーリングされていない第１領域を送ることによって、カメラプロセッサ１２０内で未処理画像データからＡＦおよび手動フォーカスを行うことができる。第１領域は、インターフェイス１０１の帯域幅によって未処理データを送ることができるように十分小さくすることができる。第２領域をスケーリングして、制限された帯域幅のインターフェイス１０１を介して、好ましくは第１領域より大きい第２領域の画像データを送ることができるようにする。

また、カメラプロセッサ１２０は、スケーリング率および選択すべき領域に関する情報をカメラモジュール１１０に送ることができる。また、カメラプロセッサにおいて第２領域のスケーリングを実行することができる。

デジタルズームのためにフルサイズの未処理画像データをクロッピングする場合、他の問題が生じる。この場合、自動ホワイトバランス調整（ＡＷＢ）が不正確になる場合がある。ＡＷＢの統計情報を集めるためにズーム領域の外側で画像データを使用することが有利になる場合がある。

自動ホワイトバランス調整（ＡＷＢ）を行うために、画像センサ１１５は、統計的手段１１９を備えてもよい。統計的手段１１９は、フル解像度の画像上で動作することができる。統計的手段１１９によって、異なる照明条件および色温度を補償するのに必要な統計情報を収集して、白い物体がほとんどの状況において白であると感知されるようにすることができる。ＡＷＢによって、例えば、Ｒ、Ｇ、およびＢの異なる色成分の利得を相互に関して調整し、白い物体が白となるようにすることができる。

ＡＷＢ計算のための手段１２２において、統計的手段１１９内で収集された統計情報を使用してＡＷＢアルゴリズムを実行することができる。

また、カメラプロセッサにおいて、統計情報の収集および／またはスケーリングを実行することができる。また、カメラプロセッサにおいて、画像の統計情報の収集を実行することができる。

一般に、少なくとも２つの領域に異なるスケーリング率を提供することができることに留意されたい。領域の１つをズーミングのため使用することができる。この領域のみを画像の一部として使用することができ、他の領域は、画像からクロッピングすることもできる。しかしながら、第１領域の画像処理において、例えば、自動ホワイトバランス調整のために、他の領域の統計情報が有用になる場合がある。したがって、他の領域からも統計情報を収集することができる。統計情報の収集を改善するため、統計情報を収集する前に、画像用には使用されないが統計情報の収集用のみに使用される領域をスケーリングすることが有用な場合がある。領域のスケーリングは、カメラモジュール１１０またはカメラプロセッサ１２０において別に実行してもよい。

図２に、画像処理装置の他の一例を示す。ここでは、画像電話２００が示されている。この画像電話２００は、図１を参照しながら説明したコンポーネントに加えて、無線通信機能に関して必要なコンポーネントも備える。例えば、この図２において、装置２００は、オーディオ手段２３６と、様々なネットワーク手段２３４と、基本的移動用コンポーネント２３５（例えばキーボード、パワーマネージメント）と、を備える。当業者であれば、装置２００には、ここで述べられた機能やコンポーネントと共に、他の機能やコンポーネントも組み込むことができることを評価するであろう。

図３に、画像処理装置のさらに他の一例を示す。ここに示す画像電話３００は、画像電話２００（図２）をもう少し詳細に示した図である。この図では、オートフォーカスを決定するための手段１２１およびＡＷＢを計算するための手段１２２は、マルチメディアプロセッサ３２２の中に配置されている。また、図３において、画像電話は、ＷＬＡＮ接続２３４を備える。しかし、この追加する短距離ネットワーク機能が、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）または赤外線などの他の短距離ネットワークでもよいことは、明らかであろう。また、図３には、送受信機３３７が示されている。メインメモリとして、この例における画像電話３００は、ＳＤＲＡＭメモリ３３９を備える。この図における本体１３０は、ベースバンドにおいて電話を動作させる。さらに、画像電話３００では、ステレオ入力およびステレオ出力３３８が可能である。また、当業者であれば、本体の代わりに、カメラプロセッサを、ディスプレイ、オーディオ、メモリカード、または外部記憶装置などのコンポーネントに接続してもよいことを評価するであろう。

図４に示されるように、カメラモジュール１１０およびカメラプロセッサを動作させることによって、ＡＦ計算や手動フォーカスのために正確なデータをカメラプロセッサに提供することができる。

最初に、カメラセンサ１２０において、フル解像度の画像（未処理画像）を取得し（４０１）、Ａ／Ｄ変換器１１６において、アナログ−デジタル変換を実行する（４０２）。

次に、スケーラ１１７は、スケーリングのために少なくとも２つの領域を選択する（４０３）。図６ａでは、３つの領域ｓ１、ｓ２、ｓ３の選択およびスケーリングについて説明する。これらの領域は、鉛直方向においてのみ変化してもよい。このように選択することによって、列ＡＤ変換器１１６を使用するセンサにとって有益になる場合がある。行ＡＤ変換器１１６を使用する場合は、水平方向でもよい。スケーラ１１７は、Ａ／Ｄ変換（４０２）の前に領域を選択し（４０３）てもよい。

図６ｂは、位置およびサイズを２次元で定義して選択する場合の領域ｓ１、ｓ２、ｓ３を示す。

選択の後、スケーラ１１７は、領域のスケーリングを行う（４０４）。例えば、スケーラ１１７は、領域ｓ１の線は、全くスケーリングせず、領域ｓ２の線は、定義済ダウンスケーリング係数によってダウンスケーリングするように、領域ｓ１、ｓ２、ｓ３をスケーリングすることができる。領域ｓ３の線は、他の定義済係数によって、ダウンスケーリング、すなわち、サブサンプリングを行うこともできる。

スケーリング係数Ｎは、１＝Ｎ₁≧Ｎ₂≧Ｎ₃と定義することができる。ここで、Ｎ＜１の場合、ダウンスケーリングを意味する。例えば、領域ｓ２によってビデオまたはビューファインダの画像を定義することができる。

ＡＦアルゴリズム用に、または手動フォーカスの場合のユーザに対して、正確な情報を提供するために、画像領域ｓ１をスケーリングしなくてもよい。一方、例えば、ビューファインダ処理用に、領域ｓ２、ｓ３をダウンスケーリングしてもよい。領域やスケーリング率に関する情報をカメラモジュール１０に提供することができる。例えば、領域のサイズおよび位置をカメラプロセッサ１２０からカメラモジュール１１０へ提供することができる。また、カメラプロセッサ１２０がそれぞれの領域のスケーリング率をカメラモジュール１１０に提供することも可能である。しかしながら、上記は、領域の選択および／またはスケーリングがカメラモジュール１１０において実行される場合においてのみ適用することができる。カメラプロセッサ１２０において領域の選択および／またはスケーリングが実行される場合の領域に関しては、必ずしも、カメラプロセッサ１２０からカメラモジュール１１０へ情報を転送する必要はない。

スケーリングされない領域ｓ１およびスケーリングされた領域ｓ２は、インターフェイス１０１を介して、カメラモジュール１１０からカメラプロセッサ１２０へ転送することができる（４０５）。

また、スケーリングされない領域ｓ１、および／またはｓ２、および／またはｓ３をカメラモジュール１１０からプロセッサ１２０へ転送することもできる。プロセッサ１２０において、スケーリングされない領域のスケーリングを実行することができる。しかしながら、異なる領域に異なるスケーリング率を適用することができることに留意することが重要である。このように、例えば、画像処理のために１つの領域、そして、統計情報の収集のために他の領域、などのように、異なる領域が異なる用途を満たすことができる。

カメラプロセッサ１２０は、データを受信し、異なる領域ｓ１、ｓ２、ｓ３を組み合わせることによって、正しくスケーリングされた全画像を作成することができる（４１０）。

領域ｓ１を領域ｓ２と一緒に使用する場合、カメラプロセッサ１２０は、まずＡＦのためのスケーリングされない領域ｓ１から統計情報を収集して、領域ｓ１のダウンスケーリングを行うことによって、画像領域ｓ２と調和するようにする必要がある。また、例えば、手動フォーカスを可能にするため、表示用に領域ｓ１を元の解像度で使用することができる場合がある。

領域ｓ１とｓ２との間の境界を極めて正確にして、最終的な処理済画像が連続するようにしなければならない。したがって、領域ｓ２に関連して領域ｓ１の位置、サイズ、およびスケーリング係数を制限することによって、全ての元の線／ピクセルによって処理操作を実行することができる。また、領域ｓ１と境界がオーバーラップする領域ｓ２を提供することによって、カメラプロセッサ１２０は、領域ｓ１の任意のスケーリング係数および位置／サイズを使用しても、これらの領域をスムーズに組み合わせることができる。

インターフェイス１０１の帯域幅のためカメラモジュール１１０から所望のフレーム速度でフル解像度の領域ｓ１および／またはｓ２を送信することができない場合、カメラモジュール１１０は、フル解像度の線を転送するとき生じる転送データのピークを処理するために、ピクセルバッファを追加しなければならないことがある。

本出願によって、インターフェイス１０１において必要とされる帯域幅と、カメラプロセッサ１２０において必要とされる処理能力と、をさらに低減することができる。

ＡＦを適用する場合、カメラプロセッサ１２０は、レンズを移動するかまたはレンズの現在位置を保持するかを決定することができる。カメラプロセッサ１２０は、全画像データについて調べずに、未処理画像データである領域ｓ１から統計情報を収集し、これらの統計情報に基づいてレンズをどの方向に移動すべきかを決定することができる。カメラプロセッサ１２０は、フォーカシングのために画像中のどのブロックを使用するかを決定してもよい。ダウンスケーリングされた画像の解析のみに基づいてレンズの移動を決定すると、不正確になる。したがって、本発明による方法は、従来技術の方法より望ましいものである。

フォーカシングの決定は、領域ｓ１から取得される統計情報に基づく。画像センサの特徴および前回集束した値に従って、これらの決定のために少なくとも１つの目標値を定義することができる。統計情報を目標値と比較し、現時点の統計情報が目標値からどの程度離れているかに従ってレンズを移動する。統計情報が目標値より小さい（悪い）とき、より良いと思われる方向にレンズを移動する。移動が完了したとき、統計情報をチェックし、十分に良い結果であれば、レンズをその位置に保持する。結果は良くなったが、十分に良い結果でない場合、その方向に移動し続ける。結果が悪くなれば、レンズを反対の方向に移動する。この場合、統計情報をチェックし、次のステップの決定を行う。結果が十分に良くなった場合、レンズをその位置に保持する。あるいは、必要であれば、次の位置もチェックすることができる。ここでも結果がより悪くなれば、レンズを元の位置に戻す。目標値を再定義する。ステップごとに、レンズが新しい位置に移動したり前の位置に戻ったりした場合、目標値を再定義する。目標値が悪すぎる場合、焦点が失われたことを示すことがある。この場合、全焦点領域において再スキャンを行ってもよい。多数の異なる周波数からの統計情報があるか否かに関係なく、これらの変化から、焦点がいつ改善されたか、および、レンズをどの方向に移動すべきかを調べることができることにも留意されたい。また、いつフォーカシングが必要かについて観察することができる。例えば、周波数帯の最良の目標値が低い値で終われば終わるほど、レンズを一定の方向に移動しなければならない傾向がある。

図５に、ＡＷＢの計算を示す。まず、画像センサ１１５において、フル解像度の画像を取得し（５０１）、Ａ／Ｄ変換器１１６において、アナログ−デジタル変換を実行する（５０２）。次に、スケーラ１１７は、ズーミングのために少なくとも１つの領域を選択する（５０３）。この１つの領域は、図６に示されるように領域ｓ２でもよい。画像をこのズーム領域ｓ２にクロッピングし、カメラプロセッサにこのデータだけを転送することができる。スケーラ１１７は、Ａ／Ｄ変換（５０２）の前に領域を選択し（５０３）てもよい。

しかしながら、クロッピングされたズーム領域ｓ２に適用するだけであれば、カメラプロセッサ１２０内のＡＷＢは、不正確である。全画像領域の情報を使用することによって、ＡＷＢは、より正確になる。したがって、ズーム領域ｓ２に加えて、全画像を表す領域ｓ３のサブサンプリングを行うことができる（５０４）。ＡＷＢの統計情報のために、領域ｓ３中の未処理画像データのサブサンプルを使用することができる。領域ｓ３における未処理画像データのサブサンプルを均等な間隔にすることができる。統計的手段１１９によって、領域ｓ３および領域ｓ２におけるサブサンプルからＡＷＢのために使用される画像の統計情報を収集することができる（５０５）。また、プロセッサ１２０において、異なる領域のスケーリングを行うことができる。カメラプロセッサ１２０において、統計情報を収集することもできる。異なる領域に対して、異なるスケーリング係数を適用することができ、選択された領域に対して、統計情報を選択的に収集することができることは、重要である。

ＡＷＢ処理のために、カメラインターフェイス１０１を介して、領域ｓ３からのＡＷＢのための統計情報と一緒にズーム領域の画像データをカメラプロセッサ１２０に転送することができる（５１０）。さらに、カメラプロセッサ１２０において、領域ｓ３からのＡＷＢ統計情報上で、ペデスタルを削除したり口径食を除去したり騒音を減少させたりすることができる。

これらの例において、画像センサは、ＣＭＯＳセンサであり、感光素子と同じ基板上に論理とメモリを統合することができる。しかしながら、本発明は、ＣＭＯＳセンサの使用に限定されない。ＣＣＤセンサおよび他の画像センサが画像のスケーリングに適した回路および論理を組み込むように配置される場合、ＣＣＤセンサおよび他の画像センサを使用することもできる。

当業者であれば、本システムがフォーカシング機能の効果を拡張するのに適した任意の数の性能および機能を組み込むことができることを評価するであろう。さらに、本システムによって、データを保守するための手動または自動の他のサービスを提供することができる。

したがって、特許請求の範囲において述べられる本発明の保護範囲を逸脱しない限り、説明した実施例の変形と変更が可能であることは、明白になるであろう。

画像処理装置構造の一例を示す図である。 画像処理装置構造の他の一例を示す図である。 画像処理装置構造のさらに他の一例を示す図である。 ２つのカメラコンポーネント間における方法ステップおよびこれらの方法ステップの各部の一例を示す図である。 ２つのカメラコンポーネント間における方法ステップおよびこれらの方法ステップの各部の他の一例を示す図である。 第１領域、第２領域、および第３番領域を有する画像を示す図である。 第１領域、第２領域、および第３番領域を有する他の画像を示す図である。

Claims (29)

1. 画像センサにおいてフル解像度の画像を検出するステップと、
   前記画像センサにおいて、第１スケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第１フル解像度領域を選択するステップと、
   前記画像センサにおいて、第２の異なるスケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第２の異なるフル解像度領域を選択するステップと、
   前記画像センサにおいて、第１スケーリング済み領域を提供するために前記第１スケーリング率を使用して前記検出されたフル解像度の画像中において前記選択された少なくとも１つの第１フル解像度領域をスケーリングするステップと、
   前記画像センサにおいて、第２スケーリング済み領域を提供するために前記第２の異なるスケーリング率を使用して前記検出されたフル解像度の画像中において前記選択された少なくとも１つの第２フル解像度の領域をスケーリングするステップと、
   さらに処理するために前記第１スケーリング済み領域および前記第２スケーリング済み領域を提供するステップであって、前記さらに処理することは、少なくとも前記第１スケーリング済み領域を使用してオートフォーカス情報を算出することを含む、ステップと、を含む方法。
2. 前記画像センサにおいて、
   Ａ）前記領域に関する情報と、
   Ｂ）前記スケーリング率に関する情報と、のうちの少なくとも１つを受け取るステップをさらに備える、請求項１に記載の方法。
3. 前記さらに処理することは、前記第１スケーリング済み領域および第２スケーリング済み領域を用いて前記画像センサの外部で前記検出されたフル解像度の画像を再構築し、前記再構築された画像を記憶することを含む、請求項１に記載の方法。
4. 前記第１スケーリング率は、１：１のスケーリング率であって、前記選択された第１フル解像度領域中において第１のフル解像度の画像を提供する、請求項１に記載の方法。
5. 前記第２スケーリング率は、１より小さいＮに対して１：Ｎのスケーリング率であって、前記選択された第２フル解像度領域中において第２の解像度をダウンスケーリングした画像を提供する、請求項１に記載の方法。
6. 前記オートフォーカス情報は、前記画像センサの外部で算出される、請求項１に記載の方法。
7. 前記オートフォーカス情報は、少なくとも前記第１フル解像度領域の統計情報を備える、請求項６に記載の方法。
8. 手動フォーカス情報のために少なくとも前記第１スケーリング済み領域を提供するステップをさらに備える、請求項１に記載の方法。
9. ビューファインダディスプレイ上に表示するため、前記第１スケーリング済み領域をスケーリングし、手動フォーカス情報のために使用する、請求項８に記載の方法。
10. 前記第１フル解像度領域は、少なくとも部分的に前記第２フル解像度領域中に位置し、前記第１フル解像度領域の内容を、第１スケーリング率および第２スケーリング率によってスケーリングする、請求項１に記載の方法。
11. 前記第１フル解像度領域は、少なくとも部分的に前記第２フル解像度領域中に位置し、前記画像センサの外部で、前記第２スケーリング率によって、前記第１フル解像度領域を再スケーリングする、請求項１に記載の方法。
12. 少なくとも前記第２フル解像度領域を
    Ａ）ビューファインダディスプレイと、
    Ｂ）ビデオユニットと、のうちの少なくとも１つに提供するステップをさらに含む、請求項１に記載の方法。
13. 前記第２スケーリング率に関連して前記第１スケーリング率を制限して、前記第１スケーリング済み領域と前記第２スケーリング済み領域との間の境界のスムージングを行うステップをさらに含む、請求項１に記載の方法。
14. 境界がオーバーラップする前記第１フル解像度領域および前記第２フル解像度領域を選択するステップをさらに含む、請求項１に記載の方法。
15. 画像センサにおいて画像情報をバッファリングするステップをさらに含む、請求項１に記載の方法。
16. 前記第１フル解像度領域と前記第２フル解像度領域とは、
    Ａ）水平線と、
    Ｂ）鉛直線と、
    のうちの少なくとも１つにおいて互いに境界を有する、請求項１に記載の方法。
17. 前記検出されたフル解像度の画像の少なくとも一部に関して統計情報を算出するステップと、
    前記検出されたフル解像度の画像中においてズーム領域を選択するステップと、
    さらに処理するために前記ズーム領域を転送するステップと、
    自動ホワイトバランス調整のために前記統計情報を転送するステップと、をさらに含む、請求項１に記載の方法。
18. 前記統計情報は、前記フル解像度の画像のサブサンプルから算出される、請求項１７に記載の方法。
19. 前記サブサンプルを前記検出されたフル解像度の画像中において均等の間隔で取る、請求項１７に記載の方法。
20. 前記統計情報上で、
    Ａ）ペデスタルの削除と、
    Ｂ）口径食の除去と、
    Ｃ）騒音の減少と、
    のうちの少なくとも１つを実行するステップをさらに含む、請求項１７に記載の方法。
21. 前記ズーム領域は、前記画像センサにおいて前記検出されたフル解像度の画像からクロッピングされ、
    前記ズーム領域は、デジタルズームを提供するためにさらに処理される、請求項１７に記載の方法。
22. フル解像度の画像を検出するように構成された画像センサモジュールと、
    前記画像センサ上に空間的に位置し、
    第１スケーリング済み領域と、を提供するために、第１スケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第１フル解像度領域、及び、
    第２スケーリング済み領域を提供するために第２の異なるスケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第２の異なるフル解像度領域を選択し、
    さらに処理するために前記第１スケーリング済み領域および前記第２スケーリング済み領域を提供するように構成されたスケーラであって、前記さらに処理することは、少なくとも前記第１スケーリング済み領域を使用してオートフォーカス情報を算出することを含む、スケーラと、を備える画像処理モジュール。
23. 前記画像センサは、前記画像センサの外でさらに処理するために、前記第１スケーリング済み領域および前記第２スケーリング済み領域を提供するインターフェイスを備える、請求項２２に記載のモジュール。
24. 前記スケーラは、１より小さいＮに対して１：Ｎのスケーリング率によって、前記領域のうちの少なくとも１つをスケーリングするように配置される、請求項２２に記載のモジュール。
25. 前記画像センサは、ＣＭＯＳセンサである、請求項２２に記載のモジュール。
26. 請求項２２に記載の画像処理モジュールを備える、デジタルカメラ。
27. 請求項２２に記載の画像処理モジュールを備える、移動電話。
28. 画像センサにおいて画像を検出するために、少なくとも１つのプロセッサを稼動させる命令を含むプログラムであって、前記画像センサにおいて、第１スケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第１フル解像度領域を選択するステップと、
    前記画像センサにおいて、第２の異なるスケーリング率によってスケーリングするため前記検出されたフル解像度の画像中で少なくとも１つの第２の異なるフル解像度領域を選択するステップと、
    前記画像センサにおいて、第１スケーリング済み領域を提供するために第１スケーリング率を使用して前記検出されたフル解像度の画像中において選択された前記少なくとも１つの第１フル解像度領域をスケーリングするステップと、
    前記画像センサにおいて、第２スケーリング済み領域を提供するために第２の異なるスケーリング率を使用して前記検出されたフル解像度の画像中において前記選択された少なくとも１つの第２フル解像度領域をスケーリングするステップと、
    さらに処理するために前記第１スケーリング済み領域および前記第２スケーリング済み領域を提供するステップであって、前記さらに処理することは、少なくとも前記第１スケーリング済み領域を使用してオートフォーカス情報を算出することを含む、ステップと、を実行させるプログラム。
29. 前記コンピュータ・プログラムは、少なくとも１つのプロセッサを稼動させる命令を含み、前記画像センサに、
    Ａ）前記領域に関する情報と、
    Ｂ）前記スケーリング率に関する情報と、の少なくとも１つを受信させることを実行させる、請求項２８に記載のコンピュータ・プログラム。

Images