JP6309922B2 - 撮像システム及び撮像方法 - Google Patents

Description

本発明はデジタル撮像システム（静止画または動画）の分野に関する。本デジタル撮像システムは、画像撮影装置、カメラ、カメラ付き携帯電話（写真を撮ることができる携帯電話）スキャナ、ファックス、内視鏡、監視カメラ、おもちゃ、携帯情報端末、コンピュータ、熱探知カメラ、超音波装置、ＭＲＩ（磁気共鳴映像法）装置およびＸ線装置などに適用される。

デジタル撮像システムは伝統的に、受光量をデジタル値に変換し、画素として知られる複数の感光素子と、光をセンサに集光する光学システムとを備える。

センサはたとえば、ＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）、ＣＩＤ（電荷注入素子）、ＩＲＣＣＤ（赤外線集荷結合素子）、ＩＣＣＤ（強化型電荷結合素子）、ＥＢＣＣＤ（電子打ち込み式電荷結合素子）、ＭＩＳ（金属−絶縁体−半導体）、ＡＰＳ（能動画素センサ）、ＱＷＩＰ（量子井戸型赤外線画像探知素子）、ＭＱＷ（多量量子井戸型）、光スペクトルおよび／またはその他の電磁スペクトル帯域感知センサ、またはその他の装置であってよい。センサはカラー画像を得るために、ベイヤーフィルタと関連していてもよい。上記センサの一部が数百万画素を計数することができるならば、センサの画素を計数するために現在用いられているユニットはメガピクセルである。

より正確には、本発明は上記撮像システムによって鮮明な画像を得るための発明である。

撮像システムが、光学システム、デジタル画像センサおよびオートフォーカスモジュールを備えることは既知である。

光学システムは、特にレンズ、鏡および／または回折素子を含む、１または複数の素子を備える光学システムについて述べる。

オートフォーカスモジュールは、システムの焦点を調整して鮮明な画像を得るための自動調整機能を備える。

合焦点動作は、光学システムが発する光線を画像センサに集光することからなる。集光という用語は、画像センサで得られる点広がり関数の大きさを最小限にすることに関与する。

焦点の決定は一般的に、連続して反復することによって、オートフォーカスモジュールを用いて利用可能な様々な設定を走査検索することによって、および上記設定それぞれの鮮明さを、たとえばカラー画像の場合には緑色成分の鮮明さを測定することによって行う。

本明細書において、「色の成分」および「色」という用語は同じ概念に対応していることに留意されたい。

しかし、オートフォーカスモジュールを使用することには、主に２つの欠点がある。最適な設定を決定するために時間がかかる場合があること（この時間はオートフォーカスの待ち時間と呼ばれる）と、特に、焦点を移動させる際の消費電力が大きいことである。

図５は従来技術のオートフォーカスモジュールを用いる撮像システムの消費電力量を示す。点Ｊ１およびＫ１の間の曲線Ｌ１は、無限遠の焦点距離に配置された被写体と近距離の被写体との間で焦点を合わせるシステムにおいて、デフォーカス値による電気強度を表す。点Ｊ１はデフォーカスがゼロの場合（無限遠の被写体）に相当し、点Ｋ１はデフォーカスが最大の場合（近距離の被写体）に相当する。

図５を提供する目的は、使用するオートフォーカスモジュールの種類によって変化することができるデフォーカスに必要な電気消費量を図示することである。

さらに、上記の理由から、ユーザーがカメラ付き携帯をプレビューモードで使用する場合に、ほとんどのカメラ付き携帯電話ではオートフォーカスモジュールを起動しない（無限遠にある被写体に合わせて設定されている）。プレビューモードで使用する場合とは、つまり、ユーザーが高解像度で本当の画像を撮像する前に、低解像度でのみ、たとえば最大３２０画素Ｘ４００画素で画像を撮影する場合である。解像度とは画像に含まれる画素数を意味する。ユーザーが写真を撮影するときにのみ、オートフォーカスモードは起動する。したがって、ユーザーはこの時に撮影した画像が鮮明であるか、または不鮮明であるかを事前に知ることはできない。

したがって、エネルギー消費とオートフォーカスの待ち時間を最小限に抑えながら、鮮明な画像を得るための解決法が必要となる。

この目的のために、および第１の態様によって、本発明はシーンの少なくとも１つの画像を撮像することを目的とするデジタル撮像システムを提案する。前記システムは光学システム、センサ、システムの焦点を調整するためのオートフォーカスモジュールおよびデジタル処理手段を含む。

本システムはシーンの少なくとも１つの最初に撮像される画像の、少なくとも１つの領域における鮮明さの代表値を推定するように設計される。オートフォーカスモジュールを配置し、所定の焦点で最初の画像を撮像する。少なくとも推定した鮮明さの代表値に基づき、本システムは第１のモードと第２のモードから操作モードを選択することができる。第１のモードでは、オートフォーカスモジュールを用いて本システムの焦点を制御し、シーンの鮮明な画像を撮像する。第２のモードでは、最初に撮像された画像または撮像された別の画像をデジタル処理手段によって処理し、別の画像は前記所定の焦点で撮像する。

このようなシステムでは、デジタル処理操作を適宜用いて、鮮明さを向上するために必須である場合にはオートフォーカスモジュールを用いるための用意をすることによって、必要な待ち時間と消費電力を削減しながら、本撮像システムで撮像した画像の鮮明さを向上させる。

焦点調整は一般的に次のように行われる。アクチュエータ（音声コイル技術、ステッピングモータ、ピエゾ素子、ＭＥＭＳ（微小電気機械システム）、ＵＳＭ（超音波モータ）またはその他手段）を用いて、光学システムおよび／もしくはセンサを移動させ、または光学システム内の素子さえも移動させる。または、光学システムを形成する素子の形および／もしくは位置を修正する液体レンズまたはその他の電気、機械および／もしくは磁気手段を用いて、撮像するシーンの画像の焦点面に、センサが来るようにする。

液晶位相変調素子（ＰＤＬＣ）は焦点を調整する光学システムの特性を修正する別の例である。

本発明は、所定の焦点で画像を撮像するためのオートフォーカスモジュールの位置を決定するステップを含む。所定の焦点とは、オートフォーカスモジュールが起動していないときに得られる焦点であり、有利なことに、電力を消費せずに、または最低限の電力しか消費しなくても焦点が安定している任意の位置で得られる焦点である。所定の焦点はオートフォーカスモジュールの配置が停止しているか、または焦点を調整した後の位置のときに得ることができる。

所定の焦点は有利には、最大限の被写界深度において無限遠距離で鮮明な画像を得るための過焦点の合焦点に関与する。または、たとえば第２のモードで被写界深度を最大限にするために決定する別の焦点に関与する。所定の焦点は、ユーザーが行う調整または、たとえば光学システムの焦点距離を解放または変更する自動調整に依存してもよい。所定の焦点はまた、システムの電源を入れた後に、またはシステム動作中に、特に第１のモードを実施後に得る任意の位置を表していてもよい。

本発明は当然のことながら画像処理手段を使用する。画像処理手段はセンサおよび光学システムと一体化してもよく、または伝送手段によって撮像システムに接続する別の装置に搭載してもよい。

画像処理手段は１または複数の画像を受信し、受信した画像に処理操作を行うソフトウェアを具備する。

処理操作には具体的には、次の操作が含まれる。
−補正画像の計算および／または
−測定の実行および／または
−複数の画像の結合および／または
−画像の精度の向上および／または
−画像の主観的品質の向上および／または
−シーン中の被写体または人物の検知および／または
−シーンに被写体または人物を追加および／または
−シーン中の被写体または人物の置き換えまたは修正および／または
−シーン中の影の除去および／または
−シーンに影を追加および／または
−画像ベースの被写体の調査

１実施形態では、たとえば、別の画像を最初の撮像に連続して撮像する。

１実施形態では、本システムは連続した画像を撮像することを目的とし、少なくとも１つの後続する画像を所定の焦点または別の焦点で撮像するとき、および後続する画像から推定した鮮明さの少なくとも１つの代表値に基づいて、第１のモードと第２のモードから操作モードを選ぶことができる装置も備える。第２のモードでは、後続する画像または撮像される別の画像をデジタル処理手段で処理し、別の画像を後続する画像と同じ焦点で撮像する。

１実施形態では、第２の操作モードにおいて、デジタル処理手段はデジタル画像処理操作を適用することができる。その目的は、最初の画像、後続する画像または撮像される別の画像の鮮明さを、オートフォーカスモジュールを実施せずに向上させることである。このような実施形態では、シーンの鮮明な画像を得るように、第１および第２の操作モードを設計する。

１実施形態では、この別の画像はたとえば、最初の撮像に引き続き撮像する画像である。

本発明による撮像システムの１実施形態では、鮮明さの代表値を以下にしたがって決定する。
−最初の画像における少なくとも２つのそれぞれの色成分の鮮明度の関係および／または、
−最初の画像における少なくとも２つの色成分のそれぞれの鮮明度の比較。

これらの条件によって、最初の画像で行った測定のみにしたがって、操作モードを選択することができる。

１実施形態では、撮像システムは第１の操作モードを選択した後に、以下にしたがって焦点調整を選択することもできる。
−最初の画像によって決定した少なくとも２つのそれぞれの色の鮮明度の関係および／または、
−最初の画像の少なくとも１つの領域および少なくとも１つの色における非点収差測定。

したがって本条件によって、オートフォーカス機能が実行する必要な反復数が減少し、その結果、必要な待ち時間およびエネルギー消費が減少する。

１実施形態では、本撮像システムは第２の操作モードを選択した後に、およびデジタル処理手段が処理する画像の少なくとも１つの領域において、より鮮明な色成分とより不鮮明な色成分を特定すること、およびより不鮮明な色に対して処理する画像の画素強度を、より鮮明な色の画像の画素強度にしたがって修正することもできる。

したがって本条件によって、画像の鮮明さはデジタル処理によって簡単に向上する。

第２の形態によれば、本発明は、光学システム、センサ、システムの焦点を調整するためのオートフォーカスモジュールおよびデジタル処理手段を含むシステムのための撮像方法に関する。この撮像方法は次のステップを含む。
−シーンの少なくとも１つの最初に撮像される画像の少なくとも１つの領域における鮮明さの代表値を推定し、前記オートフォーカスモジュールの位置を所定の焦点で最初の画像を撮像するように決定し、少なくとも推定した鮮明さの代表値に基づき、第１のモードおよび第２のモードから操作モードを選択し、
−第１のモードにおいて、システムの焦点を制御するためにオートフォーカスモジュールを用いて、シーンの鮮明な画像を撮像し、
−第２のモードにおいて、最初に撮像された画像をデジタル処理手段によって処理し、別の画像を前記所定の焦点で撮像する。

第３の形態によれば、本発明は、少なくともシーンの１つの画像を撮像することを目的とし、光学システム、センサ、本システムの焦点を調整するためのオートフォーカスモジュールを含む、撮像システムの処理モジュールに搭載されたコンピュータプログラムおよび／または電子部品に関する。前記プログラムは指示を備え、および／または前記部品は回路を備え、プログラムが実行され、および／または前記処理モジュールが部品を起動すると、本発明の第２の形態による方法のステップを実行する。

本発明の別の特性および有利点は以下の説明から明らかになるであろう。以下の説明は単に例示目的のものであり、添付図を参照して理解するべきである。

本発明の第１の実施形態による撮像システム１を表す。 本発明による方法のステップを表す。 様々な色成分および被写体とカメラ間の距離による、被写体の画像の鮮明さの変動を示す。 画像のデフォーカスによる、画像の２つの色成分の相対的な鮮明さを表す。 デフォーカスによる標準的なオートフォーカスモジュールを用いた従来技術の撮像システムの電気消費を示す。 デフォーカスによる本発明の撮像システムの消費電力を示す。

図１は本発明の第１の実施形態による撮像システム１、たとえばカメラを表す。

カメラ１は光学システム２、センサ３、オートフォーカスモジュール４および処理ユニット５を備える。

オートフォーカスモジュール４はシーンの画像によって焦点を自動的に調整することができる。この場合は、たとえば光学システム２およびセンサ３の間の距離をモータを用いて変化させることによって調整することができる（しかし、前述した別の種類の焦点も本発明において実行することができる）。

センサ３は感応素子を備え、光子流を電気信号に変換する。本実施形態では、感応素子は３色に反応する。したがって、デジタル撮像はそれぞれ３つの色成分を含むカラー画像である。

本発明は２色以上で実行できることに留意されたい。

本実施形態では、撮像された画像は１つの青色成分Ｃ１（およそ４００から５００ｎｍまでの波長）、１つの緑色成分Ｃ２（およそ５００から６００ｎｍまでの波長）および１つの赤色成分Ｃ３（およそ６００から７００ｎｍまでの波長）を含むと考えられている。

別の実施形態では、本発明を実行する際に、他の構成要素（たとえば赤外線、紫外線等）および／または２以上の任意の数の色成分を考慮することができる。

次の主要な２点に注意する必要がある。
−第１に、光学システム２の焦点は各色に特有であるため、ある色Ｃ１に特有である焦点Ｏ１は、別の色Ｃ２の焦点Ｏ２とは異なる。その結果、第２の色によってセンサで形成する画像は、第１の色によって形成する画像よりも鮮明または不鮮明となるため、センサが形成する全体的な画像の鮮明さが損なわれる。
−第２に、特定の波長に対する光学システム２の焦点は、画像に表示されるシーンの距離によって変化する。

図３は、光学システム２と撮影する被写体との距離ｄによる、撮影した被写体の色成分Ｃ１、Ｃ２およびＣ３の鮮明さの変化を示す。色成分Ｃ１、Ｃ２およびＣ３はたとえば青、緑および赤色成分にそれぞれ対応する。横軸は距離ｄを、縦軸は点広がり関数の直径Ｔを表す。

距離ｄの範囲を３つの部分に分割した。青色成分が最も鮮明な部分はＰＩであり、「マクロ」部分と呼ぶ（一般的に６０ｃｍ未満）。ＰＩＩは緑色成分が青色成分および赤色成分より鮮明な部分であり、「ポートレート」部分と呼ぶ（一般的には６０ｃｍから４ｍ）。ＰＩＩＩは赤色成分が青色成分および緑色成分より鮮明な部分であり、「風景」部分と呼ぶ（一般的に４ｍを超える）。

色によって特定した上記の焦点の順序は、例示目的でのみ示すことに留意されたい。本発明は色によって、特に彩色反転のシステムにおいて、焦点を任意の順序で実行することができる（たとえば回折物体を用いて生成する）。

オートフォーカスモジュール４を無限遠またはそれ以上の距離にある被写体に対して設定し、カメラ１が撮像するシーンの最初のカラー画像Ｉを考慮する。（実際には、オオートフォーカスジュールを無限遠を超える距離に調整することが多い。温度差や位置誤差によるデフォーカスにも関わらず、無限遠距離での鮮明さを保証するためである）。

カメラ１は以下のステップを実行するように設計されており、これについては図２を用いて説明する。

ステップ１０１において、処理ユニット５は少なくとも１つの鮮明さ測定を画像Ｉの所定の領域Ｚにおいて行う。オートフォーカスモジュール４を既定の焦点を用いて最初の画像を撮像するように配置する。

１実施形態では、この測定のために、第２のモード（Ｍ２）において深い被写界深度を利用するため、光学システムを最初から過焦点に設定する。

１実施形態では、領域Ｚは全体の画像Ｉからなり、別の実施形態では、領域Ｚは選択した画素群に対応する。

測定した鮮明さにしたがって、特に測定した鮮明さによって既定する選択規則Ｒにしたがって、処理ユニット５は操作モードをモードＭ１およびモードＭ２から選択する。

ステップ１０１で操作モードＭ１を選択する場合は、ステップ１０２において、シーンの画像を向上した鮮明さで得るためにオートフォーカスモジュール４が起動する。反復して行う焦点調整処理を、たとえば最適な鮮明さ（または少なくとも規定の最低閾値よりも高い鮮明度）に相当する、光学システム２およびセンサ３の間の最適な距離に対して、次のように実行する。光学システム２とセンサ３の間の距離のそれぞれの変形に対して、光学システム２とセンサ３の間の該当距離で撮像したシーンの画像のそれぞれの代表測定を計算することによって焦点調整処理を実行する。

ステップ１０１で操作モードＭ２を選択する場合は、ステップ１０３において、デジタル処理操作を処理ユニット５によって撮像したシーンの最初の画像に対して行い（または他の画像に対して行われることもある）、たとえば、オートフォーカス機能を用いずに、シーンの画像を向上した鮮明さで得る。

それぞれのステップの内容を下記で詳細に説明する。

ステップ１０１
画像１の領域Ｚにおける鮮明さの測定を、ステップ１０１において処理ユニット５によって行う。この測定は画像全体の測定でもよく、また、個々の基準によって該当する色成分によって変化してもよい。

ステップ１０１の１実施形態では、全体の鮮明さ計測を行い、選択規則Ｒは、たとえば、計測した鮮明さと既定（予め定めた）閾値との比較に対応する。測定した鮮明さが既定閾値より低い場合は、操作モード１を選択する。そうでない場合は、操作モードＭ２を選択する。

ステップ１０１の別の実施形態では、処理ユニット５は鮮明さ測定を１つの色成分に対して行い、操作モードをモードＭ１およびＭ２から、鮮明さ測定を既定閾値と比較して決定する。

ステップ１０１の別の実施形態では、処理ユニット５は鮮明さ測定を複数の色成分に対して行い、操作モードをモードＭ１およびＭ２から、鮮明さ測定をそれぞれの既定閾値と比較して決定する。ステップ１０１の別の実施形態では、処理ユニット５は鮮明さ測定を２つの異なる方向それぞれによって行い、操作モードをモードＭ１およびＭ２から、鮮明さ測定を比較して決定する。

ステップ１０１の別の実施形態では、処理ユニット５は相対的な鮮明さ測定を少なくとも２つの色成分に対して行う。たとえば、処理ユニット５は、画像Ｉの青色成分と緑色成分のどちらの色成分が鮮明かを決定する。次に、青色成分が青と緑色成分の中で最も鮮明な場合は、処理ユニット５は操作モードＭＩを選択する。そうでない場合は、操作モードＭ２を選択する。

ステップ１０１の上記実施形態は、「マクロ」ＰＩ部分に位置する撮像シーンにはオートフォーカスモジュール４を用い、「ポートレート」ＰＩＩおよび「風景」ＰＩＩＩ部分に位置する撮像シーンにはオートフォーカスモジュールを用いずに、独自のデジタル処理操作を用いる。Ｍ１とＭ２の２つのモードのどちらを選択するかは、単に２つの色成分の鮮明度を比較することだけに基づいて決定する。

別の実施形態では、たとえば「マクロ」および「ポートレート」部分にはモードＭ１を用い、「風景」部分にはモードＭ２を用いてもよい。

１実施形態では、次の条件１および条件２が満たされるとき、操作モードＭ１を選択する。
条件１：シーンはマクロ領域にある（つまり、青色成分が緑色成分よりも鮮明である）。
条件２：青色成分の鮮明さは、既定閾値よりも低い。

または、条件２は２以上の色成分の相対的な鮮明さを考慮して、複数の色成分の鮮明度の関係によって変化する。

別の実施形態では、選択される操作モードは、たとえば閾値と、たとえば、成分Ｃ２の鮮明さによって除した成分Ｃ１およびＣ３の鮮明さの差など、様々な色成分の鮮明度の関数との比較によって変化する。

相対的な鮮明さ測定は、１つの色成分の鮮明さ測定と別の色成分の鮮明さ測定との商または差によって変化することもある。

１つの色成分と別の色成分との相対的な鮮明さ測定は、画像の絶対鮮明さ測定に関して有利である。なぜなら、相対的な鮮明さ測定はより詳細であり、観測するシーンの内容に依存しないからである。実際に、絶対測定はモードＭ１またはＭ２のどちらを選択すべきかを決定する際に、十分に信頼できないこともある。たとえば、絶対鮮明さ測定は試験チャートのようにコントラストが高いシーンでは完璧に操作することができるが、シーンの内容が滑らかである場合には信頼できないこともある。

したがって、長手方向の色収差を用いて１つの色成分と別の色成分の相対的な鮮明さを比較する光学システム（たとえばレンズ）の使用は有利であり、観測するシーンに依存しない、より安定した測定を得る。

別の選択規則を、たとえば下記の規則を組み合わせることや、その他の規則を実行することによって、規定してもよい。

さらに、本発明は、色成分ごとまたは全体的な方法において、様々な既知の鮮明さ測定と共に適用する。鮮明さ測定はスカラ値またはベクトルに相当してもよい。

たとえば、色の鮮明さはＢＸＵと言われる測定値に相当してもよい。ＢＸＵは不鮮明さの経験測定であり、「ＩＥＥＥ画像処理国際会議議事録、２００４年シンガポール」（“Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、Ｓｉｎｇａｐｏｒｅ ２００４”）で公開されている、ジェローム・ブッジおよびフレデリック・ギシャード（Ｊeｒoｍｅ ＢＵＺＺＩ ａｎｄ Ｆｒeｄeｒｉｃ ＧＵＩＣＨＡＲＤ）による「不鮮明さ測定の独自性」（“Ｕｎｉｑｕｅｎｅｓｓ ｏｆ Ｂｌｕｒ Ｍｅａｓｕｒｅ”）というタイトルの記事に記載されている。

鮮明さは点広がり関数の変数によって表示されてもよく、またはさらに点広がり関数のフーリエ変調であるＭＴＦ（変調転移関数）を用いて表示されてもよい。

このような鮮明さを測定するための様々な測定方法がマニュアルおよび刊行物に記載されている。たとえば、「画像および映像処理ハンドブック」、アル・ボビック編、アカデミックプレス刊（“Ｈａｎｄｂｏｏｋ ｏｆ ｌｍａｇｅ ＆ Ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ”、ｅｄｉｔｅｄ ｂｙ Ａｌ Ｂｏｖｉｋ ａｎｄ ｐｕｂｌｉｓｈｅｄ ｂｙ Ａｃａｄｅｍｉｃ ｐｒｅｓｓ）、４１５ページから４３０ページに記載されている。

１実施形態では、階調度を計算することによって色成分を鮮明にすることが出来る。

たとえば、デジタル画像の領域Ｚの画素の鮮明度を推定するために、それぞれまたは一部の画素Ｐに対して、特定の色成分Ｃの画素Ｐにおいて測定Ｍを行う。これはＰに近接するＣの階調度の変化に対応する。この値は次の計算によって得られる。

特定の色Ｃに関して、Ｖ（Ｐ）は画素Ｐの近接部を表すと考える。

ＧＭは近接部Ｖ（Ｐ）における階調度のメジアン等級を表し、ＳＭはＧＭと近接部Ｖ（Ｐ）の階調度との差のメジアン等級を表す。

階調度は同色の２つの画素の強度の差の大きさによって計算する。近接部Ｖ（Ｐ）の階調度は近接部Ｖ（Ｐ）の所定の画素のペア数に関与する階調度に対応する。

測定Ｍは、色Ｃを有する画素Ｐの鮮明さを表し、ＳＭおよびＧＭの関係によって定義してもよい。このようにして値Ｍ（Ｐ、Ｃ）を求める。

標準的なオートフォーカスモジュールを用いる撮像装置においては、画像が鮮明であるかを決定するためにオートフォーカスモジュールを起動しなければならず、それには鮮明度を比較するために少なくとも２つの画像を取得することが関与するが、本発明による撮像装置は、オートフォーカスモジュールの起動が必要であるか否かにかかわらず、１つの撮像のみで鮮明さを規定する。

ステップ１０２
１実施形態では、操作モードＭ１を選択する場合は、処理ユニット５が焦点調整指示、たとえばオートフォーカス機能を実行するために光学システム２とセンサ３に適用する距離を計算し、指示をオートフォーカスモジュール４に提供する。この焦点調整指示は、たとえば、オートフォーカスモジュールを用いる前に行う１または複数の鮮明さ測定、たとえばステップ１０１で行う鮮明さ測定によって計算される。

たとえば、図４に示すように、２つの色成分間の相対的な鮮明さにも基づいて（この場合は、カメラ１を表すグラフは色Ｃ１および色Ｃ３の鮮明さの差を色Ｃ２の鮮明さおよび逆の差で除した値Δを表す）、画像のデフォーカス値を推定することができる。このデフォーカスは実施すべき焦点調整を表し、この場合にはセンサ３と光学システム２に適用する距離の変数である。

この条件では、オートフォーカスモジュール４が実行する反復処理の収束が加速し、その結果、必要な待ち時間およびエネルギー消費が減少する。

別の実施形態では、待ち時間をさらに減少させるために、より具体的には値Δがもはやデフォーカスとは直線状ではない場合に、非点収差の依存を焦点と一緒に用いてもよい。

光学システムに非点収差が存在する場合、点広がり関数の形状は焦点によって異なる。点広がり関数が対称な場所では焦点のどちら側においても、別の方向と比較した場合に１つの方向が好まれ、それにより１つの方向では鮮明な画像が得られ、垂直の方向では不鮮明な画像を得る。結果として、画像の鮮明さの方向により、これはデフォーカスと結び付けることもできる。（大部分の光学システムに関連する）非点収差が完全に補正されていない対称的なシステムでは、これが現場で現れる。光学システムの設計段階において、非点収差測定および／または光学システムのデフォーカスの方向に関する相関表を作成してもよい。さらに、高度に位置がずれた光学素子を含む光学システムは、非点収差測定および／またはデフォーカスの光学軸（画像の中心）の方向を関連づける校正段階を考慮してもよい。これは、システムがお互いとの関係で位置がずれている素子を含む場合は、非点収差は画像の中心にあるため、可能となる。

さらに、非点収差を用いるこのデフォーカス測定は、シーンの内容には相対的に敏感ではない。非点収差は考慮する色成分によって異なるため光学システムに起因し、したがってデフォーカスの特性に起因する非点収差と、シーンに起因し、色成分に依存しない非点収差とを区別する。

ステップ１０３：
１実施形態では、操作モード２を選択すると、処理ユニット５は最初の画像Ｉのデジタル処理操作を実行し、オートフォーカス機能は実行しない。

実行するデジタル処理操作は、たとえば、形状認識、ホワイトバランス調整、トーンカーブ調整、デマトリキシングのように異なっていてもよい。

１実施形態では、デジタル処理操作は参考文献ＰＣＴ／ＦＲ２００６／０５０１９７に記載されている処理操作に対応する。同文献では、画像の色から「鮮明な色」と呼ばれる少なくとも１つの色成分を選択し、鮮明な色成分の鮮明さを少なくとも別のより不鮮明な色成分に反映させることによって、少なくとも１つの色成分の鮮明さを向上するように適合されている。

したがって、上記実施形態の例を考慮して、操作モードＭ２を、青色成分Ｃ１の鮮明さが緑色成分Ｃ２の鮮明さよりも低いと決定した後に選択する。

次のステップでは、最も鮮明な色成分を色成分Ｃ２および色成分Ｃ３から決定する。本明細書において、最も鮮明であると決定された色成分は鮮明な色と呼び、その他２つの色成分は向上を必要とする色成分と呼ぶ。

本例では、ＣＡ、ＣＯおよびＣＮは画素それぞれの強度であり、グレーレベルによって特徴づけられ、それぞれ、向上した色成分、向上を必要とする色成分、および鮮明な色成分を表す。

鮮明な色成分の鮮明さは、向上を必要とする色成分上に、フィルタＦを用いて次の式により反映される。
ＣＡ＝ＣＮ＋Ｆ（ＣＯ−ＣＮ）

これにより、向上を必要とする色成分の高周波を除去し、鮮明な色成分の高周波と交換する。

典型的には、フィルタＦはフィルタが適用されている画像の詳細を除去するという特定の機能を持つ。このために、線形ローパス（またはメジアン）フィルタを用いてもよい。多くの既知の非線形フィルタもメジアンフィルタと同様の方式で、詳細を除去する特有の機能を用いて使用してもよい。

本段階では、人間の網膜は、画像の詳細に関して、緑色に特に高感度であることに注意されたい。そのため、光学システムの調整は一般的に緑色に関して特定の調整範囲において高い鮮明度を得ることを目的としている。（たとえば、「カラーアピアランスモデル」、マーク・Ｄ・フェアチャイルド著、アディソン・ウェズリー編の３０ページから３３ページを参照のこと）（“Ｃｏｌｏｒ ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ”ｂｙ Ｍａｒｋ Ｄ．Ｆａｉｒｃｈｉｌｄ ｅｄｉｔｅｄ ｂｙ Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ）。

したがって、本発明特有の洞察によれば、光学装置が生成する画像の鮮明さは人間の目には十分ではなく、詳細を考慮する際に、目の感度が低い青色や赤色等の色の１つの鮮明度を満足できるレベルで提供することもできる。

一般的に、過焦点距離に焦点をあてる光学システムでは、近接した被写体および遠くの被写体の画像を考慮すると、遠くの被写体の鮮明さは一般的に緑色を用いて決定するが、近くの被写体の鮮明さは青色を考慮すると向上する。

したがって、画像の領域は、２つの色の相対的な鮮明さによる、様々な鮮明な色によって向上できることが重要である。

したがって、本発明の１実施形態では、画像Ｉを領域に分解する。次に、引き続き各領域を考慮して、各領域の最も鮮明な色を特定する。１実施形態では、最も鮮明な色の鮮明さを該当領域の他の色成分に反映している。別の実施形態では、重み係数を用いて計算した全体的な補正を画像に適用している。重み係数は関連する鮮明な色が領域内で特定された回数を表す。

このような処理操作は画像の様々な領域の特性にしたがって行われるため、従来技術の撮像システムで用いられるオートフォーカスモジュールと比べて有利である。実際に、様々な距離に被写体が位置するシーンの例では、従来技術の撮像システムは複数の被写体の１つのみに焦点を合わせるが、本発明によれば、該当するすべての被写体の鮮明な画像を得る。

１実施形態では、処理ユニット５の計算手段がプログラムを実行している間に、現在処理ユニット５上にあるステップ１０１、１０２および１０３を実行するための指示を含むプログラムを実行した後に、上記ステップに記載する処理操作を処理ユニット５で実行する。

上記実施形態において、鮮明さを向上するステップ１０３を、操作モードＭ２を選択した後に、最初に撮像した画像Ｉで実行する。

別の実施形態では、ステップ１０３の向上処理を１または複数のその他の画像、たとえば最初の画像の後に撮像された画像、たとえば所定の焦点で撮像された別の画像を用いる映像画像において行う。

本発明を実行することで、映像画像を撮像する場合に、特に有利な結果を得る。

実際に、映像画像を撮像する場合には、オートフォーカスモジュールを機能させる反復による待ち時間は非常に不利であった。特に、被写体が移動しているときには、調整した画像を見る場合の焦点に関し、発振現象も発生した。

本発明によって、ビデオ映像を撮像する場合に発生する発振現象および鮮明な画像を得るために必要となる待ち時間が大幅に減少する。実際に、本発明によれば、操作モードＭ２を選択できる場合に、オートフォーカスモジュールの使用を大幅に削減できるため、動く被写体に対しては特に有利である。その結果、画像を安定化する一定の効果が得られる。

安定化は、ステップ１０２の上記説明が示すように、鮮明さ測定にしたがって以前に決定した焦点調整を、オートフォーカスモジュールに前もって適用している場合には、さらに増加する。

本発明はまた、画像安定操作の信頼性を増す。画像安定操作は、シーンそのものではなく光学システム／センサの移動によって生じる不鮮明度を補正するためのものであり、デジタルおよび／または光学補正処置（たとえばレンズの移動）を用いる。

モードＭ１においてかなり早く集光するために、安定化測定を鮮明な画像について行うと、さらに信頼できる。モードＭ２では、オートフォーカスモジュールを用いずに画像は鮮明であり、画像安定化に用いる測定はさらに信頼できる。

したがって、待ち時間が減少するにつれて、鮮明な画像をより早く得ることになり、したがって安定化測定はさらに信頼できる。従来技術のオートフォーカスモジュールに関しては、半位相によって生じる発振は、正しい設定に移動する場合には、画像安定化測定を困難にする。

図６は本発明による撮像システムの消費電力を示す。点Ｊ１とＫ１の間の曲線Ｌ２は、無限遠から特定の近距離までの焦点距離に焦点を合わせる光学システムにおいて、デフォーカス値（Ｄｅｆ）による電気強度を表す。点Ｊ１はデフォーカスがゼロの場合（無限遠の距離にある被写体）に相当し、点Ｋ１はデフォーカスが最大の場合（近距離の被写体）に相当する。

矢印で表示する縦の点線は操作モードＭ２（同縦線の左側）から操作モードＭ１（同縦線の右側）への移行を表す。

したがって、操作モードＭ１では、本発明による撮像システムの消費電力は、従来技術のシステムの同水準のデフォーカス値の消費電力と同等である（図５参照）。しかし、操作モードＭ１において、焦点指示を前もって行うことによって、曲線Ｌ１は、従来技術と異なり、焦点位置を決めるために反復して半位相処理の範囲で複数回行き来することはない。

操作モードＭ２におけるすべてのデフォーカス値では、本発明による撮像システムの消費電力はデフォーカスがゼロの場合は従来技術のシステムの消費電力と等しく、つまり最小限の消費である。

たとえば、上記の１実施形態では、操作モードＭ２がポートレートおよび風景部分に対応し、操作モードＭ１がマクロ部分に対応する。システムからシーンまでの距離が無限遠からおよそ６０ｃｍまでの距離にあるときに、つまり撮像システムを使用するほとんどの場合に、上記のように消費電力は最小限となる。

したがって本発明は、オートフォーカスモジュールの使用を、デジタル処理操作による鮮明さの向上が不十分であるか、または不適切である限定した事例に制限し、このように、より鮮明な色の鮮明さを１または複数のより不鮮明な色に移行することを可能にする。したがって本発明は、エネルギー消費とオートフォーカスの待ち時間を限定しながら、撮像された画像の鮮明さを向上する。

したがってオートフォーカス調整はカメラ付き携帯電話において、プレビューモードにおいてさえも機能する。さらに、ビデオを撮像する際に、連続的に撮像された画像も鮮明にすることができる（以前は、オートフォーカスモジュールによって各ビデオ画像に調整操作を行うことは、連続した高速画像のために不可能であった）。

Claims (11)

1. 光学システム（２）と、センサ（３）と、前記光学システム（２）の焦点を調整するためのオートフォーカスモジュール（４）と、デジタル処理手段（５）とを有し、シーンの少なくとも１つの画像を撮像することを目的とする撮像システム（１）であって、
   前記撮像システム（１）はシーンの少なくとも１つの最初に撮像される画像の少なくとも１つの領域における鮮明さの少なくとも１つの代表値を推定し、前記オートフォーカスモジュール（４）の位置は、所定の焦点を用いて前記最初の画像を撮像するように決定されており、
   少なくとも前記推定した鮮明さの前記代表値に基づいて、前記撮像システム（１）は第１のモード（Ｍ１）および第２のモード（Ｍ２）から操作モードを選択することができ、
   前記第１のモード（Ｍ１）において、前記オートフォーカスモジュール（４）を用いて前記シーンのより鮮明な画像を撮像するために前記光学システム（２）の前記焦点を制御すると共に、
   前記第２のモード（Ｍ２）において、前記最初に撮像された画像または撮像された別の画像を前記デジタル処理手段（５）によって処理し、前記別の画像は前記所定の焦点で撮像されるものであり、さらに、前記鮮明さの前記代表値が
   −前記最初の画像の青色成分であるＣ１、緑色成分であるＣ２、赤色成分であるＣ３の鮮明度の関係および／または、
   −前記最初の画像の前記Ｃ１、Ｃ２、Ｃ３のそれぞれの前記鮮明度の比較と、
   によって決定され、さらに
   条件１：前記Ｃ１の鮮明さが前記Ｃ２の鮮明さよりも鮮明であること、及び
   条件２：前記Ｃ１の鮮明さは、既定閾値よりも低いこと
   が満たされるとき、前記第１のモード（Ｍ１）が選択されることを特徴とする撮像システム。
2. 連続した画像を撮像することを目的とし、少なくとも１つの後続の画像を前記所定の焦点または別の焦点で撮像するときに、前記後続する画像から推定した前記鮮明さの少なくとも１つの代表値に基づいて、前記第１のモード（Ｍ１）および前記第２のモード（Ｍ２）の間で操作モードを選択することができる装置も備え、前記第２のモード（Ｍ２）において、前記後続する画像または撮像された別の画像を前記デジタル処理手段（５）によって処理し、前記別の画像を前記後続する画像と同じ焦点で撮像する、請求項１に記載の撮像システム。
3. 前記第２のモード（Ｍ２）において、前記デジタル処理手段（５）は、前記オートフォーカスモジュールを実行せずに、前記最初の画像、前記後続する画像または撮像された別の画像の前記鮮明さを向上させることを目的とするデジタル画像処理操作を適用することができる、請求項２に記載の撮像システム（１）。
4. 請求項１から３のいずれか１つに記載の撮像システム（１）であって、前記第１のモード（Ｍ１）を選択した後に、
   −前記最初の画像によって決定した前記Ｃ１、Ｃ２、Ｃ３の前記鮮明度の関係および／または、
   −前記最初の画像の少なくとも１つの領域および少なくとも１色における非点収差測定と、
   によって焦点調整を選択することができる、撮像システム。
5. 請求項１から４のいずれか１つに記載の撮像システム（１）であって、前記第２のモード（Ｍ２）を選択した後に、および前記デジタル処理手段によって処理した前記画像の少なくとも１つの領域において、より鮮明な色成分およびより不鮮明な色成分を特定することができ、より不鮮明な前記色成分に対して処理する前記画像の画素強度を、より鮮明な前記色成分の前記画像の画素強度にしたがって修正することができる、撮像システム。
6. 光学システム（２）と、センサ（３）と、前記光学システム（２）の焦点を調整するためのオートフォーカスモジュール（４）と、デジタル処理手段（５）とを有する撮像システム（１）のための撮像方法であって、この方法は、
   −シーンの少なくとも１つの最初に撮像される画像の少なくとも１つの領域における鮮明さの少なくとも１つの代表値を推定するステップであって、前記オートフォーカスモジュールの位置は、所定の焦点を用いて前記最初の画像を撮像するように決定されている、ステップと、
   −前記推定した鮮明さの少なくとも前記代表値に基づいて、第１のモード（Ｍ１）および第２のモード（Ｍ２）から操作モードを選択するステップとからなり、
   前記第１のモード（Ｍ１）において、前記オートフォーカスモジュール（４）を用いて、前記シーンのより鮮明な画像を撮像するために前記光学システム（２）の前記焦点を制御し、
   前記第２のモード（Ｍ２）において、前記最初に撮像された画像または撮像された別の画像を前記デジタル処理手段（５）によって処理し、前記別の画像を前記所定の焦点で撮像し、さらに、前記鮮明さの前記代表値が
   −前記最初の画像の青色成分であるＣ１、緑色成分であるＣ２、赤色成分であるＣ３の鮮明度の関係および／または、
   −前記最初の画像の前記Ｃ１、Ｃ２、Ｃ３のそれぞれの前記鮮明度の比較と、
   によって決定され、さらに
   条件１：前記Ｃ１の鮮明さが前記Ｃ２の鮮明さよりも鮮明であること、及び
   条件２：前記Ｃ１の鮮明さは、既定閾値よりも低いこと
   が満たされるとき、前記第１のモード（Ｍ１）が選択されることを特徴とする撮像方法。
7. 連続した画像を撮像することを目的とし、少なくとも１つの後続の画像を前記所定の焦点または別の焦点で撮像するときに、前記後続する画像から推定した前記鮮明さの少なくとも１つの代表値に基づいて、前記第１のモード（Ｍ１）および前記第２のモード（Ｍ２）の間で操作モードを選択することができる装置も備え、前記第２のモード（Ｍ２）において、前記後続する画像または撮像される別の画像を前記デジタル処理手段（５）によって処理し、前記別の画像を前記後続する画像と同じ焦点で撮像する、請求項６に記載の撮像方法。
8. 前記第２のモード（Ｍ２）において、前記デジタル処理手段（５）は、前記オートフォーカスモジュールを実行せずに、前記最初の画像、前記後続する画像または別の撮像の前記鮮明さを向上させることを目的とするデジタル画像処理操作を適用する、請求項７に記載の撮像方法（１）。
9. 請求項６から８のいずれか１つに記載の撮像方法（１）であって、前記第１のモード（Ｍ１）を選択した後に、
   −前記最初の画像の前記Ｃ１、Ｃ２、Ｃ３の前記鮮明度の関係および／または、
   −前記最初の画像の少なくとも１つの領域および少なくとも１色における非点収差測定と、
   によって焦点調整を選択することができる、撮像方法。
10. 請求項６から９のいずれか１つに記載の撮像方法であって、第２のモード（Ｍ２）を選択した後に、および前記デジタル処理手段によって処理した前記画像の少なくとも１つの領域において、より鮮明な色成分およびより不鮮明な色成分を特定し、より不鮮明な前記色成分に対して処理する前記画像の画素強度を、より鮮明な前記色成分の前記画像の画素強度にしたがって修正する、撮像方法。
11. シーンの少なくとも１つの画像を撮像することを目的とし、光学システム（２）と、センサ（３）と、前記光学システム（２）の焦点を調整するためのオートフォーカスモジュール（４）とを含む撮像システム（１）の処理モジュール（５）におけるコンピュータプログラムであって、前記プログラムは指示を含み、前記プログラムの実行後、請求項６から１０のいずれか１つに記載の方法の前記ステップを実行する、コンピュータプログラム。

Images