JP4520502B2

JP4520502B2 - デジタル撮像デバイスにおける画像品質向上のための方法、装置、撮像モジュールおよびプログラム

Info

Publication number: JP4520502B2
Application number: JP2007513977A
Authority: JP
Inventors: ヤルノニッカネン; オッシカレヴォ
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2004-06-07
Filing date: 2004-06-07
Publication date: 2010-08-04
Anticipated expiration: 2024-06-07
Also published as: EP1772007A1; CN101015197B; CN101015197A; JP2008502187A; US7548262B2; WO2005122549A1; EP2091224A1; EP2091224B1; US20050270402A1

Description

本発明は、デジタル撮像イメージセンサーから取得される画像データを処理画像に処理するための撮像連鎖における口径食修正に関する。

口径食は、特にデジタル記録された画像で見られる周知の影響であり、画像の境界部分の環状対称陰影として特徴付けられる。つまり、画像の輝度が画像の境界に向かって減少する。口径食は時には光量減少と呼ばれる。光学系の境界部分の屈折は典型的に画像境界近くの最終画像の光レベルを減少させるので、口径食作用の一部はレンズなどの撮像光学系の構成要素によるものである。口径食作用の一部はセンサーに関連する。口径食に関連するセンサーに影響を与える要素は、センサーのマイクロレンズや充填比である。充填比とは、センサーピクセルの全面積に対する感光領域の比である。ピクセルの充填比は、各ピクセルの前面に、光ダイオードなどのさらに小型の感光性要素上のマイクロレンズにあたる光をその下にもっと集束させる微小の個別のマイクロレンズを適用することにより改善される。さらに、入射光が十分に深い角度でセンサーに当たると、入射光はセンサーの底にある実際の感光性要素に到達する代わりに「ピクセル壁」に吸収されることがある。

一部のデジタルカメラ製造者は口径食作用を全く修正しない。高品質の光学系により口径食は無視できるので、修正する必要はない。しかし、典型的には、デジタルカメラのセンサー製造者はある種の口径食対策を使用する。特に、非常に小型のデジタルカメラモジュールでは、典型的に光学系とセンサーの両方を統合する光学モジュールが含まれるので、通常は口径食作用が存在する。通常、小型で安価なデバイスの口径食作用は顕著であり、口径食に対するなんらかの修正が必要である。

従来の解決策では、一般的に、口径食作用は、画像が記録された後、画像の輝度を補正することにより修正される。典型的には、最終画像の照度だけが修正される。多くの場合、小型でコンパクトな撮像デバイスで優れた画像を実現するには、より正確ではあるが簡単な方法が必要である。典型的には、従来の解決策では、修正は実装するには手間がかかり、困難で多大な時間を必要としたり、修正は平均的に不正確な最終画像となったりする。従来の輝度修正の不利な点の１つは、異なる波長を持つ色が同様に処理されていたことである。典型的に、センサーはさまざまな色のピクセルを含み、最終画像も多色であるにかかわらず、従来技術で使用された修正値は平均値であり、色修正が適用されていない。

本発明の目的は、最終処理画像の口径食作用を修正するための従来の解決策が持つ障害を克服することである。本発明の１つの目的は、特に、口径食作用をより正確に、そしてセンサーのすべての主色を別々に補正することにより、最終画像の品質を改善することである。本発明の別の目的は、解決策を簡単に留め、特にコンパクトで小型、安価で軽量なカメラデバイスで利用できるようにすることである。本発明のさらなる目的は、限られた数だけのパラメータを使用して撮像モジュールの口径食に関する性能を特徴づける、簡単で効果的なやり方を提供することである。

本発明の目的は、撮像モジュールの少なくとも２つの主色成分に対して、撮像モジュールでキャプチャされるデジタル画像の口径食作用を別々に決定および補正することにより、達成される。
本発明によるデジタル画像の画像品質を向上するためのモデル形成方法は、モデル形成方法に関する独立請求項の特徴を示している箇所に記載の内容を特徴としている。
本発明による口径食修正のためのモデルは、口径食を修正するためのモデルに関する請求項の特徴を示している箇所に記載さの内容を特徴としている。
本発明によるモデルは、デジタル画像からの口径食を修正するために使用されることができる。
本発明による画像品質を向上するための方法は、画像品質を向上するための方法に関する独立請求項の特徴を示している箇所に記載の内容を特徴としている。
本発明による画像品質を向上するためのモデル決定装置は、装置に関する独立請求項の特徴を示している箇所に記載の内容を特徴としている。
本発明による画像を形成するための撮像光学系と画像センサーを含む撮像モジュールは、それに関する独立請求項に記載の内容を特徴としている。
本発明によるデバイスは、デバイスが本発明による上記の種類の撮像モジュールを含んでいることを特徴とする。
本発明によるデバイスにおいて口径食作用を補正するためのプログラムモジュールは、デバイス内で口径食作用を補正するためのプログラムモジュールに関する独立請求項に記載の内容を特徴とする。本発明による撮像モジュールにおいて口径食作用を補正するためのプログラム製品は、撮像モジュール内で口径食作用を補正するためのプログラム製品に関する独立請求項に記載の内容を特徴とする。
本発明の実施形態は、従属請求項に記載される。

撮像光学系と画像センサーを含む撮像モジュールによりキャプチャされるデジタル画像の画像品質を向上するためのモデルを決定する実施形態による装置では、画像は撮像光学系を通って感光性の画像センサー上に形成され、画像モジュールの少なくとも２つの主色に対して口径食作用を別々に決定するための手段が含まれる。ある実施形態においては、該装置は、前記撮像モジュールの少なくとも２つの主色成分に対して口径食モデルを求めるための手段と、画像の異なる点（x, y）の修正増幅率を定義する修正係数を使用して定義された単一の修正関数に前記口径食モデルを組み入れるための手段を含む。

実施形態によれば、撮像光学系と画像センサーを含む撮像モジュールによりキャプチャされるデジタル画像の画像品質を向上するためのモデルを形成する方法においては、画像は撮像光学系を通って感光性の画像センサー上に形成され、撮像モジュールの少なくとも２つの主色に対して、撮像モジュールによってキャプチャされるデジタル画像の口径食作用を別々に決定するステップが含まれる。ある実施形態においては、該方法は、前記撮像モジュールの少なくとも２つの主色成分に対して口径食モデルを求めるステップと、画像の異なる点（x, y）の修正増幅率を定義する修正係数を使用して定義された単一の修正関数に前記口径食モデルを組み入れるステップを含む。

本発明の実施形態によれば、カメラセンサーモジュールから獲得された生データは、最終的に処理される画像が正確に修正されるように処理される。本発明の実施形態によれば、修正は、パラメータの数が最小となる簡単なモデルにより実装される。本発明の実施形態では、高品質の修正が、小型でコンパクトなデバイスでも実行可能な簡単で軽量なモデルにより実現される。

本発明の実施形態によれば、口径食の修正はパラメータ化された多項式によりモデル化される。１つの実施形態によれば、多項式は6次多項式である。ある実施形態では、この多項式は異なる主色成分間の口径食の差をモデル化するためのパラメータを含む。このように、本発明では、色成分間の差が考慮される。適用される色成分は、3色のRGB構成要素（赤、緑、青）、4色のCMYG構成要素（シアン、マジェンタ、黄、緑）またはその他任意に選択される主色成分が可能である。また、本発明の実施形態の修正によれば、画像の中心とは異なる口径食の中心を定義することが可能である。これは、光軸と可視ピクセルの中心軸が製造理由などのために正確には一致せずに、僅かにずれている光学系にとって有利となる。

本発明の別の実施形態によれば、口径食の修正は、ピクセルの形状を記述するためのパラメータを含む多項式でモデル化される。この実施形態には、正方形以外のピクセルもモデル化されている。センサーの中には幅と高さが異なるピクセルを持つものもある。本発明の実施形態では正方形以外のさまざまな種類の形状のピクセルが考慮される。ある実施形態のモデルには、ピクセルの形状を記述するパラメータが含まれており、最終画像を形成するとき、つまり形成されたモデルを使用するときに、それが考慮される。

本発明の実施形態で示されるアルゴリズムは簡単である。１つの利点は、特定のタイプのカメラセンサーに対して修正パラメータの決定が一度だけしか必要ではないことである。決定後、パラメータはこのタイプのカメラセンサーで作成された画像のモデル化と修正に使用できる。さらに、本発明の実施形態による修正では、センサーモジュールに使用される修正関数を特徴づけるために必要なパラメータが少なくて済むため、センサー製造者からカメラ製造者への移行が容易である。口径食補正を使用する場合、カメラ製造者に伝達され、最終製品（カメラ）に保管されて使用される最低の情報が必要である。これらの実施形態の方法の簡便性により、必要であれば、製造中に個別の光学モジュールを特徴づけ、最終カメラ製品の中のこれらのモジュールに個別の修正を組み入れることが可能である。

本発明の実施形態においては、修正関数の特徴の数は最低に保たれる。従って、最低数のパラメータだけを適用すればよいため、新しいセンサーモジュールの導入が容易になる。これは、センサー製造者が、新しいセンサーで懸案のセンサーを特徴づける一定の必要な係数とパラメータを伝達するのに十分である。モデルで使用される係数とパラメータは、典型的には、特定のセンサーセットで使用される係数とパラメータと同じである。１つの実施形態によれば、係数とパラメータ値はセンサー特有である。また、典型的に、使用される光学系はモデルのパラメータに影響を与える。ある実施形態によれば、モデルのパラメータと係数は特定の光学センサーモジュールに対して決定される。光学系またはセンサーに変更があれば、モデルのパラメータと係数は再度決定される。実施形態による新しい決定の実装は容易で迅速であるので、口径食は、新しく構成される光学センサーモジュールに簡単にモデル化される。

本発明の実施形態では、必要なパラメータは、画像平面の大きさ、画像平面の一定の点（x, y）における口径食作用、補正度と各主色成分の係数を記述する。本発明の実施形態により、撮像光学系と撮像光センサーを持つモジュールの製造業者が、モジュールの口径食特性を特徴づけることができ、さらに、製品のモジュールに簡単なパラメータセットを実装するカメラ製造業者に簡単なパラメータセットを提供することができる。また、パラメータは必要な画像修正を実施するために最終製品で使用することができる。

これらの実施形態によれば、情報量は最低に保たれ、実装は容易、簡単および安価に保たれる。パラメータは、伝達が容易で簡単であり、モデルの製作は軽量のままである。本発明の実施形態によれば、カメラ装置で口径食作用をモデル化して補正する場合、わずかな量のメモリだけが消費される。さらに、モデル化のためのパラメータと係数は、特定のカメラセンサーモジュールには一度だけしか決定されないので、継続的な計算が不要である。本発明の実施形態によれば、モデルは、別のパラメータセットを使用するだけで、別のセンサーに容易に適用可能である。モデル化、つまり、決定されたパラメータと係数でモデルを使用することは、ある実施形態においては、小型でコンパクトなデバイスでも効果的に実行可能である。ある実施形態は、拡大縮小とトリミング関数で使用可能である。ある実施形態の１つの重要な利点は、画像を拡大縮小してもモデルで使用されるパラメータが変更されないことである。

以下、本発明の実施例が添付図面を参照して詳細に説明される。

さまざまな実施例の以下の説明では、本明細書の一部を形成し、本発明が実践することができるさまざまな実施例を図説する添付画面を参照する。その他の実施例が利用されてもよく、また構造や機能は本発明の範囲を逸脱しない範囲で修正されてもよいことが理解される。

図1の実施例では、デジタルカメラ100が模式的に示される。図1のデジタルカメラは、レンズシステム101、画像センサー102およびデータ処理手段103を含む。レンズシステム101により形成される画像または光パターンは、画像センサー102によりキャプチャされ、光パターンを電気の形に変換する。電気データは、データ処理手段103により処理される。処理されたデータは、その後、外付けまたは内蔵の周辺機器またはインターフェイス104に伝達される。データが伝達または使用されるブロック104は、例えば、ミニカムまたは小型USB（Universal Serial Bus;ユニバーサルシリアルバス）フラッシュドライブ、デジタルビデオカメラのようなデジタル静止カメラ、Webカメラ、おもちゃ、ゲームまたはバイオメトリックアプリケーションのようなUSBアプリケーション、または、PDA（Personal Digital Assistant;パーソナルデジタルアシスタント）、ネットワークカメラ、ノートブック、PC、携帯電話、セットトップボックスまたはセキュリティアプリケーションのような埋め込み型アプリケーションである。

図1の画像センサーは、デジタルカメラで典型的に使用されるセンサーであるCMOS（相補型MOS）画像センサーである。CMOSセンサーには、アクティブピクセルセンサー（APS）とパッシブピクセルセンサーの2種類がある。デジタルカメラの別の種類のセンサーは、CCD（Charge Coupled Device;電荷結合素子）画像センサーである。センサーとは、基本的に、光パターン、つまり、レンズシステム101により形成された画像を電荷パターン、つまり、電子画像に変換できる電子デバイスである。CCDとCMOSセンサー102のどちらも、光を電荷に変換し、電気信号に処理103する。基本的に、本アプリケーションの以前では、CCDセンサーで作成された最終画像の品質がやや優れているが、CMOSセンサーは低電圧で操作する。本発明は、本アプリケーションで説明されるセンサータイプに限定されず、デジタル撮像使用に適切なその他任意の現在または将来のピクセルタイプのセンサーにも適用されることがある。

CCDセンサー102は、いくつかの個別の要素から構成される。これらの要素は、電荷を収集、保管、および１つの要素から別の要素へ電荷を伝達することができる。そして、各感光性の要素は、ピクセルと呼ばれるピクチャ要素を表す。通常、デジタルカメラセンサー102の各ピクセルは感光性の光ダイオードを含む。データ処理ブロック103は、典型的に、CCD102からの信号を収集するために、チップ先端に１つ以上の出力増幅器を含む。センサー102が光パターンに感光した後、ラインごとに１つのピクセルの電荷を次々と出力増幅器に伝送する一連のパルスを適用することにより、電子画像がデータ処理ブロック103に取得される。出力増幅器は電荷を電圧に変換する。データ処理ブロック103の外部電子は、この出力信号を例えばモニター104に適切な形に変換する。

CCDセンサーの場合、各ピクセルの電荷は、非常に限られた数の出力ノードを通過して、電圧に変換され、バッファされ、アナログ信号として外部に送られるが、一方、CMOSセンサーでは、各ピクセルはそれぞれが電荷から電圧への変換を行う。CMOSでは、各ピクセルは光ダイオードだけでなく、さらに増幅器と選択回路を含む。CMOSセンサーは、デジタル化回路を含むこともあるので、チップはデジタルビットを出力する。CMOSのこれらの追加機能は、CCDに比べると、光のキャプチャに利用できる領域を削減し、各ピクセルが独自の変換を実行するので、均一性が低下する。CCD配列は、線状配列、フレーム変換領域配列、フルフレーム領域配列、行間変換領域配列として配置が可能である。CCDは、システムの大きさを犠牲にして優れた画像性能（量子効率とノイズで測定）を提供する。CMOS撮像装置は、画像品質と柔軟性を犠牲にして、チップ上でより多くの関数、低電力損失（チップレベル）、小さいシステムを提供する。

光ダイオードのようなセンサーの感光性要素は、輝度を測定する。光ダイオードは、モノクロデバイスであり、光の波長を区別できない。画像センサー102は、モノクロセンサーまたはカラーセンサーにできる。モノクロの画像センサーは、白黒だけ、つまり、灰色の濃淡を感知する。カラー画像センサーでは、色を区別できるように、カラーフィルタ配列全体がセンサーの上部にある。典型的に、カラー配列はBayerカラーフィルタ配列である。デジタル撮像光学形式は、撮像領域の大きさの測定である。光学形式は、撮像装置の使用に必要なレンズの大きさを決定するために使用される。光学形式とは、撮像領域の対角線の長さを指す。最終画像にはピクセル数とピクセルの大きさも重要な要素である。水平方向のピクセルは、画像センサーの1行にあるピクセル数を指す。縦方向のピクセルは、画像センサーの1列にあるピクセル数を指す。通常、ピクセルは正方形であるが、長方形のような別の形状も可能である。

１つの実施例によれば、較正画像の口径食の量を特定するために、均一に照明があてられた目的物上の較正測定を行う。均一に照明があてられた目的物から記録された較正画像は、一定の数のブロックに分割される。典型的に、ブロックは同じ大きさになる。実施例によれば、より詳細な修正が必要な画像の一定領域には、より密度が濃くコンパクトな状態のより小さいブロックがある。ブロック数は、実装に最適であるように選択されるべきである。典型的なブロック数の１つは19×19である。典型的には、画像の中心が、ブロックの中心のように、1ブロックまたは1ブロック内として決定できるように、奇数のブロック数が選択される。ブロック数は、画像の大きさとブロック内のピクセル数を考慮して決定される。ブロックは、背景ノイズが実装を妨害しないように、十分な大きさを持つ必要がある。一方で、ブロックは、1ブロック内で安定した口径食作用を持つためには、十分小さい必要がある。小さいブロックが多すぎると、妨害ノイズが発生する。ブロックが大きすぎると、1ブロック内部の口径食に差が発生する。どちらも不利な点が述べられているが、1ブロック内の背景ノイズと口径食の変動は、モデル化を妨害し、得られる画像がぼやける。ブロックの大きさは、最適品質が達成され、副作用が最低になるように、選択される。

ブロックが決定された後、それぞれのカラーの点がそれぞれのブロックで別々に決定される。使用されるカラー構成要素は、RGB（赤、緑、青）の３原色などの典型的な３色成分、または、例えば、CMYG(シアン、マジェンタ、黄、緑)と呼ばれる４色成分、またはその他任意の適切なカラー構成要素が可能である。各ブロックの各カラー構成要素の値は、実施例によれば、行列の形で保管される。

１つの実施例によれば、モデル化は、基準の構成要素として緑のカラー構成要素を使用することにより、RGBカラー構成要素で実装される。基準として緑の構成要素を選択する理由は、3色のカラー構成要素を持つセンサーの任意のその他のカラー構成要素の数に比べると、緑のピクセル数は2倍あるからである。図2からわかるように、典型的には、RGB配列には、配列におけるほかのすべての色は緑201である。図2では、赤の構成要素は、Rの文字の正方形202により描かれ、青の構成要素は黒い正方形203により描かれる。図2からわかるように、構成要素の4分の1だけが、赤202であり、同様に、4分の1が後203であるが、構成要素の半分が緑201である。

較正画像を形成する均一に照明があてられた目的物300は、図3でブロック303に分割される。中点301は、この実施例では、画像の中点である。一定のレンズセンサーモジュールに対して、修正多項式がモデル化されると、中点301は実施例によれば、真中のブロックの中点であり、光学系の中点、つまり光軸の場所と一致する。実施例によれば、一定のレンズセンサーモジュールにモデル化された修正多項式を使用する場合、中点301は、修正位相の光学中点でもある。中点から画像平面の一番遠い端301への距離302は、いつも1になるように決定される。口径食は、各ブロックの各カラー構成要素に対して直線302により決定される。値は、行列の形で保管される。結果として、各ブロックの一定のカラー構成要素の値を含む行列が得られる。各カラー構成要素は別々に決定される。実施例によれば、均一に照明があてられた較正目的別の測定は、行列の平均値となる。

行列に保管された値は、図4に示されているように、本発明の実施例による修正多項式を表す曲線を描くために使用できる。表された曲線は、検出されたピクセル値の逆数を表す。X軸は、較正画像の中心からの距離である。図4の実施例では、ピクセル値の逆数が大きくなればなるほど、画像の端へ向かって増加する光量減少を補正するための修正の必要性が増す。図4では、3本の異なる曲線は異なる色を表す。水平方向のゼロ点は、すべての曲線が合うが、縦方向の値1を持つように、パラメータ化される。真中の曲線402は、緑のカラー構成要素を表す。上の曲線401は、赤のカラー構成要素の振る舞いを示し、下の曲線403は青のカラー構成要素の振る舞いを示す。真中の緑の曲線402は、典型的に、モデルを形成するときの基準曲線として使用される。その他のカラー構成要素の修正増幅率は、多項式の特定の色を表す色特定の係数を使用することにより求められる。

以下の実施例では、環状対称口径食を想定する。本発明の実施例によれば、口径食作用の修正増幅率は、口径食中心からの距離の関数である。口径食の修正は、6次多項式でモデル化される。この多項式はそれぞれの色に別々に適用される。実施例では、入力データ、つまり、生のカメラデータは線形カラー平面にあり、ブラックレベルはゼロである。口径食の修正をモデル化する6次多項式は、係数a_COEFF,とパラメータa₁、a₂、a₃によりパラメータ化される。係数a_COEFFは、修正の度合いを示し、パラメータa₁、a₂、a₃は、採用される光学センサーモジュールに依存する。パラメータa₁、a₂、a₃の値は、保管された行列により得られる。図3の直線302上の緑のカラー構成要素に対して計算された値は、本発明の実施例によれば6次多項式として図4の縦軸の右側の曲線402で表される。6次多項式の係数とパラメータ値、および多項式を表す曲線は、照明が当てられた目的物の各ブロックに対して計算され、行列に保管される。

本実施例では、口径食の中心は画像の中点として決定される。実施例によれば、口径食の中心は、最小の修正増幅率（1.0）を持ち、中心から最も遠い点は、最大の修正増幅率を持つ。別の実施例によれば、最大の修正増幅率を持つ距離は、可視領域の口径食中心からの任意の有効な距離になるように決定できる。実施例によれば、修正増幅率は、可視領域の距離の二乗関数として変化できる。カラー構成要素の間の口径食の差は、例えば、赤にR_COEFF、緑にG_COEFF、青にB_COEFF、の乗数によりパラメータ化される。口径食の中心は、(x_VIGNCENTER, y_VIGNCENTER)で示される。値(x_VIGNCENTER, y_VIGNCENTER) = (0.5, 0.5)は、可視画像領域の中心に対応し、値(x_VIGNCENTER, y_VIGNCENTER) = (0.0, 0.0)は、可視画像領域の左／下端に対応する。

パラメータに対応する口径食除去は、この実施例の赤、緑、青（RGB）の例では、全てのカラー構成要素に対して、次の数式により説明される。数式は、次のように数学的に求められる。

∀Ｃ∈{R,G,B}∧∀ｘ∈Ｎ | ｘ∈[0, x_SIZE[∧∀ｙ∈Ｎ | ｙ∈[0, y_SIZE[:
C_CORRECTED(x, y) = C_ORIGINAL(x, y)・GAIN_VE(x, y)
ここで、
GAIN_VE(x, y) = 1.0 + C_COEF・a_COEFF・(a₁・d(x, y)²+ a₂・d(x, y)⁴+ a₃・d(x, y)⁶)

本発明の実施例によれば、口径食の修正をモデル化するための多項式を表す前の修正GAINの6次式では、x_SIZE∈Nおよび y_SIZE∈Nである。

C_COEFF∈R：C_COEFFは、例えば、RGB構成要素の１つのような、一定のカラー構成要素の係数を表す。

a_COEFF∈R | a_COEFF∈[0.0, 1.0]：a_COEFFは、典型的に、補正の度合いを表す値(1)を持つ。1の値は全補正に対応する。

a_i∈ R| i ∈ {1,2,3}：式(a1・d(x, y)2 + a2・d(x, y)4 + a3・d(x, y)6)の係数a_iは、本発明の実施例によれば、最初の照明が当てられた目的物から計算された行列に含まれる。行列は、口径食中心からの一定距離(x, y)の式(a1・d(x, y)2 + a2・d(x, y)4 + a3・d(x, y)6) を含む。この式で、距離は次のように求められる。

d(x, y)²= (x- x_VIGNCENTRE・(x_SIZE- 1))² + (y- y_VIGNCENTRE・(y_SIZE- 1))²/
(x_F- x_VIGNCENTRE・(x_SIZE- 1))² + (y_F- y_VIGNCENTRE・(y_SIZE- 1))²
ここで、
x_VIGNCENTRE∈R | x_VIGNCENTRE∈[0.0, 1.0]
y_VIGNCENTRE∈R | y_VIGNCENTRE∈[0.0, 1.0]

（x, y）はピクセル座標、x_SIZEとy_SIZEは、それぞれ、ピクセルの中の可視画像領域の幅と高さである。
（x_F, y_F）は、口径食の中心から最も遠い目に見える画像領域の隅の点である。口径食の中心は(x_VIGNCENTRE・(x_SIZE- 1), y_VIGNCENTRE・(y_SIZE - 1))として決定される。

x_VIGNCENTREは口径食の中心のx座標である。このパラメータにより、画像平面の中心とは異なる口径食の中心を決定することが可能である。つまり、この実施例により、最終画像を形成するときに口径食の中心の移動を考慮することが可能になる。

同様に、y_VIGNCENTREは口径食の中心のy座標である。

x_Fは、口径食の中心から最も遠い画像平面の点のx座標である。
y_Fは、口径食の中心から最も遠い画像平面の点のy座標である。検討の点（x, y）が画像平面の最も遠い点であれば、つまり（x, y） = （x_F, y_F）であれば、問題の点から口径食の中心までの距離（x, y）は、1である。口径食の中心から最も遠い距離(x, y)は常に1である。

(x_SIZE - 1)は、可視領域の水平方向の両端間の距離である。
(y_SIZE - 1)は、可視領域の縦方向の両端間の距離である。

実施例によれば、使用されるすべてのさまざまな色は、カラー係数C_COEFFで重み付けされる。これには、使用される基準色のために参照テーブルを１つ作成し、その他のカラー構成要素はカラー係数C_COEFFを基準修正モデルに追加するだけで実装されうるという利点がある。１つだけの参照テーブルを含む実装は、典型的に、メモリと計算が最も能率的である。別の実施例によれば、通常、各色に１つずつ参照テーブルが作成される。別の実施例によれば、さまざまなカラー係数は別々に決定される。カラー係数は、二乗距離の関数として測定される。

補正の比を表すa_COEFFの値は、高い修正では妨害ノイズも同様に取得されるので、小さくなるように、つまり、補正の度合いを減少させるように調整できる。実施例によれば、a_COEFFの値は、修正多項式のその他の係数とパラメータにより決定され、一定の光学センサーモジュールまたはタイプのその他の値とともに参照テーブルに保管される。

係数a_iの値は、使用される光学センサーモジュールに依存し、センサーのタイプにより異なる。係数a_iの数は典型的には少なくとも2である。実施例によれば、３つの係数a_iが使用される。つまり、i = 1、2、3である。係数の数に関わりなく、一定のiに対して決定することが可能であり、a_i= 0である。このように、係数の有効数は、例えば、アプリケーション、使用される機器や要件に依存する。実施例によれば、係数a_iは、画像の各ピクセルに対して別々に計算する必要があるが、係数はブロックごとに決定することが可能である。修正係数a_iは、二乗距離の関数として計算される。計算された値は参照テーブルに保管される。使用される正確性は、アプリケーションや要件に従い変えることが可能である。密度が濃くなると、計算はより正確で詳細な修正係数になる。通常必要ではないが、それぞれの可能な距離に対して、つまり、各ピクセルの位置に対して別々に係数a_iを計算できる。実施例によれば、修正係数a_iは、画像平面から分割されるブロック数の選択により、例えば、512‐1024倍まで、各ブロックに対して計算される。速度が問題であり、個別の計算数を最低にする必要があるとき、距離はブロックの中点に従い決定できる。ブロックは、典型的に、2x2、2x4、4x2、4x4（ピクセル）などの大きさである。修正位相では、画像の画質を高めるために修正モデルを使用するとき、各ピクセルの場所に対して別々に距離の二乗を計算できる。修正位相では画像もブロックに分割することができるが、ブロックの大きさは、最終画像の連続性を維持するために、比較的小さいままにする。異なる修正係数を持つ隣接するブロックは、最終画像に収差を生じる可能性がある。つまり、異なる修正係数のために、可視画像も異なるブロックを持つことになる。

図5では、中点501を持つ画像平面と、画像の中点501とは異なる口径食の中心502が示されている。典型的に、画像を形成するピクセル数は偶数なので、画像は可視画像の中点または中心501には一定のピクセルを持たない。このように、典型的には、画像の中点501は、真中の4つのピクセルの接点として決定される。このように、目に見える画像の中点501は、最も遠い隅の点の中点（x_F,y_F）により決定される。本発明の実施例では、口径食中心502の食い違い、つまり、口径食中心502と画像中心501の不一致は、画像領域の中心とは別に口径食の中心（x_VIGNCENTRE, y_VIGNCENTER）を決定することにより、考慮される。この不一致は、画像の生データが、決定されたモデルにより、つまり、モデルの位相を使用する場合に修正されると、考慮される。

画像中心501と口径食中心502の間の距離は、この実施例では、線分503により示される。口径食中心502から画像平面の隅504までの最長距離は、1に等しくなるように決定される。このように、本発明の実施例では、画像平面のもう一端は、口径食中心502からの距離が1より小さくなる。実施例によれば、口径食の中心502は、最小の修正増幅率（1.0）を持ち、中心から最も遠い点、つまり、図5の画像平面の左上隅が最大の修正増幅率を持つ。別の実施例によれば、修正増幅率は、画像の一定の点で最大になるように、例えば、口径食中心502から0.8の距離になるように決定することができる。このような実施例では、修正増幅率は、この距離の前では小さく、つまり、中点502に近くなり、修正増幅率の最大値である距離0.8の後では、再び小さくなる。実施例によれば、6次多項式は異なる種類と形状の修正を表すことができる。

別の実施例によれば、モデルは、ピクセルの形状も考慮する。ピクセルは、正方形である必要はなく、例えば、長方形、つまり、ピクセルの高さは幅と同じでなくても可能である。例えば、図3の画像平面から分割されたブロックは長方形で、本来のピクセルの形状を表すことがある。実施例のモデルでは、ピクセルの形状は、パラメータaspect_ratio_COEFFにより決定される。ピクセルの形状を記述するパラメータをピクセルに追加することにより、異なるピクセルの形状を考慮することが可能である。本実施例のモデルの距離パラメータd(x, y)は以下のように表される。

d(x, y)²=
(x - x_VIGNCENTRE・(x_SIZE - 1))²+ aspect_ratio_COEFF ²・(y - y_VIGNCENTRE・(y_SIZE - 1))²/
(x_F - x_VIGNCENTRE・(x_SIZE - 1))²+ aspect_ratio_COEFF ²・(y_F - y_VIGNCENTRE・(y_SIZE - 1))².

正方形のピクセルに対するパラメータaspect_ratio_COEFFの値は、1.0である。長方形のブロックの実施例では、大きさに顕著な違いができるので、水平方向と縦方向を区別することが非常に重要である。形状を無視すると、口径食の補正が許可されないことがある。この実施例は、正方形以外の長方形のピクセルまたはその他の楕円形の陰影を持つセンサーの使用が可能である。

典型的に、本発明の実施例による修正多項式は、一定の光学センサータイプに対して決定される。決定後、修正多項式は、最終画像から口径食作用を修正するためのこのような、または一定の種類のデバイスにおいて使用が可能である。実施例の修正位相では、つまり、多項式を使用する場合には、修正多項式を各ピクセルに別々に適用することが可能である。別の実施例では、位相の速度を高めて、より能率的になるように、修正位相で画像がブロックに分割されることもある。

実施例は、上記に説明した方法により取得可能な撮像モジュールでキャプチャされたデジタル画像からの口径食を修正するためのモデルを含む。さらに、実施例は、撮像モジュールでキャプチャされたデジタル画像から口径食を修正するためのモデルを決定するための方法を含む。また、実施例は、撮像モジュールでキャプチャされたデジタル画像から口径食を修正するためのモデルを使用するための方法を含む。

実施例によれば、撮像光学系と画像センサーを含む撮像モジュールによりキャプチャされるデジタル画像の画像品質を向上するための方法であって、画像は撮像光学系を通って感光性の画像センサー上に形成され、撮像モジュールの少なくとも２つの主色に対して、口径食作用を別々に補正するステップを含む。実施例によれば、画像品質を向上する方法は、前記撮像モジュールの少なくとも２つの主色成分に対して修正関数を適用するステップを含み、修正関数は、一定の撮像モジュールに対して予め決定されたの修正係数と、画像の異なる点（x, y）に対して予め決定されたの修正増幅率を含む。

実施例は、撮像光学系を通って、感光性の画像センサー上に画像を形成するために、撮像光学系と画像センサーを含む撮像モジュールを含み、撮像モジュールは、本発明により取得可能な修正関数を含む。

実施例は、本発明の実施例による撮像モジュールを含むデバイスを含む。実施例によるデバイスは、撮像モジュールを含む、携帯電話、カメラ電話、携帯型デジタルカメラ、または、その他任意の小型のコンパクトなデバイスである。典型的に、デバイスは、光学センサーモジュールを含むデバイス内の口径食作用を補正するためのプログラムモジュールを含む。プログラムモジュールは、本発明の実施例による方法のステップを実装するためのプログラム可能な手段を含む。デバイスは、光学センサーモジュールの口径食作用の補正のためのプログラム製品を含む。プログラム製品は、本発明の実施例による方法のステップを実装するためのソフトウェア手段を含む。

本発明の実施例によるデジタルカメラを表す。本発明の実施例によるカラーフィルタ配列を表す。本発明の実施例により、ブロックに分割された画像平面を表す。本発明の実施例により描かれた曲線を表す。本発明の実施例による画像平面を表す。

Claims

少なくとも１つの結像光学系と撮像センサーを含む撮像モジュールによりキャプチャされたデジタル画像を修正するための方法であって、該方法は、
前記撮像モジュールの主色成分の少なくとも２つのために前記撮像モジュールによりキャプチャされた較正画像の口径食の影響を決定することと、
前記較正画像の口径食の影響に基づいて、単一の修正関数のための修正係数を決定すること、
を含み、ただし、
前記修正係数は、前記撮像モジュールの主色成分毎に色固有の係数を含み、
前記単一の修正関数は、前記デジタル画像の複数の点（x, y）のための修正増幅率を定義する、
方法。
前記較正画像を生成するために、均一に照明された目的物に対し較正測定を行うことを含む、請求項１に記載の方法。
ある大きさ（x_SIZE, y_SIZE）を持つ前記較正画像は、１ブロックずつ前記修正係数を決定するために、ある数のブロックに分割される、請求項2に記載の方法。
前記撮像モジュールの各主色成分に関する前記色固有の係数は各ブロックで別々に決定され、特定の主色成分に関する前記色固有の係数C_COEFFは、該特定の主色成分の振る舞いを記述し、前記係数C_COEFFは、前記撮像モジュールの各主色成分を別々に補正するために前記修正関数に含まれている、請求項3に記載の方法。
前記修正関数は多項式関数である、請求項1に記載の方法。
前記修正関数は、撮像モジュールに特有の修正係数a_iを含み、該修正係数a_iは、前記画像の中点からの二乗の距離の関数として決定される、請求項１に記載の方法。
特定の点（x, y）に対して修正される値は、前記特定の点（x, y）の元の値に同じ点（x, y）の修正増幅率を乗じることにより決定され、前記修正される値は、次の式
C_CORRECTED(x, y) = C_ORIGINAL(x, y) GAIN_VE(x, y)
により数学的に求められ、
前記修正増幅率は、次の式
GAIN_VE(x, y) = 1.0 + C_COEFF・a_COEFF・(a₁・d(x, y)²+ a₂・d(x, y)⁴+ a₃・d(x, y)⁶)
により数学的に求められ、
- 距離パラメータ d(x, y)²は前記口径食の中心から懸案の前記点(x, y)への距離を記述し、
- パラメータa₁、a₂、a₃は、ある光センサーモジュールの修正係数を記述し、
- 係数a_COEFFは補正度を決定し、
- 色固有の係数C_COEFFは特定の色の振る舞いを記述し、各主色成分に対し別々に決定される、
請求項1に記載の方法。
全補正が必要な場合、前記係数a_COEFFは1に等しくなるように決定される、請求項７に記載の方法。
前記距離パラメータは、画像平面のサイズ（x_SIZE, y_SIZE）、口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE）、前記口径食の中心から最も遠い画像平面の点（x_F, y_F）のパラメータを決定することにより、および、次の式
d(x, y)²= (x-x_VIGNCENTRE・(x_SIZE-1))²+(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+(y_F-y_VIGNCENTRE・(y_SIZE-1))²
において前記決定したパラメータを使用することにより、数学的に求められる、請求項７に記載の方法。
ピクセルの形状を考慮する前記距離パラメータは、前記画像平面の大きさ（x_SIZE, y_SIZE）、口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE）、前記口径食の中心から最も遠い点（x_F, y_F）、ピクセルの形状に関係するaspect_ratio_COEFFのパラメータを決定することにより、および、次の式
d(x, y)²=
(x-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y_F-y_VIGNCENTRE・(y_SIZE-1))²
において前記決定したパラメータを使用することにより、数学的に求められる、請求項7に記載の方法。
四角形のピクセルの場合には、前記パラメータaspect_ratio_COEFFが1.0に等しくなるように決定される、請求項10に記載の方法。
結像光学系と撮像センサーとを含む撮像モジュールによりキャプチャされたデジタル画像を修正するための方法であって、該方法は、
前記撮像モジュールの主色成分の少なくとも２つに共通の単一の修正関数を適用することにより、前記デジタル画像において、口径食の影響を補正することを含み、
ただし前記単一の修正関数は、ある撮像モジュールのために予め決定された修正係数と、前記画像の異なる点（x, y）(x,y)のために予め決定された修正増幅率と、前記撮像モジュールの複数の主色成分のための色固有の係数とを含む、方法。
前記修正関数は多項式関数である、請求項12に記載の方法。
特定の点（x, y）に対して修正される値は、前記特定の点（x, y）の元の値に同じ点（x, y）の修正増幅率を乗じることにより決定され、前記修正される値は次の式
C_CORRECTED(x, y) = C_ORIGINAL(x, y)・GAIN_VE(x, y)
により数学的に求められ、
前記修正増幅率は、次の式
GAIN_VE(x, y) = 1.0 + C_COEFF・a_COEFF・(a₁・d(x, y)²+ a₂・d(x, y)⁴+ a₃・d(x, y)⁶)
により数学的に求められ、
- 口径食の中心から懸案の前記点（x, y）への距離を記述する距離パラメータd(x, y)²、
- 前記一定の光学センサーモジュールの修正係数を記述する前記パラメータa₁、a₂、a₃、
- 適切な補正度を決定する係数a_COEFF、および、
- 前記特定の色の振る舞いを記述する、各主色成分のための色固有の係数、
は、特定の撮像モジュールのために予め決定されている、請求項12に記載の方法。
前記方法は、全補正が必要な場合には前記係数a_COEFFが1に等しくなるように設定するステップを含む、請求項14に記載の方法。
前記距離パラメータは、予め決定されたパラメータである前記画像平面の大きさ（x_SIZE, y_SIZE），口径食の中心(x_VIGNCENTRE, y_VIGNCENTRE)，前記口径食の中心から最も遠い点（x_F, y_F）を用いることにより、次の式
d(x, y)²= (x-x_VIGNCENTRE・(x_SIZE-1))²+(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+(y_F-y_VIGNCENTRE・(y_SIZE-1))²
により数学的に求められる、請求項14に記載の方法。
前記距離パラメータは、前記画像平面のサイズ（x_SIZE, y_SIZE）、口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE）、前記口径食の中心から最も遠い点（x_F, y_F）、ピクセルの形状に関係するaspect_ratio_COEFFの予め決定されたパラメータの支援により、ピクセルの形状を考慮して、次の式
d(x, y)²=
(x-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y_F-y_VIGNCENTRE・(y_SIZE-1))²
により数学的に求められる、請求項14に記載の方法。
前記方法は、四角形のピクセルの場合には、前記パラメータaspect_ratio_COEFFが1.0に等しくなるように設定するステップを含む、請求項17に記載の方法。
結像光学系と撮像センサーとを含む撮像モジュールによりキャプチャされたデジタル画像の修正に用いうる装置であって、前記装置は、
前記撮像モジュールの主色成分の少なくとも２つに対して、前記撮像モジュールにより撮影された較正画像における口径食の影響をそれぞれ決定する手段と、
前記較正画像の口径食の影響に基づいて、単一の修正関数のための修正係数を決定する手段とを備え、
ただし前記修正係数は、前記撮像モジュールの主色成分毎に色固有の係数を含み、
前記単一の修正関数が、前記デジタル画像の複数の点(x, y）のための修正増幅率を定義する、
装置。
前記装置は
- 目的物を均一に照明する手段と、較正画像を作成するために均一に照明された目的物に対し測定を行う手段と、
- 前記修正係数をブロックごとに決定するために、ある大きさ（x_SIZE,y_SIZE）を持つ較正画像をある数のブロックに分割する手段と、
を備える、請求項19に記載の装置。
前記装置は、各ブロック毎に、前記色固有の係数を各主色成分に対して決定する手段を備える、請求項20に記載の装置。
前記修正関数は多項式関数である、請求項19に記載の装置。
前記装置は
- 口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE)を決定する手段と、
- 口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE)から画像平面の最も遠い点（x_F, y_F）までの距離を決定して、前記距離を1に等しくなるように設定する手段と、
を備える、請求項19または20に記載の装置。
前記装置は、前記口径食の中心からの特定の距離において最大の修正増幅率を有するように、前記修正増幅率を距離の関数として決定する手段を備える、請求項19または23に記載の装置。
前記装置は、特定の点（x, y）の元の値に同じ点（x, y）の修正増幅率を乗じるように、前記特定の点（x, y）に対して修正される値を決定する手段であって、前記修正される値が次の式
C_CORRECTED(x, y) = C_ORIGINAL(x, y) ・GAIN_VE(x, y)
により数学的に求められる手段と、次の式
GAIN_VE(x, y) = 1.0 + C_COEFF・a_COEFF・(a₁・d(x, y)²+ a₂・d(x, y)⁴+ a₃・d(x, y)⁶)
により前記修正増幅率を計算する手段と、を備え、
- 口径食の中心から懸案の前記点（x, y）への距離を記述する距離パラメータd(x, y)²、
- 前記一定の光センサーモジュールの修正係数を記述する前記パラメータa₁、a₂、a₃、
- 適切な補正度を決定する係数a_COEFF、および
- 前記特定の色の振る舞いを記述する、各主色成分のための色固有の係数、
は、特定の撮像モジュールのために予め決定されたものである、請求項19に記載の装置。
前記装置は、全補正がモデル化される場合には、前記係数a_COEFFが1に等しくなるように設定する手段を備える、請求項25に記載の装置。
前記装置は、予め決定されたパラメータである、前記画像平面の大きさ（x_SIZE, y_SIZE）、口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE）、前記口径食の中心から最も遠い点（x_F, y_F）を用いて、次の式
d(x, y)²= (x-x_VIGNCENTRE・(x_SIZE-1))²+(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+(y_F-y_VIGNCENTRE・(y_SIZE-1))²
により前記距離パラメータを計算する手段を備える、請求項25に記載の装置。
前記装置は、パラメータaspect_ratio_COEFFを用いてピクセルの形状を考慮し、また予め定めれ玲多パラメータである前記画像平面の大きさ（x_SIZE, y_SIZE）・口径食の中心（x_VIGNCENTRE, y_VIGNCENTRE）・前記口径食の中心から最も遠い点（x_F, y_F）・ピクセルの形状に関係するaspect_ratio_COEFFを用いて、次の式
d(x, y)²=
(x-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y-y_VIGNCENTRE・(y_SIZE-1))²/
(x_F-x_VIGNCENTRE・(x_SIZE-1))²+ aspect_ratio_COEFF ²・(y_F-y_VIGNCENTRE・(y_SIZE-1))²,
により前記距離パラメータを求めるための手段と、
四角形のピクセルの場合には前記パラメータaspect_ratio_COEFFを1.0に等しくなるように設定する手段と、
を含む、請求項25に記載の装置。
撮像光学系と画像センサーとを含み、前記撮像光学系を通して前記感光性の画像センサー上に画像を形成する撮像モジュールであって、請求項１から１８のいずれか１項に記載の方法を実装する撮像モジュール。
請求項29に記載の撮像モジュールを含むデバイス。
前記デバイスは通信機能を搭載した移動デバイスであることを特徴とする請求項30に記載のデバイス。
撮像モジュールにおいて口径食作用を補正するためのプログラムであって、請求項１から１８のいずれか１項に記載の方法を実装するためのソフトウェア手段を含むことを特徴とするプログラム。