JP5576052B2 - 色収差を補正する方法 - Google Patents

Description

本発明は、例えばカメラのような画像撮影デバイスによって生成される画像の中の色収差を補正する方法に関する。

カメラのレンズは決して完全ではない。撮影の際に画像にいくつかの欠陥が生じる可能性がある。これらの欠陥の１つが、色収差として知られている。色収差とは、図１で示すように、色が異なるとレンズからの焦点距離が異なる現象である。これによって、全体的にソフトな画像が生じ、白と黒の境目のようなコントラストの高い境目には色縁が生じる。色収差の大きさは、レンズ構成の違いによって変化する。

色収差は、アポクロマートレンズ（ＡＰＯ）と呼ばれる非常に複雑なレンズ設計によって補正される。しかし、これらの設計は、非常に高価であり、露出の損失または変調伝達関数（ＭＴＦ）の不良のような他の問題が生じる。また、ソフトウェア・ソリューションもいくつか市販されている。しかし、それらは、コンピュータ上で「作成後の」補正を行うにすぎない。しかも、それらは静止画像で機能するのみであって、満足のいく補正を見つけるためには、多くの試行錯誤が必要である。これには非常に時間がかかる。

この問題を解決するため、カメラの中でその場で（オンザフライで）適切な補正アルゴリズムによって補正を行うことを提案する。

本発明は、画像の現在（その時）の画素の第１の色成分データと第２の色成分データの間の色収差を補正する方法に関する。この方法は、
−画像内で、現在の画素の周りの分析範囲を判断するステップと、
−現在の画素に関して、現在の画素を含む第１の画素ブロックの第１の色成分データを、分析範囲内で第１のブロックと同じサイズを有する複数個の第２の画素ブロックの画素の第２の色成分データと比較するステップと、
−第１の画素ブロックと最高の相関を有する第２の画素ブロックを選択するステップと、
−選択された第２のブロックが第１の画素ブロックと空間的に一致するようにするため、選択された第２のブロックに適用すべきシフトベクトルを判断するステップと、そして、
−現在の画素に対応する、選択された第２の画素ブロックの画素の第２の色成分データをシフトベクトルに従ってシフトするステップとを含む。

このように、画像取り込みデバイスによって取り込まれた各画像の諸画素について、空間的シフトベクトルが判断され、事前に判断されることはない。

本発明の例示する実施形態を図面に示し、下記の詳細記述の中でより詳細に説明する。

色収差の現象を示す図である。 本発明による方法のステップを示す図である。 図２に定義するステップを一例として示す図である。 図２に定義するステップを一例として示す図である。 図２に定義するステップを一例として示す図である。 図２のステップを実装するための手段を含む画像撮影デバイスを示す。

方法は、少なくとも２つの色成分（または色チャネル）を含む画像の中の色収差を補正するために使用される。本発明は、これらの２つの色成分の間の色収差を補正するために使用される。下記の記述では、本発明が赤の成分と緑の成分の間の色収差を補正するように記述する。実際には本発明は、他の色成分の間の色収差を補正するのに使用することもできる。

現在（その時）の画素についての図２に関して、本発明の方法は、
−取り込まれた画像の中で、現在の画素の周りの分析範囲を定義するステップ２１０と、
−現在の画素に関して、現在の画素を含む第１の画素ブロックの第１の色成分データを、分析範囲内で第１のブロックと同じサイズを有する複数個の第２の画素ブロックの画素の第２の色成分データと比較するステップ２２０と、
−第１の画素ブロックと最高の相関を有する第２の画素ブロックを選択するステップ２３０と、
−選択された第２のブロックが第１の画素ブロックと空間的に一致するようにするため、選択された第２のブロックに適用すべきシフトベクトルを判断するステップ２４０と、
−現在の画素に対応する、選択された第２のブロックの画素の第２の色成分データをシフトベクトルに従ってシフトするステップ２５０と
を含む。

ステップ２１０乃至２５０を図３乃至図５で示す。これらの図において、第１の色成分は緑の成分であり、第２の色成分は、赤の成分である。この例では、第１のブロックは、現在の画素を中心としているが、これは必須ではない。

ステップ２１０は、補正すべき画素Ｐの周りの分析範囲Ａを定義するためである。前記分析範囲のサイズは、２つの色成分の間の最大収差に依存する。このステップを図３で示す。図３の左の部分は、緑の成分の複数の画素を示し、右の部分は赤の成分の複数の画素を示す。より詳細には、この図は、これらの２つの色成分について補正すべき画素Ｐを中心とする分析範囲Ａを示す。各画素は、（図の左の部分に示す）緑の成分のデータと、（右の部分に示す）赤の成分データとを有する。この例では、分析範囲は、１１×１１画素を含む。

図４で示す次のステップ２２０では、画素ブロックＢがこの分析範囲Ａの中で定義されて、分析範囲の中の赤の画像の複数の画素ブロックＢ’と相関関数によって比較される。複数のブロックＢ’は、形状とサイズがブロックＢと同じである。

例えば、相関係数ｒが、Ｂｒａｖａｉｓ−Ｐｅａｒｓｏｎの公式に従って算出される。

この式の中で、
ｒは、０＜＝｜ｒ｜＜＝１の場合の相関係数を示し、ｒが高ければ高いほど、相関が高く、
ｎは、ブロックＢもしくはＢ’内の画素の量を示し、
ｘ_iは、ブロックＢの１つの画素の画素値を示し、
ｙ_iは、ブロックＢ’の１つの画素の画素値を示し、

は、ブロックＢの画素値の算術平均、すなわち

を示し、そして、

は、ブロックＢ’の画素値の算術平均、すなわち

を示す。

図５で示す次のステップ２３０では、ブロックＢと最高の相関係数を有する赤の画像の画素ブロックＢ’が選択される。図３乃至図５の例では、ブロックＢと最高の相関係数を有する画素ブロックＢ’が、画素ブロックＰと比べて水平に３画素分および垂直に３画素分シフトされる。次のステップ２４０では、ブロックＢと最高の相関を有するブロックＢ’間のシフトを表すシフトベクトルＶが判断される（水平に３画素、垂直に３画素）。

色収差補正方法の最終ステップ２５０は、選択された第２のブロックの中央の画素の赤の成分のデータをシフトベクトルに従ってシフトすることである。

これらのステップ２１０乃至２５０は、補正すべき画像のすべての画素に適用される。

分析範囲Ａのサイズは、２つの色チャネル間の最大収差と画素ブロックＢのサイズとに依存する。本明細書で挙げた例では、最大収差が水平方向に３画素、垂直方向に３画素である場合、かつ、画素ブロックＰのサイズが５×５画素である場合、分析範囲のサイズは、図３乃至図５に示すように１１×１１画素であることが望ましい。

本発明は、画像撮影デバイスもしくは画像取り込みデバイス、あるいはコンピュータのようないかなる画像処理ユニットにも実装することができる。

図６は、前述の方法を実装した画像取り込みデバイスすなわち画像撮影デバイス６００を示す。

画像撮影デバイス６００は、光を半導体イメージセンサすなわち電荷結合素子（６２０）上に集光してアナログ色チャネルもしくは色成分ＲＧＢを生成するためのレンズ６１０を備える。アナログ／デジタル変換器６３０が、３つのＲＧＢチャネルのアナログ信号をデジタル値に変換する。次いで、イメージャ補正ユニット６４０が、デジタル領域内のノイズのような副作用を補正する。次いで、補正されたデジタル値がラインメモリ６５０内に記憶される。ラインメモリの量は、分析範囲内の画素ラインの数に依存する。次いで、相関／シフトベクトル処理ユニット６６０が使用されて、前述のように、相関係数および対応するシフトベクトルＶが算出される。次いで、シフトベクトルが色収差補正ユニット６７０によって使用されて、図２の方法の中で定義されたように画像が補正される。結果として生じる画像が、記憶ユニット６８０の中に記憶される。

本発明は、開示した実施形態に限定されない。各種の修正形態が可能であり、それらが請求項の範囲内にあると考えられる。他の形状もしくはサイズの画素ブロックを使用することもできる。例えば、同じ画素列に属するｎ個の連続する画素というブロックを使用することもできる。さらに、ブロックＢは、補正すべき画素を中心とする必要はない。

６１０ レンズ
６２０ 電荷結合素子
６３０ アナログ／デジタル変換器
６４０ イメージャ補正ユニット
６５０ ラインメモリ
６６０ 相関／シフトベクトル処理ユニット
６７０ 色収差補正ユニット
６８０ 記憶ユニット

Claims (2)

1. 画像の現在の画素の第１の色成分データと第２の色成分データの間の色収差を補正するための方法であって、
   前記画像内で、前記現在の画素の周りの分析範囲を判断するステップと、
   前記現在の画素に関して、前記現在の画素を含む第１の画素ブロックの第１の色成分データを、前記分析範囲内で前記第１の画素ブロックと同じサイズを有する複数個の第２の画素ブロックの画素の第２の色成分データと比較するステップと、
   前記第１の画素ブロックと最高の相関を有する前記第２の画素ブロックを選択するステップと、
   前記選択された第２のブロックが前記第１の画素ブロックと空間的に一致するようにするため、前記選択された第２のブロックに適用すべきシフトベクトルを判断するステップと、
   色収差を修正する目的で、前記現在の画素に対応する、前記選択された第２のブロックの前記画素の前記第２の色成分データを前記シフトベクトルに従ってシフトするステップと、
   を含み、
   前記分析範囲の前記サイズが、前記第１の画素ブロックの前記サイズと最大シフトベクトルとに依存する、前記方法。
2. 前記第１の画素ブロックが前記現在の画素を中心とする、請求項１に記載の方法。