JP5078797B2 - 画像補正装置及び画像補正方法 - Google Patents

Description

この発明は、レンズ収差の色収差を補償する画像補正装置及び画像補正方法に関するものである。

レンズと撮像素子から構成されている撮像装置では、レンズの屈折率が波長によって異なるため、色によって像の大きさと位置に差異が生じる色収差が発生する。
これにより、撮像素子に結像される撮像画像のエッジ部分で、色にじみが発生する状況が生まれる。
従来の撮像装置では、この撮像画像の色収差を補償するために、屈折率が異なる複数枚のレンズを組み合わせることで、色収差の影響を少なくしている。
ただし、複数枚のレンズを組み合わせる場合、レンズの個数や種類が増えてしまうため、コストの増加につながる。
また、デジタルスチルカメラでは小型化が進み、レンズも小型化されていることから、レンズによる色収差の補償が困難になっている。

そこで、複数枚のレンズを組み合わせる代わりに、非球面レンズや異常分散レンズなどの特殊レンズを使用し、その特殊レンズを用いて、色収差を補償している画像補正装置が開発されている（例えば、特許文献１を参照）。

特開平１０−６６０９７号公報（段落番号［００１１］から［００１７］、図１）

従来の画像補正装置は以上のように構成されているので、非球面レンズや異常分散レンズなどの特殊レンズを使用すれば、色収差を補償することができるが、特殊レンズを製造するには、高度な設計技術や加工技術が必要であるため、コスト高を招いてしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、特殊レンズを用いることなく、色収差を補償することができる画像補正装置及び画像補正方法を得ることを目的とする。

この発明に係る画像補正装置は、レンズを介して撮像素子に結像された撮像画像を構成する各画素の位置と光軸の中心位置との距離を算出する距離算出手段と、距離算出手段により算出された距離に対応するレンズ収差の色収差特性を算出する色収差特性算出手段とを設け、画像データ補正手段が色収差特性算出手段により算出された色収差特性を用いて、撮像画像の画像データを補正するようにし、距離算出手段は、各画素の位置と光軸の中心位置との距離を算出するに際して、光軸の中心位置に対して、各画素の位置の回転と拡大縮小を行うことを特徴とするものである。

この発明によれば、レンズを介して撮像素子に結像された撮像画像を構成する各画素の位置と光軸の中心位置との距離を算出する距離算出手段と、距離算出手段により算出された距離に対応するレンズ収差の色収差特性を算出する色収差特性算出手段とを設け、画像データ補正手段が色収差特性算出手段により算出された色収差特性を用いて、撮像画像の画像データを補正するように構成したので、特殊レンズを用いることなく、色収差を補償することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像補正装置を示す構成図である。
図１において、撮像素子２は画像補正装置３の前段に設置されており、レンズ１を介して撮像画像を結像して、その撮像画像の画像データを画像補正装置３に出力するとともに、その撮像画像を構成する画素の特定を可能にするために、水平同期信号及び垂直同期信号を画像補正装置３に出力する。
画像補正装置３は撮像素子２から出力される画像データを補正して、レンズ収差の色収差を補償する装置である。

画像補正装置３の画素カウント部１１は撮像素子２から出力される水平同期信号及び垂直同期信号をカウントして、撮像素子２に結像された撮像画像を構成する各画素の位置を示す水平座標Ｘと垂直座標Ｙを算出する処理を実施する。以降、各画素の位置を示す座標を（Ｘ，Ｙ）で表すものとする。
距離算出部１２は画素カウント部１１により算出された各画素の位置を示す座標（Ｘ，Ｙ）と、撮像画像内における光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）との距離Ｒを算出する処理を実施する。
なお、画素カウント部１１及び距離算出部１２から距離算出手段が構成されている。

色収差特性算出テーブル格納部１３は距離Ｒと色収差特性αの対応関係が示されている色収差特性算出テーブルを格納しているメモリである。
色収差特性算出部１４は色収差特性算出テーブル格納部１３に格納されている色収差特性算出テーブルを参照して、距離算出部１２により算出された距離Ｒに対応するレンズ収差の色収差特性αを特定する処理を実施する。
なお、色収差特性算出テーブル格納部１３及び色収差特性算出部１４から色収差特性算出手段が構成されている。

画像バッファ部１５は撮像素子２から出力される撮像画像の画像データを一時的に保持するメモリである。
なお、撮像画像の画像データは、各画素の色情報として、Ｒ，Ｇ，Ｂの全ての色情報を有しているものとする。即ち、Ｒａｗデータ（１画素当りの画像データとして、Ｒ，Ｇ，Ｂの色情報のうち、いずれかの単色の情報のみを有しているデータ）を用いて、色補間処理が実施されることによって、Ｒ，Ｇ，Ｂの全ての色情報を有する画像データが撮像素子２から得られるものとする。

色収差補償部１６は色収差特性算出部１４により特定された色収差特性αを用いて、画像バッファ部１５に保持されている撮像画像の画像データを補正して、レンズ収差の色収差を補償する処理を実施する。なお、色収差補償部１６は画像データ補正手段を構成している。
図２はこの発明の実施の形態１による画像補正装置の処理内容を示すフローチャートである。

次に動作について説明する。
撮像素子２は、レンズ１を介して撮像画像を結像すると、その撮像画像の画像データを画像補正装置３に出力するとともに、水平同期信号及び垂直同期信号を画像補正装置３に出力する。

画像補正装置３の画素カウント部１１は、撮像素子２から水平同期信号及び垂直同期信号を受けると、その水平同期信号及び垂直同期信号をカウントすることにより、撮像素子２に結像された撮像画像を構成する各画素の位置を示す座標を（Ｘ，Ｙ）を算出する（ステップＳＴ１）。

距離算出部１２は、画素カウント部１１が各画素の位置を示す座標（Ｘ，Ｙ）を算出すると、下記の式（１）に示すように、各画素の位置を示す座標（Ｘ，Ｙ）と、撮像画像内における光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）との距離Ｒを算出する（ステップＳＴ２）。

ここで、色収差特性算出テーブル格納部１３は、距離Ｒと色収差特性αの対応関係が示されている色収差特性算出テーブルを格納している。
色収差特性算出テーブルは、光軸の中心位置から、色収差がない理想的な結像位置までの距離Ｒと、実際の結像位置までの距離ｒとを用いて表される色収差特性α（以下の式（２で表される色収差特性α）を離散的に保持している。

色収差特性算出部１４は、距離算出部１２が距離Ｒを算出すると、色収差特性算出テーブル格納部１３に格納されている色収差特性算出テーブルを参照して、距離算出部１２により算出された距離Ｒに対応するレンズ収差の色収差特性αを特定する（ステップＳＴ３）。

ただし、色収差特性算出テーブル格納部１３に格納されている色収差特性算出テーブルは、距離Ｒに対して、色収差特性αを離散的に保持しているため、距離算出部１２により算出された距離Ｒと一致する距離が色収差特性算出テーブルに記録されていない場合、下記の式（３）に示すように、距離算出部１２により算出された距離Ｒに近い２点のＲ_n，Ｒ_n+1にそれぞれ対応するα_n，α_n+1を用いて、距離Ｒに対応する色収差特性αを算出する。

画像バッファ部１５は、撮像素子２から出力される撮像画像の画像データを一時的に保持している。
色収差補償部１６は、色収差特性算出部１４が色収差特性αを特定すると、その色収差特性αを用いて、画像バッファ部１５に保持されている撮像画像の画像データを補正して、レンズ収差の色収差を補償する（ステップＳＴ４）。

以下、色収差補償部１６による画像データの補正処理を具体的に説明する。
例えば、座標（Ｘ，Ｙ）の位置にある画素の像は、図３に示すように、座標が（Ｘｃ，Ｙｃ）である光軸の中心位置からの距離がαＲの位置に結像される。
その結像位置の座標（Ｘ’，Ｙ’）は、下記の式（４）で表される。
Ｘ’＝α（Ｘ−Ｘｃ）＋Ｘｃ
Ｙ’＝α（Ｙ−Ｙｃ）＋Ｙｃ
（４）

撮像画像の画像データは離散的に分布しているため、結像位置の近傍の４点の画像データを用いて、結像位置の画像データＩ（Ｘ’，Ｙ’）を算出し、結像位置の画像データＩ（Ｘ’，Ｙ’）を補正後の画像データとして出力する。
ここで、近傍４点の画像データがＩ（Ｘ_n，Ｙ_n），Ｉ（Ｘ_n+1，Ｙ_n），Ｉ（Ｘ_n，Ｙ_n+1），Ｉ（Ｘ_n+1，Ｙ_n+1）であるとすると、結像位置の画像データＩ（Ｘ’，Ｙ’）は、距離の重み付けを用いて、以下の式（５）で表される。
ｓ＝Ｘ’−Ｘ_n
ｔ＝Ｙ’−Ｙ_n
Ｉ（Ｘ’，Ｙ’）
＝（１−ｔ）｛（１−ｓ）Ｉ（Ｘ_n，Ｙ_n）＋ｓＩ（Ｘ_n+1，Ｙ_n）｝
＋ｔ｛（１−ｓ）Ｉ（Ｘ_n，Ｙ_n+1）＋ｓＩ（Ｘ_n+1，Ｙ_n+1）｝
（５）

以上で明らかなように、この実施の形態１によれば、レンズ１を介して撮像素子２に結像された撮像画像を構成する各画素の位置と光軸の中心位置との距離Ｒを算出する距離算出部１２と、距離算出部１２により算出された距離Ｒに対応するレンズ収差の色収差特性αを算出する色収差特性算出部１４とを設け、色収差補償部１６が色収差特性算出部１４により算出された色収差特性αを用いて、撮像画像の画像データを補正するように構成したので、特殊レンズを用いることなく、色収差を補償することができる効果を奏する。

また、この実施の形態１によれば、距離と色収差特性の対応関係が示されている色収差特性算出テーブルを参照して、距離算出部１２により算出された距離Ｒに対応するレンズ収差の色収差特性αを特定するように構成したので、複雑な計算を実施することなく、レンズ収差の色収差特性αを特定することができる効果を奏する。

なお、この実施の形態１では、距離算出部１２が、各画素の位置を示す座標（Ｘ，Ｙ）と、光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）との距離Ｒを算出するものについて示したが、レンズ１のズーム位置、フォーカス位置及び絞り量に応じて、各画素の位置と光軸の中心位置との距離Ｒを補正するようにしてもよい。

即ち、距離算出部１２が、例えば、レンズ１のズーム位置とフォーカス位置に対応する絞り量を記録しているテーブルを保持している場合、そのテーブルを参照して、レンズ１のズーム位置とフォーカス位置に対応する絞り量を特定する。ここでは、レンズ１のズーム位置をａ，フォーカス位置をｂ、絞り量をｃとする。
そして、距離算出部１２は、例えば、下記の式（６）に示すような変換式（式（６）は１次多項式であるが、Ｎ次多項式（Ｎは２次以上）であってもよい）に、レンズ１のズーム位置ａ、フォーカス位置ｂ及び絞り量ｃを代入することで、式（１）で算出した距離Ｒを補正する。Ｒ’は補正後の距離Ｒである。
Ｒ’＝ａＲ＋ｂＲ＋ｃＲ （６）

実施の形態２．
上記実施の形態１では、色収差補償部１６が、各画素の色情報として、Ｒ，Ｇ，Ｂの全ての色情報を有している画像データを補正するものについて示したが、撮像素子２から出力されて、画像バッファ部１５に保持されている画像データがＲａｗデータである場合、そのＲａｗデータを補正するようにしてもよい。

具体的には、以下の通りである。
Ｒａｗデータは、Ｒ，Ｇ，Ｂそれぞれの画素と同色の画素が一画素おきに並んでいるデータである。
このため、Ｒａｗデータを補正する場合、近傍４点を使用する際に、同色画素を選択する必要が生じる。
よって、（Ｘ，Ｙ）座標に位置する画素の色と、（Ｘ_n，Ｙ_n）座標に位置する参照画素の色とが一致している必要がある。

そこで、この実施の形態２では、色収差補償部１６は、水平座標ＸとＸ_nの奇偶が一致する場合、参照画素の水平座標としてＸ_nを選択し、水平座標ＸとＸ_nの奇偶が一致しない場合、参照画素の水平座標としてＸ_n−１を選択する。
また、色収差補償部１６は、垂直座標ＹとＹ_nの奇偶が一致する場合、参照画素の垂直座標としてＹ_nを選択し、垂直座標ＹとＹ_nの奇偶が一致しない場合、参照画素の垂直座標としてＹ_n−１を選択する。

即ち、色収差補償部１６は、水平座標ＸとＸ_nの奇偶が一致し、かつ、垂直座標ＹとＹ_nの奇偶が一致する場合、近傍４点の画像データとして、Ｉ（Ｘ_n，Ｙ_n），Ｉ（Ｘ_n+2，Ｙ_n），Ｉ（Ｘ_n，Ｙ_n+2），Ｉ（Ｘ_n+2，Ｙ_n+2）を選択し、下記の式（７）に示すように、結像位置の画像データＩ（Ｘ’，Ｙ’）を補正する。
ｓ＝Ｘ’−Ｘ_n
ｔ＝Ｙ’−Ｙ_n
Ｉ（Ｘ’，Ｙ’）
＝｛（２−ｔ）｛（２−ｓ）Ｉ（Ｘ_n，Ｙ_n）＋ｓＩ（Ｘ_n+2，Ｙ_n）｝
＋ｔ｛（２−ｓ）Ｉ（Ｘ_n，Ｙ_n+2）＋ｓＩ（Ｘ_n+2，Ｙ_n+2）｝｝／４
（７）

式（７）は、水平座標ＸとＸ_nの奇偶が一致している場合を示しているが、水平座標ＸとＸ_nの奇偶が一致していない場合、式（７）における“Ｘ_n”を“Ｘ_n−１”として、結像位置の画像データＩ（Ｘ’，Ｙ’）を補正する。
また、式（７）は、垂直座標ＹとＹ_nの奇偶が一致している場合を示しているが、垂直座標ＹとＹ_nの奇偶が一致していない場合、式（７）における“Ｙ_n”を“Ｙ_n−１”として、結像位置の画像データＩ（Ｘ’，Ｙ’）を補正する。

以上で明らかなように、この実施の形態２によれば、画像バッファ部１５に保持されている画像データがＲａｗデータである場合でも、上記実施の形態１と同様に、特殊レンズを用いることなく、色収差を補償することができる効果を奏する。

実施の形態３．
上記実施の形態１，２では、色収差特性が対称の特性であるものに適用するものについて示したが、この実施の形態３では、色収差特性が非対称の特性であるものにも適用できるようにしている。
具体的には、以下の通りである。

図４は同心楕円形に分布している色収差特性（非対称の色収差特性）を示す説明図である。
距離算出部１２は、画素カウント部１１が各画素の位置を示す座標（Ｘ，Ｙ）を算出すると、各画素の位置を示す座標（Ｘ，Ｙ）と、撮像画像内における光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）との距離Ｒを算出するが、この実施の形態３では、下記の式（８）に示すように、距離Ｒを算出するに際して、光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）を原点として、各画素の位置をθ回転する処理と、Ｐ倍・Ｑ倍の拡大縮小処理とを行うことにより、各画素の位置を示す座標（Ｘ，Ｙ）を座標（Ｘｄ，Ｙｄ）に変換する。

なお、距離算出部１２は、Ｐ倍・Ｑ倍の拡大縮小処理を行う際、Ａ方向の正方向及び負方向で、Ｐの設定値を変更するようにする。
また、Ｂ方向の正方向及び負方向で、Ｑの設定値を変更するようにする。
Ｐ，Ｑの設定値を変更することで、適用可能な色収差特性（非対称の色収差特性）を変更することができる。

距離算出部１２は、各画素の位置を示す座標（Ｘ，Ｙ）を座標（Ｘｄ，Ｙｄ）に変換すると、下記の式（９）に示すように、変換後の座標（Ｘｄ，Ｙｄ）から距離Ｒを算出する。

以上で明らかなように、この実施の形態３によれば、距離Ｒを算出するに際して、光軸の中心位置を示す座標（Ｘｃ，Ｙｃ）を原点として、各画素の位置をθ回転する処理と、Ｐ倍・Ｑ倍の拡大縮小処理とを行うように構成したので、色収差特性が非対称な場合でも、色収差を補償することができる効果を奏する。

実施の形態４．
図５はこの発明の実施の形態４による画像補正装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
色収差特性算出部１７は距離算出部１２により算出された距離Ｒを近似式に代入して、レンズ収差の色収差特性αを算出する処理を実施する。
なお、色収差特性算出部１７は色収差特性算出手段を構成している。

上記実施の形態１では、色収差特性算出部１４が色収差特性算出テーブル格納部１３に格納されている色収差特性算出テーブルを参照して、距離算出部１２により算出された距離Ｒに対応するレンズ収差の色収差特性αを特定するものについて示したが、色収差特性算出部１７が距離算出部１２により算出された距離Ｒを近似式に代入して、レンズ収差の色収差特性αを算出するようにしてもよい。

即ち、色収差特性算出部１７は、距離算出部１２が距離Ｒを算出すると、下記の式（１０）に示すような近似式（式（１０）は、近似式が２次多項式である例を示しているが、３次以上の多項式を用いてもよい）に、距離Ｒを代入して、レンズ収差の色収差特性αを算出する。
α＝ｆＲ²＋ｇＲ＋ｈ （１０）
ただし、ｆ，ｇ，ｈは多項式の係数である。

以上で明らかなように、この実施の形態４によれば、色収差特性算出部１７が距離算出部１２により算出された距離Ｒを近似式に代入して、レンズ収差の色収差特性αを算出するように構成したので、色収差特性算出テーブルを格納する色収差特性算出テーブル格納部１３が不要になり、メモリ量を削減することができる効果を奏する。
また、レンズ１のズーム位置、フォーカス位置及び絞り量に応じて、近似式の係数ｆ，ｇ，ｈを変更することで、色収差補正を行うことができる。

この発明の実施の形態１による画像補正装置を示す構成図である。 この発明の実施の形態１による画像補正装置の処理内容を示すフローチャートである。 座標（Ｘ，Ｙ）の位置にある画素の像が結像される位置を示す説明図である。 同心楕円形に分布している色収差特性（非対称の色収差特性）を示す説明図である。 この発明の実施の形態４による画像補正装置を示す構成図である。

符号の説明

１ レンズ、２ 撮像素子、３ 画像補正装置、１１ 画素カウント部（距離算出手段）、１２ 距離算出部（距離算出手段）、１３ 色収差特性算出テーブル格納部（色収差特性算出手段）、１４ 色収差特性算出部（色収差特性算出手段）、１５ 画像バッファ部、１６ 色収差補償部（画像データ補正手段）、１７ 色収差特性算出部（色収差特性算出手段）。

Claims (5)

1. レンズを介して撮像素子に結像された撮像画像を構成する各画素の位置と光軸の中心位置との距離を算出する距離算出手段と、上記距離算出手段により算出された距離に対応するレンズ収差の色収差特性を算出する色収差特性算出手段と、上記色収差特性算出手段により算出された色収差特性を用いて、上記撮像画像の画像データを補正する画像データ補正手段とを備え、
   上記距離算出手段は、各画素の位置と光軸の中心位置との距離を算出するに際して、光軸の中心位置に対して、各画素の位置の回転と拡大縮小を行うことを特徴とする画像補正装置。
2. 距離算出手段は、レンズのズーム位置、フォーカス位置及び絞り量に応じて、各画素の位置と光軸の中心位置との距離を補正することを特徴とする請求項１記載の画像補正装置。
3. 色収差特性算出手段は、距離と色収差特性の対応関係が示されている色収差特性算出テーブルを参照して、距離算出手段により算出された距離に対応するレンズ収差の色収差特性を特定することを特徴とする請求項１または請求項２記載の画像補正装置。
4. 色収差特性算出手段は、距離算出手段により算出された距離を近似式に代入して、レンズ収差の色収差特性を算出することを特徴とする請求項１または請求項２記載の画像補正装置。
5. 距離算出手段がレンズを介して撮像素子に結像された撮像画像を構成する各画素の位置と光軸の中心位置との距離を算出する距離算出ステップと、色収差特性算出手段が上記距離算出手段により算出された距離に対応するレンズ収差の色収差特性を算出する色収差特性算出ステップと、画像データ補正手段が上記色収差特性算出手段により算出された色収差特性を用いて、上記撮像画像の画像データを補正する画像データ補正ステップとを備え、
   上記距離算出手段は、各画素の位置と光軸の中心位置との距離を算出するに際して、光軸の中心位置に対して、各画素の位置の回転と拡大縮小を行うことを特徴とする画像補正方法。

Images