JP4966894B2 - 画像撮像装置 - Google Patents

Description

本発明は画像撮像装置に関し、特に広画角で倍率色収差が大きい光学系と色フィルタを備えた撮像素子を用いて画像を取得する画像撮像装置に関する。

近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。倍率色収差や歪曲収差がある光学系を用いた撮像装置において、歪みを補正する従来技術としては、例えば、特許文献１に記載のように、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法がある。

特開２００６−３４５０５４号公報

一般に撮像素子にはベイヤー配列等の色フィルタが設けられており、画像周辺部の倍率色収差が大きい部分では、撮像素子の色フィルタの分光特性が幅を持つことにより、座標変換による倍率色収差補正を用いたとしても各色での光学系のＰＳＦ（Point Spread Function）は大きくなり、解像度ＭＴＦ（Modulation Transfer Function）が低下することがあった。例えば、図１７に示すような分光特性をもつ色フィルタの撮像素子を用いて、倍率色収差のある光学系を通して被写体を撮影した場合、画面周辺部では、図１８に示すように（マス目はピクセル）、倍率色収差により、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色において、それぞれＰＳＦは大きくなってしまい、ＭＴＦが劣化する。そのため、図１９に示すように、各色の座標変換による倍率色収差補正を行った後にも本来の位置の周辺ににじみが生じ、解像度（ＭＴＦ）が劣化したままである。

本発明の目的は、広画角で倍率色収差が大きい光学系と色フィルタの設けられた撮像素子とを備えた撮像装置において、高画質な倍率色収差補正を実現することにある。

本発明は、広画角で少なくとも倍率色収差が大きい光学系と、該光学系を通して撮像された画像を色フィルタを通して読取る撮像素子と、該撮像素子で読取られた画像データを座標変換して倍率色収差補正を行う倍率色収差補正手段とを具備する画像撮像装置において、倍率色収差補正手段は、撮像素子で読取られた画像データを該撮像素子の色フィルタの波長域と異なる波長域のデータに変換した後に倍率色収差補正を行うことを特徴とする。例えば、撮像素子の色フィルタの波長域より狭い波長域のデータに変換する。これにより、倍率色収差補正後には、にじみが少なく、高画質（高解像度）な画像を取得できる。
画像撮像装置。

倍率色収差補正手段は、さらに倍率色収差を行ったデータを元の色フィルタの波長域のデータへ変換することを特徴とする。これにより、色フィルタの波長域と異なる波長域のデータをそのまま後段に出力した場合に、分光特性が人間の眼の特性とはずれ、色相が崩れてしまうのを抑止することができる。

また、倍率色収差補正手段は、撮像素子の色数以上の波長データに変換することでもよい。これにより、精度よく倍率色収差補正を行うことができる。

また、倍率色収差補正手段は、少なくとも１つは可視光範囲を超える赤外線波長域のデータに変換することでもよい。これは、特にＣＭＯＳセンサのように赤外波長において大きな感度を持つ撮像素子に有効であり、また、暗視用途など赤外光でのセンシングにも使用することができる。

また、倍率色収差補正手段は、画像の周辺部に対応する画像データについてのみ、撮像素子の色フィルタの波長域と異なる波長域のデータに変換することでもよい。これにより、処理を軽減することができる。

また、倍率色収差補正手段は、撮像素子からの出力が飽和した画素に対しては倍率色収差補正を行わないことでもよい。これにより、画質の劣化を抑止することができる。

また、倍率色収差補正手段は、特定の色成分のデータについては座標変換を行わず、特定の色成分以外の色成分のデータについてのみ座標変換を行うことでもよい。この場合、特定の色成分のデータの座標を基準に補正量を求め、該補正量により特定の色成分以外の色成分のデータについて座標変換を行うことでもよい。これにより、少ない回路規模で座標変換を行うことができる。

さらに、倍率色収差補正手段の後段に、倍率色収差補正された画像データを座標変換して歪曲収差補正を行う歪曲収差補正手段を更に具備することでもよい。これにより、歪曲収差も補正でき、より高画質な画像を取得できる。

本発明の画像撮像装置によれば、広画角で倍率色収差が大きい光学系と色フィルタを備えた撮像素子を用いて撮像された画像について倍率色収差補正後には、高解像度な高画質の画像を取得することが可能になる。

初めに、本発明の画像撮像装置の主要部である倍率色収差補正手段について説明する。

図１は本発明にかかる倍率色収差補正手段の第１の実施例の構成図を示す。倍率色収差補正手段１００は、撮像素子で得られた画像データＲＧＢについて、撮像素子の色フィルタの各色の波長域と異なる各波長域のデータＲ’Ｇ’Ｂ’に変換する波長変換手段１１０と、該データＲ’Ｇ’Ｂ’を入力として各色毎の座標変換による倍率色収差補正を行う倍率色収差補正用座標変換手段１２０と、倍率色収差補正されたデータＲ’Ｇ’Ｂ’を元の色フィルタの波長域の画像データＲＧＢまたはＹＵＶへ逆変換する波長逆変換手段１３０からなる。倍率色収差補正用座標変換手段１２０については後述する。

波長変換手段１１０及び逆波長変換手段１３０の演算は次式で表わされる。

ここで、Ａ，Ｂ，Ｃは入力、Ｘ，Ｙ，Ｚは出力、ｅ(1)〜ｅ(9)は係数である。波長変換手段１１０では、Ａ，Ｂ，ＣはＲ，Ｇ，Ｂであり、Ｘ，Ｙ，ＺはＲ’，Ｇ’，Ｂ’である。波長逆変換手段１３０では、Ａ，Ｂ，ＣはＲ’，Ｇ’，Ｂ’であり、Ｘ，Ｙ，ＺはＲ，Ｇ，ＢやＹ，Ｕ，Ｖである。波長変換手段１１０と波長逆変換手段１３０では係数ｅ(1)〜ｅ(9)が異なるだけで、演算は基本的に同様である。つまり、波長変換手段１１０及び波長逆変換手段１３０では色空間変換を行っている。

式（１）の演算により、波長変換手段１１０においては、図２に示すように、撮像素子の色フィルタの分光特性を各色の透過域を小さくなるように等価的に変更できる。そのため、図３に示すように、先の図１８における各色の広がりは小さくなり、倍率色収差補正後には、図４に示すように、先の図１９の従来例に比べてにじみが少なく、高解像度な画像が得られる。

以下に、波長変換手段１１０での演算用に式（１）を書き直した式（２）、及び係数ｅ(1)〜ｅ(9)の一例を示す。

データＲ’Ｇ’Ｂ’を入力として、倍率色収差補正用座標変換手段１２０で倍率色収差補正を行った後、そのまま後段にＲ’Ｇ’Ｂ’のデータを出力してもよいが、この場合、分光特性が人間の眼の特性とはずれ、色相が崩れてしまうため、図１の構成のように、波長逆変換手段１３０によりＲＧＢまたはＹＵＶのデータに変換して、元の色フィルタや、もっと眼の特性に近い分光特性に戻すことが望ましい。

以下に、画像データＲ’Ｇ’Ｂ’について倍率色収差補正を掛けた後、元の色フィルタの分光特性に戻す場合の、波長逆変換手段１３０での演算用に式（１）を書き直した式（３）、及び、係数ｅ(1)〜ｅ(9)の一例を示す。ここで、係数は式（２）のｅ(1)，ｅ(5)，ｅ(9)成分以外の符号を反転させた値となる。

図１の構成とすることで、画像データＲＧＢの単純な倍率色収差補正に比べて、高解像度な画像（周辺部のコントラストが向上した画像）を得ることができる。

なお、原理上、ＲＧＢのセンサのいずれかのみ飽和してしまっている場合には、正確な色空間変換が行えないため、色倍率収差補正を行うと、逆に画質が劣化する場合がある。その場合には、センサからの出力が飽和した画素に対しては色倍率収差補正（座標変換）を行わないようにすればよい。なお、同様にセンサからの出力が飽和した画素に対しては撮像素子の色フィルタの波長域と異なる波長域のデータへの変換を行わないようにしても良い。

また、処理を軽減するため、色倍率収差が存在しない画面中央部に関しては、波長変換手段１１０及び波長逆変換手段１３０での上記のような色空間変換を行わないとすることでもよい。

図５は本発明にかかる倍率色収差補正手段の第２の実施例の構成図を示す。倍率色収差補正手段２００は、図１と同様に波長変換手段２１０、倍率色収差補正用座標変換手段２２０、波長逆変換手段２３０からなる。本実施例は、補色系色フィルタを用いる撮像素子に適用する場合であり、波長変換手段２１０は、補色系色画像データＣＭＹＧを入力として画像データＲ’Ｇ’Ｂ’に色空間変換を行う。倍率色収差補正用座標変換手段２２０、波長逆変換手段２３０は図１と同様である。

波長変換手段２１０では、図１の波長変換手段１１０と基本的に同様の演算で、図６に示す様に、補色系色フィルタの分光特性を各色の透過域を小さくなるように等価的に変更できる。

図５の構成とすることで、補色系色フィルタを用いる撮像素子においても高品質に倍率色収差補正が可能となる。

図７は本発明にかかる倍率色収差補正手段の第３の実施例の構成図を示す。本実施例は、図５の第３の実施例において更に赤外波長のデータＩＲ’も得ることができるようにしたものである。

特にＣＭＯＳセンサは赤外波長において大きな感度を持つので、図７のように、赤外波長データＩＲ’を分離してから倍率色収差補正を行うことは有効である。また、得られた赤外成分のデータＩＲ’をＲＧＢ画像データとは別途出力することで、暗視用途など赤外光でのセンシングに使用することもできる。

図８は本発明にかかる倍率色収差補正手段の第４の実施例の構成図を示す。本実施例は、撮像素子の色フィルタの色数以上の波長データに分割して倍率色収差補正を行うようにしたものである。図８は、図１と同様に、特に撮像素子の色フィルタがＲＧＢフィルタの場合に、その得られたＲＧＢ画像データをＲ’，Ｇ’，Ｂ’，Ｘ’，Ｙ’の波長データに分割して倍率色収差補正を行う例を示したものである。図９にＲＧＢとＲ’Ｇ’Ｂ’Ｘ’Ｙ’の波長関係の一例を示す。

図８の構成とすることで、回路規模は多少大きくなるが、精度よく倍率色収差補正を行うことが可能になる。同様にして、例えば撮像素子の色フィルタが補色系（ＣＭＹＧ）の場合も、その色数以上の波長データに分割して倍率色収差補正を行うことも可能である。

次に、倍率色収差補正用座標変換手段の構成例について説明する。以下では図１の実施例の倍率色収差補正用座標変換手段１２０を例にするが、他の実施例の倍率色収差補正用座標変換手段も基本的構成は同様であるので省略する。

倍率色収差補正では、通常、ＲＧＢ各色成分の画像データをそれぞれ座標変換することで実現されるが、ここではＲＧＢ画像データを色空間変換したＲ’Ｇ’Ｂ’データが対象となる。後述の実施例では、Ｒ’，Ｂ’を座標変換してＧ’の位置にコピーすることで、倍率色収差補正を行う。これにより、倍率色収差補正に必要な回路規模を小さくすることができる。

図１０は倍率色収差補正用座標変換手段１２０の一実施形態の構成図を示す。図１０において、１２１は所定の座標変換式に従いＲ’Ｇ’Ｂ’それぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１２２は座標変換式に使用される係数を保持する座標変換係数テーブルである。また、１２３は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）はそれぞれＲ’Ｇ’Ｂ’に対応する。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）は、小容量であるため、画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

ＲＧＢ画像データを色空間変換したＲ’Ｇ’Ｂ’の波長データは、それぞれ、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）に、座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインのデータが書き込まれると、先頭ラインのデータから順次捨てられ、代って後続ラインのデータが新しく書き込まれていく。こうして、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲ’Ｇ’Ｂ’の波長データが順次格納される。

ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）の値を、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）の実アドレスに変換する必要があるが、図１０ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１２１は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、Ｒ’Ｇ’Ｂ’それぞれについて倍率色収差補正の変換座標を計算し、Ｒ’Ｇ’Ｂ’それぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。本実施形態では、Ｒ’とＢ’を座標変換してＧ’の位置にコピーする。このため、倍率色収差補正座標変換演算部１２１では、Ｇ’については、入力された座標値（ｘ，ｙ）をそのまま座標値（Ｘ，Ｙ）として出力し、Ｒ’とＢ’についてのみ、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、この座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（4）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル１２２に保持される。

座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１２１から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲ’Ｇ’Ｂ’のデータを順次読み出していく。この場合、座標変換メモリ１２３（Ｇ）からは、書込み時と同じ位置のＧ’のデータが読み出される。一方、座標変換メモリ１２３（Ｒ），１２３（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲ’Ｂ’のデータが読み出される。

以上の処理により、座標変換メモリ１２３（Ｒ），１２３（Ｇ），１２３（Ｂ）からは、倍率色収差補正された、Ｒ’Ｇ’Ｂ’のデータが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲ’Ｇ’Ｂ’のデータが、座標変換先座標値（ｘ，ｙ）のＲ’Ｇ’Ｂ’のデータとして出力される。

図１１に倍率色収差補正座標変換演算部１２１の二、三の実施例を示す。図１１（ａ）は、Ｇ’については座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、Ｇ’用座標値（Ｘ，Ｙ）として出力し、Ｒ’とＢ’についてのみ、それぞれ座標変換演算部１２１１，１２２１により、入力された座標値（ｘ，ｙ）を変換して、Ｒ’用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲ’とＢ’色成分のみでよいため、回路規模が少なくてすむ。

図１１（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである。ここで、図１１（ｂ）は、座標変換演算部１２１により、座標値（ｘ，ｙ）について補正量を求め、減算部１２１４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ’用座標値（Ｘ，Ｙ）とし、一方、加算部１２１５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ’用座標値（Ｘ，Ｙ）とする実施例である。図１１（ａ）と同様に、Ｇ’用座標値（Ｘ，Ｙ）には入力座標値（ｘ，ｙ）をそのまま出力する。

図１１（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１２１６によりＲ’用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図１１（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図１１（ａ）の座標変換演算部１２１１、１２１２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図１１（ｂ），（ｃ）の座標変換演算部１２１３のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

図１２は本発明が適用される画像撮像装置の一実施形態の全体的ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部（モニタ）を備えているが、図１２では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、用途はこれに限らない。また、ここでは、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差に加えて歪曲収差も補正する構成とするが、本発明の特徴は倍率色収差補正にあり、画像は少なくとも広画角で倍率色収差が大きい光学系を用いて撮像された画像であればよい。また、撮像素子の色フィルタは加色系のＲＧＢフィルタとし、画像データの色成分は赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、色フィルタは補色系で、画像データはＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）などでもよい。

図１２において、制御部１０００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１００は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１００にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１０００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１０００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１００の内部で生成して、撮像素子１１００から順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２００は、撮像素子１１００から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３００に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２００の前段にはＡＧＣ回路が設けられるが、ここでは省略する。

ベイヤー補完部１３００は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補正部１４００に送出する。

図１３にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。

Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （5）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。

Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （6）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （7）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （8）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （9）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （10）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、ここではベイヤー配列のＲＧＢ色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要となる。

倍率色収差補正部１４００は、ベイヤー補完されたＲＧＢ画像データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。先の図１に示した倍率色収差補正手段１００が、この倍率色収差補正部１４００に用いられる。すなわち、倍率色収差補正分１４００では、入力されたＲＧＢ画像データについて、撮像素子１１００の色フィルタの波長域と異なる波長域のデータＲ’Ｇ’Ｂ’に変換した後に座標変換して倍率色収差補正を実施し、その後、元の色フィルタの波長域データＲＧＢに逆変換して出力する。これにより、画像周辺部の倍率色収差が大きい部分でも、高画質な画像が得られる。また、先に述べたように、座標変換はＲ’，Ｂ’のみとすることで、回路規模を小さくすることができる。さらに、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１５００は、倍率色収差補正されたＲＧＢ画像データを入力して、輝度信号についてＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。

図１４にＭＴＦ補正部１５００の概略構成を示す。変換部１５０１は次式によりＲＧＢ画素データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （11）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （12）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （13）

ＦＩＲフィルタ（５×５フィルタ）１５０２では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図１５にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、図１２のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１５０３は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画素データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （14）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （15）
Ｂ＝Ｙ＋１.７７２Ｃｂ （16）

歪曲収差補正部１６００は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。歪曲収差補正の座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。

図１６に歪曲収差補正部１６００の一実施形態の構成図を示す。１６０１はＲＧＢ３つの画像データを一つに合成するＲＧＢ合成部、１６０２はＲＧＢ画像データに共通の歪曲収差補正用座標変換メモリ、１６０３は合成されたＲＧＢ画像データを元の各色成分に分離するＲＧＢ分離部、１６０４は合成されたＲＧＢ画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６０５は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画像データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ３２０は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ１６０２は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１６０１は、順次、倍率色収差補正済みの各ＲＧＢ画像データ（各８ビット）を入力し、一つの画像データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画像データが、座標変換メモリ１６０２に、それぞれ座標変換先の座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１６０４は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（４）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６０５に保持される。

座標変換メモリ１６０２は、先のＲＧＢ合成画像データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６０４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画像データを順次読み出していく。ＲＧＢ分離部１６０３は、座標変換メモリ１６０２から読み出されたＲＧＢ合成画像データ（２４ビット）を元のＲＧＢ各色成分の画像データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１６０３からは、歪曲収差の補正された各ＲＧＢ画像データが出力されることになる。すなわち、各ＲＧＢ画像データが本来の位置である座標値（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正は基本的にメモリチップのみで実現可能となる。

ガンマ補正部１７００は、歪曲収差補正部１６００から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。ガンマ補正部１７００から出力された画像データは、図示しない表示部にモニタ表示される。

図１２の構成により、色倍率収差および歪曲収差がある光学系に対して、高画質で、回路規模が小さい低コストな撮像システムを提供できる。

本発明の倍率色収差補正手段の第１の実施例を示す図。 第１の実施例の波長変換の例を示す図。 波長変換と倍率色収差の関係を示す図。 本発明による倍率色収差補正結果の一例を示す図。 本発明の倍率色収差補正手段の第２の実施例を示す図。 第２の実施例の波長変換の例を示す図。 本発明の倍率色収差補正手段の第３の実施例を示す図。 本発明の倍率色収差補正手段の第４の実施例を示す図。 第４の実施例の波長変換の例を示す図。 図１の倍率色収差補正用座標変換手段の構成例を示す図。 図１０の倍率色収差補正座標変換演算部の構成例を示す図。 本発明が適用される画像撮像装置の一実施形態の全体的ブロック図。 ベイヤー配列カラーフィルタを示す図。 図１２のＭＴＦ補正部の構成例を示す図。 ＦＩＲフィルタの一例を示す図。 図１２の歪曲収差補正部の構成例を示す図。 色フィルタの分光特性の一例を示す図。 色フィルタと倍率色収差の関係を示す図。 従来の倍率色収差補正結果の一例を示す図。

符号の説明

１００ 倍率色収差補正手段
１１０ 波長変換手段
１２０ 倍率色収差補正用座標変換手段
１３０ 波長逆変換手段
１１００ 撮像素子
１２００ Ａ／Ｄ変換器
１３００ ベイヤー補完部
１４００ 倍率色収差補正部
１５００ ＭＴＦ補正部
１６００ 歪曲収差補正部
１７００ ガンマ補正部

Claims (13)

1. 広画角で少なくとも倍率色収差が大きい光学系と、前記光学系を通して撮像された画像を色フィルタを通して読取る撮像素子と、前記撮像素子で読取られた画像データを座標変換して倍率色収差補正を行う倍率色収差補正手段とを具備する画像撮像装置において、
   前記倍率色収差補正手段は、前記撮像素子で読取られた画像データを前記撮像素子の色フィルタの波長域と異なる波長域のデータに変換した後に倍率色収差補正を行い、該倍率色収差補正を行ったデータを元の色フィルタの波長域のデータへ変換することを特徴とする画像撮像装置。
2. 前記撮像素子は加色系の色フィルタを備えることを特徴とする請求項１記載の画像撮像装置。
3. 前記撮像素子は補色系の色フィルタを備えることを特徴とする請求項１記載の画像撮像装置。
4. 前記倍率色収差補正手段は、前記撮像素子の色フィルタの波長域より狭い波長域のデータに変換することを特徴とする請求項１乃至３のいずれか１項に記載の画像撮像装置。
5. 前記倍率色収差補正手段は、前記撮像素子の色数以上の波長データに変換することを特徴とする請求項１乃至４のいずれか１項に記載の画像撮像装置。
6. 前記倍率色収差補正手段は、少なくとも１つは可視光範囲を超える赤外線波長域のデータに変換することを特徴とする請求項１乃至５のいずれか１項に記載の画像撮像装置。
7. 前記倍率色収差補正手段は、画像の周辺部に対応する画像データについてのみ、前記撮像素子の色フィルタの波長域と異なる波長域のデータに変換することを特徴とする請求項１乃至６のいずれか１項に記載の画像撮像装置。
8. 前記倍率色収差補正手段は、前記撮像素子からの出力が飽和した画素に対しては倍率色収差補正を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の画像撮像装置。
9. 前記倍率色収差補正手段は、前記撮像素子からの出力が飽和した画素に対しては前記撮像素子の色フィルタの波長域と異なる波長域のデータへの変換を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の画像撮像装置。
10. 前記倍率色収差補正手段は、特定の色成分のデータについては座標変換を行わず、前記特定の色成分以外の色成分のデータについてのみ座標変換を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像撮像装置。
11. 前記倍率色収差補正手段は、前記特定の色成分のデータの座標を基準に補正量を求め、前記補正量により前記特定の色成分以外の色成分のデータについて座標変換を行うことを特徴とする請求項１０記載の画像撮像装置。
12. 前記倍率色収差補正手段は、前記特定の色成分以外のある色成分のデータについては、座標値にさらに所定のゲインをかけて調整することを特徴とする請求項１１記載の画像撮像装置。
13. 前記倍率色収差補正手段の後段に、倍率色収差補正された画像データを座標変換して歪曲収差補正を行う歪曲収差補正手段を更に具備することを特徴とする請求項１乃至１２のいずれか１項に記載の画像撮像装置。

Images