JP5078147B2 - 画像処理装置及び画像撮像装置 - Google Patents

Description

本発明は、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理方法及び画像処理装置、並びにそれを備えた画像撮像装置に関する。

近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。倍率色収差や歪曲収差がある光学系を用いた撮像装置において、歪みを補正する従来技術としては、例えば、特許文献１に記載のように、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法がある。

また、レンズなど光学系による解像度の劣化を補正する目的で従来から高域強調フィルタ（ＭＴＦ補正）が用いられている。特許文献１においても、ＲＧＢ信号を倍率色収差と歪曲収差の補正後、ＲＧＢ毎に高域強調フィルタをかける方法、ＲＧＢ信号を輝度信号と色信号に分離した後、収差補正を行い、輝度信号に高域強調フィルタをかける方法等が提案されている。

特開２００６−３４５０５４号公報

従来技術において、ＲＧＢ信号を収差補正後、ＲＧＢ毎に高域強調フィルタをかける方法は、ＲＧＢ毎の高域強調フィルタと、収差補正回路の組み合わせとなるため、回路規模の増大を招き、また、色ノイズも増加するため画質が低下する。

一方、ＲＧＢ信号を輝度信号と色信号に分離し、輝度信号に高域強調フィルタをかける方法は、色ノイズの増加を避けることができるが、輝度信号と色信号を分離した後、収差補正のための座標変換を行い、輝度信号に高域強調フィルタをかけた場合、ＲＧＢ信号ではなく輝度信号・色信号における座標変換のため、ＲＧＢ独立に収差補正を行うことで可能となっていた倍率色収差の補正は不可能になる。

本発明の目的は、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像について、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とＭＴＦ補正さらに歪曲収差補正を行う画像処理装置を提供することにある。

また、本発明の目的は、このような画像処理装置を実装することで、高画質で低コストな画像撮像装置を提供することにある。

本発明では、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像に対して、倍率色収差補正処理、輝度信号と色信号の分離処理、輝度信号の高域強調処理の順番で処理する。これにより、倍率色収差補正は各色独立に行い、且つ、ＭＴＦ補正は輝度信号にのみ高域強調フィルタを掛けることで可能となり、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とＭＴＦ補正を実施できる。さらに、輝度信号の高域強調処理と並行に色信号の平滑化処理を実施することにより、色信号のノイズを低減することができる。分離した輝度信号と色信号は合成する。

また、倍率色収差補正処理では、特定の色成分については座標変換を行わず、それ以外の色成分についてのみ座標変換を行うことで倍率色収差を補正する。この場合、特定の色成分の座標を基準に補正量を求め、該補正量により特定の色成分以外の色成分の変換座標を算出する。座標変換用メモリには、各色成分ごとではあるが、倍率色収差の最大ずれ量に応じた小容量の複数ポートのＳＲＡＭを用いる。これにより、回路規模を更に小さくできる。

また、光学系の歪曲収差にも対応するため、ＭＴＦ補正処理後、倍率色収差補正処理とは別途、更に歪曲収差補正処理を実施する。この座標変換用メモリには、各色成分に共通の単一ポートのＤＲＡＭを用いる。

本発明によれば、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とＭＴＦ補正さらには歪曲収差補正を行う画像処理装置を提供することができる。また、高画質で低コストな画像撮像装置を提供することができる。

以下、本発明の実施の形態について図面を用いて説明する。以下では色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１は本発明にかかる画像処理装置の基本構成を示す。ここで、画像処理装置は倍率色収差補正手段１００とＭＴＦ補正手段２００を有し、ＭＴＦ補正手段２００は、色・輝度信号分離手段２１０と高域強調フィルタ（ＦＩＲフィルタ）２２０と色・輝度信号合成手段２４０からなる。

倍率色収差補正手段１００は、広画角で倍率色収差が大きい光学系を通して撮像されて、ＣＣＤやＣＭＯＳセンサ等の画像素子で読み取られた、倍率色収差を含むＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ独立に座標変換を施し、倍率色収差補正されたＲＧＢ画像データを出力する。この倍率色収差補正手段１００については後で詳述するが、倍率色収差の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正手段２００は、倍率色収差補正されたＲＧＢ画素データを入力して、色・輝度信号分離手段２１０で輝度信号と色信号に分離した後、輝度信号についてＦＩＲフィルタ２２０を用いて高域強調（ＭＴＦ補正）処理を施し、色・輝度信号合成手段２４０で、高域強調された輝度信号と色信号を合成してＲＧＢ画素データを出力する。

ここで、色・輝度信号分離手段２１０では、例えば次式によりＲＧＢ画像データを輝度信号Ｙと色信号Ｃｒ，Ｃｂに分離する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （１）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （２）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （３）
ＦＩＲフィルタ２２０は、例えば、５×５フィルタからなり、輝度信号Ｙ、色信号Ｃｂ，Ｃｒのうち、輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみの高域強調フィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図２にＦＩＲフィルタの係数の一例を示す。

色・輝度信号合成手段２４０は、色信号Ｃｂ，Ｃｒ及び高域強調された輝度信号Ｙを入力して、例えば、次式により合成しＲＧＢ画素データを出力する。

Ｒ＝Ｙ＋１.４０２Ｃｒ （４）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （５）
Ｂ＝Ｙ＋１.７７２Ｃｂ （６）
図１の構成とすることで、倍率色収差補正はＲＧＢ独立に何ら支障なく行うことが可能であり、ＭＴＦ補正は輝度信号にのみ高域強調フィルタを掛けることで可能であり、回路規模の増加や、色ノイズの増加を抑えることができる。

本発明にかかる画像処理装置は図１の構成に限る必要はなく、種々の変更や拡張が可能である。そのいくつかの構成例を図３乃至図６に示す。

図３は、ＭＴＦ補正手段２００を色・輝度信号分離手段２１０とＦＩＲフィルタ２２０のみとして、図１の色・輝度信号合成手段２４０を省略したものである。後段への出力がＲＧＢ信号ではなく、輝度信号と色信号の出力の方が望ましい場合は、図３の構成でよい。さらに、倍率色収差補正手段１００は、ＲＧＢ画像データについてＲＧＢ独立に座標変換して倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正手段に置き替えることでもよい。これは補正式（座標変換式）のパラメータを変えるだけで可能である。

図４は、図３の構成において色ノイズ低減用のＦＩＲフィルタ２３０を付加して、色信号に平滑化フィルタをかけることにより、輝度信号のＭＴＦ補正に加えて色情報のノイズ低減を図ったものである。図４においても、倍率色収差補正手段１００は倍率色収差補正・歪曲収差補正手段とすることでもよい。なお、色信号のＦＩＲフィルタ２３０は、単にノイズ低減のフィルタだけでなく、例えば、単純なゲイン調整により彩度の向上を行うフィルタなどで代用することでもよい。また、暗い被写体・環境では撮像素子の感度を向上させるために、撮像素子からの読み出し信号のゲインを上げるが、その場合にはノイズが増加するため、ゲインが高い場合のみ、すなわち、被写体の明度が暗くなった場合のみ、色情報のノイズ低減用の色信号のＦＩＲフィルタ２３０を用いるかどうかを切り替える、もしくはゲインに応じて（被写体の明度に応じて）ＦＩＲフィルタ２３０の係数を変更し、平滑化強度を変更しても良い。被写体の明度は、別途明度センタを設けて直接読み取ることでもよい。また、ＦＩＲフィルタ２３０の係数の変更は、例えば、それぞれ係数の異なるＦＩＲフィルタを用意して、ゲイン（明度）に応じて切り替えるようすればよい。

図５は、図１の構成においてＭＴＦ補正手段２００の後段に別途、歪曲収差補正手段３００を設けたものである。歪曲収差補正手段３００は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ共通に座標変換を施し、歪曲収差補正されたＲＧＢ画像データを出力する。この歪曲収差補正手段３００については後で詳述する。

倍率色収差はＲＧＢ各色で異なるが、歪曲収差はＲＧＢとも同じである。ただし、歪曲収差は倍率色収差に比べてはるかに大きい。図５の構成とすることで、倍率色収差補正の座標変換には低容量低レイテンシまたは低容量多ポートのＳＲＡＭ等のメモリを使用し、歪曲収差補正の座標変換には各色共通の単一ポート大容量高レイテンシのＤＲＡＭ等のメモリを使用することが可能で、装置全体の低コスト化が可能になる。

また、歪曲収差補正後にＭＴＦ補正を行う場合には、歪曲収差補正を行うための座標変換により発生した補間誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす。座標変換の際に画素の補間を行うインターポレータを用いることにより補間誤差は低減することもできるが、倍率色収差は歪曲収差と比較して小さいので、倍率色収差を行うための座標変換ではこの補間誤差の画質への影響は少ない。そのため、図５の構成のように、倍率色収差補正、ＭＴＦ補正、歪曲収差補正という順番で処理すると歪曲収差補正に伴う補間誤差がＭＴＦ補正により増幅されることはなく、かつ倍率色収差補正、ＭＴＦ補正の順番で処理が可能なため画質的に最良である。

図６は、図３の構成においてＭＴＦ補正手段２００の後段に別途、歪曲収差補正手段３００を設けたものである。この歪曲収差補正手段３００での歪曲収差補正は輝度信号と色信号それぞれでの座標変換で実現する。

後段への出力がＲＧＢ信号ではなく、輝度信号と色信号の出力の方が望ましい場合には、図６の構成でよい。なお、図４の構成に、図６と同様の歪曲収差補正手段３００を設けることも可能である。

次に倍率色収差補正手段１００と歪曲収差補正手段３００について詳述する。はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。

図７に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画像データ（画素データ）は、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画像データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図８は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画像データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図８の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。

図９は倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画像データをそれぞれ座標変換して（後述の実施例では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画像データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。

図９の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画像データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図９の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画像データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図９の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図８に比較して、全体しては低コスト化が可能となる。

なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図１０に倍率色収差補正手段１００の一実施形態の構成図を示す。１１０は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１２０は所定の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１３０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）は、小容量であるため、画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差を受けたの各ＲＧＢ画像データが、座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画像データが書き込まれると、先頭ラインの画像データから順次捨てられ、代って後続ラインの画像データが新しく書き込まれていく。こうして、座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画像データが順次格納される。

ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）の値を、座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）の実アドレスに変換する必要があるが、図１０ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１２０は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図９（ａ）に示したように、本実施形態では、ＲＢの色成分を座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１２０では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、この座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（７）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル１３０に保持される。

座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１２０から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画像データを順次読み出していく。この場合、座標変換メモリ１１０（Ｇ）からは、書込み時と同じ位置のＧ成分画像データが読み出される。一方、座標変換メモリ１１０（Ｒ），１１０（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画像データが読み出される。

以上の処理により、座標変換メモリ１１０（Ｒ），１１０（Ｇ），１１０（Ｂ）からは、倍率色収差補正されたＲＧＢ画像データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画像データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画像データとして出力される。

図１１に倍率色収差補正座標変換演算部１２０の二、三の実施例を示す。図１１（ａ）は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、Ｇ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１２１、１２２により、入力された座標値（ｘ，ｙ）を変換して、Ｒ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。

図１１（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図７）。ここで、図１１（ｂ）は、座標変換演算部１２３により、座標値（ｘ，ｙ）について補正量を求め、減算部１２４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１２５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図１１（ａ）と同様に、Ｇ用座標値（Ｘ，Ｙ）には入力座標値（ｘ，ｙ）をそのまま出力する。

図１１（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１２６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図１１（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図１１（ａ）の座標変換演算部１２１、１２２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図１１（ｂ），（ｃ）の座標変換演算部１２３のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図１２に歪曲収差補正部３００（図５）の一実施形態の構成図を示す。３１０はＲＧＢ３つの画像データを一つに合成するＲＧＢ合成部、３２０はＲＧＢ画像データに共通の歪曲収差補正用座標変換メモリ、１６３は合成されたＲＧＢ画像データを元の各色成分に分離するＲＧＢ分離部、３４０は合成されたＲＧＢ画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、３５０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画像データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ３２０は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ３２０は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部３１０は、順次、倍率色収差補正済みの各ＲＧＢ画像データ（各８ビット）を入力し、一つの画像データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画像データが、座標変換メモリ３２０に、それぞれ座標変換先の座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部３４０は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１３）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル３５０に保持される。

座標変換メモリ３２０は、先のＲＧＢ合成画像データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部３４０から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画像データを順次読み出していく。ＲＧＢ分離部３３０は、座標変換メモリ３２０から読み出されたＲＧＢ合成画像データ（２４ビット）を元のＲＧＢ各色成分の画像データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部３３０からは、歪曲収差の補正された各ＲＧＢ画像データが出力されることになる。すなわち、各ＲＧＢ画像データが本来の位置である座標値（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

図１２は図５の構成に対応する場合であるが、図６の構成の場合には、ＲＧＢ合成部３１０やＲＧＢ分離部３３０は不要であり、かわりに座標変換メモリ３２０は輝度信号と色信号それぞれ用意することとなる。

図１３は本発明が適用される画像撮像装置の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部（モニタ）を備えているが、図１３では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、用途はこれに限らない。

図１３において、制御部１０００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１００は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１００にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１０００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１０００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１００の内部で生成して、撮像素子１１００から順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２００は、撮像素子１１００から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３００に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２００の前段にはＡＧＣ回路が設けられるが、ここでは省略する。このＡＧＣ回路のゲイン量を見て被写体の明度を判別することができる。

ベイヤー補完部１３００は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部１４００に送出する。

なお、本実施形態ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要となる。

倍率色収差補正部１４００は、ベイヤー補完されたＲ，Ｇ，Ｂ画像データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。先に述べたように、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１５００は、倍率色収差補正されたＲＧＢ画像データを入力して、輝度信号についてＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。先に述べたように、輝度信号のみの高域強調フィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。また、ＭＴＦ補正部１５００では、輝度信号の高域強調フィルタリングと並行に色信号の平滑化フィルタリングを行うようにしてもよい。

歪曲収差補正部１６００は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。先に述べたように、歪曲収差補正の座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。

ガンマ補正部１７００は、歪曲収差補正部１６００から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。ガンマ補正部１７００から出力された画像データは、図示しない表示部にモニタ表示される。

図１３の構成により、色倍率収差および歪曲収差がある光学系に対して、高画質で、回路規模が小さい低コストな撮像システムを提供できる。なお、倍率色収差補正部１４００は、倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正部とすることでもよく、この場合には歪曲収差補正部１６００は不要となる。また、ガンマ補正部１７００はベイヤー補正部１３００の直後でもよい。

なお、図１、図３乃至図６等に示した画像処理装置の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明の画像処理方法を実現することができること、あるいは、その処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることで本発明の画像処理方法を実現できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。

本発明の画像処理装置の第１の実施例の機能ブロック図。 ＦＩＲフィルタの一例を示す図。 本発明の画像処理装置の第２の実施例の機能ブロック図。 本発明の画像処理装置の第３の実施例の機能ブロック図。 本発明の画像処理装置の第４の実施例の機能ブロック図。 本発明の画像処理装置の第５の実施例の機能ブロック図。 倍率色収差及び歪曲収差の説明図。 倍率色収差及び歪曲収差補正を同時に補正する説明図。 倍率色収差及び歪曲収差補正を独立に補正する説明図。 倍率色収差補正手段の構成例を示す図。 倍率色収差補正座標変換演算部の各実施例の構成図。 歪曲収差補正手段の構成例を示す図。 本発明を適用した画像撮像装置の一実施形態の全体ブロック図。

符号の説明

１００ 倍率色収差補正手段
２００ ＭＴＦ補正手段
２１０ 色・輝度信号分離手段
２２０ ＦＩＲフィルタ（ＭＴＦ補正）
２３０ ＦＩＲフィルタ（色ノイズ低減）
２４０ 色・輝度信号合成手段
３００ 歪曲収差補正手段
１１００ 撮像素子
１２００ Ａ／Ｄ変換器
１３００ ベイヤー補完部
１４００ 倍率色収差補正部
１５００ ＭＴＦ補正部
１６００ 歪曲収差補正部
１７００ ガンマ補正部

Claims (5)

1. 広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された複数の色成分からなる画像データを処理する画像処理装置であって、
   前記画像データについて倍率色収差を補正する倍率色収差補正手段と、
   前記倍率色収差補正された画像データについてＭＴＦ補正するＭＴＦ補正手段と、
   前記ＭＴＦ補正された画像データについて歪曲収差を補正する歪曲収差補正手段とを有し、
   前記倍率色収差補正手段は、複数の色成分の画像データについてそれぞれ倍率色収差の最大ずれ量に応じた記憶領域を有して、処理対象の複数の色成分の画像データが書き込まれる、複数ポートのＳＲＡＭからなる第１の座標変換用メモリと、前記第１の座標変換メモリに書き込まれた処理対象の複数の色成分の画像データについて、特定の色成分の画像データは座標変換を行わずにそのまま読み出し、前記特定の色成分以外の画像データは、前記特定の色成分の画像データの座標を基準に補正量を求め、該補正量により変換座標を算出して、座標変換を行って読み出す倍率色収差補正座標変換演算手段とからなり、
   前記ＭＴＦ補正手段は、前記倍率色収差補正された複数の色成分の画像データについて輝度信号と色信号とを分離する手段と、前記輝度信号の高域を強調するフィルタと、前記高域強調された輝度信号と前記色信号とを合成して、複数の色成分の画像データに戻す手段とからなり、
   前記歪曲収差補正手段は、前記ＭＴＦ補正された複数の色成分の画像データを合成する合成手段と、複数の色成分の画像データに共通の最大１画面分の記憶容量を有して、前記合成された画像データが書き込まれる、単一ポートのＤＲＡＭからなる第２の座標変換用メモリと、前記第２の座標変換メモリに書き込まれた画像データについて、各色成分の画像データに共通の変換座標を算出して座標変換を行って読み出す歪曲収差補正座標変換演算手段とからなる、
   ことを特徴とする画像処理装置。
2. 前記ＭＴＦ補正手段は、前記色信号の平滑化を行うフィルタを更に有することを特徴とする請求項１記載の画像処理装置。
3. 被写体の明度に応じて、前記色信号の平滑化を行うフィルタの平滑化強度を変更することを特徴とする請求項２記載の画像処理装置。
4. 被写体の明度が低下した場合に、前記色信号の平滑化を行うフィルタを有効にすることを特徴とする請求項２記載の画像処理装置。
5. 広画角で倍率色収差及び歪曲収差が大きい光学系と、
   前記光学系を通して撮像された画像を読み取る撮像素子と、
   前記請求項１乃至４のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする画像撮像装置。

Images