JP7363555B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、ズームレンズを備える撮像装置で使用するのに好適な画像処理装置及び画像処理方法に関する。

ズームレンズを備える撮像装置においては、レンズの倍率またはフォーカスの距離によっては、レンズの像面湾曲の影響により、フレームの中心でフォーカスが合う距離とフレームの端部でフォーカスが合う距離とがわずかにずれることがある。このような像面湾曲を有するレンズは、フレームの中心でフォーカスが合わせられていても、フレームの端部ではわずかにデフォーカスとなり、撮影された画像に歪みが生じる。

特開２０１５－１４９６１８号公報

ズームレンズを介して撮影された画像に生じる歪みを補正することができる画像処理装置及び画像処理方法の登場が望まれる。本発明は、ズームレンズを介して撮影された画像に生じる歪みを補正することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されている補正値テーブルと、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成する第１の乗算器と、前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成する第２の乗算器と、前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する水平フィルタとを備える画像処理装置を提供する。

本発明は、補正値テーブルには、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されており、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより補正値を読み出し、読み出された前記補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成し、前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成し、前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する画像処理方法を提供する。

本発明の画像処理装置及び画像処理方法によれば、ズームレンズを介して撮影された画像に生じる歪みを補正することができる。

ズームレンズを備える撮像装置の概略的な構成を示すブロック図である。 ベイヤ配列のカラーフィルタを示す部分平面図である。 撮像装置による撮影画像に発生する滲みの第１の例を示す図である。 図３に示す撮影画像の滲みが発生している場合のなまった波形の矩形波信号を示す波形図である。 図１のデモザイク回路７より出力されるＲＧＢの画像信号を示す部分平面図である。 一実施形態の画像処理装置画像である、図１の画像なまり補正回路６の具体的な構成例を示すブロック図である。 撮影画像のフレーム内の１つの注目画素が補正される動作を説明するための図である。 図６の補正値テーブル６３に設定されている像高に応じた補正値を示す特性図である。 図８に示す補正値に乗算される、ズーム倍率、フォーカス距離、アイリス絞り値ごとに設定されている調整係数を示す図である。 図６の水平フィルタ６７の具体的な構成例を示すブロック図である。 図１０の乗算器6721～6729が画素データに乗算する係数ｋ１～ｋ９の係数値の一例を示す図である。 図４に示すなまった波形の矩形波信号が画像なまり補正回路６によって補正された矩形波信号を示す波形図である。 図４に示すなまった波形の矩形波信号が画像なまり補正回路６によって過補正されてリンギングが発生している矩形波信号を示す波形図である。 リンギングが除去された矩形波信号を示す波形図である。 図６の垂直フィルタ６８の具体的な構成例を示すブロック図である。 図１４の乗算器6821～6829が画素データに乗算する係数ｋ１～ｋ９の係数値の一例を示す図である。 撮像装置による撮影画像に発生する滲みの第２の例を示す図である。 図１６に示す撮影画像の滲みが発生している場合のなまった波形の矩形波信号を示す波形図である。

以下、一実施形態の画像処理装置及び画像処理方法について、添付図面を参照して説明する。まず、図１を用いて、ズームレンズを備える撮像装置の概略的な構成及び動作を説明する。図１において、ズームレンズ１を介して入射された被写体からの光は赤外カットフィルタ２によって赤外光がカットされて、可視光が撮像素子３に入射される。ズームレンズ１は、複数のレンズと、アイリスとを有する。

撮像素子３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであってもよいし、ＣＣＤ（Charge Coupled Device）であってもよい。撮像装置は、撮像素子３によって被写体の静止画像または動画像を撮影する。

撮像素子３は、図２に示すベイヤ配列のカラーフィルタを備える。ベイヤ配列のカラーフィルタには、赤（Ｒ）の画素と緑（Ｇ）の画素の生成するためのＲフィルタとＧフィルタとを交互に配列した行と、青（Ｂ）とＧの画素の生成するためのＢフィルタとＧフィルタとを交互に配列した行とが列方向に交互に並べられている。行は画像の水平方向であり、列は画像の垂直方向である。水平方向においてＲフィルタに挟まれたＧフィルタをＧ１フィルタ、Ｂに挟まれたＧフィルタをＧ２フィルタとする。

タイミングジェネレータ４は、撮像素子３に水平同期信号Hsync及び垂直同期信号Vsyncを供給する。撮像素子３は、Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｂフィルタにそれぞれ対応するデジタルの色信号である画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）を生成する。撮像素子３は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）、水平同期信号Hsync（３）、及び垂直同期信号Vsync（３）をホワイトバランス回路５に供給する。

ホワイトバランス回路５は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）の各値を調整してホワイトバランスを調整する。ホワイトバランス回路５は、ホワイトバランスを調整した画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）、水平同期信号Hsync（５）、及び垂直同期信号Vsync（５）を、画像なまり補正回路６に供給する。

中央処理装置１０（以下、ＣＰＵ１０）には、ズームレンズ１より、ズーム倍率、フォーカス距離、及びアイリス絞り値が供給される。ＣＰＵ１０は、後述する、補正用設定値と調整係数Ａｃｏと反転オン／オフ信号を画像なまり補正回路６に供給する。

図３及び図４を用いて、画像なまり補正回路６の概略的な動作を説明する。図３に示すように、撮像装置による撮影画像が黒と白とを交互に繰り返すような画像である場合、本来であれば画像信号は水平方向及び垂直方向に黒のレベルと白のレベルとを交互に繰り返す矩形波信号となる。ところが、フレームの中心でフォーカスが合わせられているとき、ズームレンズ１におけるレンズの像面湾曲の影響により、端部でわずかにデフォーカスとなって撮影された画像に歪みが生じる。

図４に示すように矩形波信号がいびつな波形となり、一点鎖線の円で囲んで示すように水平方向または垂直方向に白から黒へと変化する境界部の黒付近において波形が大きくなまる。ところが、水平方向または垂直方向に黒から白へと変化する境界部の黒付近において波形はさほどなまらない。また、二点鎖線の円で囲んで示すように黒から白へと変化する境界部の白付近において波形がなまることもある。その結果、図３に示すように、水平方向または垂直方向に白から黒へと変化する境界の黒付近において滲みが発生し、また、黒から白へと変化する境界部の白付近においてもわずかな滲みが発生して、境界が明確とならない。なお、矩形波信号の歪みの程度はフレーム内の位置によって異なり、波形のなまりの程度も一定ではない。

画像なまり補正回路６は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）における図４に示すような波形のなまりを補正する。画像なまり補正回路６は、波形のなまりを補正した画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）、水平同期信号Hsync（６）、及び垂直同期信号Vsync（６）を、デモザイク回路７に供給する。画像なまり補正回路６の具体的な構成及びその動作については後に詳述する。

デモザイク回路７には、フレーム内に画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）が混在した画像信号が入力される。デモザイク回路７は、Ｒの画素データが存在しない画素位置にＲの画素データを補間してフレーム内の全画素をＲの画素データとした図５の（ａ）に示すＲ画像信号Ｒ（７）を生成する。デモザイク回路７は、Ｇの画素データが存在しない画素位置にＧの画素データを補間してフレーム内の全画素をＧの画素データとした図５の（ｂ）に示すＧ画像信号Ｇ（７）を生成する。デモザイク回路７は、Ｂの画素データが存在しない画素位置にＢの画素データを補間してフレーム内の全画素をＢの画素データとした図５の（ｃ）に示すＢ画像信号Ｂ（７）を生成する。

色補正回路８は、Ｒ画像信号Ｒ（７）、Ｇ画像信号Ｇ（７）、Ｂ画像信号Ｂ（７）の色を補正してＲ画像信号Ｒ（８）、Ｇ画像信号Ｇ（８）、Ｂ画像信号Ｂ（８）を生成する。ガンマ補正回路９は、Ｒ画像信号Ｒ（８）、Ｇ画像信号Ｇ（８）、Ｂ画像信号Ｂ（８）にガンマ補正を施して、Ｒ画像信号Ｒ（９）、Ｇ画像信号Ｇ（９）、Ｂ画像信号Ｂ（９）として出力する。Ｒ画像信号Ｒ（９）、Ｇ画像信号Ｇ（９）、Ｂ画像信号Ｂ（９）は、図示していない変換回路によって輝度及び色差信号に変換されて出力されてもよいし、図示していない表示部に表示されてもよいし、図示していない記録部に記録されてもよい。

図６は、画像なまり補正回路６の具体的な構成例を示す。図６に示すように、画像なまり補正回路６は、タイミングジェネレータ６１、反転器６２、補正値テーブル６３、乗算器６４～６６、４つの水平フィルタ６７、４つの垂直フィルタ６８を備える。

タイミングジェネレータ６１には、水平同期信号Hsync、垂直同期信号Vsync、補正用設定値としての水平センタ値Hctr及び垂直センタ値Vctrが入力される。水平センタ値Hctrはフレームの水平方向の中心（水平中心）であり、垂直センタ値Vctrはフレームの垂直方向の中心（垂直中心）である。図７に示すように、フレームが例えば水平方向２０００画素、垂直方向１０００ラインであるとすると、タイミングジェネレータ６１には、水平センタ値Hctrとして１０００、垂直センタ値Vctrとして５００が入力される。

フレームの水平方向の画素数、垂直方向のライン数が偶数であると、厳密な水平中心の画素及び垂直中心の画素は存在しないが、水平中心及び垂直中心に最も近い画素を水平センタ値Hctr及び垂直センタ値Vctrの画素とすればよい。

撮像装置が手振れ補正機能を備える場合、手振れ補正に応じて水平センタ値Hctr及び垂直センタ値Vctrをずらすことが好ましい。光学式手振れ補正であっても、電子式手振れ補正であっても、手振れ補正のために撮影する画角をシフトするシフト量に対応して水平センタ値Hctr及び垂直センタ値Vctrをずらすのがよい。

図７に示す例では、水平同期信号Hsyncから９画素目が有効画像領域の水平方向の画素の開始位置であり、垂直同期信号Vsyncから９ライン目が有効画像領域の垂直方向の画素の開始位置となっている。図７に示すように、フレームにおける水平センタ値Hctrに対する左側をＬＲ＝０、右側をＬＲ＝１、垂直センタ値Vctrに対する上側をＵＤ＝０、下側をＵＤ＝１とする。ＬＲ値は左右判別値であり、ＵＤ値は上下判別値である。水平センタ値Hctrの画素のＬＲ値は０であっても１であってもよい。垂直センタ値Vctrの画素のＵＤ値は０であっても１であってもよい。

タイミングジェネレータ６１は、水平フィルタ６７に入力される画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）の各画素位置に対応してＬＲ値及びＵＤ値を生成して反転器６２に供給する。反転器６２には反転オン／オフ信号が入力される。反転器６２は、反転オン／オフ信号として反転オフを示す０であれば、入力されたＬＲ値を反転せず４つの水平フィルタ６７に供給し、入力されたＵＤ値を反転せず４つの垂直フィルタ６８に供給する。

反転器６２は、反転オン／オフ信号として反転オンを示す１であれば、入力されたＬＲ値を反転して４つの水平フィルタ６７に供給し、入力されたＵＤ値を反転して４つの垂直フィルタ６８に供給する。反転オン／オフ信号の意味及び反転器６２の動作については後述する。反転オン／オフ信号の値１は、ＬＲ値の反転を指示する指示信号である。

タイミングジェネレータ６１は、水平フィルタ６７に入力される画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）の各画素位置に対応して像高ＩＨを生成して補正値テーブル６３に供給する。一例として、補正対象の注目画素Ｐが図７に示す画素位置であれば、水平センタ値Hctr及び垂直センタ値Vctrであるフレームの中心から画素Ｐまでの距離が像高ＩＨとなる。

補正値テーブル６３には、一例として図８に示すような特性を有する、像高ＩＨに応じた補正値ＺＧが設定されている。補正値ＺＧは、フレームの中心である像高ＩＨが０から所定の像高ＩＨまでは０である。補正値ＺＧは、その所定の像高ＩＨを超えると、最大値の１．０まで上に凸の曲線状に漸増し、最大値の１．０に達した後に最大像高まで上に凸の曲線状に漸減する。

補正値ＺＧは、像高ＩＨに応じて、レンズの像面湾曲の影響による画像の歪みを補正する特性を有すればよい。補正値ＺＧの特性は撮像装置で使用されているレンズに応じて設定すればよく、図８に示す特性に限定されるものではない。一般的には、フレームの中心部では補正する必要がないので、補正値ＺＧはフレームの中心から所定の像高ＩＨまでは０であって、その所定の像高ＩＨを超えると像高ＩＨに応じた補正値ＺＧが設定されていればよい。

補正値テーブル６３は、各注目画素の像高ＩＨに対応する補正値ＺＧを読み出して、乗算器６４（第１の乗算器）に供給する。図９に示すように、ＣＰＵ１０は、ズーム倍率とフォーカス距離とによって決まる１未満の調整係数Ａｃｏを乗算器６４に供給する。ズーム倍率とフォーカス距離とに対応した調整係数Ａｃｏは、アイリス絞り値ごとに設定されていることが好ましい。図９に示す例では、アイリス絞り値としてＦ２．８、Ｆ４、Ｆ５．６、Ｆ８、Ｆ１１、及びＦ１６以上に分けて、ズーム倍率とフォーカス距離とに対応した調整係数Ａｃｏが設定されている。

ＣＰＵ１０には、ズーム倍率とフォーカス距離（好ましくはズーム倍率とフォーカス距離とアイリス絞り値）に応じて、レンズの像面湾曲の影響による画像の歪みを適切に補正することができる調整係数Ａｃｏが設定されていればよい。具体的な調整係数Ａｃｏは撮像装置で使用されているレンズに応じて設定すればよく、図９に示す値に限定されるものではない。

本実施形態で使用したレンズにおいては、フォーカス距離が２ｍ、ズーム倍率が１倍及び１８倍において歪みがほとんどなく、補正値ＺＧを０とするために調整係数Ａｃｏを０としている。

乗算器６４は、入力された補正値ＺＧに、ＣＰＵ１０より供給された、ズーム倍率、フォーカス距離、及びアイリス絞り値によって決まる調整係数Ａｃｏを乗算して、調整補正値ＺＧＡを生成する。調整補正値ＺＧＡは、乗算器６５及び６６に供給される。

タイミングジェネレータ６１は、フレームの中心に対して各注目画素が位置する角度θに応じたｃｏｓθ（余弦）の値を乗算器６５（第２の乗算器）に供給し、ｓｉｎθ（正弦）の値を乗算器６６（第３の乗算器）に供給する。図７に示すように、調整補正値ＺＧＡにｃｏｓθの値を乗算すれば、注目画素Ｐを補正する調整補正値ＺＧＡの水平成分を得ることができ、調整補正値ＺＧＡにｓｉｎθの値を乗算すれば、注目画素Ｐを補正する調整補正値ＺＧＡの垂直成分を得ることができる。乗算器６５は、調整補正値ＺＧＡにｃｏｓθの値を乗算した水平補正値ＡＨを４つの水平フィルタ６７に供給する。乗算器６６は、調整補正値ＺＧＡにｓｉｎθの値を乗算した垂直補正値ＡＶを４つの垂直フィルタ６８に供給する。

図１０は水平フィルタ６７の具体的な構成例を示す。水平フィルタ６７は、シフトレジスタを構成するＤフリップフロップ6701～6709、最大値・最小値検出部6710、セレクタ6711～6714及び6716～6719、乗算器6721～6729、加算器6730、乗算器6731、加算器6732、セレクタ6733、クリッパ6734を備える。

直列に接続されたＤフリップフロップ6701～6709は、順に入力される注目画素の画素データを１画素期間ずつ順に遅延する。

Ｄフリップフロップ6701より出力された画素データは、セレクタ6711の端子ｔ０及びセレクタ6719の端子ｔ１に供給される。Ｄフリップフロップ6702より出力された画素データは、セレクタ6712の端子ｔ０及びセレクタ6718の端子ｔ１に供給される。

Ｄフリップフロップ6703より出力された画素データは、セレクタ6713の端子ｔ０及びセレクタ6717の端子ｔ１に供給される。Ｄフリップフロップ6704より出力された画素データは、セレクタ6714の端子ｔ０及びセレクタ6716の端子ｔ１に供給される。Ｄフリップフロップ6705より出力された画素データは、乗算器6725に供給される。Ｄフリップフロップ6705より出力された画素データが、実際に歪みが補正される注目画素の画素データである。

Ｄフリップフロップ6706より出力された画素データは、セレクタ6716の端子ｔ０及びセレクタ6714の端子ｔ１に供給される。Ｄフリップフロップ6707より出力された画素データは、セレクタ6717の端子ｔ０及びセレクタ6713の端子ｔ１に供給される。Ｄフリップフロップ6708より出力された画素データは、セレクタ6718の端子ｔ０及びセレクタ6712の端子ｔ１に供給される。Ｄフリップフロップ6709より出力された画素データは、セレクタ6719の端子ｔ０及びセレクタ6711の端子ｔ１に供給される。

セレクタ6711～6714及び6716～6719には、ＬＲ値が入力される。セレクタ6711～6714及び6716～6719は、ＬＲ値が０であるとき、即ち、注目画素がフレームの水平中心に対して左側に位置しているとき、端子ｔ０に入力された画素データを選択する。セレクタ6711～6714及び6716～6719は、ＬＲ値が１であるとき、即ち、画素がフレームの水平中心に対して右側に位置しているとき、端子ｔ１に入力された画素データを選択する。セレクタ6711～6714及び6716～6719によって選択された画素データは、それぞれ、乗算器6721～6724及び6726～6729に供給される。

図１１に示すように、乗算器6721～6729は、入力された画素データに、係数ｋ１～ｋ９として、それぞれ、－０．１８、－０．１４、－０．１５、０．１０、０．５９、－０．０２、０、０、０を乗算して出力する。係数ｋ１～ｋ９の係数値は一例である。図１１に示す係数ｋ１～ｋ９は、フレームの水平中心に対して左側に位置している画素を補正するのに適した係数値とされており、注目画素を中心として左右方向に非対称である。

上記のように、注目画素がフレームの水平中心に対して左側に位置しているとき、セレクタ6711～6714及び6716～6719が端子ｔ０に入力された画素データを選択すれば、乗算器6721～6729は各注目画素を中心とした左右方向の９画素に対して図１１に示す係数値の係数ｋ１～ｋ９をそのまま乗算することができる。

フレームの水平中心に対して左側で生じる歪みと右側で生じる歪みとは左右対称であるから、フレームの水平中心に対して右側に位置している画素を補正するのに適した係数値は、図１１に示す係数ｋ１～ｋ９を左右に反転すればよい。上記のように、注目画素がフレームの水平中心に対して右側に位置しているとき、セレクタ6711～6714及び6716～6719が端子ｔ１に入力された画素データを選択すれば、乗算器6721～6729は各注目画素を中心とした左右方向の９画素に対して図１１に示す係数ｋ１～ｋ９を左右方向に反転させて乗算することができる。

加算器6730は、乗算器6721～6729による乗算結果を全て加算して、水平方向のハイパスフィルタ成分ＨＨＦを生成する。ハイパスフィルタ成分ＨＨＦは交流成分であって、正または負の値を有する。乗算器6731は、ハイパスフィルタ成分ＨＨＦに水平補正値ＡＨを乗算して、水平補正成分ＡＨＨを生成する。加算器6732は、Ｄフリップフロップ6705より出力された注目画素の画素データに水平補正成分ＡＨＨを加算して、注目画素の画素データを水平方向に補正する。

最大値・最小値検出部6710は、Ｄフリップフロップ6701～6709より出力された画素データのうちの最大値Ｖｍａｘと最小値Ｖｍｉｎを検出して、セレクタ6733に供給する。ハイパスフィルタ成分ＨＨＦが正であるか負であるかを示す符号ＨＨＦｓはセレクタ6733及びクリッパ6734に供給される。符号ＨＨＦｓはハイパスフィルタ成分ＨＨＦが正であるとき０、負であるとき１である。セレクタ6733は、符号ＨＨＦｓが０であれば、最大値Ｖｍａｘを選択して出力し、符号ＨＨＦｓが１であれば、最小値Ｖｍｉｎを選択して出力する。

加算器6732より出力された画素データが過補正されておらず、符号ＨＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回らなければ、また、符号ＨＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回らなければ、クリッパ6734は動作しない。クリッパ6734は、加算器6732より出力された画素データをそのまま補正画素データとして出力する。

図１２は、水平方向に白から黒へと変化する境界部の黒付近においてなまっている矩形波信号が水平フィルタ６７によって補正された矩形波信号を示している。一点鎖線の円で囲んだ水平方向に白から黒へと変化する境界部の黒付近の波形は、細い実線で示す補正前の波形から太い実線で示すように補正される。なまっていない黒から白へと変化する境界部の黒付近の波形は補正されず、元の波形が維持されている。よって、水平方向に白から黒へと変化する境界の黒付近における滲みが解消し、境界が明確となる。

また、図１２は、水平方向に黒から白へと変化する境界部の白付近においてなまっている矩形波信号が水平フィルタ６７によって補正された矩形波信号を示している。二点鎖線の円で囲んだ水平方向に黒から白へと変化する境界部の白付近の波形は、細い実線で示す補正前の波形から太い実線で示すように補正される。なまっていない白から黒へと変化する境界部の白付近の波形は補正されず、元の波形が維持されている。よって、水平方向に黒から白へと変化する境界の白付近における滲みが解消し、境界が明確となる。

以上のように、フレームの中心でフォーカスを合わせることを前提とすると、画像なまり補正回路６は、端部において生じる画像に歪みを補正することができる。ところが、例えばマニュアルフォーカスによってフレームの端部でフォーカスを合わせると、端部において生じる歪みが小さくなり、水平フィルタ６７による補正が過補正となることがある。

具体的には、加算器6732より出力された画素データが過補正されて、図１３Ａに示すように、補正後の画素値が最大値Ｖｍａｘを上回ったり、最小値Ｖｍｉｎを下回ったりして、一点鎖線の円で囲んで示すようにリンギングが発生することがある。

クリッパ6734は、符号ＨＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回っていれば、セレクタ6733より供給された最大値Ｖｍａｘで加算器6732より出力された画素データをクリップする。クリッパ6734は、符号ＨＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回っていれば、セレクタ6733より供給された最小値Ｖｍｉｎで加算器6732より出力された画素データをクリップする。

この結果、図１３Ｂに一点鎖線の円で囲んで示すように、クリッパ6734は、加算器6732より出力された画素データに付加されているリンギングを除去した水平方向の補正画素データを出力する。

図６において、４つの水平フィルタ６７によって水平方向に補正された画素データＲ（６Ｈ）、Ｇ１（６Ｈ）、Ｇ２（６Ｈ）、Ｂ（６Ｈ）は４つの垂直フィルタ６８にそれぞれ入力されて、垂直方向にも補正される。

図１４は垂直フィルタ６８の具体的な構成例を示す。垂直フィルタ６８は、ラインメモリ6801～6809、最大値・最小値検出部6810、セレクタ6811～6814及び6816～6819、乗算器6821～6829、加算器6830、乗算器6831、加算器6832、セレクタ6833、クリッパ6834を備える。

直列に接続されたラインメモリ6801～6809は、入力された画素データを１水平期間ずつ順に遅延する。ラインメモリ6801より出力された画素データは、セレクタ6811の端子ｔ０及びセレクタ6819の端子ｔ１に供給される。ラインメモリ6802より出力された画素データは、セレクタ6812の端子ｔ０及びセレクタ6818の端子ｔ１に供給される。

ラインメモリ6803より出力された画素データは、セレクタ6813の端子ｔ０及びセレクタ6817の端子ｔ１に供給される。ラインメモリ6804より出力された画素データは、セレクタ6814の端子ｔ０及びセレクタ6816の端子ｔ１に供給される。ラインメモリ6805より出力された画素データは、乗算器6825に供給される。ラインメモリ6805より出力された画素データが、実際に歪みが補正される注目画素の画素データである。

ラインメモリ6806より出力された画素データは、セレクタ6816の端子ｔ０及びセレクタ6814の端子ｔ１に供給される。ラインメモリ6807より出力された画素データは、セレクタ6817の端子ｔ０及びセレクタ6813の端子ｔ１に供給される。ラインメモリ6808より出力された画素データは、セレクタ6818の端子ｔ０及びセレクタ6812の端子ｔ１に供給される。ラインメモリ6809より出力された画素データは、セレクタ6819の端子ｔ０及びセレクタ6811の端子ｔ１に供給される。

セレクタ6811～6814及び6816～6819には、ＵＤ値が入力される。セレクタ6811～6814及び6816～6819は、ＵＤ値が０であるとき、即ち、注目画素がフレームの垂直中心に対して上側に位置しているとき、端子ｔ０に入力された画素データを選択する。セレクタ6811～6814及び6816～6819は、ＵＤ値が１であるとき、即ち、注目画素がフレームの垂直中心に対して下側に位置しているとき、端子ｔ１に入力された画素データを選択する。セレクタ6811～6814及び6816～6819によって選択された画素データは、それぞれ、乗算器6821～6824及び6826～6829に供給される。

図１５に示すように、乗算器6821～6829は、入力された画素データに、係数ｋ１～ｋ９として、それぞれ、－０．１８、－０．１４、－０．１５、０．１０、０．５９、－０．０２、０、０、０を乗算して出力する。係数ｋ１～ｋ９の係数値は一例であって、ここでは水平フィルタ６７の乗算器6721～6729が用いる係数ｋ１～ｋ９と同じ係数値としている。乗算器6821～6829が用いる係数値を乗算器6721～6729が用いる係数値と異ならせてもよい。

図１５に示す係数ｋ１～ｋ９は、フレームの垂直中心に対して上側に位置している画素を補正するのに適した係数値とされており、注目画素を中心として上下方向に非対称である。

上記のように、注目画素がフレームの垂直中心に対して上側に位置しているとき、セレクタ6811～6814及び6816～6819が端子ｔ０に入力された画素データを選択すれば、乗算器6821～6829は各注目画素を中心とした上下方向の９画素に対して図１５に示す係数値の係数ｋ１～ｋ９をそのまま乗算することができる。

フレームの垂直中心に対して上側で生じる歪みと下側で生じる歪みとは上下対称であるから、フレームの垂直中心に対して下側に位置している画素を補正するのに適した係数値は、図１５に示す係数ｋ１～ｋ９を上下に反転すればよい。上記のように、注目画素がフレームの垂直中心に対して下側に位置しているとき、セレクタ6811～6814及び6816～6819が端子ｔ１に入力された画素データを選択すれば、乗算器6821～6829は各注目画素を中心とした上下方向の９画素に対して図１５に示す係数ｋ１～ｋ９を上下方向に反転させて乗算することができる。

加算器6830は、乗算器6821～6829による乗算結果を全て加算して、垂直方向のハイパスフィルタ成分ＶＨＦを生成する。ハイパスフィルタ成分ＶＨＦは交流成分であって、正または負の値を有する。乗算器6831は、ハイパスフィルタ成分ＶＨＦに垂直補正値ＡＶを乗算して、垂直補正成分ＡＶＶを生成する。加算器6832は、ラインメモリ6805より出力された注目画素の画素データに垂直補正成分ＡＶＶを加算して、注目画素の画素データを垂直方向に補正する。

最大値・最小値検出部6810は、ラインメモリ6801～6809より出力された画素データのうちの最大値Ｖｍａｘと最小値Ｖｍｉｎを検出して、セレクタ6833に供給する。ハイパスフィルタ成分ＶＨＦが正であるか負であるかを示す符号ＶＨＦｓはセレクタ6833及びクリッパ6834に供給される。符号ＶＨＦｓはハイパスフィルタ成分ＶＨＦが正であるとき０、負であるとき１である。セレクタ6833は、符号ＶＨＦｓが０であれば、最大値Ｖｍａｘを選択して出力し、符号ＶＨＦｓが１であれば、最小値Ｖｍｉｎを選択して出力する。

加算器6832より出力された画素データが過補正されておらず、符号ＶＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回らなければ、また、符号ＶＨＦｓ０が１であって補正後の画素値が最小値Ｖｍｉｎを下回らなければ、クリッパ6834は動作しない。クリッパ6834は、加算器6832より出力された画素データをそのまま補正画素データとして出力する。

垂直フィルタ６８は、図１２と同様に、垂直方向に白から黒へと変化する境界部の黒付近においてなまっている矩形波信号を補正する。よって、垂直方向に白から黒へと変化する境界の黒付近における滲みが解消し、境界が明確となる。また、垂直フィルタ６８は、垂直方向に黒から白へと変化する境界部の白付近においてなまっている矩形波信号を補正する。よって、垂直方向に黒から白へと変化する境界の白付近における滲みが解消し、境界が明確となる。

水平フィルタ６７と同様に、加算器6832より出力された画素データが過補正されると、補正後の画素値が最大値Ｖｍａｘを上回ったり、最小値Ｖｍｉｎを下回ったりして、リンギングが発生することがある。

クリッパ6834は、符号ＶＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回っていれば、セレクタ6833より供給された最大値Ｖｍａｘで加算器6832より出力された画素データをクリップする。クリッパ6834は、符号ＶＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回っていれば、セレクタ6833より供給された最小値Ｖｍｉｎで加算器6832より出力された画素データをクリップする。この結果、クリッパ6834は、加算器6832より出力された画素データに付加されているリンギングを除去した垂直方向の補正画素データを出力する。

以上のようにして、図６の４つの垂直フィルタ６８からは、フレーム内の各画素において水平方向及び垂直方向に補正された画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）が出力される。

ここで、反転オン／オフ信号の意味及び反転器６２の動作について説明する。以上の説明では水平方向及び垂直方向に白から黒へと変化する境界部において波形がなまって境界において滲みが発生すると述べたが、フォーカス距離によっては、逆方向に波形のなまりが発生することがある。

本実施形態で使用したレンズにおいては、フォーカス距離が４ｍ以上では図４に示すように水平方向及び垂直方向に白から黒へと変化する境界の黒付近において滲みが発生する。また、水平方向及び垂直方向に黒から白へと変化する境界の白付近において滲みが発生する。ところが、フォーカス距離が１ｍ及び１．５ｍでは、図４とは逆で、図１６に示すように、水平方向及び垂直方向に黒から白へと変化する境界の黒付近において滲みが発生する。また、水平方向及び垂直方向に白から黒へと変化する境界の白付近においても滲みが発生する。

図１７に示すように、矩形波信号は、一点鎖線の円で囲んで示すように水平方向及び垂直方向に黒から白へと変化する境界部の黒付近において波形が大きくなまる。また、矩形波信号は、二点鎖線の円で囲んで示すように水平方向及び垂直方向に白から黒へと変化する境界部の白付近において波形が大きくなまる。

そこで、ＣＰＵ１０は、フォーカス距離が１ｍ及び１．５ｍを第１の範囲、フォーカス距離が４ｍ以上を第２の範囲とする。ＣＰＵ１０は、フォーカス距離が第２の範囲であるときには反転オン／オフ信号として反転オフを示す０を出力し、フォーカス距離が第１の範囲であるときには反転オン／オフ信号として反転オンを示す１を出力する。画像なまり補正回路６の反転器６２は、反転オン／オフ信号が１であればＬＲ値及びＵＤ値を反転させる。

ＬＲ値及びＵＤ値を反転させれば、フレームの水平中心に対して左側または垂直中心に対して上側に位置している注目画素を補正する際には係数ｋ１～ｋ９が反転されて使用される。また、フレームの水平方中央に対して右側または垂直中心に対して下側に位置している注目画素を補正する際には係数ｋ１～ｋ９は反転されずそのまま使用される。

これによって、画像なまり補正回路６は、波形がなまる境界が逆方向であっても、波形のなまりを補正することができる。

撮像装置が、例えばフォーカス距離を１ｍ、１．５ｍ、２ｍ、４ｍ…と順に変化させていくと、矩形波信号を補正する方向がフォーカス距離１．５ｍとフォーカス距離４ｍとの間で反転する。このとき、第１の範囲と第２の範囲との境界のフォーカス距離であるフォーカス距離２ｍでは調整係数Ａｃｏは０とされているから、調整補正値ＺＧＡは０とされる。よって、フォーカス距離２ｍでは矩形波信号は補正されないので、矩形波信号を補正する方向が反転することによる視覚的な違和感が発生しにくい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像なまり補正回路６は、水平フィルタ６７及び垂直フィルタ６８を備え、各画素を水平方向及び垂直方向の双方に補正している。水平フィルタ６７によって各画素を水平方向のみに補正しても効果的であるので、垂直フィルタ６８を省略してもよい。

補正値テーブル６３は、複数の像高ＩＨに対応した離散的な複数の補正値を記憶するＲＯＭのような記憶部であってもよいし、予め設定した計算式に基づいて像高ＩＨに対応した補正値を計算して出力するプロセッサであってもよい。

本実施形態においては、図１１に示す係数ｋ１～ｋ９を、フレームの水平中心に対して左側に位置している画素を補正するのに適した係数値としている。係数ｋ１～ｋ９を、フレームの水平中心に対して右側に位置している画素を補正するのに適した係数値として、フレームの水平中心に対して左側に位置する画素を補正する際に係数ｋ１～ｋ９を反転してもよい。

また、本実施形態においては、図１５に示す係数ｋ１～ｋ９を、フレームの垂直中心に対して上側に位置している画素を補正するのに適した係数値としている。係数ｋ１～ｋ９を、フレームの垂直中心に対して下側に位置している画素を補正するのに適した係数値として、フレームの垂直中心に対して上側に位置する画素を補正する際に係数ｋ１～ｋ９を反転してもよい。

左右非対称の係数ｋ１～ｋ９は、フレームの水平中心に対して左側と右側とのうちの一方である第１の側に位置している画素を補正するのに適した係数値として、左側と右側とのうちの他方である第２の側に位置している画素を補正する際に左右に反転すればよい。上下非対称の係数ｋ１～ｋ９は、フレームの垂直中心に対して上側と下側とのうちの一方である第３の側に位置している画素を補正するのに適した係数値として、上側と下側とのうちの他方である第４の側に位置している画素を補正する際に上下に反転すればよい。

本実施形態においては、フレームの端部でのデフォーカスに起因する画像の歪みを補正しているが、本実施形態は色収差等に起因する画像の歪みを補正することも可能である。

本発明は、画像処理装置（画像なまり補正回路６）の機能をハードウェアの回路によって構成することに限定されない。画像処理装置と同等の機能を実行させるコンピュータプログラム（画像処理プログラム）を構成して、コンピュータ（ＣＰＵ）に画像処理プログラムを実行させることも可能である。この場合、ＣＰＵ１０に画像処理プログラムを実行させてもよい。

１ ズームレンズ
２ 赤外カットフィルタ
３ 撮像素子
４，６１ タイミングジェネレータ
５ ホワイトバランス回路
６ 画像なまり補正回路
７ デモザイク回路
８ 色補正回路
９ ガンマ補正回路
１０ 中央処理装置
６２ 反転器
６３ 補正値テーブル
６４ 乗算器（第１の乗算器）
６５ 乗算器（第２の乗算器）
６６ 乗算器
６７ 水平フィルタ
６８ 垂直フィルタ
6701～6709 Ｄフリップフロップ
6710，6810 最大値・最小値検出部
6711～6714，6716～6719，6733，6811～6814，6816～6819，6833 セレクタ
6721～6729，6731，6821～6829，6831 乗算器
6730，6732，6830，6832 加算器
6734，6834 クリッパ
6801～6809 ラインメモリ

Claims (8)

1. ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されている補正値テーブルと、
   前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成する第１の乗算器と、
   前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成する第２の乗算器と、
   前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する水平フィルタと、
   を備える画像処理装置。
2. 前記左右非対称の係数は、前記フレームの水平中心に対して左側と右側とのうちの一方である第１の側に位置している画素を補正するのに適した係数値とされており、
   前記水平フィルタは、
   注目画素が前記第１の側に位置しているとき、前記注目画素を中心とした左右方向の複数の画素に前記左右非対称の係数をそのまま乗算し、
   注目画素が前記フレームの水平方向の左側と右側とのうちの他方である第２の側に位置しているとき、前記注目画素を中心とした左右方向の複数の画素に前記左右非対称の係数を左右に反転して乗算する
   請求項１に記載の画像処理装置。
3. 前記第１の乗算器は、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、前記ズーム倍率と、前記フォーカス距離と、前記ズームレンズが有するアイリスのアイリス絞り値とによって決まる調整係数を乗算して調整補正値を生成する請求項１または２に記載の画像処理装置。
4. 前記水平フィルタは、前記各注目画素の過補正によって発生するリンギングを除去するクリッパをさらに備える請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記水平フィルタは、注目画素が前記第１の側に位置しているか前記第２の側に位置しているかを示す左右判別値が前記第１の側に位置していることを示すとき、前記左右非対称の係数を反転せず、前記左右判別値が前記第２の側に位置しているかを示すとき、前記左右非対称の係数を反転し、
   前記フォーカス距離に応じて前記左右判別値を反転する指示がなされると、前記左右判別値を反転する反転器をさらに備える
   請求項２に記載の画像処理装置。
6. 前記反転器は、前記フォーカス距離が第１の範囲であるときに前記左右判別値を反転し、第２の範囲であるときに前記左右判別値を反転せず、
   前記フォーカス距離が前記第１の範囲と前記第２の範囲との境界のフォーカス距離であるときに、前記調整補正値を０とするために、前記調整係数が０とされている請求項５に記載の画像処理装置。
7. 前記調整補正値に前記中心に対する前記各注目画素の角度の正弦を乗算して、前記注目画素を垂直方向に補正する垂直補正値を生成する第３の乗算器と、
   前記各注目画素を中心とした上下方向の複数の画素に、上下非対称の係数を乗算した乗算結果を全て加算して垂直方向のハイパスフィルタ成分を生成し、前記垂直方向のハイパスフィルタ成分に前記垂直補正値を乗算した垂直補正成分を前記各注目画素に加算して、前記各注目画素を垂直方向に補正する垂直フィルタと、
   をさらに備える請求項１～６のいずれか１項に記載の画像処理装置。
8. 補正値テーブルには、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されており、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより補正値を読み出し、
   読み出された前記補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成し、
   前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成し、
   前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、
   前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する
   画像処理方法。

Images