JP4658875B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、ＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法を用いた動きベクトル検出方式に関するものである。

画像符号化方式等による画像処理を行う場合に、動きベクトルを正確に検出することは非常に重要である。この動きベクトル検出手法には、勾配法、ブロックマッチング法、位相相関法等を用いたものがあるが、一般的にはブロックマッチング法が用いられている。このブロックマッチング法では、参照画像の中から符号化画像のブロックに一致するブロックを検出し、そのブロックにより動きベクトルを検出する。

しかしながら、通常は画像にノイズが含まれているから、このノイズを含む画像に基づいて動きベクトルを検出する場合には、誤った動きベクトルを検出する可能性が高かった。

このような画像に含まれるノイズの影響を低減するために、ローパスフィルタ（特許文献１を参照）やメディアンフィルタ（特許文献２を参照）等が用いられる。ローパスフィルタは、所定の周波数以下の信号のみを通過させ、それよりも高い周波数の信号を減衰させるフィルタである。また、メディアンフィルタは、ある画素の周辺領域内において画素濃度の中央値を求め、その中央値を目的の画素濃度とするフィルタである。このような前置（プリ）フィルタを用いて画像からノイズを低減し、動きベクトルを検出する。

特許第２８６０９７０号公報 特許第３６９４０５２号公報

画像に含まれるノイズの影響を低減するために、ローパスフィルタを用いる場合は、ガウスノイズを有効に低減することが可能である。しかしながら、このフィルタを用いると、画像内の情報として有益なエッジ成分をぼやかしてしまう。すなわち、動きベクトルを正確に検出するためには画像内のエッジ成分が必要であるが、そのエッジ成分を十分に利用することができない。つまり、ローパスフィルタを用いる場合であっても、誤った動きベクトルを検出する可能性があった。

また、メディアンフィルタを用いる場合は、スパイクノイズを有効に低減することが可能である。しかしながら、このフィルタを用いると、ガウスノイズを低減することができない。すなわち、ガウスノイズの影響を受けた動きベクトルを検出してしまう。つまり、メディアンフィルタを用いる場合であっても、誤った動きベクトルを検出する可能性があった。

このように、ローパスフィルタまたはメディアンフィルタを用いることにより、ノイズの影響を低減することは可能であるが、正確な動きベクトルを検出する観点からすると十分ではなく、その影響をさらに低減することが望まれていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ノイズの影響が少ない動きベクトルを検出することが可能な画像処理装置を提供することにある。

上記課題を解決するため、本発明は、画像処理のために用いる動きベクトルが、画像のエッジ成分を手掛かりにして検出される点に着目してなされたものであり、ＴＶ法により分解されたカートゥーン画像及びテクスチャ画像のうちのカートゥーン画像に基づいて、動きベクトルを検出する。このカートゥーン画像は、エッジ成分を有すると共に、ガウスノイズ及びスパイクノイズが低減した画像であるから、正確な動きベクトルを検出するには適している。

すなわち、本発明による請求項１の画像処理装置は、所定の画像に基づいて動きベクトルを検出し、該動きベクトルを用いて画像処理を行う画像処理装置において、ＴＶ法により原画像をカートゥーン画像とテクスチャ画像とに分解する分解部、該分解部により分解されたカートゥーン画像とテクスチャ画像とを合成して復元画像を生成する合成部、前記分解部により分解されたカートゥーン画像に基づいて動きベクトルを検出する動きベクトル検出部、及び、該動きベクトル検出部により検出された動きベクトルを用いて、前記合成部により生成された復元画像に対し画像処理を行う画像処理部を備えたことを特徴とする。

また、本発明による請求項２の画像処理装置は、請求項１に記載の画像処理装置において、さらに、前記分解部により分解されたテクスチャ画像を入力し、該テクスチャ画像を構成する画素の画素値を変換し、新たなテクスチャ画像を生成する変換部を備え、前記合成部が、分解部により分解されたカートゥーン画像と変換部により生成された新たなテクスチャ画像とを合成して復元画像を生成することを特徴とする。

また、本発明による請求項３の画像処理装置は、請求項１に記載の画像処理装置において、さらに、前記合成部により生成された復元画像及び前記原画像のうちのいずれか一方の画像を出力するための切り替え設定を行う切替部を備え、前記画像処理部が、動きベクトル検出部により検出された動きベクトルを用いて、切替部により切り替え設定された画像に対し画像処理を行うことを特徴とする画像処理装置。

また、本発明による請求項４の画像処理装置は、請求項１に記載の画像処理装置において、さらに、前記分解部により分解されたテクスチャ画像を入力し、該テクスチャ画像を構成する画素の画素値を変換し、新たなテクスチャ画像を生成する変換部、及び、前記合成部により生成された復元画像及び前記原画像のうちのいずれか一方の画像を出力するための切り替え設定を行う切替部を備え、前記合成部が、分解部により分解されたカートゥーン画像と変換部により生成された新たなテクスチャ画像とを合成して復元画像を生成し、前記画像処理部が、動きベクトル検出部により検出された動きベクトルを用いて、切替部により切り替え設定された画像に対し画像処理を行うことを特徴とする。

以上のように、本発明によれば、ＴＶ法によりカートゥーン画像を生成し、カートゥーン画像に基づいて動きベクトルを検出するようにした。カートゥーン画像は、動きベクトルを検出するために有用なエッジ成分を有すると共に、ガウスノイズ及びスパイクノイズが低減された画像であるから、ノイズの影響が少ない動きベクトルを検出することが可能となる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。この最良の形態は、図１に示す実施例１の画像処理装置、図２に示す実施例２の画像処理装置、図３に示す実施例３の画像処理装置、及び、図４に示す実施例４の画像処理装置により説明する。実施例１〜４は、いずれも、ＴＶ法により原画像をカートゥーン画像ｕ及びテクスチャ画像ｖに分解し、カートゥーン画像ｕに基づいて動きベクトルを検出することを特徴とする。また、カートゥーン画像ｕ及びテクスチャ画像ｖを合成した復元画像を生成し、カートゥーン画像ｕに基づいて検出した動きベクトルを用いて、復元画像に対し画像処理を行うことを特徴とする。

まず、実施例１について説明する。図１は、本発明による実施例１の画像処理装置の構成を示すブロック図である。この画像処理装置１０は、分解部１、合成部２、動きベクトル検出部３及び画像処理部４を備えている。

分解部１は、原画像ｆを入力し、ＴＶ法によりカートゥーン画像ｕとテクスチャ画像ｖとに分解し、カートゥーン画像ｕを合成部２及び動きベクトル検出部３に出力し、テクスチャ画像ｖを合成部２に出力する。図５（Ａ）に原画像ｆを、図５（Ｂ）にカートゥーン画像ｕを、図５（Ｃ）にテクスチャ画像ｖを示す。

合成部２は、分解部１により分解されたカートゥーン画像ｕ及びテクスチャ画像ｖとを合成し、復元画像を画像符号部４に出力する。

以下、ＴＶ法による画像処理手法について簡単に説明する。尚、詳細については「Journal of Scientific Computing,Vol.19,Nos.1-3,December 2003」を参照されたい。まず、ＴＶ法により分解されるカートゥーン画像ｕは、原画像ｆ内のオブジェクトの形及び大きさを表した骨格画像をいい、平坦部分及び強いエッジ部分を含んでいる。また、テクスチャ画像ｖは、原画像ｆ内のオブジェクトの輝度及び色差の変化による精細部を表す画像をいい、細かな模様のみから成る。

原画像ｆは、後述するパラメータλ，μに応じて、カートゥーン画像ｕとテクスチャ画像ｖとに分解される。ここで、ノイズはテクスチャ画像ｖに含まれておりカートゥーン画像ｕに含まれていないことから、パラメータλ，μの値に応じて、ノイズを低減したテクスチャ画像ｖを生成することができる。すなわち、パラメータλ，μを適切に選択することにより、テクスチャ画像ｖに含まれるノイズを低減することができる。そして、分解した際にノイズを含んでいないカートゥーン画像ｕと、分解した際にノイズを低減したテクスチャ画像ｖとを合成することにより、結果としてノイズを低減した復元画像を得ることができる。

従来のローパスフィルタまたはメディアンフィルタを用いた画像処理手法では、エッジ成分がぼやけたりして、ガウスノイズを低減することができない。これに対し、ＴＶ法による画像処理手法では、エッジ成分を保持したまま、ノイズを低減したテクスチャ画像ｖを生成することができるから、従来の画像処理手法に比べて、高画質な画像に復元することができるという利点がある。

次に、ＴＶ法による画像処理手法において、ノイズを低減する原理の概略を説明する。図６は、ＴＶ法によりノイズが低減する原理を説明するための図である。左上図の画像信号が原画像ｆの信号であり、右上図の画像信号がＴＶ法による画像処理を行って得られた復元画像の信号である。左上図及び右上図において、縦軸が画素値を、横軸が画像における任意の水平ラインをそれぞれ示している。この左上図の波形の画像信号を微分することにより、左下図のような信号を得る。そして、この微分信号に対して、処理後の信号と入力信号との差が大きくなり過ぎないような制約の下で、その面積を最小とする際の信号を得る。微分信号の面積を最小とする際、孤立したエッジａは削除されるが、大きな信号ｄ近傍のエッジｂ，ｃは、信号ｄとの間の相関が高いと判断し、ｂ，ｃ，ｄを結合することによりエッジ成分を最小化する。その波形が右下図である。この場合、左上図の画像信号が、左下図の微分信号に対応するものであるから、右下図の微分信号に対する画像信号は、右上図のように得ることができる。

このように、ＴＶ法による画像処理手法によれば、原画像ｆの孤立したノイズａ１（図６左上図を参照）を抑制する。画像本来の信号に近接した信号ｂ１，ｃ１は、近傍信号と相関が高いと判断して結合される。この結合により、原画像では、ノイズと見られる信号から、原画像に存在しない高周波成分が生成される。通常の画像では、連続するエッジは、光学的、電気的にローパスフィルタがかかり、高周波成分はエッジにまつわりつくノイズ的な信号と本当のノイズ信号とに分類される。このＴＶ法による画像処理手法を用いることにより、ノイズが抑圧される。エッジ周辺のノイズ的高周波成分は、エッジに吸収され、エッジがより以上に鋭くなり、鮮鋭感が増大した画像となる。

図７は、ＴＶ法により、原画像ｆに存在しない高周波成分が生成されることを説明するための図である。図６に示した同様の原理により、左上図の原画像ｆから右上図の復元画像が生成される。この場合、図７に示すように、原画像ｆは、画素値が滑らかに変化する高周波成分のない信号から成るが、復元画像は、画素値が線形に変化する高周波成分を有する信号から成ることがわかる。このように、ＴＶ法による画像処理手法によれば、原画像ｆに存在しない高周波成分が生成される。

次に、ＴＶ法による画像処理手法について、数式を用いて簡単に説明する。ＴＶ法による画像処理は、以下の（１）式により表される最小化問題として扱うことができる。
ここで、ｆは原画像、ｕはカートゥーン画像、λ及びμはパラメータである。また、原画像ｆを有界変動空間ＢＶのカートゥーン画像（骨格関数）ｕとテクスチャ画像（振動関数）ｖとに分解するために、有界変動空間ＢＶの双対空間である振動関数空間Ｇを利用する。また、ｇ１及びｇ２はベクトル表記した成分であり、以下の（２）式により表され、テクスチャ画像ｖは以下の（３）式となる。

この表記により、（１）式を発展させた以下の（４）式の最小値問題を解くことにより、カートゥーン画像ｕ及びテクスチャ画像ｖを決定する。
これは、（５）式で表されるEuler-Lagrange方程式に帰着する。
このようにして、カートゥーン画像ｕは、原画像ｆから分解して生成される。

また、振動関数空間Ｇは、（６）式のような分離可能な関数の空間である。
ここで、ｇ_１，ｇ_２は振動母関数であり、（７）式で表される。
すなわち、（８）式のようになる。
このようにして、テクスチャ画像ｖは、原画像ｆから分解して生成される。したがって、原画像ｆをカートゥーン画像ｕ及びテクスチャ画像ｖに、パラメータλ，μの値に応じて分解することができる。

このように、分解部１により、原画像ｆは、エッジ成分を有するカートゥーン画像ｕと、画像の精細部を表すテクスチャ画像ｖとに分解される。図１に戻って、動きベクトル検出部３は、分解部１により分解されたカートゥーン画像ｕを入力し、動きベクトルを検出して画像処理部４に出力する。一般に、動きベクトルは、画像のエッジ成分を手掛かりにして検出される。つまり、正確な動きベクトルを検出するためには、エッジ成分を有する画像を用いることが望ましい。カートゥーン画像ｕは、エッジ成分を有すると共に、ガウスノイズ及びスパイクノイズが低減した画像であるから、動きベクトルを検出するには適しているといえる。

動きベクトル検出部３による動きベクトル検出手法には、勾配法、ブロックマッチング法、位相相関法、初期偏位ベクトル法、勾配法と初期偏位ベクトル法とを組み合わせた方法等、様々な手法がある。勾配法は、入力した画像について、フレーム内の輝度変化を観測し、微小区間においては輝度勾配が一定であることを利用して、参照フレーム中で同様な輝度変化が生じている部位を検出することにより、動きベクトルを検出するものである。また、ブロックマッチング法は、入力した画像について、符号化対象のフレームを、重なりのない複数の矩形ブロックに分け、各ブロックについて、参照フレーム中から同サイズの対応する矩形領域を算出して参照ブロックとし、動きベクトルを検出するものである。尚、動きベクトル検出手法の詳細についての説明は省略する。

画像処理部４は、動きベクトル検出部３により検出された動きベクトルを入力し、合成部２により合成された復元画像を入力し、動きベクトルを用いて復元画像に対する処理を行い、画像処理後の処理データを出力する。復元画像に対する処理とは、例えば、圧縮による画像符号化処理、日本のハイビジョン方式による画像とヨーロッパのハイビジョン方式による画像との間の方式変換処理、テレビ用の画像と映画用の画像との間の方式変換処理、順次走査変換（ＩＰ（Ｉｎｔｅｒｌａｃｅ Ｐｒｏｇｒｅｓｓｉｖｅ）変換による順次走査化）処理をいう。尚、これらの画像処理手法の詳細についての説明は省略する。例えば、圧縮による画像符号化処理については特許第３５０８９１６号公報を、方式変換処理については特許第２５１０８７９号公報を、ＩＰ変換処理については特許第３２４２１６４号公報及び特許第３７２１９４１号公報をそれぞれ参照されたい。

以上のように、図１に示した実施例１の画像処理装置１０によれば、ＴＶ法により原画像をカートゥーン画像ｕ及びテクスチャ画像ｖに分解し、カートゥーン画像ｕに基づいて動きベクトルを検出するようにした。カートゥーン画像は、動きベクトルを検出するために有用なエッジ成分を有すると共に、ガウスノイズ及びスパイクノイズが低減された画像である。これにより、従来のローパスフィルタやメディアンフィルタを用いる場合に比べて、ノイズの影響が少ない動きベクトルを検出することが可能となる。

また、実施例１の画像処理装置１０によれば、カートゥーン画像ｕ及びテクスチャ画像ｖを合成した復元画像に対し、カートゥーン画像ｕに基づいて検出した動きベクトルを用いて画像処理を行うようにした。これにより、ノイズの影響が少ない動きベクトルを用いているから、良好な画質の画像データを得ることが可能となる。

次に、実施例２について説明する。図２は、本発明による実施例２の画像処理装置の構成を示すブロック図である。この画像処理装置２０は、分解部１、合成部２、動きベクトル検出部３、画像処理部４及び変換部５を備えている。図１に示した実施例１の画像処理装置１０と図２に示す実施例２の画像処理装置２０とを比較すると、分解部１、合成部２、動きベクトル検出部３及び画像処理部４を備えている点で共通するが、画像処理装置２０は、画像処理装置１０の構成に加えてさらに変換部５を備えている点で相違する。以下、図２において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

変換部５は、分解部１により分解されたテクスチャ画像ｖを入力し、予め設定された変換テーブルまたは演算式を用いて、入力したテクスチャ画像ｖを変換して新たなテクスチャ画像ｖ’を生成する。

分解部１により実現されるＴＶ法による画像処理手法では、パラメータλ，μを適切に設定することにより、ノイズを低減することができる。しかし、ノイズを完全には除去できないため、画像の高精細化を実現するには不十分である。そこで、変換部５において、画素単位に画素値を変換する。この場合、変換部５が単に画素値を乗数倍したのみでは、ノイズが見えやすくなる。そこで、閾値処理を行い、画素値が小さい第１の領域においては画素値を０に変換し、画素値が大きい第２の領域においては予め設定された最大画素値に変換する。また、中間の画素値を有する第３の領域においては、第１の領域に近い画素値は小さくなるように変換し、第２の領域に近い画素値は大きくなるように変換する。

第１の領域では、画素値が０に近く比較的ノイズ成分が多いことから、強制的に０に変換してノイズ成分を除去する。第２の領域は、画素値が大きいから、予め設定された最大画素値になるように画素値を小さくし精細感を高める。第３の領域では、画素値が小さい場合は一層小さく、画素値が大きい場合は一層大きくすることにより、精細感を高める。この場合、第１の領域としては画素値が０〜１、第２の領域としては画素値が１７以上、第３の領域としては画素値が２〜１６であることが好ましい。

図８〜１０は、変換部５が用いる変換テーブルＴ１〜Ｔ３を示す図である。図において、横軸はテクスチャ画像ｖの画素値、縦軸は変換後のテクスチャ画像ｖ’の画素値をそれぞれ示している。尚、横軸に示した画素値は、分解部１により生成されたテクスチャ画像ｖの画素値であり、実際に表示画面に表示する際の画素値とは異なるものである。図８〜１０において、第１の領域（ｂからｃまでの範囲）においては画素値を０に変換する。第２の領域（ａより小さい範囲及びｄより大きい範囲）においては画素値を予め設定された最大画素値Ｍまたは最小画素値−Ｍに変換する。また、第３の領域（ａからｂまでの範囲及びｃからｄまでの範囲）においては、画素値は、第１の領域に近い画素値（ａ’からｂまでの範囲及びｃからｃ’までの範囲の画素値）は小さくなるように変換し、第２の領域に近い画素値（ａからａ’までの範囲及びｃ’からｄまでの範囲の画素値）は大きくなるように変換する。尚、図８〜１０において直線ｌは、変換を行わない場合（ｖ＝ｖ’）を示している。

このように、変換テーブルＴ１〜Ｔ３は、閾値（デッドゾーン）及び飽和点を有しており、これらの変換ルールは、閾値及び飽和点を用いた関数の演算式として記述することもできる。図８に示したテーブルＴ１及び図９に示したテーブルＴ２は、１次関数として記述することができ、図１０に示したテーブルＴ３は、２次関数として記述することができる。

図１に戻って、合成部２は、分解部１により分解されたカートゥーン画像ｕと、変換部５により変換された新たなテクスチャ画像ｖ’とを合成し、復元画像を出力する。

以上のように、図２に示した実施例２の画像処理装置２０によれば、実施例１の画像処理装置１０と同様の効果を奏する。すなわち、従来のローパスフィルタやメディアンフィルタを用いる場合に比べて、ノイズの影響が少ない動きベクトルを検出することが可能となる。また、ノイズの影響が少ない動きベクトルを用いるから、良好な画質の画像データを得ることが可能となる。

また、実施例２の画像処理装置２０によれば、ＴＶ法による画像処理手法で分離したテクスチャ画像ｖに対し、その画素値を変換して新たなテクスチャ画像ｖ’を生成し、復元画像を生成するようにした。すなわち、画素値の変換に際し、画素値が０に近い第１の領域では、強制的に０に変換してノイズ成分を除去し、画素値が比較的大きい第２の領域では、予め設定された最大値になるように画素値を小さくして精細感を高め、画素値が中位の第３の領域では、画素値が小さい場合は一層小さく、画素値が大きい場合は一層大きくして精細感を高めるようにした。これにより、原画像ｆが保有する周波数成分以外の周波数帯域の信号を用いて復元画像が生成されるから、画像の高精細化を実現することができる。したがって、ノイズの影響が少ない動きベクトルを用いると共に、高精細な復元画像に対して画像処理を行うようにしたから、実施例１の画像処理装置１０の場合に比べて、一層良好な画質の画像データを得ることが可能となる。

次に、実施例３について説明する。図３は、本発明による実施例３の画像処理装置の構成を示すブロック図である。この画像処理装置３０は、分解部１、合成部２、動きベクトル検出部３、画像処理部４及び切替部６を備えている。図１に示した実施例１の画像処理装置１０と図３に示す実施例３の画像処理装置３０とを比較すると、分解部１、合成部２、動きベクトル検出部３及び画像処理部４を備えている点で共通するが、画像処理装置３０は、画像処理装置１０の構成に加えてさらに切替部６を備えている点で相違する。以下、図３において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

切替部６は、原画像ｆ及び合成部２により合成された復元画像を入力し、予め設定されたスイッチ、または図示しない切替制御部からの制御信号に基づいて設定されたスイッチにより、原画像ｆまたは復元画像を画像処理部４に出力する。画像処理部４は、動きベクトル検出部３により検出された動きベクトルを入力し、切替部６から原画像ｆまたは復元画像を入力し、動きベクトルを用いて原画像ｆまたは復元画像に対し画像処理を行い、画像データを出力する。例えば、画像処理部４が画像符号化処理を行う場合は、切替部６のスイッチは、復元画像を選択するように予め設定されている。また、画像処理部４が原画像ｆに忠実に処理する必要がある場合は、切替部６のスイッチは、原画像ｆを選択するように予め設定されている。

また、図示しない切替制御部は、原画像ｆを入力し、ノイズレベルを検出し、例えばＳＮ比を求める。そして、切替制御部は、ノイズレベルが低い場合、例えばＳＮ比が予め設定された値以下の場合に、画像処理部４が原画像ｆに対して処理を行うように切替用の制御信号を切替部６に出力する。また、ノイズレベルが高い場合、例えばＳＮ比が予め設定された値よりも大きい場合に、画像処理部４が復元画像に対して符号化を行うように切替用の制御信号を切替部６に出力する。

以上のように、図３に示した実施例３の画像処理装置３０によれば、実施例１の画像処理装置１０と同様の効果を奏する。すなわち、従来のローパスフィルタやメディアンフィルタを用いる場合に比べて、ノイズの影響が少ない動きベクトルを検出することが可能となる。また、ノイズの影響が少ない動きベクトルを用いるから、良好な画質の画像データを得ることが可能となる。

また、実施例３の画像処理装置３０によれば、画像処理部４により処理される対象画像を原画像ｆまたは復元画像とし、切替部６が原画像ｆ及び復元画像のうちのいずれか一方の画像に切り替えるようにした。これにより、切替部６のスイッチを用途に応じて予め設定することにより、用途に応じた適切な画像処理を実現することが可能となる。また、切替部６により、画像処理部４は、ノイズレベルが低い場合に原画像ｆに対して処理を行い、ノイズレベルが高い場合に復元画像に対して処理を行うようにした。これにより、原画像ｆに含まれるノイズレベルに応じた適切な画像処理を実現することが可能となる。

次に、実施例４について説明する。図４は、本発明による実施例４の画像処理装置の構成を示すブロック図である。この画像処理装置４０は、分解部１、合成部２、動きベクトル検出部３、画像処理部４、変換部５及び切替部６を備えている。図１に示した実施例１の画像処理装置１０と図４に示す実施例４の画像処理装置４０とを比較すると、分解部１、合成部２、動きベクトル検出部３及び画像処理部４を備えている点で共通するが、画像処理装置４０は、画像処理装置１０の構成に加えてさらに変換部５及び切替部６を備えている点で相違する。以下、図４において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。尚、画像処理装置４０に備えた変換部５は、図２に示した実施例２の変換部５と同一であり、切替部６は、図３に示した実施例３の切替部６と同一である。

変換部５は、図２の実施例２と同様に、分解部１により分解されたテクスチャ画像ｖを入力し、図８〜図１０の変換テーブルまたは演算式を用いて、入力したテクスチャ画像ｖを変換して新たなテクスチャ画像ｖ’を生成する。合成部２は、分解部１により分解されたカートゥーン画像ｕと、変換部５により変換された新たなテクスチャ画像ｖ’とを合成し、復元画像を切替部６に出力する。

切替部６は、図３の実施例３と同様に、原画像ｆ及び合成部２により合成された復元画像を入力し、用途に応じて予め設定されたスイッチ、または図示しない切替制御部からの制御信号に基づいてノイズレベルに応じて設定されたスイッチにより、原画像ｆまたは復元画像を画像処理部４に出力する。画像処理部４は、動きベクトル検出部３により検出された動きベクトルを入力し、切替部６から原画像ｆまたは復元画像を入力し、動きベクトルを用いて原画像ｆまたは復元画像に対し画像処理を行い、画像処理後の処理データを出力する。

以上のように、図４に示した実施例４の画像処理装置４０によれば、実施例１の画像処理装置１０、実施例２の画像処理装置２０及び実施例３の画像処理装置３０と同様の効果を奏する。すなわち、従来のローパスフィルタやメディアンフィルタを用いる場合に比べて、ノイズの影響が少ない動きベクトルを検出することが可能となる。また、ノイズの影響が少ない動きベクトルを用いるから、良好な画質の画像データを得ることが可能となる。

また、変換部５により新たなテクスチャ画像ｖ’を生成し、復元画像を生成するようにしたから、画像の高精細化を実現することができ、一層良好な画質の画像データを得ることが可能となる。また、切替部６により原画像ｆ及び復元画像のうちのいずれか一方の画像に切り替え、画像処理を行うようにしたから、用途に応じた適切な画像符号化を実現することが可能となり、原画像ｆに含まれるノイズレベルに応じた適切な画像処理を実現することが可能となる。

以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、ＴＶ受信機やＰＣディスプレイ等で画像を視聴する際に、伝送されてきた画像または記憶手段に記憶されていた画像を原画像ｆとして画像処理装置１０〜４０に入力し、動きベクトルを検出して画像処理を行うようにしてもよい。

また、上記実施例２及び４では、変換部５が、１次関数で記述できるテーブルＴ１，Ｔ２や２次関数で記述できるテーブルＴ３を用いるようにしたが、これ以外の３次以上の関数である単調増加関数を用いるようにしてもよい。また、三角関数等の部分的に増加する関数を用いるようにしてもよいし、そのうちの増加する部分のみを用いるようにしてもよい。

また、上記実施例１〜４において、動きベクトル検出部３による動きベクトル検出処理は、勾配法、ブロックマッチング法、位相相関法、初期偏位ベクトル法、または勾配法と初期偏位ベクトル法とを組み合わせた方法による処理に限定されるものではなく、他の方法を用いるようにしてもよい。

また、上記実施例１〜４において、画像処理部４による画像処理は、圧縮による画像符号化処理、方式変換処理、順次走査変換処理に限定されるものではなく、他の画像処理を行うようにしてもよい。

本発明による実施例１の画像処理装置の構成を示すブロック図である。 本発明による実施例２の画像処理装置の構成を示すブロック図である。 本発明による実施例３の画像処理装置の構成を示すブロック図である。 本発明による実施例４の画像処理装置の構成を示すブロック図である。 ＴＶ法により原画像をカートゥーン画像とテクスチャ画像に分解する処理を説明するための図である。 ＴＶ法によりノイズが低減する原理を説明するための図である。 ＴＶ法により、原画像に存在しない高周波成分が生成されることを説明するための図である。 変換テーブルＴ１を示す図である。 変換テーブルＴ２を示す図である。 変換テーブルＴ３を示す図である。

符号の説明

１ 分解部
２ 合成部
３ 動きベクトル検出部
４ 画像符号化部
５ 変換部
６ 切替部
１０，２０，３０，４０ 画像処理装置

Claims (4)

1. 所定の画像に基づいて動きベクトルを検出し、該動きベクトルを用いて画像処理を行う画像処理装置において、
   ＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法により原画像をカートゥーン画像とテクスチャ画像とに分解する分解部、
   該分解部により分解されたカートゥーン画像とテクスチャ画像とを合成して復元画像を生成する合成部、
   前記分解部により分解されたカートゥーン画像に基づいて動きベクトルを検出する動きベクトル検出部、及び、
   該動きベクトル検出部により検出された動きベクトルを用いて、前記合成部により生成された復元画像に対し画像処理を行う画像処理部を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   さらに、前記分解部により分解されたテクスチャ画像を入力し、該テクスチャ画像を構成する画素の画素値を変換し、新たなテクスチャ画像を生成する変換部を備え、
   前記合成部が、分解部により分解されたカートゥーン画像と変換部により生成された新たなテクスチャ画像とを合成して復元画像を生成することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   さらに、前記合成部により生成された復元画像及び前記原画像のうちのいずれか一方の画像を出力するための切り替え設定を行う切替部を備え、
   前記画像処理部が、動きベクトル検出部により検出された動きベクトルを用いて、切替部により切り替え設定された画像に対し画像処理を行うことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   さらに、前記分解部により分解されたテクスチャ画像を入力し、該テクスチャ画像を構成する画素の画素値を変換し、新たなテクスチャ画像を生成する変換部、及び、
   前記合成部により生成された復元画像及び前記原画像のうちのいずれか一方の画像を出力するための切り替え設定を行う切替部を備え、
   前記合成部が、分解部により分解されたカートゥーン画像と変換部により生成された新たなテクスチャ画像とを合成して復元画像を生成し、
   前記画像処理部が、動きベクトル検出部により検出された動きベクトルを用いて、切替部により切り替え設定された画像に対し画像処理を行うことを特徴とする画像処理装置。