JP5751157B2

JP5751157B2 - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP5751157B2
Application number: JP2011277852A
Authority: JP
Inventors: 保成鈴木
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-12-20
Filing date: 2011-12-20
Publication date: 2015-07-22
Anticipated expiration: 2031-12-20
Also published as: JP2013130902A

Description

本発明は映像信号処理装置及び映像信号処理方法に係り、特に画像の拡大・解像度変換を施して高解像度画像を得るための映像信号処理装置及び映像信号処理方法に関する。

近年、画像出力装置や映像を扱う機器の高解像度化により、既存の低解像度映像から高品質な高解像度画像を作り出す要求が高まっている。高解像度画像を作り出す方法の一つとして、既存映像の画素間を補間して拡大する手法がある。

代表的な補間方法として、最近隣補間法、線形補間法、３次元畳み込み補間法などが知られている。このような補間方法は、隣接画素の値の連続性を前提としており、連続性が途切れるエッジ部分では、不連続な画素同士の演算をして補間値を求めるため、ジャギーが発生する。

そのエッジのジャギーを軽減する方法として、特許文献１に記載されているような、周辺画素を比較的簡単な演算により、エッジの方向性を検出し、その方向性に合った補間フィルタを適用する方法がある。

また、エッジの方向検出を行う方法として、微分フィルタであるPrewittフィルタのオペレータが知られている。これは、輪郭を現す標準パターンをいくつか用意しておいて、画像の一部分と比較して最も似たものを選ぶ方法で、テンプレート・マッチングの一種である。Prewittフィルタのオペレータでは、３×３画素の範囲を演算し、エッジの正負を同一に扱えば、４方向が検出できるものである。特許文献１に記載のエッジの方向性検出では、６×６画素の範囲に含まれる２４点（画素）を演算することで、１２方向を検出できるように拡張したものである。

特開２００９−９４８６２号公報

従来の特許文献１に記載のエッジ方向検出方法では、中心画素の周辺２４画素の画素値を微分し、その結果の絶対値が最大となる方向を補間方向として検出している。しかしながら、特許文献１に記載のエッジ方向検出方法では、中心画素を挟んで対称形のパターンを用いているため、エッジの絶対値が大きな画素を結んで得られる輪郭線の角度が連続的に変化した場合、正しくその変化に追従してその角度が得られるが、輪郭線の角度が急激に変化した場合、その変化に追従できず正しい角度検出が行えない。このような状況は、コンピュータグラフィック（ＣＧ）のような人工的な画像以外でも、自然画の中に人工物（ビルや橋など）や文字（看板など）等、輪郭線に角を持つ物体が被写体として入っているような場合に発生し、その輪郭の角の部分では急激な方向の変化が発生するが、その変化に追従できず、本来の輪郭とは異なった方向を検出してしまい、その方向に基づき誤った補間を行い、ノイズを発生してしまう問題がある。

非対称形のパターンを用意して、それとのマッチングをとれば、輪郭線の角度の大きな変化に対応できる。しかし、この方法は何千もの非対称形のパターンに対し、８ビットや１２ビットといった多値のまま画像データを演算し、類似性を検出する必要があるため、非常に多くの乗加算及び比較演算が必要となり、リアルタイム処理は困難である。

そこで、パターンマッチングが容易な二値データに変換し、パターンデータと対象画像で、画素同士の論理積（ＡＮＤ）演算で比較することで、大幅な演算量の削減が行え、リアルタイム処理が可能となる。

しかし、この場合は二値化する際の閾値次第で、残すべきエッジが二値化する段階で消えることがある。例えば、補間画素周辺の４画素の平均値で閾値を決めた場合、細線を二値化した際に、かすれたり途切れることがある。その結果、かすれた部分において、エッジの連続性が検出できず、エッジ方向に応じた補間処理を行うことができない。

本発明は以上の点に鑑みなされたもので、二値化のための閾値を適切に算出することにより、急激なエッジの方向の変化に追従しつつ、細線部分での安定性の高い方向検出に基づき、滑らかな画素補間を実現する映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記の目的を達成するため、本発明の映像信号処理装置は、高解像度化のための補間画素の生成時に用いる、高解像度化対象映像信号中の輝度信号の補間画素の周辺の所定の複数画素からなる画素群を所定方向にスキャンして、複数画素の各画素が、隣接画素の画素値より大きい値の第１の画素であるか小さい値の第２の画素であるかを示す最大最小値画素情報を生成する最大最小値画素情報生成手段と、最大最小値画素情報に基づき、画素群の中心付近の画素が第１の画素であるときはその中心付近の画素を開始点として同じ第１の画素である隣接する２以上の画素の集合を画素群の一端までトレースし、画素群の中心付近の画素が第２の画素であるときはその中心付近の画素を開始点として同じ第２の画素である隣接する２以上の画素の集合を画素群の一端までトレースしてトレース方向の傾斜線が存在すると検出し、開始点の画素が第１の画素であるときは検出した傾斜線を示すトレースの経路中の画素の最小値を閾値として出力し、開始点の画素が第２の画素であるときはトレースの経路中の画素の最大値を閾値として出力し、中心付近の画素に第１の画素又は第２の画素が隣接せずトレースができないときは、画素群の中心付近の４画素の画素値平均値を閾値として出力する閾値算出手段と、閾値算出手段から出力された閾値に基づき、画素群を構成する複数画素の画素データを二値化して二値画像データを生成する二値化処理手段と、二値画像データの画像のパターンが、予め用意した複数のパターンのうちどのパターンと一致又は最も近似しているかのパターンマッチングを行うパターンマッチング手段と、パターンマッチング手段から出力されたパターンマッチング結果を補間方向に変換する補間方向変換手段と、補間方向変換手段から供給される補間方向に応じてフィルタ係数が切り替えられ、そのフィルタ係数に基づいて高解像度化対象映像信号のフィルタ処理を行い、拡大映像信号を出力する方向性補間フィルタ手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の映像信号処理装置は、閾値算出手段が、傾斜線検出結果が複数の異なる方向の傾斜線を示しているときには、その傾斜線検出結果を無効とし、画素群の中心付近の４画素の画素値平均値を閾値として出力することを特徴とする。

また、上記の目的を達成するため、本発明の映像信号処理装置は、閾値算出手段が、画素群の中心付近の画素として、画素群の中心付近の４つの画素のうちの予め定めた順番の一画素を開始点としてトレースを行い、トレースができないときは次の順番の一画素を開始点としてトレースを行うことを、トレースにより傾斜線検出結果が得られるまで画素群の中心付近の４つの画素を開始点に順次切り替えてトレースを行うことを特徴とする。

また、上記の目的を達成するため、本発明の映像信号処理方法は、高解像度化のための補間画素の生成時に用いる、高解像度化対象映像信号中の輝度信号の補間画素の周辺の所定の複数画素からなる画素群を所定方向にスキャンして、複数画素の各画素が、隣接画素の画素値より大きい値の第１の画素であるか小さい値である第２の画素であるかを示す最大最小値画素情報を生成する最大最小値画素情報生成ステップと、最大最小値画素情報に基づき、画素群の中心付近の画素が第１の画素であるときはその中心付近の画素を開始点として同じ第１の画素である隣接する２以上の画素の集合を画素群の一端までトレースし、画素群の中心付近の画素が第２の画素であるときはその中心付近の画素を開始点として同じ第２の画素である隣接する２以上の画素の集合を画素群の一端までトレースしてトレース方向の傾斜線が存在すると検出し、開始点の画素が第１の画素であるときは検出した傾斜線を示すトレースの経路中の画素の最小値を閾値として出力し、開始点の画素が第２の画素であるときはトレースの経路中の画素の最大値を閾値として出力し、中心付近の画素に第１の画素又は第２の画素が隣接せずトレースができないときは、画素群の中心付近の４画素の画素値平均値を閾値として出力する閾値算出ステップと、閾値算出ステップにより得られた閾値に基づき、画素群を構成する複数画素の画素データをニ値化してニ値画像データを生成するニ値化処理ステップと、ニ値画像データの画像のパターンが、予め用意した複数のパターンのうちどのパターンと一致又は最も近似しているかのパターンマッチングを行うパターンマッチングステップと、パターンマッチングステップにより得られたパターンマッチング結果を補間方向に変換する補間方向変換ステップと、補間方向変換ステップにより得られた補間方向に応じてフィルタ係数が切り替えられ、そのフィルタ係数に基づいて高解像度化対象映像信号のフィルタ処理を行い、拡大映像信号を出力する方向性補間フィルタステップとを含むことを特徴とする。

本発明によれば、急激なエッジの方向の変化に追従しつつ、細線部分での安定性の高い方向検出に基づき、滑らかな画素補間を実現することができ、エラーが少なく高性能な斜め線補間ができる。

本発明の映像信号処理装置の一実施の形態のブロック図である。図１中の方向検出部の一実施の形態のブロック図である。６×６画素データと補間画素とを表す図である。図２中の６×６画素バッファの一例のブロック図である。図２中の閾値算出部の一例のブロック図である。６×６画素データの画像と画素値の一例を示す図である。水平スキャンの最大最小値画素情報の一例を示す図である。図２中のパターンマッチング部の一例のブロック図である。パターンの一例を示す図である。６×６画素データの画像の一例である。図２中のパターン番号方向変換テーブルの一例である。図１中の方向性補間フィルタの一例のブロック図である。図１２中の６×６係数データの一例を示す図である。閾値を中心４点の平均値とした場合に細線がかすれる原因を説明する図である。図５中の右上左下縦傾斜線検出部の動作説明用フローチャートである。図５中の右上左下横傾斜線検出部の動作説明用フローチャートである。水平スキャンの最大最小値画素情報の一例を画像表示した図である。図１５のフローチャートにおける右上トレースの開始点の一例を示す図である。図１５のフローチャートにおける右上トレース経路説明図である。図１５のフローチャートにおける右上トレース経路結果の一例である。図１５のフローチャートにおける左下トレース開始点である。図１５のフローチャートにおける左下トレース経路説明図である。図１５のフローチャートにおける左下トレース経路結果の一例である。図５中の右上左下縦傾斜線検出部により得られる右上左下縦傾斜線検出結果の一例を示す図である。図１６のフローチャートにおける右下トレース経路説明図である。縦線の一例を示す図である。縦線のトレース経路結果を示す図である。中心４点平均値を閾値として得られる２値化画像の一例を示す図である。補間画素ｏ0及びその周辺画素を示す図である。一画素間隔に近い画像データと６×６画素データの画素値の一例を示す図である。図３０の画素データを水平スキャンして得られる最大最小値画素情報を示す図である。対称形パターンの一例を示す図である。非対称形パターンの一例を示す図である。急激なエッジ方向の変化を起こす画像の一例を示す図である。

次に、本発明の映像信号処理装置の実施の形態について図面を参照して説明する。

図１は、本発明になる映像信号処理装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の映像信号処理装置１０は、高解像度化対象映像信号の画素を補間して拡大処理した高解像度映像信号を生成して出力する装置で、方向検出部１１、方向性補間フィルタ１２〜１４、及びタイミング生成部１５から構成される。

方向検出部１１は、高解像度化対象映像信号の輝度信号Ｙが入力され、高解像度化のための補間画素の生成時に用いる、輝度信号Ｙの補間画素の周辺の所定の複数画素からなる画素群において、細線を形成する画素の値は、隣接画素の値よりも低いもしくは高いという特徴を持つことに鑑み、各画素毎に隣接画素の画素値と比較して得た最大最小値画素情報に基づいて細線を検出し、その検出した細線に応じて補間方向を決め、その補間方向を示す方向信号を出力する。すなわち、方向検出部１１は輝度信号Ｙを二値化することなく方向信号を生成する。

方向検出部１１は、生成した方向信号を３つの方向性補間フィルタ１２、１３及び１４に共通して入力する。これは、輝度信号Ｙ，色信号Ｃｂ，Ｃｒで、同じ方向に補間するためである。高解像化対象映像信号の輝度信号Ｙ，色信号Ｃｂ，Ｃｒは、それぞれに設けられた方向性補間フィルタ１２、１３及び１４に入力される。

方向性補間フィルタ１２は、輝度信号用方向性補間フィルタで、高解像化対象映像信号の輝度信号Ｙの高解像度化のための補間画素の生成時に用いる予め定められた所定の複数画素からなる画素群に対して、方向検出部１１で検出された補間方向に応じて切り替えられるフィルタ係数に基づいてフィルタ処理を行って補間画素を生成し、入力画素群の原点画素と補間画素からなる画素データを拡大輝度信号として出力する。方向性補間フィルタ１２の構成及び動作の詳細は後述する。

方向性補間フィルタ１３は色信号Ｃb用方向性補間フィルタ、方向性補間フィルタ１４は色信号Ｃr用方向性補間フィルタで、それぞれ方向性補間フィルタ１２と同様の構成により、高解像度化対象映像信号の色信号Ｃb、Ｃrに対して、方向検出部１１で検出された補間方向に応じて切り替えられるフィルタ係数に基づいてフィルタ処理を行って補間画素を生成し、入力画素群の原点画素と補間画素とからなる画素データを拡大色信号Ｃb、Ｃrとして出力する。

タイミング生成部１５は、高解像度化対象映像信号の同期信号を、方向性補間フィルタ１２〜１４において拡大輝度信号、拡大色信号Ｃb、Ｃrを出力するまでに要する時間遅れに対応した時間遅延するなどのタイミング生成処理を行って拡大同期信号を出力する。ここでいう同期信号としては、水平同期信号や垂直同期信号、画素クロックやデータ有効期間を示すデータイネーブル信号などを指す。

次に、方向検出部１１の構成及び動作について説明する。図２は、方向検出部１１の一実施の形態のブロック図を示す。図２に示すように、方向検出部１１は、６×６画素バッファ１１１、閾値算出部１１２、二値化処理部１１３、パターンマッチング部１１４、パターン番号方向変換テーブル１１５からなる。

６×６画素バッファ１１１は、高解像度化のための補間画素の生成時に用いる、輝度信号Ｙの補間画素の周辺の所定の複数画素からなる画素群として、図３に示すような、縦方向６画素及び横方向６画素からなる計３６画素の画素群単位で画素データを出力する。ここで、図３において、白丸が入力輝度信号の画素を示し、黒丸が後述する補間画素を示す。

図４は、６×６画素バッファ１１１の一例のブロック図を示す。図４において、輝度信号の画素データは、６×６画素データ作成部１１１６に送られると共に、５個のラインメモリ１１１１〜１１１５が縦続接続（所謂数珠繋ぎ）された回路の先頭のラインメモリ１１１１に入力される。ラインメモリ１１１１〜１１１５は、それぞれ入力された画素データを１水平同期期間遅らせて出力する。ラインメモリ１１１１〜１１１４は、各々１水平同期期間遅延した画素データを次段のラインメモリ１１１２〜１１１５に供給し、ラインメモリ１１１１〜１１１５は、各々１水平同期期間遅延した画素データを６×６画素データ作成部１１１６に供給する。

これにより、６×６画素データ作成部１１１６は、現在のラインの画素データとラインメモリ１１１１〜１１１５から供給される１〜５水平同期期間前の画素データとを合わせて、６ラインの画素データが同時に供給される。６×６画素データ作成部１１１６は、１画素時間分遅延させるフリップフロップが６画素分数珠繋ぎとなっており、水平方向の６画素のデータセットを作成する。これによって、６×６画素データを作成できる。このようにして、６×６画素バッファ１１１は、図３に白丸で示す３６画素を６×６画素データとして生成し、その６×６画素データを、図２の閾値算出部１１２と二値化処理部１１３へ供給する。図３に白丸で示す３６画素は、黒丸で示す補間画素の周辺画素である。

図５は、閾値算出部１１２の一例のブロック図を示す。図５において、閾値算出部１１２に入力された６×６画素データは、水平隣接最小最大検出部１１２１、垂直隣接最小最大検出部１１２２、及び中心４点平均算出部１１２８にそれぞれ供給される。

水平隣接最小最大検出部１１２１は、６×６画素データを水平方向にスキャンし、各画素毎に水平方向の隣接画素と画素値を比較して最小及び最大となる画素を検出し、その検出結果を示す６×６の水平スキャンの最大最小値画素情報を生成して、右上左下縦傾斜線検出部１１２３及び左上右下縦傾斜線検出部１１２４にそれぞれ供給する。ここで、一例として閾値算出部１１２１に入力された６×６画素データの画像が図６（Ａ）に示すような右上から左下方向への傾斜線であるものとし、また、その６×６画素データの各画素値が図６（Ｂ）に示す値であるものとすると、水平隣接最小最大検出部１１２１は、図７に示すように、画素毎に左右に隣接する２画素の画素値と比較し、隣接する２画素の画素値よりも画素値が小さい画素の位置には”−”、大きい画素の位置には”＋”、それ以外の画素の位置には何も示さない情報を上記６×６の水平スキャンの最大最小値画素情報として生成する。なお、６×６画素データの各画素のうち左端又は右端の画素は隣接する１画素の画素値と比較して水平スキャンの最大最小値画素情報を生成する。

図５に戻って説明するに、垂直隣接最小最大検出部１１２２は、６×６画素データを垂直方向にスキャンし、各画素毎に垂直方向の隣接画素と画素値を比較して最小及び最大となる画素を検出し、その検出結果を示す６×６の垂直スキャンの最大最小値画素情報を生成して、右上左下横傾斜線検出部１１２５及び左上右下横傾斜線検出部１１２６にそれぞれ供給する。６×６の垂直スキャンの最大最小値画素情報は、スキャン方向が異なるだけで図７に示した６×６の水平スキャンの最大最小値画素情報と同様な情報である。

右上左下縦傾斜線検出部１１２３は、水平スキャンの最大最小値画素情報を基に、縦方向に右上から左下にかけての傾斜線を後述する方法で検出し、その検出が成功したか失敗したかの情報と閾値候補を方向選択部１１２７に供給する。左上右下縦傾斜線検出部１１２４は、水平スキャンの最大最小値画素情報を基に、縦方向に左上から右下にかけての傾斜線を同様に検出し、その検出が成功したか失敗したかの情報と閾値候補を方向選択部１１２７に供給する。

右上左下横傾斜線検出部１１２５は、垂直スキャンの最大最小値画素情報を基に、横方向に右上から左下にかけての傾斜線を後述する方法で検出し、検出が成功したか失敗したかの情報と閾値候補を方向選択部１１２７に供給する。また、左上右下横傾斜線検出部１１２６は、垂直スキャンの最大最小値画素情報を基に、横方向に左上から右下にかけての傾斜線を同様に検出し、検出が成功したか失敗したかの情報と閾値候補を方向選択部１１２７に供給する。

方向選択部１１２７は、４つの傾斜線検出部１１２３、１１２４、１１２５及び１１２６から供給される検出が成功したか失敗したかの情報と閾値候補とから、傾斜線検出信号と傾斜線閾値とを生成する。

すなわち、方向選択部１１２７は、右上左下縦傾斜線検出部１１２３の検出成功結果をａ，左上右下縦傾斜線検出部１１２４の検出成功結果をｂ，右上左下横傾斜線検出部１１２５の検出成功結果をｃ，左上右下横傾斜線検出部１１２６の検出成功結果をｄとすると、傾斜線検出信号を、以下の演算で求める。

傾斜線検出信号＝((a||c)&!(b||d))||(!(a||c)&(b||d)) (1)
この演算の意味するところは、右上左下方向と左上右下方向の検出成功が同時に成立した場合、傾斜線の方向が判断できないため傾斜線不検出とし、また右上左下方向と左上右下方向のどちらか一方が検出成功の場合は傾斜線検出とし、どちらも検出成功でなく成立しない場合、傾斜線不検出とする検出結果を示す。

更に、方向選択部１１２７は、傾斜線検出できた場合、４つの傾斜線検出部１１２３、１１２４、１１２５及び１１２６のうち傾斜線検出の要因となった傾斜線検出部から供給される閾値候補を傾斜線閾値として出力する。ここで、方向選択部１１２７は、右上左下縦傾斜線検出部１１２３から供給される閾値候補をthr_a、左上右下縦傾斜線検出部１１２４から供給される閾値候補をthr_b、右上左下横傾斜線検出部１１２５から供給される閾値候補をthr_c、左上右下横傾斜線検出部１１２６から供給される閾値候補をthr_dとすると、傾斜線閾値diag_thrを、以下の条件で求める。

if (a) diag_thr=thr_a;
else if (b) diag_thr=thr_b;
else if (c) diag_thr=thr_c;
else if (d) diag_thr=thr_d;
else diag_thr=0;
一方、中心４点平均算出部１１２８は、６×６画素データの中心部分にあたる４画素の平均値を算出して、閾値選択部１１２９へ出力する。閾値選択部１１２９は、方向選択部１１２７から供給される傾斜線検出信号が不検出を示している場合、中心４点平均算出部１１２８からの中心４点平均値を選択し、閾値として出力する。誤った方向を閾値として検出して方向性補間を行うと大きなノイズが発生するが、上記の中心４点平均値を閾値とすることで、方向性補間を行わず既存のバイリニアフィルタで補間することとなり、誤検出によるノイズの抑制ができる。また、閾値選択部１１２９は、傾斜線検出信号が検出成功を示している場合、方向選択部１１２７から供給される傾斜線閾値を選択し、閾値として出力し、後述するように滑らかな線の補間を実現する。

図２に戻って説明する。二値化処理部１１３は、上記のようにして閾値算出部１１２から出力された閾値と、６×６画素バッファ１１１から供給される６×６画素データの各画素の画素値とを比較し、６×６画素データのうち閾値以下の画素値の画素の値を「０」とし、閾値を越える画素値の画素の値を「１」とした、６×６画素二値画像データを生成してパターンマッチング部１１４へ出力する。

パターンマッチング部１１４は、内部に複数パターンを用意しており、この複数パターンのうち入力された６×６画素二値画像データの３６画素が一致又は最も近似しているパターンを求め、求めたパターンのパターン番号を出力する。例えば、パターンマッチング部１１４は、図８のブロック図に示すように、入力された６×６画素二値画像データの３６画素が示すパターンと、互いに異なるパターン＃０〜パターン＃１０２３の１０２４個のパターンをそれぞれ記憶しているメモリ１１４１からのパターンとを、パターン毎に設けられたパターン一致検出部１１４２においてそれぞれ比較して一致検出し、その検出結果をプライオリティ・エンコーダ１１４３へ出力する。

ここで、仮にメモリ１１４１に記憶されているパターン＃２が図９に示すパターンとする。一方、入力された６×６二値画像データのパターンが図１０に示すパターンであるものとする。この場合、図９において×で示す画素部分と図１０において斜線で示す黒の画素部分とが一致し、図９において〇で示す画素部分と図１０において白地の白の画素部分とが一致し、また図９の無印の画素部分を一致範囲から省くと、入力された６×６二値画像データのパターンはパターン＃２のパターンと一致することがわかる。この時、パターン＃２のパターンとの一致検出を行うパターン一致検出部１１４２は、一致成立信号を出力する。

図８のプライオリティ・エンコーダ１１４３は、１０２４個のパターン一致検出部１１４２のうちパターンが一致したパターン一致検出部から一致成立信号が入力され、パターン毎に割り当てられたパターン番号を記憶する内蔵のパターン番号方向変換テーブルを参照して、一致成立信号により一致検出されたパターンのパターン番号を図２のパターン番号方向変換テーブル１１５へ出力する。なお、プライオリティ・エンコーダ１１４３は、複数の一致成立信号が同時に入力された場合、パターン番号方向変換テーブルを参照して、一致成立信号により一致検出されたパターンのパターン番号のうち、例えば最も大きいパターン番号を、パターンマッチング部１１４が出力する最終的なパターン番号として図２のパターン番号方向変換テーブル１１５へ出力する。一致成立信号の入力の無い場合、デフォルトのパターン番号を出力する。

図１１は、パターン番号方向変換テーブル１１５の一例を示す。図１１に示すように、パターン番号方向変換テーブル１１５は、パターン番号と方向との対応が記述されたテーブルである。このパターン番号方向変換テーブル１１５は、リード・オンリ・メモリ（ＲＯＭ；Read Only Memory）に記憶しておいてもよいし、テーブルを書き換えられるように、ランダム・アクセス・メモリ（ＲＡＭ；Random Access Memory）として実装してもよい。

パターン番号方向変換テーブル１１５は、パターンマッチング部１１４から供給されるパターン番号に対応する方向に変換する。従って、パターン番号方向変換テーブル１１５は、パターン＃２のパターン番号２が入力された場合、図１１から分かるように方向として「５」を示す方向信号を出力する。このパターン番号方向変換テーブル１１５が出力する方向信号は、図１の方向性補間フィルタ１２、１３及び１４にそれぞれ供給される。

方向性補間フィルタ１２、１３及び１４はそれぞれ同一構成であり、例えば図１２のブロック図に示す構成とされている。図１２に示すように、方向性補間フィルタは、高解像度化対象映像信号の輝度信号または色信号の画素データが供給される６×６画素バッファ２１と、図１〜図１１とともに説明した方向検出部１１から方向信号が供給される３つの係数テーブル２２₀、２２₁及び２２₂と、原点抽出部２３と、３つの６×６フィルタ２４₀、２４₁及び２４₂とから構成される。

６×６画素バッファ２１は、高解像度化対象映像信号の輝度信号または色信号の画素データは、図４に示した６×６画素バッファ１１１と同様の構成により、入力画素データを縦方向６画素及び横方向６画素からなる図３に示したような計３６画素の画素データを出力する。係数テーブル２２₀、２２₁及び２２₂は、図３に示した３６画素の中心付近の補間画素ｏ0、ｏ1、ｏ2における補間方向を示す方向信号に応じて６×６係数データを切り替えて生成する。これにより、係数テーブル２２₀、２２₁及び２２₂は、例えば、前述した方向「５」を示す方向信号が入力されたときには、図１３に示すような６×６係数データを出力する。この６×６係数データは、６×６画素のうち方向「５」が示すパターンの６つの黒画素に対応する画素位置が係数「１／６」で、それ以外の画素位置では「０」である係数データである。

また、係数テーブル２２₀、２２₁及び２２₂は、デフォルトを示す方向信号が入力されたときには、デフォルトの補間方法であるバイリニアやバイキュービック用の係数データを出力する。

６×６フィルタ２４₀、２４₁及び２４₂は、係数テーブル２２₀、２２₁及び２２₂に１対１に対応して設けられており、係数テーブル２２₀、２２₁及び２２₂から供給される６×６係数データと、６×６画素バッファ２１から共通に供給される６×６画素データとを各画素位置で乗算し、その乗算結果を合計した結果を補間画素ｏ0、ｏ1、ｏ2における画素データとする。例えば、６×６画素データが図６（Ｂ）に示すデータであり、また、６×６係数データが図１３に示す係数データである場合、６×６フィルタ２４₀、２４₁及び２４₂は、以下の演算を行う（係数０の項は、記述省略）。

フィルタ出力＝補間画素データ＝0*1/6＋30*1/6＋62*1/6＋93*1/6＋40*1/6＋20*1/6
＝４０.６
このように、係数テーブル２２₀、２２₁及び２２₂と６×６フィルタ２４₀、２４₁及び２４₂は、補間画素ｏ0，ｏ1，ｏ2それぞれに対応して設けられ、補間画素位置に応じた演算がなされる。

原点抽出部２３は、６×６画素バッファ２１から供給される図３に示した画素配置の６×６画素データから、その中心位置の図３に「８」で示す画素位置の画素データを原点画素データとして取り出す。

このようにして、方向性補間フィルタ１２〜１４において原点画素データと補間画素ｏ0、ｏ1、ｏ2における画素データの組が生成され、それの画素データの組が拡大画素データとして出力される。すなわち、方向性補間フィルタ１２は拡大輝度信号Ｙを出力し、方向性補間フィルタ１３はを拡大色信号Ｃbを出力し、方向性補間フィルタ１４は拡大色信号Ｃrを出力する。

次に、本発明の要部である閾値算出部１１２について更に詳細に説明する。

二値化処理部１１３における閾値を、補間画素の周辺の４画素の画素値平均値とすると、細線を二値化した際に、かすれたり途切れることがあり、その結果、かすれた部分において、方向検出ができず、エッジ方向の補間を行うことができないことがある。この細線がかすれる原因について、例えば図１４（Ａ）に斜線で示すように、閾値を決めている４画素上を１画素幅程度の細線が通過する場合を例にとって説明する。

白の画素値を「２５５」、黒の画素値を「０」とし、また、上記４つの画素の画素値を図１４（Ｂ）に示すように「１１５」、「６２」、「９３」、「９２」であるものとすると、それらの平均値は「９０.５」となる。これを上記の閾値とすると、画素値が閾値より小さな「６２」の値の右上の画素は黒に、画素値が閾値より大きなその他の３画素は白に二値化される。その結果、連続した線として二値化されず、図１４（Ｃ）に示すように二値化処理後の画像はかすれたり途切れた線となる。

線がかすれたり途切れた場合、そこで画素間の相関性検出が途切れるため、相関性が検出された方向に補間を行うことができず、線の終端として扱うか、相関性が検出できなかった場合にデフォルトとしている従来のバイリニアやバイキュービックなどの補間方法を適用することになる。そのため、検出した補間方向に応じて補間フィルタで画素データを拡大処理した際、線方向に沿った補間によって作られた滑らかな線の途中に、デフォルトの補間方法が持つ欠点であるぼけやジャギーが発生し、滑らかな線が途切れてしまう。

そこで、閾値算出部１１２は、二値化する前に線を検出し、線が検出された場合、線が分断されない閾値を設定することで、二値化した際に細線がかすれや分断されることなく、線に沿った補間を行えるようにしたものである。

そのため、図５に示した閾値算出部１１２内の右上左下縦傾斜線検出部１１２３は、図１５に示すフローチャートの処理を行い、右上左下横傾斜線検出部１１２５は、図１６に示すフローチャートの処理を行う。なお、左上右下縦傾斜線検出部１１２４は、注目点の移動方向が異なるだけで図１５に示すフローチャートと同様の処理を行い、左上右下横傾斜線検出部１１２６は、注目点の移動方向が異なるだけで図１６に示すフローチャートと同様の処理を行うので、代表して右上左下縦傾斜線検出部１１２３と右上左下横傾斜線検出部１１２５の動作について説明する。

図１５に示すように、右上左下縦傾斜線検出部１１２３は、まず検出の開始点を６×６画素データの中心４点（画素）の中から一つの画素を選び、それを注目点とする（ステップＳ１）。６×６画素データが例えば図３に示した画素データであるものとすると、中心４点（画素）は、「８」、「９」、「１４」、「１５」で示す画素位置の４つの画素である。中心４点（画素）の中からどれを注目点として選ぶかの順番は、予め決められた順番でよい。続いて、注目点に最大最小値画素情報があるかを調べる（ステップＳ２）。注目点に最大最小値画素情報がなければ（ステップＳ２のＮ）、中心４点（画素）すべて開始点としたかを判定し（ステップＳ１３）、すべて開始点としていた場合は検出失敗とし（ステップＳ１６）、すべて開始点としていなければ、ステップＳ１に戻り中心４点（画素）のうち次の順番の点を開始点として選ぶ。

注目点に最大最小値画素情報があれば（ステップＳ２のＹ）、開始点の画素値を最大値及び最小値の初期値に設定する（ステップＳ３）。続いて、右上左下縦傾斜線検出部１１２３は、注目点の真上もしくは右上の画素位置に開始点と同じ最大最小値画素情報があれば、注目点をその画素位置に移す（ステップＳ４）。

ここで、縦線や縦線に近い傾斜の場合、水平方向のスキャンによって検出する。水平隣接最小最大検出部１１２１は、水平方向にスキャンし、水平方向に隣接する左右２画素の画素値よりも小さな画素値をとる画素か、大きな画素値をとる画素かを示す最大最小値画素情報を出力する。いま、６×６画素データが示す画像が、図６（Ａ）に示すような右上から左下方向へ傾斜した傾斜線であり、そのときの画素の値を図６（Ｂ）であるものとすると、上記最大最小値画素情報は前述したように図７に示したように表されるが、これを右隣及び左隣の両画素より小さな値をとる画素を黒で表示すると、図１７で表すことができる。

右上左下縦傾斜線検出部１１２３は、ステップＳ１では、図１８の二重丸の画素を開始点として選び、それを注目点とする。また、ステップＳ４において、水平隣接最小最大検出部１１２１から供給される最大最小値画素情報に基づいて、注目点の真上もしくは右上の画素位置に開始点と同じ最大最小値画素情報があったらそこに注目点を移す。従って、図１７に示す最大最小値画素情報によれば、図１８に二重丸で示す注目点から真上の画素が開始点と同じ黒で示された画素であるので、図１９に二重丸で示すように真上の画素が次の注目点とされる。

続いて、右上左下縦傾斜線検出部１１２３は、注目点が移動したかどうかを判定し（ステップＳ５）、移動していなければそこで探索を打ち切ってステップＳ１３に進み、中心４点全部開始点としたかを判定する。一方、注目点が移動していればステップＳ６に進み、注目点の画素値をステップＳ３で設定した最大値及び最小値と比較し、大きければ最大値を、小さければ最小値を更新する。続いて、注目点が６×６画素範囲の上端に達したか否かを判定する（ステップＳ７）。こうして注目点が上端に達するまで、ステップＳ４〜Ｓ７の処理を繰り返す。ここでは、注目点が移動しており、注目点が上端に達したと判定すると（ステップＳ７のＹ）、注目点を図１８に二重丸で示した開始点に戻す（ステップＳ８）。ステップＳ８の段階で図２０のトレース経路が得られる。

ステップＳ８に続いて、右上左下縦傾斜線検出部１１２３は、下方向の探索を行うために、水平隣接最小最大検出部１１２１から供給される最大最小値画素情報に基づいて、図２１に示すように二重丸で示す注目点（開始点）の真下もしくは左下の画素位置に開始点と同じ最大最小値画素情報値があったらそこに注目点を移す（ステップＳ９）。図１７に示す最大最小値画素情報によれば、図２１に二重丸で示す注目点（開始点）から真下の画素が開始点と同じ黒で示された画素であるので、図２２に二重丸で示すように真下の画素が次の注目点とされる。

続いて、右上左下縦傾斜線検出部１１２３は、注目点が移動したかどうかを判定し（ステップＳ１０）、移動していなければそこで探索を打ち切ってステップＳ１３に進み、中心４点全部開始点としたかを判定する。一方、注目点が移動していれば右上左下縦傾斜線検出部１１２３は、注目点の画素値をステップＳ６で更新した最大値及び最小値と比較し、大きければ最大値を、小さければ最小値を更新する。続いて、ステップＳ１２に進み注目点が６×６画素範囲の下端に達したか否かを判定する。こうして注目点が下端に達するまで、ステップＳ９〜Ｓ１２の処理を繰り返す。ここでは、注目点が移動しており、注目点が下端に達したと判定すると（ステップＳ１２のＹ）、図２３に示す注目点のトレース経路が得られる。

ステップＳ１２で注目点が下端に達したと判定された場合、続いて、右上左下縦傾斜線検出部１１２３は、注目点のトレース経路での画素値の最大値及び最小値を求め、開始点が”＋”なら最小値を、”−”なら最大値を閾値候補とする（ステップＳ１４）。図７と共に説明したように”＋”とは左右に隣接する２画素よりも画素値が大きい画素であり、”−”とは左右に隣接する２画素よりも画素値が小さい画素を示す。ステップＳ１４により閾値候補が得られたときは右上左下縦傾斜線検出部１１２３は、検出成功を示す信号を出力する。

ここでは、図２０に示した真上方向のトレース経路と、図２３に示した左下方向のトレース経路が得られるので、右上左下縦傾斜線検出部１１２３は、これらを合成することで図２４に示すようなトレース経路に基づいて右上から左下方向への斜め線検出を行うことができる。

ここで、右上左下縦傾斜線検出部１１２３が図６（Ａ）に示した６×６画素データの画像の斜め線検出を行った場合、検出された図２４に示したトレース経路上にある画素の値は、図６（Ｂ）に示すように上から順に、「０」，「３０」，「６２」，「９２」，「４０」，「２０」である。この場合、開始点は図１８及び図２１に二重丸で示したように６×６画素範囲の左端から４番目で下端から４番目の位置にある画素であり、その開始点は図７とともに説明したように、”−”であるので、右上左下縦傾斜線検出部１１２３は、ステップＳ１４からトレース経路上の最大値である「９２」を閾値候補とする。

上記のアルゴリズムによれば、左上から右下方向の斜め線検出には、引っかからない。また、左上右下縦傾斜線検出部１１２４は、図２５に示すように二重丸で示す移動した注目点から真下もしくは右下の画素に開始点と同じ最大最小値情報の画素（黒の画素）があれば、次の注目する画素をそこへ移す。しかし、図６（Ａ）に示した６×６画素データの画像の斜め線検出を行った場合、下端に到達する位置には黒の画素が無いため、左上右下縦傾斜線検出部１１２４は、左上から右下方向の斜め線は検出しない。

ここで、方向検出対象の６×６画素データの画像が図２６に示すような縦線の場合、右上から左下への斜め線検出及び左上から右下への斜め線検出の双方が成立する。この縦線を除外する方法として、２つ考えられる。

一つ目の方法は、同一座標からスタートし得られた図２７に示すトレース経路の上端及び下端の水平方向座標が同一の場合、縦線として判定し、右上から左下への斜め線検出及び左上から右下への斜め線検出双方の検出結果を無効とする方法である。二つ目の方法は、同一座標からスタートし得られた図２７に示すトレース経路に対し、右上から左下への斜め線検出及び左上から右下への斜め線検出両方が成立した場合、それら双方の成功検出結果が得られたとき無効とする方法である。

次に、右上左下横傾斜線検出部１１２５の動作について、図１６に示すフローチャートと共に説明する。

右上左下横傾斜線検出部１１２５は、まず検出の開始点を６×６画素データの中心４点（画素）の中から一つの画素を選び、それを注目点とする（ステップＳ２１）。中心４点（画素）の中からどれを注目点として選ぶかの順番は、予め決められた順番でよい。続いて、注目点に最大最小値画素情報があるかを調べる（ステップＳ２２）。注目点に最大最小値画素情報がなければ（ステップＳ２２のＮ）、中心４点（画素）すべて開始点としたかを判定し（ステップＳ３３）、すべて開始点としていた場合は検出失敗とし（ステップＳ３６）、すべて開始点としていなければ、ステップＳ２１に戻り中心４点（画素）のうち次の順番の点を開始点として選ぶ。

注目点に最大最小値画素情報があれば（ステップＳ２２のＹ）、開始点の画素値を最大値及び最小値の初期値に設定する（ステップＳ２３）。続いて、右上左下横傾斜線検出部１１２５は、注目点の右もしくは右上の画素位置に開始点と同じ最大最小値画素情報があれば、注目点をその画素位置に移す（ステップＳ２４）。

ここで、横線や横線に近い傾斜の場合、垂直方向のスキャンによって検出する。垂直隣接最小最大検出部１１２２は、垂直方向にスキャンし、垂直方向に隣接する上下２画素の画素値よりも小さな画素値をとる画素か、大きな画素値をとる画素かを示す最大最小値画素情報を出力する。

続いて、右上左下横傾斜線検出部１１２５は、注目点が移動したかどうかを判定し（ステップＳ２５）、移動していなければそこで探索を打ち切ってステップＳ３３に進み、中心４点全部開始点としたかを判定する。一方、注目点が移動していればステップＳ２６に進み、注目点の画素値をステップＳ２３で設定した最大値及び最小値と比較し、大きければ最大値を、小さければ最小値を更新する。続いて、注目点が６×６画素範囲の右端に達したか否かを判定する（ステップＳ２７）。こうして注目点が右端に達するまで、ステップＳ２４〜Ｓ２７の処理を繰り返し、右端に達した場合は注目点を開始点に戻す（ステップＳ２８）。

ステップＳ２８に続いて、右上左下横傾斜線検出部１１２５は、左方向の探索を行うために、垂直隣接最小最大検出部１１２２から供給される最大最小値画素情報に基づいて、注目点（開始点）の左もしくは左下の画素位置に開始点と同じ最大最小値画素情報値があったらそこに注目点を移す（ステップＳ２９）。続いて、右上左下横傾斜線検出部１１２５は、注目点が移動したかどうかを判定し（ステップＳ３０）、移動していなければそこで探索を打ち切ってステップＳ３３に進み、中心４点全部開始点としたかを判定する。一方、注目点が移動していれば右上左下横傾斜線検出部１１２５は、注目点の画素値をステップＳ２６で更新した最大値及び最小値と比較し、大きければ最大値を、小さければ最小値を更新する。続いて、ステップＳ３２に進み注目点が６×６画素範囲の左端に達したか否かを判定する。こうして注目点が左端に達するまで、ステップＳ２９〜Ｓ３２の処理を繰り返す。

ステップＳ３２で注目点が左端に達したと判定された場合、続いて、右上左下横傾斜線検出部１１２５は、注目点のトレース経路での画素値の最大値及び最小値を求め、開始点が”＋”なら最小値を、”−”なら最大値を閾値候補とする（ステップＳ３４）。ここで”＋”とは上下に隣接する２画素よりも画素値が大きい画素であり、”−”とは上下に隣接する２画素よりも画素値が小さい画素を示す。ステップＳ３４により閾値候補が得られたときは右上左下横傾斜線検出部１１２５は、検出成功を示す信号を出力する。これにより、横線や横線に近い傾斜線を検出することができる。

方向選択部１１２７は、４つの傾斜線検出部１１２３〜１１２６の傾斜線検出結果を（１）式に従って演算することで、特定方向の斜め線検出をした傾斜線検出信号を生成することができる。この例では、特定方向として、縦方向，横方向，縦に近い左上から右下方向，縦に近い右上から左下方向，横に近い左上から右下方向，横に近い右上から左下方向が検出できる。

次に、本実施の形態の閾値算出部１１２により得られた閾値によって６×６画素データを二値化した場合の効果について、特許文献１記載のように中心４点平均値の閾値によって６×６画素データを二値化した場合と比較して説明する。

本実施の形態の閾値算出部１１２により得られた閾値によって、例えば図６（Ａ）、（Ｂ）に示す６×６画素データを二値化した場合の画像は図１０に示される。図１０は閾値以下の画素を斜線を付して示す黒の画素で表している。

一方、図６（Ａ）、（Ｂ）に示す６×６画素データの中心４点平均値は「６５.５」であり、この閾値を用いて図６（Ａ）に示す画素データを二値化した場合の画像が図２８に示される。図２８は閾値以下の画素を斜線を付して示す黒の画素で表している。図１０の画像と図２８の画像とを比較すると、本実施の形態により得られる図１０の画像には、中心４点平均値の閾値によって６×６画素データを二値化した図２８の画像のような線がかすれたり、分断される部分がないことが分かる。

次に、本実施の形態の閾値算出部１１２により得られた閾値によって６×６画素データを二値化した場合と、特許文献１記載のように中心４点平均値の閾値によって６×６画素データを二値化した場合の、図２９にＯ0で示される中心となる補間点の値について説明する。

２値化された６×６二値画像データに対し、斜め線パターンを含むデータ群と比較し、パターンマッチング処理を行い、適用する方向性フィルタを決定する処理があるとする。中心４点平均値の閾値で２値化された場合、６×６二値画像データでは前述したように斜め線が途切れているため、パターンマッチング処理の結果として、一致するパターンが見つからず、通常のバイリニアフィルタを用いると、図６（Ｂ）に示した６×６画素データの中心４点の図２９の中心の補間画素ｏ0の値は、図６（Ｂ）に示した６×６画素データの中心４点の画素値の平均値である「９０.５」となる。その結果、補間画素ｏ0の周辺画素との画素値の差が少なく、かすれたり途切れて見える。

これに対し、本実施の形態では、方向性補間フィルタ１２、１３及び１４が、前述した図１３に示される係数をもつ６×６フィルタ２４₀を用いるため、補間画素ｏ0の値は「４０.６」となる。その結果、補間画素ｏ0の値が周辺画素よりも黒に近づくことで、通常のバイリニアフィルタで補間した場合に比べ、かすれたり途切れず、線が黒くはっきりすることで、解像感が向上する。

また、図３０（Ａ）に示すようなＣＺＰ（Circular Zone Plate）などのテストチャートにおいて、１画素の大ききと線の幅が近い線が繰り返すところ（図３０（Ａ）の中央の四角部分）では、６×６画素データが図３０（Ｂ）に示すようになり、最大値をトレースした線と最小値をトレースした線とが隣接してしまい、誤った傾斜を検出することがある。

図３０（Ｂ）に示す６×６画素データを水平スキャンし、図７と同様にスキャン結果を各画素が左右に隣接する２画素の画素値より大きいとき”＋”、小さいとき”−”、いずれでもないときは空白で表すものとすると、図３１に示す水平スキャン結果が得られる。図３１に矢印ａで指した部分に着目すると、右上左下方向の傾斜線と左上右下方向の傾斜線の両方が検出される。どちらかの傾斜線結果を無理にとろうとし、誤った方向を抽出して方向性補間を行うと、異なる線同士を補間することがあり、大きなノイズとなる。しかし、本実施の形態では、前述したように閾値選択部１１２９は方向選択部１１２７から異なる傾斜線が両方検出したことを示す傾斜線検出信号が入力された場合には、中心４点平均算出部１１２８からの中心４点平均値を閾値として選択することで通常のバイリニアフィルタで補間するようにしたため、誤検出によるノイズの抑制ができる。

このように、本実施の形態の映像信号処理装置１０によれば、エッジ方向の検出を画素値の演算によって求めずに、周辺画像を所定の方法にて閾値を生成し、その閾値により二値化した二値画像を予め用意された数多くの図３２に示すような対称形パターンや図３３に示すような非対称形パターンとパターンマッチングして補間方向の検出を行うことにより、例えば図３４に示す「大」の字の丸で囲んだ部分のように急激なエッジ変化を起こす画像に対しても、その急激なエッジ変化に安定的に追従でき、エラーが少なく滑らかな斜め線補間ができる。なお、図３３及び図３４において、×で示す画素部分は黒の画素部分に相当し、○で示す画素部分は白の画素部分に相当する。

また、本実施の形態の映像信号処理装置１０によれば、周辺画像を二値化する前に傾斜線を検出し、傾斜線が検出された場合、その傾斜線が分断されない閾値を設定してその閾値に基づいて二値化することで、二値化した画像の細線がかすれや分断されることなく、補間の結果、細線が黒くはっきりすることで解像感を向上できる。更に、本実施の形態の映像信号処理装置１０によれば、閾値生成の際に右上左下方向と左上右下方向の異なる傾きの傾斜線の両方を検出した場合は、方向性補間を行わずバイリニアフィルタで補間することで、誤検出によるノイズの抑制ができる。

なお、上記の実施の形態では、６種類の方向（すなわち、縦方向、横方向、縦に近い左上から右下方向、縦に近い右上から左下方向、横に近い左上から右下方向、横に近い右上から左下方向）を検出したが、本発明はこれに限定されるものではなく、補間精度に応じ、トレース経路をトレースした際に到達する端の座標を限定する等により、必要とされる精度の方向検出を行うことが可能である。また、右上左下横傾斜線検出部１１２５及び左上右下横傾斜線検出部１１２６は、水平隣接最小最大検出部１１２１の水平スキャン結果を９０度回転したスキャン結果に対して横傾斜線検出を行うことも可能である（その逆も可能）。

１０映像信号処理装置
１１方向検出部
１２、１３、１４方向性補間フィルタ
１５タイミング生成部
２２₀〜２２₂ 係数テーブル
２３原点抽出部
２４₀〜２４₂ ６×６フィルタ
２１、１１１６×６画素バッファ
１１２閾値算出部
１１３二値化処理部
１１４パターンマッチング部
１１５パターン番号方向変換テーブル
１１１１〜１１１５ラインメモリ
１１１６６×６画素データ作成部
１１２１水平隣接最小最大検出部
１１２２垂直隣接最小最大検出部
１１２３右上左下縦傾斜線検出部
１１２４左上右下縦傾斜線検出部
１１２５右上左下横傾斜線検出部
１１２６左上右下横傾斜線検出部
１１２７方向選択部
１１２８中心４点平均算出部
１１２９閾値選択部
１１４１パターン格納メモリ
１１４２パターン一致検出部
１１４３プライオリティ・エンコーダ

Claims

高解像度化のための補間画素の生成時に用いる、高解像度化対象映像信号中の輝度信号の前記補間画素の周辺の所定の複数画素からなる画素群を所定方向にスキャンして、前記複数画素の各画素が、隣接画素の画素値より大きい値の第１の画素であるか小さい値の第２の画素であるかを示す最大最小値画素情報を生成する最大最小値画素情報生成手段と、
前記最大最小値画素情報に基づき、前記画素群の中心付近の画素が前記第１の画素であるときはその中心付近の画素を開始点として同じ第１の画素である隣接する２以上の画素の集合を前記画素群の一端までトレースし、前記画素群の中心付近の画素が前記第２の画素であるときはその中心付近の画素を開始点として同じ第２の画素である隣接する２以上の画素の集合を前記画素群の一端までトレースしてトレース方向の傾斜線が存在すると検出し、前記開始点の画素が前記第１の画素であるときは検出した前記傾斜線を示す前記トレースの経路中の画素の最小値を閾値として出力し、前記開始点の画素が前記第２の画素であるときは前記トレースの経路中の画素の最大値を閾値として出力し、前記中心付近の画素に前記第１の画素又は前記第２の画素が隣接せずトレースができないときは、前記画素群の中心付近の４画素の画素値平均値を閾値として出力する閾値算出手段と、
前記閾値算出手段から出力された前記閾値に基づき、前記画素群を構成する前記複数画素の画素データをニ値化してニ値画像データを生成するニ値化処理手段と、
前記ニ値画像データの画像のパターンが、予め用意した複数のパターンのうちどのパターンと一致又は最も近似しているかのパターンマッチングを行うパターンマッチング手段と、
前記パターンマッチング手段から出力されたパターンマッチング結果を補間方向に変換する補間方向変換手段と、
前記補間方向変換手段から供給される前記補間方向に応じてフィルタ係数が切り替えられ、そのフィルタ係数に基づいて前記高解像度化対象映像信号のフィルタ処理を行い、拡大映像信号を出力する方向性補間フィルタ手段と
を有することを特徴とする映像信号処理装置。
前記閾値算出手段は、前記傾斜線検出結果が複数の異なる方向の傾斜線を示しているときには、その傾斜線検出結果を無効とし、前記画素群の中心付近の４画素の画素値平均値を閾値として出力することを特徴とする請求項１記載の映像信号処理装置。
前記閾値算出手段は、前記画素群の中心付近の画素として、前記画素群の中心付近の４つの画素のうちの予め定めた順番の一画素を前記開始点として前記トレースを行い、前記トレースができないときは次の順番の一画素を前記開始点として前記トレースを行うことを、前記トレースにより前記傾斜線検出結果が得られるまで前記画素群の中心付近の４つの画素を前記開始点に順次切り替えて前記トレースを行うことを特徴とする請求項１記載の映像信号処理装置。
高解像度化のための補間画素の生成時に用いる、高解像度化対象映像信号中の輝度信号の前記補間画素の周辺の所定の複数画素からなる画素群を所定方向にスキャンして、前記複数画素の各画素が、隣接画素の画素値より大きい値の第１の画素であるか小さい値の第２の画素であるかを示す最大最小値画素情報を生成する最大最小値画素情報生成ステップと、
前記最大最小値画素情報に基づき、前記画素群の中心付近の画素が前記第１の画素であるときはその中心付近の画素を開始点として同じ第１の画素である隣接する２以上の画素の集合を前記画素群の一端までトレースし、前記画素群の中心付近の画素が前記第２の画素であるときはその中心付近の画素を開始点として同じ第２の画素である隣接する２以上の画素の集合を前記画素群の一端までトレースしてトレース方向の傾斜線が存在すると検出し、前記開始点の画素が前記第１の画素であるときは検出した前記傾斜線を示す前記トレースの経路中の画素の最小値を閾値として出力し、前記開始点の画素が前記第２の画素であるときは前記トレースの経路中の画素の最大値を閾値として出力し、前記中心付近の画素に前記第１の画素又は前記第２の画素が隣接せずトレースができないときは、前記画素群の中心付近の４画素の画素値平均値を閾値として出力する閾値算出ステップと、
前記閾値算出ステップにより得られた前記閾値に基づき、前記画素群を構成する前記複数画素の画素データをニ値化してニ値画像データを生成するニ値化処理ステップと、
前記ニ値画像データの画像のパターンが、予め用意した複数のパターンのうちどのパターンと一致又は最も近似しているかのパターンマッチングを行うパターンマッチングステップと、
前記パターンマッチングステップにより得られたパターンマッチング結果を補間方向に変換する補間方向変換ステップと、
前記補間方向変換ステップにより得られた前記補間方向に応じてフィルタ係数が切り替えられ、そのフィルタ係数に基づいて前記高解像度化対象映像信号のフィルタ処理を行い、拡大映像信号を出力する方向性補間フィルタステップと
を含むことを特徴とする映像信号処理方法。