JP4961431B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理に関する。

ビデオ画像キャプチャは、空間的及び時間的なサンプリングプロセスに代表される。画像は、縦横の列に配置される画素のセットとして捕捉される。連続した画像は、非常に短い時間的間隔で捕捉される。

画像において再生され得る最小要素点は、１画素である。観念的には、元のシーンにおける最小要素点は、捕捉された画像において１画素で表されるはずである。
米国特許第５，６１９，２７２号明細書 欧州特許第１，１９１，７８５号明細書 欧州特許第１，３１３，３１０号明細書 米国特許第５，３３７，０８９号明細書 欧州特許第１，４１１，７１９号明細書 国際公開９７／１６９２３号パンフレット

しかしながら、実際には、シーンにおける要素点のいくつかは、画素ラインの間に入ってしまう。そのため、このような要素点について、画素ラインが２本必要になる。したがって、垂直解像度が幾分低減してしまう。この効果を測定すると、捕捉されるべき垂直方向の要素点のうち、実際に画素ラインによって表されるのは７０％のみであることがわかる。この係数（７０％）は、ケルファクターとして知られている。

ケルファクターを定量化する効果は、画像走査方法、すなわち画素ラインが連続して続くか（プログレッシブ走査）、又は交互（インターレース走査）に続くかに関係なく適用される、と主張する専門家もいる。また、ケルファクターは、インターレーシングによって生じる劣化のみに関連する、と主張する専門家もいる。

本明細書では、インターレース画像に応じた、ケルファクターに関連する効果について考察する。このような状況では、通常、表され得る垂直帯域幅のうち、７０％（ケルファクター）のみが表される、又は表されるはずである、と考えられている。しかし、実際には、ソースマテリアルマテリアルが使用可能な帯域幅を十分に使い切れない状況を引き起こす効果も考えられる。

もちろん、７０％という数値は、本明細書の目的のための単なる近似値に過ぎないことが理解されるであろう。

したがって、インターレース−プログレッシブ走査変換が行われる際、「完全な」垂直帯域幅の画像を作成しようとするのは危険である可能性がある。その代わり、１未満のケルファクターを補償するための補正をしてもよい。同様の理由により、完全な水平帯域幅の画像を作成するのも危険である可能性がある。

本発明は、入力画像の入力画素に対して出力画像の出力画素を生成する画像処理装置であって、
前記入力画像とそれぞれ同一の前記出力画素の第１サブセットをフィルタリングせず、１つ以上の前記入力画像のグループからそれぞれ抽出される前記出力画素の第２サブセットをフィルタリングし、前記出力画像において高空間周波数が減衰するようなレスポンスを有する空間フィルター構造を具備する。

本発明では、上記のように生成された画像のケルファクターフィルタリングに対する単純な手法（すなわち、単に帯域幅７０％の垂直ローパスフィルターを使って出力画像全体をフィルタリングする）では、有用な結果が期待できないことを認識している。これは、出力画像中の画素のいくつかは、ケルファクターによって垂直帯域幅が制限されるような技術によって既に捕捉又は生成された入力画像の画素に対応するからである。

一方、本発明では、このような既存の画素は、フィルタリング動作によって変更されない。

好適には、入力画像はインターレース画像であり、出力画像はプログレッシブ走査画像である。しかしながら、本発明は、ソース画素と変更された画素が混在するどのような場合にも適用し得る。

本発明の更なる態様及び特徴は、添付の特許請求の範囲において規定される。

これより、添付の図面を参照して、本発明の実施形態を単に例示として説明する。

図１は、インターレース映像マテリアルソース２０、インターレース−プログレッシブ走査変換器３０、及び液晶ディスプレイ（ＬＣＤ）又はプラズマディスプレイ等の表示パネル４０を有するフラットスクリーン表示構成１０を示す概略図である。この図は、多くの放送信号がインターレース形式である一方、多くのフラットパネルディスプレイ（又は任意のプログレッシブ走査ディスプレイ）がプログレッシブ走査形式において最も効率よく動作するという点において典型的な、インターレース−プログレッシブ走査変換の用途を示している。したがって、図１では、インターレースマテリアルソース２０が受信した放送信号は、表示用インターレース信号を生成するために使用される。この信号はインターレース−プログレッシブ走査変換器３０へ送られ、このインターレース信号によりプログレッシブ走査信号が生成される。ディスプレイ４０へ伝送されるのは、このプログレッシブ走査信号である。

インターレースマテリアルソース２０は放送受信機である必要はなく、ＤＶＤプレイヤー等のビデオ再生装置やインターネット接続等のネットワーク接続であってもよい。

図２は、スタジオ環境における映像ミキシング動作を示す概略図であり、インターレース−プログレッシブ走査変換の別の使用例を示している。ここでは、インターレースマテリアルソース５０及びプログレッシブ走査マテリアルソース６０が配置されている。これらのソースはカメラ、ビデオテープレコーダー又はハードディスクレコーダー等のビデオ再生装置、放送受信機等であり得る。

インターレースマテリアルソース５０からのインターレース出力は、インターレース−プログレッシブ走査変換器７０に供給され、プログレッシブ走査信号が生成される。この信号は、プログレッシブ走査マテリアルソース６０からのプログレッシブ走査マテリアルと共に画像ミキサー８０によって処理することができ、それにより処理されたプログレッシブ走査出力が生成される。もちろん、画像ミキサー８０のプログレッシブ走査出力は、例えば後続の放送又は記録に必要ならば、インターレース形式に再変換可能である。また、画像ミキサー８０は映像処理装置の単なる一例であって、代わりに、図２のこの位置で、デジタルビデオ効果ユニット等も使用できることが理解されるであろう。

図３は、インターレース−プログレッシブ走査変換器を示す概略図である。通常、インターレース−プログレッシブ走査変換器は、空間的補間器１００、動き適応補間器１１０、及び３つのフィールド記憶装置１２０を有する。

図３の変換器は、入力インターレースフィールドと同じ繰り返し周波数で出力プログレッシブ走査フレームを生成するように動作する。したがって、変換器は主に、インターレースフィールドをプログレッシブ走査フレームに変換するように各インターレースフィールドの「欠損」画素を生成することが求められる。これは、２つの方法のいずれかによって解決できる。１つは、空間的補間器１００が、対象のフィールド内で、空間的補間により「欠損」画素に対応する画素を生成する方法である。すなわち、これはフィールド内動作である。もう１つは、動き適応補間器が、逆極性を持つ近隣のフィールドからの画素を挿入することによって、「欠損」画素に対応する画素を生成する方法である。これは、フィールド間で画像の動きがない場合のみ有効である。よって、図３の基本的な仕組みにおいて、空間的補間器１００の出力は画像の動きが検出された画像位置で使用される一方、動き適応補間器１１０の出力は画像の動きが検出されない画素位置で使用される。動作の単純化のため、空間的補間器は各画素位置で動作し、動き適応補間器は、空間的補間器の出力を選択するか、逆極性の別のフィールドからの画素を出力として選択するか、又はこれら２つを組み合わせて動作する。

以下、動き適応補間器をより詳細に説明する。まず、空間的補間器について説明する。

空間的補間器は、１：２水平画素スケーラ１３０、空間ブロックマッチャー１４０、最小誤差選択器１５０、対角補間器１６０、ドットノイズ低減器１７０及びケルファクター補正器１８０を有する。これらの動作について、以下、より詳細に説明する。

スケーラ１３０は、水平線形補間を利用し、入力インターレースフィールドの２画素間毎に、１つの付加画素値を生成する。これにより、水平解像度（少なくとも、有効な画素値の数に関して）は2倍になるが、垂直解像度にはこの段階では変化はない。

図４（ａ）〜図４（ｃ）を参照して、水平スケーリングが適切である理由について説明する。

以下に説明するように、空間ブロックマッチャー１４０及び対角補間器１６０の動作全般は、新しい画素を補間すべき画素位置にとって適切な画像特徴方向を検出し、その画像特徴方向に沿って補間を実施することである。よって、補間すべき現画素位置が、例えば水平から４５℃の対角画像特徴（例えば、ラインやエッジ）内に位置する場合、新しい画素の補間は、その４５℃方向に沿って実施される。これによって、補間を水平補間又は垂直補間に限定した場合に比べ、良好な出力結果が得られる。したがって、このプロセスにおいて重要なことは、各画素位置で画像特徴方向を検出することであることは明らかである。

この検出は、ブロックマッチングプロセスを用いて行われる。実際のブロックマッチングプロセスについて、以下、より詳細に説明する。この段階では、図４（ａ）は、不明画素２２０（クエスチョンマークの付いた丸印）の位置周辺の画素の２つのブロック２００、２１０の間のブロックマッチが成功した例を概略的に示す。本図では、四角が既知の画素を示し、丸が対角補間器１６０によって補間されるべき画素を示す。図４（ａ）〜図４（ｃ）の濃淡は、画像特徴の概略的な描写である。

図４（ａ）を参照すると、欠損画素２２０の周辺のブロック２００とブロック２１０との間でブロックマッチが成功したことがわかる。これは、１／２の画像特徴勾配を示している。

図４（ｃ）を参照すると、画像特徴は垂直方向にあり、ここでもまた重なり合うブロック２３０とブロック２４０との間でブロックマッチが成功している。

しかしながら、図４（ｂ）では、画像特徴の勾配は１／１である。整数画素位置のブロックでは、ブロックマッチを成功させることは出来ない。ブロック２５０、２６０間のブロックマッチは、半整数画素位置で成功する。よって、この性質の勾配（１／２よりも鋭角な勾配）を検出するためには、サブピクセル精度での動作が必要である。本例では、１／２ピクセル精度が採用された。更に高い精度が採用された場合（例えば、１／４ピクセル精度）、垂直により近い勾配を検出することが出来る。本実施形態では、非常に急な勾配での処理要件と精度とのバランスのため、１／２ピクセル精度が選択された。

実際、以下に説明する本発明の実施形態では、どの段階においても、画像全体がスケーラ１３０によって１：２スケーリングを施されるわけではない。この選択的なスケーリングについて、以下、より詳細に説明する。

図５及び図６（ａ）〜図６（ｅ）は、空間ブロックマッチング動作を示す概略図である。

上記のように、空間ブロックマッチングは、サブピクセル精度、この場合は１／２ピクセル精度で行われる。

対応するサーチレンジ（テスト（処理）中の画素位置に対する最大変位）を有する様々なブロックサイズが使用される。（補間画素が必ずしも処理に利用されるわけではないが）１：２スケーリング動作を考慮し、下の表に、ブロックサイズ及びサーチレンジの例を示す。

図５は、欠損画素位置３２０の周辺の、３ｖ×１３ｈの画素の２つのブロック３００、３１０間で行うブロックマッチ動作を示す概略図である。なお、ブロック幅は、スケール上の（補間）画素において１３ｈであり、ここでは、実（ソース）画素のみが示されている。変数ｄ（実際には、４つの補間画素分の変位）は、テスト中の画素位置（以下、被テスト画素位置）からの、ブロックの水平の中心の水平変位を表している。ブロックマッチには、ブロックが被テスト画素位置と必ず重なり合わなければならないという条件が課せられる。また、ブロックは、実際の画素変位の積分変位している（すなわち、変位ｍは２ｍの補間画素変位に相当する）。

これにより、図５に示す特定のブロックサイズは、−４画素（図６（ａ））、−３画素、−２画素（図６（ｂ））、−１画素、０画素（図６（ｃ））、＋１画素、＋２画素（図６（ｄ））、＋３画素及び＋４画素（図６（ｅ））での変位で、５つのテストが可能である。

なお、変位は、スケール上の画素を単位として、中心からの変位として表されている。２つのブロックは、それぞれ逆方向に同じ量変位している。対称変位は、ブロックマッチングによりテスト中の画素（以下、被テスト画素）に関連のないラインやエッジが検出されないように使用される。

絶対差（ＳＡＤ）の合計は、ブロックマッチ毎に計算される。これは、下記のように定義される。

式中、ｘ，ｙは現画素座標（ｙはフレームライン数）、ｄはテストされている変位、ｎはブロックの半径（ブロック幅は、ｎ’＝２ｎ＋１）をそれぞれ示している。

一般的に３つの色成分（赤、緑、青）のＳＡＤ値が合算され、最小標準化ＳＡＤ値で補間の勾配を決定する。下記に示すように、質の悪い補間を回避するため様々なチェックがなされている。

エイリアス状況が引き起こす問題を回避するため、様々な策が採られている。図７（ａ）及び図７（ｂ）は、起こり得るエイリアス状況を示している。

図７（ａ）を参照すると、ブロック３４０、３５０間のブロックマッチは、欠損画素３３０が濃い灰色であるべきことを示している。ここで、ブロックマッチは１００％成功し、ＳＡＤ値はよってゼロとなる（なお、これは単なる概略的な例である）。

しかしながら、図７（ｂ）を参照すると、ブロック３６０、３７０間のブロックマッチもまた１００％成功であり、ＳＡＤ値もまたゼロである。図７（ｂ）のブロックマッチは、欠損画素３３０が薄い灰色であるべきことを示している。

このブロックマッチ結果の矛盾は、図７（ａ）及び図７（ｂ）に示す画像部分の近接した対角画像特徴間のエイリアシングによるものである。最初は、どちらの対角ライン（すなわち、左上から右下への急な対角線及び右上から左下へのゆるやかな対角線）も同様に有効であるように見えるが、適切な選択をさせるように処理ルールが設定された。これより、このルールについて説明する。

このルールの基本は、ブロックマッチ処理が、「線分」と見なされる領域のみが検出されるように制限されることである。言い換えると、ブロックマッチにおける各ブロックは線分を含んでいるはずである。

デジタル化された線分は、２つの特性を有すると考えられる。第１に、線分は対象とされるブロックの中心走査ラインに沿って単調である。第２に、対象とされるブロックの走査ラインの間に垂直遷移がある。これらのテストの適用方法は、図８（ａ）〜図８（ｄ）を参照しながら説明する。

図８（ａ）では、ソースフィールドが複数の対角線を有する。図８（ｂ）は、図８（ａ）の画像内の一列の画素を示す概略図である。図８（ｃ）及び図８（ｄ）は、図８（ｂ）に示す対角線の両端を示す。これら両端は、輝度の単調変化を表す画素領域を含んでいることがわかる。また、図８（ａ）に戻ると、このようなセグメントにおいて近接する画素列の間に垂直遷移が生じていることがわかる。

このため、図７（ａ）及び７図（ｂ）に戻ると、上記ルールによれば、図７（ｂ）のブロックマッチが認められ、図７（ａ）のブロックマッチは認められない。これは、図７（ｂ）の２つのブロックの画素の中心ラインが輝度において単調に変化する一方、図７（ａ）のブロック３４０、３５０の画素の中心ラインはそうでないからである。

実際には、ルールはこのように厳しいわけではない。実際のルールは、以下のようにラインの様々な特性のバランスを考慮したものである。

ルールは以下の通りである。
単調性＋Ｃ１＋（Ｃ２／ブロック幅）＜平均垂直エネルギー
式中、Ｃ１，Ｃ２はデータノイズを考慮した定数である。この条件が満たされれば、ブロックマッチが有効な補間方向として利用される。

なお、テストは色成分（例えばＲ、Ｇ及びＢ）それぞれについて別個に行われる。これらのテストは、３つそれぞれが別個に成功しなければならない。或いは、例えばハードウェアを節約するため、テストは３つより少なくてもよい。例えば、輝度のみ又は１つの色成分のみに対してテストが実施されてもよい。もちろん、代わりにＹＣｂＣｒ又はＹＰｂＰｒ表現がテストされてもよい。

ブロックマッチングに適用される上記第２のルールは、最小標準化ＳＡＤ値を元に後続の補間の勾配が決定されるということである。

通常、方向は最小の誤差（最小標準化ＳＡＤ）を有するブロックマッチから選択される。このような場合、補正器１８０によるケルファクター補正は、標準化ＳＡＤ値が閾値ＫＦＣ_{ｔｈｒｅｓｈ}より小さい場合は後の処理で使用されない。

しかしながら、標準化ＳＡＤ値が複数のブロックオフセットについて同じ（閾値内）である場合、又は全てのブロックマッチに亘って取得された最小標準化ＳＡＤ値が所定の最大値より大きい場合、垂直補間が利用される。この場合、ケルファクター補正が常に行われ、標準化ＳＡＤ値は上記の最大所定値に設定される。

ブロックマッチングに適用可能な第３のルールは、以下の通りである。

ルールの基本は、隣接する「不明」（補間される）画素は、処理中の現画素の勾配と同様の勾配を示すということである。

現「不明」画素については、Ｇを予測勾配とする。サーチレンジは、?Ｇ?／４＋１とする（「Ｇ」がスケール上の画素単位であるため、除算は必要）。Ｃ３...はプログラム可能定数とする。

このルールを適用するため、現画素に対し−サーチレンジから＋サーチレンジ内の位置での現欠損ラインの全ての画素を観察する。次の不等式を満たすこのレンジ内の各予測勾配ｇは、値「ｃｏｕｎｔｅｒ」をインクリメントする。
（?Ｇ?−ｄ）＜＝Ｃ３（ｇ−Ｇ）＜＝（?Ｇ?＋ｄ）

そして、ｃｏｕｎｔｅｒ＊Ｃ４＜Ｃ５＊（２×ｒａｎｇｅ＋１）が成立すると、ｖを元値、ｖ’を垂直補間値とし、結果を（好ましくは）Ｃ６ｖ’＋（１−Ｃ６）ｖ又は（より一般的には）Ｃ６ｖ’＋Ｃ７ｖに設定する。画素の標準化ＳＡＤスコアをＣ８インクリメントする。この定数は、ＫＦＣの使用促進のために設定することが出来る。

対角補間器１６０は、単純な画素平均化器であり、方向を与えられると、下のラインのその方向の画素及び上のラインのその方向の画素を選び、平均化する。

ドットノイズ低減器１７０は、対角補間器１６０の出力に適用される処理を含む。補間画素が４つの垂直及び水平の画素、すなわち、補間画素が隣接する上下左右の画素の最大値と最小値の間にあるかを検出するため、テストがなされる。なお、補間画素の上下にある画素は実画素である一方、左右にある画素は補間画素である。

補間画素がこの範囲内にない場合、
ｖは処理中の画素の元値、ｖ’は４つの隣接する画素の範囲内となるようにクリッピングされたｖとする。

新しい画素値をｋＤＮＲｖ’＋（１−ｋＤＮＲ）ｖとする。ここでｋＤＮＲはプログラム可能である。

これより、ケルファクター補正器１８０の動作について、図９〜１１を参照しながら説明する。

［ケルファクター補正］
本考察では、単にシステムのこの部分の動作の説明をするためにケルファクターに言及した。フィルターが実際に利用しているのは、走査アーチファクトによるのか又はローパスフィルタリングプロセスによるのかに関わらず、単に、ソース画像が利用可能な帯域幅をフルに活用していないという知識である。

ケルファクターは、プログレッシブ走査とインターレース画像の特性を表す数値である。走査する情報を表すには、通常、有効な垂直帯域幅の７０％（ケルファクター）のみが表されている（又は表されるべき）と考えられている。よって、インターレース−プログレッシブ走査変換を行う場合、完全な垂直帯域幅の画像を生成しようと試みるのは危険である可能性がある。代わりに、１未満のケルファクターを補償するための補正が使用されてもよい。

ケルファクター補償のための一つの方法は、任意のインターレース−プログレッシブ走査アルゴリズムのフレーム出力に対して、帯域幅７０％のフィルターを使用することである。しかしながら、フレームのフィールドの内、１つのフィールドは「実」データ、すなわち、正確にサンプリングされたため、そのフィールドから生まれる内容は、その名の通り、完璧でないといけない。したがって、補間ラインのみをフィルタリングする方法が使用される。

一般的なケルファクターフィルタリング動作を、図９に概略的に示す。ここでは、ソースデータがｆｓ／２、すなわちナイキスト周波数の約７０％の帯域幅にまでフィルタリング（本例では垂直方向）される。

以下の等式及びアルゴリズムは、補間ラインを７０％の帯域幅でフィルタリングするのに適したフィルターを表している。実験によると、フィルターがアーチファクトを大幅に削減することがわかる。なお、重要なことに、この結果は、単に１：２垂直アップスケーリング動作を入力インターレース映像に対して実施する場合に比べ、大幅に良い結果である。

図１０及び図１１は、この概念を概略的に示す。図１０は概念を示す。これにより、垂直フィルターがプログレッシブ走査フレームの実画素Ｉ及び補間画素Ｓに（選択的に）適用される。

この技法を説明するには、特に、インターレースフィールドの欠損ラインのような存在しないデータについて考えるのが有用である。（一部導出のために）これらのラインがあたかも存在するように扱うことで、フィルター技法が導出され、欠損ラインのフィルタリングされたバージョンに対する最良近似値を生成するように、これらラインの補間されたバージョンに適用することができる。これは、以下の説明によって明らかになる。

図１１を参照して、仮想の垂直帯域幅１００％プログレッシブ画像５００について考える。もちろんこれは存在せず、本来なら、サンプリングプロセス中の特有のフィルタリングにより、最高でも７０％のフィルタリングである。これにより、認識可能なプログレッシブフレーム５１０が生成される。しかしながら、これはフィールド５２０としてインターレース方式で提供されるため、このフレームさえも利用可能ではない。フィールド５２０は、本インターレース−プログレッシブ走査変換プロセスのソースデータである。

インターレースフィールド５２０は、インターレース−プログレッシブ変換器に供給され、インターレース−プログレッシブ変換器は、欠損フィールドラインを生成し、再構築フレーム５３０を作り出す。しかしながら、ここで、フレーム５３０は、利用可能な帯域幅の７０％よりも高い周波数を含んでいてもよい。インターレース−プログレッシブ走査変換器のソースデータには情報が存在していなかったため、このような周波数を生成することは必ずしも好ましくない。したがって、この帯域幅の限度を超えないバージョンのフレーム５４０を生成する必要があり、これは、ソースフィールドラインではなく再構築フィールドラインのみを調整することによって達成できる。これらのソースフィールドラインは、このようなフィルターに既に通された画像から得られたものであり、よって「完全」である。

要求された出力を生成することは、再構築フィールドでインターレースされた元の垂直帯域幅１００％の画像からのラインによって構築された架空画像５５０のローパスフィルター出力として捉えられる。しかしながら、元の垂直帯域幅１００％の画像は利用可能でなく、よって、これより、この問題を回避するための技術を説明する。

［３タップソースフィルター法］
これは、適切なフィルターを作成するための３つの方法のうちの第１の方法である。後の２つの方法のみが推奨され、この方法は行程を示すために本説明に含まれている。

の方式の３タップローパス対称フィルター、及び

（式中、Ｆは実データフィールドからの画素を示し、Ｉは補間画素を示す。なお、これらの値は既知である）で表されるインターレース−プログレッシブ走査により変換された映像の５本のラインからの画素Ｐのカラムについて考える。

実フィールド画素Ｆは、システムから出力されなければならない。これらは、映像録画時にケルファクターに従って既にフィルタリングされている。したがって、実際のケルファクターフィルタリングは光情報のサンプリングに本来含まれているので、概念的な映像ソースであるフィルタリング前の映像を考える。この未加工又は擬似入力映像を、

（式中、ｘは概念的な垂直帯域幅１００％のソースの不明な値を示し、Ｉは空間的補間された画素を示す）及び
ｏｕｔｐｕｔ＝ｐｓｅｕｄｏＩｎｐｕｔ＊ｆｉｌｔｅｒ
と表す。

これより、擬似入力画素Ｉ_０と垂直に並んだ出力画素ｙ_０について考える。

ｘ_−１及びｘ_１の値が不明なことから、出力画素ｙ_０の値も不明である。しかしながら、現フィールドの出力フィールドラインが既知のため、ｙ_−１＝Ｆ_−１、ｙ_１＝Ｆ_１であることがわかる。

よって、ｘ_−１及びｘ_１が見出すことができ、そしてｙ_０も以下のように見出すことができる。

適切な垂直帯域幅７０％のフィルターは、次のベクトルによって与えられる。

よって、ａ＝５１３８、ｂ＝２２４９２となる。したがって、補間ラインに揃えられたＰ_０については、以下のようになる。

この問題は、実際は５タップフィルターによって解決される。

［５タップソースフィルタリング法］
初期の対称３タップフィルターは、比較的低いフィルタリング特性を有する。したがって、初期の対称５タップフィルターを利用してこれを改善する方法が考えられた。
しかしながら、この方法は３タップフィルターも必要であり、それがなければ問題は解決されない。

対称５タップフィルターが３つの係数ａ，ｂ，ｃから構成され、フルフィルターが［ａ，ｂ，ｃ，ｂ，ａ］^Ｔで表されるとする。

同様に、３タップフィルターが２つの係数ｄ，ｅから構成され、フルフィルターが［ｄ，ｅ，ｄ］^Ｔで表されるとする。

以前の式を、５タップフィルターに拡大すると、以下のようになる。

以前と同じ方法でこの問題を解こうとすると、画像の半分の高さもある多くの未知数を含む１組の連立方程式を解かなければならない。よって、これは実用的なハードウェア設計には適さない。

代わりに、予測したフィルターの形態を見ると、周辺の離れた画素のほうが、ｙ_０のすぐ傍の画素より出力に対する効果が少ないと考えられる：標準のローパスフィルターは、中心のタップ周辺にこのような重み付けがされている。したがって、画素ｙ_０を見ると、中心のタップとそのすぐ傍の画素の結果は、５タップフィルターによって生じたと考えられ、より離れた結果は３タップフィルターによって生じたと考えられる。よって、以下の式が成立する。

不明なｘを消去していくことによって、ｙ_０を求めることができる。

７０％の５タップフィルターの例は、以下の通りである。

上述した３タップフィルターの例は、以下の通りである。

したがって、出力画素ｙ_０は、次の行列を使用して計算できる。

式中、＋２によってＤＣ利得１を保証している（これは、丸め誤差を防ぐために必要である）。

［７タップソースフィルタリング法］
５タップ法同様、７タップ法も７タップフィルター、５タップフィルター及び３タップフィルターを必要とする。

対称７タップフィルターは、４つの係数ａ，ｂ，ｃ，ｄから構成され、フルフィルターは［ａ，ｂ，ｃ，ｄ，ｃ，ｂ，ａ］^Ｔで表されるとする。

同様に、５タップフィルターは、３つの係数ｅ，ｆ，ｇから構成され、フルフィルターは［ｅ，ｆ，ｇ，ｆ，ｅ］^Ｔで表されるとする。

最後に、３タップフィルターは、２つの係数ｊ，ｋから構成され、フルフィルターは［ｊ，ｋ，ｊ］^Ｔで表されるとする。

これより、出力画素ｙ_０及びその近隣の画素について考える。

上述したように、これを解くのは実用的ではないので、７タップ、５タップ及び３タップフィルターの組み合わせを使用してこれを解くとする。

この式は以下のように解くことができる。

７０％の７タップフィルターの例は、以下の通りである。

上述した５タップフィルターの例は、以下の通りである。

上述した３タップフィルターの例は、以下の通りである。

したがって、出力画素ｙ_０は、次の行列を使用して計算できる。

この式は、各空間的補間画素に対して使用される。レスポンスは帯域阻止フィルター、阻止帯域は０．６６〜０．８ｆ_ｓ／２である。しかしながら、レスポンスは交互の出力画素に対してのみ使用されるため、レスポンスを解釈することは困難である。

図１２（ａ）は、動き適応補間器１１０の動作を示す概略図である。補間器１１０は、フィールド間ブロックマッチャー６００、高周波数チェッカー６１０及びミキサー６２０を有する。

フィールド間ブロックマッチャー６００は、３つのフィールド記憶装置１２０と現入力フィールドからのデータを利用してフィールド間の動きの比較を行う。これは、現フィールド（図１２（ｂ）のＦ_Ｎ）内の画素のブロックと、そのブロックと同タイプの、前のフィールド（Ｆ_Ｎ−２）内に対応して配置されたブロックとを比較すること、及び同様に、先行フィールド（Ｆ_Ｎ−１）と、そのフィールドと同タイプの前フィールド（Ｆ_Ｎ−３）とを比較することを含む。これら比較の結果を使用して、画像における動きの度合いを検出する。

特に、絶対差の加重和（ＳＷＡＤ）は、次のように生成される。

４つのブロックマッチが実施され、２つの加重ＳＡＤが生成される。これらは次の通りである。
・フィールドＦ_Ｎ及びＦ_Ｎ−２の５ｈ×４ｖの加重ブロックマッチ
・フィールドＦ_Ｎ−１及びＦ_Ｎ−３の５ｈ×３ｖの加重ブロックマッチ
・フィールドＦ_Ｎ−１及びＦ_Ｎ−３の１ｈ×１ｖの加重ブロックマッチ
・フィールドＦ_Ｎ及びＦ_Ｎ−２の１ｈ×２ｖの加重ブロックマッチ

加重ブロックマッチは、合致する画素間の加重絶対差を合算する。

式中、Ｆ_Ｎ−１（ｄｘ，ｄｙ）は、現画素に対するフレーム相対位置ｄｘ，ｄｙでの値である。ｗの値の例は、付録を参照するとわかる。

最初の２つのＳＷＡＤを合計すると、エリアベースのブロックマッチＳＷＡＤ_ＡＲＥＡが得られる。

後ろ２つのＳＷＡＤを合計すると、ローカライズされたブロックマッチＳＷＡＤ_{ＬＯＣＡＬ}が得られる。

３つの色成分は全て同じようにＳＷＡＤに寄与する。システムは、画素毎に、３つの成分のＳＡＤを保ってさえいればよく、これはブロック内の他の画素の値で重み付けされ組み合わされる。すなわち、プロセスのこの局面は、１０ｂｐｐ（ビッツ・パー・ピクセル）程の５ライン記憶装置のみを要する。

高周波数チェッカー６１０は、入力フィールドの高周波数を検出するために配置される。アルゴリズムは、次の原理に基づいている。

２つのソースフィールドの交互配置によって多くの高周波数エネルギーが生じる場合、入力が適度に静的であることを確かめるとよい。静的映像のみが確実に高周波数を生じさせることができる。高エイリアスな動作も高周波数を生じさせることはできるが、これはフィールド間補間にとって望ましい状況ではない。動きが存在するなら、フィールドが誤って交互配置されている箇所で高周波数が生じている可能性がある。

図１３を参照すると、高周波数チェッカーは、現フィールドＦ_Ｎの現補間画素の上下のライン及び欠損ラインに相当する先行フィールドＦ_Ｎ−１のラインを利用する。ＨＦＣは、５×３の近隣画素チェックと見なしてもよい。

ＨＦＣ_{ｔｈｒｅｓｈ１}及びＨＦＣ_{ｔｈｒｅｓｈ２}を２つのプログラム可能な定数とする。この時、ＨＦＣ_{ｔｈｒｅｓｈ１}はＨＦＣ_{ｔｈｒｅｓｈ２}より大きい。

ｅｘｃｅｅｄｅｄＨｉｇｈＥｎｅｒｇｙ＝ｆａｌｓｅのフラグを立てる。

［成分毎（又はサブセット毎）（ＲＧＢ／ＹＰｂＰｒ）］（ＹＰｂＰｒは、標準定義システムにおけるＹＣｂＣｒの場合同様、高定義システムにおける色空間を示す）に、
エネルギー＝０とする。

（現画素に対して）水平位置ｘ＝−２、−１、０、１、２の画素に関しては、インターリーブフィールド値をｖ_０とし、その上下ラインの現フィールド値をｖ_−１とｖ_１とする。そして、
ｖ_０＜ｍｉｎ（ｖ_１，ｖ_−１）の場合、ｄｉｆｆ＝ｍｉｎ（ｖ_１，ｖ_−１）−ｖ_０とし、
ｖ_０＞ｍａｘ（ｖ_１，ｖ_−１）の場合、ｄｉｆｆ＝ｖ_０−ｍａｘ（ｖ_１，ｖ_−１）とし、
いずれでもない場合、ｄｉｆｆ＝０とする。

（ｄｉｆｆ＞ＨＦＣ_{ｔｈｒｅｓｈ１}）の場合、ｅｎｅｒｇｙ＝ｅｎｅｒｇｙ＋（ＨＦＣ_{ｔｈｒｅｓｈ１}−ＨＦＣ_{ｔｈｒｅｓｈ２}）＊ｗｅｉｇｈｔｉｎｇ［ｘ］とし、
（ｄｉｆｆ＞ＨＦＣ_{ｔｈｒｅｓｈ２}）の場合、ｅｎｅｒｇｙ＝ｅｎｅｒｇｙ＋（ｄｉｆｆ−ＨＦＣ_{ｔｈｒｅｓｈ２}）＊ｗｅｉｇｈｔｉｎｇ［ｘ］とし、
ｅｎｅｒｇｙ＞ＨＦＣ_{ａｌｌｏｗａｎｃｅ}の場合、ｅｘｃｅｅｄｅｄＨｉｇｈＥｎｅｒｇｙ＝ｔｒｕｅのフラグを立てる。

これによって、成分毎に行われる処理を終了する。

次に、ｅｘｃｅｅｄｅｄＨｉｇｈＥｎｅｒｇｙ＝ｔｒｕｅの場合、プログラム可能定数値ＨＦＣ_{ｐｅｎａｌｔｙ}だけＳＷＡＤ_ＡＲＥＡを増加する。

ＳＷＡＤ_ＡＲＥＡの増加は、その出力位置での動き適応画素の使用に対して作用する傾向にある。

ミキサー６２０は、基準ＳＷＡＤ_ＡＲＥＡ及びＳＷＡＤ_{ＬＯＣＡＬ}、並びに様々な閾値ｔｈｒｅｓｈ_１…に基づいて動作する。

ＳＷＡＤ_{ＬＯＣＡＬ}＞ｔｈｒｅｓｈ_１の場合、空間的補間フィールドＦ_Ｎ’のみを使う。
ＳＷＡＤ_ＡＲＥＡ＞ｔｈｒｅｓｈ_２の場合、空間的補間フィールドＦ_Ｎ’のみを使う。
ＳＷＡＤ_ＡＲＥＡ＜ｔｈｒｅｓｈ_３の場合、フィールドＦ_Ｎ−１のみを使う。
いずれでもない場合、フィールドＦ_Ｎ−１及びＦ_Ｎ’を合わせる。
ａ＝（ｔｈｒｅｓｈ_２−ＳＷＡＤ_ＡＲＥＡ）／（ｔｈｒｅｓｈ_２−ｔｈｒｅｓｈ_３）とする。
得られる画素値＝ａＦ_Ｎ−１+（１−ａ）Ｆ_Ｎ’

図１４（ａ）及び図１４（ｂ）は、画像スケーリングの必要性を低減する変形例を示す概略図である。特に、図１４（ａ）は、上記実施形態の動作を示す概略図であり、図中、画素の各行（図中□○□○で示す）は、実画素とスケーラ１３０からの１：２補間画素とを含む。２つのブロック７００、７１０間のブロックマッチ及び２つのブロック７２０、７３０間のブロックマッチの例を示す。

図１４（ａ）の２つのブロックマッチに共通しているのは、ブロックの最端の画素が１：２補間画素○であるということである。したがって、この方法は１：２スケーラによってスケーリングされた画像全体に依存する。

図１４（ｂ）では、ブロックは、最端の画素が補間画素ではなく実画素となるようにサイズが僅かに変えてある。図１４（ｂ）の上部では、図１４（ａ）の上部における画像特徴角度と同じ画像特徴角度がテストされるが、ブロック７４０、７５０は、最端の画素が実画素□となるように僅かに幅を広げてある。同様のことがブロック７６０、７７０間のブロックマッチを示す図１４（ｂ）下部でも行われており、ここでは、図１４（ａ）下部に示すブロックマッチと同じ画像特徴角度がテストされている。

だとすると、図１４（ａ）及び１４（ｂ）に示すような大きなブロックには、補間画素ペア間の比較は実際には必要のないことがわかる。同じ情報は、実（非補間）画素の基本的な比較によっても得られる。しかしながら、思い出して欲しいのは、画素補間がそもそも導入された理由は、鋭角な（垂直に近い）画像特徴角度を検出できるようにするためである。したがって、一構成において、本実施形態では、このような鋭角な角度をより良く検出できるように、より小さいブロックオフセットに対する１：２補間動作を維持する。例えば、±１〜０の範囲内のブロックオフセットは１：２補間画素を使用する一方、この要件を超えるブロックオフセットは１：２補間画素を使用する必要がない。

更なる変形例では、各ブロックサイズは、最もポジティブなオフセット及び最もネガティブなオフセットに対してのみのマッチング動作に使用される。これによって、必要なブロックマッチ動作の回数を劇的に減らすことができ、また、実際に何ら情報を失うこともない。これは、前の方式で、例えば０変位（垂直画像特徴）でのブロックマッチングテストをブロックサイズ毎に繰り返したからである。

総合すると、これらの方法によってスケーラ１３０は、補間画素フィールド全体としてではなく、例えばブロックマッチャー内で「必要に応じて」１：２補間を実施することが可能になる。これにより、フィールド記憶装置が補間画素フィールドを保持する必要性が低減する。代わりに、ブロックマッチャーによっていくつかのラインのいくつかの補間画素をバッファリングする必要がある。

図１５、図１６（ａ）、図１６（ｂ）、図１７（ａ）及び図１７（ｂ）は、第１の画素テスト方略及び代替の画素テスト方略を示す概略図である。

上述した構成の更なる代替案は、この動作のハードウェア要件を減らすためにブロックマッチングに適用可能なルールを変えるように変更を加えることである。

上述した水平エネルギーの元の式は、以下の通りである（式中、ｘはブロックの真ん中の行を示す）。

これは、次の式によって置き換えることができる。

改訂されたテストは、補間行を中心に対称である。図１５は、ブロックマッチを示す概略図である。図１６（ａ）及び図１６（ｂ）は、このブロックマッチに対して実施されるはずだった水平／垂直エネルギーの元のテストを示す概略図である。図１７（ａ）及び図１７（ｂ）は、改訂されたテストを示す概略図であり、両テストに２つの同じ行が使用されていることを示している。

これは、同じロジックによって両テストが実施可能なことを意味し、それにより、このルールの実現に必要とされるハードウェアが削減できる。

図１８は、差分値の生成を示す概略図である。図１８の構成では、ＳＡＤ値がローリングアベレージ値として計算される。この場合、新しい値が挿入される一方、古い値が廃棄される。これによってもまた、この特徴の実施に必要とされる処理及びハードウェアを削減できる。

これより、図１９を参照しながら別の実施形態に係るインターレース−プログレッシブ変換器について説明する。図１９に示すインターレース−プログレッシブ変換器は、主に空間的補間器１０００、動き適応補間器１１０及び３つのフィールド記憶装置のセット１２０を有する。

動き適応補間器１１０と３つのフィールド記憶装置１２０は、図３で説明したものと実質的に同じである。しかしながら、空間的補間器１０００は、図３で説明した空間的補間器１００の別の実施形態である。これより、空間的補間器１０００について説明する。

空間的補間器１０００は、遅延モジュール１１１０、制御モジュール１１２０、エイリアス回避モジュール１１３０、空間ブロックマッチャー１１４０、最適ブロックマッチャー１１５０、ローカル近隣チェッカー１１６０、ケルファクター補正器１１７０及びデマルチプレクサ１１８０を含む。これらの中には、上述したようなこれらに対応する特徴と同じように動作するものもある。以下、違いのあるものについて、それら違いの動作及び効果をより詳細に説明する。

遅延モジュール１１１０は、入力映像データを受信可能であり、好適には、エイリアス回避モジュール１１３０、空間ブロックマッチャー１１４０、ケルファクター補正器１１７０及びデマルチプレクサ１１８０にデータを提供するための３つのライン遅延及び画素遅延を有する。或いは、画素遅延は他のモジュールで別々に実行されてもよい。遅延モジュール１１１０は、動き適応補間器１１０に対してデータを出力することもできる。この場合、余分な画素遅延は、データが空間的補間器の補間された出力と揃うように、動き適応補間器へのデータ出力に含まれていてもよい。遅延モジュール１１１０が任意の数のライン遅延及び／又は画素遅延を含んでもよいことは、当業者には明らかである。

制御モジュール１１２０は、エイリアス回避モジュール１１３０、空間ブロックマッチャー１１４０、最適ブロックマッチャー１１５０、ローカル近隣チェッカー１１６０、ケルファクター補正器１１７０及びデマルチプレクサ１１８０の制御信号を生成する。例えば、制御モジュール１１２０は、エッジ処理を実施するため、ローカル近隣チェッカー１１６０及びデマルチプレクサ１１８０に制御信号を出力できる。エッジ処理は、完全な空間的補間方法を使用するための十分なライン又は画素が入力フィールドの端にない、という問題を解決するため採用され得る。代わりに、入力フィールドの端の画素は、例えば1つの垂直方向の端におけるライン繰返し機能及びもう一端における垂直方向に隣接する画素間の単なる垂直平均によって補間されてもよい。入力フィールドの端での画素補間には、他のどの方法を採用してもよいことを理解されたい。

「ライン繰返し」機能及び垂直補間は、画像の端において使用される。これは、ソースラインの上下に２つのソースの行がない限り、ブロックマッチングを実施することが不可能だからである。

現ラインの上に１ラインしかない画像の最上部では、現ラインとその上の１ラインを利用して垂直補間が実施される。現ラインの上にラインが存在しない場合、現ラインが繰り返される。

現ラインの下に２ライン以上存在しない画像の最下部においても、同じ方法が使用される。

アルゴリズムはまた、垂直補間を（現ラインの上又は下に１ラインしか存在しない場合）ブロックマッチに置き換えることができるという任意選択の特徴を含む。これは、「欠損」ラインからのブロックマッチに関する寄与を、０値で置き換えることによって実施される。

この任意選択の特徴は、現ラインの上（又は下）にラインがない場合も変わらない。

制御モジュール１１２０はまた、空間インターレース−プログレッシブ処理で超えてはならない境界を示す処理中断フラグを生成することができる。例えば、処理は画素の各入力ラインの始点と終点で中断されてもよく、制御モジュール１１２０は、このデータを利用して、処理エラー又は人工的画像アーチファクトを生成せずに反エイリアス処理（図７（ａ）、図７（ｂ）及び図８（ａ）〜図８（ｄ）及び／又は以下、より詳細に説明するように）が実施されるよう、処理中断が生じる箇所をエイリアス回避モジュール１１３０に示してもよい。

処理中断信号は、処理中断画素を跨ぐブロックマッチに関する任意の対角検出を禁止するために使用される。上記実施形態では、これはラインエッジでのみ実施される。また、別の応用形態において、これは例えば処理中断の両側が異なるソース画像である水平ワイプ効果であってもよい。
（例）左側＝ソース＃１
右側＝ソース＃２

エイリアス回避モジュール１１３０は、エイリアス状況によって引き起こされる問題を回避するために、図７（ａ）、図７（ｂ）及び図８（ａ）〜図８（ｄ）で説明したエイリアス対抗策を実施するように動作可能である。エイリアス回避モジュール１１３０は、特定の対角線が使用可能かどうかを示す許可フラグを生成し出力する。許可フラグは、空間ブロックマッチャー１１４０に送られる。エイリアス回避モジュール１１３０は、以下、より詳細に説明するように、エイリアス状況の効果低減のための更なる処理を実施するようにも動作可能である。

空間ブロックマッチャー１１４０は、上述したようにブロックマッチングを実施するように動作可能であり、図３を参照して説明した空間ブロックマッチャー１４０と動作は同じである。空間ブロックマッチャーは、ブロックマッチングを実施するブロックマッチユニットを有する。ユニットの入力データは、遅延モジュール１１１０より提供され、テストはエイリアス回避モジュールより受信した許可フラグによって可能になっている。ブロックマッチユニットは、上述したように、標準化された絶対差の和（ＮＳＡＤ）の値を生成し、且つ、マッチングされたブロック毎に空間的補間画素（ＳＩＰ）を生成する。これらの値は、最適ブロックマッチャー１１５０へと送られる。空間ブロックマッチャー１１４０はまた、有効な対角線が特定されなかった場合、又は特定された対角線がいずれも被テスト画素の補間にも適していなかった場合に使用される垂直補間画素値を生成するように動作可能である。垂直補間画素値は、ローカル近隣チェッカー１１６０ヘと送られる。

最適ブロックマッチャー１１５０は、空間ブロックマッチャー１１４０より出力されたＮＳＡＤ及びＳＩＰ値を処理し、空間ブロックマッチャー１１４０によって特定されたブロックのうちのどのブロックを補間の基礎として使用するかを決めるように動作可能である。例えば、最適ブロックは、最小ＮＳＡＤ値を有するブロックとして特定してもよい。しかしながら、最適ブロックが他の方法によっても選択可能であることは、当業者には明らかである。最適ブロックマッチャー１１５０は、特定された最適ブロックのＮＳＡＤ及びＳＩＰ値をローカル近隣チェッカー１１６０へと送る。最適ブロックマッチャー１１５０は、この特定された最適ブロックに対応付けされた補間方向も、ローカル近隣チェッカー１１６０へ送る。

ローカル近隣チェッカー１１６０は、最適ブロックマッチャー１１５０によって選択されたブロックが近隣ブロックと整合性があるかどうかを見るため、最適ブロックマッチャー１１５０の出力に対し整合性チェックを行う。最適ブロックマッチャー１１５０の出力に整合性がない場合、この出力は、ローカル近隣チェッカーによって修復される。

ローカル近隣チェックは、最適方向のＳＩＰ及び垂直補間画素（ＶＩＰ）を与えられる。テスト結果に応じて、ＳＩＰ、ＶＩＰ、又は２つを合わせた値が出力される。もちろん、この機能は本実施形態における他のユニットによっても提供され得ることを理解されたい。

被テスト画素に対する補間方向の勾配を説明するには、被テスト画素の真上の隣接する画素ラインに対する水平オフセットにおける勾配を説明することが一つの方法である。或いは、被テスト画素の真下の隣接する画素ラインが使用されてもよく、どちらの場合も、水平な画素ラインは、他の値によって垂直に置き換えられ得る。例えば、被テスト画素は（ｘ、ｙ）図表の原点に位置すると定義できる。そうすると、勾配は原点と点（ｘ、１）を通る線の勾配によって定義することができる。しかしながら、軸は逆にしてもよいこと及び／又は正のオフセットが被テスト画素の左に定義されてもよいことやその逆であったり、補間方向の勾配を示すためには適切な座標系のいずれを使用してもよいことは明らかである。

例えば、上述した例では、補間方向又は勾配が水平オフセットｘ＝＋４〜＋６の範囲内であるとする画素に囲まれている場合は、その画素の補間の基準としての選択された勾配ｘ＝−１０は正確でない可能性が高い。整合性のない方向は全て除外され交換される。特に、整合性のない方向が検出されると、そのＮＳＡＤ値が変更され垂直補間画素が出力される。ＮＳＡＤ値はＫＦＣモジュール（下記参照）で使用される。変更されたＮＳＡＤ値は、ＫＦＣがこの画素に使用されるように設定される。

ローカル近隣チェッカーは、変更されたＮＳＡＤ値及び補間画素（ＩＰ）値をケルファクター補正器１１７０へと送る。

ケルファクター補正器１１７０は、ローカル近隣チェッカー１１６０によって出力されたＮＳＡＤ値及びＩＰ値を受信し、且つ、図９、図１０及び図１１で説明したケルファクター補正を実施するように動作可能である。ケルファクター補正器１１７０は、以下、より詳細に説明するように、追加フィルタリングを実施するようにも動作可能である。ケルファクター補正器によって生成された補間データは、デマルチプレクサ１１８０に送られる。

デマルチプレクサ１１８０は、ケルファクター補正器からの補間データを動き適応補間器１１０の正確な入力に送るように動作可能である。正確なデータ処理を確実にするため、デマルチプレクサは、インターレース−プログレッシブ処理中に空間的補間器１０００によって失われた可能性のあるデータヘッダーや制御信号を生成するように動作可能である。

これより、エイリアス回避の別の方法を、図２０（ａ）及び図２０（ｂ）を参照しながら説明する。ここでは、これまで使用された表示と同様の表示がなされており、補間画素（○）のラインが図示されていないことのみが異なっている。ここでは、被テスト補間画素のみが表示されている。

図２０（ａ）は、図７（ａ）、図７（ｂ）及び図８（ａ）〜図８（ｄ）で説明した単調性テストの応用形態を示す。この方法を要約すると、単調性テストは、図２０（ａ）の太線で示す、被テストブロックマッチ領域を跨ぐ２つのブロック１２００、１２１０に適用される。両ブロックが単調性テストに合格すると、ブロックマッチによって示される方向が許可され、よって、被テスト画素１２３０が補間される。

図２０（ｂ）に示す代替の実施形態では、２ブロック単調性テストに使用される２つのブロック（１２００、１２１０）のそれぞれと同一サイズの単一ブロック１２４０が単調性テストに使用される。好適には、単一ブロック１２４０は、図２０ｂに示すように被テスト画素１２５０の位置を中心としているが、画素１２５０と関連づいた単一テストブロック１２４０の他の構成も可能である。この方法は、補間位置に近い領域のみがテストされ、それより離れた領域は無視されるため、低い勾配の細いラインが検出される可能性が高まるという点で有利である。

この方法の一例を図２１（ａ）及び図２１（ｂ）に示す。図２１（ａ）は、細いラインを含む画像領域に適用される２ブロック法を示す。テスト中（対象）の方向（以下、被テスト方向）は黒の実線１２５０で示されており、被テスト画素位置１２３０は、クエスチョンマークのついた丸印で示されている。この場合、上述した単調性テストは、この方向を２つのブロックが単調ではないとして却下する。しかしながら、図２１（ｂ）に示すように、テストブロック領域１２４０は単調であり、被テスト方向１２５０は、被テスト画素１２５０の補間の基準となる正確な方向として許可される。単調性テストにはどのサイズのブロックを使用してもよく、テスト結果、及び低勾配の細いライン周辺のエイリアス効果を低減する作用は、使用されるブロックのサイズによって異なることは当業者には明らかである。

これより、単調性テストの更なる変形例を、図２２（ａ）及び図２２（ｂ）を参照しながら説明する。

上述したように、単調性テストを実施するには単一のテストブロックを使用することが有利である。しかしながら、エイリアス効果を低減するために、この方法を更に改良してもよい。被テスト方向１３１０が許可されると、同被テスト画素１３３０を中心とするより小さいブロックに単調性テストを実施してもよい。

この例を図２２（ａ）及び図２２（ｂ）に示す。図２２（ｂ）に示すブロックに対して有効な対角線が検出されている。対角線が許可されるには、更なるテストにおいて、小さいブロックセット（図２２（ａ）に示すセット等）の幾つか又は全てが単調性テストに合格しなければならない。

より詳細には、図２２（ａ）に示すように、有効な対角線１３２０は、被テスト画素１３３０を中心とする、より小さい被テストブロックの全てに現れるはずである。小ブロックのいずれかが単調性テストに合格しなかった場合、図２２（ｂ）の元の大きいテストブロックで示された方向１３１０は、被テスト画素１３３０の補間の基準となる対角線として許可されない。例えば、テストは元のテストブロックよりサイズが徐々に小さくなるブロックに対し適用できる。或いは、単調性テストは被テスト画素１３３０を中心とする、後に元のテストブロックのサイズまで大きくなる、最小限のテストブロック（３ｈ×３ｖ）に適用できる。

上述したように、単調性は次の等式で表される。

式中、ｘはソース画素値；ｘ（１，０）は単調性ブロックの左上の画素であり；
ｙは行座標；ｙ＝０はブロックマッチブロックの最上段の行、ｙ＝−１はその最下段の行であり；
ｂｌｏｃｋＷｉｄｔｈは画素のブロック幅であり；
Ｃはデータノイズを考慮した定数をそれぞれ示す。

上記等式は、テストブロックの各画素ラインに沿って画素毎の差分が合計される様子を表している（加算の初項）。エッジの画素間の、ｄｉｆｆｅｘｔｒｅｍｅで表される差分は、そこで差し引かれる。この場合、ノイズを考慮し負の値Ｃが最終結果に加算される。

通常、Ｃが負になればなるほど、ノイズが計算に影響を及ぼす可能性が低くなる。

しかしながら、大きすぎる負の値Ｃが使用されると、望まない対角線が選択されてしまう可能性が高くなる恐れがある。正確な対角線を選択する可能性が高いまま適切な値Ｃを使ってより効率的にノイズの影響を低減するために、以下に説明するように、画素の差分それぞれに閾値を適用することができる。

ｄｉｆｆｅｘｔｒｅｍｅ値を適宜スケーリングすることによって値Ｃは小さくなり、よって、望まない対角線が選択されるというリスクを緩和することができる。ノイズ閾値は、以下に示すように、各画素の差分から閾値を差し引き、負の画素間差分を０にクリッピングして、各画素に適用され得る。

単調性のノイズ許容範囲は、グローバル定数ではなく、被テスト特徴に基づいていてもよい。例えば、ｄｉｆｆｅｘｔｒｅｍｅのスケーリングされた数量は、以下のように差し引かれてもよい。

この例では、ａｄｊｕｓｔｍｅｎｔは画素毎の閾値を示し、ｄｉｆｆＦａｃｔｏｒはｄｉｆｆ_{ｅｘｔｒｅｍｅ}のスケーリングファクターである。一実施形態では、画素毎の閾値は以下に示すような平均画素値によって異なってもよい。
ａｄｊｕｓｔｍｅｎｔ＝ＣＯＮＳＴＡＮＴ*（ｐｉｘ（ｘ，ｙ）＋ｐｉｘ（ｘ−１，ｙ））／１０２４
画素毎の閾値が平均画素値に依存する値の例を下の表に示す。最適な組み合わせ（主観的に評価）を「最適値」の列に示す。

上記画素毎の閾値の適用によって、略水平なラインの外観を改善することはできるが、他の画像領域周辺においてアーチファクトを生じさせかねない。

ノイズの許容範囲を変更する代替の実施形態では、画素毎の閾値は
ａｄｊｕｓｔｍｅｎｔ＝ＣＯＮＳＴＡＮＴ
として、ブロックと画素毎に固定されてもよい。
画素毎の閾値がブロックと画素毎に固定されている値の例を下の表に示す。最適な組み合わせ（主観的に評価）を「最適値」の列に示す。

固定された画素毎の閾値によって、低角度の平行なラインの外観を改善することができ、且つ、多くの有力な対角線を有する画像領域の外観を改善することができる。これまで単調性テストの特定の実施形態について説明してきたが、いずれかのテスト又は全てのテストを組み合わせてもよいことは、当業者には明らかである。

これより、ケルファクター補正器１１７０の動作をより詳細に説明する。

上述したように、ケルファクター補正器１１７０は、ＮＳＡＤ値に応じて補間画素に対し選択的にケルファクター補正（ＫＦＣ）フィルタリングを適用するように動作可能である。これにより、選択された方向が非常に明瞭に出現する対角線の劣化を抑制することができる。或いは、ケルファクターフィルタリングは、常に補間画素に対し垂直方向に適用可能である。しかしながら、上述したように、これによって低勾配ラインが劣化する恐れがある。これに対処するために、ＫＦＣ垂直フィルタリングを、ＮＳＡＤ値が高い時のみ適用するのが好ましい。

ケルファクター補正を選択的に適用することによって生じる可能性のあるもう一つの問題は、画像の特定の領域がケルファクターフィルタリングによって常に利益を得るにも関わらず、これらのＮＳＡＤ値によって、ケルファクター補正器によって補正されない場合がある。これに対処するために、ケルファクター補正器１１７０は、特定の画素の方向が特定の閾値内の場合は常にＫＦＣ垂直フィルタリングを適用するように動作可能である。例えば、ＫＦＣ垂直フィルタリングは、方向が−1、０又は１の場合には必ず適用されるとしてもよい。この場合、必要メモリを減らすために、方向が−１、０又は１であるかどうかを示すフラグを、実際の補間方向の変わりに格納してもよい。他の方向については、ＮＳＡＤ値に基づいてＫＦＣ垂直フィルタリングを選択的に適用するのが好ましい。

ケルファクター補正器１１７０はまた、図２３に示すように水平方向の補間画素を滑らかにするように水平フィルタリング（水平ＫＦＣフィルタリング）を適用するように動作可能である。ここで、○は補間画素を示し、□は実画素を示す。補間され、フィルタリングが適用される画素１５００には、クエスチョンマーク「？」が付されている。フィルタリングは水平方向に適用される。図２３の例では、５タップ水平フィルターが使用される。５タップ水平フィルターは、濃い境界線１５１０によって概略的に示され補間画素１５００を中心として対称となるように配置されたフィルターレンジに亘って使用される。

上述したように、水平ＫＦＣフィルターとして使用するのに適切なフィルターは、ＫＦＣ垂直フィルターで説明した５タップ対称フィルターである。適切なフィルター値は、上述したような垂直フィルターで使用された値と同じである。しかしながら、水平フィルタリングを行うのに適したフィルターならどれを使用してもよいことは、当業者には明らかである。

ＫＦＣ水平フィルタリングは全ての補間画素に対して適用され得るが、高角度（略垂直）ラインを劣化させないよう選択的にＫＦＣフィルターを適用することが好ましい。これは、現画素の補間方向が、ＫＦＣ水平フィルタリングを適用するには適さない方向にある場合に、フィルターを適用しないことによって実現され得る。例えば、現画素の左又は右方向が０又は±１である場合にＫＦＣ水平フィルタリングが適用されない構成としてもよい。この場合、必要メモリを減らすため、方向が−１、０又は１であるかどうかを示すフラグを実際の補間方向の変わりに格納してもよい。更に、画素のＮＳＡＤ値が特定の閾値より大きい場合にＫＦＣ水平フィルタリングを適用しない構成としてもよい。或いは、ケルファクター補正器１１７０は、どの補間画素に対してもＫＦＣ水平フィルタリングを適用しないように動作可能である。上述したケルファクターフィルタリング法のいずれかの組み合わせ又は全てのケルファクターフィルタリング法が、補間画素に適用可能であることを理解されたい。更に、上述したケルファクターフィルタリング法は、補間画素に対し任意の方向から適用可能であることを理解されたい。

上記実施形態は、インターレース−プログレッシブ走査変換について説明してきたが、同技法は、プログレッシブ走査画像のような画像のサイズ（例えば、高さ）を変更する場合も適用可能である。例えば、この技法によって１：３又は１：４スケーリングを実施できる。

本発明は、適切なソフトウェアの制御下で動作するプログラム可能な又は半プログラム可能なハードウェアで実現することができることが理解されるであろう。これは汎用コンピューター又は特定用途向け集積回路（ＡＳＩＣ）若しくはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等の構成であってもよい。ソフトウェアは、ディスク若しくは固体メモリのような記憶媒体を介して供給されてもよく、又はネットワーク若しくはインターネット接続等の伝送媒体を介して供給されてもよく、又はこれらの組み合わせによって供給されてもよい。

［付録］
パラメータ例

パラメータ「ｗ」の値の例は以下の通りである：
５ｈ×４ｖブロック：
１２／１０２４ ２３／１０２４ ２８／１０２４ ２３／１０２４ １２／１０２４
３２／１０２４ ６２／１０２４ ７７／１０２４ ６２／１０２４ ３２／１０２４
３２／１０２４ ６２／１０２４ ７７／１０２４ ６２／１０２４ ３２／１０２４
１２／１０２４ ２３／１０２４ ２８／１０２４ ２３／１０２４ １２／１０２４
５ｈ×３ｖブロック：
２０／１０２４ ３９／１０２４ ４８／１０２４ ３９／１０２４ ２０／１０２４
４８／１０２４ ９４／１０２４ １１７／１０２４ ９４／１０２４ ４８／１０２４
２０／１０２４ ３９／１０２４ ４８／１０２４ ３９／１０２４ ２０／１０２４
１ｈ×２ｖブロック：
１２８／２５６
１２８／２５６
１ｈ×１ｖブロック：
２５５／２５６

フラットスクリーンディスプレイ構成を示す概略図である。 スタジオ環境における映像ミキシング動作を示す概略図である。 インターレース−プログレッシブ変換器を示す概略図である。 勾配検出を示す概略図である。 空間ブロックマッチング動作を示す概略図である。 空間ブロックマッチング動作を示す概略図である。 エイリアス状況を示す概略図である。 エイリアシング検出技法を示す概略図である。 ケルファクターフィルタリング動作を示す概略図である。 ケルファクターフィルタリング動作の段階を示す概略図である。 ケルファクターフィルタリング動作の段階を示す概略図である。 動き適応補間器及び連続した映像フィールド間の動き検出を示す概略図である。 高周波数チェック動作を示す概略図である。 画像スケーリングの必要性を低減する変形例を示す概略図である。 第１の画素テスト方略を示す概略図である。 代替の画素テスト方略を示す概略図である。 代替の画素テスト方略を示す概略図である。 差分値の生成を示す概略図である。 インターレース−プログレッシブ変換器の別の実施形態を示す概略図である。 図８のエイリアス検出技法の一例を示す概略図である。 細線に適用されるエイリアス検出技術の一例を示す概略図である。 図８のエイリアス検出技術の一例を示す概略図である。 水平方向に適用されるケルファクターフィルタリング動作を示す概略図である。

Claims (16)

1. 入力画像の複数の入力画素に対して出力画像の複数の出力画素を生成する画像処理装置であって、
   前記入力画素とそれぞれ同一の前記出力画素の第１のサブセットをフィルタリングせず、１つ以上の前記入力画素のグループからそれぞれ抽出される前記出力画素の第２のサブセットをフィルタリングし、前記出力画像において高空間周波数が減衰するようなレスポンスを有する空間フィルター構造を具備し、
   前記入力画像はインターレース画像であり、前記出力画像はプログレッシブ走査画像であり、
   前記空間フィルター構造は、前記入力画像のケルファクターに関する周波数レスポンスを有する
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記出力画素の値は、前記入力画像の画像特徴方向に応じて選択された前記入力画像の画素について生成され、
   前記画像処理装置は、
   処理中の画素位置について配置された前記入力画素のブロック間の相関度が、前記画素位置に適した画像特徴方向を示すように、前記ブロックを比較する手段をさらに具備する
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記フィルター構造は、該出力画素の前記画像特徴方向を選択するために用いられた前記ブロック間の相関度に基づいて、前記出力画素について選択的に動作可能である
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記空間フィルター構造の動作は、垂直から所定の傾斜閾値範囲内の傾斜を有するラインを規定する画像特徴方向における前記相関度に基づかず、他の画像特徴方向における前記相関度に基づいて選択的に動作可能である
   画像処理装置。
5. 請求項２又は３に記載の画像処理装置であって、
   前記フィルター構造は、前記画素位置に適した前記画像特徴方向に基づいて、前記出力画素について選択的に動作可能である
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記空間フィルター構造は、前記出力画素に適した前記画像特徴方向が、垂直から所定の傾斜閾値範囲内の傾斜を有するラインを定義する場合、前記出力画素に適用されない
   画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置であって、
   画素位置について、前記画素位置に関する所定位置の画素セットの値によって規定される所定範囲の画素値に基づいて、前記フィルター構造の出力を制限する手段を具備する
   画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置であって、
   前記フィルター構造は、前記出力画像において高垂直周波数が減衰するようなレスポンスを有する垂直フィルターを有する
   画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置であって、
   前記フィルター構造は、前記出力画像において高水平周波数が減衰するようなレスポンスを有する水平フィルターを有する
   画像処理装置。
10. 請求項１〜９のいずれか１項に記載の画像処理装置を具備する画像ミキサー装置。
11. 請求項１〜９のいずれか１項に記載の画像処理装置を具備する映像表示装置。
12. 入力画像の入力画素に対して出力画像の出力画素を生成し、前記出力画素の第１のサブセットは前記入力画素とそれぞれ同一であり、前記出力画素の第２のサブセットは１つ以上の入力画素のグループよりそれぞれ抽出される画像処理方法であって、
    出力画像において高空間周波数が減衰するようなレスポンスを有する空間フィルター構造により、前記入力画素とそれぞれ同一の前記出力画素の前記第１のサブセットをフィルタリングせず、１つ以上の前記入力画素のグループからそれぞれ抽出される前記出力画素の前記第２のサブセットをフィルタリングし、
    前記入力画像はインターレース画像であり、前記出力画像はプログレッシブ走査画像であり、
    前記フィルター構造は、前記入力画像のケルファクターに関する周波数レスポンスを有する
    画像処理方法。
13. 請求項１２に記載の画像処理方法であって、
    前記フィルタリングは垂直方向に実行され、
    前記フィルター構造は、前記出力画像において高垂直周波数が減衰するようなレスポンスを有する
    画像処理方法。
14. 請求項１２又は１３に記載の画像処理方法であって、
    前記フィルタリングは水平方向に実行され、
    前記フィルター構造は、前記出力画像において高水平周波数が減衰するようなレスポンスを有する
    画像処理方法。
15. コンピュータに、請求項１２〜１４のいずれか１項に記載の画像処理方法における各ステップを実行させるためのプログラム。
16. 請求項１５に記載のプログラムを記録した記録媒体。

Images