JP5954141B2 - 画像拡大装置、画像拡大方法、及び画像拡大プログラム - Google Patents

Description

本発明は、推定対象の画素を求めて画像を拡大する処理を行う画像拡大装置、画像拡大方法、及び画像拡大プログラムに関する。

従来の解像度変換による画像拡大方法では、人間の視覚に敏感に影響する、画像のエッジ周辺に少なからず画質の劣化を生じさせる。例えば、解像度変換後の映像でエッジ付近にノコギリ状のパターンを生み出すジャギング、解像度の低下によってボケが生じるブラーリング、解像度変換に使用するフィルタの特性に起因してエッジ付近に生じるリンギングやエイリアシングなどが挙げられる。

このような問題に対処するものの一例としては、入力映像にエッジ方向性補間を行なって中間結果映像を算出し、この中間結果映像に対してサンプリング率を変換して所定解像度の出力画像を算出し、この結果に対して鮮明度を向上させることで問題解決を図ろうとする。このエッジ方向性補間では、入力画像の画素絶対差を用いてエッジ方向性を推定し、推定されたエッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定し、推定されたエッジ方向および決定された補間係数を使ってエッジ方向性補間値を算出し、この値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する（例えば、特許文献１参照）。

特開２００６−５４８９９号公報

例えば特許文献１で用いられるエッジ方向性補間法では、エッジ方向（エッジに垂直な方向）による補間処理への影響を考慮してフィルタ係数を決定するために、対角線の２方向と、それ以外の所定の斜め方向の４方向に関して、それぞれのエッジ方向性の決定に使われる所定の画素群に対して絶対差値の和を求め、これを評価値として用いながらエッジ方向性を特定し、それぞれのエッジ方向性の評価値との関係を条件としてフィルタ係数を決定している。

ここで、所定の画素群は、補間処理対象となっている画素の周辺のものあり、エッジ方向性を特定するための評価値は、エッジ方向性ごとに仮定している方向に存在する複数の２画素間の絶対差値の総和となっている。

しかしながら、このような方法では、補間処理対象の画素を求める際に、毎回、エッジ方向性ごとの評価値を算出し、フィルタ係数を決定することから、多くの演算量を必要としてしまう。

また、このような方法では、エッジ方向のおおよその傾向はつかめるものの、それが本当のエッジ方向に十分沿った方向になっているとは限らない。仮に、この方法で特定したエッジ方向にそれを横切るようなエッジ成分が含まれる場合には、決定したフィルタ係数を用いて特定したエッジ方向にフィルタリング処理を行ったとしても、必ずしも良い補間処理結果が得られるとは限らない。

また、このような方法では、補間処理対象となっている画素の近傍でエッジ成分が複数含まれるような場合には、エッジ方向性を特定するための評価値にもとづいてエッジであるか否かを評価することが難しくなり、誤ったフィルタ係数を採用してしまう可能性が高くなってしまう。

本発明はこうした状況に鑑みてなされたものであり、その目的は、良好な拡大画像を生成することのできる画像拡大装置、画像拡大方法、及び画像拡大プログラムを提供することにある。

本発明の別の態様もまた、画像拡大装置である。この装置は、所定の単位で画像を拡大する画像拡大装置であって、推定対象となる小数位置の画素を推定画素として生成する画像推定部（１１０、１３０、１５０）と、前記推定画素を拡大画像内の対応する位置に格納しながら拡大画像を構成する推定画素格納部（１０３）と、前記画像推定部と前記推定画素格納部を制御して拡大画像を生成する制御部（１０９）とを備える。前記画像推定部は、所定の複数方向の中から少なくとも二つの特定の方向を選び、所定の類似度検出方法に基づいて、画像を拡大するために新たに推定される画素の推定位置である小数位置において、周辺の整数位置の画素との間で前記少なくとも二つの特定の方向の類似度を検出し、前記少なくとも二つの特定の方向の中から前記類似度が最も高い方向を第１のフィルタリング方向として決定し、さらに、前記第１のフィルタリング方向及び前記第１のフィルタリング方向に近接する少なくとも二つの方向の前記類似度を検出する類似度検出部（１１４、１１７、１３４、１３７、１５４、１５７）と、前記第１のフィルタリング方向及び前記少なくとも二つの方向の中から前記類似度が最も高い方向を第２のフィルタリング方向として特定する類似方向特定部（１１９、１３９、１５９）と、前記第２のフィルタリング方向に対して、所定のフィルタリング処理を行い、推定対象となる小数位置の画素を推定画素として生成するフィルタリング部（１２０、１４０、１６０）とを含む。

本発明のさらに別の態様もまた、画像拡大方法である。この方法は、所定の単位で画像を拡大する画像拡大方法であって、推定対象となる小数位置の画素を推定画素として生成する画像推定ステップと、前記推定画素を拡大画像内の対応する位置に格納しながら拡大画像を構成する推定画素格納ステップと、前記画像推定ステップと前記推定画素格納ステップを制御して拡大画像を生成する制御ステップとを備える。前記画像推定ステップは、所定の複数方向の中から少なくとも二つの特定の方向を選び、所定の類似度検出方法に基づいて、画像を拡大するために新たに推定される画素の推定位置である小数位置において、周辺の整数位置の画素との間で前記少なくとも二つの特定の方向の類似度を検出し、前記少なくとも二つの特定の方向の中から前記類似度が最も高い方向を第１のフィルタリング方向として決定し、さらに、前記第１のフィルタリング方向及び前記第１のフィルタリング方向に近接する少なくとも二つの方向の前記類似度を検出する類似度検出ステップと、前記第１のフィルタリング方向及び前記少なくとも二つの方向の中から前記類似度が最も高い方向を第２のフィルタリング方向として特定する類似方向特定ステップと、前記第２のフィルタリング方向に対して、所定のフィルタリング処理を行い、推定対象となる小数位置の画素を推定画素として生成するフィルタリングステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、良好な拡大画像を生成することができる。

実施の形態１の画像拡大装置の概念ブロック図である。 実施の形態１の画像拡大装置の動作を説明するためのフローチャートである。 図３（Ａ）〜（Ｃ）は、実施の形態１の画像拡大装置の画像推定部の詳細を示す概念ブロック図である。 図４（Ａ）〜（Ｃ）は、実施の形態１の画像拡大装置の画像推定部の動作を説明するためのフローチャートである。 現在処理対象となっている位置と、推定画素の位置との関係を説明するための概念図である。 方向別の類似度の検出を説明するための概念図である。 図７（Ａ）〜（Ｂ）は、下側の推定位置における第１および第２の評価対象となる画素について説明するための概念図である。 図８（Ａ）〜（Ｂ）は、横側の推定位置における第１および第２の評価対象となる画素について説明するための概念図である。 斜め側の推定位置における第１および第２の評価対象となる画素について説明するための概念図である。 下側の推定画素を求める際のフィルタリング処理について説明するための概念図である。 横側の推定画素を求める際のフィルタリング処理について説明するための概念図である。 斜め側の推定画素を求める際のフィルタリング処理について説明するための概念図である。 実施の形態２の画像拡大装置の概念ブロック図である。 図１４（Ａ）〜（Ｃ）は、実施の形態２の画像拡大装置の画像推定部の詳細を示す概念ブロック図である。 実施の形態２の画像拡大装置の動作を説明するためのフローチャートである。 図１６（Ａ）〜（Ｃ）は、実施の形態２の画像拡大装置の画像推定部の動作を説明するためのフローチャートである。 実施の形態３の画像拡大装置の概念ブロック図である。 実施の形態４の画像拡大装置の概念ブロック図である。

まず、本発明の実施の形態の概要を述べる。画像拡大装置は、画像拡大処理において、推定対象となっている小数位置の画素を求める際に、周囲の整数位置の画素から所定の方向に対して類似度を検出し、類似度の高い方向に対して所定のフィルタリング処理を行うことで推定対象となっている画素を求める。

小数位置の画素を推定して画像拡大を行う際に、一般に検出が難しい画像のエッジ方向を特定してエッジ方向に垂直な方向に対してフィルタリングを行うのではなく、画素間の類似度が高い方向を検出して、特定された類似度の高い方向に対してフィルタリング処理を行う。これにより、品質の高い拡大画像を生成することができる。

また、より好適には、類似度の高い方向を少ないステップで絞り込むために、まずは大まかに縦、横、斜め方向の類似度から最も類似度が高いものを選択し、特定された方向を基準として、微小に右方向、左方向に回転させた方向の類似度を検出する。そして、更にこの中から最も類似度の高いものを選択して、対応する方向に対してフィルタリングを行う。これにより、演算量を削減することができる。

より具体的には、実施の形態の画像拡大処理では、所定の空間解像度を持つ画素列によって構成された入力画像に対して、小数位置の画素を推定して画像拡大を行う際に、現在推定処理対象となっている位置（以後、「推定対象位置」）の周辺にある、所定の領域内の画素の特徴に注目する。ここで、上述の所定領域内の画素の特徴として、複数の方向における所定の画素間の類似度を利用する。この所定の画素間の類似度については、後述する。

さらに、上述の複数の方向における類似度を比較して、それぞれの方向の画素間において、最も類似度が高い方向の画素列を特定する。ここで、最も類似度が高い方向を特定する過程において、所定の複数の方向に対して全て類似度を検出するのではなく、大まかな方向の類似度を利用して順次絞り込む構成にすることにより、類似度の比較回数を大きく削減し、良好な拡大画像を生成できるように構成してもよい。

この特定された類似度の高い方向の画素列に対して所定のフィルタリング処理を行い、推定対象位置の推定画素を生成する。

このように、最も類似度が高い方向を特定し、その方向の画素列に対してフィルタリング処理を行うことにより、例えば、急激な画素値の変化を伴うようなエッジに対するフィルタリング処理を回避し、比較的滑らかな信号に対して処理することができる。したがって、本発明の実施の形態では、類似度が高い画素列に対してフィルタリング処理を行えばよいことから、複雑な周波数成分を含む信号に対応して画素の推定を行う必要がなく、フィルタリング処理で利用するフィルタのタップ数が非常に短いタップであっても、推定結果に大きな劣化を伴うことなく十分な画素の推定を行うことができる。また、短いタップを利用することにより、非常に高速なフィルタリング処理を実現し、良好な拡大画像を生成することができる。

本発明の実施の形態では、通常の画像拡大で使用するフィルタリング処理のように、推定対象位置より以前にフィルタリング処理によって推定された画素を利用して、最も類似度が高い方向の画素列を特定し、所定のフィルタリング処理を行い、推定対象位置の推定画素を生成するように構成することができる。

また、本発明の実施の形態は、通常の画像拡大で使用するフィルタリング処理のように、１次元フィルタを縦方向、横方向にそれぞれ施すために生じるような処理の依存関係を、フィルタリング処理によって推定された画素を利用せずに、整数位置の画素のみを利用した類似度方向の１次元フィルタリングとすることで処理の依存関係を排除し、それぞれ単独での処理を実現し、良好な拡大画像を生成できるように構成することもできる。

以上のような処理を実現するような構成例として、以下に本発明の詳細な実施の形態を示す。

（実施の形態１）
本実施の形態の画像拡大装置は、例えば、図１の概念ブロック図で示されるような画像拡大装置１００のように構成される。画像拡大装置１００は、例えば、図２のフローチャートで示されるような動作を行う。以下、図１および図２で示される構成および動作について説明する。

画像拡大装置１００は、図１で示されるように、例えば、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０、推定画素格納部１０３、及び統合制御部１０９を備える。ここで、画像拡大装置１００を構成する各部は、統合制御部１０９の指令に基づいて動作するものとして説明する。

図１の画像拡大装置１００は、撮像装置１８１、伝送装置１８２、記録装置１８３、記録媒体１８４、蓄積装置１８５などから、処理対象となる信号を入力画像１０１として取得する。

画像拡大装置１００は、取得した入力画像から、現在処理対象となっている画像領域を特定し（Ｓ１０１）、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０に供給する。

ここで、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０は、下側の推定画素、横側の推定画素、斜め側の推定画素を、それぞれ所定の画像推定処理によって生成し、推定画素格納部１０３に供給する。この所定の画像推定処理に関する詳細は後述する。下側、横側、斜め側の推定画素は、図５に示されるような位置関係にある。

図５は、入力画像の画素と、推定画素との位置関係を説明する図である。図５に示されるように、仮に現在処理対象の基準としている画素をＡとし、Ａ，Ｂ，Ｃ，Ｄなどのように入力画像の画素の位置を整数位置と呼ぶ。画像拡大処理では、Ａの位置から見て、横側のＡからＢまでの間、下側のＡからＣまでの間、斜め側のＡからＤまでの間の小数位置が、新たに推定される画素の位置となる。図５では、一例として、縦横それぞれ２倍の拡大画像を生成することを想定しており、推定画素の位置はそれぞれの間の１／２となっている。例えば、横側の推定画素の位置は、Ａを基準としてＡからＢ方向の横側に１／２ずれた位置となる。下側の推定画素の位置は、Ａを基準としてＡからＣ方向の下側に１／２ずれた位置となる。斜め側の推定画素の位置は、Ａを基準としてＡからＤ方向の斜め側に１／２ずれた位置、つまり横側に１／２、下側に１／２それぞれずれた位置となる。

図１および図２の説明に戻る。上述のように入力画像が供給されると、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０は、並列処理によって、それぞれ所定の画像推定処理を行い（Ｓ１０２，Ｓ１０３，Ｓ１０４）、下側、横側、斜め側の推定画素を生成する。

ここで、所定の画像推定処理は、下側、横側、斜め側の推定画素を求める際に、それぞれの推定対象位置の周辺にある、所定の領域内の画素の特徴に注目して、画像推定処理を行う。この所定の領域内の画素の特徴としては、例えば、複数の方向における所定の画素間の類似度である。また、例えば、下側、横側、斜め側のそれぞれの推定対象位置を基準として、それぞれに対して所定の領域を設定し、それぞれの領域内の画素に基づいて、複数の方向における方向別の類似度を求めてもよい。また、例えば、下側、横側、斜め側のそれぞれにおいて、このような方向別の類似度の中から、最も類似度が高い方向に沿った画素列を特定する。このように特定された画素列に対して、所定のフィルタリング処理を行い、下側、横側、斜め側のそれぞれの推定対象位置の推定画素を求める。類似度の求め方や所定のフィルタリング処理に関する更に詳細な説明は後述する。

推定画素格納部１０３は、現在処理対象の基準としている画素が取得されていない場合には、入力画像１０１から取得して対応する位置に格納するとともに、生成された下側、横側、斜め側の推定画素を取得し、現在求めようとしている拡大画像の、現在処理対象となっている対応する位置に格納する（Ｓ１０５）。

ここで、推定画素格納部１０３は、拡大画像を構成するための画像メモリを持ち、入力画像で現在処理対象となっている画素と、現在処理対象となっている画素位置の下側、横側、斜め側の推定画素を取得して、拡大画像を構成するための画像メモリの対応する位置に格納するとともに、生成された拡大画像を出力する。

本実施の形態の画像拡大装置１００では、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０の処理を並列処理によって行っているが、別の一例としては、例えば、下側画像推定部１１０、横側画像推定部１３０、斜め側画像推定部１５０の処理を所定の順序に従って順次処理となるように構成しても構わない。

次に、統合制御部１０９は、推定画素格納部１０３における拡大画像において、対象となる全ての推定処理が完了したかどうかを判定する（Ｓ１０６）。

ここで、全ての推定処理が完了した場合（Ｓ１０６ ＹＥＳ）、統合制御部１０９は、推定画素格納部１０３に指令を送り、推定画素格納部１０３は、統合制御部１０９の制御に従って、生成した拡大画像を出力画像１０２として出力する。

生成された拡大画像は、出力として、伝送装置１９１、記録装置１９２、記録媒体１９３、蓄積装置１９４、表示・再生装置１９５などに対して供給され、伝送や蓄積、そして表示・再生が行われる。このようにして本実施の形態により、空間解像度の低い入力画像に対して画像拡大処理が行われ、拡大画像が供給される。

以上述べたことは、図１および図２で示される本実施の形態の画像拡大装置１００の基本的な構成と動作の一例である。このような構成および動作により、次のような効果を得ることができる。

本実施の形態の画像拡大装置１００では、入力画像１０１から、下側、横側、斜め側の、それぞれの推定対象位置の周辺にある、所定の領域内の画素を参照しながら、それぞれの領域内の画素に基づいて、複数の方向における方向別の類似度を求める。そして、下側、横側、斜め側の、それぞれの方向別の類似度の中から、最も類似度が高い方向に沿った画素列を特定し、所定のフィルタリング処理を行い、下側、横側、斜め側のそれぞれの推定対象位置の推定画素を求める。

これにより、一般的なエッジを含む画像に対するフィルタリング処理において生じる、本来エッジとして急峻である部分が滑らかになってしまったり、フィルタリング処理により周辺画素の信号が混ざってしまい、画像ボケや信号劣化を起こしてしまったりする問題を改善することができる。

つまり、最も類似度が高い方向を特定し、その方向の画素列に対してフィルタリング処理できることから、急激な画素値の変化を伴うようなエッジに対するフィルタリング処理を回避し、比較的滑らかな信号に対してフィルタリング処理を施すことができる。

また、本実施の形態の画像拡大装置１００では、類似度が高い画素列に対してフィルタリング処理を行えばよいことから、複雑な周波数成分を含む信号に対応する必要がなく、フィルタリング処理で利用するフィルタのタップ数は、非常に短いタップであっても、推定結果に大きな劣化を伴うことなく十分な画素の推定を行うことができる。

更に、フィルタリング処理において、短いタップを利用することにより、非常に高速なフィルタリング処理を実現し、良好な拡大画像を生成することができる。

また、本実施の形態の画像拡大装置１００では、通常の画像拡大で使用するフィルタリング処理のように、推定対象位置より以前にフィルタリング処理によって推定された画素を利用せず、入力画像として得られる整数位置の画素を利用して、最も類似度が高い方向の画素列を特定し、所定のフィルタリング処理を行い、推定対象位置の推定画素を生成するような構成になっている。したがって、下側、横側、斜め側の画像推定処理を、小数位置の推定画素が生成されるのを待つことなく、また、下側、横側、斜め側のそれぞれの画像推定処理に依存することなく、並列的に処理を進めることが可能となる。これにより、拡大画像全体を得るまでの時間を大幅に短縮することができるようになる。

次に、下側画像推定部１１０に関する詳細な構成および動作について説明する。図３（Ａ）は、下側画像推定部１１０の詳細な概念ブロック図である。また、図４（Ａ）は、下側画像推定部１１０の動作を表すフローチャートである。

下側画像推定部１１０は、例えば図３（Ａ）で示されるように、対象領域画像取得部１１１、下側推定位置特定部１１２、下側第１評価対象画素特定部１１３、下側第１類似度検出部１１４、下側第１類似方向判定部１１５、下側第２評価対象画素特定部１１６、下側第２類似度検出部１１７、下側第２類似方向判定部１１８、下側フィルタリング位置特定部１１９、下側フィルタリング部１２０、及び下側制御部１２９によって構成される。

下側制御部１２９は、統合制御部１０９の制御に応じて、下側画像推定部１１０に含まれる各部の制御を行い、下側位置の推定画素が生成されるように制御する。下側制御部１２９は、現在どの部分の推定画素の生成を行おうとしているのかといった、下側画像推定処理の進捗状況を把握し、各部に対して指令を出すことにより、下側画像推定処理の制御を行う。

対象領域画像取得部１１１は、現在処理対象となっている画素位置や周辺領域の画像列を特定して、入力画像１０１から、現在処理対象となっている画像領域の画素列を取得し（Ｓ２０１）、下側推定位置特定部１１２、下側第１評価対象画素特定部１１３、下側第２評価対象画素特定部１１６、下側フィルタリング位置特定部１１９に供給する。

次に、下側推定位置特定部１１２は、対象領域画像取得部１１１で特定された画像領域を参照して、現在処理対象となっている下側の推定位置を特定し（Ｓ２０２）、下側の推定位置に関する情報（以後、下側推定位置情報）を、下側第１評価対象画素特定部１１３、下側第２評価対象画素特定部１１６に供給する。

次に、下側第１評価対象画素特定部１１３は、下側推定位置特定部１１２から下側推定位置情報を取得し、この情報に基づいて対象領域画像取得部１１１で特定された画像領域を参照しながら、第１の評価対象となる画素を特定し（Ｓ２０３）、下側第１類似度検出部１１４に供給する。ここで、下側第１評価対象画素特定部１１３で特定される第１の評価対象となる画素に関しては、後述する。

次に、下側第１類似度検出部１１４は、下側第１評価対象画素特定部１１３から特定された第１の評価対象となる画素列を取得し、下側の推定位置における、取得した画素列の所定の画素間の、第１の類似度をそれぞれ検出し（Ｓ２０４）、下側第１類似方向判定部１１５に供給する。ここで、下側の推定位置における、取得した画素列の所定の画素間の関係や類似度の検出に関しては、後述する。

次に、下側第１類似方向判定部１１５は、下側第１類似度検出部１１４から検出されたそれぞれの類似度を取得し、検出された類似度に基づいて、下側の推定位置における第１の判定を行い（Ｓ２０５）、検出された中で類似度が最も高いと判定された画素列の方向を特定する。下側第１類似方向判定部１１５は、この特定された方向に関する情報（以後、第１類似方向情報）を、下側第２評価対象画素特定部１１６に供給する。

次に、下側第２評価対象画素特定部１１６は、下側推定位置特定部１１２から下側推定位置情報、下側第１類似方向判定部１１５から第１類似方向情報を取得し、対象領域画像取得部１１１で特定された画像領域を参照しながら、第２の評価対象となる画素を特定し（Ｓ２０６）、下側第２類似度検出部１１７に供給する。ここで、下側第２評価対象画素特定部１１６で特定される第２の評価対象となる画素に関しては、後述する。

次に、下側第２類似度検出部１１７は、下側第２評価対象画素特定部１１６から特定された第２の評価対象となる画素列を取得し、下側の推定位置における、取得した画素列の所定の画素間の、第２の類似度をそれぞれ検出し（Ｓ２０７）、下側第２類似方向判定部１１８に供給する。ここで、下側の推定位置における、取得した画素列の所定の画素間の関係や類似度の検出に関しては、後述する。

次に、下側第２類似方向判定部１１８は、下側第２類似度検出部１１７から検出されたそれぞれの類似度を取得し、検出された類似度に基づいて、下側の推定位置における第２の判定を行い（Ｓ２０８）、検出された中で類似度が最も高いと判定された画素列の方向を特定する。下側第２類似方向判定部１１８は、この特定された方向に関する情報（以後、第２類似方向情報）を、下側フィルタリング位置特定部１１９に供給する。

次に、下側フィルタリング位置特定部１１９は、下側制御部１２９の指令により、下側第２類似方向判定部１１８から第２類似方向情報を取得し、対象領域画像取得部１１１で特定された画像領域を参照しながら、下側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ２０９）、対応するそれぞれの画素を、下側フィルタリング部１２０に供給する。

次に、下側フィルタリング部１２０は、下側制御部１２９の指令により、特定された位置の画素に対して、フィルタリング処理を行い（Ｓ２１０）、生成された推定画素を推定画素格納部１０３に供給する。

その後、推定画素格納部１０３は、下側制御部１２９の指令により、下側フィルタリング部１２０から生成された推定画素を取得し、拡大画像として現在処理対象となっている位置の下側位置に対して推定画素を格納する（Ｓ２１１）ことにより、下側画像推定部における一連の処理が完了する。

図４（Ｂ）は、横側画像推定部１３０の動作を表すためのフローチャートである。この横側画像推定部１３０は、下側画像推定部１１０と基本的には同様の動作を行うが、推定画素を求める際に用いる画像列や方向が、下側の推定位置と横側の推定位置で異なるものが用いられる。

図４（Ｂ）で示されるように、横側制御部１４９の指令により、対象領域画像取得部１３１は、現在処理対象となっている画像領域の画素列を取得し（Ｓ３０１）、横側推定位置特定部１３２は、画像領域の画素列を参照しながら、横側の推定位置を特定し（Ｓ３０２）、横側第１評価対象画素特定部１３３は、横側の推定位置に基づいて、第１の評価対象となる画素を特定し（Ｓ３０３）、横側第１類似度検出部１３４は、特定された第１の評価対象となるそれぞれの画素に基づいて、横側の推定位置における、第１の類似度を検出し（Ｓ３０４）、横側第１類似方向判定部１３５は、検出されたそれぞれの類似度に基づいて、横側の推定位置における第１の判定を行い（Ｓ３０５）、第１類似方向情報を特定する。

その後、横側第２評価対象画素特定部１３６は、特定された第１類似方向情報に基づいて、第２の評価対象となる画素を特定し（Ｓ３０６）、横側第２類似度検出部１３７は、特定された第２の評価対象となるそれぞれの画素に基づいて、横側の推定位置における、第２の類似度を検出し（Ｓ３０７）、横側第２類似方向判定部１３８は、検出されたそれぞれの類似度に基づいて、横側の推定位置における第２の判定を行い（Ｓ３０８）、第２類似方向情報を特定し、横側フィルタリング位置特定部１３９は、特定された第２類似方向情報に基づいて、横側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ３０９）、横側フィルタリング部１４０は、特定された位置に対して、フィルタリング処理を行い（Ｓ３１０）、推定画素格納部１０３は、推定画素を格納する（Ｓ３１１）ことにより、横側画像推定部における一連の処理が完了する。

このように、基本的な動作のフローチャートは、下側画像推定部１１０の動作を示す図４（Ａ）で下側に関する部分を横側に置き換えたものと同様であることから説明を省略する。

図４（Ｃ）は、斜め側画像推定部１５０の動作を表すためのフローチャートである。この斜め側画像推定部１５０は、下側画像推定部１１０や横側画像推定部１３０と基本的には同様の動作を行うが、推定画素を求める際に用いる画像列や方向が、下側や横側の推定位置と斜め側の推定位置で異なるものが用いられる。

図４（Ｃ）で示されるように、斜め側制御部１６９の指令により、対象領域画像取得部１５１は、現在処理対象となっている画像領域の画素列を取得し（Ｓ４０１）、斜め側推定位置特定部１５２は、画像領域の画素列を参照しながら、斜め側の推定位置を特定し（Ｓ４０２）、斜め側第１評価対象画素特定部１５３は、斜め側の推定位置に基づいて、第１の評価対象となる画素を特定し（Ｓ４０３）、斜め側第１類似度検出部１５４は、特定された第１の評価対象となるそれぞれの画素に基づいて、斜め側の推定位置における、第１の類似度を検出し（Ｓ４０４）、斜め側第１類似方向判定部１５５は、検出されたそれぞれの類似度に基づいて、斜め側の推定位置における第１の判定を行い（Ｓ４０５）、第１類似方向情報を特定する。

その後、斜め側第２評価対象画素特定部１５６は、特定された第１類似方向情報に基づいて、第２の評価対象となる画素を特定し（Ｓ４０６）、斜め側第２類似度検出部１５７は、特定された第２の評価対象となるそれぞれの画素に基づいて、斜め側の推定位置における、第２の類似度を検出し（Ｓ４０７）、斜め側第２類似方向判定部１５８は、検出されたそれぞれの類似度に基づいて、斜め側の推定位置における第２の判定を行い（Ｓ４０８）、第２類似方向情報を特定し、斜め側フィルタリング位置特定部１５９は、特定された第２類似方向情報に基づいて、斜め側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ４０９）、斜め側フィルタリング部１６０は、特定された位置に対して、フィルタリング処理を行い（Ｓ４１０）、推定画素格納部１０３は、推定画素を格納する（Ｓ４１１）。これにより、斜め側画像推定部における一連の処理が完了する。

このように、基本的な動作のフローチャートは、図４（Ａ）や図４（Ｂ）で、下側や横側に関する部分を斜め側に置き換えたものと同様であることから説明を省略する。

次に、本実施の形態でフィルタリング処理対象となる画素列の方向を特定するために方向別に検出する類似度に関して説明する。

本実施の形態で利用する類似度は、例えば、類似度を求める際に対象としている領域に属する画素値の平均値（以後、「類似度平均値」と呼ぶ）から、類似度を求める際に比較対象となる画素値（以後、「類似度比較値」と呼ぶ）が、どの程度違っているかを求めて、より類似度平均値に近いものを類似度が高いと判定する。ここで、類似度比較値と類似度平均値との違いを単純に求めると正負の数になってしまって比較する際に煩雑になることから、類似度比較値と類似度平均値との差を２乗することで負号の無い状態で比較に利用するようにしてもよい。つまり、類似度比較値と類似度平均値から分散を求めて比較に利用する構成となる。

また、類似度比較値と類似度平均値との差の２乗において、２乗を計算する際の乗算の演算量が、一般に、加減算やシフト演算よりも大きいことから、類似度比較値と類似度平均値との差の絶対値を求めて利用するようにすると更によい。つまり、類似度比較値と類似度平均値から偏差を求めて比較に利用することで、分散を求めて比較する場合よりも、より簡単な構成により類似度の検出や比較が可能となる。

ここで、一例として、具体的に類似度比較値と類似度平均値がどのように求められるかを示す。例えば、図６において、斜め側の推定画素を求めようとする際に利用するＡとＤの類似度は、次のように表すことができる。
Ａの類似度＝（Ｌ（Ａ）−類似度平均値）＾２
Ｄの類似度＝（Ｌ（Ｄ）−類似度平均値）＾２
ここでＬ（・）は画像位置の画素値、＾２は２乗を意味する。

また、Ａ−Ｄ方向の類似度（以後、ＡＤ類似度）は、
ＡＤ類似度＝Ａの類似度＋Ｄの類似度
と表すことができる。

一般に、類似度平均値は、類似度比較値を含み、近傍画素集合の画素値の平均値であるから、近傍画素集合をＵ、近傍画素集合の要素数、つまり近傍画素集合の画素数をＮとし、近傍画素集合の画素値の総和をＬ（ＳＵ）とすると、
類似度平均値＝Ｌ（ＳＵ）／Ｎ
と表せる。

例えば図６において、Ｕ１｛Ａ，Ｂ，Ｃ，Ｄ｝であるとすると、Ｎ１＝４、Ｌ（ＳＵ１）＝Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ）であるため、
類似度平均値＝Ｌ（ＳＵ１）／Ｎ１
＝（Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ））／４
となる。したがって、Ａの類似度、Ｄの類似度は、
Ａの類似度＝（Ｌ（Ａ）−（Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ））／４）＾２
Ｄの類似度＝（Ｌ（Ｄ）−（Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ））／４）＾２
となる。また、ＡＤ類似度は、
ＡＤ類似度＝（Ｌ（Ａ）−（Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ））／４）＾２
＋（Ｌ（Ｄ）−（Ｌ（Ａ）＋Ｌ（Ｂ）＋Ｌ（Ｃ）＋Ｌ（Ｄ））／４）＾２
となる。

更に、本実施の形態では、２つの代表値の類似度の求め方を次のように変形し、方向別の類似度計算をより簡略化したものを利用すると、更に良い構成となる。

図６において、ＡとＤの類似度を検出してＡＤ類似度を求める場合を例として、説明する。

まず、類似度平均値を（Ｌ（Ａ）＋Ｌ（Ｄ））／２として簡略化する。これは、近傍画素集合をＵ２｛Ａ，Ｄ｝、近傍画素集合の要素数をＮ２＝２とし、Ｕ１に基づく類似度平均値であるＬ（ＳＵ１）／Ｎ１と、Ｕ２に基づく類似度平均値であるＬ（ＳＵ２）／Ｎ２で、大きな相違がなく、置き換えが可能であるとすることによる。

これによりＡの類似度は、
Ａの類似度＝(Ｌ（Ａ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２

また、同様にＤの類似度は、類似度比較値をＬ（Ｄ）、類似度平均値を（Ｌ（Ａ）＋Ｌ（Ｄ））／２とすると、
Ｄの類似度＝(Ｌ（Ｄ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２

次に、ＡＤ類似度を、Ａの類似度とＤの類似度との和として定義すると、
Ａの類似度＝(Ｌ（Ａ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２
＝Ｌ（Ａ）＾２−Ｌ（Ａ）（Ｌ（Ａ）＋Ｌ（Ｄ））＋（（Ｌ（Ａ）＋Ｌ（Ｄ））／２）＾２
＝−Ｌ（Ａ）Ｌ（Ｄ）＋（（Ｌ（Ａ）＋Ｌ（Ｄ））／２）＾２
＝（Ｌ（Ａ）＾２−２Ｌ（Ａ）Ｌ（Ｄ）＋Ｌ（Ｄ）＾２）／４
＝（Ｌ（Ａ）−Ｌ（Ｄ））＾２／４

Ｄの類似度＝(Ｌ（Ｄ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２
＝Ｌ（Ｄ）＾２−Ｌ（Ｄ）（Ｌ（Ａ）＋Ｌ（Ｄ））＋（（Ｌ（Ａ）＋Ｌ（Ｄ））／２）＾２
＝−Ｌ（Ｄ）Ｌ（Ａ）＋（（Ｌ（Ａ）＋Ｌ（Ｄ））／２）＾２
＝（Ｌ（Ａ）＾２−２Ｌ（Ａ）Ｌ（Ｄ）＋Ｌ（Ｄ）＾２）／４
＝（Ｌ（Ａ）−Ｌ（Ｄ））＾２／４

ＡＤ類似度＝(Ｌ（Ａ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２＋(Ｌ（Ｄ）−（Ｌ（Ａ）＋Ｌ（Ｄ））／２)＾２
＝（Ｌ（Ａ）−Ｌ（Ｄ））＾２／４＋（Ｌ（Ａ）−Ｌ（Ｄ））＾２／４
＝（Ｌ（Ａ）−Ｌ（Ｄ））＾２／２
となる。したがって、ＡＤ類似度は、上式もしくはＡとＤの差の２乗を比較に利用すればよい構成となる。

また、上式を更に変形し、ＡとＤの差の２乗を、ＡとＤの差の絶対値を求めて利用するようにすると更によい。

ＡＤ類似度は、（Ｌ（Ａ）−Ｌ（Ｄ））＾２／２であるため、これをｓ（ＡＤ）と置いて変形すると、
（Ｌ（Ａ）−Ｌ（Ｄ））＾２／２＝ｓ（ＡＤ）
Ｌ（Ａ）−Ｌ（Ｄ）＝±２＊ｓ（ＡＤ）＾１／２

ここで、評価値としては正の値であることが望ましいことから、
｜Ｌ（Ａ）−Ｌ（Ｄ）｜＝２＊ｓ（ＡＤ）＾１／２

これを新たなＡＤ類似度Ｓ（ＡＤ）と置き直すことで、
Ｓ（ＡＤ）＝｜Ｌ（Ａ）−Ｌ（Ｄ）｜
となる。

このように、検出したい方向に属する２つの代表値を特定し、類似度を特定されたそれぞれの代表値の差の絶対値とすることで、より簡単な構成により類似度の検出や比較が可能となる。本実施の形態では、このような方法に基づいて、２つの代表値が示す方向別の類似度を検出するものとして説明する。

また、本実施の形態では、複数の画素値から２つの代表値を特定して、それらの大域的な方向の類似度を検出するように構成することもできる。例えば、図６において、Ａ−Ｄ方向の類似度をＡ，Ｄを代表値として求めたが、Ａ，Ａ−Ｌ，Ａ−Ｔ，Ａ−ＴＬの平均値と、Ｄ，Ｄ−Ｒ，Ｄ−Ｂ，Ｄ−ＢＲの平均値を２つの代表値として類似度を求めるようにしても構わない。

図６は、本実施の形態における方向別の類似度を求める際に評価対象となる画素について説明する図である。

本実施の形態では、例えば、横方向であるＡ−Ｂ方向の類似度｜Ｌ（Ａ）−Ｌ（Ｂ）｜、縦方向であるＡ−Ｃ方向の類似度｜Ｌ（Ａ）−Ｌ（Ｃ）｜、左斜め方向であるＡ−Ｄ方向の類似度｜Ｌ（Ａ）−Ｌ（Ｄ）｜、右斜め方向であるＢ−Ｃ方向の類似度｜Ｌ（Ｂ）−Ｌ（Ｃ）｜を、推定画素の推定位置に応じて異なる類似度を利用して、第１の評価を行うようにするとよい。

推定画素の推定位置が下側もしくは横側である場合において、第１の評価対象となる画素は、例えば、Ａ，Ｂ，Ｃである。この評価対象となる画素から、横方向の類似度｜Ｌ（Ａ）−Ｌ（Ｂ）｜、縦方向の類似度｜Ｌ（Ａ）−Ｌ（Ｃ）｜を検出する。

ここでは、評価対象となる画素をＡ，Ｂ，Ｃとしたが、Ｄを含めるようにしても構わない。そして、横方向の類似度として｜Ｌ（Ａ）−Ｌ（Ｂ）｜と｜Ｌ（Ｃ）−Ｌ（Ｄ）｜の平均値を利用し、縦方向の類似度として｜Ｌ（Ａ）−Ｌ（Ｃ）｜と｜Ｌ（Ｂ）−Ｌ（Ｄ）｜の平均値を利用するような構成にしても構わない。

推定画素の推定位置が斜め側である場合において、第１の評価対象となる画素は、例えば、Ａ，Ｂ，Ｃ，Ｄである。この評価対象となる画素から、左斜め方向の類似度｜Ｌ（Ａ）−Ｌ（Ｄ）｜、右斜め方向の類似度｜Ｌ（Ｂ）−Ｌ（Ｃ）｜を検出する。

次に、図７によって、下側の推定位置における、第１および第２の評価対象となる画素について説明する。

図７（Ａ）は、小数位置の画素まで利用する場合、図７（Ｂ）は、整数位置の画素のみ利用する場合を示す。

図７（Ａ）のように小数位置の画素まで利用する場合には、まず、第１の評価対象としてｈ１１，ｈ１２，ｈ１３の横方向、Ａ−Ｔ，Ａ，Ｃの縦方向の、どちらの方向がより類似度が高いかを検出する。ここで利用する類似度は、例えば、下側第１評価対象画素特定部１１３によって特定される、Ａ，Ｂ，Ｃを評価対象となる画素に基づいて、下側第１類似度検出部１１４によって検出された、｜Ｌ（Ａ）−Ｌ（Ｂ）｜、｜Ｌ（Ａ）−Ｌ（Ｃ）｜である。

ここで、例えば、下側第１類似方向判定部１１５において、｜Ｌ（Ａ）−Ｌ（Ｂ）｜と｜Ｌ（Ａ）−Ｌ（Ｃ）｜を比較して、｜Ｌ（Ａ）−Ｌ（Ｃ）｜の値が小さい、つまり縦方向の類似度が高いと判定された場合を考える。

この場合において、検出された中で類似度が最も高いものが縦方向であったため、例えば、下側第２評価対象画素特定部１１６では、Ａ−Ｔ，Ａ，Ｃの縦方向、ｈ１４，ｈ１５といった縦方向から少し左回転させた方向、ｈ１６，ｈ１７といった縦方向から少し右回転させた方向の画素が特定される。そして、これらの３方向のうち、どの方向のものが最も類似度が高くなるかを検出する。ここで、利用する類似度は、例えば、下側第２類似度検出部１１７によって検出された、｜Ｌ（ｈ１４）−Ｌ（ｈ１５）｜、｜Ｌ（ｈ１６）−Ｌ（ｈ１７）｜、および｜Ｌ（Ａ）−Ｌ（Ｃ）｜である。下側第２類似度検出部１１７の検出過程において、この｜Ｌ（Ａ）−Ｌ（Ｃ）｜は、下側第１類似度検出部１１４によって検出されたものを再度利用するように構成しても構わない。

これらの類似度に対して、例えば、下側第２類似方向判定部１１８において、｜Ｌ（ｈ１４）−Ｌ（ｈ１５）｜、｜Ｌ（ｈ１６）−Ｌ（ｈ１７）｜、｜Ｌ（Ａ）−Ｌ（Ｃ）｜を比較して、最も類似度が高いものを特定する。特定された方向に関する情報である第２類似方向情報を、下側フィルタリング位置特定部１１９に供給して実際にフィルタリング対象となる画素を特定し、下側フィルタリング部１２０によってフィルタリング処理を行うことにより、下側の推定画素が生成される。一例として、｜Ｌ（ｈ１４）−Ｌ（ｈ１５）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、ｈ１４，ｈ１５が特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（ｈ１６）−Ｌ（ｈ１７）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、ｈ１６，ｈ１７が特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ａ）−Ｌ（Ｃ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ａ−Ｔ，Ａ，Ｃが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

同様に、例えば、下側第１類似方向判定部１１５において、｜Ｌ（Ａ）−Ｌ（Ｂ）｜と｜Ｌ（Ａ）−Ｌ（Ｃ）｜を比較して、｜Ｌ（Ａ）−Ｌ（Ｂ）｜の値が小さい、つまり横方向の類似度が高いと判定された場合を考える。

この場合において、検出された中で類似度が最も高いものは横方向であったため、例えば、下側第２評価対象画素特定部１１６では、ｈ１１，ｈ１２，ｈ１３の横方向、Ｃ−Ｌ，Ｂといった横方向から少し左回転させた方向、Ａ−Ｌ，Ｄといった横方向から少し右回転させた方向の画素が特定される。そして、これらの３方向のうち、どの方向のものが最も類似度が高くなるかを検出する。ここで、利用する類似度は、例えば、下側第２類似度検出部１１７によって検出された、｜Ｌ（Ｃ−Ｌ）−Ｌ（Ｂ）｜、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ）｜、および｜Ｌ（Ａ）−Ｌ（Ｂ）｜である。下側第２類似度検出部１１７の検出過程において、この｜Ｌ（Ａ）−Ｌ（Ｂ）｜は、下側第１類似度検出部１１４によって検出されたものを再度利用するように構成しても構わない。

これらの類似度に対して、例えば、下側第２類似方向判定部１１８において、｜Ｌ（Ｃ−Ｌ）−Ｌ（Ｂ）｜、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ）｜、｜Ｌ（Ａ）−Ｌ（Ｂ）｜を比較して、最も類似度が高いものを特定する。特定された方向に関する情報である第２類似方向情報を、下側フィルタリング位置特定部１１９に供給して実際にフィルタリング対象となる画素を特定し、下側フィルタリング部１２０によってフィルタリング処理を行うことにより、下側の推定画素が生成される。一例として、｜Ｌ（Ｃ−Ｌ）−Ｌ（Ｂ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ｃ−Ｌ，Ｂが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ａ−Ｌ，Ｄが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ａ）−Ｌ（Ｂ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、ｈ１１，ｈ１２，ｈ１３が特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

図７（Ｂ）のように整数位置の画素のみ利用する場合には、まず、第１の評価として、横方向、縦方向のどちらの方向がより類似度が高いかを検出する。

ここで、小数位置の画素を利用しないことから、推定位置が下側である場合には、図７（Ｂ）で示されるように、横側に対応する画素列であるｈ１１，ｈ１２，ｈ１３が存在しないことから、仮に横方向の類似度が高いと判定された場合には、下側第２類似方向判定部１１８において、｜Ｌ（Ｃ−Ｌ）−Ｌ（Ｂ）｜、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ）｜のみを比較して、類似度が高いものを特定することになる。また、仮に縦方向の類似度が高いと判定された場合には、縦方向から少し左回転させた方向の画素に対応するｈ１４，ｈ１５や、縦方向から少し右回転させた方向の画素に対応するｈ１６，ｈ１７が存在しないことから、仮に縦方向の類似度が高いと判定された場合には、下側第２類似方向判定部１１８において、そのまま縦方向の類似度が高いものとして特定することになる。

このように、整数位置の画素のみ利用する場合では、類似度に応じて選択できる方向の数が制限される代わりに、第２の評価における類似度の比較回数が削減されることから、より簡易で高速に処理できる構成を実現することができる。

フィルタリング対象となる画素の特定において、図７では、縦方向の類似度が最も高いと判定された場合には、Ａ−Ｔ，Ａ，Ｃが特定され、横方向の類似度が最も高いと判定された場合には、ｈ１１，ｈ１２，ｈ１３が特定され、その後のフィルタリング処理では、３タップの所定のフィルタリング処理が特定された画素列に対して行われる例が示されている。

しかし、別の一例としては、縦方向の類似度が最も高いと判定された場合には、Ａ−Ｔ，Ａ，Ｃの他に更にＣ−Ｂが特定され、横方向の類似度が最も高いと判定された場合には、ｈ１１，ｈ１２，ｈ１３の他に更にｈ１８が特定され、その後のフィルタリング処理では、４タップの所定のフィルタリング処理が特定された画素列に対して行われるように構成することもできる。

ここでは３画素や４画素の画素列を特定し、３タップや４タップの所定のフィルタリング処理を行う構成について説明したが、更に多くの画素列に対して、対応するタップ数によるフィルタリング処理を行うように構成することもできる。

図８（Ａ）は、横側の推定位置における、第１および第２の評価対象となる画素について説明する図である。基本的な考え方は、下側の推定位置における場合と同様であることから適宜説明を省略し、異なる部分のみ説明する。

図８（Ａ）に示されるように、下側の推定位置と、横側の推定位置では、位置関係が異なっていることから、評価対象となる画素に対しても位置関係がずれた、異なる画素を利用することになる。

例えば、下側の推定位置の場合には、縦方向では整数位置、横方向では小数位置の画素列を利用していたが、横側の推定位置の場合には、縦方向では小数位置、横方向では整数位置の画素列を利用することになる。

また、横側の推定位置において、図８（Ｂ）のように整数位置の画素のみ利用する場合には、第２の評価においては、下側の推定位置の場合とは逆に、縦方向の類似度が高いと判定された場合には、縦方向の小数位置の画素が存在しないことから、縦方向から少し左回転させた方向の画素、縦方向から少し右回転させた方向の画素から検出される類似度を比較して、類似度の高い方向を特定することになる。また、横方向の類似度が高いと判定された場合には、横方向から少し左回転させた方向および横方向から少し右回転させた方向に対応する画素がそれぞれ存在しないことから、第２の評価においては、そのまま横方向を類似度が高い方向として特定することになる。

フィルタリング対象となる画素の特定において、図８では、縦方向の類似度が最も高いと判定された場合には、ｈ２１，ｈ２２，ｈ２３が特定され、横方向の類似度が最も高いと判定された場合には、Ａ−Ｌ，Ａ，Ｂが特定され、その後のフィルタリング処理では、３タップの所定のフィルタリング処理が特定された画素列に対して行われる例が示されている。

しかし、別の一例としては、縦方向の類似度が最も高いと判定された場合には、ｈ２１，ｈ２２，ｈ２３の他に更にｈ２８が特定され、横方向の類似度が最も高いと判定された場合には、Ａ−Ｌ，Ａ，Ｂの他に更にＢ−Ｒが特定され、その後のフィルタリング処理では、４タップの所定のフィルタリング処理が特定された画素列に対して行われるように構成することもできる。

ここでは３画素や４画素の画素列を特定し、３タップや４タップの所定のフィルタリング処理を行う構成について説明したが、更に多くの画素列に対して、対応するタップ数によるフィルタリング処理を行うように構成することもできる。

図９は、斜め側の推定位置における、第１および第２の評価対象となる画素について説明する図である。

斜め側の推定位置において評価対象として利用する画素は、例えば、図９で示されるように整数位置の画素のみを利用するようにすると、下側および横側の推定画素に依存せずに単独で処理できるため、処理の並列化や高速化に対応することができ、より良い構成となる。

斜め側の推定位置において整数位置の画素のみを利用する場合では、下側および横側の推定位置における処理とは異なり、縦方向、横方向の類似度の比較を行うのではなく、まず第１の評価として、左斜め方向、右斜め方向の類似度の比較を行う点で異なっている。

まず、第１の評価対象としてＡ−ＴＬ，Ａ，Ｄの左斜め方向、Ｂ−ＴＲ，Ｂ，Ｃの右斜め方向の、どちらの方向がより類似度が高いかを検出する。ここで利用する類似度は、例えば、斜め側第１評価対象画素特定部１５３によって特定される、Ａ，Ｂ，Ｃ，Ｄを評価対象となる画素に基づいて、斜め側第１類似度検出部１５４によって検出された、｜Ｌ（Ａ）−Ｌ（Ｄ）｜、｜Ｌ（Ｂ）−Ｌ（Ｃ）｜である。

ここで、例えば、斜め側第１類似方向判定部１５５において、｜Ｌ（Ａ）−Ｌ（Ｄ）｜と｜Ｌ（Ｂ）−Ｌ（Ｃ）｜を比較して、｜Ｌ（Ａ）−Ｌ（Ｄ）｜の値が小さい、つまり左斜め方向の類似度が高いと判定された場合を考える。

この場合において、検出された中で類似度が最も高いものが左斜め方向であったため、例えば、斜め側第２評価対象画素特定部１５６では、Ａ−ＴＬ，Ａ，Ｄの左斜め方向、Ａ−Ｌ，Ｄ−Ｒといった左斜め方向から少し左回転させた方向、Ａ−Ｔ，Ｄ−Ｂといった左斜め方向から少し右回転させた方向の画素が特定される。そして、これらの３方向のうち、どの方向のものが最も類似度が高くなるかを検出する。ここで、利用する類似度は、例えば、斜め側第２類似度検出部１５７によって検出された、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ−Ｒ）｜、｜Ｌ（Ａ−Ｔ）−Ｌ（Ｄ−Ｂ）｜、および｜Ｌ（Ａ）−Ｌ（Ｄ）｜である。斜め側第２類似度検出部１５７の検出過程において、この｜Ｌ（Ａ）−Ｌ（Ｄ）｜は、斜め側第１類似度検出部１５４によって検出されたものを再度利用するように構成しても構わない。

これらの類似度に対して、例えば、斜め側第２類似方向判定部１５８において、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ−Ｒ）｜、｜Ｌ（Ａ−Ｔ）−Ｌ（Ｄ−Ｂ）｜、｜Ｌ（Ａ）−Ｌ（Ｄ）｜を比較して、最も類似度が高いものを特定する。特定された方向に関する情報である第２類似方向を、斜め側フィルタリング位置特定部１５９に供給して実際にフィルタリング対象となる画素を特定し、斜め側フィルタリング部１６０によってフィルタリング処理を行うことにより、斜め側の推定画素が生成される。一例として、｜Ｌ（Ａ−Ｌ）−Ｌ（Ｄ−Ｒ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ａ−Ｌ，Ｄ−Ｒが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ａ−Ｔ）−Ｌ（Ｄ−Ｂ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ａ−Ｔ，Ｄ−Ｂが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ａ）−Ｌ（Ｄ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ａ−ＴＬ，Ａ，Ｄが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

同様に、例えば、斜め側第１類似方向判定部１５５において、｜Ｌ（Ａ）−Ｌ（Ｄ）｜と｜Ｌ（Ｂ）−Ｌ（Ｃ）｜を比較して、｜Ｌ（Ｂ）−Ｌ（Ｃ）｜の値が小さい、つまり右斜め方向の類似度が高いと判定された場合を考える。

この場合において、検出された中で類似度が最も高いものは右斜め方向であったため、例えば、斜め側第２評価対象画素特定部１５６では、Ｂ−ＴＲ，Ｂ，Ｃといった右斜め方向、Ｂ−Ｔ，Ｃ−Ｂといった右斜め方向から少し左回転させた方向、Ｂ−Ｒ，Ｃ−Ｌといった右斜め方向から少し右回転させた方向の画素が特定される。そして、これらの３方向のうち、どの方向のものが最も類似度が高くなるかを検出する。ここで、利用する類似度は、例えば、斜め側第２類似度検出部１５７によって検出された、｜Ｌ（Ｂ−Ｔ）−Ｌ（Ｃ−Ｂ）｜、｜Ｌ（Ｂ−Ｒ）−Ｌ（Ｃ−Ｌ）｜、および｜Ｌ（Ｂ）−Ｌ（Ｃ）｜であるとよい。斜め側第２類似度検出部１５７の検出過程において、この｜Ｌ（Ｂ）−Ｌ（Ｃ）｜は、斜め側第１類似度検出部１５４によって検出されたものを再度利用するように構成しても構わない。

これらの類似度に対して、例えば、斜め側第２類似方向判定部１５８において、｜Ｌ（Ｂ−Ｔ）−Ｌ（Ｃ−Ｂ）｜、｜Ｌ（Ｂ−Ｒ）−Ｌ（Ｃ−Ｌ）｜、｜Ｌ（Ｂ）−Ｌ（Ｃ）｜を比較して、最も類似度が高いものを特定する。特定された方向に関する情報である第２類似方向情報を、斜め側フィルタリング位置特定部１５９に供給して実際にフィルタリング対象となる画素を特定し、斜め側フィルタリング部１６０によってフィルタリング処理を行うことにより、斜め側の推定画素が生成される。一例として、｜Ｌ（Ｂ−Ｔ）−Ｌ（Ｃ−Ｂ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ｂ−Ｔ，Ｃ−Ｂが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ｂ−Ｒ）−Ｌ（Ｃ−Ｌ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ｂ−Ｒ，Ｃ−Ｌが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

また、一例として、｜Ｌ（Ｂ）−Ｌ（Ｃ）｜が最も類似度が高いと判定された場合には、フィルタリング対象となる画素の特定により、例えば、Ｂ−ＴＲ，Ｂ，Ｃが特定され、これらの画素列に対して所定のフィルタリング処理が行われるような構成が考えられる。

フィルタリング対象となる画素の特定において、図９では、左斜め方向の類似度が最も高いと判定された場合には、Ａ−ＴＬ，Ａ，Ｄが特定され、右斜め方向の類似度が最も高いと判定された場合には、Ｂ−ＴＲ，Ｂ，Ｃが特定され、その後のフィルタリング処理では、３タップの所定のフィルタリング処理が特定された画素列に対して行われる例が示されている。

しかし、別の一例としては、左斜め方向の類似度が最も高いと判定された場合には、Ａ−ＴＬ，Ａ，Ｄの他に更にＤ−ＢＲが特定され、右斜め方向の類似度が最も高いと判定された場合には、Ｂ−ＴＲ，Ｂ，Ｃの他に更にＣ−ＢＬが特定され、その後のフィルタリング処理では、４タップの所定のフィルタリング処理が特定された画素列に対して行われるように構成することもできる。

ここでは３画素や４画素の画素列を特定し、３タップや４タップの所定のフィルタリング処理を行う構成について説明したが、更に多くの画素列に対して、対応するタップ数によるフィルタリング処理を行うように構成することもできる。

図１０は、本実施の形態において、下側の推定位置の推定画素を生成する際に行われる、所定のフィルタリング処理の一例について説明する図である。図１０では、一例として、縦方向の類似度が一番高く、フィルタリング対象となる画素の特定により、Ａ−Ｔ，Ａ，Ｃが特定された場合について説明する。

図１０のような場合では、次のようなフィルタリング処理を行うように構成するとよい。下側の推定画素を求める際に、まず、特定された画素列の中央の画素、ここではＡに注目し、Ａの位置の中間値Ｔを生成するために、特定された画素列の中央の画素の両隣として特定された画素、ここではＡ−Ｔ，Ｃの位置の画素を利用して、Ｌ（Ｔ）＝（Ｌ（Ａ−Ｔ）＋Ｌ（Ｃ））＞＞１とすることにより、Ａ−ＴとＣからＡの位置の中間値を生成する。その後、更新後のＡをＡ'として、Ｌ（Ａ'）＝（Ｌ（Ｔ）＋Ｌ（Ａ））＞＞１とすることにより、ＴとＡからＡの位置の更新後のＡであるＡ'を生成する。そして最後に、下側の推定画素 ＝ （Ｌ（Ａ'）＋Ｌ（Ｃ））＞＞１とすることにより、Ａ'と、両隣の画素のうち推定位置に近いもの、つまりＣから下側の推定位置の推定画素を生成する。ここで、各画素の画素値は整数であるものとし、＞＞ＮはＮビットの右シフト演算であるものとする。つまり、＞＞１は、１ビットの右シフト演算となる。

また、より簡易的なフィルタリング処理としては、例えば、Ｌ（Ａ'）＝Ｌ（Ｔ）として、最後に、下側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｃ））＞＞１とすることにより、Ａ'と、両隣の画素のうち推定位置に近いもの、つまりＣから下側の推定位置の推定画素を生成するように構成してもよい。

本実施の形態のフィルタリング処理を、例えば、上述のような整数演算の加算とシフト演算によって構成して、３タップのフィルタリング処理を行うことにより、３タップのフィルタリング係数を各対応画素に乗算し、それぞれ加算するような、従来型のフィルタリング処理よりも、大幅に演算量を低減することができるようになる。これは、整数もしくは小数の乗算にかかる演算量が、加減算やシフト演算よりも非常に多くの演算量を必要とすることによるものである。

また、図１０で示されるような下側の推定位置の推定画素を求める場合には、従来型のフィルタリング処理では、一般に偶数タップのフィルタ係数を用いたフィルタリング処理を行うために、フィルタリング処理に多くの画素と演算量を必要とする。しかし、本実施の形態のような整数演算の加算とシフト演算によって構成された、３タップのフィルタリング処理では、例えば、図１０で示されるように、Ｃの下の整数位置の画素であるＣ−Ｂを必要としないことから、下側の推定位置に隣接する画素よりも外側の画素の特徴、つまり画素値の変化量を取り込みつつ、正しい位相の画素を生成する、最も少ないフィルタリング処理を実現することができる。

また、本実施の形態では、類似度の高い方向に対して、フィルタリング処理を行うため、フィルタリング対象となる画素の変化量はあまり大きくないものに対してフィルタリング処理を行うことで、最大限の効果が得られるように構成されている。本実施の形態のフィルタリング処理では、３タップであるが故に、例えば、ＣとＣ−Ｂとの間に急激な画素値の変化があるような場合であっても、図１０に示されるように、縦方向の類似度が最も高いと判定された場合に、生成される推定画素に影響を与えないようにすることが可能となる。

図１０では３タップのフィルタリング処理を例として説明しているが、必要であれば、フィルタリング対象となる画素の特定において、更にＣ−Ｂが特定され、４タップの所定のフィルタリング処理を行うように構成することもできる。

４タップの所定のフィルタリング処理の一例として、次のような構成が考えられる。
上述のような３タップのフィルタリング処理の過程で、Ａ'を生成するが、この処理と同様に、Ｃの位置の中間値をＴ２として、Ｌ（Ｔ２）＝（Ｌ（Ａ）＋Ｌ（Ｃ−Ｂ））＞＞１を求め、Ｌ（Ｃ'）＝（Ｌ（Ｔ２）＋Ｌ（Ｃ））＞＞１のように、Ｃ'を生成するとよい。そして、最後に、下側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｃ'））＞＞１として下側の推定位置の推定画素を生成するとよい。

上述の３タップや４タップで構成される所定のフィルタリング処理においては、便宜上、中間値Ｔ，Ｔ２やＡ'，Ｃ'を生成した後に下側推定画素を生成するように説明しているが、これらを単一の計算式によって行い、中間結果はレジスタ等の高速に処理できる一時的なバッファに格納しながら計算を進めるように構成するとよい。

また、ここでの例では、３タップや４タップで構成される所定のフィルタリング処理について説明したが、別の一例としては、更に多くのタップ数による所定のフィルタリング処理を行うような構成をとることができる。例えば、同様の方法でＡ−Ｔ'やＣ−Ｂ'を生成し、その後は３タップや４タップと同様の処理を行うことで、下側推定画素を生成していく。

このように、タップ数が拡大した場合でも同様の方法を再帰的に行うことで、下側の推定位置の推定画素を生成するために必要となる中間値や画素を生成しながら、最終的に下側推定画素を生成するように構成することができる。また、このような計算を単一の計算式によって表現して計算式を高速に処理するように構成してもよい。

図１１は、本実施の形態において、横側の推定位置の推定画素を生成する際に行われる、所定のフィルタリング処理の一例について説明する図である。図１１では、一例として、横方向の類似度が一番高く、フィルタリング対象となる画素の特定により、Ａ−Ｌ，Ａ，Ｂが特定された場合について説明する。

図１１のような場合では、次のようなフィルタリング処理を行うように構成するとよい。横側の推定画素を求める際に、まず、特定された画素列の中央の画素、ここではＡに注目し、Ａの位置の中間値Ｔを生成するために、特定された画素列の中央の画素の両隣として特定された画素、ここではＡ−Ｌ，Ｂの位置の画素を利用して、Ｌ（Ｔ）＝（Ｌ（Ａ−Ｌ）＋Ｌ（Ｂ））＞＞１とすることにより、Ａ−ＬとＢからＡの位置の中間値を生成する。その後、更新後のＡをＡ'として、Ｌ（Ａ'）＝（Ｌ（Ｔ）＋Ｌ（Ａ））＞＞１とすることにより、ＴとＡからＡの位置の更新後のＡであるＡ'を生成する。そして最後に、横側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｂ））＞＞１とすることにより、Ａ'と、両隣の画素のうち推定位置に近いもの、つまりＢから横側の推定位置の推定画素を生成する。このように、図１０で示される下側の推定位置の推定画素と同様の求め方により、横側の推定画素を生成する。

また、より簡易的なフィルタリング処理としては、例えば、Ｌ（Ａ'）＝Ｌ（Ｔ）として、最後に、横側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｂ））＞＞１とすることにより、Ａ'と、両隣の画素のうち推定位置に近いもの、つまりＢから横側の推定位置の推定画素を生成するように構成してもよい。

図１１では３タップのフィルタリング処理を例として説明しているが、下側の推定画素を求める際の例で説明したものと同様に、必要であれば、フィルタリング対象となる画素の特定において、更にＢ−Ｒが特定され、４タップの所定のフィルタリング処理を行うように構成することもできる。

図１２は、本実施の形態において、斜め側の推定位置の推定画像を生成する際に行われる、所定のフィルタリング処理の一例について説明する図である。図１２では、一例として、左斜め方向の類似度が一番高く、フィルタリング対象となる画素の特定により、Ａ−ＴＬ，Ａ，Ｄが特定された場合について説明する。

図１１のような場合では、次のようなフィルタリング処理を行うように構成するとよい。斜め側の推定画素を求める際に、まず、特定された画素列の中央の画素、ここではＡに注目し、Ａの位置の中間値Ｔを生成するために、特定された画素列の中央の画素の両隣として特定された画素、ここではＡ−ＴＬ，Ｄの位置の画素を利用して、Ｌ（Ｔ）＝（Ｌ（Ａ−ＴＬ）＋Ｌ（Ｄ））＞＞１とすることにより、Ａ−ＴＬとＤからＡの位置の中間値を生成する。その後、更新後のＡをＡ'として、Ｌ（Ａ'）＝（Ｌ（Ｔ）＋Ｌ（Ａ））＞＞１とすることにより、ＴとＡからＡの位置の更新後のＡであるＡ'を生成する。そして最後に、斜め側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｄ））＞＞１とすることにより、Ａ'と、両側の画素のうち推定位置に近いもの、つまりＤから斜め側の推定位置の推定画素を生成する。このように、図１０や図１１で示される下側や横側の推定位置の推定画素と同様の求め方により、斜め側の推定画素を生成する。

また、より簡易的なフィルタリング処理としては、例えば、Ｌ（Ａ'）＝Ｌ（Ｔ）として、最後に、斜め側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｄ））＞＞１とすることにより、Ａ'と、両隣の画素のうち推定位置に近いもの、つまりＤから斜め側の推定位置の推定画素を生成するように構成してもよい。

図１２では３タップのフィルタリング処理を例として説明しているが、左斜め方向のフィルタリング処理において、下側や横側の推定画素を求める際の例で説明したものと同様に、必要であれば、フィルタリング対象となる画素の特定において、更にＤ−ＢＲが特定され、４タップの所定のフィルタリング処理を行うように構成することもできる。

上述の左斜め方向のフィルタリング処理と同様に、右斜め方向のフィルタリング処理についても同様である。図１２において、一例として、右斜め方向の類似度が一番高く、フィルタリング対象となる画素の特定により、Ｂ−ＴＲ，Ｂ，Ｃが特定され、上述の左斜め方向のフィルタリング処理と同様の処理を行うことにより、斜め側の推定画素を生成することができる。

図１２では３タップのフィルタリング処理を例として説明しているが、右斜め方向のフィルタリング処理において、下側や横側の推定画素を求める際の例で説明したものと同様に、必要であれば、フィルタリング対象となる画素の特定において、更にＣ−ＢＬが特定され、４タップの所定のフィルタリング処理を行うように構成することもできる。

ここで、本実施の形態においては、縦方向、横方向、左斜め方向、右斜め方向に対しては、主に、本実施の形態の一例である３タップの所定のフィルタリング処理が行えるように、フィルタリング対象となる画素が特定されるとよい。それ以外の方向に対しては、本実施の形態の２タップのフィルタリング処理が行えるように、フィルタリング対象となる画素が特定されるとよい。このように本実施の形態では、３タップもしくは２タップのフィルタリング処理によって推定画素を生成することから、非常に少ない演算量でフィルタリング処理を行うことができる。

縦方向、横方向、左斜め方向、右斜め方向以外の方向に対する、本実施の形態の所定のフィルタリング処理としては、例えば、２タップのフィルタリング処理を行うように構成するとよい。

一例として、図７で示される、下側の推定画素を求める場合において、横方向の類似度が高く、その後、類似度が最も高い方向が、横方向から少し左回転させた方向である場合について説明する。この一例では、フィルタリング対象となる画素の特定において、Ｃ−Ｌ，Ｂが特定される。このＣ−Ｌ，Ｂの位置の画素を利用して、下側の推定画素を、下側の推定画素＝（Ｌ（Ｃ−Ｌ）＋Ｌ（Ｂ））＞＞１として生成する。他の方向の２タップのフィルタリング処理についても、同様に行う。

このように、２タップのフィルタリング処理によって推定画素を生成することから、非常に少ない演算量で高速にフィルタリング処理を行うことができる。これは、あらかじめ類似度が高い方向が特定されているからこそ、このような非常に短いタップ数のフィルタリング処理を適用できることに注意する。

（実施の形態２）
実施の形態２として、例えば、図１３および図１４で示されるような画像拡大装置２００を構成してもよい。画像拡大装置２００は、例えば、図１５および図１６のフローチャートで示される動作を行う。図１６は、より詳細な動作を示したものである。実施の形態２の構成は、実施の形態１の構成から、下側、横側、斜め側の推定画素を求める際に利用する、それぞれの類似度を検出する処理を統合し、下側、横側、斜め側の処理過程において重複して類似度を検出していたものを排除し、より効率良く処理できるようにしている。以下、図１３および図１４で示される構成および動作について説明する。

画像拡大装置２００は、図１３で示されるように、例えば、対象領域画像取得部２０３、統合評価対象画素特定部２０４、統合類似度検出部２０５、推定画素格納部２０６、統合制御部２０９、下側画像推定部２１０、横側画像推定部２３０、及び斜め側画像推定部２５０を備える。ここで、画像拡大装置２００を構成する各部は、統合制御部２０９の指令に基づいて動作するものとして説明する。

図１３の画像拡大装置２００は、撮像装置１８１、伝送装置１８２、記録装置１８３、記録媒体１８４、蓄積装置１８５などから、処理対象となる信号を入力画像１０１として取得する。

対象領域画像取得部２０３は、入力画像１０１から、現在処理対象となっている画像領域を取得し（Ｓ５０１）、統合評価対象画素特定部２０４、下側画像推定部２１０、横側画像推定部２３０、斜め側画像推定部２５０、推定画素格納部２０６にそれぞれ供給する。

次に、統合評価対象画素特定部２０４は、現在処理対象となっている画像領域を参照しながら、下側、横側、斜め側における、類似度の評価対象になる画素列を特定し（Ｓ５０２）、統合類似度検出部２０５に供給する。

次に、統合類似度検出部２０５は、統合評価対象画素特定部２０４によって特定された、下側、横側、斜め側における、評価対象となっている画素列を用いて類似度を検出し（Ｓ５０３）、検出されたそれぞれの類似度のうち、下側、横側、斜め側の推定画素の生成でそれぞれ必要になるものを、下側画像推定部２１０、横側画像推定部２３０、斜め側画像推定部２５０に供給する。

次に、下側画像推定部２１０、横側画像推定部２３０、斜め側画像推定部２５０のそれぞれは、統合類似度検出部２０５から検出されたそれぞれの類似度を取得し、対象領域画像取得部２０３で特定されている画像領域を参照しながら、下側、横側、斜め側の画像推定処理を行い（Ｓ５０４，Ｓ５０５，Ｓ５０６）、生成された下側、横側、斜め側の推定画素を推定画素格納部２０６に供給する。

次に、推定画素格納部２０６は、下側画像推定部２１０、横側画像推定部２３０、斜め側画像推定部２５０によって生成された下側、横側、斜め側の推定画素をそれぞれ取得して、下側、横側、斜め側の推定画素を格納する（Ｓ５０７）。

その後、統合制御部２０９は、対象となる全ての推定処理が完了したかを判定し（Ｓ５０８）、全ての推定処理が完了した場合（Ｓ５０８ ＹＥＳ）、生成された拡大画像を出力するように推定画素格納部２０６に指令を行う。この指令に基づいて、推定画素格納部２０６は生成された拡大画像を出力することにより、処理が完了する。

全ての推定処理が完了していない場合（Ｓ５０８ ＮＯ）、次の処理対象に更新し、Ｓ５０３に戻って処理を繰り返す。

以上のような実施の形態２の画像拡大装置２００の構成および動作を行うことにより、更に効率よく画像拡大処理を行うことができるようになる。

次に、下側画像推定部２１０の詳細な構成および動作について説明する。図１４（Ａ）は、下側画像推定部２１０の詳細な概念ブロック図である。また、図１６（Ａ）は、下側画像推定部２１０の動作を表すフローチャートである。ここで、下側画像推定部２１０を構成する各部は、下側制御部２２９の指令に基づいて動作するものとして説明する。

まず、対象領域画像取得部２０３は、統合制御部２０９の指令により、現在処理対象となっている画像領域の画素列を取得し（Ｓ６０１）、下側推定位置特定部２１１に供給する。

次に、下側推定位置特定部２１１は、対象領域画像取得部２０３で特定された画像領域を参照しながら、現在処理対象となっている画素位置の下側の推定位置を特定し（Ｓ６０２）、下側推定位置情報として下側フィルタリング位置特定部２１３に供給する。

次に、下側類似方向判定部２１２は、統合類似度検出部２０５から検出されたそれぞれの類似度を取得し、類似度に基づいて、下側の推定位置における、類似方向の判定を行い（Ｓ６０３）、第１類似方向情報を特定した後に、第２類似方向情報を特定し、下側フィルタリング位置特定部２１３に供給する。

次に、下側フィルタリング位置特定部２１３は、下側推定位置特定部２１１から下側推定位置情報、下側類似方向判定部２１２から第２類似方向情報を取得し、対象領域画像取得部２０３で特定された画像領域を参照しながら、下側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ６０４）、対応するそれぞれの画素を、下側フィルタリング部２１４に供給する。

次に、下側フィルタリング部２１４は、特定された位置の画素に対して、フィルタリング処理を行い（Ｓ６０５）、生成された推定画素を推定画素格納部２０６に供給する。

その後、推定画素格納部２０６は、下側フィルタリング部２１４から生成された推定画素を取得し、拡大画像として現在処理対象となっている位置の下側の位置に対して推定画素を格納する（Ｓ６０６）ことにより、下側画像推定部２１０における一連の処理が完了する。

図１４（Ｂ）は、横側画像推定部２３０の詳細な概念ブロック図である。また、図１６（Ｂ）は、横側画像推定部２３０の動作を表すためのフローチャートである。この横側画像推定部２３０は、下側画像推定部２１０と基本的には同様の動作を行うが、推定画素を求める際に用いる画像列や方向が、下側の推定位置と横側の推定位置で異なるものが用いられる。ここで、横側画像推定部２３０を構成する各部は、横側制御部２４９の指令に基づいて動作するものとして説明する。

図１４（Ｂ）で示されるように、対象領域画像取得部２０３は、統合制御部２０９の指令により、現在処理対象となっている画素領域の画素列を取得し（Ｓ７０１）、横側推定位置特定部２３１に供給する。

次に、横側推定位置特定部２３１は、対象領域画像取得部２０３で特定された画像領域を参照しながら、横側の推定位置を特定し（Ｓ７０２）、横側推定位置情報として横側フィルタリング位置特定部２３３に供給する。

次に、横側類似方向判定部２３２は、統合類似度検出部２０５から検出されたそれぞれの類似度を取得し、類似度に基づいて、横側の推定位置における、類似方向の判定を行い（Ｓ７０３）、第１類似方向情報を特定した後に、第２類似方向情報を特定し、横側フィルタリング位置特定部２３３に供給する。

次に、横側フィルタリング位置特定部２３３は、横側推定位置特定部２３１から横側推定位置情報、横側類似方向判定部２３２から第２類似方向情報を取得し、対象領域画像取得部２０３で特定された画像領域を参照しながら、横側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ７０４）、対応するそれぞれの画素を、横側フィルタリング部２３４に供給する。

次に、横側フィルタリング部２３４は、特定された位置の画素に対して、フィルタリング処理を行い（Ｓ７０５）、生成された推定画素を推定画素格納部２０６に供給する。

その後、推定画素格納部２０６は、横側フィルタリング部２３４から生成された推定画素を取得し、拡大画像として現在処理対象となっている位置の横側の位置に対して推定画素を格納する（Ｓ７０６）ことにより、横側画像推定部２３０における一連の処理が完了する。

図１４（Ｃ）は、斜め側画像推定部２５０の詳細な概念ブロック図である。また、図１６（Ｃ）は、斜め側画像推定部２５０の動作を示すフローチャートである。この斜め側画像推定部２５０は、下側画像推定部２１０、横側画像推定部２３０と基本的には同様の動作を行うが、推定画素を求める際に用いる画像列や方向が、下側や横側の推定位置と斜め側の推定位置で異なるものが用いられる。ここで、斜め側画像推定部２５０を構成する各部は、斜め側制御部２６９の指令に基づいて動作するものとして説明する。

図１４（Ｃ）で示されるように、対象領域画像取得部２０３は、統合制御部２０９の指令により、現在処理対象となっている画素領域の画素列を取得し（Ｓ８０１）、斜め側推定位置特定部２５１に供給する。

次に、斜め側推定位置特定部２５１は、対象領域画像取得部２０３で特定された画像領域を参照しながら、斜め側の推定位置を特定し（Ｓ８０２）、斜め側推定位置情報として斜め側フィルタリング位置特定部２５３に供給する。

次に、斜め側類似方向判定部２５２は、統合類似度検出部２０５から検出されたそれぞれの類似度を取得し、類似度に基づいて、斜め側の推定位置における、類似方向の判定を行い（Ｓ８０３）、第１類似方向情報を特定した後に、第２類似方向情報を特定し、斜め側フィルタリング位置特定部２５３に供給する。

次に、斜め側フィルタリング位置特定部２５３は、斜め側推定位置特定部２５１から斜め側推定位置情報、斜め側類似方向判定部２５２から第２類似方向情報を取得し、対象領域画像取得部２０３で特定された画像領域を参照しながら、斜め側の推定位置の画素を推定するための、フィルタリング位置を特定し（Ｓ８０４）、対応するそれぞれの画素を、斜め側フィルタリング部２５４に供給する。

次に、斜め側フィルタリング部２５４は、特定された位置の画素に対して、フィルタリング処理を行い（Ｓ８０５）、生成された推定画素を推定画素格納部２０６に供給する。

その後、推定画素格納部２０６は、斜め側フィルタリング部２５４から生成された推定画素を取得し、拡大画像として現在処理対象となっている位置の斜め側の位置に対して推定画素を格納する（Ｓ８０６）ことにより、斜め側画像推定部２５０における一連の処理が完了する。

以上述べたことは、図１３および図１４で示される本実施の形態の画像拡大装置２００の基本的な構成と動作の一例である。このような構成および動作により、以下のような効果を得ることができる。

実施の形態１では、下側、横側、斜め側の推定位置における推定画素を生成する際に、下側、横側、斜め側の処理において、対象領域を参照しながら必要とする画素間方向の類似度をそれぞれの推定位置の処理ごとに別々に検出していた。よって、対象領域を参照する際の画像の授受の回数が増大したり、同じ画素間方向の類似度を重複して検出していたりすることが生じていた。しかし、実施の形態２のような画像拡大装置２００であれば、統合類似度検出部２０５によって、下側、横側、斜め側の処理において必要とする全ての類似度の検出をあらかじめ行っておくことが可能となる。よって、下側、横側、斜め側の画像推定部２１０，２３０，２５０では、それぞれの推定位置において必要とする類似度を、統合類似度検出部２０５から取得することが可能となり、不要な対象領域の参照や、類似度を重複して検出することなく、より簡易な構成をとることが可能になる。

（実施の形態３）
更に別の構成の例として、図１７の実施の形態３の画像拡大装置３００は、実施の形態１の構成を修正して、以前の推定画素を利用して現在処理対象となっている推定画素を求める構成である。この画像拡大装置３００において、推定画素格納部３０３に対する画像列の入出力において、実施の形態１と異なっているものの、各部の基本的な構成や動作は、実施の形態１と同様であるため、重複する部分については説明を省略する。実施の形態３の画像拡大装置３００の動作としては、次のような違いがある。

画像拡大装置３００の各部は、統合制御部３０９の指令に基づいて動作する。まず、推定画素格納部３０３は、現在処理対象の基準としている画素が取得されていない場合には、入力画像１０１から取得して対応する位置に格納するとともに、入力画像１０１から、現在処理対象となっている画像領域を特定し、下側、横側、斜め側の画像推定部３１０、３３０、３５０に供給する。ここで、既に以前に生成された推定画素が画像領域に含まれる場合には、必要に応じて下側、横側、斜め側の画像推定部３１０、３３０、３５０に供給する。その後、下側、横側、斜め側の画像推定部３１０、３３０、３５０では、それぞれの推定画素を生成し、新たに生成されたそれぞれの推定画素を推定画素格納部３０３に供給する。推定画素格納部３０３では、新たな生成された推定画素を取得し、拡大画像を構成するための画像メモリの対応する位置に格納するとともに、画像拡大処理が完了して拡大画像全体が出来上がった場合には、生成された拡大画像を出力画像１０２として出力する。

以上述べたことは、図１７で示される実施の形態３の画像拡大装置３００の基本的な構成と動作の一例である。このような構成および動作により、次のような効果を得ることができる。

実施の形態３の画像拡大装置３００では、推定画素格納部３０３によって、以前に生成された推定画素が供給されることにより、現在処理対象となっている推定位置よりも以前に生成された小数位置の推定画素が利用できるようになる。したがって、類似度の最も高い方向を特定する際に、小数位置の画素を利用して方向の精度をより高めることが可能となる。これにより、所定のフィルタリング処理で用いるフィルタの特性を、急峻な信号に対応することが難しい、より簡易なものを採用することができ、画像拡大装置３００をより高速で簡易な構成により実現することができるようになる。

また、より最適な方向に対するフィルタリング処理を行うことができるようになることから、生成される拡大画像の画像品質の向上につながる。

（実施の形態４）
更に別の構成の例として、図１８の実施の形態４の画像拡大装置４００は、実施の形態２の構成を修正して、以前の推定画素を利用して現在処理対象となっている推定画素を求める構成である。この画像拡大装置４００において、対象領域画像取得部４０３が、以前に生成された推定画像を含む、現在処理対象となっている画像領域を各部に供給するように構成する点で異なっている。他の各部の基本的な構成や動作は、実施の形態２と同様であるため、重複する部分については説明を省略する。実施の形態４の画像拡大装置４００の動作としては、次のような違いがある。

画像拡大装置４００の各部は、統合制御部４０９の指令に基づいて動作する。まず、推定画素格納部４０６は、現在処理対象の基準としている画素が取得されていない場合には、入力画像１０１から取得して対応する位置に格納するとともに、入力画像１０１から、現在処理対象となっている画像領域を特定し、対象領域画像取得部４０３に供給する。ここで、既に以前に生成された推定画素が画像領域に含まれる場合には、これらの推定画素も含めて供給する。対象領域画像取得部４０３は、既に以前に生成された推定画素を含む画像領域を特定し、統合評価対象画素特定部４０４、そして、下側、横側、斜め側の画像推定部４１０，４３０，４５０に供給する。その後、統合評価対象画素特定部４０４では、現在の処理対象となっている画像領域を参照しながら、下側、横側、斜め側における、類似度の評価対象になる画素列を特定し、統合類似度検出部４０５に供給する。その後、統合類似度検出部４０５は、統合評価対象画素特定部４０４によって特定された、下側、横側、斜め側における、評価対象となっている画素列を用いて類似度を検出し、検出されたそれぞれの類似度のうち、下側、横側、斜め側の推定画素の生成でそれぞれ必要になるものを、下側、横側、斜め側の画像推定部４１０、４３０、４５０に供給する。

その後、下側、横側、斜め側の画像推定部４１０、４３０、４５０のそれぞれは、統合類似度検出部４０５から検出されたそれぞれの類似度を取得し、対象領域画像取得部４０３で特定されている画像領域を参照しながら、下側、横側、斜め側の画像推定処理を行い、生成された下側、横側、斜め側の推定画素を推定画素格納部４０６に供給する。推定画素格納部４０６では、新たな生成された推定画素を取得し、拡大画像を構成するための画像メモリの対応する位置に格納するとともに、画像拡大処理が完了して拡大画像全体出来上がった場合には、生成された拡大画像を出力画像１０２として出力する。

以上述べたことは、図１８で示される本実施の形態の画像拡大装置４００の基本的な構成と動作の一例である。このような構成および動作により、次のような効果を得ることができる。

実施の形態４の画像拡大装置４００では、推定画素格納部４０６によって、以前に生成された推定画素が供給されることにより、現在処理対象となっている推定位置よりも以前に生成された小数位置の推定画素が利用できるようになる。したがって、類似度の最も高い方向を特定する際に、小数位置の画素を利用して方向の精度をより高めることが可能となる。これにより、所定のフィルタリング処理で用いるフィルタの特性を、急峻な信号に対応することが難しい、より簡易なものを採用することができ、画像拡大装置４００をより高速で簡易な構成により実現することができるようになる。

更に、実施の形態２と同様に、同じ画素間方向の類似度を重複して検出していたものを、下側、横側、斜め側の処理において必要とする全ての類似度の検出をあらかじめ行っておくことを可能にしたことから、小数位置の画素を利用することにより増大する類似度を検出する回数の増大を抑制し、より簡易な構成をとることが可能になる。

また、より最適な方向に対するフィルタリング処理を行うことができるようになることから、生成される拡大画像の画像品質の向上につながる。

（実施形態５）
更に別の構成の例として、実施の形態１の構成を修正して、所定のフィルタリング処理において、４タップのフィルタリング処理を行うような構成としても構わない。

４タップの所定のフィルタリング処理の一例として、次のような構成が考えられる。例えば、図１０で示されるように、下側の位置の推定画素を求める際の、３タップのフィルタリング処理の過程においてＡ'を生成するが、この処理と同様に、Ｃの位置の中間値をＴ２として、Ｌ（Ｔ２）＝（Ｌ（Ａ）＋Ｌ（Ｃ−Ｂ））＞＞１を求め、Ｌ（Ｃ'）＝（Ｌ（Ｔ）＋Ｌ（Ｃ））＞＞１のように、Ｃ'を生成する。そして、最後に、下側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｃ'））＞＞１として下側の推定位置の推定画素を生成する。同様に、図１１で示されるような横側の位置や、図１２で示されるような斜め側の位置の推定画素を求める際に、上述のような４タップのフィルタリング処理を行うことにより、推定画素を生成する。

また、より簡易的な４タップのフィルタリング処理の例としては、図１０において、Ｌ（Ａ'）＝Ｌ（Ｔ）とし、Ｌ（Ｃ'）＝Ｌ（Ｔ２）として、最後に、下側の推定画素＝（Ｌ（Ａ'）＋Ｌ（Ｃ'））＞＞１として下側の推定位置の推定画素を生成してもよい。また、これらの演算を統合して、下側の推定画素＝（Ｌ（Ａ−Ｔ）＋Ｌ（Ｃ）＋Ｌ（Ｃ−Ｂ）＋Ｌ（Ａ））＞＞２としてもよい。同様に、図１１で示されるような横側の位置や、図１２で示されるような斜め側の位置の推定画素を求める際に、上述のような４タップのフィルタリング処理を行うことにより、推定画素を生成する。

このように、実施の形態５において４タップのフィルタリング処理を伴うように構成することで、３タップの場合のように片側からの画素間の特徴のみを利用してフィルタリング処理を行うのではなく、両側からの画素間の特徴を利用してフィルタリング処理を行うことから、画素間の類似度があまり高くない場合であっても、周囲の画素と調和のとれた、より確からしい推定画素を、加算とシフト演算により非常に少ない演算量で得ることができるようになる。

（実施の形態６）
なお、上記実施の形態１〜５では、画像拡大装置をブロック図により図示してハードウエアにより構成したものとして説明したが、これに限らず、コンピュータである情報処理装置として構成してもよい。例えば、ＣＰＵに代表される中央処理制御装置と、記録媒体や通信装置を介して、例えばメモリに代表される一時記憶装置や、例えばＨＤＤに代表される外部記憶装置に格納された画像拡大プログラムにより、上記実施形態１〜５の機能をソフトウェア処理により達成するようにしても勿論よい。また、これらの実施の形態の画像拡大装置および画像拡大方法の適用される範囲は、信号を取得、および供給する際において、周辺の画素の類似度が最も高いと判定された方向に対して、所定の簡易なフィルタリング処理を行うような装置、方法、プログラム、システム等であれば、特に限定されるものではない。これらの実施の形態は、例えば、ＴＶに代表される放送装置のプリ処理およびポスト処理、携帯電話、テレビ会議装置、監視装置における、画像の高画質化処理、ＤＶＤ−Ｒ／ＲＷやＢＤ−Ｒ／ＲＷ、ＨＤＤ、ＳＤ、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラやカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などにおける記録、再生時の高画質化処理に適用することができる。また、画像や動画像、音楽等の符号化および復号を行う際の、プリ処理およびポスト処理や、符号化処理および復号処理における、局部復号後の信号や、参照信号、および予測信号を生成する際の信号の改善処理、復元処理に適用することができる。更に、画像や動画像、音楽等の蓄積装置、配信装置、受信装置および転送装置における、通信時のエラー耐性処理等にも適用することが可能である。

以上述べたように、本発明の実施の形態によれば、小数位置の画素を推定して画像拡大を行う際に、類似度が高い方向を検出して、特定された類似度の高い方向に対してフィルタリングすることにより、非常に短いタップのフィルタを利用しても、大きな劣化を伴うことなく十分な画素の推定を行うことができる。また、短いタップを利用することにより、非常に高速なフィルタリング処理を実現し、良好な拡大画像を生成することができる。

また、本発明の実施の形態によれば、類似度の高い方向の絞り込みにおいて、所定の方向に対して全て類似度を検出するのではなく順次絞り込む構成にすることで、類似度の比較回数を大きく削減し、良好な拡大画像を生成することができる。

更に、本発明の実施の形態では、通常の画像拡大で使用するフィルタリング処理のように、１次元フィルタを縦方向、横方向にそれぞれ施すために生じるような処理の依存関係を、フィルタリング処理によって推定された画素を利用せずに、整数位置の画素のみを利用した類似度方向の１次元フィルタリングとすることで処理の依存関係を排除し、それぞれ単独での処理を実現し、良好な拡大画像を生成することができる。

以上述べた実施の形態の画像拡大装置、画像拡大方法および画像拡大プログラムは、例えば、画像や音声を記録・再生・表示・伝送する、ＴＶ等のモニタ、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置、動画像配信サーバ、などに利用することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 画像拡大装置、 １０３ 推定画素格納部、 １０９ 統合制御部、 １１０ 下側画像推定部、 １３０ 横側画像推定部、 １５０ 斜め側画像推定部、 １１１ 対象領域画像取得部、 １１２ 下側推定位置特定部、 １１３ 下側第１評価対象画素特定部、 １１４ 下側第１類似度検出部、 １１５ 下側第１類似方向判定部、 １１６ 下側第２評価対象画素特定部、 １１７ 下側第２類似度検出部、 １１８ 下側第２類似方向判定部、 １１９ 下側フィルタリング位置特定部、 １２０ 下側フィルタリング部、 １２９ 下側制御部、 １３１ 対象領域画像取得部、 １３２ 横側推定位置特定部、 １３３ 横側第１評価対象画素特定部、 １３４ 横側第１類似度検出部、 １３５ 横側第１類似方向判定部、 １３６ 横側第２評価対象画素特定部、 １３７ 横側第２類似度検出部、 １３８ 横側第２類似方向判定部、 １３９ 横側フィルタリング位置特定部、 １４０ 横側フィルタリング部、 １４９ 横側制御部、 １５１ 対象領域画像取得部、 １５２ 斜め側推定位置特定部、 １５３ 斜め側第１評価対象画素特定部、 １５４ 斜め側第１類似度検出部、 １５５ 斜め側第１類似方向判定部、 １５６ 斜め側第２評価対象画素特定部、 １５７ 斜め側第２類似度検出部、 １５８ 斜め側第２類似方向判定部、 １５９ 斜め側フィルタリング位置特定部、 １６０ 斜め側フィルタリング部、 １６９ 斜め側制御部、 ２００ 画像拡大装置、 ２０３ 対象領域画像取得部、 ２０４ 統合評価対象画素特定部、 ２０５ 統合類似度検出部、 ２０６ 推定画素格納部、 ２０９ 統合制御部、 ２１０ 下側画像推定部、 ２３０ 横側画像推定部、 ２５０ 斜め側画像推定部、 ２１１ 下側推定位置特定部、 ２１２ 下側類似方向判定部、 ２１３ 下側フィルタリング位置特定部、 ２１４ 下側フィルタリング部、 ２２９ 下側制御部、 ２３１ 横側推定位置特定部、 ２３２ 横側類似方向判定部、 ２３３ 横側フィルタリング位置特定部、 ２３４ 横側フィルタリング部、 ２４９ 横側制御部、 ２５１ 斜め側推定位置特定部、 ２５２ 斜め側類似方向判定部、 ２５３ 斜め側フィルタリング位置特定部、 ２５４ 斜め側フィルタリング部、 ２６９ 斜め側制御部、 ３００ 画像拡大装置、 ３０３ 推定画素格納部、 ３０９ 統合制御部、 ３１０ 下側画像推定部、 ３３０ 横側画像推定部、 ３５０ 斜め側画像推定部、 ４００ 画像拡大装置、 ４０３ 対象領域画像取得部、 ４０４ 統合評価対象画素特定部、 ４０５ 統合類似度検出部、 ４０６ 推定画素格納部、 ４０９ 統合制御部、 ４１０ 下側画像推定部、 ４３０ 横側画像推定部、 ４５０ 斜め側画像推定部。

Claims (5)

1. 所定の単位で画像を拡大する画像拡大装置であって、
   推定対象となる小数位置の画素を推定画素として生成する画像推定部と、
   前記推定画素を拡大画像内の対応する位置に格納しながら拡大画像を構成する推定画素格納部と、
   前記画像推定部と前記推定画素格納部を制御して拡大画像を生成する制御部とを備え、
   前記画像推定部は、
   所定の複数方向の中から少なくとも二つの特定の方向を選び、所定の類似度検出方法に基づいて、画像を拡大するために新たに推定される画素の推定位置である小数位置において、周辺の整数位置の画素との間で前記少なくとも二つの特定の方向の類似度を検出し、前記少なくとも二つの特定の方向の中から前記類似度が最も高い方向を第１のフィルタリング方向として決定し、さらに、前記第１のフィルタリング方向及び前記第１のフィルタリング方向に近接する少なくとも二つの方向の前記類似度を検出する類似度検出部と、
   前記第１のフィルタリング方向及び前記少なくとも二つの方向の中から前記類似度が最も高い方向を第２のフィルタリング方向として特定する類似方向特定部と、
   前記第２のフィルタリング方向に対して、所定のフィルタリング処理を行い、推定対象となる小数位置の画素を推定画素として生成するフィルタリング部とを含むことを特徴とする画像拡大装置。
2. 前記画像推定部は、拡大対象の画素の下側、横側、及び斜め側の小数位置の推定画素をそれぞれ生成する下側、横側、及び斜め側の画像推定部を含み、
   前記下側、横側、及び斜め側の画像推定部がそれぞれ並列に動作することにより、下側、横側、及び斜め側の推定画素が並列に生成されることを特徴とする請求項１に記載の画像拡大装置。
3. 前記類似度検出部において行われる所定の類似度検出方法は、検出したい方向に属する２つの代表値を特定し、前記２つの代表値の差の絶対値を検出して類似度とすることを特徴とする請求項１に記載の画像拡大装置。
4. 所定の単位で画像を拡大する画像拡大方法であって、
   推定対象となる小数位置の画素を推定画素として生成する画像推定ステップと、
   前記推定画素を拡大画像内の対応する位置に格納しながら拡大画像を構成する推定画素格納ステップと、
   前記画像推定ステップと前記推定画素格納ステップを制御して拡大画像を生成する制御ステップとを備え、
   前記画像推定ステップは、
   所定の複数方向の中から少なくとも二つの特定の方向を選び、所定の類似度検出方法に基づいて、画像を拡大するために新たに推定される画素の推定位置である小数位置において、周辺の整数位置の画素との間で前記少なくとも二つの特定の方向の類似度を検出し、前記少なくとも二つの特定の方向の中から前記類似度が最も高い方向を第１のフィルタリング方向として決定し、さらに、前記第１のフィルタリング方向及び前記第１のフィルタリング方向に近接する少なくとも二つの方向の前記類似度を検出する類似度検出ステップと、
   前記第１のフィルタリング方向及び前記少なくとも二つの方向の中から前記類似度が最も高い方向を第２のフィルタリング方向として特定する類似方向特定ステップと、
   前記第２のフィルタリング方向に対して、所定のフィルタリング処理を行い、推定対象となる小数位置の画素を推定画素として生成するフィルタリングステップとを含むことを特徴とする画像拡大方法。
5. 所定の単位で画像を拡大する画像拡大プログラムであって、
   推定対象となる小数位置の画素を推定画素として生成する画像推定ステップと、
   前記推定画素を拡大画像内の対応する位置に格納しながら拡大画像を構成する推定画素格納ステップと、
   前記画像推定ステップと前記推定画素格納ステップを制御して拡大画像を生成する制御ステップとをコンピュータに実行させ、
   前記画像推定ステップは、
   所定の複数方向の中から少なくとも二つの特定の方向を選び、所定の類似度検出方法に基づいて、画像を拡大するために新たに推定される画素の推定位置である小数位置において、周辺の整数位置の画素との間で前記少なくとも二つの特定の方向の類似度を検出し、前記少なくとも二つの特定の方向の中から前記類似度が最も高い方向を第１のフィルタリング方向として決定し、さらに、前記第１のフィルタリング方向及び前記第１のフィルタリング方向に近接する少なくとも二つの方向の前記類似度を検出する類似度検出ステップと、
   前記第１のフィルタリング方向及び前記少なくとも二つの方向の中から前記類似度が最も高い方向を第２のフィルタリング方向として特定する類似方向特定ステップと、
   前記第２のフィルタリング方向に対して、所定のフィルタリング処理を行い、推定対象となる小数位置の画素を推定画素として生成するフィルタリングステップとを含むことを特徴とする画像拡大プログラム。

Images