JP6009903B2 - 画像処理装置 - Google Patents

Description

本発明は、高解像度処理を行う画像処理装置、プログラムおよび記録媒体に関する。

画像処理および映像処理において用いられる重要な技術としてアップスケーリング処理が知られている。例えば、近年のＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイの普及に伴い、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像コンテンツをＦＨＤ解像度ディスプレイで表示するにはアップスケーリング処理が必要である。また、ＦＨＤ解像度を超えるＱＦＨＤ（Ｑｕａｄ Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイが開発されており、さらにはＱＦＨＤを超えるＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度のディスプレイも研究されている。このように、ディスプレイの高解像度化が進むにつれ、高性能なアップスケーリング処理の重要性が高まっている。

アップスケーリング処理は、一般的な技術として最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、双三次補間（バイキュービック補間）の補間方法がある。最近傍補間は参照する位置に最も近い位置にある画素値を用いて補間を行うものであり、拡大率が高くなると同じ画素が何個か続くため階調再現が悪く、また、エッジ部がギザギザになってしまう。双一次補間は参照する位置の周辺の２×２画素（４画素）を用いて、画素値を直線的に補間して画素値を求めるものであり、最近傍補間より精度は良いものの、線形補間された画素値を用いるためぼやけてしまう。双三次補間は参照する位置の周辺の４×４画素（１６画素）を用いて三次式で補間して画素値を求めるものであり、最近傍補間や双一次補間に比べ性能は良いものの、エッジ部にジャギーが発生する問題がある。

特許文献１は、複雑な処理を必要とすることなく画像、及び、映像を高品質にアップスケーリング処理する方法が記載されている。特許文献１に記載のアップスケーリング処理は、まず斜め方向に隣接する低解像度入力画素を用いて斜め高解像度（ＨＲ）画素を生成する。次に、水平方向に隣接する低解像度入力画素、及び、垂直方向に隣接する斜め高解像度（ＨＲ）画素を用いて水平高解像度（ＨＲ）画素を生成する。最後に、垂直方向に隣接する低解像度入力画素、及び、水平方向に隣接する斜め高解像度（ＨＲ）画素を用いて垂直高解像度（ＨＲ）画素を生成することにより、高解像度（ＨＲ）画像を生成する。また、各高解像度（ＨＲ）画素を生成する際に、エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが小さくなるよう制御する。これにより、オーバーシュートを発生させることなく、ジャギーアーティファクタを抑制させている。

特開２０１０−６７２７２号公報（２０１０年３月２５日公開）

しかしながら、特許文献１に記載のアップスケーリング処理は、入力される低解像度画素の中間に位置する補間画素を生成するためのものである。低解像度入力画素の右下画素値を算出し、次に、右下画素値の算出結果を用いて低解像度入力画素の右画素値、及び、下画素値を算出するものであり、常に１つの低解像度入力画素から、新たに３つの出力画素を生成するものであるため、２倍以外の任意倍率拡大処理を実現することが難しい。

また、従来技術として双一次補間や双三次補間の補間方法を併用することで任意倍率拡大処理をすることは可能であるが、結局、上記したこれらの補間方法の問題を発生させる結果となってしまう。

さらに、特許文献１において考慮されるエッジの方向は、水平方向、垂直方向、４５°方向および−４５°方向に限定されている。そのため、これらの間にあたる斜め方向のエッジが存在するとき、適切な方向の画素を参照しないため、不自然な補間結果になる場合がある。エッジの方向をより細かく分けるには、より幅広い範囲の画素を参照することが考えられる。しかしながら、この場合、特に垂直方向に離れた画素を参照するためには、より多くのラインバッファを実装する必要がある。参照可能な画素の範囲は実装可能なラインバッファの本数に依存するためである。また、幅広い範囲の画素を参照するために処理に時間がかかるという問題が生じる。

本発明は、上記課題を解決するためになされたものであり、この発明の目的は、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能な画像処理装置、プログラムおよび記録媒体を提供することである。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。

また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。

本発明によれば、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能となる。

本発明の実施形態１に係るテレビジョン受像機の構成の概略を示すブロック図である。 図１に示す映像信号処理回路の構成を示すブロック図である。 図２に示すスケーラー処理部の構成を示すブロック図である。 補間画素に対する参照ブロックの設定例を示す図である。 １次微分フィルタの一例を示す図である。 入力画素に対して算出されたエッジ勾配の一例を示す図である。 エッジ勾配方向の各区域を示す図である。 エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を用いたエッジ勾配方向の設定処理の流れを示すフローチャートである。 図３に示す補間処理部の構成を示すブロック図である。 参照ブロックＭ＝Ｎ＝４であり、エッジ勾配方向の分割数ＮＢ＝１２とした場合における、補間画素のエッジ勾配方向φに対する平行四辺形の設定例を示す。 補間画素の位置と、仮参照画素を頂点とする平行四辺形の位置との関係を示す図である。 参照ブロックをＭ＝Ｎ＝６、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の、エッジ勾配方向Ｂ_０、Ｂ_１１−Ｂ_１９における仮参照座標４点の設定例である。 参照ブロックをＭ＝Ｎ＝６、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の、エッジ勾配方向Ｂ_１−Ｂ_１０における仮参照座標４点の設定例である。 図９に示す参照画素値設定部による、仮参照座標の画素値の設定処理を示したフローチャートである。 仮参照座標が参照ブロック外である場合の仮参照座標の画素値の設定方法を示す図である。 図９に示す補間画素値算出部が実行する処理のフローチャートを示す図である。 補間画素の画素値を算出する方法を示す図であり、（ａ）はφが第１方向群に属する場合であり、（ｂ）はφが第２方向群に属する場合である。 補間画素の画素値を算出する方法を示す図である。 エッジ勾配を求めるための複数の１次微分フィルタの例を示す図である。 補間画素のエッジ勾配方向を決定するために選択されたＮＤ個の対象画素の例を示した図である。 エッジ勾配方向を求めるためのテンプレートを示す図である。 本発明の実施形態２に係るテレビジョン受像機が備えるスケーラー処理部の構成を示すブロック図である。 図２１に示すエッジ勾配方向設定部の構成を示すブロック図である。 図２１に示す信頼度算出部の処理例を示すフローチャートである。 図２１に示す信頼度算出部が用いるルックアップテーブルの一例を示す図である。 エッジ勾配方向に依存しないLanczos補間処理で用いられる重み係数の分布（ｎ＝２の場合）を示す図である。 図２１に示す信頼度算出部の別の処理例を示すフローチャートである。 図２１に示す信頼度算出部が用いるルックアップテーブルの別の例を示す図である。 スケーラー処理部の変形例を示すブロック図である。 図２８に示すエッジ勾配方向設定部の構成を示すブロック図である。 信頼度を補正するためのフィルタの例を示す図である。 エッジ勾配方向が取り得る角度範囲を示す図である。 図２１に示す信頼度算出部が用いるルックアップテーブルの別の例を示す図である。 ルックアップテーブルを設定するためのパラメータΔθ_ＲＥＳを求める方法を示す図である。 図３２に示すＬＵＴ＿Ｃ［φ］に対して設定されたＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の一例を示す図である。 参照ブロックから選択された選択画素の一例を示す図である。 本発明の実施形態３に係るモニタの構成の概略を示すブロック図である。 図３６に示すモニタの適用例であるマルチディスプレイを示す図である。

図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

〔実施形態１〕
（テレビジョン受像機の構成）
図１は、実施形態１におけるテレビジョン受像機の構成の概略を示すブロック図である。図１に示されるように、テレビジョン受像機（画像処理装置）１は、その全体を制御する中央演算装置（ＣＰＵ）１１、映像信号処理回路２１、音声信号処理回路２３およびパネルコントローラー２５を含む集積回路（ＬＳＩ）３と、電源ユニット５と、チューナー７と、インターフェース９と、表示部１３と、操作部１５と、スピーカー１７とを備える。

インターフェース９は、ＴＶアンテナ４１と、ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式でシリアル通信するためのＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子４３およびＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子４５と、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルで通信するためのＬＡＮ端子４７とを含む。インターフェース９は、ＣＰＵ１１からの指示に従って、ＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７に接続された外部の機器との間でデータを送受信する。

操作部１５は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビジョン受像機１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビジョン受像機１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部１５は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示をＣＰＵ１１に出力する。

なお、ここでは、テレビジョン受像機１が備える操作部１５が操作される場合を例に説明したが、テレビジョン受像機１と無線で通信することが可能なリモートコントローラに操作部１５を備えるようにして、各スイッチに対応する操作指示をテレビジョン受像機１に送信するようにしてもよい。この場合、リモートコントローラがテレビジョン受像機１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。

表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ）パネル、プラズマディスプレイパネル等であり、テレビジョン番組を表示することが可能である。

電源ユニット５は、外部から供給される電力を制御する。ＣＰＵ１１は、電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビジョン受像機１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビジョン受像機１に供給される電力が遮断される。

チューナー７は、例えば、地上波デジタルチューナーまたはＢＳ／ＣＳデジタルチューナーであり、ＴＶアンテナ４１と接続され、ＴＶアンテナ４１が受信する放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナー７は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号を生成する。チューナー７は、ＴＶアンテナ４１で受信された放送信号のうちからＣＰＵ１１で指定されたチャンネルの放送信号を選択し、その放送信号に基づいて生成された可変長符号を映像信号処理回路２１および音声信号処理回路２３に出力する。

映像信号処理回路２１は、チューナー７から入力される可変長符号に各種の処理を実行し、映像信号を生成する。

パネルコントローラー２５は、表示部１３を制御して、映像信号処理回路２１が出力する映像信号の映像を表示部１３に表示する。具体的には、パネルコントローラー２５は、パネル駆動回路、バックライト制御回路を備え、ＣＰＵ１１からの指示に従って、パネル駆動回路の駆動を制御し、表示部１３の背面に配置されたバックライトの点灯および消灯を制御する。

音声信号処理回路２３は、オーディオデコーダを備えており、チューナー７から入力される可変長符号を復号して音声信号を生成し、音声信号をＤ／Ａ（デジタル／アナログ）変換して、スピーカー１７に出力する。

なお、ここでは、チューナー７がＴＶアンテナ４１により受信された放送信号に基づいて、映像信号処理回路２１が映像信号を生成する場合を例に説明したが、外部の機器がＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７を介して送信した映像データに基づいて、映像信号処理回路２１が映像信号を生成するようにしてもよい。また、チューナー７は、地上波デジタルチューナーとＢＳ／ＣＳデジタルチューナーとの両方を備えていてもよい。

（映像信号処理回路の構成）
図２は、映像信号処理回路の構成を示すブロック図である。図２に示されるように、映像信号処理回路２１は、ビデオデコーダ５１と、ＩＰ変換処理部５３と、ノイズ低減処理部５５と、シャープネス処理部５７と、カラー調整処理部５９と、スケーラー処理部６１とを含む。

ビデオデコーダ５１は、チューナー７から入力される可変長符号を復号して映像信号を生成し、映像信号をＤ／Ａ変換して、ＩＰ変換処理部５３に出力する。ＩＰ変換処理部５３は、必要に応じて、ビデオデコーダ５１から入力される映像信号をインタレース方式からプログレッシブ方式に変換する。ノイズ低減処理部５５は、ＩＰ変換処理部５３が出力する映像信号に含まれるノイズ成分を軽減するためのノイズ低減処理を実行する。シャープネス処理部５７は、ノイズ低減処理部５５が出力する映像信号の映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部５９は、シャープネス処理部５７が出力する映像信号に対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部６１は、カラー調整処理部５９が出力する映像信号に対して、表示部１３の画素数に応じたスケーリング処理を実行する。なお、ＣＰＵ１１は、図示しないフレームメモリに、映像信号処理回路２１により各種の処理が実行される際の映像信号をフレーム単位で適宣記憶させる。

スケーリング処理は、表示部１３の画素数に応じた倍率に、映像データに含まれるフレーム単位の画像データを拡大（または縮小）し、拡大（または縮小）により補間が必要な画素を補間画素として算出する処理を少なくとも含む。補間画素は、画像データが拡大（または縮小）された倍率により、位置が定まる。具体的には、画像データにおいて、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間の位置である。最も単純な例として整数倍拡大の例を用いて補間演算位置について説明する。倍率が２倍である場合、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間を２等分する位置に補間画素が設定される。

（スケーラー処理部の構成）
図３は、スケーラー処理部の構成を示すブロック図である。図３に示されるように、スケーラー処理部６１は、参照ブロック設定部６２と、エッジ勾配方向設定部６３と、補間処理部６４とを含む。

参照ブロック設定部６２は、後段のエッジ勾配方向設定部６３および補間処理部６４において参照できる入力画素の集合である参照ブロックを設定する。参照ブロック設定部６２は、補正画素の周辺に存在する入力画素のうち、垂直方向Ｍ画素、水平方向Ｎ画素からなる複数の画素集合を参照ブロックとして抽出する。ただし、Ｍ，Ｎはいずれも予め決められた４以上の自然数とする。

図４は、補間画素に対する参照ブロックの設定例であり、（ａ）はＭ＝Ｎ＝４の参照ブロック、（ｂ）はＭ＝Ｎ＝６の参照ブロックを示す。図４において黒円で示される点は入力画素を示し、白円で示される点は入力画素のうち参照ブロックとして抽出された画素を示す。また、＊で示される点は補間画素を示す。本実施形態では、複数のラインの入力画素から参照ブロックを構成するために複数のラインバッファを備え、垂直方向の画素数Ｍは、当該ラインバッファ数に応じて設定される。なお、水平方向の画素数ＮはＭと一致させる必要は無く、必要に応じてＮ＞Ｍとして、水平方向の補間精度を高めることができる。Ｎ＞Ｍとする例として、ＩＰ変換処理部５３においてＩＰ変換処理が行われた場合が挙げられる。

参照ブロック設定部６２は、参照ブロックとして抽出された入力画素について、画素座標および画素値（濃度値）をラインバッファから読み出し、エッジ勾配方向設定部６３および補間処理部６４がアクセスしやすいようにメモリに記憶させる。

エッジ勾配方向設定部６３は、参照ブロックを構成する複数の入力画素のうち選択された１つの入力画素におけるエッジ勾配を求め、そのエッジ勾配に従って補間画素のエッジ勾配方向を設定する。

エッジ勾配方向設定部６３は、参照ブロックの中から補間画素との相関の高い入力画素を、エッジ勾配を算出する入力画素として選択すればよい。相関の高い入力画素として、例えば、補間画素の座標を（ｘ，ｙ）とするとき（ただしｘ，ｙはゼロ以上の実数とする）、それぞれｘ，ｙを超えない最大の整数であるｉ，ｊを画素座標とする入力画素（ｉ，ｊ）（すなわち、補間画素に隣接する左上の入力画素）を選択すればよい。もしくは、（ｘ，ｙ）とのユークリッド距離が最も小さくなる入力画素を選択してもよい。また、画素値（濃度値）は、入力画像がグレースケール方式の場合は階調値とし、ＲＧＢ方式である場合、Ｒ，Ｇ，Ｂの３成分から算出される値を用いてもよい。Ｒ，Ｇ，Ｂの３成分から算出される値の例として、３成分の平均値や最大値、また輝度成分に変換した値が挙げられる。

次に、エッジ勾配方向設定部６３は、図５に示す１次微分フィルタを用いて、選択した入力画素（ｉ，ｊ）における水平方向の１次微分値Ｇｘ（ｉ，ｊ）および垂直方向の１次微分値Ｇｙ（ｉ，ｊ）を次式に従って算出する。

Ｇｘ（ｉ，ｊ）＝ＩＮ（ｉ＋１，ｊ−１）＋ＩＮ（ｉ＋１，ｊ）×ａ
＋ＩＮ（ｉ＋１，ｊ＋１）−ＩＮ（ｉ−１，ｊ−１）
−ＩＮ（ｉ−１，ｊ）×ａ−ＩＮ（ｉ−１，ｊ＋１）・・式（１−１）
Ｇｙ（ｉ，ｊ）＝ＩＮ（ｉ−１，ｊ＋１）＋ＩＮ（ｉ，ｊ＋１）×ａ
＋ＩＮ（ｉ＋１，ｊ＋１）−ＩＮ（ｉ−１，ｊ−１）
−ＩＮ（ｉ，ｊ−１）×ａ−ＩＮ（ｉ＋１，ｊ−１）・・式（１−２）
ただし、ＩＮ（ｉ，ｊ）は、座標（ｉ，ｊ）における入力画素値を表す。また、ｉ，ｊは自然数である。そして、エッジ勾配方向設定部６３は、水平方向の１次微分値Ｇｘおよび垂直方向の１次微分値ＧｙからなるベクトルＧ＝（Ｇｘ，Ｇｙ）をエッジ勾配とする。

なお、１次微分フィルタの係数ａは任意の正の係数とし、ａ＝１の場合、１次微分フィルタはPrewittフィルタ、ａ＝２の場合、Sobelフィルタとして使用することができる。また、１次微分フィルタは図５に挙げるような３×３画素のサイズのフィルタに限定されるものではない。参照ブロックの大きさに応じて１次微分フィルタのサイズを設定すればよい。すなわち、１次微分フィルタは、参照ブロック内の画素のみを用いることを条件としてより大きいサイズが決定される。例えば、図４の（ｂ）に示されるような参照ブロックの場合、５×５のサイズの１次微分フィルタを使用することができる。

続いて、エッジ勾配方向設定部６３は、算出されたエッジ勾配を用いて、補間画素のエッジ勾配方向を設定する。

図６は、直交座標上におけるエッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を示す図である。エッジ勾配Ｇの角度θは、ＧｘとＧｙの逆正接θ＝atan｛Ｇｙ／Ｇｘ｝より与えられるが、逆正接の演算は一般的に複雑な処理を必要とする。また、本実施形態では微小な角度差を考慮する必要はない。本実施形態では、エッジ勾配方向として、水平方向、垂直方向のほか、ＧｘとＧｙの比が整数比となるようないくつかの方向のうちいずれかに分類されることが望ましい。そこで、全ての方向を複数区域に分割し、エッジ勾配方向設定部６３は、エッジ勾配Ｇが属する区域をエッジ勾配方向として設定する。

図７は、全ての方向を複数区域に分割した例を示す。下記の規則に従い、全ての方向が分割されている。
・水平方向軸を中心とする区域を設ける。
・垂直方向軸を中心とする区域を設ける。
・Ｇｘ：Ｇｙ＝１：±１となる方向を中心とする区域を設ける。
・Ｇｘ：Ｇｙ＝１：±ＬＶとなる方向を中心とする区域を設ける。

（ＬＶ＝２，…，ＬＶ_Ｍａｘ）
・Ｇｘ：Ｇｙ＝ＬＨ：±１となる方向を中心とする区域を設ける。

（ＬＨ＝２，…，ＬＨ_Ｍａｘ）
ただし、ＬＶ_ＭａｘおよびＬＨ_Ｍａｘは２以上の任意の自然数とし、参照ブロックのサイズに応じて設定される。たとえば、Ｍ＝Ｎ＝４のときＬＶ_Ｍａｘ＝ＬＨ_Ｍａｘ＝３、Ｍ＝Ｎ＝６のときＬＶ_Ｍａｘ＝ＬＨ_Ｍａｘ＝５とするのが望ましい。

上記の規則により、全方向は｛８＋４（ＬＶ_Ｍａｘ＋ＬＨ_Ｍａｘ−２）｝個に分割される。全方向を分割した数の半分の数をエッジ勾配方向の分割数ＮＢ＝４＋２（ＬＶ_Ｍａｘ＋ＬＨ_Ｍａｘ−２）とするとき、垂直方向を中心とする区域をＢ_０として、右回り順にＢ_１，…，Ｂ_ＮＢ−１と呼ぶことにする（すなわち、ｋ＝０，１，…，ＮＢ−１とするとき、Ｂ_ｋと表わされる区域はそれぞれ２個ずつ存在する）。なお、エッジ方向はエッジ勾配方向と直交する方向となるため、エッジ勾配方向がＢ_０のときエッジ方向は水平方向となる。

図８は、エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）を用いたエッジ勾配方向の設定処理の流れを示すフローチャートである。まず、エッジ勾配方向設定部６３は、ＧｘおよびＧｙを用いて下記判定式（２−１）で算出されるエッジ勾配が所定閾値τ_θ（例えば１６）より小さいか否か判定する（Ｓ８１）。
｜Ｇｘ｜＋｜Ｇｙ｜＜τ_θ ・・・（２−１）
エッジ勾配が所定閾値τ_θより小さいとき、エッジ勾配方向設定部６３は、エッジ方向の推定が不可であると判定して、エッジ勾配方向φ＝Ｂ_０と設定する（Ｓ８２）。

エッジ勾配が所定閾値τ_θより大きいとき、エッジ勾配方向設定部６３は、下記判定式（２−２）を満たすか否かを判定する（Ｓ８３）。
Ｇｘ×Ｇｙ≧０ ・・・（２−２）
なお、判定式（２−２）はＧｘ、Ｇｙの符号が同一であるか否かを判断している。

判定式２−２を満たすとき、エッジ勾配方向設定部６３は、下記判定式（２−３）を満たすか否か判定する（Ｓ８４）。
τ_０×｜Ｇｘ｜≦｜Ｇｙ｜ ・・・（２−３）
なお、判定式（２−３）における係数τ_０は任意の定数で与えられ、たとえばτ_０＝１３とする。判定式（２−３）を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配Ｇがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ＝Ｂ_０と設定する（Ｓ８５）。

判定式（２−３）を満たさないとき、エッジ勾配方向設定部６３は、下記判定式（２−４）を満たすか否か判定する（Ｓ８６）。
τ_１×｜Ｇｘ｜≦｜Ｇｙ｜ ・・・（２−４）
なお、判定式（２−４）における係数τ_１は任意の定数で与えられ、たとえばτ_１＝２．５とする。判定式（２−４）を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配ＧがほぼＧｘ：Ｇｙ＝１：ＬＶ_Ｍａｘの向きにあると判定し、エッジ勾配方向φ＝Ｂ_１とする（Ｓ８７）。

以下、同様にして、エッジ勾配方向設定部６３は、下記判定式（２−５）を用いた条件判定を行い（Ｓ８８）、判定式（２−５）を満たすとき、エッジ勾配方向φ＝Ｂ_ｋとする（Ｓ８９）。
τ_ｋ×｜Ｇｘ｜≦｜Ｇｙ｜ ・・・（２−５）
判定式（２−５）を満たさないとき、ｋ＝ｋ＋１に更新し、判定式（２−５）による判定を反復する。エッジ勾配方向設定部６３は、ｋ＝ＮＢ／２−１において判定式（２−５）を満たすか否かを判定し（Ｓ９０、Ｓ９１）、判定式（２−５）を満たさないとき、エッジ勾配方向φ＝Ｂ_ＮＢ／２とし（Ｓ９２）、判定式（２−５）による判定を終了する。

なお、上記に挙げた係数τ_０，…，τ_{ＮＢ／２−１}は、以下の規則に従って設定される任意の係数である。
・τ_０＞ ＬＶ_Ｍａｘ
・ｋ＝１，…，ＬＶ_Ｍａｘ−１について、ＬＶ_Ｍａｘ−ｋ＜τ_ｋ＜ ＬＶ_Ｍａｘ−ｋ＋１
・ｋ＝ＬＶ_Ｍａｘ，…，ＮＢ／２−１について、
１／（ｋ−ＬＶ_Ｍａｘ＋２）＜τ_ｋ＜１／（ｋ−ＬＶ_Ｍａｘ＋１）
・０＜τ_{ＮＢ／２−１}＜１／ＬＨ_Ｍａｘ
たとえば、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝３、すなわちＮＢ＝１２のとき、τ_０＝１３、τ_１＝５／２、τ_２＝３／２、τ_３＝２／３、τ_２＝２／５、τ_５＝１／１３と設定することができる。係数τ_０，…，τ_{ＮＢ／２−１}は、関係する2つの隣り合うエッジ勾配方向の境界となる角度のＧｘとＧｙの比を表わしており、たとえばτ_２の場合、Ｇｘ：Ｇｙ＝１：２の方向を示すＢ_２と、Ｇｘ：Ｇｙ＝１：１の方向を示すＢ_３との境界に関係しており、たとえばτ_２＝３／２とすると、Ｇｘ：Ｇｙ＝１：１．５の方向がＢ_２とＢ_３の境界の方向となる。

一方、判定式２−２を満たさない場合、エッジ勾配方向設定部６３は、上記判定式（２−３）を満たすか否かを判定する（Ｓ９３）。判定式２−３を満たすとき、エッジ勾配方向設定部６３は、エッジ勾配ベクトルＧがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ＝Ｂ_０とする（Ｓ９４）。

上記判定式（２−３）を満たさないとき、上記判定式（２−４）を満たすか否かが判定される（Ｓ９５）。判定式２−４を満たすとき、エッジ勾配ＧがほぼＧｘ：Ｇｙ＝１：−ＬＶ_Ｍａｘの向きにあると判定され、エッジ勾配方向φ＝Ｂ_ＮＢ−１と設定される（Ｓ９６）。

以下、同様にして上記判定式（２−５）を用いた条件判定を行い（Ｓ９５、Ｓ９７，Ｓ９９）、エッジ勾配方向φが設定される。つまり、判定式（２−５）を満たすとき、エッジ勾配方向φ＝Ｂ_ＮＢ−ｋと設定される（Ｓ９６、Ｓ９８，Ｓ１００）。判定式２−５を満たさないとき、ｋ＝ｋ＋１に更新し、判定式（２−５）による判定を反復する。ｋ＝ＮＢ／２−１において判定式２−５を満たさないとき、エッジ勾配方向φ＝Ｂ_ＮＢ／２とし（Ｓ１０１）、判定式（２−５）による判定を終了する。以上の処理により、補間画素のエッジ勾配方向φを設定することができる。

補間処理部６４は、参照ブロック設定部６２で設定された参照ブロックと、エッジ勾配方向設定部６３で決定されたエッジ勾配方向を用いて、補間画素における画素値を算出する。

図９は、補間処理部６４の構成を示すブロック図である。図示されるように、補間処理部６４は、仮参照座標設定部６５と、参照画素値設定部６６と、補間画素値算出部６７とを備えている。

仮参照座標設定部６５は、補間画素を内包し、かつエッジ方向と平行な二辺（エッジ勾配方向に垂直な二辺）を持つ平行四辺形の頂点となる４点を設定し、その座標を仮参照座標として指定する。平行四辺形には正方形も含まれる。また、平行四辺形の頂点となる４点は、整数の座標値をとる点が設定される。

図１０は、参照ブロックをＭ＝Ｎ＝４、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝３とし、エッジ勾配方向の分割数をＮＢ＝１２とした場合における、補間画素のエッジ勾配方向φに対する平行四辺形の設定例を示す。前述の通り、エッジ勾配方向φとエッジ方向は直交することに注意する。仮参照座標設定部６５は、このようにして設定した平行四辺形の４つの頂点の座標を、仮参照座標として指定する。なお、図１０に示す通り、少なくとも２点は、参照ブロック内の入力画素の点が選択される。図１０に示す例（Ｍ＝Ｎ＝４、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝３）では、一部のエッジ勾配方向（たとえばφ＝Ｂ_１０など）において、平行四辺形を構成する４点のうち１点ないし２点が、参照ブロック外に位置する場合もあるが、この段階では参照ブロックの内部もしくは外側のどちらに所属するかは特に考慮する必要は無い。また、図１０は、補間画素がグレーで示した範囲に存在する場合の例であり、たとえばφ＝Ｂ_２の場合、仮参照座標設定部６５は、補間画素を内包する平行四辺形を設定するため、補間画素の位置に応じて図１１のように平行四辺形の位置を変更し、４つの仮参照座標を指定する。φ＝Ｂ_１−Ｂ_５，Ｂ_７−Ｂ_１１も同様に、仮参照座標設定部６５は、補間画素の位置が含まれるように平行四辺形の位置を変更して、４つの仮参照座標を指定する。

なお、図１０に示す例では、仮参照座標設定部６５は、いずれのエッジ勾配方向においても同じ面積となる平行四辺形を設定する。Ｂ_０−Ｂ_３，Ｂ_１０，Ｂ_１１では、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形が設定され、Ｂ_４−Ｂ_９では、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形が設定される。

仮参照座標の設定方法は前述の例に限定する必要は無く、参照ブロックのサイズやエッジ勾配方向の分割方法によって可変とすることができる。図１２Ａおよび図１２Ｂは、参照ブロックをＭ＝Ｎ＝６、ＬＨ_Ｍａｘ＝ＬＶ_Ｍａｘ＝５、エッジ勾配方向の分割数をＮＢ＝２０とした場合の仮参照座標４点の設定例である。

仮参照座標設定部６５は、このように得られた４点の仮参照座標をそれぞれＰ_１，Ｐ_２，Ｐ_３，Ｐ_４とし、Ｐ_１〜Ｐ_４を参照画素値設定部に出力する。なお、Ｐ_１は左上頂点，Ｐ_２は右上頂点，Ｐ_３は右下頂点，Ｐ_４は左下頂点である。

参照画素値設定部６６は、仮参照座標設定部６５から受けた仮参照座標に対応する画素値をそれぞれ設定する。図１３は、仮参照座標から対応する画素値を設定するための処理を示したフローチャートである。

まず、参照画素値設定部６６は、仮参照座標Ｐ_ｋ（ただし、ｋ＝１，２，３，４）が参照ブロックに含まれるかどうかを判定する（Ｓ１３１）。仮参照座標Ｐ_ｋが参照ブロックに含まれる場合、参照画素値設定部６６は、仮参照座標Ｐ_ｋに対応する画素値ｆ_ｋとして、仮参照座標Ｐ_ｋに位置する入力画素の画素値ＩＮ_Ｐｋを設定する（Ｓ１３２）。

仮参照座標Ｐ_ｋが参照ブロックの外側に位置する場合、参照画素値設定部６６は、図１４に示すように、仮参照座標Ｐ_ｋを端とする平行四辺形の一辺と参照ブロックの境界との交点を点Ｒ、点Ｒを挟んで参照ブロックの境界上に位置する両側の入力画素をそれぞれ点Ｓ，点Ｔとする（Ｓ１３３）。そして、参照画素値設定部６６は、ＳＲ：ＲＴ＝α：１−αとするとき（ただし０≦α≦１とする）、仮参照座標Ｐ_ｋの画素値ｆ_ｋを次式（３）に従って算出する（Ｓ１３４）。
ｆ_ｋ＝（１−α）ＩＮ_Ｓ＋αＩＮ_Ｔ ・・・（３）
ただし、ＩＮ_Ｓは入力画素Ｓにおける画素値、ＩＮ_Ｔは入力画素Ｔにおける画素値を示す。

たとえば図１４に示す例の場合、参照ブロック外に位置するＰ_３に対して、参照ブロックの境界上に仮想的な画素Ｒが置かれ、ＳＲ：ＲＴ＝２／３：１／３となる（すなわちα＝２／３）。従って、仮参照座標Ｐ_３における画素値ｆ_３は、式（３）よりｆ_３＝（１／３）ＩＮ_Ｓ＋（２／３）ＩＮ_Ｔより得られる。

参照画素値設定部６６は、図１３に示す処理をＰ_１，Ｐ_２，Ｐ_３およびＰ_４の４つの仮参照座標に対して実行し、それぞれに対応する画素値ｆ_１、ｆ_２、ｆ_３およびｆ_４を算出する。

このように、参照画素値設定部６６は、仮参照座標が参照ブロック外に位置していても、参照ブロックの境界上に点Ｒをとり、参照ブロック内の入力画素から内挿的に仮参照座標に対する画素値を与える。すなわち、参照ブロック設定部６２により設定された参照ブロック内の入力画素のみを参照することで、各仮参照座標の画素値を設定することができる。

補間画素値算出部６７は、前述の４つの仮参照座標および対応する画素値から、補間演算により補間画素の画素値を算出する。図１５は、補間画素値算出部６７が実行する処理のフローチャートを示す図である。なお、以下の説明では、補間画素上の点をＰ_０とし、その座標を（ｐｘ、ｐｙ）とする。

まず、補間画素値算出部６７は、補間画素のエッジ勾配方向φが、第１方向群および第２方向群のいずれに属するかを判定する（Ｓ１５１）。ここで、第１方向群は、エッジ勾配Ｇ＝（Ｇｘ，Ｇｙ）について｜Ｇｘ｜＜｜Ｇｙ｜となる方向およびＧｘ＝Ｇｙとなる方向集合であり、第２方向群は、第１方向群に含まれない方向の集合である。たとえばＮＢ＝１２の場合、第１および第２方向群は以下の通り分類される。
第１方向群：Ｂ_０，Ｂ_１，Ｂ_２，Ｂ_３，Ｂ_１０，Ｂ_１１
第２方向群：Ｂ_４，Ｂ_５，Ｂ_６、Ｂ_７，Ｂ_８，Ｂ_９
第１方向群は、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。また、第２方向群は、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。

φが第１方向群に属する場合、補間画素値算出部６７は、Ｐ_０を通り、辺Ｐ_１Ｐ_４（左辺）に平行な直線と辺Ｐ_１Ｐ_２（上辺）との交点Ｑ_１２および当該直線と辺Ｐ_３Ｐ_４（下辺）との交点Ｑ_３４を設定する（Ｓ１５２）。図１６の（ａ）は、φが第１方向群に属する場合に、Ｐ_０に対する交点Ｑ_１２およびＱ_３４の設定方法の例を示す図である。

次に、補間画素値算出部６７は、下記の式（４）に従い、Ｐ_１とＱ_１２との距離ｄｘ、および辺Ｐ_１Ｐ_２とＰ_０との距離ｄｙを算出する（Ｓ１５３）。
ｄｘ＝ｄｉｓｔ｛Ｐ_１，Ｑ_１２｝ ，ｄｙ＝ｐｙ−［ｐｙ］ ・・・（４）
ただし、ｄｉｓｔ｛Ａ，Ｂ｝は点Ａ，Ｂ間の距離であり、［ｘ］は、ｘを超えない最大の整数である。たとえば、Ｍ＝Ｎ＝４とし、図７のようにエッジ勾配方向を分割する場合、補間画素Ｐ_０（ｉ＋５／６，ｊ＋１／２）の位置でエッジ勾配方向φ＝Ｂ_１のとき、図１７に示されるように交点Ｑ_１２およびＱ_３４が設定される。このとき、Ｑ_１２の座標は（ｉ−２／３，ｊ）となり、式（４）より以下のように距離ｄｘ，ｄｙが算出される。

続いて、補間画素値算出部６７は、Ｐ_１，Ｐ_２，Ｐ_３およびＰ_４から、初めに水平方向の線形補間によりＱ_１２およびＱ_３４における画素値を算出し、続いてＱ_１２およびＱ_３４の画素値から垂直方向の線形補間によりＰ_０の画素値を算出する（Ｓ１５４）。この水平補間および垂直補間は、次式のように１つの式にまとめることができる。
ＯＵＴ＝（１−ｄｙ）×｛（１−ｄｘ）×ｆ_１＋ｄｘ×ｆ_２｝
＋ｄｙ×｛ｄｘ×ｆ_３＋（１−ｄｘ）×ｆ_４｝ ・・・（５）

φが第２方向群に属する場合、補間画素値算出部６７は、Ｐ_０を通り、辺Ｐ_１Ｐ_２（上辺）に平行な直線と辺Ｐ_１Ｐ_４（左辺）との交点Ｑ_１４および当該直線と辺Ｐ_２Ｐ_３（右辺）との交点Ｑ_２３を設定する（Ｓ１５５）。図１６の（ｂ）は、φが第２方向群に属する場合に、Ｐ_０に対する交点Ｑ_１４およびＱ_２３の設定方法の例を示す図である。

次に、補間画素値算出部６７は、下記の式（６）に従い、辺Ｐ_１Ｐ_４とＰ_０との距離ｄｘ、およびＰ_１とＱ_１４との距離ｄｙを算出する（Ｓ１５６）。
ｄｘ＝ｐｘ−［ｐｘ］ ，ｄｙ＝ｄｉｓｔ｛Ｐ_１，Ｑ_１４｝ ・・・（６）

続いて、補間画素値算出部６７は、Ｐ_１，Ｐ_２，Ｐ_３およびＰ_４から、初めに垂直方向の線形補間によりＱ_１４およびＱ_２３における画素値を算出し、続いてＱ_１４およびＱ_２３の画素値から水平方向の線形補間によりＰ_０の画素値を算出する（Ｓ１５７）。この垂直補間および水平補間は、次式のように１つの式にまとめることができる。
ＯＵＴ＝（１−ｄｘ）×｛（１−ｄｙ）×ｆ_１＋ｄｙ×ｆ_４｝
＋ｄｘ×｛（１−ｄｙ）×ｆ_２＋ｄｙ×ｆ_３｝ ・・・（７）

式（５）および式（７）はいずれも次式のように整理することができる。
ＯＵＴ＝（１−ｄｘ）×（１−ｄｙ）×ｆ_１＋ｄｘ×（１−ｄｙ）×ｆ_２
＋ｄｘ×ｄｙ×ｆ_３＋（１−ｄｘ）×ｄｙ×ｆ_４ ・・・（８）

このように、補間画素値算出部６７は、エッジ方向に沿った平行四辺形の形状に従った線形補間により補間画素の画素値を算出するため、エッジ方向に依存した補間が可能となる。また、補間画素値算出部６７は、仮参照画素が参照ブロックの内にあるか外にあるかにかかわらず、参照ブロック内の入力画素の画素値を用いて補間画素の画素値を算出することができる。

なお、入力される画像がグレースケール画像である場合、参照画素値設定部６６および補間画素値算出部６７は、階調値を用いて画素値を算出する。一方、入力される画像がＲＧＢ方式である場合、参照画素値設定部６６および補間画素値算出部６７は、Ｒ，Ｇ，Ｂの成分毎に画素値を求める。すなわち、参照画素値設定部は、仮参照座標Ｐ_ｋ（ｋ＝１，２，３，４）における画素値のＲ成分ｆ_ｋＲ、Ｇ成分ｆ_ｋＧ、Ｂ成分ｆ_ｋＢを算出する。そして、補間画素値算出部は、補間画素における画素値のＲ成分ＯＵＴ_Ｒ、Ｇ成分ＯＵＴ_ＧおよびＢ成分ＯＵＴ_Ｂを算出する。
ＯＵＴ_Ｒ＝（１−ｄｘ）×（１−ｄｙ）×ｆ_１Ｒ＋ｄｘ×（１−ｄｙ）×ｆ_２Ｒ
＋ｄｘ×ｄｙ×ｆ_３Ｒ＋（１−ｄｘ）×ｄｙ×ｆ_４Ｒ
ＯＵＴ_Ｇ＝（１−ｄｘ）×（１−ｄｙ）×ｆ_１Ｇ＋ｄｘ×（１−ｄｙ）×ｆ_２Ｇ
＋ｄｘ×ｄｙ×ｆ_３Ｇ＋（１−ｄｘ）×ｄｙ×ｆ_４Ｇ
ＯＵＴ_Ｂ＝（１−ｄｘ）×（１−ｄｙ）×ｆ_１Ｂ＋ｄｘ×（１−ｄｙ）×ｆ_２Ｂ
＋ｄｘ×ｄｙ×ｆ_３Ｂ＋（１−ｄｘ）×ｄｙ×ｆ_４Ｂ ・・・（９）

（エッジ勾配の算出に関する変形例１）
上記の説明では、図５に示すような水平方向および垂直方向１つずつの１次微分フィルタを用いてエッジ勾配を算出するものとした。しかしながら、文字画像のような１画素幅のエッジに対しては、図５に示す１次微分フィルタでは検出できない場合がある。例えば、０−１００−０という画素値が並ぶとき、両端は０となっているため１次微分値も０となる。そこで、エッジ勾配方向設定部６３は、複数の１次微分フィルタを適用し、対象画素のエッジ勾配を決定してもよい。

例えば、エッジ勾配方向設定部６３は、図１８に示されるように、水平方向および垂直方向３つずつの１次微分フィルタを用いて対象画素のエッジ勾配を算出してもよい。図１８において、（ａ）は図５に示すフィルタと同じ第１の水平方向１次微分フィルタＦ_Ｈ１であり、（ｂ）は図５に示すフィルタと同じ第１の垂直方向１次微分フィルタＦ_Ｖ１である。また、（ｃ）は、第１の水平方向１次微分フィルタＦ_Ｈ１に対して、中央列を左側の列で置き換え、さらに左側の列の値をゼロとした第２の水平方向１次微分フィルタＦ_Ｈ２である。（ｅ）は、第１の水平方向１次微分フィルタＦ_Ｈ１に対して、中央列を右側の列で置き換え、さらに右側の列の値をゼロとした第３の水平方向１次微分フィルタＦ_Ｈ３である。同様に、（ｄ）は、第１の垂直方向１次微分フィルタＦ_Ｖ１に対して、中央段を上段で置き換え、さらに上段の値をゼロとした第２の垂直方向１次微分フィルタＦ_Ｖ２である。（ｆ）は、第１の垂直方向１次微分フィルタＦ_Ｖ１に対して、中央段を下段で置き換え、さらに下段の値をゼロとした第３の垂直方向１次微分フィルタＦ_Ｖ３である。

エッジ勾配方向設定部６３は、Ｆ_Ｈ１およびＦ_Ｖ１を適用して得られた１次微分値をＧ_ｘ１およびＧ_ｙ１、Ｆ_Ｈ２およびＦ_Ｖ２を適用して得られた１次微分値をＧ_ｘ２およびＧ_ｙ２、Ｆ_Ｈ３およびＦ_Ｖ３を適用して得られた１次微分値をＧ_ｘ３およびＧ_ｙ３とするとき、水平方向および垂直方向の１次微分値の絶対値和が最大となるフィルタの組の１次微分値をエッジ勾配として用いる。

本変形例によれば、第１の１次微分フィルタに加えて、第２，第３の１次微分フィルタを併用することで、１画素幅のエッジも検出できるようになる。

なお、第２、第３の１次微分フィルタは特に文字画像に有効であるが、実装するモニタ等が実写映像などの表示に限定する場合は第１の１次微分フィルタのみでも充分な効果を発揮できる。

（エッジ勾配の算出に関する変形例２）
上記の説明では、入力画像がＲＧＢ方式である場合に、３つの成分から算出される値（平均値や最大値など）を単一の画素値として用い、エッジ勾配を算出した。しかしながら、エッジ勾配方向設定部６３は、複数の画素値を用いてエッジ勾配を算出してもよい。

エッジ勾配方向設定部６３は、上述したエッジ勾配算出処理方法を用いて、Ｒ，Ｇ，Ｂの成分毎にエッジ勾配を算出する。算出されたＲ成分のエッジ勾配を（ＧＲｘ，ＧＲｙ）、Ｇ成分のエッジ勾配を（ＧＧｘ，ＧＧｙ）、Ｂ成分のエッジ勾配を（ＧＢｘ，ＧＢｙ）とする。そして、エッジ勾配方向算出処理部は、Ｒ，Ｇ，Ｂ成分毎に、エッジ勾配の垂直方向成分および水平方向成分の絶対値の和を算出し、絶対値の和が最大となる成分のエッジ勾配を対象画素のエッジ勾配（Ｇｘ，Ｇｙ）とする。

本変形例によれば、単一の画素値で算出する場合に比べ、各色成分の傾向を考慮したエッジ勾配を決定することができる。たとえばＲ，Ｇ，Ｂ成分が（０，０，１００）と（１００，０，０）の画素間では、Ｒ成分およびＢ成分において変化が見られるが、３成分の平均値や最大値による単一の画素値を用いると、両画素で同一の画素値となり、エッジ勾配を検出できない。そのため、色成分毎にエッジ勾配を算出し、そのうち最も大きなものを採用することで、色成分を考慮したエッジ勾配を設定することができる。

（エッジ勾配方向の設定に関する変形例）
上記の説明では、エッジ勾配方向設定部６３は、参照ブロックを構成する入力画素のうち選択した一つの入力画素におけるエッジ勾配を基に、補間画素のエッジ勾配方向を設定した。しかしながら、エッジ勾配方向設定部６３は、参照ブロックを構成する入力画素のうち２つ以上の入力画素の各々において得られたエッジ勾配から補間画素のエッジ勾配方向を設定してもよい。以下、この方法について述べる。

エッジ勾配方向設定部６３は、補間画素のエッジ勾配方向を決定するために、参照ブロックからＮＤ個の対象画素を選択する。ただし、ＮＤは２以上の自然数とする。図１９は、補間画素のエッジ勾配方向を決定するために選択されたＮＤ個の対象画素の例を示した図である。図１９に示されるように、例えば、エッジ勾配方向算出処理部は、補間画素を取り囲む４つの入力画素を対象画素として選択する。

次に、エッジ勾配方向設定部６３は、ＮＤ個の対象画素それぞれについてエッジ勾配の算出を行う。この算出方法は上述した方法を用いる。ここで、対象画素Ｑ_ｋ（ただしｋ＝１，…，ＮＤとする）に関して算出されたエッジ勾配を（Ｇｘ_ｋ，Ｇｙ_ｋ）とする。

エッジ勾配方向設定部６３は、ＮＤ個のエッジ勾配（Ｇｘ_ｋ，Ｇｙ_ｋ）を用いて、補間画素におけるエッジ勾配（Ｇｘ，Ｇｙ）を決定して、補間画素のエッジ勾配方向を算出する。初めに、エッジ勾配方向設定部６３は、第１象限と第４象限における、すなわちＧｘ_ｋの値を正に固定したときのＧｘ_ｋの総和Ｓ_{Ｇｘｐｏｓ}とＧｙ_ｋの総和Ｓ_{Ｇｙｆｒｅｅ}とを算出する。

ただし、sign（ｘ）は、引数ｘが０以上のとき１を、ｘが負のとき−１を返す符号関数である。同様に、エッジ勾配方向設定部６３は、第１象限と第２象限における、すなわちＧｙ_ｋの値を正に固定したときのＧｙ_ｋの総和Ｓ_{Ｇｙｐｏｓ}とＧｘ_ｋの総和Ｓ_{Ｇｘｆｒｅｅ}を算出する。

続いて、エッジ勾配方向設定部６３は、Ｓ_{Ｇｘｐｏｓ}とＳ_{Ｇｙｆｒｅｅ}の絶対値の和Ｓｘと、Ｓ_{Ｇｘｆｒｅｅ}とＳ_{Ｇｙｐｏｓ}の絶対値の和Ｓｙを求める。Ｓｘ≧Ｓｙとなるとき、エッジ勾配方向算出処理部は、補間画素のエッジ勾配（Ｇｘ，Ｇｙ）＝（Ｓ_{Ｇｘｐｏｓ}，Ｓ_{Ｇｙｆｒｅｅ}）とし、Ｓｘ＜Ｓｙとなるとき、補間画素のエッジ勾配（Ｇｘ，Ｇｙ）＝（Ｓ_{Ｇｘｆｒｅｅ}，Ｓ_{Ｇｙｐｏｓ}）とする。

続いて、エッジ勾配方向設定部６３は、得られたエッジ勾配（Ｇｘ，Ｇｙ）を用いて補間画素のエッジ勾配方向を設定する。エッジ勾配方向については、上記説明の方法（図８に示す方法）と同様のため、ここでは説明を省略する。

たとえば、ＮＤ＝４とし、（Ｇｘ_１，Ｇｙ_１）＝（２００，１００）、（Ｇｘ_２，Ｇｙ_２）＝（−１００，２００）、（Ｇｘ_３，Ｇｙ_３）＝（１００，−１００）、（Ｇｘ_４，Ｇｙ_４）＝（−１００，−２００）とするとき、
Ｓ_{Ｇｘｐｏｓ}＝２００＋１００＋１００＋１００＝５００
Ｓ_{Ｇｙｆｒｅｅ}＝１００＋２００×（−１）＋（−１００）＋（−２００）×（−１）＝０
Ｓ_{Ｇｘｆｒｅｅ}＝２００＋（−１００）＋１００×（−１）＋（−１００）×（−１）
＝１００
Ｓ_{Ｇｙｐｏｓ}＝１００＋２００＋１００＋２００＝６００
となり、
Ｓｘ＝|Ｓ_{Ｇｘｐｏｓ}｜＋｜Ｓ_{Ｇｙｆｒｅｅ}｜＝５００，
Ｓｙ＝|Ｓ_{Ｇｘｆｒｅｅ}｜＋｜Ｓ_{Ｇｙｐｏｓ}｜＝７００
となる。そのため、エッジ勾配方向設定部６３は、補間画素のエッジ勾配を（Ｇｘ，Ｇｙ）＝（１００，６００）に設定する。

単一の入力画素のみからエッジ勾配方向を算出する場合、選択された入力画素がノイズ等により正しくエッジ勾配方向を算出できない場合もある。しかしながら、本変形例によれば、エッジ勾配方向設定部６３は、周囲のエッジ勾配を上記のように統合して、垂直方向のバラつきおよび水平方向のバラつきを考慮することにより、ノイズに強いエッジ勾配方向を設定することができる。

（その他）
なお、上記の説明では、エッジ勾配方向を求めるために、１次微分フィルタを用いた方法を挙げたが、他の方法を用いてエッジ勾配方向を設定してもよい。エッジ勾配方向の他の算出方法として、たとえばテンプレートマッチングが挙げられる。図２０に示すような特定の方向に対応したテンプレートのフィルタを用いて、エッジ勾配方向設定部６３は、各画素においてフィルタ演算により算出した値をエッジ量とする。そして、エッジ勾配方向算出処理部は、テンプレート毎に算出されたエッジ量が最大となるテンプレートに対応する方向からエッジ勾配方向を求めればよい。エッジ勾配方向を求める方法は特に指定しない。例として、エッジ量が最大となる方向θ１の両隣の方向のエッジ量のうち、大きな値を取る方の方向をθ２とし、θ１とθ２におけるエッジ量を重みとしてθ１とθ２を加重平均して方向θ３を求め、予め決められたＮＢ個の方向のうちθ３に最も近い方向をエッジ勾配方向としてもよい。

なお、図２０はテンプレートの一例を示す図であり、テンプレートのサイズを大きくすることで方向のパターンを増加することもできる。

〔実施形態２〕
上記の実施形態１では、算出されたエッジ勾配方向に応じて補間処理を行う方法について説明した。しかしながら、例えば前景オブジェクトに対して背景領域がボケ気味の画像などでは、エッジ勾配方向が常に信頼できるものとは限らず、またノイズ等の影響により誤ったエッジ勾配方向を算出してしまう場合も考えられる。そこで、本実施形態では、算出したエッジ勾配方向に対してその信頼度を評価し、信頼度が低い場合にはエッジ勾配方向に依存しない補間に切り替える。

（スケーラー処理部の構成）
図２１は、本実施形態に係るスケーラー処理部６１’の構成を示すブロック図である。スケーラー処理部６１’は、参照ブロック設定部６２、エッジ勾配方向設定部７３、信頼度算出部７４、第１補間処理部７５、第２補間処理部７６、および混合処理部７７を備えている。

図２２は、エッジ勾配方向設定部７３の構成を示すブロック図である。エッジ勾配方向設定部７３は、エッジ勾配算出部７８と、第１設定部７９と、第２設定部８０とを備えている。

エッジ勾配算出部７８は、後段の第１設定部７９および第２設定部８０においてエッジ勾配方向を設定するために必要となる、複数の選択画素におけるエッジ勾配を算出する。具体的には、エッジ勾配算出部７８は、参照ブロック内のＮＤ_ＧＲＤ個の画素を選択画素として選択する。但し、ＮＤ_ＧＲＤは２以上の自然数とする。例えば、エッジ勾配算出部７８は、補間画素を取り囲む４つの画素を選択画素として選択すればよい。そして、エッジ勾配算出部７８は、各選択画素について、実施形態１におけるエッジ勾配方向設定部６３のエッジ勾配の算出方法と同様の方法により、エッジ勾配を算出する。処理内容については前述のためここでは説明を省略する。

第１設定部７９は、ＮＤ_ＧＲＤ個の選択画素からさらに選択したＮＤ個の選択画素の各々におけるエッジ勾配方向を設定する。ただし、ＮＤは２以上ＮＤ_ＧＲＤ以下の自然数とする。例えば、第１設定部７９は、ＮＤ_ＧＲＤ個全ての選択画素を選択してもよいし、補間画素に近い上位２つの選択画素を選択してもよい。ＮＤ個の選択画素の各々におけるエッジ勾配方向を設定するため、出力されるエッジ勾配方向もＮＤ個となる。各選択画素におけるエッジ勾配方向の設定方法については、実施形態１と同様である。すなわち、第１設定部７９は、選択画素に対して算出されたエッジ勾配を基に図８に従ってエッジ勾配方向を設定すればよい。

第２設定部８０は、ＮＤ_ＧＲＤ個の選択画素からさらに選択したＮＰ個の選択画素のエッジ勾配を用いて、補間画素のエッジ勾配方向を算出する。ただし、ＮＰは１以上ＮＤ_ＧＲＤ以下の自然数とする。第２設定部８０におけるエッジ勾配方向の設定方法は、ＮＰ＝１のときは図８に従った方法と同様であり、ＮＰが２以上のときは実施形態１の（エッジ勾配方向の設定に関する変形例）と同様であるため、ここでは説明を省略する。

なお、エッジ勾配算出部７８におけるＮＤ_ＧＲＤ個の選択画素のエッジ勾配は、第１設定部７９もしくは第２設定部８０の少なくとも一方で必ず選択されるものとする。また、第１設定部７９および第２設定部８０で選択するエッジ勾配は重複していてもよい。

信頼度算出部７４は、第２設定部８０により設定された補間画素のエッジ勾配方向φ_ｐの信頼度Ｖｐを、第１設定部７９により設定されたＮＤ個のエッジ勾配方向φ_１〜φ_ＮＤを用いて算出する。信頼度算出部７４は、ｋ＝１，…，ＮＤとするとき、φ_ｐとφ_ｋとを比較し、両方の方向パターンが一致するかどうかを示す第１評価値Ｖ_Ｃを求め、ＮＤ個全てのエッジ勾配方向φ_１〜φ_ＮＤについて算出した第１評価値Ｖ_Ｃの総和を信頼度として算出する。

図２３は、信頼度算出処理を実行するためのフローチャートを示した図である。また、図２４は、方向φを入力とした場合にＶ_Ｃに加算する値を出力するルックアップテーブルの例である。

まず、信頼度算出部７４は、ｋ＝１，Ｖ_Ｃ＝０を初期値とし（Ｓ２３１）、φ_ｐとφ_ｋとを比較する（Ｓ２３２）。Φ_ｐがφ_ｋと一致するとき、信頼度算出部７４は、Ｖ_ＣにＬＵＴ＿Ｃ［φ_ｐ］を加算する（Ｓ２３３）。なお、ＬＵＴ＿Ｃ［φ］は、図２４に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。図２４に示すＬＵＴ＿Ｃ［φ］のルックアップテーブルは、ＮＢ＝１２とする場合における一例であり、これらに限定する必要はない。信頼度算出部７４は、以上の処理をｋ＝１，…，ＮＤについて反復し（Ｓ２３４，Ｓ２３５）、第１評価値Ｖ_Ｃを更新し、信頼度Ｖｐ＝Ｖ_Ｃとして出力する（Ｓ２３６）。

このように、ＮＤ個の周囲画素のエッジ勾配方向について、補間画素のエッジ勾配方向と一致する場合にのみＶ_Ｃが更新されることにより、補間画素のエッジ勾配方向の確からしさを評価することができる。すなわち、第２設定部８０により設定された補間画素のエッジ勾配方向は、必ずしも周辺画素のエッジ勾配方向のバラつきを考慮できているとは限らない。そこで、信頼度算出部７４は、第１設定部７９によって設定された周辺画素それぞれのエッジ勾配方向のバラつき度合いから補間画素のエッジ勾配方向の信頼度を算出している。周辺のエッジ勾配方向がばらついている場合、信頼度は低い値になる。これにより、信頼度を確認することにより、ノイズ等により周囲でエッジ勾配方向がバラついているか否かを判断することができる。

第１補間処理部７５は、参照ブロック設定部６２で設定された参照ブロックと、第２設定部８０により設定された補間画素のエッジ勾配方向を用いて、補間画素における画素値を算出する処理を行う。本実施形態における第１補間処理部７５は、図９に示すような実施形態１における補間処理部６４と同様の構成を有する。すなわち、仮参照座標設定部６５が、補間画素を内包する平行四辺形を構成する４点の仮参照座標を指定する。次に、参照画素値設定部６６が、各仮参照座標に対応した画素値を設定する。最後に、補間画素値算出部６７が、４つの仮参照画素の画素値と重み付け係数とから、重み付き加算により補間画素の画素値を算出する。本実施形態では、第１補間処理部７５は、算出した補間画素の画素値をスケーラー処理部６１’の最終出力値とせず、第１補間値ＯＵＴ_１として後段の混合処理部７７へ入力する。

第１補間処理部７５の処理内容については、実施形態１における補間処理部６４と同様のため、ここでは詳細な説明を省略する。

第２補間処理部７６は、参照ブロックを基に、エッジ勾配方向に依存しない補間処理により補間画素における画素値を算出する。

第２補間処理部７６で適用するエッジ勾配方向に依存しない補間処理方法は、よく知られた方法を使用することができ、たとえば、Lanczos（ランツォシュ）補間処理を用いることができる。Lanczos補間処理は、以下に示す式に基づいて定められる重み係数と補間に用いる画素との積和を算出することにより補間処理を行うものである。

ただし、ｎは、補間関数の性質を制御するための変数であり、ｎに応じて補間演算に用いる補間画素数が変化する。ｄは、補間画素周辺の４画素と補間画素との距離を表している。図２５はｎ＝２における重み係数の分布を示す図である。たとえば、参照ブロックのサイズがＭ＝Ｎ＝４のとき、第２補間処理部７６は、ｎ＝２とし、下記の通り水平方向に補間演算を行ってＶ（ｋ）を算出する。
Ｖ（ｋ）＝ｗ（１＋ｄｉｓｔＸ）×Ｐ（ｋ，０）＋ｗ（ｄｉｓｔＸ）×Ｐ（ｋ，１）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（ｋ，２）＋ｗ（２−ｄｉｓｔＸ）×Ｐ（ｋ，３）
・・・（１０）
ただし、ｋ＝０，１，２，３であり、Ｐは補間処理に用いる入力画素の画素値を表す。次に、第２補間処理部は、Ｖ（ｋ）を用いて下記の通り補間演算を行うことにより、補間画素の第２補間値ＯＵＴ_２を算出する。
ＯＵＴ_２＝ｗ（１＋ｄｉｓｔＹ）×Ｖ（０）＋ｗ（ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）
・・・（１１）
なお、上記は入力画像がグレースケール画像である場合であり、画素値Ｐは各画素の階調値とする。入力画像がＲＧＢ画像である場合、Ｒ，Ｇ，Ｂ成分毎に補間画素の第２補間値を算出する。Ｒ成分の第２補間値をＯＵＴ_２Ｒ、Ｇ成分の第２補間値をＯＵＴ_２Ｇ、Ｂ成分の第２補間値をＯＵＴ_２Ｂとすると、ＯＵＴ_２は、補間画素の第２補間値の３成分のベクトル（ＯＵＴ_２Ｒ，ＯＵＴ_２Ｇ，ＯＵＴ_２Ｂ）として表わされる。

第２補間処理部７６における処理はLanczos補間処理を限定されるものではなく、他の方法を用いてもよい。例えば、下記に示す双三次補間（バイキュービック補間）を用いてもよい。

混合処理部７７は、第１補間処理部７５で得られた第１補間値ＯＵＴ_１と、第２補間処理部７６で得られた第２補間値ＯＵＴ_２とを、信頼度算出部７４で得られた信頼度Ｖｐに応じて混合する。

第１および第２補間値の混合比率γは、信頼度Ｖｐを、Ｖｐが取り得る最大値Ｖｐ_ＭＡＸで除算した値を用いる（すなわちγ＝Ｖｐ／Ｖｐ_ＭＡＸ）。また最大値Ｖｐ_ＭＡＸは、たとえばルックアップテーブルを用いて信頼度を算出する場合、ルックアップテーブルで参照し得る最大値をＤ_ＭＡＸとするとき、Ｖｐ_ＭＡＸ＝Ｄ_ＭＡＸ×ＮＤで与えられる。混合処理部７７は、この混合比率γを用いて、次式のようにＯＵＴ_１およびＯＵＴ_２の重み付き加算を行う。
ＯＵＴ＝γＯＵＴ_１＋（１−γ）ＯＵＴ_２ ・・・（１２）
式（１２）により得られた画素値ＯＵＴを、本実施形態が備えるスケーラー処理部６１’の出力とする。たとえば、信頼度Ｖｐ＝６０、信頼度の最大値Ｖｐ_ＭＡＸ＝１００とするとき、混合比率γ＝６０／１００＝０．６となり、画素値ＯＵＴ＝０．６ＯＵＴ_１＋０．４ＯＵＴ_２として与えられる。

入力画像がＲＧＢ方式である場合、混合処理部７７は、Ｒ，Ｇ，Ｂ成分毎の画素値を式（１２）に従って算出すればよい。混合比率γは、３つの成分間で共通である。

（信頼度算出方法の変形例１）
信頼度算出部７４における信頼度の算出方法は上記の方法に限定する必要はなく、たとえば下記の方法を用いることができる。

ｋ＝１，…，ＮＤとするとき、信頼度算出部７４は、φ_ｐとφ_ｋとを比較し、両方の方向パターンが一致するかどうかを示す第１評価値Ｖ_Ｃと、φ_ｋがφ_ｐの右回り方向に隣接するかどうかを示す第２評価値Ｖ_Ｒと、φ_ｋがφ_ｐの左回り方向に隣接するかどうかを示す第３評価値Ｖ_Ｌとを算出する。信頼度算出部７４は、ＮＤ個の選択画素のエッジ勾配方向φ_１〜φ_ＮＤについて算出した値の総和をとった後、第１、第２および第３評価値を合成することにより信頼度を算出する。

図２６は、本変形例における信頼度算出処理を実行するためのフローチャートを示した図である。また、図２７は、方向φを入力とした場合にＶ_Ｃ、Ｖ_ＲおよびＶ_Ｌに加算する値を出力するルックアップテーブルの例である。

まず、信頼度算出部７４は、ｋ＝１、Ｖ_Ｃ＝Ｖ_Ｒ＝Ｖ_Ｌ＝０を初期値に設定し（Ｓ２６１）、φ_ｐとφ_ｋとを比較する（Ｓ２６２）。φ_ｋがφ_ｐと一致するとき、信頼度算出部７４は、Ｖ_ＣにＬＵＴ＿Ｃ［φ_ｐ］を加算する（Ｓ２６３）。なお、ＬＵＴ＿Ｃ［φ］は、図２７の（ａ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。

φ_ｋがφ_ｐと一致しないとき、続いてφ_ｐの右隣φ_ｐＲとφ_ｋとが比較される（Ｓ２６４）。φ_ｋがφ_ｐＲと一致するとき、信頼度算出部７４は、Ｖ_ＲにＬＵＴ＿Ｒ［φ_ｐ］を加算する（Ｓ２６５）。なお、ＬＵＴ＿Ｒ［φ］は、図２７の（ｂ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。

φ_ｋがφ_ｐＲと一致しないとき、続いてφ_ｐの左隣φ_ｐＬとφ_ｋとが比較される（Ｓ２６６）。φ_ｋがφ_ｐＬと一致するとき、信頼度算出部７４は、Ｖ_ＬにＬＵＴ＿Ｌ［φ_ｐ］を加算する（Ｓ２６７）。なお、ＬＵＴ＿Ｌ［φ］は、図２７の（ｃ）に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。

図２７に示すＬＵＴ＿Ｃ、ＬＵＴ＿ＲおよびＬＵＴ＿Ｌの参照テーブルは、ＮＢ＝１２とする場合における一例であり、これらに限定する必要はない。

信頼度算出部７４は、以上の処理をｋ＝１，…，ＮＤについて反復し（Ｓ２６８，Ｓ２６９）、第１、第２および第３評価値Ｖ_Ｃ、Ｖ_ＲおよびＶ_Ｌを更新し、最後に次式の演算により信頼度Ｖｐを算出する。
Ｖｐ＝Ｖ_Ｃ＋ｍａｘ｛Ｖ_Ｒ，Ｖ_Ｌ｝
上式により、ＮＤ個の周囲画素のエッジ勾配方向について、右回り方向にずれている場合はＶ_Ｒ、左回り方向にずれている場合はＶ_Ｌの一方のみを加算することにより、右回り方向と左回り方向のずれ方の集中度合いを評価している。Ｖ_ＲとＶ_Ｌのうち大きい方をＶ_Ｃと加算することで、集中度合いの大きい方が優先されるようになるため、φ_ｐに対して右回り方向および左回り方向の両方に同様に周囲画素のエッジ勾配方向がバラついている場合、Ｖ_Ｒ，Ｖ_Ｌともに大きな値になりにくいため、信頼度を小さくすることができる。

また、ＬＵＴ＿Ｃに比べ、ＬＵＴ＿Ｒ，ＬＵＴ＿Ｌの出力値を小さく設定することで、方向が一致する場合は信頼度への寄与率を高く、隣接する場合は信頼度への寄与率を小さく設定できる。

（信頼度算出方法の変形例２）
上記の説明では、補間画素のエッジ勾配方向を用いて信頼度を算出したが、これに限定する必要はない。たとえば、エッジ勾配方向を求めるために算出された補間画素のエッジ勾配を用いて信頼度を算出してもよい。

図２８は、本変形例にかかるスケーラー処理部６１’’の構成を示すブロック図である。また、図２９は、図２８におけるエッジ勾配方向設定部８１の構成を示すブロック図である。

図２９に示されるように、エッジ勾配方向設定部８１は、第１設定部７９を有さず、エッジ勾配算出部７８および第２設定部８３のみを備えている。第２設定部８３は、上記の第２設定部８０と同様の機能を有し、さらに補間画素のエッジ勾配を出力する機能を有する。

信頼度算出部８２は、補間画素のエッジ勾配を用いて信頼度を算出する。この算出方法は特に限定されない。たとえば、補間画素のエッジ勾配（Ｇｘ_ｐ，Ｇｙ_ｐ）とするとき、絶対値和｜Ｇｘ_ｐ｜＋｜Ｇｙ_ｐ｜を信頼度Ｖｐとして用いることができる。

（信頼度算出方法の変形例３）
信頼度算出部７４，８２は、上記の何れかの方法により算出した信頼度に対して、更に所定のフィルタを適用することで補正してもよい。図３０は、信頼度を補正するためのフィルタの例を示す。フィルタは、信頼度Ｖｐを入力として非減少の関数として与えられる。たとえば、図３０の左側のフィルタ例のように所定の閾値以下では急激に信頼度が下がるようにするようにしてもよい。あるいは、図３０の中央のフィルタ例のように、オフセットを与えて常に信頼度がゼロにならないようにすることもできる。あるいは、図３０の右側のフィルタ例のように、補正を行うフィルタの波形は連続関数である必要は無く、ステップ形状とすることもできる。なお、出力信頼度Ｖｐの取り得る最大値が入力信頼度の取り得る最大値よりも小さくなる場合、混合処理部７７における最大値Ｖｐ_ＭＡＸは出力信頼度Ｖｐの取り得る最大値Ｖｐ_ＭＡＸ’に更新する。

本変形例によれば、信頼度が高域・中域・低域それぞれの場合において混合処理の振る舞いを補正により変更することが可能となる。たとえば、ある程度信頼度が小さくなった場合は全てゼロに補正して、エッジ勾配方向に依存した補間処理をオフにしてしまうことも可能である。

（信頼度算出方法の変形例４）
図２４に示すルックアップテーブルでは、全てのエッジ勾配方向に対して同じ出力値を割り当てていた。しかしながら、図３１に示されるように、各エッジ勾配方向の取り得る角度範囲は不均一である。たとえば±４５°方向（図３１の場合、Ｂ_３、Ｂ_９）は角度範囲が広いのに対して、水平方向、垂直方向（図３１の場合、Ｂ_０、Ｂ_６）は角度範囲が狭い。角度範囲の広い方向では、狭い方向に比べて、図３１に示すように、実際のエッジ勾配方向Ｇ１と、エッジ勾配から推定されたエッジ勾配方向Ｇ２との間の差異が大きくなり易い。この場合、実際のエッジ勾配方向（Ｇ１）と推定されたエッジ勾配方向（Ｇ_２）との誤差により、実際に補間演算に用いるべき画素と推定されたエッジ勾配方向に基づいて定められる補間演算に用いる画素との間にズレが生じ、補間演算の結果に誤差が生じるという不具合が考えられる。拡大処理では、特に変倍率が大きくなるにつれて、当該誤差が目立つようになる。そこで、変倍率が大きいときに角度範囲が狭い方向における信頼度を高め、角度範囲が広い方向における信頼度を低くすることが好ましい。

そこで、信頼度算出部７４は、複数のルックアップテーブルを予め記憶しておき、変倍率に応じてルックアップテーブルを選択してもよい。具体的には、信頼度算出部７４は、図２４に示すルックアップテーブルと、図３２に示すルックアップテーブルとを備えている。図３２に示すルックアップテーブルでは、角度範囲Δθ_φが大きくなるほど出力値が小さくなるように設定されている。そして、信頼度算出部７４は、変倍率が小さいとき（たとえば、２倍以下）、図２４のルックアップテーブルを利用し、変倍率が大きいとき（たとえば、２倍より大きいとき）、図３２に示すルックアップテーブルを利用する。これにより、補間精度を向上させることができる。

また、同様にして、変倍率に応じてＬＵＴ＿ＲおよびＬＵＴ＿Ｌを設定してもよい。上記と同様に、エッジ勾配方向の角度範囲が広い程、その隣のエッジ勾配方向との差異が大きくなるため、信頼度を低くする事で上記不具合が生じることの抑制することができる。

ＬＵＴ＿Ｃ，ＬＵＴ＿ＲおよびＬＵＴ＿Ｌは、以下のように設定すればよい。まず、ＬＵＴ＿Ｃについては、図３２と同じように、角度範囲Δθ_φが大きくなるほど出力値が小さくなるように設定される。また、図３３に示されるように、エッジ勾配方向φ（図ではφ＝Ｂ_３を例とする）が持つ角度範囲の中央を通る（すなわち、φの角度範囲を二等分する）直線Ｌ_φを引き、原点を中心にＬ_φを±Δθ_Ｔだけ回転した直線Ｌ_ｌｅｆｔおよびＬ_{ｒｉｇｈｔ}を引く（たとえばΔθ_Ｔ＝π／８など）。このとき、φが持つ角度の範囲をΔθ_φとすると、両隣のエッジ勾配方向に含まれる角度はそれぞれΔθ_ＲＥＳとなる。

そして、ＬＵＴ＿Ｃ［φ］と、これらの角度の情報を利用して、ＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の値が設定される。設定方法の例として、以下のようなΔθ_ＲＥＳとΔθ_Ｔの比から求める方法を用いればよい。

図３４は、ＬＵＴ＿Ｃ［φ］を図３２と同じにした場合のＬＵＴ＿Ｒ［φ］およびＬＵＴ＿Ｌ［φ］の値の設定例を示す。なお、ＬＵＴ＿ＲおよびＬＵＴ＿Ｌの設定方法は、ここで説明した方法に限定されるものではなく、他の方法により設定してもよい。

そして、信頼度算出部７４は、変倍率が小さいとき（たとえば、２倍以下）は図２７の組を利用し、変倍率が大きいとき（たとえば、２倍より大きいとき）は図３４の組を用いるなど、変倍率に応じて３つのＬＵＴの値を選択すればよい。

（第１設定部および第２設定部における選択画素の選択方法の変形例）
上述したように、第１設定部７９は、ＮＤ_ＧＲＤ個の選択画素からＮＤ個を選択する。また、第２設定部８０は、ＮＤ_ＧＲＤ個の選択画素からＮＰ個を選択する。この選択方法は特に限定されるものではない。

例えば、第１設定部７９で選択したエッジ勾配の集合をＵ１、第２設定部８０で選択したエッジ勾配の集合をＵ２としたとき、Ｕ１はＵ２に含まれる、もしくはＵ２はＵ１に含まれるように選択される。すなわち、数の少ない方の集合は、数の多い方の集合に完全に重複する。あるいは、第１設定部７９および第２設定部８０は、同じ数の選択画素を選択してもよい。

また、第１設定部７９および第２設定部８０は、補間画素に近い選択画素から順に設定された個数（ＮＤ個またはＮＰ個）の選択画素を選択してもよい。ＮＤ＝ＮＰ＝４である場合、補間画素を囲む４つの選択画素が選択される。ＮＤまたはＮＰが５以上である場合、既に選択済みの選択画素のうちのいずれかに隣接する選択画素から、補間画素との距離が近い選択画素を優先的に選択すればよい。

また、補間画素に近い順に選択画素を選択するのではなく、補間画素に対する位置関係に基づいて選択画素を選択してもよい。たとえば、補間画素の座標を（ｐｘ，ｐｙ）とするときに、画素（［ｐｘ］，［ｐｙ］）（ただし［ｘ］は、ｘを越えない最大の整数）、すなわち補間画素の左上に位置する画素を最初に選択してもよい。その後、補間画素の左下の画素、右上の画素、右下の画素、左上画素の左隣の画素、左下画素の左隣の画素、・・・と順に選択していく。この位置関係の選択順位とは予め設定されている。

ここで、Ｍ＝Ｎ＝４であり、補間画素に対して左上画素の左隣の画素および左下画素の左隣の画素が選択画素として選択されたとする。すなわち、図３５の（ａ）における選択画素ＡおよびＢである。このような選択画素Ａ，Ｂについて、（ａ）に示す補間画素＊に対して設定された参照ブロックだけではエッジ勾配を求めることができない。そこで、このような場合、（ｂ）に示されるように、水平方向に１画素分だけ前に設定された参照ブロックを用いて算出された選択画素ＡおよびＢに対応するエッジ勾配をバッファに一時的に保管しておく。これにより、（ａ）のように参照ブロックが設定されたときにも、選択画素ＡおよびＢに対応するエッジ勾配を参照することが可能となる。

〔実施形態３〕
本発明の別の実施形態３について説明する。本実施形態に係る画像処理装置は、モニタ（インフォメーションディスプレイ）である。図３６は、本実施形態に係るモニタ１’の構成を示すブロック図である。図３６に示されるように、モニタ１’は、実施形態１のテレビジョン受像機１と比較して、チューナー７を備えていない点で相違し、それ以外はテレビジョン受像機１と同様の構成を有する。図３６に示すモニタ１’でも、映像信号処理回路２１を備えることにより、高品質に映像をアップスケーリングすることが出来る。

また、図３７は、図３６に記載のモニタ１’を複数台並べて構成されるマルチディスプレイを示す図である。それぞれ、水平方向、垂直方向に複数台のモニタ１’を並べて構成されるマルチディスプレイにＦＨＤ映像を再生するような場合においても、各モニタ１’が映像信号処理回路２１を備えることにより、高品質に映像をアップスケーリングすることができる。

〔まとめ〕
以上のように、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置（テレビジョン受像機１，モニタ１’）において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部（仮参照座標設定部６５）と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。

上記の構成によれば、エッジ勾配方向に垂直な方向（つまり、エッジ方向）に沿って設定された画素を用いた補間演算により補間画素の濃度値（画素値）が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、仮参照座標が参照ブロック外に位置する場合であっても、参照ブロック内の入力画素から仮参照座標の濃度値が補間的に算出される。そのため、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。特に、参照ブロックの入力画素のデータを抽出するためのラインバッファを十分に確保できない場合でも、補間画素の濃度値を精度よく算出できる。

また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。

上記の構成によっても、エッジ勾配方向に垂直な方向（つまり、エッジ方向）に沿って設定された画素を考慮して、補間画素の濃度値（画素値）が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。

また、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を基に、第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、補間画素の濃度値を算出する。そのため、エッジ勾配方向の信頼度に応じて、第１補間値と上記第２補間値との重み係数を変化させることができる。例えば、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度が低い場合には、第１補間値の重み係数を小さくすればよい。これにより、誤ったエッジ方向に依存した補間処理による画像品質低下を防止することができる。

また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定してもよい。

上記の構成によれば、参照ブロック内の入力画素におけるばらつきを考慮することができ、ノイズに影響されにくいエッジ勾配方向を設定することができる。

また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、少なくとも１つの水平方向１次微分フィルタと、少なくとも１つの垂直方向１次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定してもよい。

水平方向１次微分フィルタおよび垂直方向１次微分フィルタを用いてエッジ勾配を求めることにより、参照ブロックという限られた範囲の中で精度よくエッジ勾配方向を設定することができる。

また、複数の水平方向１次微分フィルタおよび複数の垂直方向１次微分フィルタを用いた場合、文字等の１画素幅で構成されるエッジを含めてエッジ勾配を求めることができ、精度よくエッジ勾配方向を設定することができる。

また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第１評価値を用いて上記信頼度を算出してもよい。

上記の構成によれば、補間画素のエッジ勾配方向と、周囲の入力画素のエッジ勾配方向との比較から信頼度を算出することで、エッジ勾配方向のバラつきを考慮することができる。例えば、ノイズ等により本来のエッジ勾配方向と異なるエッジ勾配方向が設定されている場合に、周辺にノイズなどで特異な画素がある可能性があるとして信頼度を下げることができる。

また、本発明の一態様に係る画像処理装置において、上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、（１）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第２評価値を求めるとともに、（２）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第３評価値を求め、第２評価値および第３評価値のうち大きい方の値を第１評価値に加算することにより上記信頼度を算出してもよい。

上記の構成によれば、第１評価値に加えて第２、第３評価値を更に考慮することで、補間画素のエッジ勾配方向について、右回り方向および左回り方向の両側にバラつきが出る場合にその偏りの大きい方のみを考慮することができる。これにより、例えばコーナー部分のように周囲に複数方向のエッジが存在する場合に信頼度を下げることができる。

また、本発明の一態様に係る画像処理装置は、さらに、表示部を備え、上記画像データを拡大縮小した後の画像を上記表示部に表示させてもよい。

これにより、エッジ勾配方向を考慮した補間演算による拡大縮小処理後の画像を表示させる画像表示装置を実現することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

最後に、テレビジョン受像機１またはモニタ１’の各ブロック、特にスケーラー処理部６１，６１’、６１’’は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

上述した機能を実現するソフトウェアであるテレビジョン受像機１またはモニタ１’の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記テレビジョン受像機１またはモニタ１’に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、テレビジョン受像機１またはモニタ１’を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、例えばテレビジョンなどの画像処理に利用することができる。

１ テレビジョン受像機（画像処理装置）
１’ モニタ（画像処理装置）
１３ 表示部
２１ 映像信号処理回路
６１，６１’，６１’’ スケーラー処理部
６２ 参照ブロック設定部
６３，７３，８１ エッジ勾配方向設定部
６４ 補間処理部
６５ 仮参照座標設定部（参照画素設定部）
６６ 参照画素値設定部
６７ 補間画素値算出部
７４，８２ 信頼度算出部
７５ 第１補間処理部
７６ 第２補間処理部
７７ 混合処理部
７８ エッジ勾配算出部
７９ 第１設定部
８０，８３ 第２設定部

Claims (6)

1. 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
   上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
   上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
   上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、
   上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
   上記４つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備えることを特徴とする画像処理装置。
2. 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
   上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
   上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
   上記エッジ勾配方向に垂直な方向に沿った２辺を有する四角形の頂点となる４つの参照画素を設定する参照画素設定部と、
   上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
   上記４つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第１補間値を算出する第１補間処理部と、
   上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第２補間画素値を算出する第２補間処理部と、
   上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、
   上記信頼度に基づいて、上記第１補間値および第２補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第１補間値と上記第２補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備えることを特徴とする画像処理装置。
3. 上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 上記エッジ勾配方向設定部は、少なくとも１つの水平方向１次微分フィルタと、少なくとも１つの垂直方向１次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、
   上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第１評価値を用いて上記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
6. 上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、（１）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第２評価値を求めるとともに、（２）当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第３評価値を求め、第２評価値および第３評価値のうち大きい方の値を第１評価値に加算することにより上記信頼度を算出することを特徴とする請求項５に記載の画像処理装置。
   

Images