WO2014136552A1 - 画像処理装置 - Google Patents

Abstract

　種々の解像度の入力画像に対して適切にノイズを除去又は低減することができる画像処理装置を提供する。画像処理装置は、信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部（２１）と、前記画素の各々について、該画素に応じた参照領域の画素である参照画素であって、前記輪郭方向推定部が推定した該画素の輪郭方向に配列された参照画素毎の信号値に基づいて該画素の信号値を平滑化する低域フィルタ部（２０ａ）と、入力画像信号の解像度と出力画像信号の解像度との比に基づいて求められる拡大率に応じて、前記低域フィルタ部による平滑化の強さを決定するパラメータ決定部（２０ｂ）とを備える。

Description

画像処理装置

　本発明は、解像度に応じた画像変換を行う画像処理装置に関する。

　情報通信技術の普及により画像コンテンツを、制作時とは異なる条件で視聴できるようにすることで、画像コンテンツを有効に活用することが要請されている。例えば、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｔｅｌｅｖｉｓｉｏｎ）、等では、元来、携帯端末装置等で視聴するための比較的低い解像度の画像コンテンツ（いわゆるネット動画、等）を、高解像度の画像表示装置に表示する場合がある。ここで、解像度が水平方向６４０画素、垂直方向３６０画素である画像コンテンツを、水平方向１９２０画素、垂直方向１０８０画素のフルハイビジョン（フルＨＤ、ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）規格に対応したディスプレイに表示する。そのような場合には、画像コンテンツに含まれる画素毎の信号値を画素間で信号値を補間して解像度を高くして変換することがある（アップスケーリング[ｕｐｓｃａｌｉｎｇ]、アップコンバート[ｕｐｃｏｎｖｅｒｔ]とも呼ばれる）。

　解像度を高くした画像には、次に述べるノイズが顕著に表れることがある。（１）ジャギー：斜線や曲線に表れる階段状の輪郭、（２）モスキートノイズ：圧縮符号化した符号を復号すると濃淡や色信号値が急激に変化する部分やその周辺に表れる波状のノイズ、（３）ドット妨害：コンポジット信号から輝度信号と色差信号の分離（ＹＣ分離）が不適切な場合、色彩が変化する境界に粒状に表れるノイズ。

　そこで、従来は、解像度を高くした画像に対して補間した信号値に対して低域通過フィルタを施してノイズを低減することが試みられている。例えば、特開２００５－３５３０６８号公報に記載の処理装置では、入力される現フレーム／フィールド上で現ピクセルに基づいて所定サイズのウィンドウを設定し、ウィンドウの特性を判断するための固有値および固有ベクトルを算出し、算出された固有値に基づいてウィンドウの特性を判断した後、その判断結果に基づいてフィルタリングに適用すべきフィルタリング荷重値を決め、算出された固有ベクトルおよび決定されたフィルタリング荷重値に基づいてウィンドウをフィルタリングする。
　その他、補間した信号値の高周波数成分の情報を強調することによって画像を先鋭化（、尖鋭化・シャープニング[ｓｈａｒｐｅｎｉｎｇ]、強調・エンハンス[ｅｎｈａｎｃｅｍｅｎｔ]、とも呼ばれる）することが試みられている。

　また、映像の放送波の種別に応じて画像変換を行う画像処理装置が提案されている。例えば、特開２０１０－９３８５６号公報に記載の画像処理装置は、第１解像度の第１映像信号を、第１映像信号の画素に対して挿入される高周波成分の画素の割合を示すパラメータに応じて、第１解像度よりも高い第２解像度の第２映像信号に変換する画像変換手段と、第１映像信号の放送波の種類に応じて、パラメータを変更するように制御する制御手段とを備える。

　このように、解像度を高くした画像に対しては、ノイズの低減処理や画像先鋭化処理は有効である。しかしながら、解像度がもともと高く補間処理の度合いが小さい画像、又は補間処理を実行していない画像に対してノイズの低減処理や画像先鋭化処理を行うことは、効果が少ないばかりか、かえってアーティファクト［ａｒｔｉｆａｃｔ］を発生させてしまう。

　本発明は上記の点に鑑みてなされたものであり、種々の解像度の入力画像に対して適切にノイズを除去又は低減することができる画像処理装置を提供する。

　ここに開示する画像処理装置は、信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、前記画素の各々について、該画素に応じた参照領域の画素である参照画素であって、前記輪郭方向推定部が推定した該画素の輪郭方向に配列された参照画素毎の信号値に基づいて該画素の信号値を平滑化する低域フィルタ部と、入力画像信号の解像度と出力画像信号の解像度との比に基づいて求められる拡大率に応じて、前記低域フィルタ部による平滑化の強さを決定するパラメータ決定部とを備える。

　本発明によれば、種々の解像度の入力画像に対して適切にノイズを除去又は低減することができる。

本発明の第１の実施形態に係る表示装置の構成を表す概略図である。 本実施形態に係る画像処理部の構成を表す概略図である。 本実施形態に係る高周波拡張部の構成を示す概念図である。 本実施形態に係る高周波拡張部の一構成例を表す概略図である。 本実施形態に係る垂直高域通過フィルタ部の構成を表す概略図である。 本実施形態に係る水平高域通過フィルタ部の構成を表す概略図である。 本実施形態に係る非線形演算部の構成の一例を表す概略図である。 本実施形態に係る非線形演算部の構成のその他の例を表す概略図である。 輪郭の一例を表す概念図である。 参照領域の一例を表す概念図である。 ｘ方向の差分フィルタの一例を表す概念図である。 ｙ方向の差分フィルタの一例を表す概念図である。 ｘ方向偏微分の一例を表す概念図である。 ｙ方向偏微分の一例を表す概念図である。 量子化輪郭方向の候補の一例を示す。 量子化輪郭方向の計算例を示す概念図である。 参照領域荷重の一例を示す概念図である。 参照領域荷重のその他の例を示す概念図である。 方向評価値の一例を示す概念図である。 方向評価値のその他の例を示す概念図である。 方向評価領域荷重の一例を示す概念図である。 方向評価領域荷重のその他の例を示す概念図である。 平滑化対象画素の一例を表す概念図である。 本実施形態に係る画像処理を表すフローチャートである。 本発明の第２の実施形態に係る表示装置の構成を表す概略図である。 図２６は、拡大率と、低域フィルタ部及び高周波拡張部による処理の強さとの関係を模式的に示す図である。 本発明の第３の実施形態に係る表示装置の構成を表す概略図である。 本実施形態の変形例１に係る画像処理部の構成を表す概略図である。 本変形例に係る画像処理を表すフローチャートである。 本実施形態の変形例２に係る画像処理部の構成を表す概略図である。 本変形例に係る画像処理を表すフローチャートである。 本実施形態の変形例３に係る高周波拡張部の構成を表す概略図である。 本変形例に係る２次元高域通過フィルタ部の構成を表す概略図である。 選択参照画素の例を示す概念図である。 本変形例に係る画像処理を表すフローチャートである。 処理前後の輝度信号に係る画像の例を表す。 処理前後の画像の空間周波数特性の例を表す。 本実施形態において使用又は生成したデータの空間周波数特性を表す。 非線形演算による出力周波数の一例を表す図である。 非線形演算による出力周波数のその他の例を表す図である。

　本発明の一実施形態に係る画像処理装置は、信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、前記画素の各々について、該画素に応じた参照領域の画素である参照画素であって、前記輪郭方向推定部が推定した該画素の輪郭方向に配列された参照画素毎の信号値に基づいて該画素の信号値を平滑化する低域フィルタ部と、入力画像信号の解像度と出力画像信号の解像度との比に基づいて求められる拡大率に応じて、前記低域フィルタ部による平滑化の強さを決定するパラメータ決定部とを備える（第１の構成）。

　上記の構成によれば、各画素の信号値が輪郭方向に平滑化され、視覚上敏感な輪郭方向のノイズが除去又は低減される。さらに、上記の構成によれば、画像処理装置は、拡大率に応じて平滑化の強さを変えることできる。

　上記第１の構成において、前記入力画像信号が入力される複数の入力端子をさらに備え、前記パラメータ決定部は、前記複数の入力端子のうち、入力画像信号が入力された入力端子の種類に基づいて前記入力画像信号の解像度を判別する構成としても良い（第２の構成）。

　上記第１の構成において、前記入力画像信号の解像度と前記出力画像信号の解像度との比である解像度比を求め、前記解像度比に基づいて前記入力画像の補間を行い、前記解像度比を前記パラメータ決定部に出力するスケーリング部をさらに備え、前記パラメータ決定部は、前記前記解像度比を前記拡大率として用いる構成としても良い（第３の構成）。

　上記第１の構成において、前記入力画像信号が入力される複数の入力端子と、前記入力画像信号の解像度と前記出力画像信号の解像度との比である解像度比を求め、前記解像度比に基づいて前記入力画像の補間を行い、前記解像度比を前記パラメータ決定部に出力するスケーリング部とをさらに備え、前記パラメータ決定部は、前記複数の入力端子のうち、入力画像信号が入力された入力端子の種類から前記入力画像信号の解像度が一意に判別できる場合には、前記入力端子の種類に基づいて前記入力画像信号の解像度を判別し、前記複数の入力端子のうち、入力画像信号が入力された入力端子の種類から前記入力画像信号の解像度が一意に判別できない場合には、前記解像度比を前記拡大率として用いる構成としても良い（第４の構成）。

　上記第１～第４のいずれかの構成において、前記画素の各々について、該画素の信号値の高周波成分を生成して該画素の信号値について周波数帯域を拡張する高周波拡張部をさらに備え、前記パラメータ決定部は、前記拡大率に応じて、高周波拡張部による処理の強さを決定することが好ましい（第５の構成）。

　上記の構成によれば、高周波拡張部によって、平滑化された信号値の高周波成分が補われる。そのため、エイリアシング［ａｌｉａｓｉｎｇ］によるノイズを回避又は抑制しながら画像を先鋭化することができる。さらに上記の構成によれば、画像処理装置は、拡大率に応じて先鋭化の強さを変えることできる。

　［実施の形態］
　以下、図面を参照しながら本実施形態について説明する。
　［第１の実施形態］
　図１は、本発明の第１の実施形態に係る表示装置１の構成を表す概略図である。
　表示装置１は、入力端子１０ａ～１０ｄ、入力部１１、スケーリング部１３、画像処理部２０、画像形式変換部１４及び表示部１５を含んで構成される。

　入力端子１０ａ～１０ｄには、外部から信号が入力される。入力端子１０ａ～１０ｄに入力される信号は、例えば、コンポジット［ｃｏｍｐｏｓｉｔ］映像信号、アナログテレビジョン放送に係る高周波信号、ディジタルテレビジョン放送に係る高周波信号、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）に係る信号等である。

　入力部１１は、入力端子１０ａ～１０ｄに入力される信号の種類に対応した信号処理部１１Ａ～１１Ｄを含んでいる。信号処理部１１Ａ～１１Ｄは、入力信号を、ディジタルの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒを含む所定の画像信号に変換する。

　例えば、信号処理部１１Ｂは、アンテナ（アナログ）から入力された高周波信号から指定されたチャネルに係る変調信号を抽出し、抽出した変調信号を基底周波数帯域の変調信号に変換する。変換した変調信号を復調して画像信号を生成し、生成した画像信号からアナログの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒに分離する。分離したそれぞれの信号を、予め定めたサンプリング周波数でアナログ信号からディジタル信号に変換する。

　入力部１１は、入力部１１に入力される複数の信号から１つを選択し、信号処理部１１Ａ～１１Ｄのいずれかによって入力信号を変換してスケーリング部１３に出力する。入力部１１は、このとき、選択された入力信号を識別する信号Ｓｓを画像処理部２０に出力する。

　スケーリング部１３は、入力部１１から入力された画像信号の解像度（画素数）が、表示部１５の解像度と異なる場合には、表示部１５の解像度と等しくなるように入力された画像信号の解像度を調整（スケーリング）する。入力された画像の解像度よりも表示部１５の解像度の方が大きい場合には、スケーリング部１３は、入力された画像信号に対して、補間を行う。入力された画像の解像度よりも表示部１５の解像度の方が小さい場合には、スケーリング部１３は、入力された画像信号に対してダウンサンプリングを行う。スケーリング部１３は、補間又はダウンサンプリングのための方式として、例えばバイキュービック（ｂｉｃｕｂｉｃ）法、バイリニア（ｂｉｌｉｎｅａｒ）法、等の方式を用いる。スケーリング部１３は、解像度を調整した画像信号を画像処理部２０に出力する。入力された画像信号の解像度と表示部１５の解像度が等しい場合には、入力された画像信号を画像処理部２０に出力する。
　なお、以下の説明では、表示部１５の水平方向（又は垂直方向）の画素数の、入力された画像信号の水平方向（又は垂直方向）の画素数に対する比を拡大率と呼ぶ。例えば、入力された画像信号の解像度が水平方向６４０画素、垂直方向３６０画素であり、表示部１５の解像度が水平方向１９２０画素、垂直方向１０８０画素である場合には、拡大率は３である。

　画像処理部２０は、スケーリング部１３から入力された画像信号のうち輝度信号Ｙについてノイズの低減及び画像を先鋭化に係る処理を行い、ノイズが低減し先鋭化した画像を示す輝度信号Ｚを生成する。画像処理部２０は、スケーリング部１３から入力された輝度信号Ｙを、生成した輝度信号Ｚに更新し、色差信号Ｃｂ、Ｃｒと同期をとる。画像処理部２０は、輝度信号Ｚ及び色差信号Ｃｂ、Ｃｒを含んだ画像信号を画像形式変換部１４に出力する。画像処理部２０の構成については後述する。

　画像形式変換部１４は、画像処理部２０から入力された画像信号の形式を変換する。画像形式変換部１４は、入力された画像信号がインターレース（ｉｎｔｅｒｌａｃｅ）信号である場合、その画像信号をプログレッシブ（ｐｒｏｇｒｅｓｓｉｖｅ）信号に形式を変換する。インターレース信号とは、画素に対する水平方向への走査を１列おきに行って構成された信号であって、走査対象の列がフレーム毎に異なる信号である。プログレッシブ信号とは、画素に対する水平方向への走査を列毎に行って構成された信号である。画像形式変換部１４は、入力された画像信号又は形式を変換した画像信号を表示部１５に応じた表色系で表された画像信号（例えば、ＲＧＢ信号、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の信号値を含む画像信号）に変換し、変換した画像信号を表示部１５に出力する。

　表示部１５は、画像形式変換部１４から入力された画像信号が表す画像を表示する。表示部１５は、例えばフルハイビジョン（フルＨＤ（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）とも呼ばれる）方式、つまり解像度が水平方向１９２０画素、垂直方向１０８０画素の液晶ディスプレイである。表示部１５は、赤、緑、青の各色の画素素子が２次元に配列されている。これにより表示部１５は、入力された画像信号が表す画素毎の信号値に応じた輝度で、それぞれの画素素子を通じ、例えばバックライト光を放射してカラー画像を表示する。

（画像処理部２０の構成）
　次に、画像処理部２０の構成について説明する。
　図２は、本実施形態に係る画像処理部２０の構成を表す概略図である。
　画像処理部２０は、輪郭方向推定部２１、低域フィルタ部２０ａ、パラメータ決定部２０ｂ、及び高周波拡張部２７を含んで構成される。
　輪郭方向推定部２１は、画素毎の信号値（輝度値）に基づいて輪郭方向を画素毎に推定する。低域フィルタ部２０ａは、輪郭方向推定部２１が推定した各画素の輪郭方向に配列された参照画素であって、各画素から予め定めた参照領域内における参照画素毎の信号値を用いて各画素の信号値をフィルタリングする。
　高周波拡張部２７は、低域フィルタ部２０ａがフィルタリングした各画素の信号値の高周波成分を生成して画素毎の信号値の周波数帯域を拡張する。

　パラメータ決定部２０ｂは、信号Ｓｓに基づいてパラメータＰｍ及びパラメータＰｎを決定する。パラメータ決定部２０ｂは、パラメータＰｍを低域フィルタ部２０ａに出力し、パラメータＰｎを高周波拡張部２７に出力する。
　パラメータＰｍは、低域フィルタ部２０ａによる処理の効果をどの程度反映させるかを決定するパラメータである。パラメータＰｍは、例えば、０≦Ｐｍ≦１の値をとる。Ｐｍの値が１に近いほど低域フィルタ部２０ａによる処理の効果は強くなり、Ｐｍ＝０の場合には低域フィルタ部２０ａによる処理の効果は反映されない。
　パラメータＰｎは、高周波拡張部２７による処理の効果をどの程度反映させるかを決定するパラメータである。パラメータＰｎは、例えば、０≦Ｐｎ≦１の値をとる。Ｐｎの値が１に近いほど高周波拡張部２７による処理の効果は強くなり、Ｐｎ＝０の場合には高周波拡張部２７による処理の効果は反映されない。
　パラメータ決定部２０ｂは、スケーリングにおける拡大率が大きいほど、パラメータＰｍ及びパラメータＰｎとして１に近い値を決定する。即ち、拡大率が大きい場合には、低域フィルタ部２０ａ及び高周波拡張部２７による処理の効果が強く反映され、拡大率が小さい場合には、低域フィルタ部２０ａ及び高周波拡張部２７による処理の効果があまり反映されないように、パラメータＰｍ及びパラメータＰｎを決定する。ただし、拡大率が１の場合（補間等を行わない場合）であっても、細かいノイズを消しエンハンスをするために、パラメータＰｍ及びパラメータＰｎとして０よりも大きい値を決定することが好ましい。
　本実施形態では、パラメータ決定部２０ｂは、入力部１１からパラメータ決定部２０ｂに入力された信号Ｓｓに基づいて、パラメータＰｍ及びＰｎを決定する。より具体的には、パラメータ決定部２０ｂは、図示しないメモリを備える。メモリにはあらかじめ設定された、信号Ｓｓに応じたパラメータＰｍの値及び信号Ｓｓに応じたパラメータＰｎの値のテーブルが格納されている。パラメータ決定部２０ｂは、このテーブルを参照して、パラメータＰｍ及びパラメータＰｎを決定する。
　入力端子（端子）と入力解像度、並びに低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さ（処理強さ）の関係の一例を表１に示す。

　コンポジット端子、及びアンテナ（アナログ）端子からの入力信号の解像度は、水平方向７２０画素、垂直方向４８０画素のＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）である。なお、アンテナ端子からの入力信号は、チューナーでアナログかディジタルかを判別することができる。表示部１５の解像度がＨＤの場合、拡大率は２．６７又は２．２５となる。パラメータ決定部２０ｂは、ＳＤからＨＤへのスケーリング（アップスケーリング）に伴うジャギー等のノイズを減少させるため、低域フィルタ部２０ａ及び高周波拡張部２７による処理を強くするようにパラメータを決定する。具体的には、パタメータ決定部２０ｂのメモリに格納されたテーブルには、コンポジット端子、及びアンテナ（アナログ）端子に対するパラメータＰｍ及びＰｎの値として、１に近い所定値（例えば０．９）が設定されている。

　アンテナ（ディジタル）端子からの入力信号の解像度は、ＨＤである。表示部１５の解像度がＨＤの場合、拡大率は１となる。拡大率が１の場合、又は拡大率が１に近い場合、アップスケールによって発生するノイズは少ない。このような画像に対して、低域フィルタ部２０ａ及び高周波拡張部２７による処理の効果を強く反映させると、かえってアーティファクトを発生させる原因となる。そのため、パラメータ決定部２０ｂは、低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さを弱くするようにパラメータを決定する。具体的には、例えば、パタメータ決定部２０ｂのメモリに格納されたテーブルには、コンポジット端子、及びアンテナ（アナログ）端子に対するパラメータＰｍ及びＰｎの値として、１に近い所定値（例えば０．９）が設定されている。

　ＨＤＭＩ端子からの入力信号は、ＳＤ～ＨＤまでの幅広い解像度を取り得る。上述のように、低域フィルタ部２０ａ及び高周波拡張部２７による処理は、アップスケールに伴うノイズの除去に有効である一方で、拡大率が１の場合又は１に近い場合はアーティファクトを発生させる原因となる。ノイズが残るよりも、アーティファクトを発生させることの方が好ましくないため、表１の例では、パラメータ決定部２０ｂは、低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さが弱くなるようにパラメータを決定している。

　パラメータ決定部２０ｂは、例えば所望の画像処理効果を得ること等を目的として、パラメータＰｍとパラメータＰｎとを、それぞれ異なる値に決定するように構成されていても良い。例えば、精細感を強めに感じさせるような画像にするために、パラメータ決定部２０ｂのメモリに格納するテーブルにおいて、パラメータＰｍをパラメータＰｎよりも小さい値に設定しても良い。

　低域フィルタ部２０ａは、方向評価部２２、参照領域荷重処理部２３、前処理部２４、積和演算部２５及び合成演算部２６を含んで構成される。

　輪郭方向推定部２１は、スケーリング部１３から入力された輝度信号Ｙが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、本発明で改善対象とする輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、信号値が画素毎の座標を表す空間において微分可能（即ち、連続）であると仮定する。輪郭方向推定部２１は、画素毎に信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば式（１）に基づいて輪郭方向θを算出する。

　式（１）において、輪郭方向θは、水平方向（ｘ方向）を基準とした左回りの角度である。ｘ、ｙは、それぞれ水平方向、垂直方向の座標である。Ｙ（ｘ，ｙ）は、座標（ｘ，ｙ）における信号値である。即ち、輪郭方向θは、信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分を、信号値Ｙ（ｘ，ｙ）のｙ方向への偏微分で除算した正接値を与える角度として算出される。式（１）は、座標（ｘ，ｙ）が異なっても信号値Ｙ（ｘ，ｙ）が一定という関係から導き出すことができる。ここで、Ｇ_ｘ（ｘ，ｙ）、Ｇ_ｙ（ｘ，ｙ）は、それぞれ信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分、ｙ方向への偏微分を表す。以下の説明では、Ｇ_ｘ（ｘ，ｙ）、Ｇ_ｙ（ｘ，ｙ）を、それぞれｘ方向偏微分、ｙ方向偏微分と呼ぶことがある。以下の説明では特に断らない限り、画素（ｉ，ｊ）の位置（座標）は、その画素の重心点を指す。また、その画素の位置における変数ａを、ａ（ｉ，ｊ）等と表す。

　輪郭方向推定部２１は、例えば、それぞれ式（２）、（３）を用いて各画素（ｉ，ｊ）における信号値Ｙ（ｉ，ｊ）のｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）を算出する。

　式（２）、（３）において、ｉ、ｊは、それぞれ注目画素のｘ方向、ｙ方向のインデックスを示す整数値である。注目画素とは、直接の処理対象として注目される画素である。Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）は、それぞれｘ方向、ｙ方向の差分フィルタのフィルタ係数を示す。ｕ、ｖは、それぞれ、参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。参照画素とは、注目画素を基準にして、予め定められた規則により決まる範囲内にある画素であって、注目画素に対する処理を行う際に参照される画素である。参照画素は、注目画素を含む。ｕ’、ｖ’は、それぞれ、注目画素を原点としたときの参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。従って、ｕ＝ｉ＋ｕ’、ｖ＝ｊ＋ｖ’である。

　前述の差分フィルタは、例えば、ｘ方向に２ｎ＋１個、ｙ方向に２ｎ＋１個（計（２ｎ＋１）（２ｎ＋１）個）の参照画素の各々ｕ’，ｖ’に対してフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）を有する。以下の説明では、このフィルタ係数が与えられる参照画素が属する領域を参照領域と呼ぶことがある。ｎは、１よりも大きい整数値（例えば、２）である。ここで、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）は、注目画素を基準として正方向の参照画素に対して１、注目画素と同一の差分方向（ｘ方向）の座標値を有する参照画素に対して０、注目画素を基準として負方向の参照画素に対して－１である。即ち、ｘ方向の差分フィルタのフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）は、１（０＜ｕ’≦ｎ）、０（ｕ’＝０）、－１（０＞ｕ’≧－ｎ）である。ｙ方向の差分フィルタのフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）は、１（０＜ｖ’≦ｎ）、０（ｖ’＝０）、－１（０＞ｖ’≧－ｎ）である。また、ｎは、画像の拡大率と等しいか、その拡大率よりも大きい整数値である。これにより、注目画素に対して正方向、負方向各々に対して、信号値が平滑化されるため解像度の変化によって発生するノイズを低減することができる。但し、ｎが大きくとり注目画素から離れた参照画素を考慮すると、本来、局所的な値である偏微分値が正しく算出されないことがある。従って、ｎを、予め定めた最大値よりも小さい値、例えば、拡大率と等しい整数値もしくは拡大率の小数点以下の桁を切り上げた整数値、又はこれらの整数値の何れかよりも予め定めた値だけ大きい値と定めておく。

　輪郭方向推定部２１は、算出したｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）に基づいて算出した輪郭方向θ（ｉ，ｊ）を量子化し、量子化した輪郭方向を表す量子化輪郭方向Ｄ（ｉ，ｊ）を算出する。輪郭方向推定部２１は、量子化輪郭方向Ｄ（ｉ，ｊ）を算出する際、例えば、式（４）を用いる。

　式（４）において、ｒｏｕｎｄ（…）は、実数…の小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ｎ_ｄは、量子化された輪郭方向の数（量子化輪郭方向数）を表す定数である。量子化輪郭方向数Ｎ_ｄは、例えば、８から３２の間のいずれかの値である。なお、ゼロ除算を回避するために、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の絶対値｜Ｇ_ｘ（ｉ，ｊ）｜が予め定めた微小な実数値（例えば、１０^－６）よりも小さい場合には、ｔａｎ^－１をπ/２とする。
　つまり、量子化輪郭方向Ｄ（ｉ，ｊ）は、輪郭方向θを、量子化間隔をπ/Ｎ_ｄで除算した値を丸め、０からＮ_ｄ－１までのいずれかの整数で表される。これにより、輪郭方向θの自由度を制約して、後述する処理の負荷を低減する。
　輪郭方向推定部２１は、算出した量子化輪郭方向Ｄ（ｉ，ｊ）を表す量子化輪郭方向情報を方向評価部２２及び参照領域荷重処理部２３に出力する。

　方向評価部２２は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。ここで、方向評価部２２は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）の量子化輪郭方向Ｄ（ｕ，ｖ）との差が小さいほど、方向評価値が大きくなるように当該参照画素の方向評価値を定める。例えば、方向評価部２２は、例えば、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）の差分値Ｄ＝Ｄ（ｕ，ｖ）－Ｄ（ｉ，ｊ）を算出する。ここで差分値Ｄが０、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しいとき、方向評価値Ｆ（｜ΔＤ｜）を最大値１と定める。差分値Ｄが０ではない場合、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しくない場合に、方向評価値Ｆ（｜ΔＤ｜）を最小値０と定める。
　方向評価部２２は、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）が参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）に近似するほど、つまり差分値Ｄの絶対値｜ΔＤ｜が小さいほど、大きくなるように方向評価値Ｆ（ΔＤ）を定めてもよい。例えば、方向評価部２２は、Ｆ（０）＝１、Ｆ（１）＝０．７５、Ｆ（２）＝０．５、Ｆ（３）＝０．２５、Ｆ（｜ΔＤ｜）＝０（｜ΔＤ｜＞３）とする。

　量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎ_ｄ/２よりも大きく、他方がＮ_ｄ/２よりも小さい場合、それぞれが示す輪郭方向が近似するにも関わらず、絶対値｜ΔＤ｜が大きくなるために、誤った方向評価値Ｆ（ΔＤ）が算出されることがある。例えば、Ｄ（ｉ，ｊ）＝７、Ｄ（ｕ，ｖ）＝０の場合、｜ΔＤ｜＝７となる。しかし、量子化輪郭方向の差分はπ/８であり、本来は｜ΔＤ｜＝１と定められるべきである。そこで、方向評価部２２は、量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎ_ｄ/２よりも大きい場合、他方の量子化輪郭方向の値にＮ_ｄを加算して補正値を算出する。方向評価部２２は、算出した補正値と一方の量子化輪郭方向との差分値に対する絶対値を算出する。このようにして算出した絶対値を、上述の｜ΔＤ｜として用いることで意図した方向評価値を定める。
　後述する積和演算部２５において、上述の方向評価値Ｆ（｜ΔＤ｜）を用いることにより、注目画素（ｉ，ｊ）における輪郭方向とは、輪郭方向が異なる参照画素（ｕ，ｖ）による影響を無視又は軽視することができる。

　方向評価部２２においても、参照画素（ｕ，ｖ）が属する参照領域の大きさ、つまり水平方向もしくは垂直方向の画素数は、２ｎ＋１個又はこの個数よりも多ければよい。なお、方向評価部２２における参照領域の大きさは、輪郭方向推定部２１における参照領域の大きさと異なっていてもよい。例えば、方向評価部２２における参照領域の水平方向及び垂直方向の画素数は、それぞれ７であるのに対し、輪郭方向推定部２１における参照領域の水平方向及び垂直方向の画素数は、それぞれ５であってもよい。
　方向評価部２２は、注目画素（ｉ，ｊ）毎に各参照画素（ｕ，ｖ）の方向評価値Ｆ（ΔＤ）を表す方向評価値情報を積和演算部２５に出力する。方向評価値Ｆ（ΔＤ）の数値例については、後述する。

　参照領域荷重処理部２３は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、注目画素（ｉ，ｊ）毎に参照領域荷重情報を定める。参照領域荷重情報とは、ある注目画素（ｉ，ｊ）を中心とする参照領域に属する参照画素（ｕ’，ｖ’）毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す情報である。この重み係数を参照領域荷重と呼ぶことがある。参照領域荷重処理部２３における参照領域の大きさは、方向評価部２２における参照領域の大きさと等しくなるように予め定めておく。
　参照領域荷重処理部２３は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）から予め定めた範囲の方向にある参照画素の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を、その範囲外の方向にある参照画素の重み係数よりも大きい値に定める。参照領域荷重処理部２３は、例えば、注目画素（ｉ，ｊ）から量子化輪郭方向又はその方向に近似する方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定め、それ以外の方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を０と定める。注目画素から量子化輪郭方向又はその方向に近似する方向にある参照画素とは、具体的には注目画素（ｉ，ｊ）の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素（ｕ’，ｖ’）である。また、参照領域荷重処理部２３は、この線分がその領域を通過する距離が長い参照画素（ｕ’，ｖ’）ほど、大きくなるように重み係数を定めるようにしてもよい。

　なお、各量子化輪郭方向に対する各参照画素の重み係数を予め算出しておいてもよい。参照領域荷重処理部２３は、算出しておいた各参照画素の重み係数を表す参照領域荷重情報を量子化輪郭方向情報と対応付けて予め記憶した記憶部を備える。参照領域荷重処理部２３は、入力された量子化輪郭方向情報が表す量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。
　参照領域荷重処理部２３は、注目画素（ｉ，ｊ）毎に定めた参照領域荷重情報を積和演算部２５に出力する。参照領域荷重の数値例については、後述する。

　前処理部２４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部２４は、注目画素（ｉ，ｊ）毎に抽出した輝度信号Ｙを積和演算部２５に出力する。なお、前処理部２４における参照領域の大きさは、方向評価部２２及び参照領域荷重処理部２３における参照領域の大きさと等しくなるように予め定めておく。

　積和演算部２５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部２４から輝度信号がそれぞれ入力される。
　積和演算部２５は、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び輝度信号が表す信号値Ｙ（ｕ，ｖ）に基づいて、例えば式（５）を用いて、積和値Ｓ（ｉ，ｊ）を算出する。

　式（５）は、方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び輝度信号が表す信号値Ｙ（ｕ，ｖ）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を、積和値Ｓ（ｉ，ｊ）として算出することを表す。
　つまり、式（５）は、積和値Ｓ（ｉ，ｊ）を、方向評価値Ｆ（｜ΔＤ｜）と参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）との積を重み係数として、信号値Ｙ（ｕ，ｖ）を重み付け加算して算出するとみることもできる。方向評価値Ｆ（｜ΔＤ｜）と参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）との積を、方向評価領域荷重と呼ぶことがある。
　積和演算部２５は、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）及び参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に基づいて、例えば式（６）を用いて、荷重面積Ｃ（ｉ，ｊ）を算出する。

　式（６）は、方向評価値Ｆ（｜ΔＤ｜）及び参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を、荷重面積Ｃ（ｉ，ｊ）として算出することを表す。つまり、荷重面積Ｃ（ｉ，ｊ）は、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を参照画素毎に方向評価値Ｆ（｜ΔＤ｜）で重み付けされた値、即ち式（５）の積和演算において実質的に参照される参照画素の数を表す。言い換えれば、式（６）は、荷重面積Ｃ（ｉ，ｊ）を、上述の方向評価領域荷重を参照領域内で総和をとって算出することを示す。また、積和演算部２５は、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）の参照領域に属する参照画素間の総和を参照面積Ｎ（ｉ，ｊ）として算出する。参照面積Ｎ（ｉ，ｊ）は、式（５）の積和演算において名目的に参照される参照画素の数を表す。
　積和演算部２５は、注目画素（ｉ，ｊ）毎に算出した積和値Ｓ（ｉ，ｊ）を表す積和値情報、荷重面積Ｃ（ｉ，ｊ）を表す荷重面積情報、参照面積Ｎ（ｉ，ｊ）を表す参照面積情報を合成演算部２６に出力する。

　合成演算部２６は、積和演算部２５から積和値情報、荷重面積情報及び参照面積情報が入力される。また、合成演算部２６は、パラメータ決定部２０ｂからパラメータＰｍが入力される。合成演算部２６は、積和値情報が表す積和値Ｓ（ｉ，ｊ）を荷重面積情報が表す荷重面積Ｃ（ｉ，ｊ）で除算して方向平滑化値Ｙ’（ｉ，ｊ）を算出する。即ち、算出された方向平滑化値Ｙ’（ｉ，ｊ）は、注目画素（ｉ，ｊ）における量子化輪郭方向又はその方向を近似する方向にある参照画素であって、その輪郭方向が注目画素の輪郭方向と等しいか近似する参照画素間で平滑化された信号値を表す。
　合成演算部２６は、荷重面積Ｃ（ｉ，ｊ）を参照面積情報が表す参照面積Ｎ（ｉ，ｊ）で除算して混合比ｗ（ｉ，ｊ）を算出する。混合比ｗ（ｉ，ｊ）は、注目画素（ｉ，ｊ）における量子化輪郭方向又はその方向を近似する方向にある参照画素のうち、その輪郭方向が注目画素の輪郭方向と等しいか近似する参照画素の個数比を表す。
　合成演算部２６は、方向平滑化値Ｙ’（ｉ，ｊ）とスケーリング部１３から入力された輝度信号が表す信号値Ｙ（ｉ，ｊ）を、それぞれｗ（ｉ，ｊ）Ｐｍ、（１－ｗ（ｉ，ｊ）Ｐｍ）で重み付け加算（合成演算）を行って、低域通過信号値Ｙ’’（ｉ，ｊ）を算出する。この重み付け加算は、式（７）で表される。

　パラメータＰｍは、既述のように、低域フィルタ部２０ａによる処理の効果をどの程度反映させるかを決定するパラメータである。例えば、Ｐｍ＝０の場合、式（７）は、Ｙ’’（ｉ，ｊ）＝Ｙ（ｉ，ｊ）となり、低域フィルタ部２０ａによる処理の効果は反映されない。一方、Ｐｍ＝１の場合、Ｙ’’（ｉ，ｊ）＝ｗ（ｉ，ｊ）Ｙ’（ｉ，ｊ）＋（１－ｗ（ｉ，ｊ））Ｙ（ｉ，ｊ）となり、低域フィルタ部２０ａによる処理の効果が最も強く反映される。

　合成演算部２６は、算出した低域通過信号値Ｙ’’（ｉ，ｊ）を表す輝度信号Ｙ’’を生成する。合成演算部２６は、生成した輝度信号Ｙ’’を高周波拡張部２７に出力する。

　次に、高周波拡張部２７の構成について説明する。
　図３は、本実施形態に係る高周波拡張部２７の構成を示す概念図である。
　高周波拡張部２７は、ｋ個（ｋは、１又は１よりも大きい整数）の非線形フィルタ部２８－１～２８－ｋと合成演算部２９を含んで構成される。

　非線形フィルタ部２８－１～２８－ｋは、それぞれ合成演算部２６から入力された輝度信号Ｙ’’が表す各画素の低域通過信号値Ｙ’’（ｉ，ｊ）について高周波成分値を算出し、算出した高周波成分値ＮＬ_１～ＮＬ_ｋを合成演算部２９に出力する。
　ここで、非線形フィルタ部２８－１～２８－ｋは、それぞれ線形フィルタ部２８１－１～２８１－ｋ及び非線形演算部２８２－１～２８２－ｋを備える。
　線形フィルタ部２８１－１～２８１－ｋは、それぞれ所定の方向を向いている線画（例えば、輪郭）を表す成分を抽出する。線形フィルタ部２８１－１～２８１－ｋは、それぞれ抽出した成分を表す方向成分信号を非線形演算部２８２－１～２８２－ｋに出力する。線形フィルタ部２８１－１～２８１－ｋが抽出する成分の具体例については後述する。

　非線形演算部２８２－１～２８２－ｋは、線形フィルタ部２８１－１～２８１－ｋからそれぞれ入力された方向成分信号が表す信号値に対して非線形演算を行って非線形出力値を算出する。非線形演算部２８２－１～２８２－ｋは、算出した非線形出力値が表す方向成分信号を生成し、生成した方向成分信号をそれぞれ合成演算部２９に出力する。
　非線形演算部２８２－１～２８２－ｋが行う非線形演算は、例えば、入力信号値Ｗの高次の関数ｆ（Ｗ）である。ｆ（Ｗ）は、例えば、ｓｇｎ（Ｗ）｜Ｗ｜^２、Ｗ^３、ｓｇｎ（Ｗ）｜Ｗ｜^４、Ｗ^５…、又はこれらの線形結合である。ｓｇｎ（…）は、実数…の符号関数を示す。つまり、ｓｇｎ（…）は、…が０よりも大きい場合、１を与え、…が０よりも小さい場合、－１を与え、…が０の場合、０を与える関数である。これらの関数は、奇関数であるため、出力値は奇数次高調波成分を含む。

　合成演算部２９は、非線形フィルタ部２８－１～２８－ｋから、高周波成分値ＮＬ_１～ＮＬ_ｋが入力される。また、合成演算部２９は、パラメータ決定部２０ｂからパラメータＰｎが入力される。合成演算部は、高周波成分値ＮＬ_１～ＮＬ_ｋとパラメータＰｎの積を加算（合成）し、更に各画素の低域通過信号値Ｙ’’（ｉ，ｊ）を加算（合成）して高周波拡張信号値Ｚ（ｉ，ｊ）を算出する。合成演算部２９は、算出した高周波拡張信号値Ｚ（ｉ，ｊ）を表す輝度信号Ｚを生成する。この加算は、式（８）で表される。

　パラメータＰｎは、既述のように、高周波拡張部２７による処理の効果をどの程度反映させるかを決定するパラメータである。例えば、Ｐｎ＝０の場合、式（８）は、Ｚ（ｉ，ｊ）＝Ｙ’’（ｉ，ｊ）となり、高周波拡張部２７による処理の効果は反映されない。一方、Ｐｎ＝１の場合、Ｚ（ｉ，ｊ）＝Ｙ’’（ｉ，ｊ）＋ΣＮＬ_ｋとなり、高周波拡張部２７による処理の効果が最も強く反映される。

　次に高周波拡張部２７の一構成例について説明する。
　図４は、本実施形態に係る高周波拡張部２７の一構成例を表す概略図である。
　本構成例に係る高周波拡張部２７は、垂直方向及び水平方向の線画を表す成分の高調波成分を生成する。高周波拡張部２７は、２個の非線形フィルタ部２８－ｖ、２８－ｈ及び合成演算部２９を含んで構成される。即ち、非線形フィルタ部２８－ｖ、２８－ｈは、非線形フィルタ部２８－１、２８－２（図３）の一例である。
　非線形フィルタ部２８－ｖは、合成演算部２６から入力された輝度信号Ｙ’’に基づいて垂直方向の線画を表す方向成分信号を生成する。非線形フィルタ部２８－ｖは、垂直高域通過フィルタ部２８１－ｖ及び非線形演算部２８２－ｖを含んで構成される。
　垂直高域通過フィルタ部２８１－ｖ及び水平高域通過フィルタ部２８１－ｈは、上述の線形フィルタ部２８１－１等の一態様である。垂直高域通過フィルタ部２８１－ｖは、垂直方向を向いている線画を表す成分を抽出し、抽出した成分を表す垂直方向成分信号Ｗｖを非線形演算部２８２－ｖに出力する。水平高域通過フィルタ部２８１－ｈは、水平方向を向いている線画を表す成分を抽出し、抽出した成分を表す水平方向成分信号Ｗｈを非線形演算部２８２－ｈに出力する。
　非線形演算部２８２－ｖ、２８２－ｈは、上述の非線形演算部２８２－１等の一態様である。非線形演算部２８２－ｖ、２８２－ｈは、垂直高域通過フィルタ部２８１－ｖ、水平高域通過フィルタ部２８１－ｈから入力された方向成分信号Ｗ_ｖ、Ｗ_ｈが表す信号値にそれぞれ上述の非線形演算を行う。非線形演算部２８２－ｖ、２８２－ｈは、それぞれ算出した非線形出力値が表す垂直方向高周波成分値ＮＬ_ｖ、水平方向高周波成分値ＮＬ_ｈを生成し、生成した垂直方向高周波成分値ＮＬ_ｖ、水平方向高周波成分値ＮＬ_ｈを合成演算部２９に出力する。合成演算部２９の構成は、上述の合成演算部２９の構成と同様である。

　次に垂直高域通過フィルタ部２８１－ｖの構成について説明する。
　図５は、本実施形態に係る垂直高域通過フィルタ部２８１－ｖの構成を表す概略図である。
　垂直高域通過フィルタ部２８１－ｖは、遅延メモリ２８１１－ｖ、フィルタ係数メモリ２８１２－ｖ、乗算部２８１３－ｖ及び合成演算部２８１４－ｖを含んで構成される。
　遅延メモリ２８１１－ｖは、入力された輝度信号Ｙ’’に基づく低域通過信号値を、Ｗ_ｘ、２・Ｗ_ｘ、…、（２ｎ＋１）・Ｗ_ｘサンプル遅延させた遅延信号を、それぞれ乗算部２８１３－ｖに出力する。Ｗ_ｘは、１フレームの画像に含まれる水平方向の画素数である。従って、注目画素を中心に互いに垂直方向に隣接する２ｎ＋１画素の信号値が乗算部２８１３－ｖに出力される。

　ここで、遅延メモリ２８１１－ｖは、入力信号をＷ_ｘサンプル遅延させる遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１を２ｎ＋１個備える。遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１は、それぞれ直列に接続されている。遅延素子２８１１－ｖ－１の一端に、輝度信号Ｙ’’が入力され、遅延素子２８１１－ｖ－１の他端は、Ｗ_ｘサンプル遅延させた遅延信号が乗算部２８１３－ｖと、遅延素子２８１１－ｖ－２の一端に出力する。遅延素子２８１１－ｖ－２～２８１１－ｖ－２ｎ＋１の一端は、遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎの他端からそれぞれ、Ｗ_ｘ～２ｎ・Ｗ_ｘサンプル遅延した遅延信号が入力される。遅延素子２８１１－ｖ－２～２８１１－ｖ－２ｎの他端は、２・Ｗ_ｘ～２ｎ・Ｗ_ｘサンプル遅延した遅延信号を、それぞれ乗算部２８１３－ｖ及び遅延素子２８１１－ｖ－３～２８１１－ｖ－２ｎ＋１の一端に出力する。遅延素子２８１１－ｖ－２ｎ＋１の他端は、（２ｎ＋１）・Ｗ_ｘサンプル遅延した遅延信号を、それぞれ乗算部２８１３－ｖに出力する。

　フィルタ係数メモリ２８１２－ｖは、２ｎ＋１個の記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１を備える。記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１には、それぞれフィルタ係数ａ_Ｌ＋ｎ～ａ_Ｌ－ｎが記憶されている。
　乗算部２８１３－ｖは、２ｎ＋１個の乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１を備える。乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１は、遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１から入力された信号値と記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１に記憶されたフィルタ係数ａ_Ｌ＋ｎ～ａ_Ｌ－ｎをそれぞれ乗算する。乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１は、乗算して得られた乗算値を、それぞれ合成演算部２８１４－ｖに出力する。
　合成演算部２８１４－ｖは、乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１からそれぞれ入力された乗算値を加算して合成値を算出する。算出された合成値は、注目画素を中心に互いに垂直方向に隣接する２ｎ＋１画素の信号値に、それぞれフィルタ係数ａ_Ｌ＋ｎ～ａ_Ｌ－ｎを積和演算した値である。合成演算部２８１４－ｖは、算出した合成値を表す垂直方向成分信号Ｗｖを非線形演算部２８２－ｖに出力する。

　次に水平高域通過フィルタ部２８１－ｈの構成について説明する。
　図６は、本実施形態に係る水平高域通過フィルタ部２８１－ｈの構成を表す概略図である。
　水平高域通過フィルタ部２８１－ｈは、遅延メモリ２８１１－ｈ、フィルタ係数メモリ２８１２－ｈ、乗算部２８１３－ｈ及び合成演算部２８１４－ｈを含んで構成される。
　遅延メモリ２８１１－ｈ、フィルタ係数メモリ２８１２－ｈ、乗算部２８１３－ｈ及び合成演算部２８１４－ｈの構成は、上述の遅延メモリ２８１１－ｖ、フィルタ係数メモリ２８１２－ｖ、乗算部２８１３－ｖ及び合成演算部２８１４－ｖと同様である。
　但し、遅延メモリ２８１１－ｈは、入力信号をそれぞれＷｘサンプル遅延させる遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１の代わりに、入力信号をそれぞれ１サンプル遅延させる遅延素子２８１１－ｈ－１～２８１１－ｈ－２ｎ＋１を２ｎ＋１個備える。
　フィルタ係数メモリ２８１２－ｈは、記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１の代わりに、記憶素子２８１２－ｈ－１～２８１２－ｈ－２ｎ＋１を備える。記憶素子２８１２－ｈ－１～２８１２－ｈ－２ｎ＋１には、それぞれフィルタ係数ａ_Ｄ＋ｎ～ａ_Ｄ－ｎが記憶されている。
　従って、合成演算部２８１４－ｈは、注目画素を中心に互いに水平方向に隣接する２ｎ＋１画素の信号値に、それぞれフィルタ係数ａ_Ｄ＋ｎ～ａ_Ｄ－ｎを積和演算した値を算する。合成演算部２８１４－ｈは、算出した合成値を表す水平方向成分信号Ｗ_ｈを非線形演算部２８２－ｈに出力する。

　フィルタ係数ａ_Ｌ－ｎ、ａ_{Ｌ－ｎ＋１}、～ａ_Ｌ＋ｎは、信号値との積和演算によって高域通過フィルタを実現する高域通過フィルタ係数である。なお、フィルタ係数ａ_Ｌ＋ｎ～ａ_Ｌ－ｎの合計値、フィルタ係数ａ_Ｄ＋ｎ～ａ_Ｄ－ｎの合計値は、それぞれ０、即ち直流成分の伝達関数は０である。これにより、算出した合成値に直流成分が含まれないようにする。また、フィルタ係数ａ_Ｌ＋ｎ～ａ_Ｌ－ｎは、拡大を行う前の輝度信号のナイキスト周波数ｆ_ｎｙｑ’よりも予め定めた周波数ｆだけ低い空間周波数よりも高い周波数成分を通過する特性（高域通過特性）を有する。拡大を行う前の輝度信号のナイキスト周波数ｆ_ｎｙｑ’は、処理対象の輝度信号のサンプリング周波数周波数ｆ_ｓを２ｎ（ｎは、拡大率）で除算した周波数である。 例えば、フィルタ係数ａ_Ｌ＋３、ａ_Ｌ＋２、ａ_Ｌ＋１、ａ_Ｌ、ａ_Ｌ－１、ａ_Ｌ－２、ａ_Ｌ－３は、それぞれ、－０．０６３７、０．０、０．５７３２、－０．０１８９、０．５７３２、０．００００、－０．０６３７である。また、フィルタ係数ａ_Ｄ＋３、ａ_Ｄ＋２、ａ_Ｄ＋１、ａ_Ｄ、ａ_Ｄ－１、ａ_Ｄ－２、ａ_Ｄ－３は、フィルタ係数ａ_Ｌ＋３、ａ_Ｌ＋２、ａ_Ｌ＋１、ａ_Ｌ、ａ_Ｌ－１、ａ_Ｌ－２、ａ_Ｌ－３とそれぞれ同様の高域通過特性を有する値であってもよい。

　次に、非線形演算部２８２－１等の一構成例（非線形演算部２８２－Ａ）について説明する。
　図７は、本実施形態に係る非線形演算部２８２－Ａの構成を表す概略図である。非線形演算部２８２－Ａは、絶対値算出部２８２１－Ａ、べき乗演算部２８２２－Ａ、フィルタ係数メモリ２８２３－Ａ、乗算部２８２４－Ａ、合成演算部２８２５－Ａ、符号検出部２８２６－Ａ及び乗算部２８２７－Ａを含んで構成される。
　非線形演算部２８２－Ａは、入力された信号値Ｗに対するｌ（エル）次（ｌは、１よりも大きい整数である）の奇関数ｓｇｎ｜Ｗ｜・（ｃ_１・｜Ｗ｜＋ｃ_２・｜Ｗ｜^２＋…＋ｃ_ｌ・｜Ｗ｜^ｌ）を非線形出力値ＮＬ_Ａとして出力する。ｃ_１、ｃ_２、…ｃ_ｌは、それぞれ１、２、…ｌ次の係数である。

　絶対値算出部２８２１－Ａは、線形フィルタ部２８１－１等からそれぞれ入力された方向成分信号が示す信号値Ｗの絶対値｜Ｗ｜を算出し、算出した絶対値｜Ｗ｜をべき乗演算部２８２２－Ａに出力する。
　べき乗演算部２８２２－Ａは、ｌ－１個の乗算器２８２２－Ａ－２～２８２２－Ａ－ｌを備え、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算部２８２４－Ａに出力する。乗算器２８２２－Ａ－２は、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜同士を乗算して絶対二乗値｜Ｗ｜^２を算出する。乗算器２８２２－Ａ－２は、算出した絶対二乗値｜Ｗ｜^２を乗算器２８２２－Ａ－３及び乗算部２８２４－Ａに出力する。乗算器２８２２－Ａ－３～２８２２－Ａ－ｌ－１は、乗算器２８２２－Ａ－２～２８２２－Ａ－ｌ－２から入力された絶対二乗値｜Ｗ｜^２～絶対ｌ－２乗値｜Ｗ｜^ｌ－２に、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算して絶対三乗値｜Ｗ｜３～絶対ｌ－１乗値｜Ｗ｜^ｌ－１をそれぞれ算出する。乗算器２８２２－Ａ－３～２８２２－Ａｌ－１は、算出した絶対三乗値｜Ｗ｜^３～絶対ｌ－１乗値｜Ｗ｜^ｌ－１をそれぞれ乗算器２８２２－Ａ－４～２８２２－Ａ－ｌ及び乗算部２８２４－Ａに出力する。乗算器２８２２－Ａ－ｌは、乗算器２８２２－Ａ－ｌ－１から入力された絶対ｌ－１乗値｜Ｗ｜^ｌ－１と絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算して絶対ｌ乗値｜Ｗ｜^ｌを算出する。乗算器２８２２－Ａ－ｌは、算出した絶対ｌ乗値｜Ｗ｜^ｌを乗算部２８２４－Ａに出力する。

　フィルタ係数メモリ２８２３－Ａは、ｌ個の記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌを備える。記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌには、それぞれ１～ｌ次の係数ｃ_１～ｃ_ｌが記憶されている。
　乗算部２８２４－Ａは、ｌ個の乗算器２８２４－Ａ－１～２８２４－Ａ－ｌを備える。乗算器２８２４－Ａ－１～２８２４－Ａ－ｌは、それぞれべき乗演算部２８２２－Ａから入力された絶対値｜Ｗ｜～絶対ｌ乗値｜Ｗ｜^ｌに、記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌに記憶された１～ｌ次の係数ｃ_１～ｃ_ｌを乗算して乗算値を算出する。乗算器２８２４－Ａ－１～２８２４－Ａ－ｌは、算出した乗算値をそれぞれ合成演算部２８２５－Ａに出力する。
　合成演算部２８２５－Ａは、乗算器２８２４－Ａ－１～２８２４－Ａ－ｌからそれぞれ入力された乗算値を加算して合成値を算出する。合成演算部２８２５－Ａは、算出した合成値を乗算部２８２７－Ａに出力する。

　符号検出部２８２６－Ａは、線形フィルタ部２８１－１等からそれぞれ入力された方向成分信号が示す信号値Ｗの符号、即ち正負を検出する。符号検出部２８２６－Ａは、信号値が０よりも小さい場合、－１を符号値として乗算部２８２７－Ａに出力する。符号検出部２８２６－Ａは、信号値が０又は０よりも大きい場合、１を符号値として乗算部２８２７－Ａに出力する。
　乗算部２８２７－Ａは、合成演算部２８２５－Ａから入力された合成値と符号検出部２８２６－Ａから入力された符号値を乗算して、高周波成分値ＮＬ_Ａを算出する。乗算部２８２７－Ａは、算出した高周波成分値を合成演算部２９に出力する。
　上述の構成を備える非線形演算部２８２－Ａは、比較的回路規模が大きくなるが、少数の係数を用いて出力される高周波成分値を調整することができる。
　なお、最高次数ｌ以外の係数値ｃ_１～ｃ_ｌ－１が０である場合には、これらの次数の積和演算に係る構成を省略してもよい。省略できる構成は、非線形演算部２８２－Ａにおいて記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌ－１、乗算器２８２４－Ａ－１～２８２４－Ａ－ｌ－１である。例えば、ｆ（Ｗ）＝ｓｇｎ（Ｗ）｜Ｗ｜^２の場合、記憶素子２８２３－Ａ－１、乗算器２８２４－Ａ－１を省略してもよい。

　次に、非線形演算部２８２－１等の他の構成例（非線形演算部２８２－Ｂ）について説明する。
　図８は、本実施形態に係る非線形演算部２８２－Ｂの構成を表す概略図である。
　非線形演算部２８２－Ｂは、データ選択部２８２８－Ｂ及び記憶部２８２９－Ｂを含んで構成される。
　記憶部２８２９－Ｂには、入力値Ｗと、入力値Ｗの高次の関数ｆ（Ｗ）を表す出力値を対応付けて記憶されている。図８に示す例では、入力値１．０、４．０…１６．０にたいして出力値１．０、４．０…２５６．０が対応付けられている。
　データ選択部２８２８－Ｂは、線形フィルタ部２８１－１等からそれぞれ入力された方向成分信号が示す信号値Ｗに等しい入力値を記憶部２８２９－Ｂを検索し、検索した入力値に対応する出力値を読み出す。データ選択部２８２８－Ｂは、読み出した出力値を、高周波成分値ＮＬ_Ｂとして合成演算部２９に出力する。
　上述の構成を備える非線形演算部２８２－Ｂは、予め設定すべき入力値と出力値が多いが、回路規模は小さい。なお、信号値Ｗに等しい入力値がデータ選択部２８２８－Ｂに記憶されていない場合には、非線形演算部２８２－Ｂは、信号値Ｗに最も近似し、かつ信号値Ｗよりも小さい入力値もしくは信号値Ｗよりも大きい入力値を選択する。非線形演算部２８２－Ｂは、選択した入力値にそれぞれ対応する出力値を補間又は外挿して、高周波成分値ＮＬ_Ｂを算出してもよい。

（輪郭の例）
　次に、輪郭の例について説明する。
　図９は、輪郭の一例を表す概念図である。
　図９において、横軸はｘ方向を示し、縦軸はｙ方向を示す。画像５１は、信号値Ｙ（ｘ，ｙ）の大きさを濃淡で示す。明るい部分ほど信号値Ｙ（ｘ，ｙ）が大きく、濃い部分ほど信号値Ｙ（ｘ，ｙ）が小さい。
　注目点５２、５３を通過する破線は、輪郭５４を示す。注目点５３は、注目点５２から微小量（δｘ，δｙ）だけ離れた位置に存在している。輪郭５４は、注目点５３を通過し、注目点５２における信号値Ｙ（ｘ，ｙ）と信号値が等しくなる位置を示す線分（等高線）である。一般的に、信号値Ｙ（ｘ，ｙ）が座標（ｘ，ｙ）に対して微分可能であると仮定すると、注目点５３における信号値Ｙ（ｘ＋δｘ，ｙ＋δｙ）から注目点５２における信号値Ｙ（ｘ，ｙ）の差分Ｙは、ｘ方向への微小変化δｘ・Ｇ_ｘ（ｘ，ｙ）とｙ方向への微小変化δｙ・Ｇ_ｙ（ｘ，ｙ）の和となる。輪郭５４は、ともに注目点５２、５３を通過する、つまりＹ＝０という関係から式（１）が導かれる。従って、輪郭方向推定部２１は、式（１）～（３）を用いることで、空間的に位置が離散化されている画素毎の信号値Ｙ（ｉ，ｊ）に基づいて、輪郭方向θを算出することができる。

（参照領域の例）
　次に、参照領域の例について説明する。
　図１０は、参照領域の一例を表す概念図である。
　図１０の横軸、縦軸の関係は、図９と同様である。画像６１は、輝度信号Ｙが表す画像である。画像６１に含まれる小さい四角形は、それぞれ画素を示す。各四角形の中に示されている数値は画素毎の信号値Ｙ（ｉ，ｊ）を示す。各四角形の濃淡は、信号値Ｙ（ｉ，ｊ）の大きさを示す。明るい部分ほど信号値Ｙ（ｉ，ｊ）が大きく、濃い部分ほど信号値Ｙ（ｉ，ｊ）が小さい。図１０において、信号値Ｙ（ｉ，ｊ）は左側よりも右側のほうが大きい。但し、信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界は、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏る。
　画像６１の中央部より上側にある破線で囲まれた領域は参照領域６２を示す。参照領域６２の中心にある四角形は、注目画素６３を示す。注目画素６３に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、注目画素６３のインデックスが（ｉ，ｊ）であることを示す。参照領域６２の最下行、最左列から４列目にある四角形は、参照画素６４を示す。参照画素６４に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素６４のインデックスが（ｕ，ｖ）であることを示す。

（差分フィルタの例）
　次に、差分フィルタの例について説明する。
　図１１は、ｘ方向の差分フィルタの一例（差分フィルタ６５）を表す概念図である。
　図１１の横軸、縦軸の関係は図１０と同様である。
　差分フィルタ６５に含まれる小さい四角形は、それぞれ参照画素を示す。差分フィルタ６５は、ｘ方向の画素数、ｙ方向の画素数がともに５であるｘ方向の差分フィルタである。各四角形の中に示されている数値は、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）を示す。フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）は、ｕ’＞０の場合１、ｕ’＝０の場合０、ｕ’＜０の場合－１である。差分フィルタ６５の最下行、最左列から４列目にある四角形は、参照画素６６を示す。参照画素６６に向かう矢印であって起点に各々ｕ’、ｖ’と示されている矢印は、参照画素６６のインデックスが（ｕ’，ｖ’）であって、参照画素６４（図１０）のインデックス（ｕ，ｖ）に対応することを示す。従って、式（２）に示す積和演算において、参照画素６６に係るフィルタ係数１が参照画素６４に係る信号値９３に乗じられる。

　図１２は、ｙ方向の差分フィルタの一例（差分フィルタ６７）を表す概念図である。
　図１２の横軸、縦軸の関係は図１０と同様である。
　差分フィルタ６７に含まれる小さい四角形は、それぞれ参照画素を示す。差分フィルタ６７は、ｘ方向の画素数、ｙ方向の画素数がともに５である垂直方向の差分フィルタである。各四角形の中に示されている数値は、フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）を示す。フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）は、ｖ’＞０の場合１、ｖ’＝０の場合０、ｖ’＜０の場合－１である。差分フィルタ６７の最下行、最左列から４列目にある四角形は、参照画素６８を示す。参照画素６８に向かう矢印であって起点に各々ｕ’、ｖ’と示されている矢印は、参照画素６８のインデックスが（ｕ’，ｖ’）であって、参照画素６４（図１０）のインデックス（ｕ，ｖ）に対応することを示す。従って、式（３）に示す積和演算において、参照画素６８に係るフィルタ係数１が参照画素６４に係る信号値９３に乗じられる。

（偏微分の算出例）
　図１３は、ｘ方向偏微分の一例（ｘ方向偏微分６９）を表す概念図である。
　図１３の横軸、縦軸、注目画素６３の関係は図１０と同様である。
　ｘ方向偏微分６９に含まれる小さい四角形の各々は画素を示す。各四角形の中に示されている数値はｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の値を示す。図１３に示すｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は、図１０に示す信号値Ｙ（ｉ，ｊ）に基づいて式（２）を用いて算出された値である。各四角形の濃淡は、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の大きさを示す。明るい部分ほどｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きく、濃い部分ほどｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が小さい。図１３において、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は左右両端において小さくなる。但し、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きい領域が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏る。これは、図１０において信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。なお、注目画素６３におけるｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は１２１である。

　図１４は、ｙ方向偏微分の一例（ｙ方向偏微分７０）を表す概念図である。
　図１４の横軸、縦軸、注目画素６３の関係は図１０と同様である。
　ｙ方向偏微分７０に含まれる小さい四角形の各々は画素を示す。各四角形の中に示されている数値はｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）の値を示す。図１４に示すｙ方向偏微分Ｇ_ｙ（，ｊ）は、図１０に示す信号値Ｙ（ｉ，ｊ）に基づいて式（３）を用いて算出された値である。各四角形の濃淡は、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）の大きさを示す。明るい部分ほどｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が大きく、濃い部分ほどｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が小さい。図１４において、ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）は左右両端において中間値０に近似する。但し、ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きい領域は、下端に近づくほど左側に偏り、中央に近づくほど右側に偏る。ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）が小さい領域は、上端に近づくほど左側に偏り、中央に近づくほど右側に偏る。ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が大きい領域と、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が小さい領域は、ｙ方向の中心軸を境にほぼ対称である。
　これは、図１４において信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。なお、注目画素６３におけるｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）は－１０３である。

（輪郭方向の計算例）
　次に、輪郭方向の計算例について説明する。
　図１５は、量子化輪郭方向の候補の一例を示す。
　図１５において、横軸はｘ方向、縦軸はｙ方向を示す。この例では、量子化輪郭方向数Ｎ_ｄは８である。１つの原点から放射状に延びる矢印は、それぞれ量子化輪郭方向の候補を示し、各矢印の終点の数字は、量子化輪郭方向を示す数値を示す。即ち、この数値０～７は、それぞれ輪郭方向の角度０～７π/８、又はπ～１５π/８を示す。各矢印を中心として原点から延びる破線で挟まれている領域は、その矢印が示す量子化輪郭方向に量子化される輪郭方向（量子化前）の範囲を示す。例えば、輪郭方向の角度が０～π/１６、１５π/１６～１７π/１６、３１π/１６～２πの何れかに含まれる場合には、量子化輪郭方向を示す数値は０である。

　図１６は、量子化輪郭方向の計算例（量子化輪郭方向７１）を示す概念図である。
　図１６の横軸、縦軸、注目画素６３の関係は図１０と同様である。
　量子化輪郭方向７１に含まれる小さい四角形の各々は画素を示す。量子化輪郭方向７１の左下方にある注目画素７２に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、注目画素７２のインデックスが（ｉ_２，ｊ_２）であることを示す。
　図１６において、参照領域７３、７５は、注目画素６３、７２をそれぞれ中心とした、ｘ方向の画素数が７、ｙ方向の画素数が７の領域である。注目画素６３の右下方にある参照画素７４に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素７４のインデックスが（ｕ，ｖ）であることを示す。注目画素７２の左下方にある参照画素７６に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、参照画素７６のインデックスが（ｕ_２，ｖ_２）であることを示す。参照領域７３、７５、参照画素７４、７６については後述する。

　各四角形の中に示されている数値と矢印は量子化輪郭方向Ｄ（ｉ，ｊ）の値と、その値が示す輪郭方向を示す。図１６に示す量子化輪郭方向Ｄ（ｉ，ｊ）は、図１３に示すｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）と図１４に示すｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）に基づいて、式（４）を用いて算出された値である。これにより、図１６の中央よりも左上側の大部分の画素において量子化輪郭方向が左上向きである。中央よりも左下側の大部分の画素において量子化輪郭方向が右上向きである。これは、信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。

　ここで、注目画素６３における量子化輪郭方向Ｄ（ｉ，ｊ）は６である。従って、参照領域荷重処理部２３は、注目画素６３に対しては、参照領域荷重Ｒ（６，ｕ’，ｖ’）を選択する。注目画素７２における量子化輪郭方向Ｄ（ｉ_２，ｊ_２）は２である。従って、参照領域荷重処理部２３は、注目画素７２に対しては、参照領域荷重Ｒ（２，ｕ’，ｖ’）を選択する。

（参照領域荷重の例）
　次に参照領域荷重の例について説明する。
　図１７は、参照領域荷重の一例を示す概念図である。
　図１７の横軸、縦軸の関係は図１５、１６と同様である。
　図１７の中央より下側にある、1つの原点から放射状に延びる矢印と各矢印の終点に表される数値は、図１５と同様に量子化輪郭方向を示す。原点の右横の数値０から反時計回りに７までの上半平面に向かう各矢印の進行方向にある、格子状の図形は、それぞれ量子化輪郭方向Ｄ（ｉ，ｊ）に対応した参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を示す。図１７は、右横から反時計回りに順に、参照領域荷重Ｒ（０，ｕ’，ｖ’）～Ｒ（７，ｕ’，ｖ’）を示す。各参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に含まれる小さい四角形は、参照画像を表す。図１７において、各参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に含まれる参照画像の数は、水平方向７個、垂直方向７個である。各四角形の中に示されている数値は、参照領域荷重の値である。参照領域荷重の値は、参照領域の中心（注目画素）から量子化輪郭方向にある参照画素について１であり、その方向に近似する方向にある参照画素ほど大きい値である。例えば、量子化輪郭方向０に対応する参照領域荷重Ｒ（０，ｕ’，ｖ’）は、第４行目の参照画素について全て１であり、その他の行の参照画素については全て０である。量子化輪郭方向６に対応する参照領域荷重Ｒ（６，ｕ’，ｖ’）は、第１行第１列～第７行第７列の参照画素について全て１であり、その他の参照画素については全て０である。量子化輪郭方向は、必ずしも水平方向、垂直方向又は対角方向（π/４又は３π/４）とは限らない。量子化輪郭方向がそれ以外の方向の場合には、参照領域の中心から量子化輪郭方向に延びる線分が通過する距離に比例するように、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定めておく。例えば、量子化輪郭方向１に対応する参照領域荷重Ｒ（１，ｕ’，ｖ’）は、最上行から第２行において最左列から第７列の画素について０．２である。第３行において第５、６、７列の画素について、それぞれ０．４、０．８、０．８である。第４行において、第２、３、４、５、６列の画素について、それぞれ０．２、０．６、１．０、０．６、０．２である。第５行において第１、２、３列の画素について、それぞれ０．８、０．８、０．４である。第６行において第１列の画素について、０．２である。それ以外の参照画素については、０である。

　図１８は、参照領域荷重のその他の例を示す概念図である。
　図１８の横軸、縦軸の関係、量子化輪郭方向を示す矢印、各量子化輪郭方向に対応した格子状の図形の関係は、それぞれ図１７と同様である。また、量子化輪郭方向は、水平方向、垂直方向又は対角方向（π/４又は３π/４）である、量子化輪郭方向０、２、４、６に対応する参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）については、図１７に示す例と同様である。
　それ以外の量子化輪郭方向についての参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）は、図１７に示す例とは異なる。図１８に示す例では、参照領域の中心から量子化輪郭方向に延びる線分が通過する参照画素について、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定める。それ以外の参照画素については、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定める。例えば、量子化輪郭方向１に対応する参照領域荷重Ｒ（１，ｕ’，ｖ’）は、最上行から第２行において最左列から第７列の画素について、第３行において第５、６、７列の画素について、第４行において、第２、３、４、５、６列の画素について、第５行において第１、２、３列の画素について、第６行において第１列の画素について、それぞれ1である。それ以外の参照画素については、０である。即ち、図１８に示す例では、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）は、参照領域の中心から量子化輪郭方向に延びる線分が通過するか否かにより、その参照画素を選択するか否かを示す。

（方向評価値の算出例）
　次に、方向評価値の算出例について説明する。
　図１９は、方向評価値の一例（方向評価値７７）を示す概念図である。
　図１９の横軸、縦軸は図１１と同様である。
　方向評価値７７に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示されている数値は、注目画素６３（図１６参照）に対する方向評価値Ｆ（ΔＤ）の値を示す。この方向評価値Ｆ（ΔＤ）は、方向評価部２２が、注目画素６３（図１６参照）に対するＤ（ｉ，ｊ）と、参照領域７３（図１６参照）に属する各参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）に基づいて算出した方向評価値である。図１９において、最上行から第４行までの参照画素について、方向評価値Ｆ（ΔＤ）は全て１である。第５行から第７行までの参照画素について、第５行最左列の参照画素を除いて、方向評価値Ｆ（ΔＤ）は０である。即ち、図１９は、参照領域７３（図１６参照）の最上行から第４行までの参照画素に係る量子化輪郭方向は、注目画素６３（図１６参照）に係る量子化輪郭方向と等しいことを示す。図１９は、参照領域７３（図１６参照）の第５行から第７行までのほとんどの参照画素に係る量子化輪郭方向は、注目画素６３（図１６参照）に係る量子化輪郭方向と異なることを示す。

　ここで、参照画素７８に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、参照画素７８が、同一のインデックス（ｉ，ｊ）を有する注目画素６３に対応する参照画素であることを示す。方向評価部２２は、注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素としての注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）が等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。
　参照画素７９に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素７９が、同一のインデックス（ｕ，ｖ）を有する参照画素７４に対応する参照画素であることを示す。方向評価部２２は、注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）が５と参照画素７４の量子化輪郭方向Ｄ（ｉ，ｊ）が４と異なるため、方向評価値Ｆ（ΔＤ）を０と定めたことが示される。

　図２０は、方向評価値のその他の例（方向評価値８０）を示す概念図である。
　図２０の横軸、縦軸は図１２と同様である。
　方向評価値８０に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示されている数値は、注目画素７２（図１６参照）に対する方向評価値Ｆ（ΔＤ）の値を示す。この方向評価値Ｆ（ΔＤ）は、方向評価部２２が、注目画素７２（図１６参照）に対するＤ（ｉ_２，ｊ_２）と、参照領域７５（図１６参照）に属する各参照画素（ｕ_２，ｖ_２）に対する量子化輪郭方向Ｄ（ｕ_２，ｖ_２）に基づいて算出した方向評価値である。図２０において、全ての参照画素について、方向評価値Ｆ（ΔＤ）が１である。即ち、図２０は、参照領域７５（図１６参照）に属する全ての参照画素に係る量子化輪郭方向は、注目画素７２（図１６参照）に係る量子化輪郭方向と等しいことを示す。

　ここで、参照画素８１に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、参照画素８１が、同一のインデックス（ｉ_２，ｊ_２）を有する注目画素７２（図１６参照）に対応する参照画素であることを示す。方向評価部２２は、注目画素７２の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）と参照画素としての注目画素７２（図１６参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。
　参照画素８２に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、参照画素８２が、同一のインデックス（ｕ_２，ｖ_２）を有する参照画素７６（図１６参照）に対応する参照画素であることを示す。方向評価部２２は、注目画素７２（図１６参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が２と参照画素７６（図１６参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が２と等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。

（方向評価領域荷重の算出例）
　次に、方向評価領域荷重の算出例について説明する。
　図２１は、方向評価領域荷重の一例（方向評価領域荷重８３）を示す概念図である。
　図２１の横軸、縦軸は図１１と同様である。
　方向評価領域荷重８３に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示される数値は、その参照画素に対応する方向評価領域荷重の値を示す。この方向評価領域荷重の値は、積和演算部２５が、注目画素６３（図１６参照）に対する参照画素毎の参照領域荷重Ｒ（６，ｕ’，ｖ’）（図１７参照）と対応する参照画素の方向評価値Ｆ（ΔＤ）（図１９参照）を乗じた値である。図２１において、最上行最左列の参照画素から第４行第４列までの参照画素（参照画素７８）について、方向評価領域荷重の値は１である。その他の参照画素については、方向評価領域荷重の値は０である。

　ここで、参照画素７８に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、参照画素７８が、同一のインデックス（ｉ，ｊ）を有する参照画素７８（図１９参照）に相当することを示す。また、参照画素７８は、注目画素６３（図１６参照）に対応する。つまり参照画素７８に対する方向評価領域荷重の値は、参照画素７８に対する方向評価値Ｆ（ΔＤ）（図１９参照）と、その参照画素に対応する参照領域荷重Ｒ（６，０，０）（図１７参照）を乗じて算出されることを示す。参照画素７９に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、同一のインデックス（ｕ，ｖ）を有する参照画素７９に相当することを示す。また、参照画素７９は、参照画素７４（図１９参照）に対応する。つまり参照画素７９に対する方向評価領域荷重の値は、参照画素７９に対する方向評価値Ｆ（ΔＤ）（図１９参照）と、その参照画素に対応する参照領域荷重Ｒ（６，２，２）（図１７参照）を乗じて算出されることを示す。

　図２２は、方向評価領域荷重のその他の例（方向評価領域荷重８４）を示す概念図である。
　図２２の横軸、縦軸は図１２と同様である。
　方向評価領域荷重８４に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示される数値は、その参照画素に対応する方向評価領域荷重の値を示す。この方向評価領域荷重の値は、積和演算部２５が、注目画素７２（図１６参照）に対する参照画素毎の参照領域荷重Ｒ（２，ｕ’，ｖ’）（図１７参照）と対応する参照画素の方向評価値Ｆ（ΔＤ）（図１９参照）を乗じた値である。図２２において、最下行最左列から最上行最右列までの対角上の全ての参照画素について、方向評価領域荷重の値は１である。その他の参照画素については、方向評価領域荷重の値は０である。

　ここで、参照画素８１に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、参照画素８１が、同一のインデックス（ｉ_２，ｊ_２）を有する参照画素８１（図２２参照）に相当することを示す。また、参照画素８１は、注目画素７２（図１６参照）に対応する。つまり参照画素８１に対する方向評価領域荷重の値は、参照画素８１に対する方向評価値Ｆ（ΔＤ）（図２０参照）と、その参照画素に対応する参照領域荷重Ｒ（２，０，０）（図１７参照）を乗じて算出されることを示す。参照画素７９に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、同一のインデックス（ｕ_２，ｖ_２）を有する参照画素８２に相当することを示す。また、参照画素８２は、参照画素７６（図１６参照）に対応する。つまり参照画素８２に対する方向評価領域荷重の値は、参照画素８２に対する方向評価値Ｆ（ΔＤ）（図２０参照）と、その参照画素に対応する参照領域荷重Ｒ（２，－２，２）（図１７参照）を乗じて算出されることを示す。

　次に、０以外の値（例えば１）をとる方向評価領域荷重の値が、積和演算部２５において乗じられる信号値Ｙ（ｉ，ｊ）に係る画素（ｉ，ｊ）について説明する。以下、かかる画素を平滑化対象画素と呼ぶ。
　図２３は、平滑化対象画素の一例を表す概念図である。
　図２３の横軸、縦軸の関係は図１０と同様である。画像６１は、図１０が示す画像６１と同一である。図２３において、注目画素６３、７２、参照領域７３、７５の位置関係は、図１０における位置関係と同様である。即ち、参照領域７３、７５に係る方向評価領域荷重は、それぞれ上述の方向評価領域荷重８３（図２１参照）、方向評価領域荷重８４（図２２参照）と同一である。これらの方向評価領域荷重８３、８５は、積和演算部２５が、注目画素６３、７２にそれぞれ対応する積和値Ｓ（ｉ，ｊ）、荷重面積Ｃ（ｉ，ｊ）、参照面積Ｎ（ｉ，ｊ）を算出するために用いられる。

　参照領域７３、７５において、太線で描かれた小さい四角形は、平滑化対象画素を示す。参照領域７３に含まれる平滑化対象画素は、最上行最左列から第４行第４列までの参照画素である。参照領域７５に含まれる平滑化対象画素は、最下行最左列から最上行最右列までの対角上の全ての参照画素である。従って、これらの参照画素に係る信号値Ｙ（ｉ，ｊ）が、注目画素６３、７２に係る方向平滑化値Ｙ’（ｉ，ｊ）を算出するために実質的に用いられる。これに対し、参照領域７３では、第５行第５列から最下行最下列までの参照画素は、方向平滑化値Ｙ’（ｉ，ｊ）を算出するためには実質的に用いられない。

　よって、本実施形態では各画素における輪郭方向を算出し、注目画素における輪郭方向もしくはその方向に近似する方向であって、その輪郭方向が注目画素と同一もしくは近似する方向である参照画素に係る信号値を用いて注目画素を平滑化する。これにより、隣接又は近接する画素とは、輪郭方向が異なる画素であるコーナ点においても、実質的に平滑化の対象とする参照画素を最大限考慮してノイズを視覚的に低減することができる。

　次に、本実施形態に係る画像処理について説明する。
　図２４は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１００）パラメータ決定部２０ｂは、入力部１１から入力された信号Ｓｓに基づいてパラメータＰｍ及びパラメータＰｎを決定する。パラメータ決定部２０ｂは、パラメータＰｍを低域フィルタ部２０ａに出力し、パラメータＰｎを高周波拡張部２７に出力する。その後、ステップＳ１０１に進む。
（ステップＳ１０１）輪郭方向推定部２１は、スケーリング部１３から入力された輝度信号Ｙが表す画素毎の信号値に基づいて輪郭方向を画素毎に算出する。輪郭方向推定部２１は、算出した画素毎の輪郭方向を量子化し、量子化輪郭方向を算出する。輪郭方向推定部２１は、算出した量子化輪郭方向を表す量子化輪郭方向情報を方向評価部２２及び参照領域荷重処理部２３に出力する。その後、ステップＳ１０２に進む。

（ステップＳ１０２）方向評価部２２は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。方向評価部２２は、例えば、注目画素に対する量子化輪郭方向と同一又は近似する量子化輪郭方向を有する参照画素ほど大きくなるように方向評価値を算出する。方向評価部２２は、注目画素毎に各参照画素の方向評価値を表す方向評価値情報を積和演算部２５に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）参照領域荷重処理部２３は、輪郭方向推定部２１から入力された量子化輪郭方向情報に基づいて、注目画素毎に参照領域荷重情報を定める。参照領域荷重処理部２３は、注目画素毎の量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。参照領域荷重情報は、注目画素の量子化輪郭方向又はその方向に近似する方向にある参照画素ほど大きくなるような重み係数を表す。参照領域荷重処理部２３は、読み出した参照領域荷重情報を積和演算部２５に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）前処理部２４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する（前処理）。前処理部２４は、注目画素（ｉ，ｊ）毎に抽出した輝度信号Ｙを積和演算部２５に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）積和演算部２５は、注目画素毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部２４から輝度信号がそれぞれ入力される。積和演算部２５は、方向評価値情報が表す方向評価値、参照領域荷重情報が表す参照領域荷重及び輝度信号が表す信号値に基づいて、例えば式（５）を用いて、積和値を算出する。積和演算部２５は、方向評価値情報が表す方向評価値及び参照領域荷重情報が表す参照領域荷重に基づいて、例えば式（６）を用いて、荷重面積を算出する。積和演算部２５は、参照領域荷重情報が表す参照領域荷重の参照領域に属する参照画素間の総和を参照面積として算出する。積和演算部２５は、積和値、荷重面積、参照面積をそれぞれ表す積和値情報、参照面積情報を生成し、生成した積和値情報、荷重面積情報、参照面積情報を合成演算部２６に出力する。その後、ステップＳ１０６に進む。

（ステップＳ１０６）合成演算部２６は、パラメータ決定部２０ｂからパラメータＰｍが入力され、積和演算部２５から積和値情報、荷重面積情報及び参照面積情報が入力され、スケーリング部１３から輝度信号が入力される。合成演算部２６は、積和値情報が表す積和値を荷重面積情報が表す荷重面積Ｃで除算して方向平滑化値を算出する。合成演算部２６は、荷重面積を参照面積情報が表す参照面積で除算して混合比を算出する。合成演算部２６は、方向平滑化値と輝度信号が表す信号値を、それぞれ混合比及びパラメータＰｍに基づいて重み付け加算することにより合成演算を行って、合成信号値を算出する。合成演算部２６は、算出した合成信号値が表す輝度信号を高周波拡張部２７に出力する。その後、ステップＳ１０７に進む。

（ステップＳ１０７）高周波拡張部２７は、合成演算部２６から入力された輝度信号が表す信号値に基づいて高周波成分値を算出する。高周波拡張部２７は、算出した高周波成分値と入力された輝度信号が表す信号値をパラメータＰｎに基づいて重み付け加算して高周波拡張信号値を算出する。高周波拡張部２７は、算出した高周波拡張信号値を表す輝度信号を画像形式変換部１４に出力する。その後、処理を終了する。

　以上に説明したように、本実施形態では、注目画素毎の信号値に基づいて輪郭方向を画素毎に推定する。本実施形態では、推定した各注目画素の輪郭方向に配列された参照画素であって、各注目画素から予め定めた参照領域内における参照画素毎の信号値を用いて各注目画素の信号値をフィルタリングする。そして、本実施形態では、フィルタリングした各注目画素の信号値の高周波成分を生成して各注目画素の信号値の周波数帯域を拡張する。
　これにより、各注目画素の信号値が輪郭方向に平滑化され、視覚上敏感な輪郭方向のノイズが除去又は低減される。そして、平滑化された信号値の高周波成分が補われるため、エイリアシングによるノイズを回避又は抑制しながら画像を先鋭化することができる。
　また、本実施形態では、画像の拡大率に応じて、平滑化及び高周波拡張の強さを制御する。これによって、拡大率が低い場合にアーティファクトが発生することを防止できる。

　［第２の実施形態］
　図２５は、本発明の第２の実施形態に係る表示装置２の構成を表す概略図である。
　表示装置１と表示装置２とは、パラメータＰｍ及びパラメータＰｎの決定方法が異なる。表示装置２では、スケーリング部１３が、入力画像の解像度と出力画像の解像度との比である解像度比Ｓｔを画像処理部２０に出力する。より具体的には、スケーリング部１３は、入力信号に含まれる水平同期信号から水平解像度を、垂直同期信号から垂直解像度をそれぞれ見積もり、出力画像の解像度との比である解像度比Ｓｔを計算する。パラメータ決定部２０ｂは、スケーリング部１３から入力された解像度比Ｓｔを拡大率として用い、パラメータＰｍ及びパラメータＰｎを決定する。

　図２６は、拡大率と、低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さとの関係を模式的に示す図である。
　拡大率が大きいほど、ジャギーが大きくなり、ノイズが多くなる。そのため、図２６に示すように、拡大率が大きいほど低域フィルタ部２０ａ及び高周波拡張部２７による処理を強くすることが好ましい。ただし、拡大率が１の場合（補間等を行わない場合）であっても、低域フィルタ部２０ａ及び高周波拡張部２７による処理を全く行わないのではなく、細かいノイズを消しエンハンスをするために、これらの処理を弱く行うことが好ましい。なお、図２６では、拡大率と、低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さとが比例するように図示しているが、これらの関係は非線形であっても良い。

　本実施形態によれば、第１の実施形態におけるＨＤＭＩ信号の場合のように、端子の情報だけでは入力解像度が判別できない場合であっても、最適な画像処理を行うことができる。

　［第３の実施形態］
　図２７は、本発明の第３の実施形態に係る表示装置３の構成を表す概略図である。
　表示装置３は、表示装置１及び表示装置２と、パラメータＰｍ及びパラメータＰｎの決定方法が異なる。表示装置３では、入力部１１が入力信号を識別する信号Ｓｓを画像処理部２０に出力するとともに、スケーリング部１３が解像度比Ｓｔを計算し、計算された拡大率を画像処理部２０に出力する。パラメータ決定部２０ｂは、入力部１１から入力された信号Ｓｓ、及びスケーリング部１３から入力される解像度比Ｓｔに基づいて、パラメータＰｍ及びパラメータＰｎを決定する。

　本実施形態における、入力端子（端子）と入力解像度、並びに低域フィルタ部２０ａ及び高周波拡張部２７による処理の強さ（処理強さ）の関係の一例を表２に示す。

　表２に示すように、コンポジット端子、アンテナ（アナログ）端子、アンテナ（ディジタル）端子からの入力信号は、端子の情報から入力解像度を判別することができる。そのため、これらの信号が選択された場合、パラメータ決定部２０ｂは、入力部１１から入力される信号Ｓｓに基づいて処理の強さを決定する。一方、ＨＤＭＩ端子からの入力信号は、端子の情報だけでは入力解像度が判別できない。この場合、パラメータ決定部２０ｂは、スケーリング部１３から入力される解像度比Ｓｔを拡大率として用い、処理の強さを決定する。

　本実施形態では、端子の情報から入力解像度を判別することができない場合にだけ、解像度比Ｓｔを拡大率として用いて処理の強さを決定する。この構成によれば、第２の実施形態に係る表示装置２の場合と比較して、画像処理に係る回路を小さくすることができ、製造コストを削減することができる。

（変形例１）
　次に、本実施形態に係る変形例１について、上述の実施例と同一の構成又は処理について、同一の符号を付して説明する。本変形例に係る表示装置１（図１参照）は、画像処理部２０の代わりに画像処理部３０を備える。
　図２８は、本変形例に係る画像処理部３０の構成を表す概略図である。
　画像処理部３０は、輪郭方向推定部２１、方向評価部２２、参照領域荷重処理部２３、前処理部３４、積和演算部３５、合成演算部３６、パラメータ決定部２０ｂ、及び高周波拡張部２７を含んで構成される。即ち、画像処理部３０は、画像処理部２０の低域フィルタ部２０ａにおいて前処理部２４、積和演算部２５及び合成演算部２６の代わりに、低域フィルタ部３０ａにおいて前処理部３４、積和演算部３５及び合成演算部３６を備える。

　前処理部３４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部３４は、抽出した輝度信号が表す参照信号の信号値Ｙ（ｕ，ｖ）から注目画素の信号値Ｙ（ｉ，ｊ）をそれぞれ減算し、差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を算出する。前処理部３４は、算出した差信号値を表す差信号を生成し、生成した差信号を積和演算部３５に出力する。

　積和演算部３５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部３４から差信号がそれぞれ入力される。
　積和演算部３５は、差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）に対して、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を積和演算して、平滑化差分値Ｙ（ｉ，ｊ）を算出する。積和演算部３５は、平滑化差分値Ｙ（ｉ，ｊ）を算出する際、例えば、式（９）を用いる。

　式（９）は、方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を算出することを表す。式（９）は、算出した総和に対して参照面積Ｎ（ｉ，ｊ）で除算して平滑化差分値Ｙ（ｉ，ｊ）を算出することを表す。積和演算部３５は、算出した平滑化差分値Ｙ（ｉ，ｊ）を表す平滑化差分信号を生成し、生成した平滑化差分信号を合成演算部３６に出力する。

　合成演算部３６は、パラメータ決定部２０ｂからパラメータｍが入力され、積和演算部３５から平滑化差分信号が入力され、スケーリング部１３から輝度信号Ｙが入力される。合成演算部３６は、平滑化差分信号が表す平滑化差分値ΔＹ（ｉ，ｊ）とパラメータＰｍとの積を輝度信号Ｙが表す信号値Ｙ（ｉ，ｊ）に注目画素（ｉ，ｊ）毎に加算（合成演算）して、低域通過信号値Ｙ’’（ｉ，ｊ）を算出する。この低域通過信号値Ｙ’’（ｉ，ｊ）は、上述の式（７）を用いて算出された低域通過信号値Ｙ’’（ｉ，ｊ）と同じ値になる。
　合成演算部３６は、算出した低域通過信号値Ｙ’’（ｉ，ｊ）に基づく輝度信号Ｙ’’を高周波拡張部２７に出力する。

　次に、本変形例に係る画像処理について説明する。
　図２９は、本変形例に係る画像処理を表すフローチャートである。
　本変形例に係る画像処理は、図２４に示す画像処理において、ステップＳ１０４－Ｓ１０６の代わりにステップＳ２０４－Ｓ２０６を有する。ステップＳ２０４は、ステップＳ１０３の後で実行する。

（ステップＳ２０４）前処理部３４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部３４は、抽出した輝度信号に基づいて、差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を算出する（前処理）。前処理部３４は、算出した差信号値を表す差信号を積和演算部３５に出力する。
その後、ステップＳ２０５に進む。

（ステップＳ２０５）積和演算部３５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部３４から差信号がそれぞれ入力される。積和演算部３５は差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に基づいて、例えば式（８）を用いて平滑化差分値Ｙ（ｉ，ｊ）を算出する。積和演算部３５は、算出した平滑化差分値Ｙ（ｉ，ｊ）を表す平滑化差分信号を合成演算部３６に出力する。
その後、ステップＳ２０６に進む。

（ステップＳ２０６）合成演算部３６は、積和演算部３５から入力された平滑化差分信号が表す平滑化差分値Ｙ（ｉ，ｊ）とパラメータＰｍとの積を、スケーリング部１３から入力された輝度信号Ｙが表す信号値Ｙ（ｉ，ｊ）に加算して、低域通過信号値Ｙ’’（ｉ，ｊ）を算出する。合成演算部３６は算出した低域通過信号値Ｙ’’（ｉ，ｊ）を表す輝度信号Ｙ’’を高周波拡張部２７に出力する。その後、ステップＳ１０７に進む。

　以上に説明したように、本変形例では、各画素の輪郭方向から予め定めた範囲の方向にある参照画素間で、各参照画素の信号値に基づく差信号値について積和演算を行った値を用いて、各画素の合成信号値を算出する。これにより、視覚上敏感な輪郭方向のノイズを除去又は低減するという効果を損なわずに、処理量を低減することができる。

（変形例２）
　次に、本実施形態に係る他の変形例２について、上述の実施例と同一の構成又は処理について、同一の符号を付して説明する。本変形例に係る表示装置１（図１参照）は、画像処理部２０の代わりに画像処理部４０を備える。
　図３０は、本変形例に係る画像処理部４０の構成を表す概略図である。
　画像処理部４０は、輪郭方向推定部２１、方向評価部２２、参照領域荷重処理部４３、前処理部３４、積和演算部３５、合成演算部３６、パラメータ決定部２０ｂ、及び高周波拡張部２７を含んで構成される。即ち、画像処理部４０は、画像処理部３０の低域フィルタ部３０ａにおける参照領域荷重処理部２３の代わりに、低域フィルタ部４０ａにおいて参照領域荷重処理部４３を備える。

　参照領域荷重処理部４３は、参照領域荷重処理部２３と同様に輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定める。参照領域荷重処理部４３は、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）のうち、（Ｄ（ｉ，ｊ），ｕ’，ｖ’）が零以外の値をとる参照画素（ｕ’，ｖ’）毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を選択する。かかる参照画素は、注目画素（ｉ，ｊ）から輪郭方向又は輪郭方向に近似する方向に位置するため、輪郭方向参照画素と呼ぶ。参照領域荷重処理部４３は、各輪郭方向参照画素に係る重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す参照領域荷重情報を生成し、生成した参照領域荷重情報を積和演算部３５に出力する。
　参照領域荷重処理部４３は、入力された量子化輪郭方向情報から各輪郭方向参照画素に係る量子化輪郭方向Ｄ（ｕ，ｖ）を表す量子化輪郭方向情報を抽出する。参照領域荷重処理部４３は、抽出した量子化輪郭方向情報を方向評価部２２に出力する。
　参照領域荷重処理部４３は、スケーリング部１３から入力された輝度信号から各輪郭方向参照画素に係る信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。参照領域荷重処理部４３は、抽出した輝度信号を前処理部３４に出力する。

　前処理部３４、方向評価部２２、及び積和演算部３５は、それぞれ輪郭方向参照画素毎に方向評価値Ｆ（｜ΔＤ｜）、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び差分値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を積和演算して平滑化差分値Ｙ（ｉ，ｊ）を算出する。ここで、積和演算部３５は、式（９）の代わりに式（１０）を用いる。

　式（１０）において、Ｒｓ（Ｄ（ｉ，ｊ））は、注目画素（ｉ，ｊ）に係る参照画素のうち輪郭方向参照画素を選択する関数（領域選択関数）を表す。つまり、ｕ’，ｖ’∈Ｒｓ（Ｄ（ｉ，ｊ））は、輪郭方向参照画素を示す。従って、積和演算部３５は、式（９）を用いた場合に算出される平滑化差分値Ｙ（ｉ，ｊ）と等しい平滑化差分値Ｙ（ｉ，ｊ）を算出することができる。
　上述したように、参照領域荷重処理部４３は輪郭方向参照画素毎に係る信号値または係数を抽出するため、変形例１と同様な演算結果を得つつ前処理部３４、方向評価部２２、及び積和演算部３５における計算量を低減することができる。

　次に、本変形例に係る画像処理について説明する。
　図３１は、本変形例に係る画像処理を表すフローチャートである。
　本変形例に係る画像処理は、図２９に示す画像処理において、ステップＳ１０３の代わりにステップＳ３０３を有する。ステップＳ３０３は、ステップＳ１０１の後で実行する。ステップＳ１０２の後で、ステップＳ２０４を実行する。ステップＳ２０４－Ｓ２０６は、注目画素毎の各参照画素の代わりに各輪郭方向参照画素について実行する。

（ステップＳ３０３）参照領域荷重処理部４３は、輪郭方向推定部２１から入力された量子化輪郭方向情報に基づいて、画素毎に重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定める。参照領域荷重処理部４３は、定めた重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）のうち、零以外の値をとる重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を、輪郭方向参照画素毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）として選択する。参照領域荷重処理部４３は、選択した重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す参照領域荷重情報を積和演算部３５に出力する。参照領域荷重処理部４３は、入力された量子化輪郭方向情報から各輪郭方向参照画素に係る量子化輪郭方向Ｄ（ｕ，ｖ）を表す量子化輪郭方向情報を抽出し、抽出した量子化輪郭方向情報を方向評価部２２に出力する。参照領域荷重処理部４３は、スケーリング部１３から入力された輝度信号から各輪郭方向参照画素に係る信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出し、抽出した輝度信号を前処理部３４に出力する。その後、ステップＳ１０２に進む。

　以上に説明したように、本変形例では、各画像の輪郭方向から予め定めた範囲の方向にある参照画素毎の重み係数、評価値及び信号値を抽出し、抽出した参照画素毎の重み係数、評価値及び信号値を用いて積和演算を行う。これにより、演算結果に寄与しない重み係数、評価値及び信号値が除外される。従って、視覚上敏感な輪郭方向のノイズを除去又は低減するという効果を損なわずに、演算に係る処理量や記憶部の記憶容量を低減することができる。

（変形例３）
　次に、本実施形態に係る他の変形例３について、上述の実施例と同一の構成又は処理について、同一の符号を付して説明する。本変形例に係る表示装置１（図１参照）は、画像処理部２０（図２）、画像処理部３０（図２８）又は画像処理部４０（図３０）において、高周波拡張部２７の代わりに高周波拡張部３７を備える。
　図３２は、本変形例に係る高周波拡張部３７の構成を表す概略図である。
　高周波拡張部３７は、非線形フィルタ部３８及び合成演算部３９を含んで構成される。
　非線形フィルタ部３８は、２次元高域通過フィルタ部３８１及び非線形演算部３８２を含んで構成される。

　２次元高域通過フィルタ部３８１は、合成演算部２６（又は合成演算部３６）から輝度信号Ｙ’’が入力され、輪郭方向推定部２１から量子化輪郭方向情報が入力される。２次元高域通過フィルタ部３８１は、輝度信号Ｙ’’が表す低域通過信号値Ｙ’’（ｉ，ｊ）に対して量子化輪郭方向情報が表す量子化輪郭方向Ｄ（ｉ，ｊ）に係る高域成分を表す輪郭方向成分信号Ｗ_２Ｄを算出する。２次元高域通過フィルタ部３８１は、算出した輪郭方向成分信号Ｗ_２Ｄを非線形演算部３８２に出力する。２次元高域通過フィルタ部３８１の構成については後述する。

　非線形演算部３８２は、上述の非線形演算部２８２－Ａ又は２８２－Ｂと同様な構成を備える。非線形演算部３８２は、２次元高域通過フィルタ部３８１から入力された方向成分信号Ｗ_２Ｄが表す信号値に上述の非線形演算を行う。非線形演算部３８２は、算出した非線形出力値が表す高周波成分値ＮＬ_２Ｄを合成演算部３９に出力する。

　合成演算部３９は、上述の合成演算部２９と同様な構成を備える。合成演算部３９は、非線形演算部３８２から、入力された高周波成分値ＮＬ_２ＤとパラメータＰｎとの積に低域通過信号値Ｙ’’（ｉ，ｊ）を加算（合成）して高周波拡張信号値Ｚ（ｉ，ｊ）を算出する。合成演算部３９は、算出した高周波拡張信号値Ｚ（ｉ，ｊ）を表す輝度信号Ｚを生成し、スケーリング部１３から入力された輝度信号Ｙを、輝度信号Ｚに更新し、色差信号Ｃｂ、Ｃｒと同期をとる。合成演算部３９は、輝度信号Ｚ及び色差信号Ｃｂ、Ｃｒを含んだ画像信号を画像形式変換部１４に出力する。

　次に、２次元高域通過フィルタ部３８１の構成について説明する。
　図３３は、本変形例に係る２次元高域通過フィルタ部３８１の構成を表す概略図である。
　２次元高域通過フィルタ部３８１は、遅延メモリ３８１１、方向選択部３８１２、乗算部３８１３、フィルタ係数メモリ３８１４及び合成演算部３８１５を含んで構成される。遅延メモリ３８１１は、入力信号を２ｎ＋１個のＷ_ｘサンプル遅延させる遅延素子３８１１－１～３８１１－２ｎ＋１を備える。遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１は、それぞれ入力信号をＷｘ－２ｎ、Ｗｘ－２ｎ＋１、…、Ｗ_ｘサンプル遅延させた２ｎ＋１サンプルの信号値を含む遅延信号を方向選択部３８１２に出力する。
　遅延素子３８１１－１～３８１１－２ｎ＋１は、それぞれ直列に接続されている。遅延素子３８１１－１の一端に、輝度信号Ｙ’’が表す低域通過信号値Ｙ’’（ｉ，ｊ）が入力され、遅延素子３８１１－１の他端は、Ｗ_ｘサンプル遅延させた遅延信号を遅延素子３８１１－２の一端に出力する。遅延素子３８１１－２～３８１１－２ｎ＋１の一端は、遅延素子３８１１－１～３８１１－２ｎの他端からそれぞれ、Ｗ_ｘ～２ｎ・Ｗ_ｘサンプル遅延された遅延信号が入力される。遅延素子３８１１－２ｎ＋１の他端は、（２ｎ＋１）・Ｗ_ｘサンプル遅延させた遅延信号を、それぞれ方向選択部３８１２に出力する。従って、輝度信号Ｙ’’を表す信号値であって、注目画素を中心に互いに水平方向及び垂直方向に隣接する（２ｎ＋１）・（２ｎ＋１）画素の信号値が方向選択部３８１２に出力される。これらの信号値に対応する画素は、注目画素を中心とする参照領域に属する参照画素である。

　方向選択部３８１２は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、注目画素（ｉ，ｊ）から量子化輪郭方向Ｄ又はその方向に近似する方向にある参照画素（ｕ’，ｖ’）を選択する。選択される参照画素は、例えば次の条件を満足する参照画素である。（１）注目画素（ｉ，ｊ）の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素（ｕ’，ｖ’）である。（２）当該線分が通過する水平方向又は垂直方向の長さが、０．５画素又は０．５画素よりも長い。（３）水平方向、垂直方向のうち少なくとも一方向の２ｎ＋１個の各座標について各１個の参照画素を選択する。以下、選択された参照画素を選択参照画素と呼ぶことがある。
　方向選択部３８１２は、２ｎ＋１個の各座標について各１個の参照画素が選択された方向（以下、選択座標方向と呼ぶことがある）が、水平方向、垂直方向又はその両者かを判断する。方向選択部３８１２は、例えば、選択座標方向のインデックスの降順に２ｎ＋１個の選択参照画素に係る信号値を乗算部３８１３に出力する。
　なお、方向選択部３８１２は、量子化輪郭方向毎の選択参照画素を表す選択参照画素情報が予め記憶された記憶部を備え、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）に対応した選択参照画素情報を選択してもよい。これにより、方向選択部３８１２は、選択した選択参照画素情報が表す選択参照画素に係る信号値を乗算部３８１３に出力する。

　次に、選択参照画素の例について説明する。
　図３４は、選択参照画素の例を示す概念図である。
　図３４の横軸、縦軸の関係、量子化輪郭方向を示す矢印は、それぞれ図１７と同様である。
　原点の右横の数値０から反時計回りに７までの上半平面に向かう各矢印の進行方向にある格子状の図形は、それぞれ量子化輪郭方向Ｄ（ｉ，ｊ）に対応した選択参照画素Ｒ_ｓ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を示す。図３４において、参照画像の数は、水平方向７個、垂直方向７個である。格子状の図形に含まれる各四角形の中に示されている数値は、各画素が選択参照画素であるか否かを示す数値Ｒ_ｓ（０，ｕ’，ｖ’）である。１は、選択参照画素であることを示し、０は、選択参照画素ではないことを示す。
　例えば、量子化輪郭方向０に対応する選択参照画素Ｒ_ｓ（０，ｕ’，ｖ’）は、第４列目の全ての参照画素である。その他の列の参照画素については全て選択参照画素ではない。即ち、量子化輪郭方向０に対する選択座標方向は垂直方向である。量子化輪郭方向５に対応する選択参照画素は、第５行第１列、第５行第２列、第４行第３列、第４行第４列、第４行第５列、第３行第６列、第３行第７列である。即ち、量子化輪郭方向５に対する選択座標方向は垂直方向よりも水平方向に近い右斜め上の方向である。

　図３３に戻り、乗算部３８１３は、２ｎ＋１個の乗算器３８１３－１～３８１３－２ｎ＋１を含んで構成される。乗算器３８１３－１～３８１３－２ｎ＋１は、方向選択部３８１２から入力された各信号値と、フィルタ係数メモリ３８１４から読み出した各フィルタ係数を乗算し、乗算値をそれぞれ合成演算部３８１５に出力する。ここで、乗算器３８１３－１～３８１３－２ｎ＋１の順序が、その各々に入力される信号値の順序（選択座標方向のインデックスの降順）が一致するように、当該信号値が入力される。
　フィルタ係数メモリ３８１４は、乗算器３８１３－１～３８１３－２ｎ＋１で各々用いられる２ｎ＋１個のフィルタ係数ａ_Ｄ－ｎ、ａ_{Ｄ－ｎ＋１}、～ａ_Ｄ＋ｎが予め記憶されている。フィルタ係数ａ_Ｄ－ｎ、ａ_{Ｄ－ｎ＋１}、～ａ_Ｄ＋ｎは、信号値との積和演算によって高域通過フィルタを実現する高域通過フィルタ係数である。この高域通過フィルタ係数は、上述のフィルタ係数ａ_Ｄ－ｎ、ａ_{Ｄ－ｎ＋１}、～ａ_Ｄ＋ｎと同様な高域通過特性を有し、直流成分を遮断する特性を有する値であってもよい。合成演算部３８１５は、乗算部３８１３から入力された２ｎ＋１個の乗算値を加算して、それらの総和である信号値を有する輪郭方向成分信号Ｗ_２Ｄを生成する。合成演算部３８１５は、生成した輪郭方向成分信号Ｗ_２Ｄを非線形演算部３８２に出力する。

　次に、本変形例に係る画像処理について説明する。
　図３５は、本変形例に係る画像処理を表すフローチャートである。
　本変形例に係る画像処理は、図３１に示す画像処理において、ステップＳ１０７の代わりにステップＳ４０７を有する。

（ステップＳ４０７）高周波拡張部３７は、合成演算部２６（又は合成演算部３６）から入力された輝度信号Ｙ’’について、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す量子化輪郭方向Ｄ（ｉ，ｊ）に係る高域成分を表す輪郭方向成分信号Ｗ_２Ｄを算出する。高周波拡張部３７は、輪郭方向成分信号Ｗ_２Ｄが表す信号値に対して非線形演算を行い、高周波成分を表す高周波成分値ＮＬ_２Ｄを算出する。高周波拡張部３７は、高周波成分値ＮＬ_２ＤとパラメータＰｎとの積を輝度信号Ｙ’’が表す低域通過信号値Ｙ’’（ｉ，ｊ）と合成して高周波拡張信号値Ｚ（ｉ，ｊ）を算出する。高周波拡張部２７は、算出した高周波拡張信号値Ｚ（ｉ，ｊ）を表す輝度信号を画像形式変換部１４に出力する。その後、処理を終了する。

　以上に説明したように、本変形例では、各注目画像の輪郭方向の高周波成分を生成し、生成した高周波成分と、輪郭方向に平滑化された低域成分を合成する。これにより、視覚上敏感な輪郭方向のノイズを除去又は低減し、輪郭方向に垂直な接線方向に延びる画像を先鋭化することができる。

（処理例）
　次に、本実施形態に係る処理を行って生成した画像の例について説明する。以下では、パラメータＰｎの値を１、パラメータＰｍの値を１として説明する。
　図３６は、処理前後の輝度信号に係る画像の例（画像８６－８８）を表す。
　画像８６は、低解像度画像に係る輝度信号を拡大率３倍でスケーリングした輝度信号が表す画像である。画像８６の明るい領域と暗い領域の境界に階段状のノイズ（ジャギー）が発生し、不明瞭な境界（ぼけ）が表されている。
　画像８７は、画像８６に係る輝度信号に対して本実施形態例に係る処理を行って得られた輝度信号が表す画像である。画像８７において、明るい領域と暗い領域の境界は滑らかであり、階段状のノイズが解消し、境界が明瞭に表されている。
　画像８８は、画像８６に係る輝度信号に対して、従来から行われていた高域成分を強調する処理によって得られた輝度信号が表す画像である。画像８８では、明るい領域と暗い領域の境界は、画像８６よりも明瞭であるが、画像８６に表れていた階段状のノイズも明瞭に表されている。
　これにより、本実施形態に係る処理によりノイズが低減するとともに画像が先鋭化することが明瞭に示されている。

　図３７は、処理前後の画像の空間周波数特性の例（画像８９－９２）を表す。
　画像８９－９２の左右方向は、水平方向の空間周波数、上下方向は、垂直方向の空間周波数を表す。画像８９－９２の中心は、それぞれ空間周波数がゼロ、即ち直流成分を表す。画像８９－９２は、各空間周波数におけるレベルの大きさを濃淡で示す画像である。明るい部分ほどレベルが大きく、暗い部分ほどレベルが小さい。
　画像８９は、上述の低解像度画像の空間周波数特性を表す。画像８９において、右斜め上から左斜め下に分布する各点は、対応する空間周波数成分が上述の低解像度画像に含まれることを表す。
　画像９０は、画像８６の空間周波数特性を表す画像である。画像９０では、右斜め上から左斜め下に分布する点が表されているが、上端、下端の破線で囲まれた部分に点が表れていない。このことは、画像８６を生成する際のスケーリングの過程で高域成分が遮断されたことを表す。この高域成分の欠落が、境界が不明瞭になる原因になる。他方、画像９０の左右両側の一点破線で囲まれた部分に点が表れている。これは、スケーリングに伴ってエイリアシングが発生していることを表す。このエイリアシングが画像８６に階段状のノイズに対応する。

　画像９１は、画像８７、つまり本実施形態に係る処理により得られた画像の空間周波数特性を表す画像である。画像９１では、破線で囲まれた部分でも画像８９と同様な点が表れている。これは、画像８６で欠落した高域成分が補われ、画像８７において境界が明瞭になることを示す。また、画像９１には、画像９０の一点破線で囲まれた部分と同一の周波数領域で点が表れていない。これは、画像８６に表れた階段状のノイズが除去されたことを表す。
　画像９２は、画像８６、つまり高域成分を強調する処理により得られた画像の空間周波数特性を表す画像である。画像９２の左上及び右下の一点破線で囲まれた部分に、点が画像９０よりも顕著に表れている。これは、高域成分を強調することによってエイリアシングも強調され、画像８８において階段状のノイズが明瞭に表れることを示す。

　次に、本実施形態において使用又は生成したデータの例について説明する。
　図３８は、本実施形態において使用又は生成したデータの空間周波数特性（画像９３－９７）を表す。
　画像９３－９７の左右方向は水平方向の空間周波数、上下方向は垂直方向の空間周波数を表す。画像９３－９７の中心が、空間周波数がそれぞれゼロ、即ち直流成分を表す。画像９４、９６、９７において、明るい部分ほどレベルが大きく、暗い部分ほどレベルが小さいことを示す。
　画像９３は、低域フィルタ部２０ａの輝度信号Ｙに対するフィルタ特性を示す画像である。画像９３において、塗りつぶされた領域が遮断領域、白抜きの領域が通過領域を示す。通過領域は、右上から左下に延びる、帯状の領域である。従って、低域フィルタ部２０ａは、輪郭方向に対応する空間周波数成分のうち、遮断周波数よりも低い周波数成分を通過させ、その他の方向に対応する空間周波数成分を帯域制限せずに通過する。これにより、低域フィルタ部２０ａは、輪郭方向への信号値の平滑化を行う。遮断周波数は、選択される方向評価領域荷重によって異なる可能性があるが、参照領域の大きさ（一方向の画素数）を上述のように２ｎ＋１と定めておけば、平均的にｆ_ｓ/（２・ｎ）よりも小さくなる。ｆ_ｓは、処理対象の輝度信号のサンプリング周波数であり、ｆ_ｓ/（２・ｎ）は拡大される前の輝度信号のナイキスト周波数ｆ_ｎｙｑ’に相当する。
　画像９４は、低域フィルタ部２０ａが出力する低域通過信号値Ｙ’’（ｉ，ｊ）で表される輝度信号Ｙ’’の空間周波数特性を表す画像である。画像９４において、画像９０のうち中央部を通過する各点が表され、左右両側の各点が表れていない。これは、低域フィルタ部２０ａにより、輪郭方向に対応する空間周波数成分が抽出されたことによる。これにより、エイリアシングによって生じた階段状のノイズが除去されていることを示す。

　画像９５は、水平高域通過フィルタ部２８１－ｈのフィルタ特性と垂直高域通過フィルタ部２８１－ｖのフィルタ特性を合成したフィルタ特性を示す画像である。画像９３において、塗りつぶされた領域が遮断領域、白抜きの領域が通過領域を示す。通過領域は、原点を中心とする四角形の遮断領域を囲む枠状の領域である。
　画像９６は、低域通過信号値Ｙ’’（ｉ，ｊ）に水平高域通過フィルタ部２８１－ｈと垂直高域通過フィルタ部２８１－ｖを通過させて得られる方向成分信号Ｗの空間周波数特性を示す画像である。画像９６の中心部では、画像９４に表された点が表れていない。このことは、画像９４が示す空間周波数成分のうち、画像９５が示す通過帯域の成分が抽出されることを示す。
　画像９７は、非線形演算部２８２－Ａに方向成分信号Ｗを入力して得られた高周波成分値ＮＬ_Ａの空間周波数特性を示す画像である。ここで、画像９７は、画像９６には表れていないか、不明瞭だった上端及び下端付近の点が明瞭に表れている。このことは、輪郭方向に垂直な方向に対する高周波数成分が生成されたことを表す。また、画像９１が示す空間周波数特性は、画像９７が示す空間周波数特性と画像９４が示す空間周波数特性が相補したものに相当し、画像８９の空間周波数特性を近似する。このことからも、本実施形態において、低域通過信号値Ｙ’’（ｉ，ｊ）と高周波成分値ＮＬＡを合成して高周波拡張信号値Ｚ（ｉ，ｊ）を生成することによって、ノイズを低減しながら画像が先鋭化できることを裏付ける。

　次に、非線形演算によって生成した高周波成分の例について説明する。
　ここで、入力値ｘとして入力周波数の正弦波に対して、関数ｆ（ｘ）を演算して得られる出力値ｙの出力周波数を示す。
　図３９は、非線形演算による出力周波数の一例を表す図である。
　図３９において、縦軸は入力周波数、横軸は出力周波数を示す。図３９では、入力周波数が０からｆ_ｓ/４まで変化させた場合に、関数ｆ（ｘ）＝ｓｇｎ（ｘ）｜ｘ｜^２を用いて得られる出力周波数を示す。ｆｓは、サンプリング周波数である。図３９において、入力周波数を太い実線で示し、出力値のうち最もレベルの高い成分の周波数を太い破線で表す。太い破線は、入力周波数が０からｆ_ｓ/４まで変化させた場合、出力周波数が０から３・ｆ_ｓ/４まで変化することを示す。即ち、入力周波数の３倍である３倍高調波が主に出力される。これにより、入力値ｘに関数ｆ（ｘ）を演算することで、入力値ｘには含まれていない高周波成分が得られることが示される。

　図４０は、非線形演算による出力周波数のその他の例を表す図である。
　図４０において、縦軸、横軸、入力周波数については、図３９と同様である。但し、図４０では、関数ｆ（ｘ）＝｜ｘ｜^３を用いて得られる出力周波数を示す。図４０において、出力周波数を太い破線で表す。太い破線は、入力周波数が０からｆ_ｓ/４まで変化させた場合、出力周波数が０から３・ｆ_ｓ/４まで変化することを示す。入力周波数の３倍である３倍高調波がもっぱら出力される。図３９に示す場合と同様に、入力値ｘに関数ｆ（ｘ）を演算することで、入力値ｘには含まれていない高周波成分が得られるが、３倍高調波以外の成分は出力されない。

　上述した実施形態では、アンテナは、テレビジョン放送に係る電波に限らず、公衆無線通信に係る電波を受信するものであってもよい。
　上述では、生成した画像信号の表色系がＹＣｂＣｒ表色系であることを前提として説明した。生成した画像信号が、各色の輝度を示す信号値からなる表色系で表されている場合（例えば、ＲＧＢ表色系）には、画像処理部２０は、各色の信号値に対して処理を行うようにしてもよい。

　上述した実施形態において、輪郭方向推定部２１は、画素毎に算出した輪郭方向θ（量子化前）を、注目画素を中心とする予め定めた数（例えば、水平方向３個、垂直方向３個、計９個）の互いに隣接した画素からなる画像ブロック内で平均してもよい。輪郭方向推定部２１は、平均した輪郭方向を量子化する。これにより、局所的に顕著に生じうる輪郭方向の誤差を画素間で平滑化して、全体として自然な画像を再現することができる。

　上述した実施形態において、差分フィルタにおいて、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が１である差分方向（ｘ方向）の範囲とフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が－１である差分方向の範囲は、差分方向と垂直な方向（ｙ方向）に対して同一でなくてもよい。フィルタ係数Ｗｘ（ｕ’，ｖ’）が１である差分方向の範囲とフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が－１である差分方向の範囲が、ｕ’＝０に対して対称であって、ｖ’＝０の場合にｎ又はｎよりも大きければよい。例えば、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が１である差分方向の範囲が、ｖ’＝０の場合にｎであって、ｖ’≠０の場合にｎよりも小さくてもよい。同様に、フィルタ係数Ｗｙ（ｕ’，ｖ’）が１である差分方向（ｙ方向）の範囲とフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が－１である差分方向の範囲は、差分方向と垂直な方向（ｘ方向）に対して同一でなくてもよい。フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が１である差分方向の範囲とフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が－１である差分方向の範囲が、ｖ’＝０に対して対称であって、ｕ’＝０の場合にｎ又はｎよりも大きければよい。例えば、フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が１である差分方向の範囲が、ｕ’＝０の場合にｎであって、ｕ’≠０の場合にｎよりも小さくてもよい。

　なお、上述した実施形態における表示装置１の一部、例えば、入力部１１、スケーリング部１３、画像形式変換部１４、及び画像処理部２０、３０、４０をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における表示装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

Claims (5)

1. 　信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、
   　前記画素の各々について、該画素に応じた参照領域の画素である参照画素であって、前記輪郭方向推定部が推定した該画素の輪郭方向に配列された参照画素毎の信号値に基づいて該画素の信号値を平滑化する低域フィルタ部と、
   　入力画像信号の解像度と出力画像信号の解像度との比に基づいて求められる拡大率に応じて、前記低域フィルタ部による平滑化の強さを決定するパラメータ決定部とを備える、画像処理装置。
2. 　前記入力画像信号が入力される複数の入力端子をさらに備え、
   　前記パラメータ決定部は、前記複数の入力端子うち、入力画像信号が入力された入力端子の種類に基づいて前記入力画像信号の解像度を判別する、請求項１に記載の画像処理装置。
3. 　前記入力画像信号の解像度と前記出力画像信号の解像度との比である解像度比を求め、前記解像度比に基づいて前記入力画像の補間を行い、前記解像度比を前記パラメータ決定部に出力するスケーリング部をさらに備え、
   　前記パラメータ決定部は、前記解像度比を前記拡大率として用いる、請求項１に記載の画像処理装置。
4. 　前記入力画像信号が入力される複数の入力端子と、
   　前記入力画像信号の解像度と前記出力画像信号の解像度との比である解像度比を求め、前記解像度比に基づいて前記入力画像の補間を行い、前記解像度比を前記パラメータ決定部に出力するスケーリング部とをさらに備え、
   　前記パラメータ決定部は、
   　前記複数の入力端子うち、入力画像信号が入力された入力端子の種類から前記入力画像信号の解像度が一意に判別できる場合には、前記入力端子の種類に基づいて前記入力画像信号の解像度を判別し、
   　前記複数の入力端子うち、入力画像信号が入力された入力端子から前記入力画像信号の解像度が一意に判別できない場合には、前記解像度比を前記拡大率として用いる、請求項１に記載の画像処理装置。
5. 　前記画素の各々について、該画素の信号値の高周波成分を生成して該画素の信号値について周波数帯域を拡張する高周波拡張部をさらに備え、
   　前記パラメータ決定部は、前記拡大率に応じて、高周波拡張部による処理の強さを決定する、請求項１～４のいずれか一項に記載の画像処理装置。

Images