WO2014024691A1

WO2014024691A1 - 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置

Info

Publication number: WO2014024691A1
Application number: PCT/JP2013/070169
Authority: WO
Inventors: 善光村橋
Original assignee: シャープ株式会社
Priority date: 2012-08-07
Filing date: 2013-07-25
Publication date: 2014-02-13
Also published as: US20150228058A1; US9558535B2

Abstract

　本発明の一態様に係る画像処理装置は、輪郭方向推定部と、方向評価部と、参照領域荷重処理部と、合成演算部と、を備える。輪郭方向推定部は、画素毎の信号値が一定の値である輪郭方向を画素毎に推定し、方向評価部は、前記画素の各々について、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定め、参照領域荷重処理部は、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定め、合成演算部は、該画素の前記参照画素の信号値を用いて、前記方向評価部が定めた評価値と前記参照領域荷重処理部が定めた重み係数に基づいて該画素の信号値を平滑化する。

Description

画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置

　本発明は、画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置に関する。
　本願は、２０１２年８月７日に、日本に出願された特願２０１２－１７４８１０号に基づき優先権を主張し、その内容をここに援用する。

　情報通信技術の普及により多様な条件で制作された画像コンテンツを、制作時とは異なる条件で視聴できるようにすることで、画像コンテンツを有効に活用することが要請されている。例えば、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ　Ｔｅｌｅｖｉｓｉｏｎ）、等では、元来、携帯端末装置等で視聴するための比較的低い解像度の画像コンテンツ（いわゆるネット動画、等）を、高解像度の画像表示装置に表示する場合がある。ここで、解像度が水平方向６４０画素、垂直方向３６０画素である画像コンテンツを、水平方向１９２０画素、垂直方向１０８０画素のフルハイビジョン（フルＨＤ、ｆｕｌｌ　Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）規格に対応したディスプレイに表示する。そのような場合には、画像コンテンツに含まれる画素毎の信号値を画素間で信号値を補間して解像度を高くして変換することがある（アップスケーリング[ｕｐｓｃａｌｉｎｇ]、アップコンバート[ｕｐｃｏｎｖｅｒｔ]とも呼ばれる）。

　そのため、解像度を高くした画像には、次に述べるノイズが顕著に表れることがある。
（１）ジャギー：斜線や曲線に表れる階段状の輪郭、（２）モスキートノイズ：圧縮符号化した符号を復号すると濃淡や色信号値が急激に変化する部分やその周辺に表れる波状のノイズ、（３）ドット妨害：コンポジット信号から輝度信号と色差信号の分離（ＹＣ分離）が不適切な場合、色彩が変化する境界に粒状に表れるノイズ。

　そこで、特許文献１に記載の処理装置では、入力される現フレーム／フィールド上で現ピクセルに基づいて所定サイズのウィンドウを設定し、ウィンドウの特性を判断するための固有値および固有ベクトルを算出し、算出された固有値に基づいてウィンドウの特性を判断した後、その判断結果に基づいてフィルタリングに適用すべきフィルタリング荷重値を決め、算出された固有ベクトルおよび決定されたフィルタリング荷重値に基づいてウィンドウをフィルタリングする。また、固有ベクトルは、勾配方向を示す第１固有ベクトルとエッジ方向を示す第２固有ベクトルを含み、固有値は、勾配方向への分散を示す第１固有値とエッジ方向への分散を示す第２固有値を示す。そして、第１固有値と第２固有値の比率が第１閾値以下であれば、ウィンドウがコーナ領域であると判断してフィルタリング荷重値を０とし、その比率が第２閾値以上であればウィンドウがエッジ領域であると判断してフィルタリング荷重値を１とする。

特開２００５－３５３０６８号公報

　しかしながら、特許文献１に記載の処理装置では固有値や固有ベクトルを算出するために演算量が過大になるという課題があった。また、１つのウィンドウに異なる方向のエッジ（例えば、コーナ端、微細な線画、等）が含まれると、第１固有値と第２固有値の比率が低下してコーナ領域と判断される場合が多くなる。そのために、実質的にフィルタリングが行われずジャギー等のノイズを除去又は低減できなかった。

　本発明は、過大な演算量を要することなくノイズを除去又は低減することができる画像処理装置、画像処理方法、画像処理プログラム又は画像表示装置を提供する。

（１）本発明の一態様に係る画像処理装置は、信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、前記画素の各々について、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める方向評価部と、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める参照領域荷重処理部と、該画素の前記参照画素の信号値を用いて、前記方向評価部が定めた評価値と前記参照領域荷重処理部が定めた重み係数に基づいて該画素の信号値を平滑化する合成演算部と、を備える。

（２）上述の画像処理装置において、前記参照領域荷重処理部は、該画素の輪郭方向から予め定めた範囲の方向にある前記参照画素の重み係数を、前記予め定めた範囲以外の方向にある前記参照画素の重み係数よりも大きい値に定めるように構成されていてもよい。

（３）上述の画像処理装置において、前記方向評価部は、該画素の輪郭方向と該画素の前記参照画素との輪郭方向の差が小さいほど、大きくなるように前記評価値を定めるように構成されていてもよい。

（４）上述の画像処理装置において、前記合成演算部は、該画素に応じた参照画素毎の信号値と該画素の信号値との差分値に基づいて、該画素の信号値を平滑化するように構成されていてもよい。

（５）上述の画像処理装置において、前記合成演算部は、該画素の輪郭方向から予め定めた範囲の方向にある参照画素毎の重み係数及び評価値を用いて、該画素の信号値を平滑化するように構成されていてもよい。

（６）本発明の他の態様に係る画像表示装置は、信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、前記画素の各々について、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める方向評価部と、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める参照領域荷重処理部と、該画素の前記参照画素の信号値を用いて、前記方向評価部が定めた評価値と前記参照領域荷重処理部が定めた重み係数に基づいて該画素の信号値を平滑化する合成演算部と、を備える。

（７）本発明の他の態様に係る画像処理方法は、画像処理装置における画像処理方法であって、前記画像処理装置が、信号値が一定の値である輪郭方向を画素毎に推定する工程と、前記画像処理装置が、前記画素の各々について、前記推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める工程と、前記画像処理装置が、前記推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める工程と、前記画像処理装置が、該画素の前記参照画素の信号値を用いて、前記定めた評価値と前記定めた重み係数に基づいて該画素の信号値を平滑化する工程とを有する。

（８）本発明の他の態様に係る画像処理プログラムは、画像処理装置のコンピュータに、信号値が一定の値である輪郭方向を画素毎に推定する工程と、前記画素の各々について、前記推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める工程と、前記推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める工程と、該画素の前記参照画素の信号値を用いて、前記定めた評価値と前記定めた重み係数に基づいて該画素の信号値を平滑化する工程と、を実行させる。

　本発明の態様によれば、過大な演算量を要することなくノイズを除去又は低減することができる。

本発明の実施形態に係る表示装置の構成を表す概略図である。本実施形態に係る画像処理部の構成を表す概略図である。輪郭の一例を表す概念図である。参照領域の一例を表す概念図である。ｘ方向の差分フィルタの一例を表す概念図である。ｙ方向の差分フィルタの一例を表す概念図である。ｘ方向偏微分の一例を表す概念図である。ｙ方向偏微分の一例を表す概念図である。量子化輪郭方向の候補の一例を示す。量子化輪郭方向の計算例を示す概念図である。参照領域荷重の一例を示す概念図である。参照領域荷重のその他の例を示す概念図である。方向評価値の一例を示す概念図である。方向評価値のその他の例を示す概念図である。方向評価領域荷重の一例を示す概念図である。方向評価領域荷重のその他の例を示す概念図である。平滑化対象画素の一例を表す概念図である。処理対象画像の一例を示す概念図である。処理対象画像の他の例を示す概念図である。各輪郭領域に属する画素毎の信号値を示す図である。本実施形態に係る画像処理を表すフローチャートである。本実施形態の一変形例に係る画像処理部の構成を表す概略図である。本変形例に係る画像処理を表すフローチャートである。本実施形態のその他の変形例に係る画像処理部の構成を表す概略図である。本変形例に係る画像処理を表すフローチャートである。本実施形態に係る処理前後の輝度信号に係る画像の例を表す。本実施形態に係る処理前後の輝度信号に係る画像の他の例を表す。本実施形態に係る処理前後の輝度信号に係る画像のその他の例を表す。従来技術及び本実施形態に係る処理前後の輝度信号に係る画像の例を表す。

　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
　図１は、本発明の実施形態に係る表示装置１の構成を表す概略図である。
　表示装置１は、入力部１１、Ｙ／Ｃ（輝度信号／色差信号）分離部１２、スケーリング部１３、画像処理部２０、画像形式変換部１４及び表示部１５を含んで構成される。また、表示装置１は、アンテナ１０に接続されている。アンテナ１０は、例えば、テレビジョン放送に係る電波として高周波信号を受信し、受信した高周波信号を表示装置１に出力する。

　入力部１１には、外部から画像信号が入力される。入力部１１は、例えば、アンテナ１０から入力された高周波信号から指定されたチャネルに係る変調信号を抽出し、抽出した変調信号を基底周波数帯域の変調信号に変換する。入力部１１は、変換した変調信号をＹ／Ｃ分離部１２に出力する。
　Ｙ／Ｃ分離部１２は、入力部１１から入力された変調信号を復調して画像信号を生成し、生成した画像信号からアナログの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒに分離する。Ｙ／Ｃ分離部１２は、分離したそれぞれの信号を、予め定めたサンプリング周波数でアナログ信号からディジタル信号に変換する。Ｙ／Ｃ分離部１２は、変換したディジタルの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒを含む画像信号をスケーリング部１３に出力する。

　スケーリング部１３は、Ｙ／Ｃ分離部１２から入力された画像信号の解像度（画素数）が、表示部１５の解像度と異なる場合には、表示部１５の解像度と等しくなるように入力された画像信号の解像度を調整（スケーリング）する。入力された画像の解像度よりも表示部１５の解像度の方が大きい場合には、スケーリング部１３は、入力された画像信号に対して、補間を行う。入力された画像の解像度よりも表示部１５の解像度の方が小さい場合には、スケーリング部１３は、入力された画像信号に対して、ダウンサンプリングを行う。スケーリング部１３は、補間又はダウンサンプリングのための方式として、例えばバイキュービック（ｂｉｃｕｂｉｃ）法、バイリニア（ｂｉｌｉｎｅａｒ）法、等の方式を用いる。スケーリング部１３は、解像度を調整した画像信号を画像処理部２０に出力する。入力された画像信号の解像度と表示部１５の解像度が等しい場合には、入力された画像信号を画像処理部２０に出力する。
　なお、以下の説明では、表示部１５の水平方向（又は垂直方向）の画素数の、入力された画像信号の水平方向（又は垂直方向）の画素数に対する比を拡大率と呼ぶ。例えば、入力された画像信号の解像度が水平方向６４０画素、垂直方向３６０画素であり、表示部１５の解像度が水平方向１９２０画素、垂直方向１０８０画素である場合には、拡大率は３である。

　画像処理部２０は、スケーリング部１３から入力された画像信号のうち輝度信号Ｙについてノイズの低減に係る処理を行い、ノイズが低減した画像を示す輝度信号Ｙ’’を生成する。画像処理部２０は、スケーリング部１３から入力された輝度信号Ｙを、生成した輝度信号Ｙ’’に更新し、色差信号Ｃｂ、Ｃｒと同期をとる。画像処理部２０は、輝度信号Ｙ’’及び色差信号Ｃｂ、Ｃｒを含んだ画像信号を画像形式変換部１４に出力する。画像処理部２０の構成及び処理については、後述する。

　画像形式変換部１４は、画像処理部２０から入力された画像信号の形式を変換する。画像形式変換部１４は、入力された画像信号がインターレース（ｉｎｔｅｒｌａｃｅ）信号である場合、その画像信号をプログレッシブ（ｐｒｏｇｒｅｓｓｉｖｅ）信号に形式を変換する。インターレース信号とは、画素に対する水平方向への走査を１列おきに行って構成された信号であって、走査対象の列がフレーム毎に異なる信号である。プログレッシブ信号とは、画素に対する水平方向への走査を列毎に行って構成された信号である。画像形式変換部１４は、入力された画像信号又は形式を変換した画像信号を表示部１５に応じた表色系で表された画像信号（例えば、ＲＧＢ信号、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の信号値を含む画像信号）に変換し、変換した画像信号を表示部１５に出力する。

　表示部１５は、画像形式変換部１４から入力された画像信号が表す画像を表示する。表示部１５は、例えばフルハイビジョン（フルＨＤ（ｆｕｌｌ　ｈｉｇｈ　ｄｅｆｉｎｉｔｉｏｎ）とも呼ばれる）方式、つまり解像度が水平方向１９２０画素、垂直方向１０８０画素の液晶ディスプレイである。表示部１５は、赤、緑、青の各色の画素素子が２次元に配列されている。これにより表示部１５は、入力された画像信号が表す画素毎の信号値に応じた輝度で、それぞれの画素素子を通じ、例えばバックライト光を放射してカラー画像を表示する。

（画像処理部２０の構成）
　次に、画像処理部２０の構成について説明する。
　図２は、本実施形態に係る画像処理部２０の構成を表す概略図である。
　画像処理部２０は、輪郭方向推定部２１、方向評価部２２、参照領域荷重処理部２３、前処理部２４、積和演算部２５及び合成演算部２６を含んで構成される。

　輪郭方向推定部２１は、スケーリング部１３から入力された輝度信号Ｙが表す画素毎の信号値（輝度値）に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、本発明で改善対象とする輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、信号値が画素毎の座標を表す空間において微分可能（即ち、連続）であると仮定する。輪郭方向推定部２１は、画素毎に信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば式（１）に基づいて輪郭方向θを算出する。

　式（１）において、輪郭方向θは、水平方向（ｘ方向）を基準とした左回りの角度である。ｘ、ｙは、それぞれ水平方向、垂直方向の座標である。Ｙ（ｘ，ｙ）は、座標（ｘ，ｙ）における信号値である。即ち、輪郭方向θは、信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分を、信号値Ｙ（ｘ，ｙ）のｙ方向への偏微分で除算した正接値を与える角度として算出される。式（１）は、座標（ｘ，ｙ）が異なっても信号値Ｙ（ｘ，ｙ）が一定という関係から導き出すことができる。ここで、Ｇ_ｘ（ｘ，ｙ）、Ｇ_ｙ（ｘ，ｙ）は、それぞれ信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分、ｙ方向への偏微分を表す。以下の説明では、Ｇ_ｘ（ｘ，ｙ）、Ｇ_ｙ（ｘ，ｙ）を、それぞれｘ方向偏微分、ｙ方向偏微分と呼ぶことがある。
　以下の説明では特に断らない限り、画素（ｉ，ｊ）の位置（座標）は、その画素の重心点を指す。また、その画素の位置における変数ａを、ａ（ｉ，ｊ）等と表す。

　輪郭方向推定部２１は、例えば、それぞれ式（２）、（３）を用いて各画素（ｉ，ｊ）における信号値Ｙ（ｉ，ｊ）のｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）を算出する。

　式（２）、（３）において、ｉ、ｊは、それぞれ注目画素のｘ方向、ｙ方向のインデックスを示す整数値である。注目画素とは、直接の処理対象として注目される画素である。Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）は、それぞれｘ方向、ｙ方向の差分フィルタのフィルタ係数を示す。ｕ、ｖは、それぞれ、参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。参照画素とは、注目画素を基準として予め定められた規則により決まる範囲内にある画素であって、注目画素に対する処理を行う際に参照される画素である。参照画素は、注目画素を含む。ｕ’、ｖ’は、それぞれ、注目画素を原点としたときの参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。従って、ｕ＝ｉ＋ｕ’、ｖ＝ｊ＋ｖ’である。

　前述の差分フィルタは、例えば、ｘ方向に２ｎ＋１個、ｙ方向に２ｎ＋１個（計（２ｎ＋１）・（２ｎ＋１）個）の参照画素の各々ｕ’，ｖ’に対してフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）を有する。以下の説明では、このフィルタ係数が与えられる参照画素が属する領域を参照領域と呼ぶことがある。ｎは、１よりも大きい整数値（例えば、２）である。ここで、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）、Ｗ_ｙ（ｕ’，ｖ’）は、注目画素を基準として正方向の参照画素に対して１、注目画素と同一の差分方向（ｘ方向）の座標値を有する参照画素に対して０、注目画素を基準として負方向の参照画素に対して－１である。即ち、ｘ方向の差分フィルタのフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）は、１（０＜ｕ’≦ｎ）、０（ｕ’＝０）、－１（０＞ｕ’≧－ｎ）である。ｙ方向の差分フィルタのフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）は、１（０＜ｖ’≦ｎ）、０（ｖ’＝０）、－１（０＞ｖ’≧－ｎ）である。また、ｎは、画像の拡大率と等しいか、その拡大率よりも大きい整数値である。これにより、注目画素に対して正方向、負方向各々に対して、信号値が平滑化されるため、輪郭の方向を推定する場合において、ジャギー、モスキートノイズ、ドット妨害など輪郭周りのノイズの影響を受けにくくなる。但し、ｎが大きくとり注目画素から離れた参照画素を考慮すると、本来、局所的な値である偏微分値が正しく算出されないことがある。従って、ｎを、予め定めた最大値よりも小さい値、例えば、拡大率と等しい整数値もしくは拡大率の小数点以下の桁を切り上げた整数値、又はこれらの整数値の何れかよりも予め定めた値だけ大きい値と定めておく。

　輪郭方向推定部２１は、算出したｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）に基づいて算出した輪郭方向θ（ｉ，ｊ）を量子化し、量子化した輪郭方向を表す量子化輪郭方向Ｄ（ｉ，ｊ）を算出する。輪郭方向推定部２１は、量子化輪郭方向Ｄ（ｉ，ｊ）を算出する際、例えば、式（４）を用いる。

　式（４）において、ｒｏｕｎｄ（…）は、実数…の小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ｎ_ｄは、量子化された輪郭方向の数（量子化輪郭方向数）を表す定数である。量子化輪郭方向数Ｎ_ｄは、例えば、８から３２の間のいずれかの値である。つまり、量子化輪郭方向Ｄ（ｉ，ｊ）は、輪郭方向θを、量子化間隔をπ/Ｎ_ｄで除算した値を丸め、０からＮ_ｄ－１までのいずれかの整数で表される。これにより、輪郭方向θの自由度を制約して、後述する処理の負荷を低減する。なお、ゼロ除算を回避するために、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の絶対値｜Ｇ_ｘ（ｉ，ｊ）｜が予め定めた微小な実数値（例えば、１０^－６）よりも小さい場合には、ｔａｎ^－１をπ/２とする。また、演算処理システムによっては、前述の除算による誤差やゼロ除算を避けるため、Ｇ_ｘとＧ_ｙ２つの引数を有する正接関数が用意されている場合があるが、これを利用してｔａｎ^－１を求めても良い。
　輪郭方向推定部２１は、算出した量子化輪郭方向Ｄ（ｉ，ｊ）を表す量子化輪郭方向情報を方向評価部２２及び参照領域荷重処理部２３に出力する。

　方向評価部２２は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。ここで、方向評価部２２は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）の量子化輪郭方向Ｄ（ｕ，ｖ）との差が小さいほど、方向評価値が大きくなるように当該参照画素の方向評価値を定める。例えば、方向評価部２２は、例えば、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）の差分値ΔＤ＝Ｄ（ｕ，ｖ）－Ｄ（ｉ，ｊ）を算出する。ここで差分値ΔＤが０、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しいとき、方向評価値Ｆ（｜ΔＤ｜）を最大値１と定める。差分値ΔＤが０ではない場合、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しくない場合に、方向評価値Ｆ（｜ΔＤ｜）を最小値０と定める。
　方向評価部２２は、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）が参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）に近似するほど、つまり差分値ΔＤの絶対値｜ΔＤ｜が小さいほど、大きくなるように方向評価値Ｆ（ΔＤ）を定めてもよい。例えば、方向評価部２２は、Ｆ（０）＝１、Ｆ（１）＝０．７５、Ｆ（２）＝０．５、Ｆ（３）＝０．２５、Ｆ（｜ΔＤ｜）＝０（｜ΔＤ｜＞３）とする。

　但し、量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎ_ｄ/２よりも大きく、他方がＮ_ｄ/２よりも小さい場合、それぞれが示す輪郭方向が近似するにも関わらず、絶対値｜ΔＤ｜が大きくなるために、誤った方向評価値Ｆ（ΔＤ）が算出されることがある。例えば、Ｄ（ｉ，ｊ）＝７、Ｄ（ｕ，ｖ）＝０の場合、｜ΔＤ｜＝７となる。しかし、量子化輪郭方向の差分はπ/８であり、本来は｜ΔＤ｜＝１と定められるべきである。そこで、方向評価部２２は、量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎ_ｄ/２よりも大きい場合、他方の量子化輪郭方向の値にＮ_ｄを加算して補正値を算出する。方向評価部２２は、算出した補正値と一方の量子化輪郭方向との差分値に対する絶対値を算出する。このようにして算出した絶対値を、上述の｜ΔＤ｜として用いることで意図した方向評価値を定める。
　後述する積和演算部２５において、上述の方向評価値Ｆ（｜ΔＤ｜）を用いることにより、注目画素（ｉ，ｊ）における輪郭方向とは、輪郭方向が異なる参照画素（ｕ，ｖ）による影響を無視又は軽視することができる。

　方向評価部２２においても、参照画素（ｕ，ｖ）が属する参照領域の大きさ、つまり水平方向もしくは垂直方向の画素数は、２ｎ＋１個又はこの個数よりも多ければよい。なお、方向評価部２２における参照領域の大きさは、輪郭方向推定部２１における参照領域の大きさと異なっていてもよい。例えば、方向評価部２２における参照領域の水平方向及び垂直方向の画素数は、それぞれ７であるのに対し、輪郭方向推定部２１における参照領域の水平方向及び垂直方向の画素数は、それぞれ５であってもよい。
　方向評価部２２は、注目画素（ｉ，ｊ）毎に各参照画素（ｕ，ｖ）の方向評価値Ｆ（ΔＤ）を表す方向評価値情報を積和演算部２５に出力する。方向評価値Ｆ（ΔＤ）の数値例については、後述する。

　参照領域荷重処理部２３は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、注目画素（ｉ，ｊ）毎に参照領域荷重情報を定める。参照領域荷重情報とは、ある注目画素（ｉ，ｊ）を中心とする参照領域に属する参照画素（ｕ’，ｖ’）毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す情報である。この重み係数を参照領域荷重と呼ぶことがある。参照領域荷重処理部２３における参照領域の大きさは、方向評価部２２における参照領域の大きさと等しくなるように予め定めておく。
　参照領域荷重処理部２３は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）から予め定めた範囲の方向にある参照画素の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を、その範囲外の方向にある参照画素の重み係数よりも大きい値に定める。参照領域荷重処理部２３は、例えば、注目画素（ｉ，ｊ）から量子化輪郭方向又はその方向に近似する方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定め、それ以外の方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を０と定める。注目画素から量子化輪郭方向又はその方向に近似する方向にある参照画素とは、具体的には注目画素（ｉ，ｊ）の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素（ｕ’，ｖ’）である。また、参照領域荷重処理部２３は、この線分がその領域を通過する距離が長い参照画素（ｕ’，ｖ’）ほど、大きくなるように重み係数を定めるようにしてもよい。

　なお、各量子化輪郭方向に対する各参照画素の重み係数を予め算出しておいてもよい。参照領域荷重処理部２３は、算出しておいた各参照画素の重み係数を表す参照領域荷重情報を量子化輪郭方向情報と対応付けて予め記憶した記憶部を備える。参照領域荷重処理部２３は、入力された量子化輪郭方向情報が表す量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。
　参照領域荷重処理部２３は、注目画素（ｉ，ｊ）毎に定めた参照領域荷重情報を積和演算部２５に出力する。参照領域荷重の数値例については、後述する。

　前処理部２４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部２４は、注目画素（ｉ，ｊ）毎に抽出した輝度信号Ｙを積和演算部２５に出力する。なお、前処理部２４における参照領域の大きさは、方向評価部２２及び参照領域荷重処理部２３における参照領域の大きさと等しくなるように予め定めておく。

　積和演算部２５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部２４から輝度信号がそれぞれ入力される。
　積和演算部２５は、方向評価値情報が表す方向評価値Ｆ（ΔＤ）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び輝度信号が表す信号値Ｙ（ｕ，ｖ）に基づいて、例えば式（５）を用いて、積和値Ｓ（ｉ，ｊ）を算出する。

　式（５）は、方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び輝度信号が表す信号値Ｙ（ｕ，ｖ）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を、積和値Ｓ（ｉ，ｊ）として算出することを表す。つまり、式（５）は、積和値Ｓ（ｉ，ｊ）を、方向評価値Ｆ（｜ΔＤ｜）と参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）との積を重み係数として、信号値Ｙ（ｕ，ｖ）を重み付け加算して算出するとみることもできる。方向評価値Ｆ（｜ΔＤ｜）と参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）との積を、方向評価領域荷重と呼ぶことがある。
　積和演算部２５は、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）及び参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に基づいて、例えば式（６）を用いて、荷重面積Ｃ（ｉ，ｊ）を算出する。

　式（６）は、方向評価値Ｆ（｜ΔＤ｜）及び参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を、荷重面積Ｃ（ｉ，ｊ）として算出することを表す。つまり、荷重面積Ｃ（ｉ，ｊ）は、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を参照画素毎に方向評価値Ｆ（｜ΔＤ｜）で重み付けされた値、即ち式（５）の積和演算において実質的に参照される参照画素の数を表す。言い換えれば、式（６）は、荷重面積Ｃ（ｉ，ｊ）を、上述の方向評価領域荷重を参照領域内で総和をとって算出することを示す。また、積和演算部２５は、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）の参照領域に属する参照画素間の総和を参照面積Ｎ（ｉ，ｊ）として算出する。参照面積Ｎ（ｉ，ｊ）は、式（５）の積和演算において名目的に参照される参照画素の数を表す。
　積和演算部２５は、注目画素（ｉ，ｊ）毎に算出した積和値Ｓ（ｉ，ｊ）を表す積和値情報、荷重面積Ｃ（ｉ，ｊ）を表す荷重面積情報、参照面積Ｎ（ｉ，ｊ）を表す参照面積情報を合成演算部２６に出力する。

　合成演算部２６は、積和演算部２５から積和値情報、荷重面積情報及び参照面積情報が入力される。合成演算部２６は、積和値情報が表す積和値Ｓ（ｉ，ｊ）を荷重面積情報が表す荷重面積Ｃ（ｉ，ｊ）で除算して方向平滑化値Ｙ’（ｉ，ｊ）を算出する。即ち、算出された方向平滑化値Ｙ’（ｉ，ｊ）は、注目画素（ｉ，ｊ）における量子化輪郭方向又はその方向を近似する方向にある参照画素であって、その輪郭方向が注目画素の輪郭方向と等しいか近似する参照画素間で平滑化された信号値を表す。
　合成演算部２６は、荷重面積Ｃ（ｉ，ｊ）を参照面積情報が表す参照面積Ｎ（ｉ，ｊ）で除算して混合比ｗ（ｉ，ｊ）を算出する。混合比ｗ（ｉ，ｊ）は、注目画素（ｉ，ｊ）における量子化輪郭方向又はその方向を近似する方向にある参照画素のうち、その輪郭方向が注目画素の輪郭方向と等しいか近似する参照画素の個数比を表す。
　合成演算部２６は、方向平滑化値Ｙ’（ｉ，ｊ）とスケーリング部１３から入力された輝度信号が表す信号値Ｙ（ｉ，ｊ）を、それぞれ混合比ｗ（ｉ，ｊ）、（１－ｗ（ｉ，ｊ））で重み付け加算（合成演算）を行って、合成信号値Ｙ’’（ｉ，ｊ）を算出する。この重み付け加算は、式（７）で表される。

　合成演算部２６は、算出した合成信号値Ｙ’’（ｉ，ｊ）を表す輝度信号Ｙ’’を生成する。

（輪郭の例）
　次に、輪郭の例について説明する。
　図３は、輪郭の一例を表す概念図である。
図３において、横軸はｘ方向を示し、縦軸はｙ方向を示す。画像５１は、信号値Ｙ（ｘ，ｙ）の大きさを濃淡で示す。明るい部分ほど信号値Ｙ（ｘ，ｙ）が大きく、濃い部分ほど信号値Ｙ（ｘ，ｙ）が小さい。
　注目点５２、５３を通過する破線は、輪郭５４を示す。注目点５３は、注目点５２から微小量（δｘ，δｙ）だけ離れた位置に存在している。輪郭５４は、注目点５３を通過し、注目点５２における信号値Ｙ（ｘ，ｙ）と信号値が等しくなる位置を示す線分（等高線）である。一般的に、信号値Ｙ（ｘ，ｙ）が座標（ｘ，ｙ）に対して微分可能であると仮定すると、注目点５３における信号値Ｙ（ｘ＋δｘ，ｙ＋δｙ）から注目点５２における信号値Ｙ（ｘ，ｙ）の差分ΔＹは、ｘ方向への微小変化δｘ・Ｇ_ｘ（ｘ，ｙ）とｙ方向への微小変化δｙ・Ｇ_ｙ（ｘ，ｙ）の和となる。輪郭５４は、ともに注目点５２、５３を通過する、つまりΔＹ＝０という関係から式（１）が導かれる。従って、輪郭方向推定部２１は、式（１）～（３）を用いることで、空間的に位置が離散化されている画素毎の信号値Ｙ（ｉ，ｊ）に基づいて、輪郭方向θを算出することができる。

（参照領域の例）
　次に、参照領域の例について説明する。
　図４は、参照領域の一例を表す概念図である。
　図４において、横軸はｘ方向を示し、縦軸はｙ方向を示す。画像６１は、輝度信号Ｙが表す画像である。画像６１に含まれる小さい四角形は、それぞれ画素を示す。各四角形の中に示されている数値は画素毎の信号値Ｙ（ｉ，ｊ）を示す。各四角形の濃淡は、信号値Ｙ（ｉ，ｊ）の大きさを示す。明るい部分ほど信号値Ｙ（ｉ，ｊ）が大きく、濃い部分ほど信号値Ｙ（ｉ，ｊ）が小さい。図４において、信号値Ｙ（ｉ，ｊ）は全体として左側よりも右側のほうが大きい。但し、信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界は、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏る。
　画像６１の中央部より上側にある破線で囲まれた領域は参照領域６２を示す。参照領域６２の中心にある四角形は、注目画素６３を示す。注目画素６３に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、注目画素６３のインデックスが（ｉ，ｊ）であることを示す。参照領域６２の最下行、最左列から４列目にある四角形は、参照画素６４を示す。参照画素６４に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素６４のインデックスが（ｕ，ｖ）であることを示す。

（差分フィルタの例）
　次に、差分フィルタの例について説明する。
　図５は、ｘ方向の差分フィルタの一例（差分フィルタ６５）を表す概念図である。
　図５の横軸、縦軸の関係は図４と同様である。
　差分フィルタ６５に含まれる小さい四角形は、それぞれ参照画素を示す。差分フィルタ６５は、ｘ方向の画素数、ｙ方向の画素数がともに５であるｘ方向の差分フィルタである。各四角形の中に示されている数値は、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）を示す。フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）は、ｕ’＞０の場合１、ｕ’＝０の場合０、ｕ’＜０の場合－１である。差分フィルタ６５の最下行、最左列から４列目にある四角形は、参照画素６６を示す。参照画素６６に向かう矢印であって起点に各々ｕ’、ｖ’と示されている矢印は、参照画素６６のインデックスが（ｕ’，ｖ’）であって、参照画素６４（図４）のインデックス（ｕ，ｖ）に対応することを示す。従って、式（２）に示す積和演算において、参照画素６６に係るフィルタ係数１が参照画素６４に係る信号値９３に乗じられる。

　図６は、ｙ方向の差分フィルタの一例（差分フィルタ６７）を表す概念図である。
　図６の横軸、縦軸の関係は図４と同様である。
　差分フィルタ６７に含まれる小さい四角形は、それぞれ参照画素を示す。差分フィルタ６７は、ｘ方向の画素数、ｙ方向の画素数がともに５である垂直方向の差分フィルタである。各四角形の中に示されている数値は、フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）を示す。フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）は、ｖ’＞０の場合１、ｖ’＝０の場合０、ｖ’＜０の場合－１である。差分フィルタ６７の最下行、最左列から４列目にある四角形は、参照画素６８を示す。参照画素６８に向かう矢印であって起点に各々ｕ’、ｖ’と示されている矢印は、参照画素６８のインデックスが（ｕ’，ｖ’）であって、参照画素６４（図４）のインデックス（ｕ，ｖ）に対応することを示す。従って、式（３）に示す積和演算において、参照画素６８に係るフィルタ係数１が参照画素６４に係る信号値９３に乗じられる。

（偏微分の算出例）
　図７は、ｘ方向偏微分の一例（ｘ方向偏微分６９）を表す概念図である。
　図７の横軸、縦軸、注目画素６３の関係は図４と同様である。
　ｘ方向偏微分６９に含まれる小さい四角形の各々は画素を示す。各四角形の中に示されている数値はｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の値を示す。図７に示すｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は、図４に示す信号値Ｙ（ｉ，ｊ）に基づいて式（２）を用いて算出された値である。各四角形の濃淡は、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）の大きさを示す。明るい部分ほどｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きく、濃い部分ほどｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が小さい。図７において、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は左右両端において小さくなる。但し、ｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きい領域が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏る。これは、図４において信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。なお、注目画素６３におけるｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）は１２１である。

　図８は、ｙ方向偏微分の一例（ｙ方向偏微分７０）を表す概念図である。
　図８の横軸、縦軸、注目画素６３の関係は図４と同様である。
　ｙ方向偏微分７０に含まれる小さい四角形の各々は画素を示す。各四角形の中に示されている数値はｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）の値を示す。図８に示すｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）は、図４に示す信号値Ｙ（ｉ，ｊ）に基づいて式（３）を用いて算出された値である。各四角形の濃淡は、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）の大きさを示す。明るい部分ほどｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が大きく、濃い部分ほどｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が小さい。図８において、ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）は左右両端において中間値０に近似する。
但し、ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）が大きい領域は、下端に近づくほど左側に偏り、中央に近づくほど右側に偏る。ｙ方向偏微分Ｇ_ｘ（ｉ，ｊ）が小さい領域は、上端に近づくほど左側に偏り、中央に近づくほど右側に偏る。ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が大きい領域と、ｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）が小さい領域は、ｙ方向の中心軸を境にほぼ対称である。
　これは、図４において信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。なお、注目画素６３におけるｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）は－１０３である。

（輪郭方向の計算例）
　次に、輪郭方向の計算例について説明する。
　図９は、量子化輪郭方向の候補の一例を示す。
　図９において、横軸はｘ方向、縦軸はｙ方向を示す。この例では、量子化輪郭方向数Ｎ_ｄは８である。１つの原点から放射状に延びる矢印は、それぞれ量子化輪郭方向の候補を示し、各矢印の終点の数字は、量子化輪郭方向を示す数値を示す。即ち、この数値０～７は、それぞれ輪郭方向の角度０～７π/８、又はπ～１５π/８を示す。各矢印を中心として原点から延びる破線で挟まれている領域は、その矢印が示す量子化輪郭方向に量子化される輪郭方向（量子化前）の範囲を示す。例えば、輪郭方向の角度が０～π/１６、１５π/１６～１７π/１６、３１π/１６～２πの何れかに含まれる場合には、量子化輪郭方向を示す数値は０である。

　図１０は、量子化輪郭方向の計算例（量子化輪郭方向７１）を示す概念図である。
　図１０の横軸、縦軸、注目画素６３の関係は図４と同様である。
　量子化輪郭方向７１に含まれる小さい四角形の各々は画素を示す。量子化輪郭方向７１の左下方にある注目画素７２に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、注目画素７２のインデックスが（ｉ_２，ｊ_２）であることを示す。
　図１０において、参照領域７３、７５は、注目画素６３、７２をそれぞれ中心とした、ｘ方向の画素数が７、ｙ方向の画素数が７の領域である。注目画素６３の右下方にある参照画素７４に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素７４のインデックスが（ｕ，ｖ）であることを示す。注目画素７２の左下方にある参照画素７６に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、参照画素７６のインデックスが（ｕ_２，ｖ_２）であることを示す。参照領域７３、７５、参照画素７４、７６については、後述する。

　各四角形の中に示されている数値と矢印は量子化輪郭方向Ｄ（ｉ，ｊ）の値と、その値が示す輪郭方向を示す。図１０に示す量子化輪郭方向Ｄ（ｉ，ｊ）は、図７に示すｘ方向偏微分Ｇ_ｘ（ｉ，ｊ）と図８に示すｙ方向偏微分Ｇ_ｙ（ｉ，ｊ）に基づいて、式（４）を用いて算出された値である。これにより、図１０の中央よりも左上側の大部分の画素において量子化輪郭方向が左上向きである。中央よりも左下側の大部分の画素において量子化輪郭方向が右上向きである。これは、信号値Ｙ（ｉ，ｊ）が大きい領域と小さい領域の境界が、上下両端に近づくほど左側に偏り、中央に近づくほど右側に偏ることに対応する。

　ここで、注目画素６３における量子化輪郭方向Ｄ（ｉ，ｊ）は６である。従って、参照領域荷重処理部２３は、注目画素６３に対しては、参照領域荷重Ｒ（６，ｕ’，ｖ’）を選択する。注目画素７２における量子化輪郭方向Ｄ（ｉ_２，ｊ_２）は２である。従って、参照領域荷重処理部２３は、注目画素７２に対しては、参照領域荷重Ｒ（２，ｕ’，ｖ’）を選択する。

（参照領域荷重の例）
　次に参照領域荷重の例について説明する。
　図１１は、参照領域荷重の一例を示す概念図である。
　図１１の横軸、縦軸の関係は図９、１０と同様である。
　図１１の中央より下側にある、1つの原点から放射状に延びる矢印と各矢印の終点に表される数値は、図９と同様に量子化輪郭方向を示す。原点の右横の数値０から反時計回りに７までの上半平面に向かう各矢印の進行方向にある、格子状の図形は、それぞれ量子化輪郭方向Ｄ（ｉ，ｊ）に対応した参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を示す。図１１は、右横から反時計回りに順に、参照領域荷重Ｒ（０，ｕ’，ｖ’）～Ｒ（７，ｕ’，ｖ’）を示す。各参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に含まれる小さい四角形は、参照画像を表す。図１１において、各参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に含まれる参照画像の数は、水平方向７個、垂直方向７個である。各四角形の中に示されている数値は、参照領域荷重の値である。参照領域荷重の値は、参照領域の中心（注目画素）から量子化輪郭方向にある参照画素について１であり、その方向に近似する方向にある参照画素ほど大きい値である。例えば、量子化輪郭方向０に対応する参照領域荷重Ｒ（０，ｕ’，ｖ’）は、第４行目の参照画素について全て１であり、その他の行の参照画素については全て０である。量子化輪郭方向６に対応する参照領域荷重Ｒ（６，ｕ’，ｖ’）は、第１行第１列～第７行第７列の参照画素について全て１であり、その他の参照画素については全て０である。量子化輪郭方向は、必ずしも水平方向、垂直方向又は対角方向（π/４又は３π/４）とは限らない。量子化輪郭方向がそれ以外の方向の場合には、参照領域の中心から量子化輪郭方向に延びる線分が通過する距離に比例するように、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定めておく。例えば、量子化輪郭方向１に対応する参照領域荷重Ｒ（１，ｕ’，ｖ’）は、最上行から第２行において最左列から第７列の画素について０．２である。第３行において第５、６、７列の画素について、それぞれ０．４、０．８、０．８である。第４行において、第２、３、４、５、６列の画素について、それぞれ０．２、０．６、１．０、０．６、０．２である。第５行において第１、２、３列の画素について、それぞれ０．８、０．８、０．４である。第６行において第１列の画素について、０．２である。それ以外の参照画素については、０である。

　図１２は、参照領域荷重のその他の例を示す概念図である。
　図１２の横軸、縦軸の関係、量子化輪郭方向を示す矢印、各量子化輪郭方向に対応した格子状の図形の関係は、それぞれ図１１と同様である。また、量子化輪郭方向は、水平方向、垂直方向又は対角方向（π/４又は３π/４）である、量子化輪郭方向０、２、４、６に対応する参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）については、図１１に示す例と同様である。
　それ以外の量子化輪郭方向についての参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）は、図１１に示す例とは異なる。図１２に示す例では、参照領域の中心から量子化輪郭方向に延びる線分が通過する参照画素について、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定める。それ以外の参照画素については、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定める。例えば、量子化輪郭方向１に対応する参照領域荷重Ｒ（１，ｕ’，ｖ’）は、最上行から第２行において最左列から第７列の画素について、第３行において第５、６、７列の画素について、第４行において、第２、３、４、５、６列の画素について、第５行において第１、２、３列の画素について、第６行において第１列の画素について、それぞれ1である。それ以外の参照画素については、０である。即ち、図１２に示す例では、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）は、参照領域の中心から量子化輪郭方向に延びる線分が通過するか否かにより、その参照画素を選択するか否かを示す。

（方向評価値の算出例）
　次に、方向評価値の算出例について説明する。
　図１３は、方向評価値の一例（方向評価値７７）を示す概念図である。
　図１３の横軸、縦軸は図４と同様である。
　方向評価値７７に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示されている数値は、注目画素６３（図１０参照）に対する方向評価値Ｆ（ΔＤ）の値を示す。この方向評価値Ｆ（ΔＤ）は、方向評価部２２が、注目画素６３（図１０参照）に対するＤ（ｉ，ｊ）と、参照領域７３（図１０参照）に属する各参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）に基づいて算出した方向評価値である。図１３において、最上行から第４行までの参照画素について、方向評価値Ｆ（ΔＤ）は全て１である。第５行から第７行までの参照画素について、第５行最左列の参照画素を除いて、方向評価値Ｆ（ΔＤ）は０である。即ち、図１３は、参照領域７３（図１０参照）の最上行から第４行までの参照画素に係る量子化輪郭方向は、注目画素６３（図１０参照）に係る量子化輪郭方向と等しいことを示す。図１３は、参照領域７３（図１０参照）の第５行から第７行までのほとんどの参照画素に係る量子化輪郭方向は、注目画素６３（図１０参照）に係る量子化輪郭方向と異なることを示す。

　ここで、参照画素７８に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、参照画素７８が、同一のインデックス（ｉ，ｊ）を有する注目画素６３に対応する参照画素であることを示す。方向評価部２２は、注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素としての注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）が等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。
　参照画素７９に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、参照画素７９が、同一のインデックス（ｕ，ｖ）を有する参照画素７４に対応する参照画素であることを示す。方向評価部２２は、注目画素６３の量子化輪郭方向Ｄ（ｉ，ｊ）が５と参照画素７４の量子化輪郭方向Ｄ（ｉ，ｊ）が４と異なるため、方向評価値Ｆ（ΔＤ）を０と定めたことが示される。

　図１４は、方向評価値のその他の例（方向評価値８０）を示す概念図である。
　図１４の横軸、縦軸は図４と同様である。
　方向評価値８０に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示されている数値は、注目画素７２（図１０参照）に対する方向評価値Ｆ（ΔＤ）の値を示す。この方向評価値Ｆ（ΔＤ）は、方向評価部２２が、注目画素７２（図１０参照）に対するＤ（ｉ_２，ｊ_２）と、参照領域７５（図１０参照）に属する各参照画素（ｕ_２，ｖ_２）に対する量子化輪郭方向Ｄ（ｕ_２，ｖ_２）に基づいて算出した方向評価値である。図１４において、全ての参照画素について、方向評価値Ｆ（ΔＤ）が１である。即ち、図１４は、参照領域７５（図１０参照）に属する全ての参照画素に係る量子化輪郭方向は、注目画素７２（図１０参照）に係る量子化輪郭方向と等しいことを示す。

　ここで、参照画素８１に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、参照画素８１が、同一のインデックス（ｉ_２，ｊ_２）を有する注目画素７２（図１０参照）に対応する参照画素であることを示す。方向評価部２２は、注目画素７２の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）と参照画素としての注目画素７２（図１０参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。
　参照画素８２に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、参照画素８２が、同一のインデックス（ｕ_２，ｖ_２）を有する参照画素７６（図１０参照）に対応する参照画素であることを示す。方向評価部２２は、注目画素７２（図１０参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が２と参照画素７６（図１０参照）の量子化輪郭方向Ｄ（ｉ_２，ｊ_２）が２と等しいため、方向評価値Ｆ（ΔＤ）を１と定めたことが示される。

（方向評価領域荷重の算出例）
　次に、方向評価領域荷重の算出例について説明する。
　図１５は、方向評価領域荷重の一例（方向評価領域荷重８３）を示す概念図である。
　図１５の横軸、縦軸は図４と同様である。
　方向評価領域荷重８３に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示される数値は、その参照画素に対応する方向評価領域荷重の値を示す。この方向評価領域荷重の値は、積和演算部２５が、注目画素６３（図１０参照）に対する参照画素毎の参照領域荷重Ｒ（６，ｕ’，ｖ’）（図１１参照）と対応する参照画素の方向評価値Ｆ（ΔＤ）（図１３参照）を乗じた値である。図１５において、最上行最左列の参照画素から第４行第４列までの参照画素（参照画素７８）について、方向評価領域荷重の値は１である。その他の参照画素については、方向評価領域荷重の値は０である。

　ここで、参照画素７８に向かう矢印であって起点に各々ｉ、ｊと示されている矢印は、参照画素７８が、同一のインデックス（ｉ，ｊ）を有する参照画素７８（図１３参照）に相当することを示す。また、参照画素７８は、注目画素６３（図１０参照）に対応する。つまり参照画素７８に対する方向評価領域荷重の値は、参照画素７８に対する方向評価値Ｆ（ΔＤ）（図１３参照）と、その参照画素に対応する参照領域荷重Ｒ（６，０，０）（図１１参照）を乗じて算出されることを示す。参照画素７９に向かう矢印であって起点に各々ｕ、ｖと示されている矢印は、同一のインデックス（ｕ，ｖ）を有する参照画素７９に相当することを示す。また、参照画素７９は、参照画素７４（図１０参照）に対応する。つまり参照画素７９に対する方向評価領域荷重の値は、参照画素７９に対する方向評価値Ｆ（ΔＤ）（図１４参照）と、その参照画素に対応する参照領域荷重Ｒ（６，２，２）（図１１参照）を乗じて算出されることを示す。

　図１６は、方向評価領域荷重のその他の例（方向評価領域荷重８４）を示す概念図である。
　図１６の横軸、縦軸は図４と同様である。
　方向評価領域荷重８４に含まれる小さい四角形の各々は参照画素を示す。各四角形の中に示される数値は、その参照画素に対応する方向評価領域荷重の値を示す。この方向評価領域荷重の値は、積和演算部２５が、注目画素７２（図１０参照）に対する参照画素毎の参照領域荷重Ｒ（２，ｕ’，ｖ’）（図１１参照）と対応する参照画素の方向評価値Ｆ（ΔＤ）（図１４参照）を乗じた値である。図１６において、最下行最左列から最上行最右列までの対角上の全ての参照画素について、方向評価領域荷重の値は１である。その他の参照画素については、方向評価領域荷重の値は０である。

　ここで、参照画素８１に向かう矢印であって起点に各々ｉ_２、ｊ_２と示されている矢印は、参照画素８１が、同一のインデックス（ｉ_２，ｊ_２）を有する参照画素８１（図１４参照）に相当することを示す。また、参照画素８１は、注目画素７２（図１０参照）に対応する。つまり参照画素８１に対する方向評価領域荷重の値は、参照画素８１に対する方向評価値Ｆ（ΔＤ）（図１４参照）と、その参照画素に対応する参照領域荷重Ｒ（２，０，０）（図１１参照）を乗じて算出されることを示す。参照画素７９に向かう矢印であって起点に各々ｕ_２、ｖ_２と示されている矢印は、同一のインデックス（ｕ_２，ｖ_２）を有する参照画素８２に相当することを示す。また、参照画素８２は、参照画素７６（図１０参照）に対応する。つまり参照画素８２に対する方向評価領域荷重の値は、参照画素８２に対する方向評価値Ｆ（ΔＤ）（図１４参照）と、その参照画素に対応する参照領域荷重Ｒ（２，－２，２）（図１１参照）を乗じて算出されることを示す。

　次に、０以外の値（例えば１）をとる方向評価領域荷重の値が、積和演算部２５において乗じられる信号値Ｙ（ｉ，ｊ）に係る画素（ｉ，ｊ）について説明する。以下、かかる画素を平滑化対象画素と呼ぶ。
　図１７は、平滑化対象画素の一例を表す概念図である。
　図１７の横軸、縦軸の関係は図４と同様である。画像６１は、図４が示す画像６１と同一である。図１７において、注目画素６３、７２、参照領域７３、７５の位置関係は、図１０における位置関係と同様である。即ち、参照領域７３、７５に係る方向評価領域荷重は、それぞれ上述の方向評価領域荷重８３（図１５参照）、方向評価領域荷重８４（図１６参照）と同一である。これらの方向評価領域荷重８３、８５は、積和演算部２５が、注目画素６３、７２にそれぞれ対応する積和値Ｓ（ｉ，ｊ）、荷重面積Ｃ（ｉ，ｊ）、参照面積Ｎ（ｉ，ｊ）を算出するために用いられる。

　参照領域７３、７５において、太線で描かれた小さい四角形は、平滑化対象画素を示す。参照領域７３に含まれる平滑化対象画素は、最上行最左列から第４行第４列までの参照画素である。参照領域７５に含まれる平滑化対象画素は、最下行最左列から最上行最右列までの対角上の全ての参照画素である。従って、これらの参照画素に係る信号値Ｙ（ｉ，ｊ）が、注目画素６３、７２に係る方向平滑化値Ｙ’（ｉ，ｊ）を算出するために実質的に用いられる。これに対し、参照領域７３では、第５行第５列から最下行最下列までの参照画素は、方向平滑化値Ｙ’（ｉ，ｊ）を算出するために実質的に用いられない。

　よって、本実施形態では各画素における輪郭方向を算出し、注目画素における輪郭方向もしくはその方向に近似する方向であって、その輪郭方向が注目画素と同一もしくは近似する方向である参照画素に係る信号値を用いて注目画素を平滑化する。これにより、隣接又は近接する画素とは、輪郭方向が異なる画素であるコーナ点においても、実質的に平滑化の対象とする参照画素を最大限考慮してノイズを視覚的に低減することができる。

　図１８は、処理対象画像の一例(画像６１)を示す概念図である。
　図１８の横軸、縦軸の関係は図４と同様である。画像６１は、図４、１７が示す画像６１と同一であり、ノイズが容易に知覚される画像の一例である。
　図１８において、Ｐはコーナ点を示す。Ｒ１は、コーナ点Ｐにおける輪郭方向にあって、コーナ点Ｐと同一の輪郭方向を有する画素が占める領域を示す。Ｑは、コーナ点Ｐにおける輪郭方向を示し、Ｄはコーナ点Ｐにおける輪郭の法線方向を示す。
　Ｒ２は、コーナ点Ｐの輪郭方向にあって、コーナ点Ｐとは異なる輪郭方向を有する画素が占める領域を示す。本実施形態では、コーナ点Ｐを注目画素として方向平滑化値Ｙ’（ｉ，ｊ）を算出する際、Ｒ１に含まれる参照画素に係る信号値Ｙ（ｉ，ｊ）が考慮され、Ｒ２に含まれる参照画素に係る信号値Ｙ（ｉ，ｊ）が考慮されない。

　Ｒ１にある参照画素に係る信号値Ｙ（ｉ，ｊ）を考慮して方向平滑化値Ｙ’（ｉ，ｊ）を算出して視覚的にノイズが低減するのは、輪郭方向の信号値Ｙ（ｉ，ｊ）の変化を低減するためである。この信号値Ｙ（ｉ，ｊ）の変化は、人間の視覚においてノイズとして敏感に知覚するためである。これに対し、輪郭方向の信号値Ｙ（ｉ，ｊ）の変化が小さい場合には、比較的ノイズが知覚されにくい。

　図１９は、処理対象画像の他の例（画像８５）を示す概念図である。
　画像８５は、比較的ノイズが知覚されにくい画像の例である。図１９において、横軸、縦軸の関係は図１８と同様である。画素Ｐ’は、コーナ点Ｐ（図１８）と同一の座標における画素である。領域Ｒ１’は、Ｒ１と同一の領域（図１８）を示す。
　ここで、領域Ｒ１、Ｒ１’に属する画素毎の信号値Ｙ（ｉ，ｊ）を比較する。
　図２０は、各輪郭領域に属する画素毎の信号値Ｙ（ｉ，ｊ）を示す図である。
　横軸は、領域Ｒ１、Ｒ１’の一端を基準としたＱ方向（図１９、２０参照）への画素のインデックスを示す。縦軸は、信号値を示す。菱形のプロットは、領域Ｒ１に含まれる画素毎の信号値を示す。四角形のプロットは、領域Ｒ２に含まれる画素毎の信号値を示す。図２０によれば、領域Ｒ１における画素毎の信号値は、１６から７２の間で変化している。領域Ｒ２における画素毎の信号値は、３４から３８の間で変化している。このことから、領域Ｒ１における信号値の変化が、領域Ｒ２における信号値の変化よりも格段に大きいことが、領域Ｒ１においてノイズが敏感に知覚される原因を裏付ける。

　次に、本実施形態に係る画像処理について説明する。
　図２１は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１０１）輪郭方向推定部２１は、スケーリング部１３から入力された輝度信号Ｙが表す画素毎の信号値に基づいて輪郭方向を画素毎に算出する。輪郭方向推定部２１は、算出した画素毎の輪郭方向を量子化し、量子化輪郭方向を算出する。輪郭方向推定部２１は、算出した量子化輪郭方向を表す量子化輪郭方向情報を方向評価部２２及び参照領域荷重処理部２３に出力する。その後、ステップＳ１０２に進む。

（ステップＳ１０２）方向評価部２２は、輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。方向評価部２２は、例えば、注目画素に対する量子化輪郭方向と同一又は近似する量子化輪郭方向を有する参照画素ほど大きくなるように方向評価値を算出する。方向評価部２２は、注目画素毎に各参照画素の方向評価値を表す方向評価値情報を積和演算部２５に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）参照領域荷重処理部２３は、輪郭方向推定部２１から入力された量子化輪郭方向情報に基づいて、注目画素毎に参照領域荷重情報を定める（参照領域加重算出）。参照領域荷重処理部２３は、注目画素毎の量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。参照領域荷重情報は、注目画素の量子化輪郭方向又はその方向に近似する方向にある参照画素ほど大きくなるような重み係数を表す。参照領域荷重処理部２３は、読み出した参照領域荷重情報を積和演算部２５に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）前処理部２４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する（前処理）。前処理部２４は、注目画素（ｉ，ｊ）毎に抽出した輝度信号Ｙを積和演算部２５に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）積和演算部２５は、注目画素毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部２４から輝度信号がそれぞれ入力される。積和演算部２５は、方向評価値情報が表す方向評価値、参照領域荷重情報が表す参照領域荷重及び輝度信号が表す信号値に基づいて、例えば式（５）を用いて、積和値を算出する（積和演算）。積和演算部２５は、方向評価値情報が表す方向評価値及び参照領域荷重情報が表す参照領域荷重に基づいて、例えば式（６）を用いて、荷重面積を算出する。積和演算部２５は、参照領域荷重情報が表す参照領域荷重の参照領域に属する参照画素間の総和を参照面積として算出する。積和演算部２５は、積和値、荷重面積、参照面積をそれぞれ表す積和値情報、参照面積情報を生成し、生成した積和値情報、荷重面積情報、参照面積情報を合成演算部２６に出力する。その後、ステップＳ１０６に進む。

（ステップＳ１０６）合成演算部２６は、積和演算部２５から積和値情報、荷重面積情報及び参照面積情報が入力され、スケーリング部１３から輝度信号が入力される。合成演算部２６は、積和値情報が表す積和値を荷重面積情報が表す荷重面積Ｃで除算して方向平滑化値を算出する。合成演算部２６は、荷重面積を参照面積情報が表す参照面積で除算して混合比を算出する。合成演算部２６は、方向平滑化値と輝度信号が表す信号値を、それぞれ混合比に基づいて重み付け加算することにより合成演算を行って、合成信号値を算出する。合成演算部２６は、算出した合成信号値が表す輝度信号を画像形式変換部１４に出力する。その後、処理を終了する。

　以上に説明したように、本実施形態では、画素毎の信号値に基づいて輪郭方向を注目画素毎に推定し、推定した各注目画素の輪郭方向と、各注目画素から予め定めた参照領域内における参照画素毎の輪郭方向とに基づいて参照画素毎の評価値を定める。また、本実施形態では、推定した各注目画素の輪郭方向と、各注目画素からの参照画素の方向とに基づいて、参照領域内における参照画素毎の重み係数を定め、定めた評価値と重み係数を用いて参照画素毎の信号値に基づいて積和演算した値と、各注目画素の信号値を合成する。
　従って、注目画素の輪郭方向とその注目画素からの参照画素の方向との関係、注目画素の輪郭方向と参照画素の輪郭方向との関係を考慮した、参照画素間の信号値の積和演算により注目画素の信号値が平滑化される。これにより、視覚上敏感な輪郭方向のノイズを比較的小さい演算量で除去又は低減することができる。

（変形例１）
　次に、本実施形態に係る変形例１について、上述の実施例と同一の構成又は処理について、同一の符号を付して説明する。本変形例に係る表示装置１（図１参照）は、画像処理部２０の代わりに画像処理部３０を備える。
　図２２は、本変形例に係る画像処理部３０の構成を表す概略図である。
　画像処理部３０は、輪郭方向推定部２１、方向評価部２２、参照領域荷重処理部２３、前処理部３４、積和演算部３５及び合成演算部３６を含んで構成される。即ち、画像処理部３０は、画像処理部２０において前処理部２４、積和演算部２５及び合成演算部２６の代わりに、前処理部３４、積和演算部３５及び合成演算部３６を備える。

　前処理部３４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部３４は、抽出した輝度信号が表す参照信号の信号値Ｙ（ｕ，ｖ）から注目画素の信号値Ｙ（ｉ，ｊ）をそれぞれ減算し、差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を算出する。前処理部３４は、算出した差信号値を表す差信号を生成し、生成した差信号を積和演算部３５に出力する。

　積和演算部３５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部３４から差信号がそれぞれ入力される。
　積和演算部３５は、差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）に対して、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を積和演算して、平滑化差分値ΔＹ（ｉ，ｊ）を算出する。
積和演算部３５は、平滑化差分値ΔＹ（ｉ，ｊ）を算出する際、例えば、式（８）を用いる。

　式（８）は、方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を算出することを表す。式（８）は、算出した総和に対して参照面積Ｎ（ｉ，ｊ）で除算して平滑化差分値ΔＹ（ｉ，ｊ）を算出することを表す。積和演算部３５は、算出した平滑化差分値ΔＹ（ｉ，ｊ）を表す平滑化差分信号を生成し、生成した平滑化差分信号を合成演算部３６に出力する。

　合成演算部３６は、積和演算部３５から平滑化差分信号が入力され、スケーリング部１３から輝度信号Ｙが入力される。合成演算部３６は、平滑化差分信号が表す平滑化差分値ΔＹ（ｉ，ｊ）と輝度信号Ｙが表す信号値Ｙ（ｉ，ｊ）を注目画素（ｉ，ｊ）毎に加算（合成演算）して、合成信号値Ｙ’’（ｉ，ｊ）を算出する。この合成信号値Ｙ’’（ｉ，ｊ）は、上述の式（７）を用いて算出された合成信号値Ｙ’’（ｉ，ｊ）と同じ値になる。
　合成演算部３６は、算出した合成信号値Ｙ’’（ｉ，ｊ）を表す輝度信号Ｙ’’を生成する。合成演算部３６は、スケーリング部１３から入力された輝度信号Ｙを、輝度信号Ｙ’’に更新し、色差信号Ｃｂ、Ｃｒと同期をとる。合成演算部３６は、輝度信号Ｙ’’及び色差信号Ｃｂ、Ｃｒを含んだ画像信号を画像形式変換部１４に出力する。

　次に、本変形例に係る画像処理について説明する。
　図２３は、本変形例に係る画像処理を表すフローチャートである。
　本変形例に係る画像処理は、図２１に示す画像処理において、ステップＳ１０４－Ｓ１０６の代わりにステップＳ２０４－Ｓ２０６を有する。ステップＳ２０４は、ステップＳ１０３の後で実行する。

（ステップＳ２０４）前処理部３４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部３４は、抽出した輝度信号に基づいて、差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を算出する（前処理）。前処理部３４は、算出した差信号値を表す差信号を積和演算部３５に出力する。
その後、ステップＳ２０５に進む。

（ステップＳ２０５）積和演算部３５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部３４から差信号がそれぞれ入力される。積和演算部３５は差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）に基づいて、例えば式（８）を用いて平滑化差分値ΔＹ（ｉ，ｊ）を算出する。積和演算部３５は、算出した平滑化差分値ΔＹ（ｉ，ｊ）を表す平滑化差分信号を合成演算部３６に出力する。その後、ステップＳ２０６に進む。

（ステップＳ２０６）合成演算部３６は、積和演算部３５から入力された平滑化差分信号が表す平滑化差分値ΔＹ（ｉ，ｊ）と、スケーリング部１３から入力された輝度信号Ｙが表す信号値Ｙ（ｉ，ｊ）を加算して、合成信号値Ｙ’’（ｉ，ｊ）を算出する。合成演算部３６は算出した合成信号値Ｙ’’（ｉ，ｊ）を表す輝度信号を画像形式変換部１４に出力する。その後、処理を終了する。

　以上に説明したように、本変形例では、注目画素に応じた参照画素毎の信号値とその注目画素の信号値との差分値について積和演算を行った値を用いて、各画素の合成信号値を算出する。これにより、視覚上敏感な輪郭方向のノイズを比較的小さい演算量で除去又は低減するという効果を損なわずに、演算に係る処理量を低減することができる。

（変形例２）
　次に、本実施形態に係る他の変形例２について、上述の実施例と同一の構成又は処理について、同一の符号を付して説明する。本変形例に係る表示装置１（図１参照）は、画像処理部２０の代わりに画像処理部４０を備える。
　図２４は、本変形例に係る画像処理部４０の構成を表す概略図である。
　画像処理部４０は、輪郭方向推定部２１、方向評価部２２、参照領域荷重処理部４３、前処理部３４、積和演算部３５及び合成演算部３６を含んで構成される。即ち、画像処理部４０は、画像処理部３０において参照領域荷重処理部２３（図２参照）の代わりに、参照領域荷重処理部４３を備える。

　参照領域荷重処理部４３は、参照領域荷重処理部２３（図２参照）と同様に輪郭方向推定部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定める。参照領域荷重処理部４３は、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）のうち、（Ｄ（ｉ，ｊ），ｕ’，ｖ’）が零以外の値をとる参照画素（ｕ’，ｖ’）毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を選択する。かかる参照画素は、注目画素（ｉ，ｊ）から輪郭方向又は輪郭方向に近似する方向に位置するため、輪郭方向参照画素と呼ぶ。参照領域荷重処理部４３は、各輪郭方向参照画素に係る重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す参照領域荷重情報を生成し、生成した参照領域荷重情報を積和演算部３５に出力する。
　参照領域荷重処理部４３は、入力された量子化輪郭方向情報から各輪郭方向参照画素に係る量子化輪郭方向Ｄ（ｕ，ｖ）を表す量子化輪郭方向情報を抽出する。参照領域荷重処理部４３は、抽出した量子化輪郭方向情報を方向評価部２２に出力する。
　参照領域荷重処理部４３は、スケーリング部１３から入力された輝度信号から各輪郭方向参照画素に係る信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。参照領域荷重処理部４３は、抽出した輝度信号を前処理部３４に出力する。

　前処理部３４、方向評価部２２、及び積和演算部３５は、それぞれ輪郭方向参照画素毎に方向評価値Ｆ（｜ΔＤ｜）、重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び差分値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を積和演算して平滑化差分値ΔＹ（ｉ，ｊ）を算出する。ここで、積和演算部３５は、式（８）の代わりに式（９）を用いる。

　式（９）において、Ｒ_ｓ（Ｄ（ｉ，ｊ））は、注目画素（ｉ，ｊ）に係る参照画素のうち輪郭方向参照画素を選択する関数（領域選択関数）を表す。つまり、ｕ’，ｖ’∈Ｒｓ（Ｄ（ｉ，ｊ））は、輪郭方向参照画素を示す。従って、積和演算部３５は、式（８）を用いた場合に算出される平滑化差分値ΔＹ（ｉ，ｊ）と等しい平滑化差分値ΔＹ（ｉ，ｊ）を算出することができる。
　上述したように、参照領域荷重処理部４３は輪郭方向参照画素毎に係る信号値または係数を抽出するため、変形例１と同様な演算結果を得つつ前処理部３４、方向評価部２２、及び積和演算部３５における計算量を低減することができる。

　次に、本変形例に係る画像処理について説明する。
　図２５は、本変形例に係る画像処理を表すフローチャートである。
　本変形例に係る画像処理は、図２３に示す画像処理において、ステップＳ１０３の代わりにステップＳ３０３を有する。ステップＳ３０３は、ステップＳ１０１の後で実行する。ステップＳ１０２の後で、ステップＳ２０４を実行する。ステップＳ２０４－Ｓ２０６は、注目画素毎の各参照画素の代わりに各輪郭方向参照画素について実行する。

（ステップＳ３０３）参照領域荷重処理部４３は、輪郭方向推定部２１から入力された量子化輪郭方向情報に基づいて、画素毎に重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を定める。参照領域荷重処理部４３は、定めた重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）のうち、零以外の値をとる重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を、輪郭方向参照画素毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）として選択する。参照領域荷重処理部４３は、選択した重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す参照領域荷重情報を積和演算部３５に出力する。参照領域荷重処理部４３は、入力された量子化輪郭方向情報から各輪郭方向参照画素に係る量子化輪郭方向Ｄ（ｕ，ｖ）を表す量子化輪郭方向情報を抽出し、抽出した量子化輪郭方向情報を方向評価部２２に出力する。参照領域荷重処理部４３は、スケーリング部１３から入力された輝度信号から各輪郭方向参照画素に係る信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出し、抽出した輝度信号を前処理部３４に出力する。

　以上に説明したように、本変形例では、各画像の輪郭方向から予め定めた範囲の方向にある参照画素毎の重み係数、評価値及び信号値を抽出し、抽出した参照画素毎の重み係数、評価値及び信号値を用いて積和演算を行う。これにより、演算結果に寄与しない重み係数、評価値及び信号値が除外される。従って、視覚上敏感な輪郭方向のノイズを比較的小さい演算量で除去又は低減するという効果を損なわずに、演算に係る処理量や記憶部の記憶容量を低減することができる。

（処理例）
　次に、本実施形態に係る処理を行って生成した画像の例について説明する。
　図２６は、本実施形態に係る処理前後の輝度信号に係る画像の例（画像８６、８７）を表す。
　画像８６は、低解像度画像に係る輝度信号を拡大率３倍でスケーリングした輝度信号が表す画像である。画像８６の明るい領域と暗い領域の境界に階段状のノイズ（ジャギー）が発生している。画像８７は、画像８６に係る輝度信号に対して本変形例に係る処理を行って得られた輝度信号が表す画像である。画像８７において、明るい領域と暗い領域の境界は滑らかであり、階段状のノイズが解消している。

　図２７は、本実施形態に係る処理前後の輝度信号に係る画像の他の例（画像８８、８９）を表す。
　画像８８は、圧縮画像を拡大率３倍でスケーリングした輝度信号が表す画像である。圧縮画像は、符号化方法としてＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）－４　ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）で符号化、復号を繰り返して原画像信号から情報量を１／４に圧縮した画像信号が表す画像である。画像８８の明るい領域と暗い領域の付近には波状のノイズ（モスキートノイズ）が発生し、その境界が不明瞭になっている。画像８９は、画像８８に係る輝度信号に対して本変形例に係る処理を行って得られた輝度信号が表す画像である。画像８９において、明るい領域と暗い領域の境界は明瞭であり、波状のノイズが解消している。

　図２８は、本実施形態に係る処理前後の輝度信号に係る画像のその他の例（画像９０、９１）を表す。
　画像９０は、コンポジット画像信号からの色差信号との分離（ＹＣ分離）が不適切な輝度信号を拡大率３倍でスケーリングした輝度信号が表す画像である。画像９０の明るい領域と暗い領域の付近には粒状のノイズ（コンポジットノイズ）が発生し、その境界が不明瞭になっている。画像９１は、画像９０に係る輝度信号に対して本変形例に係る処理を行って得られた輝度信号が表す画像である。画像９１において、明るい領域と暗い領域の境界は、より明瞭であり、粒状のノイズが低減している。

　図２９は、従来技術及び本実施形態に係る処理前後の輝度信号に係る画像の例（画像９２－９４）を表す。
　画像９２は、低解像度画像に係る輝度信号を拡大率３倍でスケーリングした輝度信号が表す画像の他の例である。画像９２の明るい領域と暗い領域の付近には階段状のノイズ（が発生し、その境界が不明瞭になっている。画像９３は、画像９２に係る輝度信号に対して特許文献１に記載の処理装置によって得られた輝度信号が表す画像である。画像９３において、明るい領域と暗い領域の境界は、より明瞭であり、階段状のノイズが低減している。しかしながら、画像９３は、各矢印の終点が示すコーナ点において、周囲よりも境界が不明瞭でありノイズが解消されていないことを示す。これに対し、画像９４では、各矢印の終点が示すコーナ点でも境界が明瞭になり画像９３よりも、ノイズが低減していることを示す。

　上述した実施形態では、アンテナ１０は、テレビジョン放送に係る電波に限らず、公衆無線通信に係る電波を受信するものであってもよい。
　上述では、生成した画像信号の表色系がＹＣｂＣｒ表色系であることを前提として説明したが、画像信号の表色系が異なる場合（例えば、ＲＧＢ表色系）には、Ｙ／Ｃ分離部１２を省略してもよい。生成した画像信号が、各色の輝度を示す信号値からなる表色系で表されている場合（例えば、ＲＧＢ表色系）には、画像処理部２０は、各色の信号値に対して処理を行うようにしてもよい。

　上述した実施形態において、輪郭方向推定部２１は、画素毎に算出した輪郭方向θ（量子化前）を、注目画素を中心とする予め定めた数（例えば、水平方向３個、垂直方向３個、計９個）の互いに隣接した画素からなる画像ブロック内で平均してもよい。輪郭方向推定部２１は、平均した輪郭方向を量子化する。これにより、局所的に顕著に生じうる輪郭方向の誤差を画素間で平滑化して、全体として自然な画像を再現することができる。

　上述した実施形態において、差分フィルタにおいて、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が１である差分方向（ｘ方向）の範囲とフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が－１である差分方向の範囲は、差分方向と垂直な方向（ｙ方向）に対して同一でなくてもよい。フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が１である差分方向の範囲とフィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が－１である差分方向の範囲が、ｕ’＝０に対して対称であって、ｖ’＝０の場合にｎ又はｎよりも大きければよい。例えば、フィルタ係数Ｗ_ｘ（ｕ’，ｖ’）が１である差分方向の範囲が、ｖ’＝０の場合にｎであって、ｖ’≠０の場合にｎよりも小さくてもよい。
　同様に、フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が１である差分方向（ｙ方向）の範囲とフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が－１である差分方向の範囲は、差分方向と垂直な方向（ｘ方向）に対して同一でなくてもよい。フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が１である差分方向の範囲とフィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が－１である差分方向の範囲が、ｖ’＝０に対して対称であって、ｕ’＝０の場合にｎ又はｎよりも大きければよい。例えば、フィルタ係数Ｗ_ｙ（ｕ’，ｖ’）が１である差分方向の範囲が、ｕ’＝０の場合にｎであって、ｕ’≠０の場合にｎよりも小さくてもよい。

　なお、上述した実施形態における表示装置１の一部、例えば、Ｙ／Ｃ分離部１２、スケーリング部１３、画像形式変換部１４、及び画像処理部２０、３０、４０をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における表示装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

　本発明は、液晶テレビなどの画像表示装置に適用できる。

　１　　表示装置
　１０　　アンテナ部
　１１　　入力部
　１２　　Ｙ／Ｃ分離部
　１３　　スケーリング部
　１４　　画像形式変換部
　１５　　表示部
　２０、３０、４０　　画像処理部
　２１　　輪郭方向推定部
　２２　　方向評価部
　２３、４３　　参照領域荷重処理部
　２４、３４　　前処理部
　２５、３５　　積和演算部
　２６、３６　　合成演算部

Claims

　信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、
　前記画素の各々について、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める方向評価部と、
　前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める参照領域荷重処理部と、
　該画素の前記参照画素の信号値を用いて、前記方向評価部が定めた評価値と前記参照領域荷重処理部が定めた重み係数に基づいて該画素の信号値を平滑化する合成演算部と、
　を備える画像処理装置。
　前記参照領域荷重処理部は、
　該画素の輪郭方向から予め定めた範囲の方向にある前記参照画素の重み係数を、前記予め定めた範囲以外の方向にある前記参照画素の重み係数よりも大きい値に定める請求項１に記載の画像処理装置。
　前記方向評価部は、
　該画素の輪郭方向と該画素の前記参照画素との輪郭方向の差が小さいほど、大きくなるように前記評価値を定める請求項１に記載の画像処理装置。
　前記合成演算部は、
　該画素に応じた参照画素毎の信号値と該画素の信号値との差分値に基づいて、該画素の信号値を平滑化する請求項１ないし３のいずれかに記載の画像処理装置。
　前記合成演算部は、
　該画素の輪郭方向から予め定めた範囲の方向にある参照画素毎の重み係数及び評価値を用いて、該画素の信号値を平滑化する請求項４のいずれかに記載の画像処理装置。
　信号値が一定の値である輪郭方向を画素毎に推定する輪郭方向推定部と、
　前記画素の各々について、前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める方向評価部と、
　前記輪郭方向推定部が推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める参照領域荷重処理部と、
　該画素の前記参照画素の信号値を用いて、前記方向評価部が定めた評価値と前記参照領域荷重処理部が定めた重み係数に基づいて該画素の信号値を平滑化する合成演算部と、
　を備える画像表示装置。
　画像処理装置における画像処理方法であって、
　前記画像処理装置が、信号値が一定の値である輪郭方向を画素毎に推定する工程と、
　前記画像処理装置が、前記画素の各々について、前記推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める工程と、
　前記画像処理装置が、前記推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める工程と、
　前記画像処理装置が、該画素の前記参照画素の信号値を用いて、前記定めた評価値と前記定めた重み係数に基づいて該画素の信号値を平滑化する工程と、
　を有する画像処理方法。
　画像処理装置のコンピュータに、
　信号値が一定の値である輪郭方向を画素毎に推定する工程と、
　前記画素の各々について、前記推定した該画素の輪郭方向と、該画素に応じた参照領域内の画素である参照画素毎の輪郭方向とに基づいて、該画素の前記参照画素毎の評価値を定める工程と、
　前記推定した該画素の輪郭方向と、該画素から該画素の前記参照画素毎の方向とに基づいて、該参照画素の重み係数を定める工程と、
　該画素の前記参照画素の信号値を用いて、前記定めた評価値と前記定めた重み係数に基づいて該画素の信号値を平滑化する工程と、
　を実行させるための画像処理プログラム。