JP6288920B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

インターレース画像を補間によりプログレッシブ画像に変換する方法として、動き適応型ＩＰ（インターレース−プログレッシブ）変換と呼ばれる方法がある。これは、補間画素の生成位置での画像の動き（動き情報）を検出し、その動き情報に応じて、補間画素としてフィールド内補間画素を生成するか、フィールド間補間画素を生成するかを適応的に切り替える方法である。

動き適応型ＩＰ変換では、「動きあり」と判定された位置に対して、同一フィールド内において該位置の垂直方向に隣接する画素を用いて補間画素が生成される。そのため、斜め方向のエッジ部分（斜めエッジ部分）では、ジャギーと呼ばれるギザギザが発生することとなり、画像品位（画質）が著しく劣化してしまう。

ジャギーの発生を抑制する技術として、入力されたインターレース画像の画素情報に基づいて斜めエッジ部分を検出し、該斜めエッジ部分に対して、その傾斜角度（エッジの方向）に応じた画素を用いて補間画素を生成する方法（斜め補間処理）が提案されている。そのような技術は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、補間画素の生成位置周辺に存在する画素群の輪郭情報のパターンを予め用意された参照パターンと比較して、斜め補間処理を行うか否かが決定される。特許文献１に開示の技術では、上記構成により、垂直線や絵柄の輪郭をまたぐ方向の斜め補間処理が行われることを防ぐことができる。

しかしながら、上述した従来の技術では、インターレース画像から斜めエッジ部分を検出する際に、入力画像の内容によっては斜めエッジ部分が誤検出されることがある。例えば、周期パターン部分（画像の面方向に沿って明と暗や同じ絵柄が周期的に繰り返される部分）では、斜めエッジ部分が誤検出されることがある。
特許文献１に開示の技術では、周期パターン部分に対応する参照パターンを用意することにより、上記誤検出による画質の劣化を抑制することができる。しかしながら、想定される周期パターン部分の種類数は膨大である。そのため、想定される全ての周期パターン部分における誤検出を抑制するためには、膨大な数の参照パターンを用意する必要があり、想定される全ての周期パターン部分における誤検出を抑制することは困難である。その結果、特許文献１に開示の技術を用いたとしても、周期パターン部分において斜めエッジ部分が誤検出され、画質が劣化してしまうことがある。

特開２００７−１４２６６９号公報

本発明は、周期パターン部分を含む入力画像の補間画素を生成する際の画質の劣化を、周期パターン部分の種類に依らず抑制することのできる技術を提供することを目的とする。

本発明の第１の態様は、
入力画像の補間画素を生成する画像処理装置であって、
前記補間画素の生成位置が周期パターン部分か否かを判定するパターン判定手段と、
前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定手段と、
前記入力画像の動きがあり、且つ、前記斜め判定手段で斜め方向のエッジ部分であると判定された前記生成位置に対して、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成手段と、
を備え、
前記パターン判定手段は、
補間画素の生成位置に隣接する水平方向のライン上の、当該生成位置周辺に位置する画素である周辺画素毎に、その周辺画素の輝度値から、水平方向において当該周辺画素に隣接する画素である水平隣接画素の輝度値を減算した値を、水平輝度差として算出し、
前記周辺画素毎の水平輝度差に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出し、
水平切り替わり位置の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定し、
前記生成手段は、前記パターン判定手段で周期パターン部分であると判定された位置に対しては、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置である。
本発明の第２の態様は、
入力画像の補間画素を生成する画像処理装置であって、
前記入力画像が周期パターン部分を含む画像か否かを判定するパターン判定手段と、
前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定手段と、
前記入力画像の動きがあり、且つ、前記斜め判定手段で斜め方向のエッジ部分であると判定された前記生成位置に、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成手段と、
を備え、
前記隣接輝度差は、輝度値の差の絶対値であり、
前記パターン判定手段は、
前記入力画像の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算して得られた値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定し、
前記生成手段は、前記パターン判定手段で前記入力画像が周期パターン部分を含む画像であると判定された場合に、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置である。

本発明の第３の態様は、
入力画像の補間画素を生成する画像処理装置の制御方法であって、
前記補間画素の生成位置が周期パターン部分か否かを判定するパターン判定ステップと、
前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定ステップと、
前記入力画像の動きがあり、且つ、前記斜め判定ステップで斜め方向のエッジ部分であると判定された生成位置に対して、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成ステップと、
を有し、
前記パターン判定ステップでは、
補間画素の生成位置に隣接する水平方向のライン上の、当該生成位置周辺に位置する画素である周辺画素毎に、その周辺画素の輝度値から、水平方向において当該周辺画素に
隣接する画素である水平隣接画素の輝度値を減算した値を、水平輝度差として算出し、
前記周辺画素毎の水平輝度差に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出し、
水平切り替わり位置の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定し、
前記生成ステップでは、前記パターン判定ステップで周期パターン部分であると判定された位置に対しては、前記斜め補間処理を行わずに補間画素を生成することを特徴とする画像処理装置の制御方法である。
本発明の第４の態様は、
入力画像の補間画素を生成する画像処理装置の制御方法であって、
前記入力画像が周期パターン部分を含む画像か否かを判定するパターン判定ステップと、
前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定ステップと、
前記入力画像の動きがあり、且つ、前記斜め判定ステップで斜め方向のエッジ部分であると判定された前記生成位置に、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成ステップと、
を有し、
前記隣接輝度差は、輝度値の差の絶対値であり、
前記パターン判定ステップでは、
前記入力画像の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算して得られた値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定し、
前記生成ステップでは、前記パターン判定ステップで前記入力画像が周期パターン部分を含む画像であると判定された場合に、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置の制御方法である。

本発明によれば、周期パターン部分を含む入力画像の補間画素を生成する際の画質の劣化を、周期パターン部分の種類に依らず抑制することができる。

実施例１に係る画像処理装置の構成の一例を示す図 実施例１に係るフィールド内補間画素生成部の構成の一例を示す図 実施例１に係る角度情報に応じた画素の選択方法の一例を示す図 実施例１に係る斜め検出部の構成の一例を示す図 実施例１に係る周期パターン判定部の構成の一例を示す図 実施例１に係る隣接輝度差判定部の処理の一例を示す図 実施例１に係るブロックマッチング部の処理の流れの一例を示す図 実施例１に係る角度情報の決定方法の一例を示す図 実施例２に係る斜め検出部の構成の一例を示す図 実施例２に係る周期パターン判定部の構成の一例を示す図 実施例２に係る隣接輝度差判定部の処理の一例を示す図 実施例３に係る斜め検出部の構成の一例を示す図 実施例３に係る隣接輝度差ヒストグラムの一例を示す図 実施例３に係る重み係数ＨＷＣＯＥ，ＶＷＣＯＥの一例を示す図 実施例３に係る輝度ヒストグラムの一例を示す図 実施例３に係る閾値決定部の処理の流れの一例を示す図 実施例３に係る差分Ｄｅｆと閾値Ｔｈの関係の一例を示す図 実施例４に係る部分画像の一例を示す図

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について、図面を用いて説明する。本実施例に係る画像処理装置は、入力画像であるインターレース画像を補間によりプログレッシブ画像に変換する。
なお、本発明はインターレース画像を補間によりプログレッシブ画像に変換する構成に限定されるものではなく、入力画像の補間画素を生成する技術に適用可能である。

図１は、本実施例に係る画像処理装置の構成の一例を示すブロック図である。
図１において、フィールドメモリＡ１００とフィールドメモリＢ１０１は、フィールド単位で装置に入力されるインターレース画像信号を蓄積し、該インターレース画像信号を１フィールド分だけ遅延させて出力する。即ち、画像処理装置にＮ番目のフィールド（Ｎフィールド）の画像信号ＦＤ０が入力された時に、フィールドメモリＡ１００からは、Ｎ−１番目のフィールド（Ｎ−１フィールド）の画像信号ＦＤ１が出力される。フィールドメモリＢ１０１からは、Ｎ−２番目のフィールド（Ｎ−２フィールド）の画像信号ＦＤ２が出力される。本実施例では、Ｎ−１フィールドの画像信号ＦＤ１に対して補間画素が生成される。

動き検出部１０２は、補間画素の生成位置での画像の動きを検出する。本実施例では、動き検出部１０２は、Ｎフィールド信号ＦＤ０及びＮ−２フィールド信号ＦＤ２の２つのフィールドの画像信号を用いて、補間画素の生成位置での画像の動き（動き情報ＭＶ）を検出する。具体的には、動き検出部１０２は、補間画素の生成位置毎に、２つのフィールド間の画素値の差の絶対値（差分絶対値）を閾値と比較することにより、動きの有無を判定する。差分絶対値が閾値以上の場合は、画像の動きがある“ＭＶ＝１（動き）”と判定され、差分絶対値が閾値未満の場合は、画像の動きがない“ＭＶ＝０（静止）”と判定される。そして、この判定結果（画素毎のＭＶの値）が動き情報として補間画素生成部１０５へ出力される。なお、動きの検出方法はこれに限らない。例えば、ブロックマッチングにより動きが検出されてもよい。

斜め検出部１０３は、補間画素の生成位置が斜め方向のエッジ部分（斜めエッジ部分）か否かを判定する。そして、斜め検出部１０３は、補間画素の生成位置が斜めエッジ部分であると判定した場合に、そのエッジの方向を表す情報をフィールド内補間画素生成部１０４へ出力する。本実施例では、エッジの方向を表す情報として、当該方向の垂直方向に対する傾斜角度を表す角度情報ＡＮＧＬＥが出力される。本実施例では、角度情報ＡＮＧＬＥは、−１５〜＋１５の値を取り得るものとする。斜め検出部１０３の動作の詳細については後述する。

フィールド内補間画素生成部１０４は、角度情報ＡＮＧＬＥに基づいて、フィールド内補間による補間画素（フィールド内補間画素）を生成して出力する。具体的には、フィールド内補間画素生成部１０４は、フィールド内補間画素の画素値ＩＤ１を算出し、出力する。フィールド内補間画素は、画像の動きのある位置に生成するのに適した補間画素であり、補間画素の生成の対象となるＮ−１フィールド信号ＦＤ１の画素値を用いて生成される補間画素である。

フィールド内補間画素生成部１０４は、例えば、図２に示すような構成を有する。
フィールド内補間画素生成部１０４に入力されたＮ−１フィールド信号ＦＤ１は、ラインメモリ２００と選択部Ａ２０１に入力される。
ラインメモリ２００は、入力されたＮ−１フィールド信号ＦＤ１を１Ｈ（１水平走査期間）だけ遅延させ、当該遅延させた信号を１Ｈ遅延信号ＬＤ１として選択部Ｂ２０２に出力する。
選択部Ａ２０１は、補間画素の生成位置毎に、Ｎ−１フィールド信号ＦＤ１（補間画素の生成位置の１つ下のラインの画像信号）から、角度情報ＡＮＧＬＥに応じた画素を選択し、その画素の画素値Ｓ１を出力する。
選択部Ｂ２０２は、補間画素の生成位置毎に、１Ｈ遅延信号ＬＤ１（補間画素の生成位置の１つ上のラインの画像信号）から、角度情報ＡＮＧＬＥに応じた画素を選択し、その画素の画素値Ｓ２を出力する。

選択部Ａ２０１及び選択部Ｂ２０２における画素の選択方法について、図３（Ａ）を用いて説明する。
図３（Ａ）において、画素ｕ（ｈ）は、補間画素の生成位置Ｉの１つ上のライン上の画素であり、図２における１Ｈ遅延信号ＬＤ１で表される画素である。画素ｄ（ｈ）は、補間画素の生成位置Ｉの１つ下のライン上の画素であり、図２におけるＮ−１フィールド信号ＦＤ１で表される画素である。ｈは、補間画素の生成位置に対する画素ｕ（ｈ），ｄ（ｈ）の位置の水平方向のずれ量（補間画素の生成位置を基準とする画素ｕ（ｈ），ｄ（ｈ）の水平方向の位置を示す値）である。ｈの値が負の値である場合には、画素ｕ（ｈ），ｄ（ｈ）の水平方向の位置は、補間画素の生成位置に対して左側へ｜ｈ｜画素ずれた位置となる。ｈの値が正の値である場合には、画素ｕ（ｈ），ｄ（ｈ）の水平方向の位置は、補間画素の生成位置に対して右側へ｜ｈ｜画素ずれた位置となる。

本実施例では、斜め検出部１０３は、角度情報ＡＮＧＬＥとして、上述したｈの値を出力する。また、斜め検出部１０３は、補間画素の生成位置がエッジ部分でない場合には、角度情報ＡＮＧＬＥ＝０を出力する。
角度情報ＡＮＧＬＥ＝＋Ｑ（Ｑは自然数）の場合は、選択部Ａ２０１でｕ（＋Ｑ）が選択され、選択部Ｂ２０２でｄ（−Ｑ）が選択される。図３（Ａ）は、補間画素の生成位置Ｉに対する角度情報ＡＮＧＬＥが＋３の場合の例である。この場合、選択部Ａ２０１でｕ（＋３）が選択され、選択部Ｂ２０２でｄ（−３）が選択される。また、角度情報ＡＮＧＬＥ＝０の場合には、図３（Ｂ）に示すように、選択部Ａ２０１でｕ（０）が選択され、選択部Ｂ２０２でｄ（０）が選択される。

加算器２０３は、選択部Ａ２０１から出力された画素値Ｓ１と選択部Ｂ２０２から出力された画素値Ｓ２とを足し合わせることにより画素値Ｓ３を算出し、乗算器２０４へ出力する。
乗算器２０４は、画素値Ｓ３を１／２倍し、その結果（画素値Ｓ３を１／２倍した値）を、フィールド内補間画素の画素値ＩＤ１（フィールド内補間値）として出力する。
これにより、Ｎ−１フィールド信号ＦＤ１において、エッジ部分の補間画素の画素値として、そのエッジの方向に隣接する２画素の画素値の平均値を得ることができる。また、エッジ部分以外の位置の補間画素の画素値として、垂直方向に隣接する２画素の画素値の平均値を得ることができる。

図１の説明に戻る。
補間画素生成部１０５は、補間画素の生成位置毎に、動き情報ＭＶに応じて補間方法を切り替え、補間画素を生成する（補間画素の画素値ＩＤ２を決定する）。即ち、補間画素生成部１０５は、動き適応型インターレース・プログレッシブ変換により補間画素を生成する。具体的には、補間画素の生成位置において画像の動きがない場合（“ＭＶ＝０”である場合）には、補間画素生成部１０５は、該生成位置に対し、Ｎ−２フィールド信号ＦＤ２の画素値を画素値ＩＤ２として用いて、補間画素（フィールド間補間画素）を生成する。補間画素の生成位置において画像の動きがある場合（“ＭＶ＝１”である場合）には、補間画素生成部１０５は、該生成位置に対し、フィールド内補間値ＩＤ１を画素値ＩＤ２として用いて、補間画素（フィールド内補間画素）を生成する。そのため、画像の動きがあり、且つ、斜め検出部１０３で斜めエッジ部分であると判定された補間画素の生成位
置に対しては、該エッジの方向に存在する画素を用いて補間画素を生成する斜め補間処理が行われる。そして、補間画素生成部１０５は、各補間画素の画素値ＩＤ２を倍速変換部１０６へ出力する。なお、フィールド間補間画素は、画像の動きのない位置に生成するのに適した補間画素であって、Ｎ−２フィールド信号の画素値（補間画素の生成位置と同じ位置の画素値）と同じ画素値を有する補間画素である。

倍速変換部１０６は、各補間画素の画素値ＩＤ２と、Ｎ−１フィールド信号ＦＤ１とを合成してプログレッシブ画像信号（１フレームのプログレッシブ画像信号）として出力する。具体的には、倍速変換部１０６は、Ｎ−１フィールド信号ＦＤ１と、各補間画素の画素値ＩＤ２とを、インターレース画像信号が入力される速度の２倍の速度でライン毎に交互に読み出す。これにより、Ｎ−１フィールド信号ＦＤ１のオリジナルライン（Ｎ−１フィールドのインターレース画像を構成する画素からなるライン）の画像信号と、画素値ＩＤ２を有する補間画素からなるライン（補間ライン）の画像信号とがライン毎に交互に読み出される。そして、倍速変換部１０６は、ライン毎に、読み出した画像信号をプログレッシブ画像信号（１ライン分のプログレッシブ画像信号）として出力する。

次に、斜め検出部１０３の構成について説明する。図４は、本実施例に係る斜め検出部１０３の構成の一例を示すブロック図である。
ラインメモリ３００は、入力されたＮ−１フィールド信号ＦＤ１を１Ｈ（１水平走査期間）だけ遅延させ、当該遅延させた信号を１Ｈ遅延信号ＬＤ１として出力する。

周期パターン判定部３０１は、入力画像（Ｎ−１フィールドのインターレース画像信号）の互いに隣接する画素間の輝度差である隣接輝度差に基づいて、入力画像が周期パターン部分を含む画像か否かを判定する。周期パターン部分は、画像の面方向に沿って明と暗や同じ絵柄が周期的に繰り返される部分である。本実施例では、周期パターン判定部３０１は、補間画素の生成位置毎に、入力画像の隣接輝度差に基づいて、その生成位置が周期パターン部分か否かを判定する。具体的には、Ｎ−１フィールド信号ＦＤ１（補間画素の生成位置の１つ下のラインの画像信号）と１Ｈ遅延信号ＬＤ１（補間画素の生成位置の１つ上のラインの画像信号）とを用いて、補間画素の生成位置が周期パターン部分か否かが判定される。そして、周期パターン判定部３０１は、補間画素の生成位置が周期パターン部分か否かの判定結果ＤＥＴをブロックマッチング部３０２に出力する。
周期パターン判定部３０１は、例えば、図５に示すような構成を有する。

隣接輝度差判定部４００は、周辺画素毎に、その周辺画素の輝度値から、水平方向において当該周辺画素に隣接する画素である水平隣接画素の輝度値を減算した値を、水平輝度差として算出する。周辺画素は、補間画素の生成位置に隣接する水平方向のライン上の、当該生成位置周辺に位置する画素である。次に、隣接輝度差判定部４００は、周辺画素毎に、水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加している“ＵＰ”か、減少している“ＤＯＷＮ”か、変化していない“ＦＬＡＴ”かを判断する（水平輝度変化の判断）。そして、隣接輝度差判定部４００は、周辺画素毎の水平輝度変化の判断結果（水平判断結果）を変化点検出部４０１へ出力する。

以下、図６（Ａ），（Ｂ）を用いて、隣接輝度差判定部４００の処理の具体例を説明する。図６（Ａ）は、補間画素の生成位置が斜めエッジ部分であり、周期パターン部分でない場合の例を示す図である。図６（Ｂ）は、補間画素の生成位置が周期パターン部分である場合の例を示す図である。図６（Ａ），（Ｂ）において、実ラインＵは、補間画素の生成位置Ｉの１つ上のラインであり、１Ｈ遅延信号ＬＤ１で表されるラインである。実ラインＤは、補間画素の生成位置の１つ下のラインであり、Ｎ−１フィールド信号ＦＤ１で表されるラインである。また、図６（Ａ），（Ｂ）において、補間ラインは補間画素が生成されるラインである。輝度値は８ビットの値であり、図６（Ａ），（Ｂ）において、輝度
値が０の画素は黒丸で示されており、輝度値が２５５の画素は白丸で示されている。なお、輝度値のビット数は８より大きくても小さくてもよい。

実ラインＵ上の周辺画素に対する処理（水平輝度差の算出、及び、水平輝度変化の判断）について説明する。実ラインＵ上の周辺画素に対する処理では、実ラインＵ上の画素ｕ（ｊ）が周辺画素として用いられる（−５≦ｊ≦＋５）。ｊの定義は、上述したｈと同じである。そして、周辺画素ｕ（ｊ）に対して左側に隣接する画素ｕ（ｊ−１）が、周辺画素ｕ（ｊ）の水平隣接画素として用いられる。なお、周辺画素に対応するｊの範囲は−５≦ｊ≦＋５より広くても狭くてもよい。また、水平隣接画素は周辺画素に対して右側に隣接する画素であってもよい。
周辺画素ｕ（ｊ）の水平輝度差ｙｇｕｌ（ｊ）は、以下の式１を用いて算出される。式１において、ｙｕ（ｊ）は周辺画素ｕ（ｊ）の輝度値であり、ｙｕ（ｊ−１）は水平隣接画素ｕ（ｊ−１）の輝度値である。

ｙｇｕｌ（ｊ）＝ｙｕ（ｊ）−ｙｕ（ｊ−１） ・・・（式１）

そして、水平輝度差ｙｇｕｌ（ｊ）が正の場合に、水平隣接画素ｕ（ｊ−１）から周辺画素ｕ（ｊ）にかけて輝度値が増加している“ＵＰ”と判断され、周辺画素ｕ（ｊ）に対する水平判断結果としてＹＧｕ（ｊ）＝０が出力される。水平輝度差ｙｇｕｌ（ｊ）が負の場合には、“ＤＯＷＮ”と判断され、水平判断結果としてＹＧｕ（ｊ）＝１が出力される。水平輝度差ｙｇｕｌ（ｊ）が０の場合には、“ＦＬＡＴ”と判断され、水平判断結果としてＹＧｕ（ｊ）＝２が出力される。なお、“ＦＬＡＴ”と判断される水平輝度差に幅を持たせてもよい。例えば、水平輝度差の絶対値が０より大きい閾値未満である場合に“ＦＬＡＴ”と判断してもよい。また、“ＵＰ”か“ＤＯＷＮ”か“ＦＬＡＴ”かの三択ではなく、“ＵＰ”か“ＤＯＷＮ”かの二択であってもよい。
例えば、式２に示すように、図６（Ａ）の周辺画素ｕ（−２）に対する水平輝度差ｙｇｕｌ（−２）は０となる。そして、周辺画素ｕ（−２）に対しては“ＦＬＡＴ”と判断され、周辺画素ｕ（−２）に対する水平判断結果としてＹＧｕ（−２）＝２が出力される。

ｙｇｕｌ（−２）＝ｙｕ（−２）−ｙｕ（−３）
＝２５５−２５５
＝０
・・・（式２）

実ラインＤ上の周辺画素に対する処理（水平輝度差の算出、及び、水平輝度変化の判断）について説明する。実ラインＤ上の周辺画素に対する処理でも、実ラインＵ上の周辺画素に対する処理と同様に、実ラインＤ上の画素ｄ（ｊ）が周辺画素として用いられる。そして、周辺画素ｄ（ｊ）に対して左側に隣接する画素ｄ（ｊ−１）が、周辺画素ｄ（ｊ）の水平隣接画素として用いられる。
周辺画素ｄ（ｊ）の水平輝度差ｙｇｄｌ（ｊ）は、以下の式３を用いて算出される。式３において、ｙｄ（ｊ）は周辺画素ｄ（ｊ）の輝度値であり、ｙｄ（ｊ−１）は水平隣接画素ｄ（ｊ−１）の輝度値である。

ｙｇｄｌ（ｊ）＝ｙｄ（ｊ）−ｙｄ（ｊ−１） ・・・（式３）

そして、水平輝度差ｙｇｄｌ（ｊ）が正の場合に、水平隣接画素ｄ（ｊ−１）から周辺画素ｄ（ｊ）にかけて輝度値が増加している“ＵＰ”と判断され、周辺画素ｄ（ｊ）に対する水平判断結果としてＹＧｄ（ｊ）＝０が出力される。水平輝度差ｙｇｄｌ（ｊ）が負の場合には、“ＤＯＷＮ”と判断され、水平判断結果としてＹＧｄ（ｊ）＝１が出力され
る。水平輝度差ｙｇｄｌ（ｊ）が０の場合には、“ＦＬＡＴ”と判断され、水平判断結果としてＹＧｄ（ｊ）＝２が出力される。
例えば、式４に示すように、図６（Ａ）の周辺画素ｄ（−２）に対する水平輝度差ｙｇｄｌ（−２）は−２５５となる。そして、周辺画素ｄ（−２）に対しては“ＤＯＷＮ”と判断され、周辺画素ｄ（−２）に対する水平判断結果としてＹＧｄ（−２）＝１が出力される。

ｙｇｄｌ（−２）＝ｙｄ（−２）−ｙｄ（−３）
＝０−２５５
＝−２５５
・・・（式４）

以上の処理が、図６（Ａ），（Ｂ）の破線で囲まれた２２個の周辺画素について行われ、当該２２個の周辺画素に対する２２個の水平判断結果が出力される。即ち、以上の処理が、実ラインＵ上の１１個の周辺画素ｕ（ｊ）、及び、実ラインＤ上の１１個の周辺画素ｄ（ｊ）について行われる（ｊ＝−５〜＋５）。そして、１１個の周辺画素ｕ（ｊ）に対する１１個の水平判断結果ＹＧｕ（ｊ）、及び、１１個の周辺画素ｄ（ｊ）に対する１１個の水平判断結果ＹＧｄ（ｊ）が出力される。図６（Ａ），（Ｂ）において、右水平矢印は「ＦＬＡＴ」と判断されたことを意味し、右上がり矢印は「ＵＰ」と判断されたことを意味し、右下がり矢印は「ＤＯＷＮ」と判断されたことを意味する。

変化点検出部４０１は、周辺画素毎の水平輝度差に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出する。具体的には、変化点検出部４０１は、隣接輝度差判定部４００の２２個の水平判断結果ＹＧｕ（ｊ），ＹＧｄ（ｊ）を用いて、水平切り替わり位置を検出する。
本実施例では、水平切り替わり位置に対応する周辺画素が検出される。具体的には、以下の条件１〜４のいずれかを満たす周辺画素が、水平切り替わり位置に対応する周辺画素として検出される。なお、以下の条件１〜４において、判定対象画素は、水平切り替わり位置に対応するか否かの判定の対象である周辺画素である。

条件１：判定対象画素の水平判断結果が「ＦＬＡＴ」であり、
判定対象画素に対し左側に隣接する画素の水平判断結果が「ＵＰ」であり、且つ、
判定対象画素に対し右側に隣接する画素の水平判断結果が「ＤＯＷＮ」である
条件２：判定対象画素の水平判断結果が「ＦＬＡＴ」であり、
判定対象画素に対し左側に隣接する画素の水平判断結果が「ＤＯＷＮ」であり、
且つ、判定対象画素に対し右側に隣接する画素の水平判断結果が「ＵＰ」である条件３：判定対象画素の水平判断結果が「ＵＰ」であり、且つ、
判定対象画素に対し左側に隣接する画素の水平判断結果が「ＤＯＷＮ」である
条件４：判定対象画素の水平判断結果が「ＤＯＷＮ」であり、且つ、
判定対象画素に対し左側に隣接する画素の水平判断結果が「ＵＰ」である

変化点検出部４０１は、上述した２２個の周辺画素に対して、水平切り替わり位置に対応するか否かを判定し、２２個の周辺画素に対する２２個の判定結果を出力する。即ち、実ラインＵ上の１１個の周辺画素ｕ（ｊ）、及び、実ラインＤ上の１１個の周辺画素ｄ（ｊ）に対して、水平切り替わり位置に対応するか否かが判定される（ｊ＝−５〜＋５）。そして、１１個の周辺画素ｕ（ｊ）に対する１１個の判定結果Ｍｕ（ｊ）、及び、１１個の周辺画素ｄ（ｊ）に対する１１個の判定結果Ｍｄ（ｊ）が出力される。本実施例では、
水平切り替わり位置に対応すると判定された周辺画素ｕ（ｊ）に対する判定結果として、Ｍｕ（ｊ）＝１が出力され、水平切り替わり位置に対応しないと判定された周辺画素ｕ（ｊ）に対する判定結果として、Ｍｕ（ｊ）＝０が出力される。同様に、水平切り替わり位置に対応すると判定された周辺画素ｄ（ｊ）に対する判定結果として、Ｍｄ（ｊ）＝１が出力され、水平切り替わり位置に対応しないと判定された周辺画素ｄ（ｊ）に対する判定結果として、Ｍｄ（ｊ）＝０が出力される。
図６（Ｂ）の例では、周辺画素ｕ（−３）はＹＧｕ＝２（ＦＬＡＴ）と判断されている。そして、周辺画素ｕ（−３）に対し左側に隣接する画素ｕ（−４）はＹＧｕ＝０（ＤＯＷＮ）と判断されており、周辺画素ｕ（−３）に対し右側に隣接する画素ｕ（−２）はＹＧｕ＝１（ＵＰ）と判断されている。つまり、周辺画素ｕ（−３）は条件２を満たしている。そのため、周辺画素ｕ（−３）は、水平切り替わり位置に対応する画素であると判定され、周辺画素ｕ（−３）に対する判定結果として、Ｍｕ（−３）＝１が出力される。
図６（Ａ），（Ｂ）において、斜線で示された画素が、「水平切り替わり位置に対応する」と判定された画素である。

判定部４０２は、変化点検出部４０１の判定結果に基づいて、補間画素の生成位置が周期パターン部分であるか否かを判定する。本実施例では、水平切り替わり位置の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定され、水平切り替わり位置の間隔が一定でない場合に、補間画素の生成位置が周期パターン部分でないと判定される。具体的には、以下の条件１と条件２のいずれかを満たした場合に周期パターン部分であると判定され、以下の条件１と条件２のいずれも満たされなかった場合に周期パターン部分でないと判定される。

条件１：実ラインＵにおいて、水平切り替わり位置が一定の間隔で存在する
条件２：実ラインＤにおいて、水平切り替わり位置が一定の間隔で存在する

例えば、隣り合う対応画素ｕ（ｊ）の全ての組において、隣り合う対応画素ｕ（ｊ）間のｊ値の差の絶対値が閾値（例えば１）以下である場合に、条件１を満たすと判定される（ｊ＝−５〜＋５）。対応画素ｕ（ｊ）は、Ｍｕ（ｊ）＝１を満たす周辺画素ｕ（ｊ）である。そして、隣り合う対応画素ｄ（ｊ）の全ての組において、隣り合う対応画素ｄ（ｊ）間のｊ値の差の絶対値が閾値（例えば１）以下である場合に、条件２を満たすと判定される。対応画素ｄ（ｊ）は、Ｍｄ（ｊ）＝１を満たす周辺画素ｄ（ｊ）である。
判定部４０２は、周期パターン部分であると判定した場合にＤＥＴ＝１を出力し、周期パターン部分でないと判定した場合にＤＥＴ＝０を出力する。図６（Ａ）の例では、水平切り替わり位置が検出されていないため、補間画素の生成位置Ｉが周期パターン部分でないと判定され、生成位置Ｉに対する判定結果としてＤＥＴ＝０が出力される。図６（Ｂ）の例では、実ラインＵと実ラインＤの両方において水平切り替わり位置が１画素おきに存在する。即ち、図６（Ｂ）の例では、条件１と条件２の両方が満たされる。そのため、図６（Ｂ）の例では、補間画素の生成位置Ｉが周期パターン部分であると判定され、生成位置Ｉに対する判定結果としてＤＥＴ＝１が出力される。

なお、本実施例では、実ラインＵと実ラインＤのそれぞれについて、水平輝度差の算出、水平輝度変化の判断、水平切り替わり位置の検出、等を行ったが、実ラインＵと実ラインＤのうちの一方についてそれらの処理が行われてもよい。

図４の説明に戻る。
ブロックマッチング部３０２は、Ｎ−１フィールド信号ＦＤ１と１Ｈ遅延信号ＬＤ１を用いたブロックマッチングを行い、２ブロック間の画像の類似度としてＳＡＤ値を算出する。ここでの“ブロックマッチング”は、複数画素を１ブロックとして、同一フィールド内の２ブロック間でブロック内の画素値を比較することにより、２ブロック間の画像の類
似度（相関値）を算出する処理である。本実施例では、ブロックのサイズが水平方向５画素分のサイズであるものとする。ＳＡＤ値は差分絶対値和であり、ＳＡＤ値として、上述した類似度が高いほど小さい値が算出される。本実施例では、補間画素の生成位置毎に、ブロックマッチングの対象となる組（２つのブロックの組）の数のＳＡＤ値が算出される。具体的には、１つの補間画素の生成位置に対する処理において、実ラインＵに位置するｕ（−１５）〜ｕ（＋１５）の３１個の画素に対して３１個の基準ブロックが設定され、３１個の基準ブロックに対して３１個の参照ブロックが設定される。そして、３１個の組（基準ブロックと参照ブロックの組）に対する３１個のＳＡＤ値が算出される。ブロックマッチング部３０２は、補間画素の生成位置毎に、算出した３１個のＳＡＤ値をマッチング角度算出部３０３に出力する。
なお、ブロックのサイズは５画素分のサイズより大きくても小さくてもよい。
また、１つの補間画素の生成位置に対して算出されるＳＡＤ値の数は３１個より多くても少なくてもよい。例えば、後述するｉの範囲は−１５〜＋１５より広くても狭くてもよい。

ブロックマッチング部３０２の処理の流れの一例を、図７のフローチャートを用いて詳細に説明する。図７の処理は、補間画素の生成位置毎に実行される。
まず、ブロックマッチング部３０２が、周期パターン判定部３０１の出力であるＤＥＴの値が０か１かを判定する（Ｓ１０２）。ＤＥＴ＝１である場合には、ブロックマッチング部３０２は、補間画素の生成位置が周期パターン部分であると判断し、Ｓ１０３へ処理を進める。ＤＥＴ＝０である場合には、ブロックマッチング部３０２は、補間画素の生成位置が周期パターン部分でないと判断し、Ｓ１０４へ処理を進める。

Ｓ１０３では、ブロックマッチング部３０２が、各ＳＡＤ値（３１個のＳＡＤ値のそれぞれ）として所定値を設定し、３１個のＳＡＤ値を出力する。本実施例では、各ＳＡＤ値として、設定可能な値の最大値が設定される。各ＳＡＤ値として所定値を設定することにより、後述するマッチング角度算出部３０３において、補間画素の生成位置が斜めエッジ部分でないと判定される（角度情報ＡＮＧＬＥ＝０が出力される）ことになる。上述したように、本実施例では、画像の動きがあり、且つ、斜めエッジ部分であると判定された位置に対して、斜め補間処理が行わる。Ｓ１０３の処理を行うことにより、周期パターン部分であると判定された位置に対しては、斜め補間処理を行わずに補間画素が生成されるようになる。例えば、図６（Ａ）に示す補間画素の生成位置Ｉにおいて画像の動きがない場合、当該生成位置Ｉに対しては斜め補間処理により補間画素が生成される。図６（Ｂ）に示す補間画素の生成位置Ｉにおいて画像の動きがある場合、当該生成位置Ｉに対しては通常のフィールド内補間により補間画素が生成される（本実施例では上下に隣接する画素を用いて補間画素が生成される）。画像の動きがある場合には、図６（Ａ）と図６（Ｂ）のいずれの場合においても、フィールド間補間画素が生成される。

Ｓ１０４では、ブロックマッチング部３０２が、ｉを−１５に初期化する。ｉの定義は、上述したｈと同じである。本実施例では、ｉは−１５〜＋１５の値を取り得る。なお、本実施例では、ｉの値を順番に切り替えて処理を行う例を説明するが、ｉの値の切り替えを行わずに、複数のｉの値に対応する複数の処理が並列に行われてもよい。

次に、ブロックマッチング部３０２が、切り出し位置Ｐを決定する（Ｓ１０５）。具体的には、ブロックマッチング部３０２は、位置ｉを切り出し位置Ｐとして設定する。切り出し位置Ｐは、基準ブロックの中心位置と、参照ブロックの中心位置とを判断するために用いられる。

そして、ブロックマッチング部３０２が、Ｓ１０５で決定された切り出し位置Ｐに従って、ブロックマッチングを行い、ＳＡＤ値を算出する（Ｓ１０６）。
具体的には、ブロックマッチング部３０２は、画素ｕ（Ｐ）の位置を基準ブロックの中心位置として判断し、画素ｄ（−Ｐ）の位置を参照ブロックの中心位置として判断する。画素ｕ（Ｐ）は、補間画素の生成位置Ｉを中心として画素ｄ（−Ｐ）と点対称の位置にある。次に、ブロックマッチング部３０２は、画素ｕ（Ｐ）を中心として水平方向に並んだ複数画素（本実施例では５画素）からなる領域を基準ブロックとして判断し、画素ｄ（−Ｐ）を中心として水平方向に並んだ複数画素からなる領域を参照ブロックとして判断する。基準ブロックは、補間画素の生成位置Ｉを中心として参照ブロックと点対称の位置にある。そして、ブロックマッチング部３０２は、基準ブロック（実ラインＵ上の画素からなるブロック）内の画素値と、参照ブロック（実ラインＤ上の画素からなるブロック）内の画素値とを比較して、ＳＡＤ値を算出する。基準ブロック内の画素値は、１Ｈ遅延信号ＬＤ１を用いて判断され、参照ブロック内の画素値は、Ｎ−１フィールド信号ＦＤ１を用いて判断される。
より具体的には、ＳＡＤ値は、以下の式５を用いて算出される。式５において、ＢＳはブロックのサイズであり、ｉｎｔは小数点以下を切り捨てて整数値を得る関数である。本実施例ではＢＳ＝５であるため、ｉｎｔ（ＢＳ／２）（＝ｉｎｔ（２．５））＝２となる。

・・・（式５）

図８（Ａ）はＰ＝−３のときの基準ブロックと参照ブロックの一例を示す。図８（Ａ
）の例では、Ｐ（＝ｉ）＝−３に対するＳＡＤ値は以下の式６を用いて算出される。

ＳＡＤ（−３）＝｜ｕ（−５）−ｄ（＋１）｜
＋｜ｕ（−４）−ｄ（＋２）｜
＋｜ｕ（−３）−ｄ（＋３）｜
＋｜ｕ（−２）−ｄ（＋４）｜
＋｜ｕ（−１）−ｄ（＋５）｜
・・・（式６）

次に、ブロックマッチング部３０２が、ｉ＝＋１５か否かを判定する（Ｓ１０７）。ｉ＝＋１５でない場合（ｉ＜１５の場合）に、ブロックマッチング部３０２は、ＳＡＤ値が算出されていないｉの値が存在すると判断し、Ｓ１０８に処理を進める。Ｓ１０８では、ブロックマッチング部３０２がｉに１を加算する。そして、Ｓ１０５に処理が戻される。ｉ＝＋１５となるまで、Ｓ１０５〜Ｓ１０８の処理が繰り返される。Ｓ１０７において、ｉ＝＋１５である場合に、ブロックマッチング部３０２は、ｉ＝−１５〜＋１５の全てに対してＳＡＤ値が算出されたと判断し、ｉ＝−１５〜＋１５の３１個のｉの値に対応する３１個のＳＡＤ値を出力する。

マッチング角度算出部３０３は、補間画素の生成位置毎に、その生成位置が斜めエッジ部分か否かを判定し、判定結果として角度情報ＡＮＧＬＥを出力する。角度情報ＡＮＧＬＥ＝０は、斜めエッジ部分でないと判定されたことを意味し、角度情報ＡＮＧＬＥ≠０は斜めエッジ部分であると判定されたことを意味する。
具体的には、マッチング角度算出部３０３は、ブロックマッチング部３０２で算出された３１個のＳＡＤ値に基づいて、補間画素の生成位置でのエッジの方向を判断し、判断結果を角度情報ＡＮＧＬＥとして出力する。本実施例では、複数（３１個）の候補方向のうち、２ブロック間の画像の類似度が最も高い方向が、補間画素の生成位置におけるエッジ
の方向として判定される。上述したように、本実施例では、２ブロック間の画像の類似度が高いほど小さいＳＡＤ値が算出される。そのため、本実施例では、マッチング角度算出部３０３は、上記３１個のＳＡＤ値の最小値に対応するＰの値を、補間画素の生成位置でのエッジの方向を表す値として判断する。ＳＡＤ値の最小値（ＳＡＤｍｉｎ）は以下の式７を用いて算出される。なお、以下の式において、Ｐは−１５〜１５であり、ＭＩＮは最小値を算出する関数である。

ＳＡＤｍｉｎ＝ＭＩＮ（ＳＡＤ（Ｐ）） ・・・（式７）

マッチング角度算出部３０３は、ＳＡＤｍｉｎ＝ＳＡＤ（Ｐ）となるＰの値を角度情報ＡＮＧＬＥとして出力する。但し、３１個のＳＡＤ値の全てが最大値（設定可能な値の最大値）である場合には、マッチング角度算出部３０３は、角度情報ＡＮＧＬＥとして０を出力する。
なお、ＳＡＤｍｉｎが所定の閾値以上である場合に、補間画素の生成位置がエッジ部分ではないと判定し、角度情報ＡＮＧＬＥとして０を出力してもよい。

例えば、図８（Ｂ）に示すような画素構成の画像（斜めエッジ部分の画像）を表す信号が入力された場合には、補間画素の生成位置Ｉに対して算出された３１個のＳＡＤ値の分布は図８（Ｃ）のようになる。図８（Ｂ）では、ｋ＝−６〜＋６の画素ｕ（ｋ），ｄ（ｋ）が示されているが、図８（Ｃ）では、ブロックマッチングを行う範囲（ｋ（＝ｉ）＝−１５〜＋１５）におけるＳＡＤ値の分布が示されている。図８（Ｃ）の例では、実ラインＵのｕ（＋３）の位置（Ｐ＝＋３の位置）に対応するＳＡＤ値が最小値ＳＡＤｍｉｎとなっている。そのため、マッチング角度算出部３０３からは、角度情報ＡＮＧＬＥ＝＋３が出力される。その結果、補間画素の生成位置Ｉにおいて画像の動きがある場合には、当該生成位置Ｉに対して、斜め補間処理により補間画素が生成される。
また、図６（Ａ）に示す補間画素の生成位置Ｉに対する判定結果として、角度情報ＡＮＧＬＥ＝＋１が出力される。その結果、補間画素の生成位置Ｉにおいて画像の動きがある場合には、当該生成位置Ｉに対して、斜め補間処理により補間画素が生成される。
一方、図６（Ｂ）に示す補間画素の生成位置Ｉは周期パターン部分であると判断されるため、当該生成位置Ｉに対する判定結果として角度情報ＡＮＧＬＥ＝０が出力される。その結果、生成位置Ｉに対しては、斜め補間処理を行うことなく補間画素が生成される。

以上述べたように、本実施例によれば、周期パターン部分であると判定された位置（補間画素の生成位置）に対しては、斜め補間処理を行わずに補間画素が生成される。その結果、周期パターン部分での画質の劣化（誤検出されたエッジの方向に応じた斜め補間処理による画質の劣化）を抑制することができる。また、本実施例によれば、入力画像の隣接輝度差に基づいて、補間画素の生成位置が周期パターン部分か否かが判定される。その結果、様々な周期パターン部分を判断することができ、周期パターン部分を含む入力画像の補間画素を生成する際の画質の劣化を、周期パターン部分の種類に依らず抑制することができる。例えば、周期パターン部分を含むインターレース画像をプログレッシブ画像に変換する際の画質の劣化を、周期パターン部分の種類に依らず抑制することができる。

なお、本実施例では、周期パターン部分であると判定された位置に対してブロックマッチング（ＳＡＤ値の算出）を行わないように制御することにより、周期パターン部分であると判定された位置に対する斜め補間処理を防止したが、この構成に限らない。例えば、周期パターン部分であるか否かの判定結果に応じて、マッチング角度算出部３０３から出力された角度情報ＡＮＧＬＥを補正してもよい。具体的には、周期パターン部分であると判定された位置に対する角度情報ＡＮＧＬＥを０に補正してもよい。そのような構成であっても、周期パターン部分であると判定された位置に対する斜め補間処理を防止することができる。
なお、本実施例では、水平切り替わり位置の間隔に基づいて判定（周期パターン部分か否かの判定）を行う例を示したが、これに限らない。例えば、水平切り替わり位置の数が所定数以上である場合に周期パターン部分であると判定されてもよい。また、隣接輝度差として、互いに隣接する画素間の輝度値の差の絶対値が算出されてもよい。そして、隣接輝度差が閾値以上となる画素の数が所定数以上である場合に周期パターン部分であると判定されてもよい。

＜実施例２＞
実施例１では、水平方向に関する情報（水平輝度差など）のみを用いて周期パターン部分か否かを判定する例を説明した。実施例２では、水平方向に関する情報、及び、垂直方向に関する情報（垂直輝度差など）を用いて周期パターン部分か否かを判定する例を説明する。垂直輝度差は、周辺画素の輝度値から、垂直方向において当該周辺画素に隣接する画素である垂直隣接画素の輝度値を減算した値である。
本実施例に係る画像処理装置の全体構成は実施例１（図１）と同じである。
図９は、本実施例に係る斜め検出部１０３の構成の一例を示すブロック図である。なお、実施例１と同じ機能部には同じ符号を付し、その説明は省略する。

ラインメモリＡ５００は、入力されたＮ−１フィールド信号ＦＤ１を１Ｈ（１水平走査期間）だけ遅延させ、当該遅延させた信号を１Ｈ遅延信号ＬＤ１として出力する。
ラインメモリＢ５０１は、１Ｈ遅延信号ＬＤ１を１Ｈだけ遅延させ、当該遅延させた信号を２Ｈ遅延信号ＬＤ２として出力する。
ラインメモリＣ５０２は、２Ｈ遅延信号ＬＤ２を１Ｈだけ遅延させ、当該遅延させた信号を３Ｈ遅延信号ＬＤ３として出力する。
実施例１の周期パターン判定部３０１とブロックマッチング部３０２では、Ｎ−１フィールド信号ＦＤ１で表されるラインと、１Ｈ遅延信号ＬＤ１で表されるラインとの間における補間画素の生成位置に対して処理が行われた。実施例２の周期パターン判定部５０３とブロックマッチング部３０２では、１Ｈ遅延信号ＬＤ１で表されるラインと、２Ｈ遅延信号ＬＤ２で表されるラインとの間における補間画素の生成位置に対して処理が行われる。

周期パターン判定部５０３は、４ライン分の画像信号ＦＤ１，ＬＤ１，ＬＤ２，ＬＤ３を用いて、補間画素の生成位置が周期パターン部分か否かを判定する。そして、周期パターン判定部５０３は、補間画素の生成位置が周期パターン部分か否かの判定結果ＤＥＴをブロックマッチング部３０２へ出力する。
周期パターン判定部５０３は、例えば、図１０に示すような構成を有する。

隣接輝度差判定部６００は、実施例１と同様に、水平輝度差の算出、及び、水平方向における輝度値の変化（水平輝度変化）を判断する。また、隣接輝度差判定部６００は、周辺画素毎に、その周辺画素の輝度値から、垂直方向において当該周辺画素に隣接する画素である垂直隣接画素の輝度値を減算した値を、垂直輝度差として算出する。そして、隣接輝度差判定部６００は、周辺画素毎に、垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけて輝度値が増加している“ＵＰ”か、減少している“ＤＯＷＮ”か、変化していない“ＦＬＡＴ”かを判断する（垂直輝度変化の判断）。周辺画素毎の判断結果（水平輝度変化及び垂直輝度変化の判断結果）は、変化点検出部６０１へ出力される。

以下、図１１（Ａ），（Ｂ）を用いて、隣接輝度差判定部６００の処理の具体例を説明する。図１１（Ａ）は、補間画素の生成位置が斜めエッジ部分であり、周期パターン部分でない場合の例を示す図である。図１１（Ｂ）は、補間画素の生成位置が周期パターン部分である場合の例を示す図である。図１１（Ａ），（Ｂ）において、実ラインＵ２は、補間画素の生成位置Ｉの２つ上のラインであり、３Ｈ遅延信号ＬＤ３で表されるラインであ
る。実ラインＵ１は、補間画素の生成位置Ｉの１つ上のラインであり、２Ｈ遅延信号ＬＤ２で表されるラインである。実ラインＤ１は、補間画素の生成位置Ｉの１つ下のラインであり、１Ｈ遅延信号ＬＤ１で表されるラインである。実ラインＤ２は、補間画素の生成位置の２つ下のラインであり、Ｎ−１フィールド信号ＦＤ１で表されるラインである。また、図１１（Ａ），（Ｂ）において、補間ラインは補間画素が生成されるラインである。輝度値は８ビットの値であり、図１１（Ａ），（Ｂ）において、輝度値が０の画素は黒丸で示されており、輝度値が２５５の画素は白丸で示されており、輝度値が１２８の画素はグレー丸で示されている。

実ラインＵ１上の周辺画素に対する水平処理（水平輝度差の算出、及び、水平輝度変化の判断）について説明する。実ラインＵ１上の周辺画素に対する水平処理では、実ラインＵ１上の画素ｕ１（ｊ）が周辺画素として用いられる（−５≦ｊ≦＋５）。そして、周辺画素ｕ１（ｊ）に対して左側に隣接する画素ｕ１（ｊ−１）が、周辺画素ｕ１（ｊ）の水平隣接画素として用いられる。
本実施例では、水平輝度差に重み係数α（０≦α≦１）を乗算することにより、重み付け水平輝度差が算出される。周辺画素ｕ１（ｊ）の重み付け水平輝度差ｙｇｕｌ＿ｗ（ｊ）は、以下の式８を用いて算出される。式８において、ｙｕ１（ｊ）は周辺画素ｕ１（ｊ）の輝度値であり、ｙｕ１（ｊ−１）は水平隣接画素ｕ１（ｊ−１）の輝度値である。

ｙｇｕｌ＿ｗ（ｊ）＝α×（ｙｕ１（ｊ）−ｙｕ１（ｊ−１）） ・・・（式８）

ｙｇｕｌ＿ｗ（ｊ）≧閾値（正の閾値）である場合には、水平隣接画素ｕ１（ｊ−１）から周辺画素ｕ１（ｊ）にかけて輝度値が増加している“ＵＰ”と判断される。そして、周辺画素ｕ１（ｊ）に対する判断結果（水平判断結果）としてＹＧｕｈ（ｊ）＝０が出力される。ｙｇｕｌ＿ｗ（ｊ）≦−閾値である場合には、“ＤＯＷＮ”と判断され、水平判断結果としてＹＧｕｈ（ｊ）＝１が出力される。｜ｙｇｕｌ＿ｗ（ｊ）｜＜閾値である場合には、“ＦＬＡＴ”と判断され、水平判断結果としてＹＧｕｈ（ｊ）＝２が出力される。なお、閾値はどのような値であってもよい。閾値が小さければ、小さな輝度変化を検出することができる。閾値が大きければ、大きな輝度変化のみを検出することができる。

実ラインＵ１上の周辺画素に対する垂直処理（垂直輝度差の算出、及び、垂直輝度変化の判断）について説明する。実ラインＵ１上の周辺画素に対する垂直処理では、実ラインＵ１上の画素ｕ１（ｊ）が周辺画素として用いられる（−５≦ｊ≦＋５）。そして、周辺画素ｕ１（ｊ）に対して上側に隣接する画素ｕ２（ｊ）が、周辺画素ｕ１（ｊ）の垂直隣接画素として用いられる。なお、垂直隣接画素は周辺画素に対して下側に隣接する画素であってもよい。
本実施例では、垂直輝度差に重み係数β（０≦β≦１）を乗算することにより、重み付け垂直輝度差が算出される。周辺画素ｕ１（ｊ）の重み付け垂直輝度差ｙｇｕｕ＿ｗ（ｊ）は、以下の式９を用いて算出される。式９において、ｙｕ２（ｊ）は垂直隣接画素ｕ２（ｊ）の輝度値である。

ｙｇｕｕ＿ｗ（ｊ）＝β×（ｙｕ１（ｊ）−ｙｕ２（ｊ）） ・・・（式９）

ｙｇｕｕ＿ｗ（ｊ）≧閾値（正の閾値）である場合には、垂直隣接画素ｕ２（ｊ）から周辺画素ｕ１（ｊ）にかけて輝度値が増加している“ＵＰ”と判断される。そして、周辺画素ｕ１（ｊ）に対する判断結果（垂直判断結果）としてＹＧｕｖ（ｊ）＝０が出力される。ｙｇｕｕ＿ｗ（ｊ）≦−閾値である場合には、“ＤＯＷＮ”と判断され、垂直判断結果としてＹＧｕｖ（ｊ）＝１が出力される。｜ｙｇｕｕ＿ｗ（ｊ）｜＜閾値である場合には、“ＦＬＡＴ”と判断され、垂直判断結果としてＹＧｕｖ（ｊ）＝２が出力される。

重み係数α，βとして、０〜１の任意の値が設定されてもよい。重み係数βとして、重み係数αよりも大きな値が設定されてもよい。重み係数αと重み係数βは同じ値であってもよい。例えば、重み係数α＝重み係数β＝１であってもよい。即ち、重み付けを行わずに、水平輝度差を用いて水平輝度変化が判断され、垂直輝度差を用いて垂直輝度変化が判断されてもよい。しかし、インターレース画像は垂直方向にラインが間引かれた画像であるため、垂直輝度差よりも水平輝度差の方が信頼度が高い。そのため、重み係数αは重み係数βよりも大きいことが好ましい。

実ラインＤ１上の周辺画素に対する水平処理について説明する。実ラインＤ１上の周辺画素に対する水平処理では、実ラインＤ１上の画素ｄ１（ｊ）が周辺画素として用いられる（−５≦ｊ≦＋５）。そして、周辺画素ｄ１（ｊ）に対して左側に隣接する画素ｄ１（ｊ−１）が、周辺画素ｄ１（ｊ）の水平隣接画素として用いられる。
周辺画素ｄ１（ｊ）の重み付け水平輝度差ｙｇｄｌ＿ｗ（ｊ）は、以下の式１０を用いて算出される。式１０において、ｙｄ１（ｊ）は周辺画素ｄ１（ｊ）の輝度値であり、ｙｄ１（ｊ−１）は水平隣接画素ｄ１（ｊ−１）の輝度値である。

ｙｇｄｌ＿ｗ（ｊ）＝α×（ｙｄ１（ｊ）−ｙｄ１（ｊ−１）） ・・・（式１０）

ｙｇｄｌ＿ｗ（ｊ）≧閾値（正の閾値）である場合には、水平隣接画素ｄ１（ｊ−１）から周辺画素ｄ１（ｊ）にかけて輝度値が増加している“ＵＰ”と判断され、周辺画素ｄ１（ｊ）に対する水平判断結果としてＹＧｄｈ（ｊ）＝０が出力される。ｙｇｄｌ＿ｗ（ｊ）≦−閾値である場合には、“ＤＯＷＮ”と判断され、水平判断結果としてＹＧｄｈ（ｊ）＝１が出力される。｜ｙｇｄｌ＿ｗ（ｊ）｜＜閾値である場合には、“ＦＬＡＴ”と判断され、水平判断結果としてＹＧｄｈ（ｊ）＝２が出力される。

実ラインＤ１上の周辺画素に対する垂直処理について説明する。実ラインＤ１上の周辺画素に対する垂直処理では、実ラインＤ１上の画素ｄ１（ｊ）が周辺画素として用いられる（−５≦ｊ≦＋５）。そして、周辺画素ｄ１（ｊ）に対して下側に隣接する画素ｄ２（ｊ）が、周辺画素ｄ１（ｊ）の垂直隣接画素として用いられる。なお、垂直隣接画素は周辺画素に対して上側に隣接する画素であってもよい。
周辺画素ｄ１（ｊ）の重み付け垂直輝度差ｙｇｄｄ＿ｗ（ｊ）は、以下の式１１を用いて算出される。式１１において、ｙｄ２（ｊ）は垂直隣接画素ｄ２（ｊ）の輝度値である。

ｙｇｄｄ＿ｗ（ｊ）＝β×（ｙｄ１（ｊ）−ｙｄ２（ｊ）） ・・・（式１１）

ｙｇｄｄ＿ｗ（ｊ）≧閾値（正の閾値）である場合には、垂直隣接画素ｄ２（ｊ）から周辺画素ｄ１（ｊ）にかけて輝度値が増加している“ＵＰ”と判断され、周辺画素ｄ１（ｊ）に対する垂直判断結果としてＹＧｄｖ（ｊ）＝０が出力される。ｙｇｄｄ＿ｗ（ｊ）≦−閾値である場合には、“ＤＯＷＮ”と判断され、垂直判断結果としてＹＧｄｖ（ｊ）＝１が出力される。｜ｙｇｄｄ＿ｗ（ｊ）｜＜閾値である場合には、“ＦＬＡＴ”と判断され、垂直判断結果としてＹＧｄｖ（ｊ）＝２が出力される。

以上の処理が、図１１（Ａ），（Ｂ）の破線で囲まれた２２個の周辺画素について行われ、当該２２個の周辺画素に対する２２個の水平判断結果と、当該２２個の周辺画素に対する２２個の垂直判断結果との計４４個の判断結果が出力される。

変化点検出部６０１は、周辺画素毎の水平輝度差（本実施例では重み付け水平輝度差）に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出する。また、変化点検出部６０１は、周辺画
素毎の垂直輝度差（本実施例では重み付け垂直輝度差）に基づいて、垂直隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を垂直切り替わり位置として検出する。
具体的には、変化点検出部６０１は、隣接輝度差判定部６００の２２個の水平判断結果ＹＧｕｈ（ｊ），ＹＧｄｈ（ｊ）を用いて、水平切り替わり位置を検出する。また、変化点検出部６０１は、垂直判断結果ＹＧｕｖ（ｊ），ＹＧｄｖ（ｊ）を用いて、垂直切り替わり位置を検出する。
水平切り替わり位置の検出方法は実施例１と同様であるため、その説明は省略する。また、垂直切り替わり位置は、水平切り替わり位置の検出方法における「水平判断結果」を「垂直判断結果」と読み替えた方法により検出される。

変化点検出部６０１は、水平切り替わり位置に対応すると判定された周辺画素ｕ１（ｊ）に対する判定結果（水平判定結果）として、Ｍｕｈ（ｊ）＝１を出力する。そして、変化点検出部６０１は、水平切り替わり位置に対応しないと判定された周辺画素ｕ１（ｊ）に対する水平判定結果として、Ｍｕｈ（ｊ）＝０を出力する。同様に、変化点検出部６０１は、垂直切り替わり位置に対応すると判定された周辺画素ｕ１（ｊ）に対する判定結果（垂直判定結果）として、Ｍｕｖ（ｊ）＝１を出力する。そして、変化点検出部６０１は、垂直切り替わり位置に対応しないと判定された周辺画素ｕ１（ｊ）に対する垂直判定結果として、Ｍｕｖ（ｊ）＝０を出力する。
また、変化点検出部６０１は、水平切り替わり位置に対応すると判定された周辺画素ｄ１（ｊ）に対する水平判定結果として、Ｍｄｈ（ｊ）＝１を出力する。そして、変化点検出部６０１は、水平切り替わり位置に対応しないと判定された周辺画素ｄ１（ｊ）に対する水平判定結果として、Ｍｄｈ（ｊ）＝０を出力する。同様に、変化点検出部６０１は、垂直切り替わり位置に対応すると判定された周辺画素ｄ１（ｊ）に対する垂直判定結果として、Ｍｄｖ（ｊ）＝１を出力する。そして、変化点検出部６０１は、垂直切り替わり位置に対応しないと判定された周辺画素ｄ１（ｊ）に対する垂直判定結果として、Ｍｄｖ（ｊ）＝０を出力する。
図１１（Ａ），（Ｂ）において、斜線で示された画素は、「垂直切り替わり位置に対応する」と判定された画素である。

判定部６０２は、変化点検出部６０１の判定結果（水平判定結果Ｍｕｈ（ｊ），Ｍｄｈ（ｊ）、及び、垂直判定結果Ｍｕｖ（ｊ），Ｍｄｖ（ｊ））に基づいて、補間画素の生成位置が周期パターン部分であるか否かを判定する。本実施例では、水平切り替わり位置の間隔と、垂直切り替わり位置の間隔との少なくとも一方の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定される。そして、水平切り替わり位置の間隔と、垂直切り替わり位置の間隔との両方の間隔が一定でない場合に、補間画素の生成位置が周期パターン部分でないと判定される。具体的には、以下の条件１〜４のいずれかを満たした場合に周期パターン部分であると判定され、以下の条件１〜４のいずれも満たされなかった場合に周期パターン部分でないと判定される。そして、判定部６０２は、周期パターン部分であると判定した場合にＤＥＴ＝１を出力し、周期パターンでないと判定した場合にＤＥＴ＝０を出力する。

条件１：実ラインＵ１において、水平切り替わり位置が一定の間隔で存在する
条件２：実ラインＵ１において、垂直切り替わり位置が一定の間隔で存在する
条件３：実ラインＤ１において、水平切り替わり位置が一定の間隔で存在する
条件４：実ラインＤ１において、垂直切り替わり位置が一定の間隔で存在する

図１１（Ａ）の例では、水平切り替わり位置も垂直切り替わり位置も検出されていないため、補間画素の生成位置Ｉが周期パターン部分でないと判定され、生成位置Ｉに対する判定結果としてＤＥＴ＝０が出力される。図１１（Ｂ）の例では、実ラインＵと実ライン
Ｄの両方において垂直切り替わり位置が１画素おきに存在する。即ち、図１１（Ｂ）の例では、条件２と条件４が満たされる。そのため、図１１（Ｂ）の例では、補間画素の生成位置Ｉが周期パターン部分であると判定され、生成位置Ｉに対する判定結果としてＤＥＴ＝１が出力される。

以上述べたように、本実施例によれば、水平方向に関する情報と垂直方向に関する情報を用いて、周期パターン部分であるか否かが判定される。水平方向に関する情報は、水平輝度差、水平判断結果、水平切り替わり位置、等であり、垂直方向に関する情報は、垂直輝度差、垂直判断結果、垂直切り替わり位置、等である。それにより、水平方向に関する情報のみを用いる場合に比べて、周期パターン部分であるか否かの判定の精度を向上することができる。その結果、周期パターン部分を含む入力画像の補間画素を生成する際の画質の劣化を、実施例１よりも高精度に抑制することができる。
なお、垂直方向に関する情報のみを用いて周期パターン部分であるか否かが判定されてもよい。

＜実施例３＞
実施例１，２では、切り替わり位置の間隔に基づいて周期パターン部分であるか否かを判定する例を説明した。実施例３では、入力画像の隣接輝度差のヒストグラム（隣接輝度差ヒストグラム）に基づいて周期パターン部分であるか否かを判定する例を説明する。
本実施例に係る画像処理装置の全体構成は実施例１（図１）と同じである。
図１２は、本実施例に係る斜め検出部１０３の構成の一例を示すブロック図である。図１２のラインメモリ７００、ブロックマッチング部７０１、マッチング角度算出部７０２の基本的な動作は、図４のラインメモリ３００、ブロックマッチング部３０２、マッチング角度算出部３０３と同様である。但し、ブロックマッチング部７０１では、図７のＳ１０２とＳ１０３の処理を除外した処理が行われる。

隣接輝度差ヒストグラム取得部７０３は、入力画像信号（Ｎ−１フィールド信号ＦＤ１）を用いて、隣接輝度差として、入力画像の互いに隣接する画素間の輝度値の差の絶対値を算出する。具体的には、入力画像の画素毎に、その画素の輝度値と、当該画素に隣接する画素の輝度値との差の絶対値が、隣接輝度差として算出される。本実施例では、水平方向３タップの差分フィルターを用いて水平方向の隣接輝度差が算出され、垂直方向３タップの差分フィルターを用いて垂直方向の隣接輝度差が算出される。差分フィルターの３タップのフィルター係数ＦＣＯＥは、例えば、以下の式１２に示す係数である。

ＦＣＯＥ＝（−１，＋２，−１） ・・・（式１２）

もちろん、差分フィルターのタップ数は３に限らないし、フィルター係数の値は式１２に示す値に限らない。入力画像の互いに隣接する画素間の輝度値の差が得られれば、どのような差分フィルターが使用されてもよい。例えば、フィルター係数（−１，＋１）の２タップの差分フィルターが使用されてもよい。

そして、隣接輝度差ヒストグラム取得部７０３は、各画素の隣接輝度差をカテゴリ毎に分類することにより、隣接輝度差ヒストグラムを生成する。隣接輝度差ヒストグラムは、重み付け累積加算部７０４へ出力される。
具体的には、水平方向の隣接輝度差のヒストグラムＨＢＨ、及び、垂直方向の隣接輝度差のヒストグラムＶＢＨが生成される。本実施例では、水平隣接輝度差ヒストグラムＨＢＨとして、水平方向の隣接輝度差を１６種類のカテゴリに分類したヒストグラムが生成される。また、垂直隣接輝度差ヒストグラムＶＢＨとして、垂直方向の隣接輝度差を１６種類のカテゴリに分類したヒストグラムが生成される。なお、隣接輝度差ヒストグラムにおけるカテゴリの数や幅は特に限定されない。カテゴリの数は１６より多くても少なくても
よい。１つのカテゴリの幅（１つのカテゴリに対応する隣接輝度差の範囲）は、広くても狭くてもよい。隣接輝度差ヒストグラムとして、隣接輝度差毎の度数を表すヒストグラムが生成されてもよい。

隣接輝度差ヒストグラムの一例を図１３（Ａ），（Ｂ）に示す。図１３（Ａ）は、隣接輝度差が大きい画素を多く有する画像から生成された隣接輝度差ヒストグラムの一例を示す。図１３（Ｂ）は、隣接輝度差が小さい画素を多く有する画像から生成された隣接輝度差ヒストグラムの一例を示す。図１３（Ａ），（Ｂ）の横軸はカテゴリの値（カテゴリ値）を示し、図１３（Ａ），（Ｂ）の縦軸は度数を示す。図１３（Ａ），（Ｂ）では、隣接輝度差が大きいほど大きいカテゴリ値が設定されている。即ち、隣接輝度差が小さい画素の度数は、ヒストグラムの左側（カテゴリ値が小さい側）に現れ、隣接輝度差が大きい画素の度数は、ヒストグラムの右側（カテゴリ値が大きい側）に現れる。図１３（Ａ）では、隣接輝度差が大きい画素が多く存在するため、ヒストグラムの右側に度数が集中しており、図１３（Ｂ）では、隣接輝度差が小さい画素が多く存在するため、ヒストグラムの左側に度数が集中している。

重み付け累積加算部７０４は、隣接輝度差ヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算する。本実施例では、隣接輝度差ヒストグラム取得部７０３から出力された水平隣接輝度差ヒストグラムＨＢＨの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、水平加算値が算出される。また、垂直隣接輝度差ヒストグラムＶＢＨの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、垂直加算値が算出される。そして、水平加算値と垂直加算値の平均値が算出される。具体的には、垂直加算値よりも水平加算値の方が高い重みで垂直加算値と水平加算値を加重平均した値が平均値Ｖａｌｕｅとして出力される。平均値Ｖａｌｕｅは判定部７０７に出力される。
平均値Ｖａｌｕｅは、以下の式１３を用いて算出される。式１３において、γは０以上１以下の値であり、水平加算値の重み（重み係数）である。ｋはカテゴリ値であり（ｋ＝０〜１５）、ＨＢＨ［ｋ］は、水平隣接輝度差ヒストグラムにおけるカテゴリｋの度数であり、ＶＢＨ［ｋ］は、垂直隣接輝度差ヒストグラムにおけるカテゴリｋの度数である。ＨＷＣＯＥ［ｋ］はＨＢＨ［ｋ］の重み（重み係数）であり、ＶＷＣＯＥ［ｋ］はＶＢＨ［ｋ］の重みである。

Ｖａｌｕｅ＝γ×（Σ（ＨＢＨ［ｋ］×ＨＷＣＯＥ［ｋ］））
＋（１−γ）×（Σ（ＶＢＨ［ｋ］×ＶＷＣＯＥ［ｋ］））
・・・（式１３）

なお、インターレース画像は垂直方向にラインが間引かれた画像であるため、垂直隣接輝度差ヒストグラムよりも水平隣接輝度差ヒストグラムの方が信頼度が高い。そのため、重み係数γとして大きな値を設定することが好ましい。具体的には、水平加算値の重みとして、垂直加算値よりも高い重みを設定することが好ましい（γ＞０．５）。本実施例では、γ＝１であり、水平隣接輝度差ヒストグラムＨＢＨのみが使用され、平均値Ｖａｌｕｅとして水平加算値が算出される例を説明する。しかし、水平加算値の重みと垂直加算値の重みとはこれに限らない。水平加算値の重みと垂直加算値の重みとは同じ値であってもよいし、水平加算値の重みは垂直加算値の重みより小さくてもよい。垂直隣接輝度差ヒストグラムＶＢＨのみが使用され、平均値Ｖａｌｕｅとして垂直加算値が算出されてもよい。水平隣接輝度差ヒストグラムＨＢＨと垂直隣接輝度差ヒストグラムＶＢＨとの両方を用いた方が、一方のみを用いた場合よりも、信頼度の高い平均値Ｖａｌｕｅを算出することができる。

重み係数ＨＷＣＯＥ［ｋ］，ＶＷＣＯＥ［ｋ］の一例を図１４に示す。本実施例では、隣接輝度差が大きい画素が検出され易くなるように、隣接輝度差が大きいほど高い重み係数が設定されている。即ち、隣接輝度差が大きい画素の水平加算値や垂直加算値に対する影響度合いが大きくなるように、隣接輝度差が大きいほど高い重み係数が設定されている。本実施例では、隣接輝度差が大きいほど大きいカテゴリ値（隣接輝度差ヒストグラムのカテゴリ値）が設定されているため、図１４に示すように、隣接輝度差ヒストグラムのカテゴリ値が大きいほど高い重み係数が設定されている。
図１４に示された重み係数を用いて平均値Ｖａｌｕｅを算出すると、図１３（Ａ）の例では、隣接輝度差が大きい画素が多いため、平均値Ｖａｌｕｅとして大きな値が算出される。図１３（Ｂ）の例では、隣接輝度差が小さい画素が多いため、平均値Ｖａｌｕｅとして小さな値が算出される。

輝度ヒストグラム取得部７０５は、入力画像の輝度値のヒストグラム（輝度ヒストグラム）を生成する。具体的には、輝度ヒストグラム取得部７０５は、入力画像信号（Ｎ−１フィールド信号ＦＤ１）を用いて、入力画像の各画素の輝度値をカテゴリ毎に分類することにより、輝度ヒストグラムＹＨを生成する。輝度ヒストグラムＹＨは、閾値決定部７０６へ出力される。輝度ヒストグラムＹＨのカテゴリの数はｎである。本実施例では、輝度値毎に度数を表す輝度ヒストグラムが生成されるように、ｎ＝２５６とされている。換言すれば、カテゴリと輝度値が１：１で対応するように、ｎ＝２５６とされている。なお、輝度ヒストグラムにおけるカテゴリの幅や数も、隣接輝度差ヒストグラムと同様に、特に限定されない。

輝度ヒストグラムの一例を図１５（Ａ），（Ｂ）に示す。図１５（Ａ）は、高輝度の画素と低輝度の画素を多く有する画像から生成された輝度ヒストグラムの一例を示す。図１５（Ｂ）は、中間輝度の画素を多く有する画像から生成された輝度ヒストグラムの一例を示す。図１５（Ａ），（Ｂ）の横軸はカテゴリ値を示し、図１５（Ａ），（Ｂ）の縦軸は度数を示す。図１５（Ａ），（Ｂ）では、カテゴリ値として輝度値が設定されている。即ち、輝度値が低い画素の度数は、ヒストグラムの左側（カテゴリ値が小さい側）に現れ、輝度値が高い画素の度数は、ヒストグラムの右側（カテゴリ値が大きい側）に現れる。図１５（Ａ）では、高輝度の画素と低輝度の画素が多く存在するため、低輝度から高輝度まで度数が幅広く分布している。一方、図１５（Ｂ）では、高輝度の画素と低輝度の画素があまり存在しないため、中間輝度に度数が集中している。

閾値決定部７０６は、輝度ヒストグラム取得部７０５で取得された輝度ヒストグラムＹＨを用いて、平均値Ｖａｌｕｅと比較する閾値Ｔｈを決定する。閾値Ｔｈは、判定部７０７へ出力される。
以下、閾値Ｔｈの決定方法について説明する。

まず、閾値決定部７０６は、輝度ヒストグラムＹＨの度数を、輝度値が低い方から順に累積加算して、累積加算して得られた値が閾値Ｌを超えたときの当該ヒストグラムのカテゴリ値を第１の値ＬＯＷ＿Ｃｌａｓｓとして算出する。例えば、第１の値ＬＯＷ＿Ｃｌａｓｓは、図１６（Ａ）に示すフローチャートに従って算出される。なお、閾値Ｌは任意の値である。閾値Ｌが小さいほど、後述する差分Ｄｅｆとして大きい値が算出され易くなる。
まず、カテゴリ値ｎとＬＯＷ＿Ｖａｌｕｅが０に初期化される（Ｓ２０２）。
次に、ＬＯＷ＿ＶａｌｕｅにＹＨ［ｎ］が加算される（Ｓ２０３）。ＹＨ［ｎ］は、輝度ヒストグラムにおけるカテゴリｎの度数である。
そして、ＬＯＷ＿Ｖａｌｕｅが閾値Ｌと比較される（Ｓ２０４）。ＬＯＷ＿Ｖａｌｕｅが閾値Ｌより大きい場合には、Ｓ２０６に処理が進められる。ＬＯＷ＿Ｖａｌｕｅが閾値Ｌ以下の場合には、Ｓ２０５に処理が進められる。
Ｓ２０５では、ｎに１が加算され、Ｓ２０３に処理が戻される。そして、ＬＯＷ＿Ｖａｌｕｅが閾値Ｌより大きくなるまで、Ｓ２０３〜Ｓ２０５の処理が繰り返される。
Ｓ２０６では、ｎ（ＬＯＷ＿Ｖａｌｕｅが閾値Ｌより大きいと判定されたときのｎ）がＬＯＷ＿Ｃｌａｓｓとして設定される。

次に、閾値決定部７０６は、輝度ヒストグラムＹＨの度数を、輝度値が高い方から順に累積加算して、累積加算して得られた値が閾値Ｈを超えたときの当該ヒストグラムのカテゴリ値を第２の値ＨＩＧＨ＿Ｃｌａｓｓとして算出する。例えば、第２の値ＨＩＧＨ＿Ｃｌａｓｓは、図１６（Ｂ）に示すフローチャートに従って算出される。なお、閾値Ｈは任意の値である。閾値Ｈが小さいほど、後述する差分Ｄｅｆとして大きい値が算出され易くなる。
まず、カテゴリ値ｎが２５５に初期化され、ＨＩＧＨ＿Ｖａｌｕｅが０に初期化される（Ｓ３０２）。
次に、ＨＩＧＨ＿ＶａｌｕｅにＹＨ［ｎ］が加算される（Ｓ３０３）。
そして、ＨＩＧＨ＿Ｖａｌｕｅが閾値Ｈと比較される（Ｓ３０４）。ＨＩＧＨ＿Ｖａｌｕｅが閾値Ｈより大きい場合には、Ｓ３０６に処理が進められる。ＨＩＧＨ＿Ｖａｌｕｅが閾値Ｈ以下の場合には、Ｓ３０５に処理が進められる。
Ｓ３０５では、ｎから１が減算され、Ｓ３０３に処理が戻される。そして、ＨＩＧＨ＿Ｖａｌｕｅが閾値Ｈより大きくなるまで、Ｓ３０３〜Ｓ３０５の処理が繰り返される。
Ｓ３０６では、ｎ（ＨＩＧＨ＿Ｖａｌｕｅが閾値Ｈより大きいと判定されたときのｎ）がＨＩＧＨ＿Ｃｌａｓｓとして設定される。

そして、閾値決定部７０６は、第１の値ＬＯＷ＿Ｃｌａｓｓと、第２の値ＨＩＧＨ＿Ｃｌａｓｓとを用いて、閾値Ｔｈを決定する。具体的には、以下の式１４を用いて、第２の値ＨＩＧＨ＿Ｃｌａｓｓから第１の値ＬＯＷ＿Ｃｌａｓｓを減算した値（差分Ｄｅｆ）が算出される。そして、差分Ｄｅｆが大きいほど大きい値が、閾値Ｔｈとして決定される。

差分Ｄｅｆ＝ＨＩＧＨ＿Ｃｌａｓｓ−ＬＯＷ＿Ｃｌａｓｓ ・・・（式１４）

閾値Ｔｈは、例えば、差分Ｄｅｆと閾値Ｔｈの関係を表す関数やテーブルを用いて決定される。図１７に、差分Ｄｅｆと閾値Ｔｈの関係を表すテーブルの一例を示す。図１７に示すように、差分Ｄｅｆと閾値Ｔｈの関係を表すテーブルでは、差分Ｄｅｆが大きいほど大きい閾値Ｔｈが設定されている。
なお、閾値Ｔｈは、予め定められた値（固定値）であってもよい。しかしながら、周期パターン部分の種類は様々であり、周期パターン部分内における最低輝度値から最大輝度値までの範囲が狭いものや広いものがある。そして、最低輝度値から最大輝度値までの範囲が広い周期パターン部分では、平均値Ｖａｌｕｅとして大きい値が算出され易く、最低輝度値から最大輝度値までの範囲が狭い周期パターン部分では、平均値Ｖａｌｕｅとして小さい値が算出され易い。そのため、閾値Ｔｈとして固定値を用いると、後述する判定部７０７において精度良い判定（周期パターン部分を含むか否かの判定）を行うことができない。そこで、本実施例では、上記の方法で、閾値Ｔｈを決定する。それにより、周期パターン部分を含むか否かの判定を精度良く行うことが可能となる。

判定部７０７は、重み付け累積加算部７０４から出力された平均値Ｖａｌｕｅを、閾値決定部７０６から出力された閾値Ｔｈと比較することにより、入力画像が周期パターン部分を含む画像であるか否かを判定する。具体的には、平均値Ｖａｌｕｅが閾値Ｔｈより大きい場合に、判定部７０７は、周期パターン部分が存在すると判定し、判定結果としてＣａｎｃｅｌ＿Ｆｌｇ＝１を出力する。また、平均値Ｖａｌｕｅが閾値Ｔｈ以下である場合に、判定部７０７は、周期パターン部分が存在しないと判定し、判定結果としてＣａｎｃｅｌ＿Ｆｌｇ＝０を出力する。

角度補正部７０８は、マッチング角度算出部７０２で算出された角度情報ＡＮＧＬＥを、判定部７０７で判定されたＣａｎｃｅｌ＿Ｆｌｇに従って補正する。具体的には、Ｃａｎｃｅｌ＿Ｆｌｇ＝１であれば、周期パターン部分が存在するため、各位置（補間画素の生成位置）の角度情報ＡＮＧＬＥは０（斜めエッジ部分でないことを示す値）に補正されて、出力される。また、Ｃａｎｃｅｌ＿Ｆｌｇ＝０であれば、周期パターンが存在しないため、角度情報ＡＮＧＬＥは補正されずに、そのまま出力される。
このような補正を行うことにより、入力画像が周期パターン部分を含む画像であると判定された場合に、斜め補間処理を行わずに補間画素が生成されることとなる。

以上述べたように、本実施例によれば、隣接輝度差ヒストグラムに基づいて判定（入力画像が周期パターン部分を含む画像であるか否かの判定）が行われる。それにより、様々な周期パターン部分を判断することができる。そして、本実施例によれば、入力画像が周期パターン部分を含む画像であると判定された場合に、斜め補間処理を行わずに補間画素が生成される。その結果、周期パターン部分を含む入力画像の補間画素を生成する際の画質の劣化（誤検出されたエッジの方向に応じた斜め補間処理による画質の劣化）を、周期パターン部分の種類に依らず抑制することができる。
なお、本実施例では、水平方向の隣接輝度差と、垂直方向の隣接輝度差を算出したが、水平方向と垂直方向のいずれか一方の隣接輝度差を算出する構成であってもよい。また、水平方向の隣接輝度差と、垂直方向の隣接輝度差とは異なる隣接輝度差が算出されてもよい。例えば、水平方向３タップ×垂直方向３タップの差分フィルターを用いて隣接輝度差が算出されてもよい。そして、隣接輝度差を重み付け加算し、重み付け加算によって得られた値と閾値Ｔｈが比較されてもよい。

＜実施例４＞
実施例３では、入力画像全体についての隣接輝度差ヒストグラムと輝度ヒストグラムを用いる例を説明した。実施例４では、入力画像の一部の領域の画像である部分画像についての隣接輝度差ヒストグラムと輝度ヒストグラムを用いる例を説明する。部分画像は、例えば、画面の領域を分割して得られる分割領域に表示される部分（入力画像の一部）である。しかし、部分画像はこれに限るものではなく、分割領域とは無関係の領域の画像であってもよい。例えば、部分画像は、画面の一部の領域に表示される入力画像を分割して得られる画像であってもよい。また、入力画像を構成する複数の部分画像のサイズは、同じであってもよいし、異なっていてもよい。
本実施例に係る画像処理装置の全体構成は実施例１（図１）と同じである。
本実施例に係る斜め検出部１０３の構成は実施例３（図１２）と同じである。但し、一部の機能部は、実施例３と異なる処理を行う。以下では、実施例３と異なる処理について詳しく説明し、実施例３と同様の処理については説明を省略する。

隣接輝度差ヒストグラム取得部７０３は、入力画像（Ｎ−１フィールドの画像）を複数の部分画像に分割し、部分画像毎に隣接輝度差ヒストグラムを取得する。具体的には、部分画像毎に、水平隣接輝度差ヒストグラムＨＢＨと垂直隣接輝度差ヒストグラムＶＢＨが取得される。水平隣接輝度差ヒストグラムＨＢＨと垂直隣接輝度差ヒストグラムＶＢＨの生成方法は実施例３と同様である。本実施例では、図１８に示すように、入力画像が、水平方向Ｘ個×垂直方向Ｙ個の部分画像に分割されるものとする。そのため、本実施例では、Ｘ×Ｙ個の水平隣接輝度差ヒストグラムＨＢＨ［ｘ］［ｙ］と、Ｘ×Ｙ個の垂直隣接輝度差ヒストグラムＶＢＨ［ｘ］［ｙ］とが取得され、重み付け累積加算部７０４に出力される。なお、図１８において、部分画像に記載の“（ｘ，ｙ）”は部分画像の位置座標を表し、ｘ（＝１〜Ｘ）は水平位置を表し、ｙ（＝１〜Ｙ）は垂直位置を表す。そして、水平隣接輝度差ヒストグラムＨＢＨ［ｘ］［ｙ］と垂直隣接輝度差ヒストグラムＶＢＨ［ｘ］［ｙ］は、水平位置がｘであり垂直位置がｙである部分画像に対応するヒストグラムで
ある。
なお、入力画像を分割せずに、入力画像内に処理対象とする領域（部分画像の領域）を設定して、領域内の画素毎に隣接輝度差を算出することにより、部分画像の隣接輝度差ヒストグラムが生成されてもよい。

重み付け累積加算部７０４は、部分画像毎に、その部分画像に対応する隣接輝度差ヒストグラム（水平隣接輝度差ヒストグラムＨＢＨ［ｘ］［ｙ］、及び、垂直隣接輝度差ヒストグラムＶＢＨ［ｘ］［ｙ］）を用いて、平均値Ｖａｌｕｅ［ｘ］［ｙ］を算出する。平均値Ｖａｌｕｅ［ｘ］［ｙ］の算出方法は実施例３と同様である。そして、重み付け累積加算部７０４は、部分画像毎のＶａｌｕｅ［ｘ］［ｙ］（Ｘ×Ｙ個のＶａｌｕｅ［ｘ］［ｙ］）を判定部７０７に出力する。例えば、入力画像を水平方向に１０分割、垂直方向に５分割することにより部分画像が得られる場合、５０個のＶａｌｕｅが出力される。

輝度ヒストグラム取得部７０５は、入力画像を複数の部分画像に分割し、部分画像毎に輝度ヒストグラムを取得する。具体的には、輝度ヒストグラム取得部７０５では、隣接輝度差ヒストグラム取得部７０３と同様に、入力画像がＸ×Ｙ個の部分画像に分割される。そのため、Ｘ×Ｙ個の輝度ヒストグラムＹＨ［ｘ］［ｙ］が取得される。輝度ヒストグラムＹＨ［ｘ］［ｙ］の生成方法は実施例３と同様である。Ｘ×Ｙ個の輝度ヒストグラムＹＨ［ｘ］［ｙ］は、閾値決定部７０６に出力される。

閾値決定部７０６は、部分画像毎に、その部分画像に対応する輝度ヒストグラムＹＨ［ｘ］［ｙ］を用いて、閾値Ｔｈ［ｘ］［ｙ］が決定される。閾値Ｔｈ［ｘ］［ｙ］の決定方法は実施例３と同様である。そして、閾値決定部７０６は、部分画像毎の閾値Ｔｈ［ｘ］［ｙ］（Ｘ×Ｙ個の閾値Ｔｈ［ｘ］［ｙ］）を判定部７０７に出力する。

判定部７０７は、部分画像毎に、平均値Ｖａｌｕｅ［ｘ］［ｙ］を閾値Ｔｈ［ｘ］［ｙ］と比較することにより、部分画像毎に、その部分画像が周期パターン部分を含む画像であるか否かを判定する。そして、判定部７０７は、部分画像毎の判定結果Ｃａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］を角度補正部７０８へ出力する。具体的には、周期パターン部分を含む画像であると判定された部分画像に対する判定結果として、Ｃａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］＝１が出力される。そして、周期パターン部分を含まない画像であると判定された部分画像に対する判定結果として、Ｃａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］＝０が出力される。周期パターン部分を含む画像であるか否かの判定方法は実施例３と同様である。

角度補正部７０８は、部分画像毎に、マッチング角度算出部７０２で算出された角度情報ＡＮＧＬＥを、判定部７０７で判定されたＣａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］に従って補正する。角度情報ＡＮＧＬＥの補正方法は実施例３と同様である。例えば、Ｃａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］＝０の部分画像内の各位置（補間画素の生成位置）の角度情報ＡＮＧＬＥは補正されずに、そのまま出力される。Ｃａｎｃｅｌ＿Ｆｌｇ［ｘ］［ｙ］＝１の部分画像内の各位置（補間画素の生成位置）の角度情報ＡＮＧＬＥは０に補正されて、出力される。そのため、周期パターン部分を含む画像であると判定された部分画像に対しては、斜め補間処理を行わずに補間画素が生成される。

以上述べたように、本実施例によれば、部分画像毎に、その部分画像のヒストグラムを用いて、当該部分画像が周期パターン部分を含む画像であるか否かが判定される。そして、部分画像毎に、斜め補間処理を実行可能とするか否かが切り替えられる。それにより、補間画素を生成する際の画質の劣化を、実施例３よりも精度良く抑制することができる。
具体的には、部分画像毎のヒストグラムを用いることにより、周期パターン部分の面積が小さい場合であっても、周期パターン部分を含む画像であるか否かの判定を精度良く行うことが可能となる。その結果、周期パターン部分を含む部分画像を精度良く検出するこ
とができ、周期パターン部分における画質の劣化（誤検出されたエッジの方向に応じた斜め補間処理による画質の劣化）を、実施例３よりも精度良く抑制することができる。
また、実施例３では、周期パターン部分を含む画像であると判定された場合に、入力画像全体に対して斜め補間処理が実行不可能とされる。そのため、周期パターン部分を含む画像であると判定された入力画像内に斜めエッジ部分が存在する場合に、当該斜めエッジ部分においてジャギーが発生してしまうことがある。本実施例では、部分画像毎に、周期パターン部分を含む画像であるか否かの判定、及び、斜め補間処理を実行可能とするか否かの切り替えが行われるため、斜めエッジ部分における画質の劣化を実施例３よりも精度良く抑制することができる。

１０４ フィールド内補間画素生成部
１０５ 補間画素生成部
３０１，５０３ 周期パターン判定部
３０２，７０１ ブロックマッチング部
３０３，７０２ マッチング角度算出部
７０３ 隣接輝度差ヒストグラム取得部
７０４ 重み付け累積加算部
７０５ 輝度ヒストグラム取得部
７０６ 閾値決定部
７０７ 判定部
７０８ 角度補正部

Claims (24)

1. 入力画像の補間画素を生成する画像処理装置であって、
   前記補間画素の生成位置が周期パターン部分か否かを判定するパターン判定手段と、
   前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定手段と、
   前記入力画像の動きがあり、且つ、前記斜め判定手段で斜め方向のエッジ部分であると判定された前記生成位置に対して、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成手段と、
   を備え、
   前記パターン判定手段は、
   補間画素の生成位置に隣接する水平方向のライン上の、当該生成位置周辺に位置する画素である周辺画素毎に、その周辺画素の輝度値から、水平方向において当該周辺画素に隣接する画素である水平隣接画素の輝度値を減算した値を、水平輝度差として算出し、
   前記周辺画素毎の水平輝度差に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出し、
   水平切り替わり位置の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定し、
   前記生成手段は、前記パターン判定手段で周期パターン部分であると判定された位置に対しては、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置。
2. 前記パターン判定手段は、
   前記周辺画素毎に、その周辺画素の輝度値から、垂直方向において当該周辺画素に隣接する画素である垂直隣接画素の輝度値を減算した値を、垂直輝度差として算出し、
   前記周辺画素毎の垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を垂直切り替わり位置として検出し、
   水平切り替わり位置の間隔と、垂直切り替わり位置の間隔との少なくとも一方の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記パターン判定手段は、水平輝度差に基づいて、水平隣接画素から周辺画素にかけて
   輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出することを特徴とする請求項１に記載の画像処理装置。
4. 前記パターン判定手段は、
   水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出し、
   垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて垂直切り替わり位置を検出することを特徴とする請求項２に記載の画像処理装置。
5. 前記パターン判定手段は、
   水平輝度差に重み係数α（０≦α≦１）を乗算することにより重み付け水平輝度差を算出し、重み付け水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出し、
   垂直輝度差に重み係数β（０≦β≦１）を乗算することにより重み付け垂直輝度差を算出し、重み付け垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて垂直切り替わり位置を検出することを特徴とする請求項２に記載の画像処理装置。
6. 前記重み係数αは前記重み係数βよりも大きいことを特徴とする請求項５に記載の画像処理装置。
7. 入力画像の補間画素を生成する画像処理装置であって、
   前記入力画像の互いに隣接する画素間の輝度差である隣接輝度差に基づいて、前記入力画像が周期パターン部分を含む画像か否かを判定するパターン判定手段と、
   前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定手段と、
   前記入力画像の動きがあり、且つ、前記斜め判定手段で斜め方向のエッジ部分であると判定された前記生成位置に、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成手段と、
   を備え、
   前記隣接輝度差は、輝度値の差の絶対値であり、
   前記パターン判定手段は、
   前記入力画像の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算して得られた値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定し、
   前記生成手段は、前記パターン判定手段で前記入力画像が周期パターン部分を含む画像であると判定された場合に、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置。
8. 前記パターン判定手段は、
   水平方向の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、水平加算値を算出し、
   垂直方向の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、垂直加算値を算出し、
   前記水平加算値と前記垂直加算値の平均値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定することを特徴とする請求項７に記載の画像処理装置。
9. 前記水平加算値と前記垂直加算値の平均値は、前記垂直加算値よりも前記水平加算値の方が高い重みで前記垂直加算値と前記水平加算値を加重平均した値であることを特徴とする請求項８に記載の画像処理装置。
10. 前記パターン判定手段は、
    前記入力画像の輝度値のヒストグラムの度数を、輝度値が低い方から順に累積加算して、累積加算して得られた値が閾値を超えたときの当該ヒストグラムのカテゴリ値を第１の値として算出し、
    前記入力画像の輝度値のヒストグラムの度数を、輝度値が高い方から順に累積加算して、累積加算して得られた値が閾値を超えたときの当該ヒストグラムのカテゴリ値を第２の値として算出し、
    前記第１の値と前記第２の値を用いて、前記第２の値から前記第１の値を減算した値が大きいほど大きい値を、前記重み付け加算して得られた値と比較する前記閾値として決定することを特徴とする請求項７〜９のいずれか１項に記載の画像処理装置。
11. 前記パターン判定手段は、前記入力画像の一部の領域の画像である部分画像の隣接輝度差のヒストグラムを用いて、当該部分画像が周期パターン部分を含む画像であるか否かを判定する処理を、前記入力画像を構成する複数の部分画像のそれぞれについて行い、
    前記生成手段は、前記パターン判定手段で周期パターン部分を含む画像であると判定された部分画像に対しては、前記斜め補間処理を行わずに補間画素を生成することを特徴とする請求項７〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は、前記入力画像であるインターレース画像を補間によりプログレッシブ画像に変換する装置であり、
    前記生成手段は、動き適応型インターレース・プログレッシブ変換により補間画素を生成することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 入力画像の補間画素を生成する画像処理装置の制御方法であって、
    前記補間画素の生成位置が周期パターン部分か否かを判定するパターン判定ステップと、
    前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定ステップと、
    前記入力画像の動きがあり、且つ、前記斜め判定ステップで斜め方向のエッジ部分であると判定された前記生成位置に対して、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成ステップと、
    を有し、
    前記パターン判定ステップでは、
    補間画素の生成位置に隣接する水平方向のライン上の、当該生成位置周辺に位置する画素である周辺画素毎に、その周辺画素の輝度値から、水平方向において当該周辺画素に隣接する画素である水平隣接画素の輝度値を減算した値を、水平輝度差として算出し、
    前記周辺画素毎の水平輝度差に基づいて、水平隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を水平切り替わり位置として検出し、
    水平切り替わり位置の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定し、
    前記生成ステップでは、前記パターン判定ステップで周期パターン部分であると判定された位置に対しては、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置の制御方法。
14. 前記パターン判定ステップでは、
    前記周辺画素毎に、その周辺画素の輝度値から、垂直方向において当該周辺画素に隣
    接する画素である垂直隣接画素の輝度値を減算した値を、垂直輝度差として算出し、
    前記周辺画素毎の垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけての輝度値の変化が増加と減少の間で切り替わる位置を垂直切り替わり位置として検出し、
    水平切り替わり位置の間隔と、垂直切り替わり位置の間隔との少なくとも一方の間隔が一定である場合に、補間画素の生成位置が周期パターン部分であると判定することを特徴とする請求項１３に記載の画像処理装置の制御方法。
15. 前記パターン判定ステップでは、水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出することを特徴とする請求項１３に記載の画像処理装置の制御方法。
16. 前記パターン判定ステップでは、
    水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出し、
    垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて垂直切り替わり位置を検出することを特徴とする請求項１４に記載の画像処理装置の制御方法。
17. 前記パターン判定ステップでは、
    水平輝度差に重み係数α（０≦α≦１）を乗算することにより重み付け水平輝度差を算出し、重み付け水平輝度差に基づいて、水平隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて水平切り替わり位置を検出し、
    垂直輝度差に重み係数β（０≦β≦１）を乗算することにより重み付け垂直輝度差を算出し、重み付け垂直輝度差に基づいて、垂直隣接画素から周辺画素にかけて輝度値が増加しているか、減少しているか、変化していないかを判断し、その判断結果に基づいて垂直切り替わり位置を検出することを特徴とする請求項１４に記載の画像処理装置の制御方法。
18. 前記重み係数αは前記重み係数βよりも大きいことを特徴とする請求項１７に記載の画像処理装置の制御方法。
19. 入力画像の補間画素を生成する画像処理装置の制御方法であって、
    前記入力画像の互いに隣接する画素間の輝度差である隣接輝度差に基づいて、前記入力画像が周期パターン部分を含む画像か否かを判定するパターン判定ステップと、
    前記補間画素の生成位置が斜め方向のエッジ部分か否かを判定する斜め判定ステップと、
    前記入力画像の動きがあり、且つ、前記斜め判定ステップで斜め方向のエッジ部分であると判定された前記生成位置に、当該エッジの方向に存在する画素を用いて前記補間画素を生成する斜め補間処理を行う生成ステップと、
    を有し、
    前記隣接輝度差は、輝度値の差の絶対値であり、
    前記パターン判定ステップでは、
    前記入力画像の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算して得られた値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定し、
    前記生成ステップでは、前記パターン判定ステップで前記入力画像が周期パターン部分を含む画像であると判定された場合に、前記斜め補間処理を行わずに前記補間画素を生成することを特徴とする画像処理装置の制御方法。
20. 前記パターン判定ステップでは、
    水平方向の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、水平加算値を算出し、
    垂直方向の隣接輝度差のヒストグラムの各度数を、隣接輝度差が大きいほど高い重みで重み付け加算することにより、垂直加算値を算出し、
    前記水平加算値と前記垂直加算値の平均値が閾値より大きい場合に、前記入力画像が周期パターン部分を含む画像であると判定することを特徴とする請求項１９に記載の画像処理装置の制御方法。
21. 前記水平加算値と前記垂直加算値の平均値は、前記垂直加算値よりも前記水平加算値の方が高い重みで前記垂直加算値と前記水平加算値を加重平均した値であることを特徴とする請求項２０に記載の画像処理装置の制御方法。
22. 前記パターン判定ステップでは、
    前記入力画像の輝度値のヒストグラムの度数を、輝度値が低い方から順に累積加算して、累積加算して得られた値が閾値を超えたときの当該ヒストグラムのカテゴリ値を第１の値として算出し、
    前記入力画像の輝度値のヒストグラムの度数を、輝度値が高い方から順に累積加算して、累積加算して得られた値が閾値を超えたときの当該ヒストグラムのカテゴリ値を第２の値として算出し、
    前記第１の値と前記第２の値を用いて、前記第２の値から前記第１の値を減算した値が大きいほど大きい値を、前記重み付け加算して得られた値と比較する前記閾値として決定することを特徴とする請求項１９〜２１のいずれか１項に記載の画像処理装置の制御方法。
23. 前記パターン判定ステップでは、前記入力画像の一部の領域の画像である部分画像の隣接輝度差のヒストグラムを用いて、当該部分画像が周期パターン部分を含む画像であるか否かを判定する処理を、前記入力画像を構成する複数の部分画像のそれぞれについて行い、
    前記生成ステップでは、前記パターン判定ステップで周期パターン部分を含む画像であると判定された部分画像に対しては、前記斜め補間処理を行わずに補間画素を生成することを特徴とする請求項１９〜２２のいずれか１項に記載の画像処理装置の制御方法。
24. 前記画像処理装置は、前記入力画像であるインターレース画像を補間によりプログレッシブ画像に変換する装置であり、
    前記生成ステップでは、動き適応型インターレース・プログレッシブ変換により補間画素を生成することを特徴とする請求項１３〜２３のいずれか１項に記載の画像処理装置の制御方法。

Images