JP5333791B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、インターレース‐プログレッシブ変換によってプログレッシブ画像を生成する画像処理方法、画像処理装置及び画像処理プログラムに関する。

ＴＶ放送で配信される映像やビデオテープやＤＶＤなどの記録メディアに保存されている映像は、インターレース映像であることが多い。インターレース画像Fiとは、式（１）で表されるように、プログレッシブ画像Fpと比較して、画像の走査方向に一ライン毎に間引かれた画像である。

ここで、Fi(x,y)およびFp(x,y)は、座標(x,y)におけるFiおよびFpの画素値である。また、x mod yは、xをyで割ったときの余剰を表す算術記号である。

液晶ディスプレイやプラズマディスプレイといったプログレッシブ画像を表示する画像表示装置でインターレース画像を表示する場合や、入力されたプログレッシブ画像とあらかじめデータベースに保存されているプログレッシブ画像とを比較し入力プログレッシブ画像を認識する画像照合装置においてインターレース画像を入力する場合等は、式（１）のインターレース画像における間引かれたラインのNull画素を補間によって復元し、プログレッシブ映像を生成する必要がある。この補間処理は、一般にインターレース‐プログレッシブ変換（ＩＰ変換・De-interlacing）と呼ばれる。以下、補間によって復元するNull画素を補間画素と呼ぶことにする。

ＩＰ変換の方法の一つに、Fi内の座標(x1,y1)のNull画素の補間にその周辺画素情報を用いる方法がある。この方法として、式（２）で示される単純線形補間方法や式（３）で示されるエッジ適応型補間方法（非特許文献１、特許文献１）などがある。ただし、Fp2は、前記補間方法によって生成されたプログレッシブ映像であり、Fp2(x,y)は、座標(x,y)におけるFp2の画素値である。また、式（３）におけるmは、あらかじめ定められた範囲-φ≦p≦φの中で式（４）を最小にするpである。以下、範囲（-φ≦p≦φ）のことを探索範囲、数値φを探索範囲決定値と呼ぶことにする。

また、非特許文献２では、周辺画素の輝度変換をもとに、それぞれの補間画素におけるエッジ適応型補間方法の探索範囲内の上下ラインの輝度変化を、図７に示すように、（１）片方が平坦、（２）同一方向に単調増加・減少、（３）同一方向に凸、（４）片方が増加減少でもう片方が凸、（５）その他の５つのパターンに分類し、範囲内の上下ラインの輝度変化のパターンが（１）から（４）のパターンのいずれかとなるような最大範囲が探索範囲となるように探索範囲決定値φを適応的に変更している。以下、分類された探索範囲内の上下ラインの輝度変化のパターンを上下ラインの輝度変化パターンと呼ぶことにする。

ＩＰ変換において、全てのNull画素を正確に補間することは一般に困難であるとされている。すなわち、ＩＰ変換により生成されたプログレッシブ画像には誤って補間された画素（以下補間画素）が含まれていることを意味する。

このようなプログレッシブ画像を利用する映像表示装置や画像照合装置などの画像処理応用装置においては、プログレッシブ画像に含まれる誤った補間画素に起因する処理性能の低下が問題となる。この問題を防ぐために、上述の手法では、各補間画素について、補間に利用した画素値の差分絶対値から補間信頼度を計算し、上記のような画像処理応用において、この補間信頼度に応じた画像処理が行われる。以下、この補間に利用した画素の差分絶対値のことを補間差分値と呼ぶことにする。

例えば、特許文献２のような、さらに高精度に補間されたプログレッシブ画像を表示するために、前記方法によって現時刻の１枚のインターレース画像から補間されたプログレッシブ画像と他時刻におけるインターレース画像とを、静動判別を用いて合成する動き適応型ＩＰ変換を実行する画像処理応用装置においては、前記補間差分値から計算される補間信頼度を一つの指標として、処理の切り替えを実行している。前記補間信頼度は、補間差分値が小さいほど大きく、大きいほど小さくなるように計算される。

図９を用いて、本発明に関連する技術のＩＰ変換によりプログレッシブ画像を生成しプログレッシブ画像とその補間信頼度を出力する画像処理装置について説明する。図９は、本発明に関連する技術によるプログレッシブ画像の生成とその補間信頼度の算出を実行する画像処理装置の構成を表すブロック図である。

図９の画像処理装置１００は、画像補間手段１１と信頼度計算手段１２とから構成され、インターレース画像を入力とし、映像表示装置や画像照合装置などの画像処理応用装置４００にプログレッシブ画像とその補間信頼度を出力する。

画像補間手段１１は、インターレース画像を入力とし、インターレース画像を前記方法により補間し、プログレッシブ画像を生成するとともに各画素における補間差分値を出力する。

補間信頼度計算手段１２は、画像補間手段１１から出力された各画素における補間差分値を入力とし、補間差分値に応じた補間信頼度を計算し、補間信頼度を出力する。
特開平４−３５５５８１号公報 特開２０００−５０２１２号公報 "Deinterlacing-an overview", De Haan, G., Bellers, E.B, Proceedings of the IEEE, Volume 86, Issue 9, Sept. 1998 Page(s):1839 - 1857 "周辺領域の輝度変化に基づくエッジ適応型インターレース-プログレッシブ変換法", 戸田ら, 第６回情報科学技術フォーラム, I-034, 2007

しかしながら、上述の関連する技術は、補間差分値を用いて補間信頼度を計算しているが、補間差分値の情報だけでは補間信頼度を正しく求めることはできなかった。

例えば、図８の上段の示す注目補間画素を、図８下段のように、上下画素を連結させ白く補間した場合と、斜め方向の黒い画素同士を連結させ黒く補間した場合とでは、どちらも補間差分値が０となり、その結果補間信頼度が最大となる。しかし、領域の連結を考えた場合、白く補間させた場合は、補間画素の右上の黒い画素が孤立してしまうため、妥当ではない。そのため、注目補間画素の補間信頼度は、白く補間された場合の方が黒く補間された場合よりも小さい値を持つことが望ましい。しかし、補間差分値のみに基づく、上述の関連技術では、どちらの補間を実行しても、その補間信頼度が同じ最大値とされる。従って、上述の関連技術を用いた場合、画像処理応用装置における処理性能が劣化してしまう場合があった。

このように、上述の関連技術では、算出される補間信頼度に問題があるため、画像処理応用装置における処理性能に問題を有することになり、良好な画像処理方法、画像処理装置及び画像処理プログラムを提供することができなかった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、インターレース‐プログレッシブ変換時における補間信頼度を高精度に計算する画像処理方法、画像処理装置及び画像処理プログラムを提供することにある。

上記課題を解決する本発明は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の補間信頼度を、補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせにより決定される第３の補間信頼度との少なくともいずれかとを統合することで決定することを特徴とする画像処理方法
である。

上記課題を解決する本発明は、インターレース画像を補間し、プログレッシブ画像を生成する画像補間ステップと、補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算ステップと、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算ステップ、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算ステップとの少なくともいずれかのステップと、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度の少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合ステップとを有することを特徴とする画像処理方法である。

上記課題を解決する本発明は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算手段と、前記補間画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算手段、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算手段との少なくともいずれかの手段と、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合手段とを有することを特徴とする画像処理装置である。

上記課題を解決する本発明は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算処理と、前記補間画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算処理、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算処理との少なくともいずれかの処理と、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合処理とを情報処理装置に実行させることを特徴とするプログラムである。

本発明は、インターレース‐プログレッシブ変換時における補間信頼度を高精度に計算できるという効果を有する。

本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第１の発明における補間信頼度計算手段２２の構成の詳細を示すブロック図である。 第１の発明を実施するための最良の形態の動作を示す流れ図である。 本発明の第２の発明を実施するための最良の形態の構成を示すブロック図である。 本発明の第２の発明における補間信頼度計算手段３２の構成の詳細を示すブロック図である。 第４の発明を実施するための最良の形態の動作を示す流れ図である。 上下ラインの輝度変化パターンを示す説明図である。 関連技術の問題点を説明するための補足図である。 関連技術の構成を示すブロック図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について図面を参照して詳細に説明する。

図１は、本発明による画像処理装置の第１の実施の形態を示すブロック図である。図１を参照すると、本発明による第１の実施の形態である画像処理装置２００は、画像補間手段２１と補間信頼度計算手段２２から構成される。

画像補間手段２１は、インターレース画像を入力とし、非特許文献２などの方法を用いてプログレッシブ画像を生成する。ここで、非特許文献２の方法では、補間画素周辺の輝度変化をもとに、上下ラインの輝度変化パターンを算出し、最適な探索範囲を求めた後にエッジ適応型補間を実行している。画像補間手段２１は、関連する手法の出力である補間されたプログレッシブ画像と補間画素ごとの補間差分値に加え、非特許文献２の方法によって求められる補間画素ごとの上下ラインの輝度変化パターンおよび探索範囲も出力する。

補間信頼度計算手段２２は、補間画素ごとの、補間差分値と探索範囲と探索範囲内の上下ラインの輝度変化パターンを入力とし、それぞれの補間画素における補間信頼度を計算し、出力する。図２を参照すると、補間信頼度計算手段２２は、第１の補間信頼度計算手段２２１と第２の補間信頼度計算手段２２２と第３の補間信頼度計算手段２２３と補間信頼度統合手段２２４とから構成される。

第１の補間信頼度計算手段２２１は、補間画素ごとの補間差分値を入力とし、補間差分値をもとにした補間信頼度を意味する第１の補間信頼度を計算し、出力する。第１の補間信頼度計算手段２２１の動作は、関連技術における補間信頼度計算手段１２と同様の手法を利用して、補間差分値が小さいほど大きな値を持つ第１の補間信頼度を出力し、補間差分値が大きいほど小さな値を持つ第１の補間信頼度を出力すればよい。

第１の補間信頼度の計算方法の一例について説明する。いま、補間画素(x2,y2)について、補間差分値s(x2,y2)から第１の補間信頼度p1(x2,y2)を求める方法として、式（５）に示す計算式を用いて算出する。

ここで、T1およびp10（0≦p10≦1.0）は、あらかじめ手動により与えられるパラメータである。

さらに、あらかじめ補間差分値と第１の補間信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された補間差分値s(x2,y2)に対応する第１の補間信頼度を読み出す方法も利用できる。

第２の補間信頼度計算手段２２２について説明する。

インターレース画像を補間する場合、広い探索範囲によりエッジ適応型補間を実行することは、より多くの情報を用いて補間していることを意味し、狭い探索範囲によりエッジ適応型補間を実行することは、比較的少ない情報を用いて補間していることを意味する。例えば、非特許文献２の手法のエッジ適応型補間では、広い探索範囲によりエッジ適応型補間を実行することは、補間画素周辺の輝度変化が比較的単調であり、正確な補間が実行されやすく、また、狭い探索範囲の場合には、補間画素周辺の輝度変化が複雑であり、正確な補間を比較的実行しにくいという性質がある。すなわち、広い探索範囲で補間処理を実行した場合、その補間信頼度は高く、狭い探索範囲で補間処理を実行した場合、その補間信頼度は低いということが言える。

そこで、本発明では、この探索範囲の大きさと補間信頼度に相関があるという特性に着目し、第２の補間信頼度計算手段２２２は、入力された探索範囲が広いほど大きな値を持つ第２の補間信頼度を出力し、探索範囲が狭いほど小さな値を持つ第２の補間信頼度を出力する。

補間画素(x2,y2)について、補間画素(x2,y2)における探索範囲決定値φ(x2,y2)から第２の補間信頼度p2(x2,y2)を、式（６）に示す計算式を用いて算出する。

ここで、T2およびp20（0≦p20≦1.0）は、あらかじめ手動により与えられるパラメータである。

さらに、あらかじめ探索範囲と第２の補間信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された探索範囲φ(1x2,y2)に対応する第２の補間信頼度を読み出す方法も利用できる。

第３の補間信頼度計算手段２２３は、補間画素ごとの探索範囲内の上下ラインの輝度変化パターンを入力とし、前記輝度変化パターンをもとに計算された補間信頼度を第３の補間信頼度を出力する。

インターレース画像を補間する場合、補間画素周辺の輝度変化が単調であるほど正確な補間が実行しやすく、補間画素周辺の輝度変化が複雑であるほど正確な補間が実行しにくい。また、上下ラインの輝度変化の仕方が類似しているほど正確な補間が実行しやすく、上下ラインの輝度変化が異なっているほど正確な補間が実行しにくいという特性がある。

そこで、本発明では、この上下ラインの輝度変化パターンと補間信頼度に相関があるという特性に着目し、第３の補間信頼度計算手段２２３では、上下ラインの輝度変化パターンをもとに、図７において分類された４つの輝度変化のパターンについて、
（片方が平坦の時の第３の補間信頼度）≧（同一方向に単調増加・減少の時の第３の補間信頼度）≧（同一方向に凸の時の第３の補間信頼度）≧（片方が増加減少でもう片方が凸の時の補間信頼度）
となる値を持つ第３の補間信頼度を出力する。

補間画素(x2,y2)について、上下ラインの輝度変化パターンk(x2,y2)から第３の補間信頼度p3(x2,y2)を求める方法の一つとしては、あらかじめ上下ラインの輝度変化パターンと第３の補間信頼度を対応付けたテーブルを用意しておき、テーブルを参照し入力された上下ラインの輝度変化パターンk(1x2,y2)に対応する第３の補間信頼度を読み出す。また、上下ラインの輝度変化パターンと第３の補間信頼度を対応付けたテーブルは、外部から調整可能としてもよい。

補間信頼度統合手段２２４は、前記第１の補間信頼度計算手段２２１から出力される前記第１の補間信頼度と前記第２の補間信頼度計算手段２２２から出力される前記第２の補間信頼度と前記第３の補間信頼度計算手段２２３から出力される前記第３の補間信頼度とを入力とし、補間信頼度を計算し、補間信頼度計算手段２２の出力とする。

補間画素(x2,y2)についての補間信頼度p(x2,y2)を求める方法の一つとして、(x2,y2)における第１の補間信頼度p1(x2,y2)と(x2,y2)における第２の補間信頼度p2(x2,y2)と(x2,y2)における第３の補間信頼度p3(x2,y2)とを用いて、式（７）の計算式によって求める。

また、式（８）の計算式のように、p1(x2,y2)とp2(x2,y2)とp3(x2,y2)の加重平均によって求めてもよい。

ここで、w1、w2、w3は、実数の合成重み係数であり、あらかじめ設定された固定値でもよいし、外部から調整可能としてもよい。

以上のように、画像処理装置２００は、インターレース画像を入力として、プログレッシブ画像と補間信頼度を出力とする。これらの出力は、後段の、例えば解像度変換を実現する画像処理応用装置４００などの入力となる。

次に、図３のフローチャートを参照して、本発明による第１の実施の形態である画像処理方法の動作について説明する。

インターレース画像を入力して、これを補間しプログレッシブ画像を生成する（ステップＳ１１）。

第１の補間信頼度計算において、補間差分値から第１の補間信頼度を求める（ステップＳ１２）。

第２の補間信頼度計算において、探索範囲の広さから第２の補間信頼度を求める（ステップＳ１３）。

第３の補間信頼度計算において、探索範囲内の上下ラインの輝度変化パターンから第３の補間信頼度を求める（ステップＳ１４）。

そして、補間信頼度の計算において、第１の補間信頼度と第２の補間信頼度と第３の補間信頼度とから注目補間画素の補間信頼度を求める（ステップＳ１５）。
＜第２の実施の形態＞
第２の実施の形態を説明する。

図４は、本発明による画像処理装置の第２の実施の形態を示すブロック図である。図４を参照すると、本発明による第２の実施の形態である画像処理装置３００は、画像補間手段２１と補間信頼度計算手段３２とを含む。本発明による第２の実施の形態である画像処理装置３００は、本発明による第１の実施の形態である画像処理装置２００と比較して、補間信頼度計算手段３２において異なる。以下、補間信頼度計算手段３２の詳細を説明する。

図５を参照すると、補間信頼度計算手段３２は、第１の補間信頼度計算手段２２１と第２の補間信頼度計算手段２２２と第３の補間信頼度計算手段２２３と補間信頼度統合手段３２４とから構成される。補間信頼度計算手段３２は、本発明による第１の実施の形態である画像処理装置１０１における補間信頼度計算手段２２と比較して、補間信頼度統合手段３２４において、補間信頼度統合手段２２４の式（８）における合成重み係数がユーザーインターフェース５００から入力される点で異なる。

本発明による第２の実施の形態である画像処理装置１０２は、補間信頼度統合手段３２４における合成重み係数の設定を、ユーザーインターフェース５００を通じて実行することで、合成重み係数の調節を容易にする。

次に、図６のフローチャートを参照して、本発明による第２の実施の形態である画像処理方法の動作について説明する。

インターレース画像を入力して、これを補間しプログレッシブ画像を生成する（ステップＳ２１）。

第１の補間信頼度計算において、補間差分値から第１の補間信頼度を求める（ステップＳ２２）。

第２の補間信頼度計算において、探索範囲の広さから第２の補間信頼度を求める（ステップＳ２３）。

第３の補間信頼度計算において、探索範囲内の上下ラインの輝度変化パターンから第３の補間信頼度を求める（ステップＳ２４）。

合成重み係数の値を、ユーザーインターフェースにより指定された値に設定する（ステップＳ２５）。

そして、補間信頼度の計算において、第１の補間信頼度と第２の補間信頼度と第３の補間信頼度とから注目補間画素の補間信頼度を求める（ステップＳ２６）。

また、本発明による画像処理装置の第１と第２の実施の形態および前記本発明による画像処理方法の第１と第２の実施の形態においては、第１の補間信頼度と第２の補間信頼度のみ、あるいは、第１の補間信頼度と第３の補間信頼度のみの統合により、補間信頼度を算出してもよい。このような実施の形態は、第１の補間信頼度と第２の補間信頼度のみの統合の場合は、前記第１と第２の実施の形態における第３の補間信頼度の値を固定値1.0に、第１の補間信頼度と第３の補間信頼度のみの統合の場合は、第２の補間信頼度の値を固定値1.0にすることにより、実現可能である。

第１の補間信頼度と第２の補間信頼度とを統合し補間信頼度を算出する方法では、従来の補間差分値から補間信頼度する方法と比較して、探索範囲の広さから算出される第２の補間信頼度を加えることにより、探索範囲の広さが持つ正確な補間の実行しやすさについての情報を用いることができるため、より高精度な補間信頼度を算出することが可能である。

また、第１の補間信頼度と第３の補間信頼度を統合し補間信頼度を算出する方法では、従来の補間差分値から補間信頼度する方法と比較して、探索範囲内の上下ラインの輝度変化パターンから算出される第３の補間信頼度を加えることにより、補間画素周辺の輝度変化の複雑さから正確な補間の実行しやすさについての情報を得ることができるため、より高精度な補間信頼度を算出することが可能である。

上述した実施の形態では、画像補間手段２１、補間信頼度計算手段２２，３２などの各部をハードウェアで構成したが、プログラム制御により動作するコンピュータによって構成しても良い。コンピュータは、中央処理装置、プロセッサ、データ処理装置のいずれでもよい。

以上の如く、本発明の第１の態様は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の補間信頼度を、補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせにより決定される第３の補間信頼度との少なくともいずれかとを統合することで決定することを特徴とする画像処理方法である。

本発明の第２の態様は、上記態様において、前記補間信頼度を、前記第１の補間信頼度と、前記第２の補間信頼度と、前記第３の補間信頼度とを統合することで決定することを特徴とする。

本発明の第３の態様は、上記態様において、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする。

本発明の第４の態様は、上記態様において、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つことを特徴とする。

本発明の第５の態様は、上記態様において、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つことを特徴とする。

本発明の第６の態様は、上記態様において、前記第３の補間信頼度が、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つことを特徴とする。

本発明の第７の態様は、上記態様において、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする。

本発明の第８の態様は、上記態様において、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする。

本発明の第９の態様は、インターレース画像を補間し、プログレッシブ画像を生成する画像補間ステップと、補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算ステップと、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算ステップ、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算ステップとの少なくともいずれかのステップと、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度の少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合ステップとを有することを特徴とする画像処理方法である。

本発明の第１０の態様は、上記態様において、前記第２の補間信頼度計算ステップと前記第３の補間信頼度計算ステップとの双方を行い、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合することを特徴とする。

本発明の第１１の態様は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算手段と、前記補間画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算手段、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算手段との少なくともいずれかの手段と、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合手段とを有することを特徴とする画像処理装置である。

本発明の第１２の態様は、上記態様において、前記第２の補間信頼度計算手段と前記第３の補間信頼度計算手段との双方を有し、前記補間信頼度統合手段は、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合することを特徴とする。

本発明の第１３の態様は、上記態様において、前記第１の補間信頼度計算手段は、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように前記第１の補間信頼度を計算することを特徴とする。

本発明の第１４の態様は、上記態様において、前記第２の補間信頼度計算手段は、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように前記第２の補間信頼度を計算することを特徴とする。

本発明の第１５の態様は、上記態様において、前記第３の補間信頼度計算手段は、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように前記第３の補間信頼度を計算することを特徴とする。

本発明の第１６の態様は、上記態様において、前記第３の補間信頼度計算手段は、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように前記第３の補間信頼度を計算することを特徴とする。

本発明の第１７の態様は、上記態様において、前記第３の補間信頼度計算手段は、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする。

本発明の第１８の態様は、上記態様において、前記補間信頼度統合手段は、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする。

本発明の第１９の態様は、インターレース画像を補間することで生成されるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算処理と、前記補間画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算処理、と、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算処理との少なくともいずれかの処理と、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合処理とを情報処理装置に実行させることを特徴とするプログラムである。

本発明の第２０の態様は、上記態様において、前記第２の補間信頼度計算処理と前記第３の補間信頼度計算処理との双方を情報処理装置に実行させ、前記補間信頼度統合処理は、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合させることを特徴とする。

本発明の第２１の態様は、上記態様において、前記第１の補間信頼度計算処理は、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように前記第１の補間信頼度を計算することを特徴とする。

本発明の第２２の態様は、上記態様において、前記第２の補間信頼度計算処理は、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように前記第２の補間信頼度を計算することを特徴とする。

本発明の第２３の態様は、上記態様において、前記第３の補間信頼度計算処理は、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように前記第３の補間信頼度を計算することを特徴とする。

本発明の第２４の態様は、上記態様において、前記第３の補間信頼度計算処理は、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように前記第３の補間信頼度を計算することを特徴とする。

本発明の第２５の態様は、上記態様において、前記第３の補間信頼度計算処理は、前記領域内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする。

本発明の第２６の態様は、上記態様において、前記補間信頼度統合処理は、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする。

以上、好ましい実施の形態及び態様をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び態様に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２００８年３月２１日に出願された日本出願特願２００８−７２９７２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、インターレース−プログレッシブ変換で生成したプログレッシブ画像を利用する様々な画像処理応用における画像処理装置として利用することができる。

符号の説明

１００ 従来手法による画像処理装置
１１ 画像補間手段
１２ 補間信頼度計算手段
２００ 本発明による第１の実施の形態である画像処理装置
２１ 画像補間手段
２２ 補間信頼度計算手段
２２１ 第１の補間信頼度計算手段
２２２ 第２の補間信頼度計算手段
２２３ 第３の補間信頼度計算手段
２２４ 補間信頼度統合手段
３００ 本発明による第１の実施の形態である画像処理装置
３２ 補間信頼度計算手段
３２４ 補間信頼度統合手段
４００ 画像処理応用装置
５００ ユーザーインターフェース

Claims (26)

1. インターレース画像の上下ライン上の所定の探索範囲内で補間画素近傍のエッジを推定し、推定したエッジ方向に存在する上下ライン上の画素から補間画素を生成することにより得られるプログレッシブ画像の補間画素の補間信頼度を、
   補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、
   前記探索範囲の広さから決定される第２の補間信頼度と、
   前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせにより決定される第３の補間信頼度と
   の少なくともいずれかと
   を統合することで決定することを特徴とする画像処理方法。
2. 前記補間信頼度を、前記第１の補間信頼度と、前記第２の補間信頼度と、前記第３の補間信頼度とを統合することで決定することを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする請求項１又は請求項２に記載の画像処理方法。
4. 前記第２の補間信頼度が、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つことを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
5. 前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つことを特徴とする請求項１から請求項４のいずれかに記載のいずれかの画像処理方法。
6. 前記第３の補間信頼度が、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つことを特徴とする請求項１から請求項５のいずれかに記載のいずれかの画像処理方法。
7. 前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする請求項１から請求項６のいずれかに記載の画像処理方法。
8. 前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする請求項１から請求項７のいずれかに記載の画像処理方法。
9. インターレース画像の上下ライン上の所定の探索範囲内で補間画素近傍のエッジを推定し、推定したエッジ方向に存在する上下ライン上の画素から補間画素を生成することにより、プログレッシブ画像を生成する画像補間ステップと、
   補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算ステップと、
   前記探索範囲の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算ステップと、
   前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算ステップと
   の少なくともいずれかのステップと、
   前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度の少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合ステップと
   を有することを特徴とする画像処理方法。
10. 前記第２の補間信頼度計算ステップと前記第３の補間信頼度計算ステップとの双方を行い、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合することを特徴とする請求項９に記載の画像処理方法。
11. インターレース画像の上下ライン上の所定の探索範囲内で補間画素近傍のエッジを推定し、推定したエッジ方向に存在する上下ライン上の画素から補間画素を生成することにより得られるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算手段と、
    前記探索範囲の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算手段と、
    前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算手段との少なくともいずれかの手段と、
    前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合手段と
    を有することを特徴とする画像処理装置。
12. 前記第２の補間信頼度計算手段と前記第３の補間信頼度計算手段との双方を有し、
    前記補間信頼度統合手段は、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１の補間信頼度計算手段は、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように前記第１の補間信頼度を計算することを特徴とする請求項１１又は請求項１２に記載の画像処理装置。
14. 前記第２の補間信頼度計算手段は、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つように前記第２の補間信頼度を計算することを特徴とする請求項１１から請求項１３のいずれかに記載の画像処理装置。
15. 前記第３の補間信頼度計算手段は、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように前記第３の補間信頼度を計算することを特徴とする請求項１１から請求項１４のいずれかに記載のいずれかの画像処理装置。
16. 前記第３の補間信頼度計算手段は、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように前記第３の補間信頼度を計算することを特徴とする請求項１１から請求項１５のいずれかに記載のいずれかの画像処理装置。
17. 前記第３の補間信頼度計算手段は、前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする請求項１１から請求項１６のいずれかに記載の画像処理装置。
18. 前記補間信頼度統合手段は、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする請求項１１から請求項１７のいずれかに記載の画像処理装置。
19. インターレース画像の上下ライン上の所定の探索範囲内で補間画素近傍のエッジを推定し、推定したエッジ方向に存在する上下ライン上の画素から補間画素を生成することにより得られるプログレッシブ画像の補間画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される補間画素の第１の補間信頼度を計算する第１の補間信頼度計算処理と、
    前記探索範囲の広さから決定される補間画素の第２の補間信頼度を計算する第２の補間信頼度計算処理と、
    前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンにより決定される補間画素の第３の補間信頼度を計算する第３の補間信頼度計算処理との少なくともいずれかの処理と、
    前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合し、補間画素の補間信頼度を算出する補間信頼度統合処理と
    を情報処理装置に実行させることを特徴とするプログラム。
20. 前記第２の補間信頼度計算処理と前記第３の補間信頼度計算処理との双方を情報処理装置に実行させ、
    前記補間信頼度統合処理は、前記第１の補間信頼度と前記第２の補間信頼度と前記第３の補間信頼度とを統合させることを特徴とする請求項１９に記載のプログラム。
21. 前記第１の補間信頼度計算処理は、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように前記第１の補間信頼度を計算することを特徴とする請求項１９又は請求項２０に記載のプログラム。
22. 前記第２の補間信頼度計算処理は、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つように前記第２の補間信頼度を計算することを特徴とする請求項１９から請求項２１のいずれかに記載のプログラム。
23. 前記第３の補間信頼度計算処理は、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように前記第３の補間信頼度を計算することを特徴とする請求項１９から請求項２２のいずれかに記載のプログラム。
24. 前記第３の補間信頼度計算処理は、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように前記第３の補間信頼度を計算することを特徴とする請求項１９から請求項２３のいずれかに記載のプログラム。
25. 前記第３の補間信頼度計算処理は、前記探索範囲内における上ラインの輝度変化と下ラインの輝度変化との組み合わせのパターンとして、片方が平坦、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸の４のパターンを用いることを特徴とする請求項１９から請求項２４のいずれかに記載のプログラム。
26. 前記補間信頼度統合処理は、前記第１の補間信頼度と、前記第２の補間信頼度と前記第３の補間信頼度との少なくともいずれかとを統合する際に、ユーザーインターフェースを通じて入力される合成重み係数を利用することを特徴とする請求項１９から請求項２５のいずれかに記載のプログラム。
    

Images