JP5435242B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、インターレース−プログレッシブ変換によって、インターレース画像からプログレッシブ画像を生成する画像処理方法、画像処理装置および画像処理プログラムに関する。

ＴＶ放送で配信される映像やビデオテープやＤＶＤなどの記録メディアに保存されている映像は、プログレッシブ映像から縦方向に一ライン毎に間引かれた偶数フィールド画像と奇数フィールド画像が交互に配置されたインターレース映像であることが多い。時刻tのおける原プログレッシブ画像F(t)とインターレース画像Fi(t)との関係は、式（１）で表すことができる。

ここで、F(x,y,t)およびFi(x,y,t)は、座標(x,y)におけるF(t)およびFi(t)の画素値である。また、y mod xは、yをxで除算したときの剰余を表す。

一方で、液晶ディスプレイやプラズマディスプレイといった映像表示装置では、プログレッシブ映像が表示される。これらの映像表示装置でインターレース映像を表示するためには、式（１）のインターレース画像における間引かれたラインのNull画素を補間によって復元し、プログレッシブ画像を生成する必要がある。この補間処理は、一般にインターレース−プログレッシブ変換（ＩＰ変換・De-interlacing）と呼ばれる。以下、補間によって復元するNull画素を補間画素と呼ぶことにする。

ＩＰ変換を行う一方法として、動き補償型ＩＰ変換がある。動き補償型ＩＰ変換方法の一つに、インターレース画像から時刻tにおけるプログレッシブ画像Fp(t)を復元する際に、同時刻におけるインターレース画像Fi(t)内の各補間画素の周辺の画素値をもとに算出される第１のプログレッシブ画像Fp1(t)と、各補間画素と他時刻のインターレース画像内の対応画素とを対応付ける動きベクトルを利用し他時刻のインターレース画像内の対応画素の画素値をもとに算出される第２のプログレッシブ画像Fp2(t)とを合成することにより、高性能な補間を実行する方法がある。以下、同時刻におけるインターレース画像から第１のプログレッシブ画像を算出する方法を第１のプログレッシブ画像算出方法、動きベクトルを利用し他時刻の画素値をもとに第２のプログレッシブ画像を算出する方法を第２のプログレッシブ画像算出方法と呼ぶことにする。

第１のプログレッシブ画像算出方法として、式（２）で示される単純線形補間方法や式（３）で示されるエッジ適応型補間方法（非特許文献１、特許文献１）などがある。ただし、Fp1(x,y,t)は、時刻tにおける第１のプログレッシブ画像Fp1(t)における座標(x,y)の補間画素の画素値であり、式（３）におけるmは、あらかじめ定められた範囲-φ≦p≦φの中で式（４）を最小にするpである。以下、この範囲-φ≦p≦φを探索範囲φと呼ぶことにする。また、非特許文献２では、周辺画素の輝度変換をもとに、それぞれの補間画素におけるエッジ適応型補間方法の探索範囲内の上下ラインの輝度変化を、図８に示すように、（１）片方が平坦、（２）同一方向に単調増加・減少、（３）同一方向に凸、（４）片方が増加減少でもう片方が凸、（５）その他の５つのパターンに分類し、範囲内の上下ラインの輝度変化のパターンが（１）から（４）のパターンのいずれかとなるような最大範囲が探索範囲となるように探索範囲φを適応的に変化させる。以下、分類された探索範囲内の上下ラインの輝度変化のパターンを上下ラインの輝度変化パターンと呼ぶことにする。

第２のプログレッシブ画像算出方法は、各補間画素と他時刻のインターレース画像内の対応画素とを対応付ける動きベクトルを利用し他時刻のインターレース画像内の対応画素の画素値をもとに、第２のプログレッシブ画像を算出する。

動きベクトルを求める方法に、ブロックマッチング法や勾配法などがある。時刻tの座標(x,y)の補間画素における動きベクトルが(dx,dy)である時、同補間画素における第２のプログレッシブ画像の画素値Fp2(x,y,t)は、式（５）のように算出される。また、横方向の動きdx’を検出し、式（６）のように補間画素(x,y)の画素値を算出する方法もある。

動きベクトルを用いて算出される第２のプログレッシブ画像は、動きベクトルが正確に求めることができた場合、補間精度の高いプログレッシブ画像を生成する。

しかし、一般に、インターレース−プログレッシブ変換において、全ての補間画素について動きベクトルを正確に求めることは困難であるとされている。例えば、前景のオブジェクトにより遮蔽されていた背景のオブジェクトが前景のオブジェクトの動きにより出現するとき、出現時における背景のオブジェクトの動きは、出現前の前景オブジェクトに遮蔽されている背景オブジェクトの位置を知ることができないため、動きベクトルを正確に求めることができない。そこで、動きベクトル推定の信頼度を算出し、動きベクトル推定の信頼度をもとにして、動きベクトル推定の信頼度が高い場合には第２のプログレッシブ画像の合成比率が高くなるように、逆に動きベクトル推定の信頼度が低い場合には第２のプログレッシブ画像の合成比率が小さくなるように、第１のプログレッシブ画像と第２のプログレッシブ画像とを合成している。以下、動きベクトル推定の信頼度を動き推定信頼度と呼ぶことにする。

例えば、特許文献２では、ブロックマッチング法によって動きベクトルを求める際に利用した注目補間画素と対応画素との類似度を表す指標の一つである差分絶対値和（SAD, Sum of Absolute Differences）をもとに、動きベクトル推定の信頼度を算出している。特許文献２においては、差分絶対値和が小さいほど動きベクトル推定の信頼度が高く、差分絶対値和が大きいほど動きベクトル推定の信頼度が低い。

図１０を用いて、本発明に関連する動き補償型ＩＰ変換を行う画像処理装置について説明する。図１０は、本発明に関連する動き補償型ＩＰ変換を行う画像処理装置の構成を示すブロック図である。図１０を参照すると、動き補償型ＩＰ変換を行う画像処理装置１は、第１のプログレッシブ画像算出手段１１と第２のプログレッシブ画像算出手段１２とプログレッシブ画像合成手段１３とを含み、時刻t-1と時刻tおよび時刻t+1のインターレース画像Fi(t-1)とFi(t)およびFi(t+1)とを入力とし、時刻tにおけるプログレッシブ画像Fp(t)を出力する。

第１のプログレッシブ画像算出手段１１は、前記第１のプログレッシブ画像算出方法を用いて第１のプログレッシブ画像を算出する。

第２のプログレッシブ画像算出手段１２は、前記第２のプログレッシブ画像算出方法を用いて第２のプログレッシブ画像を算出し、第２のプログレッシブ画像と差分絶対値和を出力する。

プログレッシブ画像合成手段１３は、前記第１のプログレッシブ画像と前記第２のプログレッシブ画像とを、前記差分絶対値和から算出される動き推定信頼度をもとに合成する。
特開平４−３５５５８１号公報 特開２００６−１７４１２３号公報 "Deinterlacing-an overview", De Haan, G., Bellers, E.B, Proceedings of the IEEE, Volume 86, Issue 9, Sept. 1998 Page(s):1839 - 1857 "周辺領域の輝度変化に基づくエッジ適応型インターレース-プログレッシブ変換法", 戸田, 塚田, 井上, 第６回情報科学技術フォーラム, I - 034, 2007

本発明に関連する手法では、差分絶対値和を用いて動きベクトル推定の信頼度を計算しているが、差分絶対値和の情報だけでは動き推定の信頼度を正しく求めることができなかった。

例えば、図１１の上段左側および下段左側の時刻tのインターレース画像内の四角で囲われた領域の動き推定信頼度を求める場合を考える。なお、図１１では、実際はインターレース画像であるが、本発明に関連する手法の問題点を分かりやすくするために、プログレッシブ画像として示している。図１１の上段および下段で示されている動きベクトルでは、どちらの場合においても、差分絶対値和が０となり、その結果動きベクトル推定の信頼度が最大となる。しかし、上段の図と下段の図とを比較すると、上段の図では類似する領域が一つしか存在しないが、下段の図では類似する領域が複数存在する。一般に、動きベクトル推定において、類似する領域が複数存在する場合、そのうちのどの領域が正しい対応関係にあるかを判別するのは困難であるとされている。そのため、類似する領域が多いほど動きベクトル推定の信頼度が低くなることが望ましい。

しかし、差分絶対値和に基づく関連する手法においては、類似する領域が複数ある場合にも同一の値を出力する。そのため、関連する手法では、間違った動きベクトルであっても高い信頼度を持つ動きベクトルとして処理し、その結果、低品質なプログレッシブ画像を出力してしまう場合があった。

このように、算出される動き推定信頼度に問題があるため、高品質なプログレッシブ画像を出力する画像処理装置を提供することができていなかった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、複数のインターレース画像から高品質なプログレッシブ画像を生成する画像処理方法、装置およびプログラムを提供することにある。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

本発明によれば、複数のインターレース画像から高品質なプログレッシブ画像を生成することができる。

本発明の実施するための最良の形態の構成を示すブロック図である。 第１の発明を実施するための最良の形態の構成を示すブロック図である。 第１の発明を実施するための最良の形態におけるプログレッシブ画像合成手段の構成を示すブロック図である。 第１の発明を実施するための最良の形態の動作を示す流れ図である。 第２の発明を実施するための最良の形態の構成を示すブロック図である。 第２の発明を実施するための最良の形態におけるプログレッシブ画像合成手段の構成を示すブロック図である。 第２の発明を実施するための最良の形態の動作を示す流れ図である。 上下ラインの輝度変化パターンを示す説明図である。 合成重みを求めるためのグラフである。 関連技術の構成を示すブロック図である。 関連技術の問題点を説明するための補足図である。

符号の説明

Ａ プログレッシブ画像合成手段
１ 画像処理装置
１１ 第１のプログレッシブ画像算出手段
１２ 第２のプログレッシブ画像算出手段
１３ プログレッシブ画像合成手段
２ 本発明による画像処理装置
２２ 第２のプログレッシブ画像算出手段
２３ プログレッシブ画像合成手段
２３１ 第１の動き推定信頼度算出手段
２３２ 第２の動き推定信頼度算出手段
２３３ 第３の動き推定信頼度算出手段
２３４ 動き推定信頼度統合手段
２３５ 合成手段
３ 本発明による画像処理装置
３１ 第１のプログレッシブ画像算出手段
３３ プログレッシブ画像合成手段
３３１ 第１の動き推定信頼度算出手段
３３２ 第２の動き推定信頼度算出手段
３３３ 第３の動き推定信頼度算出手段
３３４ 動き推定信頼度統合手段
３３５ 合成手段
３３６ 第１の補間信頼度算出手段
３３７ 第２の補間信頼度算出手段
３３８ 第３の補間信頼度算出手段
３３９ 補間信頼度統合手段

本実施の形態を説明する。本実施の形態は、図１に示す如く、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成するプログレッシブ画像合成手段Ａを備える。

プログレッシブ画像合成手段Ａには、第１のプログレッシブ画像と、第２のプログレッシブ画像とが入力される。

また、プログレッシブ画像合成手段Ａには、第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度が入力される。

また、プログレッシブ画像合成手段Ａには、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度が入力される。

また、プログレッシブ画像合成手段Ａには、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度にが入力される。

プログレッシブ画像合成手段Ａは、第１のプログレッシブ画像と、第２のプログレッシブ画像とを合成する際に用いる合成比率を、第１の動き推定信頼度と第２の動き推定信頼度と第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算する。そして、その合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する。

以下、詳細に実施の形態を説明する。
＜第１の実施の形態＞
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

図２は、本発明による第１の実施の形態である画像処理装置２の構成を示すブロック図である。画像処理装置２は、第１のプログレッシブ画像算出手段１１と第２のプログレッシブ画像算出手段２２とプログレッシブ画像合成手段２３とから構成され、上述した画像処理装置１の構成と比較すると、第２のプログレッシブ画像算出手段２２とプログレッシブ画像合成手段２３において異なる。以下、第２のプログレッシブ画像算出手段２２とプログレッシブ画像合成手段２３との動作の詳細を説明する。

第２のプログレッシブ画像算出手段２２は、時刻t-1、時刻t、時刻t+1のインターレース画像を入力とし、時刻t、座標(x,y)の補間画素の画素値Fp2(x,y,t)を、式（７）を用いて算出し、第２のプログレッシブ画像を算出する。

ここで、式（７）におけるnは、範囲-ρ≦q≦ρの中で式（８）を最小にするqである。以下、この範囲-ρ≦q≦ρを動き推定の探索範囲ρと呼ぶことにする。

また、第２のプログレッシブ画像算出手段２２では、第１のプログレッシブ画像生成方法の手法である非特許文献２を応用し、それぞれの補間画素における動き推定の探索範囲ρを、範囲内の前後時刻ラインの輝度変化が、（１）片方が平坦、（２）同一方向に単調増加・減少、（３）同一方向に凸、（４）片方が増加減少でもう片方が凸のパターンのいずれかになるような最大範囲となるよう適応的に変化させる。以下、この分類された前後時刻の輝度変化の輝度変化のパターンを前後ラインの輝度変化パターンと呼ぶことにする。

また、第２のプログレッシブ画像算出手段２２は、第２のプログレッシブ画像に加え、補間画素ごとの、補間に利用した画素の差分値（補間差分値）、動き推定の探索範囲、前後ラインの輝度変化パターンも出力する。

プログレッシブ画像合成手段２３は、第１のプログレッシブ画像と第２のプログレッシブ画像と補間差分値と動き推定の探索範囲と前後ラインの輝度変化パターンとを入力とし、第１のプログレッシブ画像と第２のプログレッシブ画像とを合成したプログレッシブ画像を出力する。図３を参照すると、プログレッシブ画像合成手段２３は、第１の動き推定信頼度計算手段２３１と第２の動き推定信頼度計算手段２３２と第３の動き推定信頼度計算手段２３３と動き推定信頼度統合手段２３４と合成手段２３５とから構成される。

第１の動き推定信頼度計算手段２３１は、補間画素ごとの補間差分値を入力とし、補間差分値をもとにした動き推定信頼度を意味する第１の動き推定信頼度を計算し、出力する。補間差分値は、対応関係にある前後ラインの補間に利用する画素の類似度を示す一つの指標であり、補間差分値が小さいほど類似度が高く動き推定が正確に行われている可能性が高く、補間差分値が大きいほど類似度が低く動き推定が正確に行われている可能性が低い。そこで、第１の動き推定信頼度計算手段２３１は、補間差分値が小さいほど大きな値を持つ第１の動き推定信頼度を出力し、補間差分値が大きいほど小さな値を持つ第１の動き推定信頼度を出力する。

第１の動き推定信頼度の計算方法の一例について説明する。いま、補間画素(x,y)について、補間差分値s(x,y)から第１の動き推定信頼度r1(x,y)を求める方法として、式（９）に示す計算式を用いて算出する。

ここで、r10（0≦r10≦1.0）は、あらかじめ与えられた固定の実数値である。また、T1は、第１の動き推定信頼度が最大値1.0となる補間差分値の範囲を示すためにあらかじめ与えられた実数の閾値である。

式（９）を用いる代わりに、あらかじめ補間差分値と第１の動き推定信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された補間差分値s(x,y)に対応する第１の動き推定信頼度を読み出す方法も利用できる。

また、第１の動き推定信頼度の計算方法は、上記補間差分値と動き推定信頼度の関係が示せれば良いので、式（９）に限られるものではない。

動き推定を実行する場合、広い探索範囲で実行することは、より多くの情報を用いていることを意味し、狭い探索範囲で実行することは、比較的少ない情報を用いていることを意味する。

第２のプログレッシブ画像算出手段２２で用いられている方法では、広い探索範囲により動き推定を実行することは、補間画素周辺の輝度変化が比較的単調であり、正確な動き推定が実行されやすく、また、狭い探索範囲の場合には、補間画素周辺の輝度変化が複雑であり、正確な動き推定を比較的実行しにくいという性質がある。すなわち、広い探索範囲で動き推定を実行した場合、その動きベクトル推定の信頼度は高く、狭い探索範囲で動き推定を実行した場合、その動きベクトル推定の信頼度は低いということが言える。

そこで、本発明では、動き推定の探索範囲の広さと動き推定信頼度に相関があるという特性に着目し、第２の動き推定信頼度計算手段２３２は、入力された動き推定の探索範囲が広いほど大きな値を持つ第２の動き推定信頼度を出力し、動き推定の探索範囲が狭いほど小さな値を持つ第２の動き推定信頼度を出力する。

補間画素(x,y)について、補間画素(x,y)における動き推定の探索範囲ρ(x,y)から第２の動き推定信頼度r2(x,y)を、式（１０）に示す計算式を用いて算出する。

ここで、r20（0≦r10≦1.0）は、あらかじめ与えられた固定の実数値である。また、T2は、第２の動き推定信頼度が最大値1.0となる動き推定の探索範囲ρの範囲を示すためにあらかじめ与えられた実数の閾値である。

式（１０）を用いる代わりに、あらかじめ動き推定の探索範囲ρと第２の動き推定信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された動き推定の探索範囲ρ(x,y)に対応する第２の動き推定信頼度を読み出す方法も利用できる。

また、第２の動き推定信頼度の計算方法は、上記動き推定の探索範囲の広さと動き推定信頼度の関係が示せれば良いので、式（１０）に限られるものではない。

第３の動き推定信頼度計算手段２３３は、補間画素ごとの探索範囲内の前後ラインの輝度変化パターンを入力とし、前記輝度変化パターンをもとに計算された動き推定信頼度である第３の動き推定信頼度を出力する。

動き推定を実行する場合、補間画素周辺の輝度変化が単調であるほど正確な動き推定を実行しやすく、補間画素周辺の輝度変化が複雑であるほど正確な動き推定を実行しにくい。また、前後ラインの輝度変化の仕方が類似しているほど正確な動き推定を実行しやすく、前後ラインの輝度変化が異なっているほど正確な動き推定を実行しにくいという特性がある。また、片方のラインの輝度変化が平坦な場合、第２のプログレッシブ画像内の補間画素における画質破綻は生じにくい。

そこで、本発明では、この前後ラインの輝度変化パターンと動き推定信頼度に相関があるという特性に着目し、第３の動き推定信頼度計算手段２３３では、上下ラインの輝度変化パターンをもとに、４つの輝度変化のパターンについて、
（片方が平坦の時の第３の動き推定信頼度）≧（同一方向に単調増加・減少の時の第３の動き推定信頼度）≧（同一方向に凸の時の第３の動き推定信頼度）≧（片方が増加減少でもう片方が凸の時の動き推定信頼度）となる値を持つ第３の動き推定信頼度を出力する。

補間画素(x,y)について、前後ラインの輝度変化パターンk(x,y)から第３の動き推定信頼度r3(x,y)を求める方法の一つとしては、あらかじめ上下ラインの輝度変化パターンと第３の動き推定信頼度を対応付けたテーブルを用意しておき、テーブルを参照し入力された前後ラインの輝度変化パターンk(x,y)に対応する第３の動き推定信頼度を読み出す。また、前後ラインの輝度変化パターンと第３の動き推定信頼度を対応付けたテーブルは、外部から調整可能としてもよい。

動き推定信頼度統合手段２３４は、前記第１の動き推定信頼度計算手段２３１から出力される前記第１の動き推定信頼度と前記第２の動き推定信頼度計算手段２３２から出力される前記第２の動き推定信頼度と前記第３の動き推定信頼度計算手段２３３から出力される前記第３の動き推定信頼度とを入力とし、動き推定信頼度を計算する。

補間画素(x2,y2)についての動き推定信頼度r(x,y)を求める方法の一つとして、(x,y)における第１の動き推定信頼度r1(x,y)と(x,y)における第２の動き推定信頼度r2(x,y)と(x,y)における第３の動き推定信頼度r3(x,y)とを用いて、式（１１）の計算式によって求める。

また、式（１２）の計算式のように、r1(x,y)とr2(x,y)とr3(x,y)の加重平均によって求めてもよい。

ここで、w1、w2、w3は、実数の合成重み係数であり、あらかじめ設定された固定値でもよいし、外部から調整可能としてもよい。

合成手段２３５は、第１のプログレッシブ画像と第２のプログレッシブ画像と動き推定信頼度とを入力とし、第１のプログレッシブ画像と第２のプログレッシブ画像とを動き推定信頼度をもとに合成する。第１のプログレッシブ画像と第２のプログレッシブ画像との合成は、動き推定信頼度が高いほど第２のプログレッシブ画像の合成重みを大きく、逆に動き推定信頼度が低いほど第２のプログレッシブ画像の合成重みを小さくし、実行する。

時刻tの補間画素(x,y)について、出力プログレッシブ画像の画素値Fp(x,y,t)を求める方法の一つとして、補間画素(x,y)における第１のプログレッシブ画像の画素値Fp1(x,y,t)と第２のプログレッシブ画像の画素値Fp2(x,y,t)およびr(x,y)を用いて式（１３）のように算出する方法がある。

なお、時刻tの補間画素(x,y)について、出力プログレッシブ画像の画素値Fp(x,y,t)を求める方としては、上記式（１３）に基づく手法に限られるわけではなく、第１のプログレッシブ画像の画素値Fp1(x,y,t)と第２のプログレッシブ画像の画素値Fp2(x,y,t)と動き推定信頼度r(x,y)を用いて合成するのではあれば他の手法も応用が可能である。

次に、本発明による第１の実施の形態である画像処理方法について図４のフローチャートを参照して説明する
時刻tのインターレース画像を入力して、これを補間し第１のプログレッシブ画像を生成する（ステップＳ１０１）。

時刻t-1、時刻t、時刻t+1のインターレース画像を入力して、動きベクトルをもとに第２のプログレッシブ画像を生成する（ステップＳ１０２）。

第１の動き推定信頼度計算において、補間差分値から第１の動き推定信頼度を求める（ステップＳ１０３）。

第２の動き推定信頼度計算において、動き推定の探索範囲の広さから第２の動き推定信頼度を求める（ステップＳ１０４）。

第３の動き推定信頼度計算において、動き推定の探索範囲内の前後ラインの輝度変化パターンから第３の動き推定信頼度を求める（ステップＳ１０５）。

動き推定信頼度の計算において、第１の動き推定信頼度と第２の動き推定信頼度と第３の動き推定信頼度とから注目補間画素の動き推定信頼度を求める（ステップＳ１０６）。

そして、動き推定信頼度をもとに、第１のプログレッシブ画像と第２のプログレッシブ画像とを合成する（ステップＳ１０７）。

本実施の形態は、補間差分値から計算される第１の動き推定信頼度と、動き推定の探索範囲から計算される第２の動き推定信頼度と、前後ラインの輝度変化パターンから計算される第３の動き推定信頼度とを統合して得られる高精度な動き推定信頼度を用いることにより、第１のプログレッシブ画像と第２のプログレッシブ画像を合成するための合成重みを適切に設定することが可能になり、高品質なプログレッシブ画像の生成を実現できる。
＜第２の実施の形態＞
図５は、本発明による第２の実施の形態を示す画像処理装置３の構成を示すブロック図である。画像処理装置３は、第１のプログレッシブ画像算出手段３１と第２のプログレッシブ画像算出手段２２とプログレッシブ画像合成手段３３とから構成される。

画像処理装置３の構成は、画像処理装置２の構成と比較して、第１のプログレッシブ画像算出手段３１とプログレッシブ画像合成手段３３が異なるので、以下、第１のプログレッシブ画像算出手段３１とプログレッシブ画像合成手段３３の動作について説明する。

第１のプログレッシブ画像算出手段３１は、時刻tにおけるインターレース画像を入力とし、非特許文献２の方法を用いて第１のプログレッシブ画像を生成する。ここで、非特許文献２の方法では、補間画素周辺の輝度変化をもとに、上下ラインの輝度変化パターンを算出し、最適な探索範囲を求めた後にエッジ適応型補間を実行している。第１のプログレッシブ画像算出手段３１は、従来手法の出力である補間された第１のプログレッシブ画像に加え、非特許文献２の方法によって求められる補間画素ごとの補間差分値と上下ラインの輝度変化パターンおよび探索範囲も出力する。

プログレッシブ画像合成手段３３は、第１のプログレッシブ画像算出手段３１から出力される第１のプログレッシブ画像と補間差分値と探索範囲および上下ラインの輝度変化パターンと、第２のプログレッシブ画像算出手段２２から出力される第２のプログレッシブ画像と補間差分値と探索範囲および前後ラインの輝度変化パターンとを入力とし、第１のプログレッシブ画像と第２のプログレッシブ画像とを合成し、合成されたプログレッシブ画像を出力する。

図６は、プログレッシブ画像合成手段３３を示すブロック図を示している。図６を参照するとプログレッシブ画像合成手段３３は、第１の動き推定信頼度計算手段２３１と第２の動き推定信頼度計算手段２３２と第３の動き推定信頼度計算手段２３３と動き推定信頼度統合手段２３４と第１の補間信頼度計算手段３３６と第２の補間信頼度計算手段３３７と第３の補間信頼度計算手段３３８と補間信頼度統合手段３３９と合成手段３３５とから構成される。

プログレッシブ画像合成手段３３の構成は、画像処理装置２におけるプログレッシブ画像合成手段２３と比較して、第１の補間信頼度計算手段３３６と第２の補間信頼度計算手段３３７と第３の補間信頼度計算手段３３８と補間信頼度統合手段３３９と合成手段３３５とにおいて異なる。以下、第１の補間信頼度計算手段３３６と第２の補間信頼度計算手段３３７と第３の補間信頼度計算手段３３８と補間信頼度統合手段３３９と合成手段３３５の動作を詳細に説明する。

第１の補間信頼度計算手段３３６は、補間画素ごとの補間差分値を入力とし、補間差分値をもとにした補間信頼度を意味する第１の補間信頼度を計算し、出力する。補間差分値は、対応関係にある上下ラインの補間に利用する画素の類似度を示す一つの指標であり、補間差分値が小さいほど類似度が高く補間が正確に行われている可能性が高く、補間差分値が大きいほど類似度が低く補間が正確に行われている可能性が低い。そこで、第１の補間信頼度計算手段３３６の動作は、補間差分値が小さいほど大きな値を持つ第１の補間信頼度を出力し、補間差分値が大きいほど小さな値を持つ第１の補間信頼度を出力する。

上記特性を実現する第１の補間信頼度の計算方法の一例について説明する。いま、補間画素(x,y)について、補間差分値s2(x,y)から第１の補間信頼度c1(x,y)を求める方法として、式（１４）に示す計算式を用いて算出する。

ここで、c10（0≦c10≦1.0）は、あらかじめ与えられた固定の実数値である。また、U1は、第１の補間信頼度が最大値1.0となる補間差分値の範囲を示すためにあらかじめ与えられた実数の閾値である。

式（１４）の代わりに、あらかじめ補間差分値と第１の補間信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された補間差分値s2(x,y)に対応する第１の補間信頼度を読み出す方法も利用してもよい。

また、第１の補間信頼度の計算方法は上記補間差分値と補間信頼度の関係が示せれば良いので、式（１４）に限られるものではない。

インターレース画像を補間する場合、広い探索範囲によりエッジ適応型補間を実行することは、より多くの情報を用いて補間していることを意味し、狭い探索範囲によりエッジ適応型補間を実行することは、比較的少ない情報を用いて補間していることを意味する。例えば、非特許文献２の手法のエッジ適応型補間では、広い探索範囲によりエッジ適応型補間を実行することは、補間画素周辺の輝度変化が比較的単調であり、正確な補間が実行されやすく、また、狭い探索範囲の場合には、補間画素周辺の輝度変化が複雑であり、正確な補間を比較的実行しにくいという性質がある。すなわち、広い探索範囲で補間処理を実行した場合、その補間信頼度は高く、狭い探索範囲で補間処理を実行した場合、その補間信頼度は低いということが言える。

そこで、本発明では、この探索範囲の大きさと補間信頼度に相関があるという特性に着目し、第２の補間信頼度計算手段３３７は、入力された探索範囲が広いほど大きな値を持つ第２の補間信頼度を出力し、探索範囲が狭いほど小さな値を持つ第２の補間信頼度を出力する。

補間画素(x,y)について、補間画素(x,y)における探索範囲φ(x,y)から第２の補間信頼度c2(x,y)を、式（１５）に示す計算式を用いて算出する。

ここで、c20（0≦c20≦1.0）は、あらかじめ与えられた固定の実数値である。また、U2は、第２の補間信頼度が最大値1.0となる探索範囲φの範囲を示すためにあらかじめ与えられた実数の閾値である。

式（１５）の代わりに、あらかじめ探索範囲と第２の補間信頼度を対応付けたテーブルを用意し、テーブルを参照し入力された探索範囲φ(x,y)に対応する第２の補間信頼度を読み出す方法も利用できる。

また、第２の補間信頼度の計算方法は上記探索範囲と補間信頼度の関係が示せれば良いので、式（１５）に限られるものではない。

第３の補間信頼度計算手段３３８は、補間画素ごとの探索範囲内の上下ラインの輝度変化パターンを入力とし、前記上下ラインの輝度変化パターンをもとに計算された補間信頼度を第３の補間信頼度を出力する。

インターレース画像を補間する場合、補間画素周辺の輝度変化が単調であるほど正確な補間が実行しやすく、補間画素周辺の輝度変化が複雑であるほど正確な補間が実行しにくい。また、上下ラインの輝度変化の仕方が類似しているほど正確な補間が実行しやすく、上下ラインの輝度変化が異なっているほど正確な補間が実行しにくいという特性がある。また、片方のラインの輝度変化が平坦な場合、第１のプログレッシブ画像内の補間画素における画質破綻は生じにくい。

そこで、本発明では、この上下ラインの輝度変化パターンと補間信頼度に相関があるという特性に着目し、第３の補間信頼度計算手段３３８では、上下ラインの輝度変化パターンである４つの輝度変化のパターンについて、
（片方が平坦の時の第３の補間信頼度）≧（同一方向に単調増加・減少の時の第３の補間信頼度）≧（同一方向に凸の時の第３の補間信頼度）≧（片方が増加減少でもう片方が凸の時の補間信頼度）となる値を持つ第３の補間信頼度を出力する。

そこで、本発明では、この上下ラインの輝度変化パターンと補間信頼度に相関があるという特性に着目し、第３の補間信頼度計算手段３３８では、上下ラインの輝度変化パターンをもとに、４つの輝度変化のパターンに応じた第３の補間信頼度を出力する。

補間画素(x,y)について、上下ラインの輝度変化パターンk2(x,y)から第３の補間信頼度c3(x,y)を求める方法の一つとしては、あらかじめ上下ラインの輝度変化パターンと第３の補間信頼度を対応付けたテーブルを用意しておき、テーブルを参照し入力された上下ラインの輝度変化パターンk2(x,y)に対応する第３の補間信頼度を読み出す。また、上下ラインの輝度変化パターンと第３の補間信頼度を対応付けたテーブルは、外部から調整可能としてもよい。

補間信頼度統合手段３３９は、前記第１の補間信頼度計算手段３３６から出力される前記第１の補間信頼度と前記第２の補間信頼度計算手段３３７から出力される前記第２の補間信頼度と前記第３の補間信頼度計算手段３３８から出力される前記第３の補間信頼度とを入力とし、補間信頼度を計算する。

補間画素(x,y)についての補間信頼度c(x,y)を求める方法の一つとして、(x,y)における第１の補間信頼度c1(x,y)と(x,y)における第２の補間信頼度c2(x,y)と(x,y)における第３の補間信頼度c3(x,y)とを用いて、式（１５）の計算式によって求める。

また、式（１７）の計算式のように、c1(x,y)とc2(x,y)とc3(x,y)の加重平均によって求めてもよい。

ここで、w1’、w2’、w3’は、実数の合成重み係数であり、あらかじめ設定された固定値でもよいし、外部から調整可能としてもよい。

合成手段３３５は、第１のプログレッシブ画像と第２のプログレッシブ画像と補間信頼度と動き推定信頼度とを入力とし、第１のプログレッシブ画像と第２のプログレッシブ画像とを補間信頼度と動き推定信頼度とに応じた合成重みによって合成する。座標(x,y)における合成重みα(x,y)の計算方法の一例として、図９に示すグラフのように、動き推定信頼度p(x,y)が小さいほどα(x,y)が大きく、また、補間信頼度c(x,y)が大きいほどα(x,y)が大きくなうように算出する方法がある。そして、合成手段３３５は、座標(x,y)の補間画素において、算出されたα(x,y)をもとに、第１のプログレッシブ画像と第２のプログレッシブ画像を式（１８）のように合成する。

次に、本発明による第２の実施の形態である画像処理方法について、図７のフローチャートを参照して説明する。

時刻tのインターレース画像を入力して、これを補間し第１のプログレッシブ画像を生成する（ステップＳ２０１）。

時刻t-1、時刻t、時刻t+1のインターレース画像を入力して、動きベクトルをもとに第２のプログレッシブ画像を生成する（ステップＳ２０２）。

第１の動き推定信頼度計算において、補間差分値から第１の動き推定信頼度を求める（ステップＳ２０３）。

第２の動き推定信頼度計算において、動き推定の探索範囲の広さから第２の動き推定信頼度を求める（ステップＳ２０４）。

第３の動き推定信頼度計算において、動き推定の探索範囲内の前後ラインの輝度変化パターンから第３の動き推定信頼度を求める（ステップＳ２０５）。

動き推定信頼度の計算において、第１の動き推定信頼度と第２の動き推定信頼度と第３の動き推定信頼度とから注目補間画素の動き推定信頼度を求める（ステップＳ２０６）。

第１の補間信頼度計算において、補間差分値から第１の補間信頼度を求める（ステップＳ２０７）。

第２の補間信頼度計算において、探索範囲の広さから第２の補間信頼度を求める（ステップＳ２０８）。

第３の補間信頼度計算において、探索範囲内の前後ラインの輝度変化パターンから第３の補間信頼度を求める（ステップＳ２０９）。

補間信頼度の計算において、第１の補間信頼度と第２の補間信頼度と第３の補間信頼度とから注目補間画素の補間信頼度を求める（ステップＳ２１０）。

そして、動き推定信頼度と補間信頼度とをもとに、第１のプログレッシブ画像と第２のプログレッシブ画像とを合成する（ステップＳ２１１）。

また、前記本発明による第１および第２の実施の形態である画像処理装置及び画像処理方法は、第１の動き推定信頼度と第２の動き推定信頼度と第３の動き推定信頼度との統合により、動き推定信頼度を算出した。しかし、第２の動き推定信頼度、または、第３の動き推定信頼度のみ利用して、動き推定信頼度の算出をしても良い。また、第１の動き推定信頼度と第２の動き推定信頼度との統合により、動き推定信頼度の算出をしても良い。また、第１の動き推定信頼度と第３の動き推定信頼度との統合により、動き推定信頼度の算出をしても良い。このような実施の形態は、式（１１）あるいは式（１２）において、省略された動きベクトル推定信頼度の値を固定値1.0とすることで容易に実現可能である。

第２の動き推定信頼度のみから動き推定信頼度を算出する方法では、探索範囲の広さから判別される正確な動きベクトル推定の容易さを反映した動き推定信頼度が算出することができる。そして、類似した領域が複数あるために正確な動きベクトル推定が困難な補間画素の第２のプログレッシブ画像の合成重みを小さくすることにより、生成されるプログレッシブ画像の画質を向上することが可能になる。

第３の動き推定信頼度のみから動き推定信頼度を算出する方法では、前後ラインの輝度変化パターンから分かる補間画素周辺の輝度変化の複雑に応じて判別される正確な動きベクトル推定の容易さを反映した動き推定信頼度が算出することができる。そして、複雑な輝度変化を持つために正確な動きベクトル推定が困難な補間画素の第２のプログレッシブ画像の合成重みを小さくすることにより、生成されるプログレッシブ画像の画質を向上することが可能になる。

第１の動き推定信頼度と第２の動き推定信頼度との統合により動き推定信頼度を算出する方法では、探索範囲の広さから判別される正確な動きベクトル推定の容易さに加え、対応関係にある前後ラインの補間に利用する画素の類似度を考慮した動き推定信頼度が算出することができ、生成されるプログレッシブ画像の画質を更に向上することが可能になる。

同様に、第１の動き推定信頼度と第３の動き推定信頼度との統合により動き推定信頼度を算出する方法では、前後ラインの輝度変化パターンから判別される正確な動きベクトル推定の容易さに加え、対応関係にある前後ラインの補間に利用する画素の類似度を考慮した動き推定信頼度が算出することができ、生成されるプログレッシブ画像の画質を更に向上することが可能になる。

さらに、前記本発明による第１および第２の実施の形態である画像処理装置及び画像処理方法は、第２のプログレッシブ画像を生成に、時刻t-１、時刻t、時刻t+１のインターレース画像を入力するのではなく、時刻t-3、時刻t、時刻t+3のような別の時刻のインターレース画像を入力してもよい。例えば、時刻t-3、時刻t、時刻t+3のインターレース画像を入力とする第２のプログレッシブ画像の生成は、式（７）および式（８）において、t-1をt-3に、t+1をt+3に変更することで実現することができる。また、時刻t-1、時刻t、時刻t+3のインターレース画像を入力とする第２のプログレッシブ画像の生成は、式（７）および式（８）の代わりに、式（１９）および式（２０）を用いることにより、実現することができる。

前記本発明による実施の形態においては、３枚のインターレース画像からプログレッシブ画像を生成しているが、４枚以上の複数のインターレース画像からプログレッシブ画像を生成することも可能である。例えば、時刻t-3、時刻t-1、時刻t、時刻t+1、時刻t+3の５枚のインターレース画像を入力とする場合におけるプログレッシブ画像の生成は、第１のプログレッシブ画像と時刻t-1、時刻t、時刻t+1のインターレース画像から生成される第２のプログレッシブ画像と時刻t-3、時刻t、時刻t+3のインターレース画像から生成される第２のプログレッシブ画像とをそれぞれの動き推定信頼度をもとに合成することにより、容易に実現可能である。

尚、上述した実施の形態では、第１のプログレッシブ画像算出手段１１，３１、第２のプログレッシブ画像算出手段１２、プログレッシブ画像合成手段１３、第２のプログレッシブ画像算出手段２２、プログレッシブ画像合成手段２３，３３などの各部をハードウェアで構成したが、プログラム制御により動作するコンピュータによって構成しても良い。コンピュータは、中央処理装置、プロセッサ、データ処理装置のいずれでもよい。

以上の如く、本発明の第１の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

本発明の第２の態様は、上記態様において、前記動き推定信頼度と、前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度とを統合することで決定される補間信頼度とに基づいて前記合成比率を計算することを特徴とする。

本発明の第３の態様は、上記態様において、前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなることを特徴とする。

本発明の第４の態様は、上記態様において、前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなることを特徴とする。

本発明の第５の態様は、上記態様において、前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする。

本発明の第６の態様は、上記態様において、前記第２の動き推定信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つことを特徴とする。

本発明の第７の態様は、上記態様において、前記第３の動き推定信頼度が、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つことを特徴とする。

本発明の第８の態様は、上記態様において、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする。

本発明の第９の態様は、上記態様において、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つことを特徴とする。

本発明の第１０の態様は、上記態様において、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つことを特徴とする。

本発明の第１１の態様は、上記態様において、前記第３の補間信頼度が、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つことを特徴とする。

本発明の第１２の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

本発明の第１３の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

本発明の第１４の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

本発明の第１５の態様は、上記態様において、前記画像合成手段は、前記動き推定信頼度と、前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度とを統合することで決定される補間信頼度とに基づいて合成比率を計算することを特徴とする。

本発明の第１６の態様は、上記態様において、前記画像合成手段は、前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする。

本発明の第１７の態様は、上記態様において、前記画像合成手段は、前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする。

本発明の第１８の態様は、上記態様において、前記画像合成手段は、前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする。

本発明の第１９の態様は、上記態様において、前記画像合成手段は、前記第２の動き推定信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする。

本発明の第２０の態様は、上記態様において、前記画像合成手段は、前記第３の動き推定信頼度が、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つように計算することを特徴とする。

本発明の第２１の態様は、上記態様において、前記画像合成手段は、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする。

本発明の第２２の態様は、上記態様において、前記画像合成手段は、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする。

本発明の第２３の態様は、上記態様において、前記画像合成手段は、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように計算することを特徴とする。

本発明の第２４の態様は、上記態様において、前記画像合成手段は、前記第３の補間信頼度が、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように計算することを特徴とする。

本発明の第２５の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

本発明の第２６の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

本発明の第２７の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、前記補間する画素の値を算出するために用いた前後時刻のインターレース画像の領域の広さから決定される第２の動き推定信頼度と、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

本発明の第２８の態様は、上記態様において、前記合成比率計算処理は、前記動き推定信頼度と、前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度とを統合することで決定される補間信頼度とに基づいて合成比率を計算することを特徴とする。

本発明の第２９の態様は、上記態様において、前記合成比率計算処理は、前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする。

本発明の第３０の態様は、上記態様において、前記合成比率計算処理は、前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする。

本発明の第３１の態様は、上記態様において、前記合成比率計算処理は、前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする。

本発明の第３２の態様は、上記態様において、前記合成比率計算処理は、前記第２の動き推定信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする。

本発明の第３３の態様は、上記態様において、前記合成比率計算処理は、前記第３の動き推定信頼度が、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つように計算することを特徴とする。

本発明の第３４の態様は、上記態様において、前記合成比率計算処理は、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする。

本発明の第３５の態様は、上記態様において、前記合成比率計算処理は、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする。

本発明の第３６の態様は、上記態様において、前記合成比率計算処理は、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように計算することを特徴とする。

本発明の第３７の態様は、上記態様において、前記合成比率計算処理は、前記第３の補間信頼度が、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように計算することを特徴とする。

本発明の第３８の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

本発明の第３９の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

本発明の第４０の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度、又は、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法である。

本発明の第４１の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度、又は、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置である。

本発明の第４２の態様は、ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像から生成された第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記第２のプログレッシブ画像を生成する際の補間する画素の値を算出するために用いた異なる時刻の複数のインターレース画像の領域の広さから決定される動き推定信頼度、又は、前記領域内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラムである。

以上、好ましい実施の形態及び態様をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び態様に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２００８年３月２１日に出願された日本出願特願２００８−７２９７３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (36)

1. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、
   前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、
   前記探索範囲の広さから決定される第２の動き推定信頼度と、
   前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度と
   を統合することで決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法。
2. 前記第１の動き推定信頼度と前記第２の動き推定信頼度と前記第３の動き推定信頼度とを統合して決定される動き推定信頼度と、
   前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、
   前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、
   前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度と
   を統合することで決定される補間信頼度とに基づいて前記合成比率を計算することを特徴とする請求項１に記載の画像処理方法。
3. 前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなることを特徴とする請求項２に記載の画像処理方法。
4. 前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなることを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
5. 前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
6. 前記第２の動き推定信頼度が、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つことを特徴とする請求項１から請求項５のいずれかに記載の画像処理方法。
7. 前記第３の動き推定信頼度が、
   前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、
   前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つ
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像処理方法。
8. 前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つことを特徴とする請求項２から請求項７のいずれかに記載の画像処理方法。
9. 前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つことを特徴とする請求項２から請求項８のいずれかに記載の画像処理方法。
10. 前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つことを特徴とする請求項２から請求項９のいずれかに記載の画像処理方法。
11. 前記第３の補間信頼度が、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つ
    ことを特徴とする請求項２から請求項９のいずれかに記載の画像処理方法。
12. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算することを特徴とする画像処理方法。
13. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、
    前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、
    前記探索範囲の広さから決定される第２の動き推定信頼度と、
    前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度と
    を統合することで決定される動き推定信頼度に基づいて計算し、
    前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段
    を有することを特徴とする画像処理装置。
14. 前記画像合成手段は、
    前記第１の動き推定信頼度と前記第２の動き推定信頼度と前記第３の動き推定信頼度とを統合して決定される動き推定信頼度と、
    前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、
    前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、
    前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度と
    を統合することで決定される補間信頼度とに基づいて合成比率を計算することを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像合成手段は、前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする請求項１４に記載の画像処理装置。
16. 前記画像合成手段は、前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする請求項１３から請求項１５のいずれかに記載の画像処理装置。
17. 前記画像合成手段は、前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする請求項１３から請求項１６のいずれかに記載の画像処理装置。
18. 前記画像合成手段は、前記第２の動き推定信頼度が、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つように計算することを特徴とする請求項１３から請求項１７のいずれかに記載の画像処理装置。
19. 前記画像合成手段は、前記第３の動き推定信頼度が、
    前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、
    前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つように計算することを特徴とする請求項１３から請求項１８のいずれかに記載の画像処理装置。
20. 前記画像合成手段は、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする請求項１４から請求項１９のいずれかに記載の画像処理装置。
21. 前記画像合成手段は、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする請求項１４から請求項２０のいずれかに記載の画像処理装置。
22. 前記画像合成手段は、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように計算することを特徴とする請求項１４から請求項２１のいずれかに記載の画像処理装置。
23. 前記画像合成手段は、前記第３の補間信頼度が、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つように計算することを特徴とする請求項１４から請求項２１のいずれかに記載の画像処理装置。
24. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算し、前記合成比率に基づいて、第１のプログレッシブ画像と前記第２のプログレッシブ画像とを合成する画像合成手段を有することを特徴とする画像処理装置。
25. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、
    前記第２のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた前時刻インターレース画像内の画素と後時刻インターレース画像内の画素との差分絶対値から決定される第１の動き推定信頼度と、
    前記探索範囲の広さから決定される第２の動き推定信頼度と、
    前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化との組み合わせから決定される第３の動き推定信頼度とを統合することで決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラム。
26. 前記合成比率計算処理は、
    前記第１の動き推定信頼度と前記第２の動き推定信頼度と前記第３の動き推定信頼度とを統合して決定される動き推定信頼度と、
    前記第１のプログレッシブ画像を生成する際の補間する画素の値の算出に用いた上ラインの画素と下ラインの画素との差分絶対値から決定される第１の補間信頼度と、
    前記補間する画素の値の算出に用いた上ラインの画素と下ラインの画素とを決定するために用いた領域の広さから決定される第２の補間信頼度と、
    前記領域内における上ラインの輝度変化と下ラインの輝度変化の組み合わせにより決定される第３の補間信頼度と
    を統合することで決定される補間信頼度とに基づいて合成比率を計算することを特徴とする請求項２５に記載のプログラム。
27. 前記合成比率計算処理は、前記補間信頼度が高いほど、前記第１のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする請求項２６に記載のいずれかに記載のプログラム。
28. 前記合成比率計算処理は、前記動き推定信頼度が高いほど、前記第２のプログレッシブ画像の合成比率が高くなるように計算することを特徴とする請求項２５から請求項２７のいずれかに記載のプログラム。
29. 前記合成比率計算処理は、前記第１の動き推定信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする請求項２５から請求項２８のいずれかに記載のプログラム。
30. 前記合成比率計算処理は、前記第２の動き推定信頼度が、前記探索範囲が広いほど大きな値を持ち、前記探索範囲が狭いほど小さな値を持つように計算することを特徴とする請求項２５から請求項２９のいずれかに記載のプログラム。
31. 前記合成比率計算処理は、前記第３の動き推定信頼度が、
    前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが単純であるほど大きな値を持ち、
    前記前時刻のインターレース画像のラインの輝度変化のパターンと後時刻のインターレース画像のラインの輝度変化のパターンが複雑であるほど小さな値を持つように計算することを特徴とする請求項２５から請求項３０のいずれかに記載のプログラム。
32. 前記合成比率計算処理は、前記第１の補間信頼度が、前記差分絶対値が小さいほど大きな値を持ち、差分絶対値が大きいほど小さな値を持つように計算することを特徴とする請求項２６から請求項３１のいずれかに記載のプログラム。
33. 前記合成比率計算処理は、前記第２の補間信頼度が、前記領域が広いほど大きな値を持ち、前記領域が狭いほど小さな値を持つように計算することを特徴とする請求項２６から請求項３２のいずれかに記載のプログラム。
34. 前記合成比率計算処理は、前記第３の補間信頼度が、上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが類似しているほど大きな値を持つように計算することを特徴とする請求項２６から請求項３３のいずれかに記載のプログラム。
35. 前記合成比率計算処理は、前記第３の補間信頼度が、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが単純であるほど大きな値を持ち、
    前記上ラインの輝度変化のパターンと下ラインの輝度変化のパターンとが複雑であるほど小さな値を持つ
    ように計算することを特徴とする請求項２６から請求項３３のいずれかに記載のプログラム。
36. ある時刻のインターレース画像から生成された第１のプログレッシブ画像と、前記時刻と異なる時刻の複数のインターレース画像を所定の探索範囲で推定した動きベクトルに応じて動き補償することにより生成される第２のプログレッシブ画像とを合成する際に用いる合成比率を、前記探索範囲内における前時刻のインターレース画像のラインの輝度変化と後時刻のインターレース画像のラインの輝度変化とのいずれかから決定される動き推定信頼度に基づいて計算する合成比率計算処理を情報処理装置に実行させることを特徴とするプログラム。

Images