JP4239063B2 - Image processing apparatus and method, recording medium, and program - Google Patents
Image processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP4239063B2 JP4239063B2 JP2002318277A JP2002318277A JP4239063B2 JP 4239063 B2 JP4239063 B2 JP 4239063B2 JP 2002318277 A JP2002318277 A JP 2002318277A JP 2002318277 A JP2002318277 A JP 2002318277A JP 4239063 B2 JP4239063 B2 JP 4239063B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- field
- image
- variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、インタレーススキャン画像をプログレッシブスキャン画像に変換させる際に、静止画領域と、動画領域とを正確に識別し、正しい補間画素を静止できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
インタレーススキャン方式の画像をプログレッシブスキャン方式の画像に変換(IP変換)させる技術が一般に普及しつつある。
【0003】
インタレーススキャン方式は、飛び越し走査と呼ばれる走査方式であり、実際の表示画像の走査線を1本おきに走査する(走査線1本おきに飛び越して走査する)方式である。インタレーススキャン方式で走査された1つの画像は、フィールドと呼ばれ、連続する画像を表示するとき、隣り合うフィールドは、走査線1本分ずれた状態で画素が存在しており、そのフィールドが連続して交互に表示されている。
【0004】
プログレッシブスキャン方式は、インタレーススキャン方式に対して、表示画像の全走査線を走査する方式である。
【0005】
従って、インタレーススキャン方式の画像からプログレッシブスキャン方式の画像への変換処理は、インタレーススキャン方式の画像の中の、画素が存在しないライン上に、元々存在する画素を使用して、画素を補間させ、全ての走査線上に画素を生成する処理である。
【0006】
従来では、補間の方法としては、走査線1本分を遅延して、表示させることで、各走査線を2度スキャンする2度書きと呼ばれる方法や、上下方向の画素を用いて、線形補間するといった方法が用いられていた。
【0007】
また、垂直解像度を上げるために、複数のフィールドの情報を利用する方法も提案された。この方法は、インタレーススキャン方式では、連続するフィールドの1個前のフィールドが、上述のように走査線1本分だけずれた関係にあるので、1個前のフィールド上には、現在のフィールド上の補間すべき位置に画素が存在する。そこで、複数のフィールドを使用する補間処理では、この画素を利用する。すなわち、その補間すべき画素が静止画素の場合、1個前のフィールドの画素を、そのまま使用して補間し、また、動画素の場合、現在のフィールドの上下の画素を用いて線形補間により画素を補間するというものである。
【0008】
また、従来、画像の走査方式を変換する際に発生するエラーを低減できるようにしているものがある(例えば、特許文献1参照)。
【0009】
さらに、走査方式を変換する際、斜め線が不自然に見えないようにしているものがある(例えば、特許文献2参照)。
【0010】
【特許文献1】
特開2001−352525号公報
【特許文献2】
特開2001−218169号公報
【0011】
【発明が解決しようとする課題】
しかしながら、上記の方法では、例えば2度書きを使用した場合、斜めエッジとなる映像は、IP変換により大きな階段状に表示されることになってしまうという課題があった。
【0012】
また、線形補間を用いた場合、2度書きに比べると、表示画像は向上されるものの、多少ぼけて表示されてしまうことがあり、また、2度書きを用いた場合と同様に斜めのエッジは、階段状に表示されてしまうという課題があった。
【0013】
そこで、斜め方向のエッジが階段状に表示されてしまうのを防ぐために、エッジの方向を検出しながらIP変換を実行するという方法が提案された。これは、特公平3−42832に記載されているものであり、補間すべき注目画素を中心として、上下、右上左下、および、右下左上の3組の画素の差分の絶対値を調べて、最も小さい値をとる画素の組合せで補間を行い、全てが所定の値より大きい値であれば上の画素値をコピーして補間するという方法である。これにより、斜め方向のエッジが存在する場合でも、その方向が滑らかに補間されるようになった。
【0014】
しかしながら、エッジの方向を検出しながら変換する方法においては、斜め方向のエッジの表示が改善されるものの、静止画領域では、複数のフィールドを用いる方法に比べて、垂直解像度が不利となってしまうという課題がった。また、エッジの方向を検出しながら変換する方法は、実画像に適用すると、例えば、ノイズや照明条件によって、斜め方向の相関関係が上下方向よりも若干高く、算出されてしまうことがあり、実際の絵柄は上下に連続していても、正確に表示されないといったエラーが発生し易くなるという課題があった。
【0015】
さらに、複数フィールドを使用する方法では、斜めエッジが階段状に表示される問題は改善されるものの、静止画領域では、複数のフィールドを使用するため、垂直解像度が多少犠牲にされてしまうという課題があった。
【0016】
また、一般的なビデオ信号などにおいては、高周波成分がわずかしか含まれておらず、エッジはぼんやりとしか現れないので、局地的にエッジ方向を正確に検出するのは困難であり、特定方向のエッジを強調しようとしても、複数のエッジ方向の候補が検出されて、選別することができず、結局、従来の線形補間と同程度の画質でしか、画像を生成することができないという課題があった。
【0017】
さらに、補間しようとする画素位置が静止画領域であるか、動画領域であるかを正確に識別できず、正しく画素を補間することができない恐れがあるという課題があった。
【0018】
本発明はこのような状況に鑑みてなされたものであり、インタレーススキャン画像からプログレッシブスキャン画像への変換の際に、静止画部分の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させ、変換におけるエラーを抑制できるようにすると共に、補間される画素が動画領域であるか静止画領域であるかを正確に識別し、正しい補間画素を生成するものである。
【0019】
【課題を解決するための手段】
本発明の画像処理装置は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定手段と、変動測定手段により測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、判定手段の判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間手段により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間手段により補間された画素を選択する選択手段と、インタレース方式の画像のフィールドを帯域制限する帯域制限手段と、帯域制限手段により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引き手段とを備え、変動測定手段は、間引き手段により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引き手段により画素数を水平方向に1/2に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間手段は、変換しようとする画素が、間引き手段により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、変換しようとする画素が、間引き手段により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【0020】
前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段をさらに設けるようにさせることができる。
【0021】
前記エッジ強調手段には、インタレース方式の画像の各画素毎に水平方向、および、垂直方向の1次元フィルタ処理を施し、画像のエッジを強調させるようにすることができる。
【0022】
前記各画素の近傍の画素値から、画素の近傍の、垂直方向、および、水平方向の中心画素エネルギを算出する中心画素エネルギ算出手段をさらに設けるようにさせることができ、エッジ強調手段には、中心画素エネルギ算出手段により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施すようにさせることができる。
【0026】
前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上の、画素に点対照な位置の画素同士の相関を検出する相関検出手段をさらに設けるようにさせることができ、フィールド内補間手段には、相関検出手段により検出された相関の最も強い画素同士から画素を補間させるようにすることができる。
【0027】
前記相関検出手段には、補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出させるようにすることができる。
【0028】
前記補間しようとする画素の近傍の画素値から、補間しようとする画素の近傍エネルギを算出する近傍エネルギ算出手段をさらに設けるようにさせることができ、傍エネルギ算出手段により算出された補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、フィールド内補間手段に、相関検出手段により検出された相関の最も強い画素に基づいて補間を行う用にさせることができる。
【0029】
前記近傍エネルギは、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素のうち、ラインに垂直に対向し合う画素の画素値の差分の絶対値の和を取ったものであるか、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を取ったものとするようにすることができる。
【0030】
本発明の画像処理方法は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【0031】
本発明の記録媒体のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【0032】
本発明のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含む処理を実行させ、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【0033】
本発明の画像処理装置および方法、並びにプログラムにおいては、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素が補間され、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動が測定され、測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素が補間され、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかが判定され、判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間された画素が選択され、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間された画素が選択され、インタレース方式の画像のフィールドが帯域制限され、帯域制限された、インタレース方式の画像のフィールドの画素数が水平方向に1/2に間引きされ、画素数が水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、画素数が水平方向に1/2に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分が、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定され、変換しようとする画素が、間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値が補間され、変換しようとする画素が、間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値が補間される。
【0034】
【発明の実施の形態】
図1は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。フィールドメモリ11,14,21は、入力されたインタレーススキャン方式の画像(以下、インタレース画像と称する)の1フィールド分の情報を一時的に記憶し、後段の装置に出力する。すなわち、フィールドメモリ11,14,21は、所定の時刻tのタイミングで入力された1フィールド分の画像情報を記憶し、次の時刻t+1のタイミングで、記憶していた時刻tのフィールドデータを、イメージリフレッシャ12、フィールド内補間部15、フィールド間補間部16、および、変動測定部22に出力する。
【0035】
イメージリフレッシャ12は、バッファ13を適宜利用しながら、フィールドメモリ11より入力されたフィールドデータに、1次元の垂直フィルタ、および、1次元の水平フィルタの処理を施し、垂直方向および水平方向のエッジ部分を強調した後、フィールドメモリ14に出力する。
【0036】
フィールド内補間部15は、エッジ強調処理されたフィールドメモリ14に記憶されているフィールドデータからプログレッシブ画像の動画領域の画素を補間して生成し、プログレッシブ画像として補間メモリ17−2に出力し、記憶させる。尚、フィールド内補間処理については、詳細を後述する。
【0037】
フィールド間補間部16は、フィールドメモリ14に記憶されているフィールドデータと、変動測定部22より入力される変動データからプログレッシブ画像の静止画領域の画素を補間して生成し、生成したプログレッシブ画像を補間メモリ17−1に出力し、記憶させる。尚、フィールド間補間処理については、詳細を後述する。
【0038】
LPF(Low Pass Filter)19は、フィールドメモリ14に記憶されているフィールドデータを予備的に帯域制限してダウンサンプラ20に出力する。LPF19は、フィールドデータに含まれるノイズによる信号の変調を軽減すると共に、後述する静止・動き領域判定処理の際、ノイズの影響で誤って静止画領域を動画領域として判定してしまうといった誤判定を抑制する。また、この帯域制限により、後段のダウンサンプラ20によるダウンサンプル処理で生じやすいエリアジング現象を抑制することができる。
【0039】
ダウンサンプラ20は、LPF19より入力された帯域制限されているフィールドデータの容量を削減するため、水平方向の画素数を1/2にダウンサンプルし(フィールドデータを1列おきに間引きし)、変動測定部22、および、フィールドメモリ21に出力する。尚、以下の説明において、ダウンサンプラ20は、フィールドデータの各ラインの水平方向の座標xが偶数となる画素を有効画素とし、水平方向の座標xが奇数である画素を無効画素として間引きするものとするが、当然のことながら、間引かれる画素位置となる水平方向の座標xの遇奇の関係は逆であってもよい。
【0040】
変動測定部22は、注目画素の存在するフィールドの次のタイミングのフィールド、および、その前のタイミングのフィールドの注目画素に対して上下に位置する画素値の平均から注目画素の画素値を引いた値を変動データとして求め、変動データメモリ23、および、静止/動画領域判定部24に出力すると共に、変動情報をフィールド間補間部16に出力する。
【0041】
静止/動画領域判定部24は、変動測定部22より入力される今現在の変動データと、フィールド差分情報メモリ23より入力される1タイミング前の変動データから静止/動画領域判定処理を実行し、最新のフィールドデータの補間しようとする画素が静止画領域の画素であるのか、または、動画領域の画素であるのかを判定し、記憶する。尚、静止画領域の画素であるか、または、動画領域の画素であるかの判定処理については、詳細を後述する。
【0042】
セレクタ18は、静止/動画領域判定部24に記憶された情報に基づいて、補間しようとする画素が動画領域の画素である場合、フィールド間補間部16により補間された画素を補間メモリ17−1から読出し、また、補間しようとする画素が静止画領域の画素である場合、フィールド内補間部15により補間された画素を補間メモリ17−2から読み出して、最終的なプログレッシブ画像を生成し、出力する。
【0043】
次に、図2のフローチャートを参照して、本発明を適用した画像処理装置のIP変換処理について説明する。
【0044】
ステップS1において、フィールドメモリ11は、記憶していたフィールドデータをイメージリフレッシャ12に出力した後、入力されたフィールドデータを新たに記憶する。
【0045】
ステップS2において、イメージリフレッシャ12は、1次元垂直エッジ強調処理を施す。
【0046】
ここで、図3のフローチャートを参照して、イメージリフレッシャ12の1次元垂直エッジ強調処理について説明する。
【0047】
ステップS21において、イメージリフレッシャ12は、フィールドメモリ11より入力されたフィールドデータのうち、処理していない画素があるか否かを判定し、処理していない画素があると判定された場合、その処理は、ステップS22に進む。
【0048】
ステップS22において、イメージリフレッシャ12は、未処理画素を検索し、検索された未処理画素の垂直方向中心画素エネルギを算出する。例えば、図4に示すようなフィールドデータが存在し、垂直方向のy+1,y,y−1の各ラインに、画素a乃至e、画素f乃至j、および、画素k乃至oが配置されているものとするとき、画素hの近傍のAエリア(図中実線で囲まれた範囲)の垂直方向中心画素エネルギEV-hは、以下の式により求められる。
【0049】
EV-h=|(b+c+d)−(l+m+n)|・・・(1)
【0050】
ここで、b,c,d,l,m,およびnは、画素b,c,d,l,m,およびnの画素値である。すなわち、式(1)の垂直方向中心画素エネルギEVは、未処理画素を中心とした上のラインと下のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が上下にある場合は、その画素値の差分には、大きな差がないので、垂直方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が上下にある場合、その画素値の差分には大きな差が現れることが多く、結果として垂直方向中心画素エネルギも大きくなる。
【0051】
イメージリフレッシャ12は、未処理画素の垂直方向中心画素エネルギEV-hを上記の式(1)を演算することにより求める。
【0052】
ステップS23において、イメージリフレッシャ12は、求められた垂直方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が垂直方向の画素との間に強い相関が見られないと判定した場合、その処理は、ステップS24に進む。
【0053】
ステップS24において、イメージリフレッシャ12は、未処理画素を含めた上下3個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図4に示すように、未処理画素が画素hであった場合、それを含めた上下の画素c,h,m(図4中の実線で囲まれたBエリア)の各画素値を読出し、図5に示すように、その内の最大値(c,h,m)と最小値(c,h,m)を求める。
【0054】
ステップS25において、イメージリフレッシャ12は、図4に示すBエリアの画素c,h,mに、図5に示すような1次元垂直フィルタ処理を施す。すなわち、1次元垂直フィルタとしては、(1/2−α/2,α,1/2−α/2)(1<α≦2)といったものであり、以下の式(2)に示すような演算により、フィルタ処理された画素値hV-filterが求められる。
【0055】
hV-filter=c×(1/2−α/2)+h×α+m×(1/2−α/2)・・・(2)
【0056】
ここで、αは、1<α≦2の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【0057】
ステップS26において、イメージリフレッシャ12は、図5に示すように、フィルタ処理した画素値hV-filterと最大値(c,h,m)を比較し、フィルタ処理した画素値hV-filterが最大値(c,h,m)以上であるか否かを判定し、最大値(c,h,m)以上であると判定した場合、ステップS27において、イメージリフレッシャ12は、画素値hV-filterを最大値(c,h,m)に置き換える。
【0058】
ステップS28において、イメージリフレッシャ12は、最大値(c,h,m)に置き換えられた画素値を画素hの画素値としてバッファ13に記憶させ、その処理は、ステップS21に戻り、全ての画素に1次元垂直エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【0059】
ステップS23において、垂直方向中心画素エネルギEVが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が上下の画素との間に強い相関が認められると判定された場合、その処理は、ステップS28に進み、イメージリフレッシャ12は、画素hの画素値を、フィルタ処理することなく、そのままバッファ13に記憶させ、その処理は、ステップS21に戻り、それ以降の処理が繰り返される。
【0060】
ステップS26において、フィルタ処理した画素値hV-filterが最大値(c,h,m)以上ではないと判定した場合、ステップS29において、イメージリフレッシャ12は、フィルタ処理した画素値hV-filterと最小値(c,h,m)を比較し、フィルタ処理した画素値hV-filterが最小値(c,h,m)以下であるか否かを判定し、フィルタ処理した画素値hV-filterが最小値(c,h,m)以下であると判定した場合、その処理は、ステップS30に進む。
【0061】
ステップS30において、イメージリフレッシャ12は、画素値hV-filterを最小値(c,h,m)に置き換え、ステップS28において、最小値(c,h,m)に置き換えられた画素値を、画素hの画素値としてバッファ13に記憶する。
【0062】
ステップS29において、フィルタ処理した画素値hV-filterが最小値(c,h,m)以下ではないと判定した場合、その処理は、ステップS28に進み、イメージリフレッシャ12は、フィルタ処理された画素値hV-filterを、画素hの画素値としてバッファ13に記憶させ、その処理は、ステップS21に戻る。
【0063】
すなわち、ステップS23の処理で、垂直方向中心画素エネルギの値が所定の閾値以上である場合(未処理画素が上下の画素との間に強い相関が認められない場合)、図5に示すように、ステップS24の処理で求められた最大値(c,h,m)、および、最小値(c,h,m)が、画素c,h,mの局所的な範囲の最大値と最小値とみなされ、ステップS25の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をバッファ13に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、バッファ13に記憶させる。ステップS23の処理で、垂直方向中心画素エネルギの値が所定の閾値以上ではない場合、すなわち、上下の画素と相関が強い場合、元の画素値がそのままバッファ13に記憶される。
【0064】
ここで、図2のフローチャートの説明に戻る。
【0065】
ステップS2において、1次元垂直エッジ強調処理が実行された後、ステップS3において、イメージリフレッシャ12は、1次元水平エッジ強調処理を実行する。
【0066】
ここで、図6のフローチャートを参照して、1次元水平エッジ強調処理について説明する。
【0067】
ステップS41において、イメージリフレッシャ12は、バッファ13に記憶された1次元垂直エッジ強調処理されているフィールドデータの各画素について1次元水平エッジ処理を施していない画素があるか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップS42に進む。
【0068】
ステップS42において、イメージリフレッシャ12は、未処理画素を検索し、検索された未処理画素の水平方向中心画素エネルギを算出する。例えば、図7に示すようなフィールドデータが存在し、垂直方向のy+1,y,y−1の各ラインに、画素a乃至e、画素f乃至j、および、画素k乃至oが配置されているものとするとき、画素hの近傍のAエリア(図中実線で囲まれた範囲)の水平方向中心画素エネルギEH-hは、以下の式により求められる。
【0069】
EH-h=|(d+i+n)−(b+g+l)|・・・(3)
【0070】
ここで、b,d,g,i,l、およびnは、画素b,d,g,i,l、およびnの画素値である。すなわち、式(3)の水平方向中心画素エネルギEHは、未処理画素を中心とした右のラインと左のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が左右にある場合は、その画素値の差分には、大きな差がないので、水平方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が左右にある場合、その画素値の差分には大きな差が現れることが多いので、水平方向中心画素エネルギも大きくなる。
【0071】
イメージリフレッシャ12は、上記の式(3)を演算し、未処理画素の水平方向中心画素エネルギEHを求める。
【0072】
ステップS43において、イメージリフレッシャ12は、求められた水平方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が左右の画素と強い相関が見られないと判定した場合、その処理は、ステップS44に進む。
【0073】
ステップS44において、イメージリフレッシャ12は、未処理画素を含めた左右5個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図7に示すように、未処理画素が画素hであった場合、それを含めた左右の画素f乃至j(図7中の実線で囲まれたBエリア)の各画素値を読出し、図8に示すように、その内の最大値(f,g,h,i,j)と最小値(f,g,h,i,j)を求める。
【0074】
ステップS45において、イメージリフレッシャ12は、図7に示すBエリアの画素f乃至jに、図8に示すような1次元水平フィルタ処理を施す。すなわち、1次元垂直フィルタとしては、(1/4−α/2,1/4,α,1/4,1/4−α/2)(1<α≦2)といったものであり、以下に示す式(4)を演算することにより、フィルタ処理された画素値hH-filterが求められる。
【0075】
hH-filter=f×(1/4−α/2)+g×1/4+h×α+i×1/4+j×(1/4−α/2)・・・(4)
【0076】
ここで、αは、1<α≦2の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【0077】
ステップS46において、イメージリフレッシャ12は、フィルタ処理した画素値hH-filterと最大値(f,g,h,i,j)を比較し、フィルタ処理した画素値hH-filterが最大値(f,g,h,i,j)以上であるか否かを判定し、最大値(f,g,h,i,j)以上であると判定した場合、ステップS47において、イメージリフレッシャ12は、画素値hH-filterを最大値(f,g,h,i,j)に置き換える。
【0078】
ステップS48において、イメージリフレッシャ12は、最大値(f,g,h,i,j)に置き換えられた画素値を画素hの画素値としてフィールドメモリ14に記憶させ、その処理は、ステップS41に戻り、全ての画素に1次元水平エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【0079】
ステップS43において、水平方向中心画素エネルギEHが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が左右の画素との間に強い相関が見られると判定された場合、その処理は、ステップS48に進み、イメージリフレッシャ12は、画素hの画素値をそのままフィールドメモリ14に記憶させ、その処理は、ステップS41に戻る。
【0080】
ステップS46において、フィルタ処理した画素値hH-filterが最大値(f,g,h,i,j)以上ではないと判定した場合、ステップS49において、イメージリフレッシャ12は、フィルタ処理した画素値hH-filterと最小値(f,g,h,i,j)を比較し、フィルタ処理した画素値hH-filterが最小値(f,g,h,i,j)以下であるか否かを判定し、フィルタ処理した画素値hH-filterが最小値(f,g,h,i,j)以下であると判定した場合、その処理は、ステップS50に進む。
【0081】
ステップS50において、イメージリフレッシャ12は、画素値hH-filterを最小値(f,g,h,i,j)に置き換え、ステップS48において、最小値(f,g,h,i,j)に置き換えられた画素値を、画素hの画素値としてフィールドメモリ14に記憶する。
【0082】
ステップS49において、フィルタ処理した画素値hH-filterが最小値(f,g,h,i,j)以下ではないと判定した場合、その処理は、ステップS48に進み、イメージリフレッシャ12は、フィルタ処理された画素値hH-filterを、画素hの画素値としてフィールドメモリ14に記憶させ、その処理は、ステップS41に戻る。
【0083】
すなわち、ステップS43の処理で、水平方向中心画素エネルギの値が所定の閾値以上である場合(未処理画素が左右の画素との間に強い相関が認められない場合)、図8に示すように、ステップS44の処理で求められた最大値(f,g,h,i,j)、および、最小値(f,g,h,i,j)が、画素f,g,h,i,jの局所的な範囲の最大値と最小値とみなされ、ステップS45の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をフィールドメモリ14に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、フィールドメモリ14に記憶させる。ステップS43の処理で、水平方向中心画素エネルギの値が所定の閾値以上ではない場合、元の画素値がそのままフィールドメモリ14に記憶される。
【0084】
ここで、図2のフローチャートの説明に戻る。
【0085】
ステップS3において、1次元水平エッジ強調処理が実行された後、ステップS4において、LPF19、ダウンサンプラ20、フィールドメモリ21、変動測定部22、フィールド差分情報メモリ23、および、静止/動画領域判定部24は、協働して静止/動画領域判定処理を実行する。
【0086】
ここで、図9のフローチャートを参照して、静止/動画領域判定処理について説明する。
【0087】
ステップ61において、LPF19は、注目画素を中心とした、水平方向の画素に対して所定のフィルタにより画素値を平滑化することにより帯域制限して、ダウンサンプラ20に出力する。すなわち、例えば、注目画素を中心とした水平方向に画素g,h,iが配置されていた場合(今の場合、注目画素は画素h)、画素g,h,iは、(1/4,1/2,1/4)からなるフィルタにより平滑化され、画素h’の画素値は、g/4+h/2+i/4となり、帯域が制限されてダウンサンプラ20に出力される。
【0088】
ステップ62において、ダウンサンプラ20は、LPF19により帯域制限された画像信号の画素数を水平方向に対して1/2に間引きすることにより、ダウンサンプルし、フィールド間補間部16、フィールド差分情報メモリ23、および、静止/動画領域判定部24に出力する。すなわち、例えば、LPF19により帯域制限されたフィールドデータとして、図11に示すように、垂直方向のy+1,y,y−1の各ラインに、画素a乃至e、画素f乃至j、および、画素k乃至oが配置されているものとするとき、ダウンサンプラ20は、水平方向の座標xが偶数となる、ライン(y−1)上の画素a(x=0),c(x=2),e(x=4)、ラインy上の画素f(x=0),h(x=2),j(x=4)、および、ライン(y+1)上の画素k(x=0),m(x=2),o(x=4)を有効画素として残し、ライン(y−1)上の画素b(x=1),d(x=3)、ラインy上の画素g(x=1),i(x=3)、および、ライン(y+1)上の画素l(x=1),n(x=3)を無効画素として残して間引きすることにより、全体として水平方向に1/2にダウンサンプルしたフィールドデータを生成して、フィールドメモリ21、および、変動測定部22に出力する。
【0089】
ステップS63において、変動測定部22は、注目画素となる画素位置の情報を読み出し、ステップS64において、ダウンサンプラ20より入力される最新の(水平方向に1/2にダウンサンプルされている)フィールドデータとフィールドメモリ21に記憶されている1タイミング前の(水平方向に1/2にダウンサンプルされている)フィールドデータから変動データを測定し、変動データメモリ23、および、静止/動画領域判定部24に出力する。すなわち、例えば、図12で示す、時刻t−1の場合、フィールド上に存在する画素Cが注目画素であるとき、その前のタイミングである時刻t−2のフィールド上の画素Cの位置から見て水平方向に上下に位置する画素D,Eの画素値と画素Cの画素値から以下の式(5)を演算することに変動データdiff(D,E,C)が、測定される。
【0090】
diff(D,E,C)=(D+E)/2−C・・・(5)
【0091】
ここで、diff(D,E,C)は、画素D,E,Cから得られる変動データであり、D,E,Cは、画素D,E,Cの画素値を示す。すなわち、画素Cの位置から見て水平方向に上下に位置する画素D,Eの画素値をフィールドメモリ21に記憶されている1タイミング前のフィールドデータから読出し、その平均を求め、最新フィールドデータから画素Cの画素値を読出し、画素D,Eの平均値から引いた値を変動データとする。また、この次のタイミング(時刻t)では、diff(A,B,C)が求められることになる。尚、以下の説明においては、注目画素について、今現在求められた変動データをdiff_cとし、その前のタイミングで求められた、変動データメモリ23に記憶されている変動データをdiff_pと称するものとする。
【0092】
ステップS65において、静止/動画領域判定部24は、変動測定部22から入力されてくる注目画素の変動データdiff_cと、その前のタイミングで変動測定部22から入力されてくる変動データdiff_pから、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるか否かを判定し、例えば、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負あるいはゼロであると判定した場合、ステップS66において、注目画素を動画領域の画素として記憶する。
【0093】
また、ステップS65において、変動データdiff_cが所定の閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が正であると判定された場合、ステップS67において、注目画素を静止画領域の画素として記憶する。
【0094】
そして、ステップS68において、未処理の画素があるか否かが判定され、未処理の画素があると判定された場合、その処理は、ステップS63に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップS63乃至S68の処理が繰り返される。すなわち、全ての画素が動画素か、または、静止画素のいずれであるかの判定が終了すると、その処理は,終了する。
【0095】
すなわち、図12における時刻t-1のフィールドデータ上に存在する画素Cが注目画素である場合、その前のタイミングである時刻t-2のフィールドデータ上の画素D,Eにより得られる変動データdiff_pは、上述のように、diff_p=diff(D,E,C)=(D+E)/2−Cとなり、次のタイミングである、時刻tのフィールドデータ上の画素A,Bと注目画素Cにより得られる変動データdiff_cは、diff_c=diff(A,B,C)=(A+B)/2−Cとなる。このとき、変動データdiff_c=diff(A,B,C)が閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるとき、注目画素Cは、動画領域の画素であると判定され、静止/動画領域判定部24に記憶される。逆に、変動データdiff_c=diff(A,B,C)が閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が1以上であるとき、注目画素Cは、静止画領域の画素であると判定され、静止/動画領域判定部24に記憶される。
【0096】
このような静止/動画領域判定処理により、以下のような効果が得られる。
【0097】
すなわち、例えば、図13で示すように、1ラインごとに白と黒の画素が垂直方向に配置されるような静止画の場合、フィールドデータは、時刻毎に(フィールドデータ毎に)、時刻tのフィールドデータには、白の画素がPix(y-2,t),Pix(y,t),Pix(y+2,t)に配置され、時刻t-1のフィールドデータには、黒の画素がPix(y-1,t-1),Pix(y+1,t-1),Pix(y+3,t-1)に配置され、時刻t-2のフィールドデータには、白の画素がPix(y-2,t-2),Pix(y,t-2),Pix(y+2,t-2)に配置されるものとする。
【0098】
このような場合、例えば、垂直方向の変化が単調減少、または、単調増加である場合、すなわち、画素の変化(Pix(y-2,t)−Pix(y-1,t-1))×(Pix(y-1,t-1)−Pix(y,t))>0である場合、静止画であるとみなすものとしていると、図13の場合、(Pix(y-2,t)−Pix(y-1,t-1))×(Pix(y-1,t-1)−Pix(y,t))>0とはならないため、動画像領域であるとみなされることがある。このとき、例えば、動画像領域の画素を補間するときは、注目画素の上下の画素の平均であるとすると、時刻t、または、t-2上のフィールドデータで補間されるが画素は、全て白に、時刻t-1上のフィールドデータで補間されるが画素は、黒に、補間されてしまうことになる。このような処理により、時刻の変化と共にプログレッシブ画像は、図14A,B,C,Dで示すように、時刻が進むと共に図14A,B,C,Dのように画像が白、黒、白、黒と連続的に切り替わってしまうため、いわゆる、フリッカを生じてしまう。
【0099】
これに対して、本発明によれば、diff(Pix(y-2,t),Pix(y,t),Pix(y-1,t-1))×diff(Pix(y-2,t-2),Pix(y,t-2),Pix(y-1,t-1))>0で、かつ、diff(Pix(y-2,t),Pix(y,t),Pix(y-1,t-1))>thであるとき、注目画素を静止画領域とするので、図13で示すような静止画であっても、誤判定することなく、注目画素が静止画領域であると認識することができる。結果的に、図13で示すような画像が変換されても、各画素の垂直方向の座標位置毎に同一の画素が設定されることになるので、図15A、B,C,Dで示すように、時系列的に、変化する画像が表示されても、全ての画像で図13で示した画像を表示させることが可能となる。結果として、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別することが可能となる。
【0100】
尚、以上においては、静止/動画領域判定処理においては、1画素の判定結果に基づいて、静止/動画領域の判定を行っていたが、例えば、注目画素を中心としたN(画素数)×M(画素数)のうち、1画素でも動画領域を判定された場合、注目画素を動画領域であると判定し、それ以外の場合、静止画領域であると判定するようにしてもよい。
【0101】
ここで、図2のフローチャートの説明に戻る。
【0102】
ステップS4において、静止/動画素領域判定処理が実行された後、ステップS6において、フィールド間補間部16は、フィールド間補間処理を実行する。
【0103】
ここで、図16のフローチャートを参照して、フィールド間補間処理について説明する。
【0104】
ステップS81において、フィールド間補間部16は、注目画素(フィールド間補間、または、フィールド内補間処理における注目画素とは、補間しようとする画素である)の位置を読出し、ステップS82において、注目画素位置の水平方向の画素位置が奇数であるか否かを判定する。例えば、注目画素の水平方向の座標位置が奇数であると判定された場合、ステップS83において、フィールド補間部16は、フィールドメモリ14に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部22より入力されてくる注目画素の左右に存在する画素の変動データの平均値との和を注目画素の画素値として補間し、補間メモリ17−1に記憶させる。
【0105】
また、ステップS82において、注目画素の水平方向の画素位置が奇数ではない、すなわち、水平方向の画素位置が偶数であると判定された場合、ステップS84において、フィールド補間部16は、フィールドメモリ14に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部22より入力されてくる注目画素と同位置に存在する帯域制限されて、水平方向に1/2に間引きされた1フィールド前の画素の変動データの1/2の値との和を注目画素の画素値として補間し、補間メモリ17−1に記憶させる。
【0106】
ステップS85において、フィールド間補間部16は、未処理の画素がまだ存在するか否かを判定し、未処理の画素があると判定した場合、その処理は、ステップS81に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップS81乃至S85の処理が繰り返される。そして、ステップS85において、未処理の画素がないと判定された場合、その処理は、終了する。
【0107】
すなわち、例えば、図17で示すように、フィールドメモリ14に記憶されている時刻tのフィールドデータが垂直方向の座標がyとなる位置に水平方向に画素A,B,Cと存在し、インタレースの画像なので、1ラインおいた垂直方向の座標がy+2となる位置に水平方向にG,H,Iが存在するものとする。また、1タイミング過去の時刻t-1の帯域制限されて、水平方向に1/2に間引きされたフィールドデータ上の垂直方向の座標がy+1となる位置に画素D,E,Fが配置されているものとする。尚、図中、時刻tの画素は、黒丸で示されており、時刻t-1の画素は、白丸で示されており、さらに、間引きされた画素は点線で表示されている。また、図中のA,B,C,D,E,F,G,H,I,J,K,Lは、画素を示すと共に以下の説明において画素値としても使用する。さらに、画素値の表示において、「’」は、LPF19により帯域制限処理された画素値であることを示している。
【0108】
このように示された、図17において、注目画素が奇数である場合、例えば、注目画素は、画素Kとなる。すなわち、帯域制限されて、水平方向に1/2に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素Eが間引きされているので、対応する画素Kが補間しようとする画素のうち水平方向の座標位置が奇数となるものとなる。
【0109】
この場合、注目画素Kは、以下の式(6)により求められることになる。
【0110】
K=(B+H)/2−(diff(C’,I’,F’)+diff(A’,G’,D’)/2・・・(6)
【0111】
また、注目画素が、偶数である場合、例えば、注目画素は、画素JまたはLとなる。すなわち、帯域制限されて、水平方向に1/2に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素D,Fは間引きされないので、対応する画素J,Lが補間しようとする画素のうち水平方向の座標位置が偶数のものとなる。
【0112】
この場合、例えば、注目画素Lは、以下の式(7)により求められることになる。
【0113】
L=(C+I)/2−(diff(C’,I’,F’)/2 ・・・(7)
【0114】
すなわち、式(6),式(7)の「(B+H)/2」と「(C+I)/2」の項は、垂直方向の平均であり、もともと存在しない画素の値を垂直方向に隣接する画素間で補間して、設定するものである。また、「(diff(C’,I’,F’)+diff(A’,G’,D’)/2)と「(diff(C’,I’,F’)/2)の項は、異なるフィールド上に存在する補間しようとする画素と垂直位置が異なる画素間の関係を示す変動データである。従って、以上の方法で、フィールド間補間することにより、注目画素(補間しようとする画素)を補間しようとするときフィールド間の同位置に存在すべき画素間の関係を考慮して補間画素を生成することができる。結果として、正しい補間画素を生成することが可能となる。
【0115】
ここで、図2のフローチャートの説明に戻る。
【0116】
ステップS5において、フィールド間補間処理が実行された後、ステップS6において、フィールド内補間部15は、フィールド内補間処理を実行する。
【0117】
ここで、図18を参照して、フィールド内補間部15のフィールド内補間処理について説明する。
【0118】
ステップS101において、フィールド内補間部15は、フィールドメモリ14に記憶されたフィールドデータを検索し、補間されていない画素が存在するか否かを判定し、補間されていない画素が存在すると判定した場合、その処理は、ステップS102に進む。
【0119】
ステップS102において、フィールド内補間部15は、補間しようとする画素の位置を読み出し、ステップS103において、補間しようとする画素位置近傍の近傍エネルギEnearを求める。ここで、補間しようとする画素位置近傍の近傍エネルギEnearは、例えば、図19に示すように、垂直方向にy−1,y+1のライン上に、それぞれ画素a乃至eおよび画素g乃至kが存在し、その間のyのライン上に画素fを補間しようとする場合、以下の式(8)から求められる。
【0120】
Enear-f=|a−k|+|b−j|+|c−i|+|d−h|+|e−g|・・・(8)
【0121】
ここで、a乃至kは、画素a乃至kの画素値である。
【0122】
すなわち、補間しようとする画素位置近傍の近傍エネルギEnearは、補間しようとする画素位置の上下のライン上に存在する画素のうち、補間しようとする画素位置を中心として点対称となる位置の画素値同士の差分の絶対値を加算したものである。このため、近傍エネルギEnearの値が大きいほど、補間しようとする画素は、エッジ部分を形成している可能性が高く、逆に、その値が小さいほど、補間しようとする画素は、エッジやテクスチャ部分には存在しない可能性が高くなる。
【0123】
ステップS104において、フィールド内補間部15は、近傍エネルギEnearが所定の値より大きいか否かを判定し、大きいと判定した場合(エッジ部分を形成している可能性が高いと判定した場合)、その処理は、ステップS105に進む。
【0124】
ステップS105において、フィールド内補間部15は、補間しようとする画素の近傍の画素から、相関の高い方向の画素の組合せを求める。すなわち、相関とは、補間しようとする画素を中心として、その点対称の位置に存在する画素間の画素値の差分の絶対値である。例えば、図19に示すように、画素fを補間しようとするとき、求めるべき相関は、|a−k|、|b−j|、|c−i|、|d−h|、|e−g|である。さらに、これらを求めた後、最も小さい値をとる組合せを検出し、これを最も相関の高い画素の組合せとする。すなわち、相関が高いということは、画素値に大きな変化がないことになるので、差分の絶対値が小さいものほど相関が高いことになる。例えば、|b−j|が最も小さい値をとった場合、画素b,jを結ぶ直線方向が相関の高い方向の画素の組合せと言うことになる。
【0125】
ステップS106において、検出された方向の画素の組合せから補間画素を生成する。すなわち、例えば、図19に示す画素b,jの組合せが最も相関の高い方向の画素の組合せであるとき、補間される画素fの画素値は、以下の式(9)から求められる。
【0126】
f=1/2×(b+j)・・・(9)
【0127】
ステップS107において、フィールド間補間部14は、補間された画素値が上下方向に対して正しく変化しているか否かを判定する。例えば、図19に示す画素fを補間するとき、フィールド内補間部15は、以下の式(10)に示す判定式Jを演算し、その演算結果の正負によりこれを判定する。
【0128】
J=(f−c)×(i−f)・・・(10)
【0129】
ここで、c,fは、補間された画素fの上下に存在する画素c,fの画素値である。
【0130】
すなわち、通常上下方向には、画素値は単調増加するか、単調減少する可能性が高いので、これをもって画素値の変化が正しいか否かを判定する。判定式Jは、単調増加、または、単調減少する場合、正の値となり、逆に、単調増加、または、単調減少しない場合、負の値となる。
【0131】
そこで、判定式Jが正の値である場合、フィールド内補間部15は、画素値が上下方向に対して正しく変化していると判定し、その処理は、ステップS108に進む。
【0132】
ステップS108において、フィールド内補間部15は、相関の高い方向の画素の組合せから生成された画素値を補間画素の画素値として補間メモリ17−2に記憶させ、その処理は、ステップS101に戻り、全ての画素が補間されるまで以上の処理が繰り返される。
【0133】
ステップS104において、近傍エネルギEnearが所定の閾値よりも大きくないと判定された場合、ステップS109において、上下の画素を用いた線形補間により画素値を生成し、生成した画素値を補間メモリ17−2に記憶させる。すなわち、例えば、図19に示す画素fを補間する場合、その上下に存在する画素c,iの画素値から以下の式(11)より線形補間により画素値を求め、これを補間画素の画素値として補間メモリ17−2に記憶させ、その処理は、ステップS101に戻り、補間しようとする画素が全て補間されるまで処理が繰り返される。
【0134】
f=1/2(c+i)・・・(11)
【0135】
ステップS107において、画素値が上下方向に対して正しく変化していないと判定された場合、すなわち、判定式Jが負の値である場合、その処理は、ステップS109に進む。
【0136】
ここで、図2のフローチャートの説明に戻る。
【0137】
ステップS6において、フィールド内補間処理が実行されると、ステップS7において、セレクタ18によりセレクト処理が実行される。
【0138】
ここで、図20のフローチャートを参照して、セレクト処理について説明する。
【0139】
ステップS121において、セレクタ18は、補間されていない注目画素が存在するか否かを判定する。ステップS122において、セレクタ18は、注目画素の位置を読み出す。ステップS123において、セレクタ18は、静止/動画領域判定部24に、読み出した画素位置に対応する画素が、注目画素が動画素であるか否かを問い合わせて、判定し、動画素であると判定した場合、その処理は、ステップS124に進む。
【0140】
ステップS124において、セレクタ18は、読み出した画素の位置に対応する、補間メモリ17−2に記憶された動画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素として挿入して記憶すると共に、その処理は、ステップS121に戻る。
【0141】
ステップS123において、注目画素が動画素ではない、すなわち、静止画素であると判定された場合、ステップS125において、セレクタ18は、読み出した画素の位置に対応する、補間メモリ17−1に記憶された静止画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素に挿入して記憶すると共に、その処理は、ステップS121に戻り、ステップS121において、全ての画素が補間されるまでこの処理を繰り返す。
【0142】
すなわち、セレクタ18は、読み出した注目画素の位置に基づいて、静止/動画領域判定部24に問い合わせて、各画素毎に静止画領域の画素として記憶されているか、動画領域の画素として記憶されているかを照合し、動画領域の画素であった場合、補間メモリ17−2に記憶されたフィールド内補間部15により動画素として補間された画素値を挿入し、また、注目画素が静止画領域であった場合、補間メモリ17−1に記憶されたフィールド間補間部16により静止画素として補間された画素値を挿入する。
【0143】
ここで、図2のフローチャートの説明に戻る。
【0144】
ステップS7のセレクト処理が終了すると、ステップS8において、セレクタ18は、生成されたプログレッシブ画像を図示せぬ後段の装置に出力する。
【0145】
以上においては、イメージリフレッシャ12は、3タップの垂直フィルタと5タップの水平フィルタを用いた場合について説明してきたが、3タップの垂直フィルタと3タップの水平フィルタを用いるようにしてもよい。また、この場合、例えば、図21に示すように、垂直フィルタは、(1/4−α/2,α+1/2,1/4−α/2)となり、図22に示すように、水平フィルタは、(1/4−α/2,α+1/2,1/4−α/2)となるようにしてもよい。ここで、水平フィルタは、読み出した5個の画素値に対して1個おきに(例えば、画素f,g,h,i,jが順次読込まれたとき、画素f,h,jに対して)フィルタ処理を施す。また、3タップの垂直フィルタと5タップの水平フィルタの場合と、3タップの垂直フィルタと3タップの水平フィルタの場合とを、両方使用できるようにして、ユーザにより切替えられるようにしても良い。また、水平フィルタと垂直フィルタは、それ以外の異なるタップ数のものを使用するようにしても良い。また、補間に使用するフィールドデータ、または、画素は、連続するものでなくても良く、例えば、1個毎に使用したり、それ以上の数毎に使用するようにしても良い。
【0146】
さらに、未処理画素近傍の近傍エネルギの演算式は、式(8)のほかに、以下の式(12)を使用するようにしても良く、ユーザにより切替えられるようにしても良い。
【0147】
Enear-f=|a−g|+|b−h|+|c−i|+|d−j|+|e−k|・・・(12)
【0148】
以上によれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも正しくエッジを強調させることが可能になると共に、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間させることができ、さらに、変換処理時のエラーを抑制させるようにすることが可能となると共に、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。。
【0149】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【0150】
図23は、画像処理装置をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU101は、パーソナルコンピュータの動作の全体を制御する。また、CPU101は、バス104および入出力インターフェース105を介してユーザからキーボードやマウスなどからなる入力部106から指令が入力されると、それに対応してROM(Read Only Memory)102に格納されているプログラムを実行する。あるいはまた、CPU101は、ドライブ110に接続された磁気ディスク111、光ディスク112、光磁気ディスク113、または半導体メモリ114から読み出され、記憶部108にインストールされたプログラムを、RAM(Random Access Memory)103にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU101は、通信部109を制御して、外部と通信し、データの授受を実行する。
【0151】
プログラムが記録されている記録媒体は、図23に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク111(フレキシブルディスクを含む)、光ディスク112(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク113(MD(Mini-Disc)を含む)、もしくは半導体メモリ114などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
【0152】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【0153】
【発明の効果】
本発明の画像処理装置および方法、並びにプログラムによれば、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像処理装置のブロック図である。
【図2】図1の画像処理装置のIP変換処理を説明するフローチャートである。
【図3】1次元垂直エッジ強調処理を説明するフローチャートである。
【図4】1次元垂直フィルタを説明する図である。
【図5】1次元垂直フィルタを説明する図である。
【図6】1次元水平エッジ強調処理を説明するフローチャートである。
【図7】1次元水平フィルタを説明する図である。
【図8】1次元水平フィルタを説明する図である。
【図9】静止/動画領域判定処理を説明するフローチャートである。
【図10】静止/動画領域判定処理を説明する図である。
【図11】静止/動画領域判定処理を説明する図である。
【図12】静止/動画領域判定処理を説明する図である。
【図13】静止/動画領域判定処理を説明する図である。
【図14】静止/動画領域判定処理を説明する図である。
【図15】静止/動画領域判定処理を説明する図である。
【図16】フィールド間補間処理を説明するフローチャートである。
【図17】フィールド間補間処理を説明する図である。
【図18】フィールド内補間処理を説明するフローチャートである。
【図19】フィールド内補間処理を説明する図である。
【図20】セレクト処理を説明するフローチャートである。
【図21】1次元垂直フィルタを説明する図である。
【図22】1次元水平フィルタを説明する図である。
【図23】媒体を説明する図である。
【符号の説明】
11 フィールドメモリ,12 イメージリフレッシャ,13 バッファ, 14 フィールドメモリ,15 フィールド内補間部,16 フィールド間補間部,17−1,17−2 補間メモリ,18 セレクタ, 19 LPF, 20ダウンサンプラ, 21 フィールドメモリ, 22 変動測定部, 23 変動データメモリ, 24 静止/動画領域判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, a recording medium, and a program, and in particular, when converting an interlaced scan image to a progressive scan image, accurately identifies a still image region and a moving image region, and correct interpolation pixels. The present invention relates to an image processing apparatus and method, a recording medium, and a program that make it possible to stand still.
[0002]
[Prior art]
A technique for converting an interlaced scan type image into a progressive scan type image (IP conversion) is becoming popular.
[0003]
The interlaced scanning method is a scanning method called interlaced scanning, and is a method of scanning every other scanning line of an actual display image (interlaced scanning is performed every other scanning line). One image scanned by the interlace scan method is called a field, and when displaying continuous images, adjacent fields have pixels that are shifted by one scanning line, and the field is They are displayed alternately in succession.
[0004]
The progressive scan method is a method of scanning all the scanning lines of the display image as compared to the interlace scan method.
[0005]
Therefore, the conversion process from an interlaced scan image to a progressive scan image is performed by interpolating the pixels using the pixels that originally exist on the line where no pixels exist in the interlaced scan image. And generating pixels on all the scanning lines.
[0006]
Conventionally, as an interpolation method, one scanning line is delayed and displayed so that each scanning line is scanned twice, which is called double writing, or linear interpolation is performed using vertical pixels. The method of doing was used.
[0007]
In order to increase the vertical resolution, a method of using information of a plurality of fields has been proposed. In this method, in the interlace scan method, the previous field of consecutive fields is shifted by one scanning line as described above, so that the current field is displayed on the previous field. A pixel exists at the position to be interpolated above. Therefore, this pixel is used in an interpolation process using a plurality of fields. That is, when the pixel to be interpolated is a still pixel, the pixel in the previous field is used as it is for interpolation, and in the case of a moving pixel, the pixel by linear interpolation using the upper and lower pixels of the current field. Is to be interpolated.
[0008]
Conventionally, there is a technique that can reduce errors that occur when converting an image scanning method (see, for example, Patent Document 1).
[0009]
Furthermore, there is a technique that prevents oblique lines from appearing unnatural when converting the scanning method (see, for example, Patent Document 2).
[0010]
[Patent Document 1]
JP 2001-352525 A
[Patent Document 2]
JP 2001-218169 A
[0011]
[Problems to be solved by the invention]
However, in the above method, for example, when writing twice is used, there is a problem that an image that becomes an oblique edge is displayed in a large step shape by IP conversion.
[0012]
In addition, when linear interpolation is used, the display image is improved as compared with writing twice, but it may be displayed with a slight blur. Has a problem of being displayed in a staircase pattern.
[0013]
In order to prevent diagonal edges from being displayed stepwise, a method has been proposed in which IP conversion is performed while detecting the edge direction. This is described in Japanese Patent Publication No. 3-42832, and the absolute value of the difference between the upper and lower, upper right lower left, and lower right upper left three sets of pixels is examined around the target pixel to be interpolated. In this method, interpolation is performed with a combination of pixels having the smallest value, and if all are larger than a predetermined value, the above pixel value is copied and interpolated. As a result, even when an oblique edge exists, the direction is smoothly interpolated.
[0014]
However, in the method of converting while detecting the direction of the edge, the display of the edge in the oblique direction is improved, but in the still image area, the vertical resolution is disadvantageous compared to the method using a plurality of fields. There was a problem. In addition, when the method of converting while detecting the direction of the edge is applied to an actual image, the correlation in the oblique direction may be slightly higher than that in the vertical direction depending on, for example, noise or lighting conditions. There is a problem that even if the pattern is continuous up and down, an error that it is not displayed correctly is likely to occur.
[0015]
In addition, the method using multiple fields improves the problem that diagonal edges are displayed in a staircase pattern, but the vertical resolution is somewhat sacrificed because multiple fields are used in the still image area. was there.
[0016]
Also, in general video signals, etc., only a few high-frequency components are included, and edges appear only faintly, so it is difficult to accurately detect the edge direction locally, and a specific direction Even if the edge of the image is to be emphasized, a plurality of edge direction candidates are detected and cannot be selected, and as a result, an image can be generated only with the same image quality as the conventional linear interpolation. there were.
[0017]
Furthermore, there is a problem in that it may not be possible to accurately identify whether the pixel position to be interpolated is a still image region or a moving image region, and pixels may not be correctly interpolated.
[0018]
The present invention has been made in view of such a situation, and at the time of conversion from an interlaced scan image to a progressive scan image, the vertical resolution of the still image portion is improved and the edges in the moving image area are gently interpolated. In addition to making it possible to suppress errors in conversion, it accurately identifies whether the pixel to be interpolated is a moving image region or a still image region, and generates a correct interpolation pixel.
[0019]
[Means for Solving the Problems]
The image processing apparatus according to the present invention includes an intra-field interpolation unit that interpolates a pixel of a progressive image from a pixel in a field of an interlace image to be converted, and a field of an interlace image to be converted. Variation measurement that measures variation between fields from the difference between the average pixel value of two pixels adjacent to the target pixel in the vertical direction or horizontal direction of the target pixel of the target pixel and a pixel in a field different from the target pixel And inter-field interpolation means for interpolating progressive image pixels from the interlaced image field pixels to be converted and the variation measured by the variation measuring means, and the variation measuring means. Field size different from the target pixel and the magnitude relationship with the predetermined threshold value of the target pixel variation, and the target pixel variation Determining means for determining whether a pixel of the progressive image to be interpolated is a moving pixel or a still pixel based on the positive / negative of the multiplication result with the variation of the pixel at the same position; If the pixel of the progressive image to be interpolated is a moving pixel based on the determination result, the pixel interpolated by the intra-field interpolation means is selected, and the pixel of the progressive image to be interpolated is a still pixel. A selection unit that selects pixels interpolated by the inter-field interpolation unit, a band limiting unit that limits the band of the interlaced image field, and a field of the interlaced image that is band-limited by the band limiting unit. Thinning means for thinning out the number of pixels by half in the horizontal direction, and the variation measuring means reduces the number of pixels by 1 in the horizontal direction by the thinning means. The average pixel value between adjacent pixels above and below the pixel of the field thinned to 2 and the field where the number of pixels is thinned by half in the horizontal direction immediately before or after the field The difference between the pixel values of the pixels located in the center between the vertically adjacent pixels is measured as the variation between the fields of the pixels located in the middle between the vertically adjacent pixels, and the inter-field interpolation means tries to convert The pixel to be If it is the same as the horizontal position of the pixel that was not thinned by the thinning means, Of the pixels above and below Average pixel value And the pixel value to be converted by interpolating the pixel value by the difference of 1/2 of the fluctuation of the pixel to be converted, When the same as the horizontal position of the pixels thinned out by the thinning means, Of the pixels above and below Average pixel value And the fluctuation of the left and right pixels of the pixel to be converted average The pixel value is interpolated based on the difference between and.
[0020]
Edge enhancement means for enhancing the edge of the interlaced image to be converted may be further provided.
[0021]
The edge enhancement means can perform horizontal and vertical one-dimensional filter processing for each pixel of an interlaced image to enhance the edge of the image.
[0022]
From the pixel values in the vicinity of each pixel, it is possible to further provide a center pixel energy calculation means for calculating the center pixel energy in the vertical direction and the horizontal direction in the vicinity of the pixel. It is possible to perform filter processing on pixels in which the vertical and horizontal central pixel energies calculated by the central pixel energy calculating unit exceed a predetermined value.
[0026]
In the field of the interlaced image to be converted, there is further provided a correlation detecting means for detecting a correlation between pixels on the horizontal lines above and below the pixel to be interpolated and in a position contrasting with the pixel. The intra-field interpolation means can interpolate pixels from pixels having the strongest correlation detected by the correlation detection means.
[0027]
The correlation detecting means may detect an absolute value of a difference between pixel values of pixels at contrasting positions as a correlation around the pixel to be interpolated.
[0028]
It is possible to further provide a neighborhood energy calculating means for calculating the neighborhood energy of the pixel to be interpolated from the pixel values in the vicinity of the pixel to be interpolated, and try to perform the interpolation calculated by the side energy calculating means. When the value of the neighborhood energy of the pixel is larger than a predetermined threshold value, the intra-field interpolation means can be made to perform interpolation based on the pixel having the strongest correlation detected by the correlation detection means.
[0029]
The neighborhood energy is the sum of absolute values of differences between pixel values of pixels facing each other perpendicularly to the line among a predetermined number of pixels on a line extending horizontally above and below the pixel to be interpolated. The sum of the absolute values of the pixel value differences of the pixels existing at point-symmetric positions with the pixel to be interpolated as the center can be obtained.
[0030]
The image processing method of the present invention includes an intra-field interpolation step for interpolating a pixel of a progressive image from a pixel in a field of an interlace image to be converted, and a field of an interlace image to be converted. Variation measurement that measures variation between fields from the difference between the average pixel value of two pixels adjacent to the target pixel in the vertical direction or horizontal direction of the target pixel of the target pixel and a pixel in a field different from the target pixel Step, inter-field interpolation step for interpolating progressive image pixels from interlaced image field pixels to be converted, and variation measurement step processing, and variation measurement step processing The magnitude relationship with the predetermined threshold value of the variation in the pixel of interest measured by the Based on the positive / negative of the multiplication result of the fluctuation of the pixel in the same position and in the same field as the target pixel, it is determined whether the pixel of the progressive image to be interpolated is a moving pixel or a still pixel If the pixel of the progressive image to be interpolated is a moving pixel based on the determination step and the determination result in the determination step processing, the pixel interpolated by the intra-field interpolation step processing is selected and interpolated. When a pixel of a progressive image is a still pixel, a selection step for selecting a pixel interpolated by the inter-field interpolation step processing, a bandwidth limitation step for bandwidth limiting a field of an interlaced image, and a bandwidth limitation step The number of pixels in the field of the interlaced image, band-limited by the above process, is halved in the horizontal direction. The variation measurement step processing includes an average pixel value between adjacent pixels above and below the field pixels in which the number of pixels is thinned by a half in the horizontal direction by the thinning step processing, A difference between pixel values of pixels located at the center between vertically adjacent pixels on a field in which the number of pixels is thinned by half in the horizontal direction by the thinning step immediately before or after the field, Measured as the variation between fields of pixels located in the center between adjacent pixels above and below, and the inter-field interpolation step process If it is the same as the horizontal position of the pixel that was not thinned out by the thinning step, Of the pixels above and below Average pixel value And the pixel value to be converted by interpolating the pixel value by the difference of 1/2 of the fluctuation of the pixel to be converted, If it is the same as the horizontal position of the pixel thinned out by the thinning step, Of the pixels above and below Average pixel value And the fluctuation of the left and right pixels of the pixel to be converted average The pixel value is interpolated based on the difference between and.
[0031]
The recording medium program of the present invention includes an intra-field interpolation step for interpolating a progressive image pixel from a pixel in an interlace image field to be converted, and an interlace image to be converted. A variation that measures the variation between fields based on the difference between the pixel of interest in the field and the average pixel value of two pixels adjacent to the pixel of interest in the vertical or horizontal direction among the pixels of the field different from that of the field An inter-field interpolation step for interpolating a progressive image pixel from a measurement step, a variation measured by the processing of the variation measurement step, and a field pixel of the interlaced image to be converted; and a variation measurement step Magnitude relationship with the predetermined threshold of the variation of the pixel of interest measured by the processing, and the pixel of interest Whether the pixel of the progressive image to be interpolated is a moving pixel or a static pixel based on the result of the multiplication of the variation and the variation of the pixel in the same position and in the same position as the pixel of interest When the pixel of the progressive image to be interpolated is a moving pixel based on the determination result in the determination step and the determination step processing, the pixel interpolated by the intra-field interpolation step processing is selected, When the pixel of the progressive image to be interpolated is a still pixel, a selection step for selecting a pixel interpolated by the inter-field interpolation step processing, a band limitation step for band-limiting the field of the interlaced image, The number of pixels in the field of the interlaced image that has been band-limited by the band-limiting step processing in the horizontal direction The variation measurement step processing includes an average pixel value between adjacent pixels above and below the pixels in the field in which the number of pixels is thinned by half in the horizontal direction by the thinning step processing. And the pixel value of the pixel located at the center between the adjacent pixels on the top and bottom of the field in which the number of pixels is thinned by half in the horizontal direction by the thinning step immediately before or after the field. The difference is measured as the variation between the fields of the pixels located in the center between the adjacent pixels above and below, and the process of the inter-field interpolation step determines that the pixel to be converted is If it is the same as the horizontal position of the pixel that was not thinned out by the thinning step, Of the pixels above and below Average pixel value And the pixel value to be converted by interpolating the pixel value by the difference of 1/2 of the fluctuation of the pixel to be converted, If it is the same as the horizontal position of the pixel thinned out by the thinning step, Of the pixels above and below Average pixel value And the fluctuation of the left and right pixels of the pixel to be converted average The pixel value is interpolated based on the difference between and.
[0032]
The program of the present invention includes an intra-field interpolation step for interpolating a pixel of a progressive image from a pixel in a field of an interlace image to be converted, and attention of the field of the interlace image to be converted. A variation measuring step for measuring a variation between fields based on a difference between a pixel and an average pixel value of two pixels adjacent to the target pixel in a vertical direction or a horizontal direction among pixels of a field different from the pixel; Measured by inter-field interpolation step to interpolate progressive image pixels from variation measured in variation measurement step processing and interlaced image field pixels to be converted, and variation measurement step processing The magnitude relationship with the predetermined threshold value of the variation of the target pixel and the variation of the target pixel, Based on the positive / negative of the result of multiplication with the variation of the pixel at the same position in a field different from the eye pixel, it is determined whether the pixel of the progressive image to be interpolated is a moving pixel or a still pixel If the pixel of the progressive image to be interpolated is a moving pixel based on the determination step and the determination result in the determination step processing, the pixel interpolated by the intra-field interpolation step processing is selected and interpolated. When a pixel of a progressive image is a still pixel, a selection step for selecting a pixel interpolated by the inter-field interpolation step processing, a bandwidth limitation step for bandwidth limiting a field of an interlaced image, and a bandwidth limitation step The number of pixels in the field of the interlaced image, which is band-limited by this processing, is halved in the horizontal direction. A process including a decimation step is performed, and the process of the variation measurement step is performed by calculating an average pixel between adjacent pixels above and below the pixels of the field in which the number of pixels is decimation by half in the horizontal direction by the decimation step process The pixel value of the pixel located at the center between the adjacent pixels on the top and bottom on the field and the field where the number of pixels is thinned by half in the horizontal direction by the thinning step processing immediately before or after the field Is measured as a variation between fields of pixels located in the center between vertically adjacent pixels, and the inter-field interpolation step processing is performed when the pixel to be converted is If it is the same as the horizontal position of the pixel that was not thinned out by the thinning step, Of the pixels above and below Average pixel value And the pixel value to be converted by interpolating the pixel value by the difference of 1/2 of the fluctuation of the pixel to be converted, If it is the same as the horizontal position of the pixel thinned out by the thinning step, Of the pixels above and below Average pixel value And the fluctuation of the left and right pixels of the pixel to be converted average The pixel value is interpolated based on the difference between and.
[0033]
In the image processing apparatus, method, and program of the present invention, the pixels of the progressive image are interpolated from the pixels in the field of the interlaced image to be converted, and the interlaced image to be converted is converted. From the difference between the pixel of interest in the field and the average pixel value of two pixels adjacent to the pixel of interest in the vertical direction or horizontal direction among the pixels of the field different from the pixel of interest, the variation between the fields is measured, The magnitude relationship between the measured variation and the predetermined threshold value of the variation of the pixel of interest measured by the variation measuring means by interpolating the pixels of the progressive method image from the pixels of the field of the interlaced image to be converted , And the multiplication result of the variation of the pixel of interest and the variation of the pixel at the same position in the same field as the pixel of interest. Based on the negative, it is determined whether the pixel of the progressive image to be interpolated is a moving pixel or a still pixel, and the pixel of the progressive image to be interpolated is a moving pixel based on the determination result If the interpolated progressive image pixel is a static pixel, the interpolated pixel is selected and the interlaced image field is band-limited. The number of pixels of the field of the interlaced image whose band is limited is thinned by half in the horizontal direction, and pixels adjacent to the upper and lower sides of the field pixels in which the number of pixels is thinned by 1/2 in the horizontal direction. The average pixel value between and adjacent to the top and bottom on the field where the number of pixels is thinned by half in the horizontal direction immediately before or after the field Difference in pixel values of pixels located in the center of the Motokan is measured as the change between fields of pixels located at the center between the pixels adjacent in the vertical direction, the pixel to be converted, If it is the same as the horizontal position of the pixel that was not thinned, Of the pixels above and below Average pixel value And the pixel value is interpolated by the difference between ½ times the fluctuation of the pixel to be converted and the pixel to be converted is If it is the same as the horizontal position of the thinned pixel, Of the pixels above and below Average pixel value And the fluctuation of the left and right pixels of the pixel to be converted average The pixel value is interpolated by the difference between.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of an embodiment of an image processing apparatus according to the present invention. The
[0035]
The
[0036]
The
[0037]
The
[0038]
An LPF (Low Pass Filter) 19 preliminarily band-limits the field data stored in the
[0039]
The downsampler 20 downsamples the number of pixels in the horizontal direction to ½ in order to reduce the capacity of the band-limited field data input from the LPF 19 (the field data is thinned out every other column) and fluctuates. The data is output to the
[0040]
The
[0041]
The still / moving image
[0042]
When the pixel to be interpolated is a pixel in the moving image region based on the information stored in the still / moving
[0043]
Next, an IP conversion process of the image processing apparatus to which the present invention is applied will be described with reference to the flowchart of FIG.
[0044]
In step S1, the
[0045]
In step S2, the
[0046]
Here, the one-dimensional vertical edge enhancement processing of the
[0047]
In step S21, the
[0048]
In step S22, the
[0049]
EV-h = | (b + c + d) − (l + m + n) | (1)
[0050]
Here, b, c, d, l, m, and n are pixel values of the pixels b, c, d, l, m, and n. That is, the vertical center pixel energy EV of the equation (1) is an absolute value of the difference between the sums of the pixel values existing in the upper line and the lower line with the unprocessed pixel as the center. For this reason, when correlated pixels are above and below each other, there is no large difference in pixel value, so the center pixel energy in the vertical direction is also reduced. Conversely, uncorrelated pixels are above and below each other. In this case, a large difference often appears in the difference between the pixel values, and as a result, the vertical center pixel energy also increases.
[0051]
The
[0052]
In step S23, the
[0053]
In step S24, the
[0054]
In step S25, the
[0055]
hV-filter = c × (1 / 2−α / 2) + h × α + m × (1 / 2−α / 2) (2)
[0056]
Where α is 1 It is a constant that can be arbitrarily set within the range of <α ≦ 2, and the degree of edge enhancement can be adjusted.
[0057]
In step S26, as shown in FIG. 5, the
[0058]
In step S28, the
[0059]
If it is determined in step S23 that the vertical center pixel energy EV is not greater than or equal to the predetermined value, that is, if it is determined that a strong correlation is found between the unprocessed pixel and the upper and lower pixels, The process proceeds to step S28, and the
[0060]
When it is determined in step S26 that the filtered pixel value hV-filter is not equal to or greater than the maximum value (c, h, m), in step S29, the
[0061]
In step S30, the
[0062]
If it is determined in step S29 that the filtered pixel value hV-filter is not less than or equal to the minimum value (c, h, m), the process proceeds to step S28, and the
[0063]
That is, in the process of step S23, when the value of the vertical center pixel energy is equal to or greater than a predetermined threshold (when a strong correlation is not recognized between the unprocessed pixel and the upper and lower pixels), as shown in FIG. The maximum value (c, h, m) and the minimum value (c, h, m) obtained in step S24 are the maximum value and the minimum value of the local range of the pixels c, h, m. When the filtered pixel value obtained in the process of step S25 is included in the range of the minimum value and the maximum value, the filtered pixel value is stored in the
[0064]
Here, the description returns to the flowchart of FIG.
[0065]
After the one-dimensional vertical edge enhancement process is executed in step S2, the
[0066]
Here, the one-dimensional horizontal edge enhancement processing will be described with reference to the flowchart of FIG.
[0067]
In step S41, the
[0068]
In step S42, the
[0069]
EH−h = | (d + i + n) − (b + g + l) | (3)
[0070]
Here, b, d, g, i, l, and n are pixel values of the pixels b, d, g, i, l, and n. That is, the horizontal center pixel energy EH in Expression (3) is the absolute value of the difference between the sums of the pixel values existing in the right line and the left line with the unprocessed pixel as the center. For this reason, when correlated pixels are on the left and right, there is no large difference in pixel value difference, so the horizontal center pixel energy is also reduced. Conversely, uncorrelated pixels are on the left and right. In this case, since a large difference often appears in the difference between the pixel values, the central pixel energy in the horizontal direction also increases.
[0071]
The
[0072]
In step S43, the
[0073]
In step S44, the
[0074]
In step S45, the
[0075]
hH-filter = f × (1 / 4−α / 2) + g × 1/4 + h × α + i × 1/4 + j × (1 / 4−α / 2) (4)
[0076]
Where α is 1 It is a constant that can be arbitrarily set within the range of <α ≦ 2, and the degree of edge enhancement can be adjusted.
[0077]
In step S46, the
[0078]
In step S48, the
[0079]
If it is determined in step S43 that the horizontal center pixel energy EH is not greater than or equal to the predetermined value, that is, if it is determined that a strong correlation is found between the unprocessed pixel and the left and right pixels, The process proceeds to step S48, and the
[0080]
If it is determined in step S46 that the filtered pixel value hH-filter is not equal to or greater than the maximum value (f, g, h, i, j), the
[0081]
In step S50, the
[0082]
If it is determined in step S49 that the filtered pixel value hH-filter is not less than or equal to the minimum value (f, g, h, i, j), the process proceeds to step S48, and the
[0083]
That is, in the process of step S43, when the value of the horizontal center pixel energy is greater than or equal to a predetermined threshold (when a strong correlation is not recognized between the unprocessed pixel and the left and right pixels), as shown in FIG. The maximum value (f, g, h, i, j) and the minimum value (f, g, h, i, j) obtained in step S44 are the pixels f, g, h, i, j. When the filtered pixel value obtained in the process of step S45 is included in the range of the minimum value and the maximum value, the filtered pixel value is regarded as the maximum value and the minimum value of the local range of Is stored in the
[0084]
Here, the description returns to the flowchart of FIG.
[0085]
In step S3, after the one-dimensional horizontal edge enhancement process is executed, in step S4, the
[0086]
Here, with reference to the flowchart of FIG. 9, the still / moving image region determination processing will be described.
[0087]
In step 61, the
[0088]
In
[0089]
In step S63, the
[0090]
diff (D, E, C) = (D + E) / 2−C (5)
[0091]
Here, diff (D, E, C) is variation data obtained from the pixels D, E, C, and D, E, C indicate pixel values of the pixels D, E, C. That is, the pixel values of the pixels D and E positioned vertically in the horizontal direction when viewed from the position of the pixel C are read from the field data of one timing before stored in the
[0092]
In step S <b> 65, the still / moving image
[0093]
If it is determined in step S65 that the variation data diff_c is smaller than the predetermined threshold th or the multiplication result of the variation data diff_c and the variation data diff_p is positive, in step S67, the target pixel is set as a still image. Store as region pixels.
[0094]
In step S68, it is determined whether or not there is an unprocessed pixel. If it is determined that there is an unprocessed pixel, the process returns to step S63, and the subsequent processes are repeated. The processes in steps S63 to S68 are repeated until there are no more pixels. That is, when it is determined whether all the pixels are moving pixels or still pixels, the process ends.
[0095]
That is, when the pixel C existing on the field data at time t-1 in FIG. 12 is the target pixel, the variation data diff_p obtained from the pixels D and E on the field data at time t-2, which is the previous timing. As described above, diff_p = diff (D, E, C) = (D + E) / 2−C, and is obtained from the pixels A and B and the target pixel C on the field data at time t, which is the next timing. The fluctuation data diff_c to be obtained is diff_c = diff (A, B, C) = (A + B) / 2−C. At this time, when the variation data diff_c = diff (A, B, C) is larger than the threshold th and the multiplication result of the variation data diff_c and the variation data diff_p is negative or zero, the target pixel C is It is determined that the pixel is a pixel, and is stored in the still / moving image
[0096]
The following effects can be obtained by such still / moving image region determination processing.
[0097]
That is, for example, as shown in FIG. 13, in the case of a still image in which white and black pixels are arranged in the vertical direction for each line, the field data is stored at time t (for each field data) at time t. In the field data, white pixels are arranged at Pix (y−2, t), Pix (y, t), and Pix (y + 2, t). Pixels are arranged in Pix (y-1, t-1), Pix (y + 1, t-1), Pix (y + 3, t-1), and the field data at time t-2 includes white It is assumed that pixels are arranged at Pix (y−2, t−2), Pix (y, t−2), and Pix (y + 2, t−2).
[0098]
In such a case, for example, when the change in the vertical direction is monotonously decreasing or monotonically increasing, that is, the pixel change (Pix (y−2, t) −Pix (y−1, t−1)) × If (Pix (y−1, t−1) −Pix (y, t))> 0, it is assumed that the image is a still image. In the case of FIG. 13, (Pix (y−2, t)) −Pix (y−1, t−1)) × (Pix (y−1, t−1) −Pix (y, t))> 0 is not satisfied, and may be regarded as a moving image region. . At this time, for example, when interpolating the pixels of the moving image area, if the average of the pixels above and below the target pixel is interpolated with the field data at time t or t-2, the pixels are all The pixel is interpolated to black, although the pixel is interpolated to field data on
[0099]
On the other hand, according to the present invention, diff (Pix (y-2, t), Pix (y-1, t-1), Pix (y-1, t-1)) * diff (Pix (y-2, t) -2), Pix (y, t-2), Pix (y-1, t-1))> 0, and diff (Pix (y-2, t), Pix (y, t), Pix ( When y−1, t−1))> th, the target pixel is set as a still image region. Therefore, even in the case of a still image as shown in FIG. Can be recognized. As a result, even if the image as shown in FIG. 13 is converted, the same pixel is set for each vertical coordinate position of each pixel, so as shown in FIGS. 15A, 15B, 15C, and 15D. In addition, even if images that change in time series are displayed, it is possible to display the images shown in FIG. 13 for all the images. As a result, it is possible to accurately identify whether the pixel to be interpolated is a moving image region or a still image region.
[0100]
In the above, in the still / moving area determination process, the determination of the still / moving area is performed based on the determination result of one pixel. For example, N (number of pixels) × centering on the target pixel × If a moving image area is determined even for one pixel out of M (number of pixels), the target pixel may be determined to be a moving image area, and otherwise, it may be determined to be a still image area.
[0101]
Here, the description returns to the flowchart of FIG.
[0102]
After the still / moving pixel region determination process is executed in step S4, the
[0103]
Here, the inter-field interpolation processing will be described with reference to the flowchart of FIG.
[0104]
In step S81, the
[0105]
If it is determined in step S82 that the pixel position in the horizontal direction of the target pixel is not an odd number, that is, the pixel position in the horizontal direction is an even number, the
[0106]
In step S85, the
[0107]
That is, for example, as shown in FIG. 17, the field data at the time t stored in the
[0108]
In FIG. 17 shown in this way, when the target pixel is an odd number, for example, the target pixel is the pixel K. That is, in the field data that is band-limited and thinned by half in the horizontal direction, pixels with an odd horizontal coordinate position are thinned, and in this case, the pixel E is thinned. Among the pixels to be interpolated by the corresponding pixel K, the horizontal coordinate position becomes an odd number.
[0109]
In this case, the target pixel K is obtained by the following equation (6).
[0110]
K = (B + H) / 2− (diff (C ′, I ′, F ′) + diff (A ′, G ′, D ′) / 2 (6)
[0111]
Further, when the target pixel is an even number, for example, the target pixel is the pixel J or L. That is, in the field data that is band-limited and thinned by half in the horizontal direction, pixels with an odd horizontal coordinate position are thinned, and in this case, pixels D and F are not thinned. Among the pixels to be interpolated by the corresponding pixels J and L, the horizontal coordinate position is an even number.
[0112]
In this case, for example, the target pixel L is obtained by the following equation (7).
[0113]
L = (C + I) / 2− (diff (C ′, I ′, F ′) / 2 (7)
[0114]
That is, the terms “(B + H) / 2” and “(C + I) / 2” in Equations (6) and (7) are averages in the vertical direction, and the values of pixels that do not originally exist are adjacent in the vertical direction. This is set by interpolating between pixels. Also, the terms “(diff (C ′, I ′, F ′) + diff (A ′, G ′, D ′) / 2)” and “(diff (C ′, I ′, F ′) / 2) This is variation data indicating the relationship between the pixel to be interpolated on different fields and the pixel whose vertical position is different, so that the pixel of interest (pixel to be interpolated) is interpolated between fields by the above method. When interpolation is performed, an interpolated pixel can be generated in consideration of the relationship between pixels that should exist at the same position between fields, and as a result, a correct interpolated pixel can be generated.
[0115]
Here, the description returns to the flowchart of FIG.
[0116]
After inter-field interpolation processing is executed in step S5, the
[0117]
Here, the intra-field interpolation processing of the
[0118]
In step S101, the
[0119]
In step S102, the
[0120]
Near-f = | a−k | + | b−j | + | c−i | + | d−h | + | e−g | (8)
[0121]
Here, a to k are pixel values of the pixels a to k.
[0122]
That is, the neighborhood energy Near in the vicinity of the pixel position to be interpolated is a pixel value at a position that is symmetric with respect to the pixel position to be interpolated among the pixels existing on the upper and lower lines of the pixel position to be interpolated. The absolute value of the difference between them is added. For this reason, the larger the value of the near energy Near, the higher the possibility that the pixel to be interpolated forms an edge portion. Conversely, the smaller the value is, the more the pixel to be interpolated is the edge or texture. The possibility that it does not exist in the part increases.
[0123]
In step S104, the
[0124]
In step S105, the
[0125]
In step S106, an interpolation pixel is generated from the combination of pixels in the detected direction. That is, for example, when the combination of the pixels b and j shown in FIG. 19 is the combination of pixels in the direction with the highest correlation, the pixel value of the pixel f to be interpolated can be obtained from the following equation (9).
[0126]
f = 1/2 × (b + j) (9)
[0127]
In step S107, the
[0128]
J = (f−c) × (if) (10)
[0129]
Here, c and f are pixel values of the pixels c and f existing above and below the interpolated pixel f.
[0130]
That is, in the normal vertical direction, the pixel value is likely to monotonously increase or monotonously decrease, and it is determined whether or not the change in the pixel value is correct. The judgment formula J has a positive value when monotonically increasing or monotonically decreasing, and conversely, when judging non-monotonically increasing or monotonically decreasing, it has a negative value.
[0131]
Therefore, when the determination formula J is a positive value, the
[0132]
In step S108, the
[0133]
If it is determined in step S104 that the near energy Near is not larger than the predetermined threshold value, a pixel value is generated by linear interpolation using upper and lower pixels in step S109, and the generated pixel value is stored in the interpolation memory 17-2. Remember me. That is, for example, when the pixel f shown in FIG. 19 is interpolated, a pixel value is obtained by linear interpolation from the pixel values of the pixels c and i existing above and below by the following equation (11), and this is obtained as the pixel value of the interpolated pixel. Is stored in the interpolation memory 17-2, and the process returns to step S101, and the process is repeated until all the pixels to be interpolated are interpolated.
[0134]
f = 1/2 (c + i) (11)
[0135]
If it is determined in step S107 that the pixel value has not changed correctly in the vertical direction, that is, if the determination formula J is a negative value, the processing proceeds to step S109.
[0136]
Here, the description returns to the flowchart of FIG.
[0137]
When the intra-field interpolation processing is executed in step S6, the selection processing is executed by the selector 18 in step S7.
[0138]
Here, the selection process will be described with reference to the flowchart of FIG.
[0139]
In step S121, the selector 18 determines whether or not there is a pixel of interest that is not interpolated. In step S122, the selector 18 reads the position of the target pixel. In step S123, the selector 18 inquires to the still / moving image
[0140]
In step S124, the selector 18 reads out the pixel value interpolated as a pixel in the moving image area stored in the interpolation memory 17-2 corresponding to the read pixel position, and inserts it as a pixel to be output as a progressive screen. And the process returns to step S121.
[0141]
If it is determined in step S123 that the target pixel is not a moving pixel, that is, a still pixel, in step S125, the selector 18 is stored in the interpolation memory 17-1 corresponding to the read pixel position. The pixel value interpolated as a pixel of the still image area is read out, inserted and stored in the pixel to be output as a progressive screen, and the process returns to step S121. In step S121, all the pixels are interpolated. Repeat this process until
[0142]
That is, the selector 18 makes an inquiry to the still / moving image
[0143]
Here, the description returns to the flowchart of FIG.
[0144]
When the selection process in step S7 ends, in step S8, the selector 18 outputs the generated progressive image to a subsequent apparatus (not shown).
[0145]
In the above description, the
[0146]
Furthermore, the calculation formula of the neighborhood energy in the vicinity of the unprocessed pixel may use the following formula (12) in addition to the formula (8), or may be switched by the user.
[0147]
Near-f = | a−g | + | b−h | + | c−i | + | d−j | + | e−k | (12)
[0148]
According to the above, in the process of converting from an interlaced image to a progressive image, it is possible to correctly emphasize edges even in an image with a low high-frequency component, improve the vertical resolution of the still image region, and Edges can be interpolated smoothly, and errors during conversion processing can be suppressed, and whether the interpolated pixel is a moving image area or a still image area is accurate. And correct interpolation pixels can be generated. .
[0149]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0150]
FIG. 23 shows a configuration of an embodiment of a personal computer when the image processing apparatus is realized by software. The
[0151]
As shown in FIG. 23, the recording medium on which the program is recorded is distributed to provide the program to the user separately from the computer, and a magnetic disk 111 (including a flexible disk) on which the program is recorded, By a package medium comprising an optical disk 112 (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), a magneto-optical disk 113 (including MD (mini-disc)), or a
[0152]
In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.
[0153]
【The invention's effect】
According to the image processing apparatus, method, and program of the present invention, it is possible to accurately identify whether a pixel to be interpolated is a moving image region or a still image region, and to generate a correct interpolation pixel. .
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus to which the present invention is applied.
FIG. 2 is a flowchart for explaining IP conversion processing of the image processing apparatus in FIG. 1;
FIG. 3 is a flowchart illustrating a one-dimensional vertical edge enhancement process.
FIG. 4 is a diagram illustrating a one-dimensional vertical filter.
FIG. 5 is a diagram illustrating a one-dimensional vertical filter.
FIG. 6 is a flowchart illustrating a one-dimensional horizontal edge enhancement process.
FIG. 7 is a diagram illustrating a one-dimensional horizontal filter.
FIG. 8 is a diagram illustrating a one-dimensional horizontal filter.
FIG. 9 is a flowchart illustrating still / moving image region determination processing.
FIG. 10 is a diagram for explaining still / moving image region determination processing;
FIG. 11 is a diagram for explaining still / moving image region determination processing;
FIG. 12 is a diagram for explaining still / moving image region determination processing;
FIG. 13 is a diagram for describing still / moving image region determination processing;
FIG. 14 is a diagram illustrating still / moving image region determination processing.
FIG. 15 is a diagram for explaining still / moving image region determination processing;
FIG. 16 is a flowchart illustrating inter-field interpolation processing.
FIG. 17 is a diagram illustrating inter-field interpolation processing.
FIG. 18 is a flowchart illustrating intra-field interpolation processing.
FIG. 19 is a diagram for explaining intra-field interpolation processing;
FIG. 20 is a flowchart illustrating select processing.
FIG. 21 is a diagram illustrating a one-dimensional vertical filter.
FIG. 22 is a diagram illustrating a one-dimensional horizontal filter.
FIG. 23 is a diagram illustrating a medium.
[Explanation of symbols]
11 field memory, 12 image refresher, 13 buffer, 14 field memory, 15 intra-field interpolation unit, 16 inter-field interpolation unit, 17-1, 17-2 interpolation memory, 18 selector, 19 LPF, 20 down sampler, 21 field Memory, 22 Fluctuation measurement unit, 23 Fluctuation data memory, 24 Still / Movie area determination unit
Claims (11)
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定手段と、
前記変動測定手段により測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、
前記変動測定手段により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間手段により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間手段により補間された前記画素を選択する選択手段と、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限手段と、
前記帯域制限手段により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引き手段とを備え、
前記変動測定手段は、前記間引き手段により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引き手段により画素数を水平方向に1/2に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間手段は、
前記変換しようとする画素が、前記間引き手段により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引き手段により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とする画像処理装置。In an image processing apparatus that converts an interlaced image into a progressive image,
Intra-field interpolation means for interpolating the pixels of the progressive image from the pixels in the field of the interlaced image to be converted;
Of the target pixel of the field of the interlaced image to be converted and the pixel of the field different from the target pixel, an average pixel of two pixels adjacent to the target pixel in the vertical direction or the horizontal direction A variation measuring means for measuring a variation between fields from a difference from a value;
Inter-field interpolation means for interpolating the progressive image pixels from the variation measured by the variation measurement means and the interlace image field pixels to be converted;
The magnitude relationship with the predetermined threshold value of the variation of the pixel of interest measured by the variation measurement means, and the result of multiplying the variation of the pixel of interest with the variation of the pixel in the same position and in a different field from the pixel of interest Determination means for determining whether a pixel of the progressive image to be interpolated is a moving pixel or a still pixel based on the sign of
When a pixel of the progressive image to be interpolated is a moving pixel based on a determination result of the determination unit, the pixel interpolated by the intra-field interpolation unit is selected, and the progressive image to be interpolated is selected. A selection unit that selects the pixel interpolated by the inter-field interpolation unit;
Bandwidth limiting means for bandwidth limiting the field of the interlaced image;
A decimation unit that decimates the number of pixels of the field of the interlaced image, which is band-limited by the band-limiting unit, to 1/2 in the horizontal direction;
The variation measuring means includes an average pixel value between pixels adjacent to the upper and lower sides of a pixel in a field in which the number of pixels is thinned by a half in the horizontal direction by the thinning means, and the immediately preceding or immediately following the field, The difference between the pixel values of the pixels located in the center between the vertically adjacent pixels on the field in which the number of pixels is thinned by 1/2 in the horizontal direction by the thinning means is calculated at the center between the vertically adjacent pixels. Measured as the variation between the fields of the located pixels,
The inter-field interpolation means includes
When the pixel to be converted is the same as the horizontal position of the pixel that has not been thinned out by the thinning means, the average pixel value of the pixels above and below it and 1 / of the fluctuation of the pixel to be converted The pixel value is interpolated by the difference from 2 times,
When the pixel to be converted is the same as the horizontal position of the pixel thinned by the thinning means , the average pixel value of the pixels existing above and below the pixel and the left and right pixels of the pixel to be converted An image processing apparatus characterized by interpolating a pixel value based on a difference from an average of fluctuations.
ことを特徴とする請求項1に記載の画像処理装置。The image processing apparatus according to claim 1, further comprising an edge enhancement unit that enhances an edge of the interlaced image to be converted.
ことを特徴とする請求項2に記載の画像処理装置。The edge enhancement means enhances the edge of the image by performing horizontal and vertical one-dimensional filter processing for each pixel of the interlaced image. Image processing device.
前記エッジ強調手段は、前記中心画素エネルギ算出手段により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施す
ことを特徴とする請求項2に記載の画像処理装置。Center pixel energy calculating means for calculating center pixel energy in the vertical direction and in the horizontal direction in the vicinity of the pixel from the pixel values in the vicinity of the pixels,
The edge enhancement means performs a filtering process on the pixels in which the vertical and horizontal central pixel energies calculated by the central pixel energy calculating means exceed a predetermined value. The image processing apparatus according to claim 2.
前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い画素同士から前記画素を補間する
ことを特徴とする請求項1に記載の画像処理装置。In the field of the interlaced image to be converted, further comprising a correlation detection means for detecting a correlation between pixels at positions opposite to the pixels on the upper and lower horizontal lines of the pixel to be interpolated,
The image processing apparatus according to claim 1, wherein the intra-field interpolation unit interpolates the pixels from pixels having the strongest correlation detected by the correlation detection unit.
ことを特徴とする請求項5に記載の画像処理装置。The image processing apparatus according to claim 5, wherein the correlation detection unit detects an absolute value of a difference between pixel values of pixels at contrasting positions with the pixel to be interpolated as a center, as a correlation. .
前記近傍エネルギ算出手段により算出された前記補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い画素に基づいて補間を行う
ことを特徴とする請求項5に記載の画像処理装置。It further comprises a neighborhood energy calculation means for calculating the neighborhood energy of the pixel to be interpolated from pixel values in the vicinity of the pixel to be interpolated,
If the value of the neighborhood energy of the pixel to be interpolated calculated by the neighborhood energy calculation means is greater than a predetermined threshold, the intra-field interpolation means determines the pixel with the strongest correlation detected by the correlation detection means. The image processing apparatus according to claim 5, wherein interpolation is performed based on the interpolation.
ことを特徴とする請求項7に記載の画像処理装置。The neighborhood energy is the sum of absolute values of differences between pixel values of pixels facing each other vertically among a predetermined number of pixels on a line extending horizontally above and below the pixel to be interpolated. Or a sum of absolute values of pixel value differences of pixels existing at point-symmetric positions with a pixel to be interpolated as a center. 8. The image processing apparatus according to 7.
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含み、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とする画像処理方法。In an image processing method of an image processing apparatus for converting an interlaced image into a progressive image,
An intra-field interpolation step of interpolating pixels of the progressive image from pixels in the field of the interlaced image to be converted;
Of the target pixel of the field of the interlaced image to be converted and the pixel of the field different from the target pixel, an average pixel of two pixels adjacent to the target pixel in the vertical direction or the horizontal direction A variation measurement step for measuring the variation between fields from the difference from the value;
An inter-field interpolation step of interpolating the progressive image pixels from the interlaced image field pixels to be converted, and the variation measured in the variation measuring step;
The magnitude relationship with the predetermined threshold value of the variation of the target pixel measured by the processing of the variation measurement step, and the variation of the target pixel and the variation of the pixel in the same position and in a different field from the target pixel A determination step of determining whether a pixel of the progressive image to be interpolated is a moving pixel or a still pixel based on the result of multiplication;
Based on the determination result in the determination step processing, when the pixel of the progressive image to be interpolated is a moving pixel, the pixel interpolated by the intra-field interpolation step processing is selected and the interpolation is performed. A selection step of selecting the pixel interpolated by the processing of the inter-field interpolation step, when the pixel of the progressive image is a still pixel;
A bandwidth limiting step for bandwidth limiting the field of the interlaced image;
A decimation step of decimation of the number of pixels of the field of the interlaced image, which is band-limited by the processing of the band-limiting step, to 1/2 in the horizontal direction,
The process of the variation measuring step includes an average pixel value between adjacent pixels above and below a pixel of a field in which the number of pixels is thinned by a half in the horizontal direction by the process of the thinning step, and immediately before the field, or Immediately after that, the difference between the pixel values of the pixels located in the center between the vertically adjacent pixels on the field where the number of pixels is thinned by 1/2 in the horizontal direction by the thinning step processing Measured as the variation between the field of pixels located in the center between
The inter-field interpolation step processing is as follows:
When the pixel to be converted is the same as the horizontal position of the pixel that has not been thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below it and the variation of the pixel to be converted Interpolate the pixel value by the difference from 1/2,
When the pixel to be converted is the same as the horizontal position of the pixel thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below the pixel and the left and right of the pixel to be converted An image processing method characterized by interpolating pixel values based on a difference from an average of pixel fluctuations.
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含み、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。A program for controlling an image processing apparatus that converts an interlaced image into a progressive image,
An intra-field interpolation step of interpolating pixels of the progressive image from pixels in the field of the interlaced image to be converted;
Of the target pixel of the field of the interlaced image to be converted and the pixel of the field different from the target pixel, an average pixel of two pixels adjacent to the target pixel in the vertical direction or the horizontal direction A variation measurement step for measuring the variation between fields from the difference from the value;
An inter-field interpolation step of interpolating the progressive image pixels from the interlaced image field pixels to be converted, and the variation measured in the variation measuring step;
The magnitude relationship with the predetermined threshold value of the variation of the target pixel measured by the processing of the variation measurement step, and the variation of the target pixel and the variation of the pixel in the same position and in a different field from the target pixel A determination step of determining whether a pixel of the progressive image to be interpolated is a moving pixel or a still pixel based on the result of multiplication;
Based on the determination result in the determination step processing, when the pixel of the progressive image to be interpolated is a moving pixel, the pixel interpolated by the intra-field interpolation step processing is selected and the interpolation is performed. A selection step of selecting the pixel interpolated by the processing of the inter-field interpolation step, when the pixel of the progressive image is a still pixel;
A bandwidth limiting step for bandwidth limiting the field of the interlaced image;
A decimation step of decimation of the number of pixels of the field of the interlaced image, which is band-limited by the processing of the band-limiting step, to 1/2 in the horizontal direction,
The process of the variation measuring step includes an average pixel value between adjacent pixels above and below a pixel of a field in which the number of pixels is thinned by a half in the horizontal direction by the process of the thinning step, and immediately before the field, or Immediately after that, the difference between the pixel values of the pixels located in the center between the vertically adjacent pixels on the field where the number of pixels is thinned by 1/2 in the horizontal direction by the thinning step processing Measured as the variation between the field of pixels located in the center between
The inter-field interpolation step processing is as follows:
When the pixel to be converted is the same as the horizontal position of the pixel that has not been thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below it and the variation of the pixel to be converted Interpolate the pixel value by the difference from 1/2,
When the pixel to be converted is the same as the horizontal position of the pixel thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below the pixel and the left and right of the pixel to be converted A recording medium on which a computer-readable program is recorded, wherein a pixel value is interpolated based on a difference from an average of pixel fluctuations.
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する2画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に1/2に間引きする間引きステップとを含む処理を実行させ、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に1/2に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の1/2倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とするプログラム。A computer that controls an image processing apparatus that converts an interlaced image into a progressive image.
An intra-field interpolation step of interpolating pixels of the progressive image from pixels in the field of the interlaced image to be converted;
Of the target pixel of the field of the interlaced image to be converted and the pixel of the field different from the target pixel, an average pixel of two pixels adjacent to the target pixel in the vertical direction or the horizontal direction A variation measurement step for measuring the variation between fields from the difference from the value;
An inter-field interpolation step of interpolating the progressive image pixels from the interlaced image field pixels to be converted, and the variation measured in the variation measuring step;
The magnitude relationship with the predetermined threshold value of the variation of the target pixel measured by the processing of the variation measurement step, and the variation of the target pixel and the variation of the pixel in the same position and in a different field from the target pixel A determination step of determining whether a pixel of the progressive image to be interpolated is a moving pixel or a still pixel based on the result of multiplication;
Based on the determination result in the determination step processing, when the pixel of the progressive image to be interpolated is a moving pixel, the pixel interpolated by the intra-field interpolation step processing is selected and the interpolation is performed. A selection step of selecting the pixel interpolated by the processing of the inter-field interpolation step, when the pixel of the progressive image is a still pixel;
A bandwidth limiting step for bandwidth limiting the field of the interlaced image;
A process including a decimation step of decimation of the number of pixels of the field of the interlaced image field, which is band-limited by the process of the band limitation step, to 1/2 in the horizontal direction,
The process of the variation measuring step includes an average pixel value between adjacent pixels above and below a pixel of a field in which the number of pixels is thinned by a half in the horizontal direction by the process of the thinning step, and immediately before the field, or Immediately after that, the difference between the pixel values of the pixels located in the center between the vertically adjacent pixels on the field where the number of pixels is thinned by 1/2 in the horizontal direction by the thinning step processing Measured as the variation between the field of pixels located in the center between
The inter-field interpolation step processing is as follows:
When the pixel to be converted is the same as the horizontal position of the pixel that has not been thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below it and the variation of the pixel to be converted Interpolate the pixel value by the difference from 1/2,
When the pixel to be converted is the same as the horizontal position of the pixel thinned out by the processing of the thinning step, the average pixel value of the pixels existing above and below the pixel and the left and right of the pixel to be converted A program that interpolates pixel values based on the difference from the average of pixel fluctuations.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318277A JP4239063B2 (en) | 2002-10-31 | 2002-10-31 | Image processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318277A JP4239063B2 (en) | 2002-10-31 | 2002-10-31 | Image processing apparatus and method, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004153669A JP2004153669A (en) | 2004-05-27 |
JP4239063B2 true JP4239063B2 (en) | 2009-03-18 |
Family
ID=32461445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002318277A Expired - Fee Related JP4239063B2 (en) | 2002-10-31 | 2002-10-31 | Image processing apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4239063B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4801678B2 (en) * | 2006-09-26 | 2011-10-26 | パナソニック株式会社 | Color difference signal IP conversion method |
JP4855956B2 (en) * | 2007-01-23 | 2012-01-18 | シャープ株式会社 | Scanning line interpolation device |
-
2002
- 2002-10-31 JP JP2002318277A patent/JP4239063B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004153669A (en) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4806849B2 (en) | Image processing apparatus and method, program, and recording medium | |
US7379626B2 (en) | Edge adaptive image expansion and enhancement system and method | |
US6122017A (en) | Method for providing motion-compensated multi-field enhancement of still images from video | |
US7362379B2 (en) | Image processing apparatus and method, recording medium, and program | |
US20050008251A1 (en) | Edge enhancement process and system | |
US20060115184A1 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4973542B2 (en) | Pixel interpolation device and pixel interpolation method | |
KR20040009967A (en) | Apparatus and method for deinterlacing | |
JP4659036B2 (en) | Edge adaptive image enlargement enhancement system and method | |
KR100506086B1 (en) | Apparatus and Method for enhancing the quality of reproducing image | |
KR20050018023A (en) | Deinterlacing algorithm based on horizontal edge pattern | |
KR100611179B1 (en) | Image interpolation apparatus | |
US20090185756A1 (en) | Image processing device and image processing method | |
KR100422575B1 (en) | An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method | |
JP4239063B2 (en) | Image processing apparatus and method, recording medium, and program | |
KR101235488B1 (en) | De-interlacing Apparatus Using Weight Based on Wiener Filter and Method of Using the Same | |
KR101158847B1 (en) | Deinterlacing apparatus and method using edge map | |
KR100601638B1 (en) | De-interlacing method, apparatus, video decoder and repoducing apparatus thereof | |
JPH09200575A (en) | Image data interpolation device | |
JP2658625B2 (en) | Interpolation signal generation circuit | |
JP4366836B2 (en) | Image conversion method and image conversion apparatus | |
RU2308817C1 (en) | Method and device for scaling a dynamic video-image | |
JP2010219715A (en) | Image processor, image processing method, and program | |
KR100552685B1 (en) | Method and apparatus for converting the interlaced images into progressive images. | |
KR100382651B1 (en) | Method and apparatus for detecting motion using region-wise motion decision information in video signal processing system and data interpolating method and apparatus therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |