JP5464803B2 - インターレースビデオ画像の動き推定 - Google Patents

インターレースビデオ画像の動き推定 Download PDF

Info

Publication number
JP5464803B2
JP5464803B2 JP2007514233A JP2007514233A JP5464803B2 JP 5464803 B2 JP5464803 B2 JP 5464803B2 JP 2007514233 A JP2007514233 A JP 2007514233A JP 2007514233 A JP2007514233 A JP 2007514233A JP 5464803 B2 JP5464803 B2 JP 5464803B2
Authority
JP
Japan
Prior art keywords
pixels
pixel sample
motion vector
calculating
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007514233A
Other languages
English (en)
Other versions
JP2008500758A (ja
Inventor
ハーン ヘラルド デ
カリナ チウフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Entropic Communications LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Entropic Communications LLC filed Critical Entropic Communications LLC
Publication of JP2008500758A publication Critical patent/JP2008500758A/ja
Application granted granted Critical
Publication of JP5464803B2 publication Critical patent/JP5464803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

本発明は、インターレースビデオ信号から動きベクトルを算出する方法、デバイスおよびコンピュータプログラム製品に関するものであり、この方法は、第1の動きベクトルを使用して、ピクセルの第1集合とピクセルの第2集合から第1のピクセルサンプルを算出するステップと、第2の動きベクトルを使用して、ピクセルの第1集合とピクセルの第3集合から第2のピクセルサンプルを算出するステップとを具える。
インターレース解除は、有力な新しい非線形スケーリング技術でさらに高精細にできるのみであるハイエンドのビデオディスプレイシステムの主な解像度決定手段である。LCDおよびPDPのような新技術の出現により、解像度の制限は、もはやディスプレイデバイス自体ではなく、むしろソースあるいは伝送システムに存在する。これらのディスプレイは、同時に、順次走査ビデオ入力を必要とする。従って、高品質なインターレース解除が、このようなディスプレイデバイスにおける優れた画像品質のための重要な前提条件である。
インターレース解除の第1ステップは、P. Delongeおよびその他の者による、「"Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures", IEEE Tr. on Im. Proc., Vol. 3, no. 5, Sep. 1994, pp 482-491」で知られている。
この方法は、一般的サンプリング定理(GST)インターレース解除方法としても知られている。その方法を図1Aに示す。図1Aは、縦軸にy+4からy-4の偶数座標に、横軸に時間的に連続するフィールドn-1とnのピクセル2を示す。
インターレース解除のためには2つの独立したピクセルサンプルの集合が必要とされる。ピクセルサンプルの第1集合は、1つ前のフィールドn-1のピクセル2を、動きベクトル4に亘って現在時のフィールドnへシフトさせて動き補償ピクセルサンプル6を得ることにより生成される。第2集合のピクセル8は、画像の現在時のフィールドnの縦軸の奇数点y+3からy-3に存在する。動きベクトル4がいわゆる「臨界速度」、すなわち2つの連続するピクセルフィールド間における奇数ピクセルの移動に相当する速度でない限り、ピクセルサンプル6およびピクセル8は独立であることを意味する。現在のフィールドでピクセルサンプル6およびピクセル8を重みづけすることによって、出力ピクセルサンプル10は、サンプルの加重和(GSTフィルタ)となる。現在の画像は、奇数行のピクセル8と補間出力ピクセルサンプル10とを用いて表示することによって、ディスプレイの解像度を高めることができる。
動きベクトルはビデオ信号内のピクセルの運動成分から導出することができる。動きベクトルはビデオ画像内のピクセルの運動方向を示す。現在のフィールドの入力ピクセルは、ビデオ信号内の現在表示されるあるいは受信されるピクセルの集合とすることができる。入力ピクセルの加重和は、補間パラメータに従って入力ピクセルのルミナンス値またはクロミナンス値を重みづけすることによって得られる。
出力ピクセルサンプル10は、数学的に、以下のように書き表せる。n番画像内の位置
Figure 0005464803
のピクセルのルミナンス値
Figure 0005464803
および、欠落ライン(例えば奇数ライン)の補間ピクセルのルミナンス値Fiを使用すると、GSTインターレース解除方法の出力は、
Figure 0005464803
と定義され、ここでh1およびh2はGSTフィルタ係数を定めている。第1項は現在のフィールドnを表し、第2項は1つ前のフィールドn-1を表す。動きベクトル
Figure 0005464803
は、
Figure 0005464803
で定義され、ここでRound()は最も近い整数に丸めることを表し、垂直動き成分δは、
Figure 0005464803
で定義される。
線形GSTフィルタh1およびh2からなるGSTフィルタは、垂直動き成分
Figure 0005464803
とサブピクセル補間タイプとに依存する。
ビデオアプリケーションのためには、垂直および水平の両動き成分
Figure 0005464803
および
Figure 0005464803
に依存する、h1およびh2からなる分離不可能のGSTフィルタの方が適切であるが、垂直成分
Figure 0005464803
のみを使用してもよい。
Delongeは、垂直補間、すなわちy方向のみの補間を利用することを提案した。プログレッシブ画像Fpが利用できる場合、偶数ラインの画像Feは、z領域において奇数ラインの画像Foのルミナンス値から次のように決定できる。
Figure 0005464803
これから、Foは、
Figure 0005464803
と書き直すことができ、その結果、
Figure 0005464803
となる。
線形補間は、
Figure 0005464803
と書くことができる。
フィルタ係数を導出するためにsinc波形補間を使用すると、線形補間H1(z)およびH2(z)は、k領域において、
Figure 0005464803
と書くことができる。
P. Delonge他は、図2に示すような補間も提案した。この補間は、2つの連続するフィールド間の動きが均一であるという仮定に基づく。この方法は、共通の動きベクトル4に亘りシフトされた前々フィールドサンプルn-2のピクセル2aと、前フィールドサンプルn-1のピクセル2bを使用する。動き補償ピクセル値6a、6bを用いてピクセルサンプル値10を推定できる。しかし、サンプル間の時間的距離が大きいので、現在フィールドと前々フィールドn-2との間の相関は小さい。
例えば、不正確な動きベクトルの場合に改善された補間を提供するために、メジアンフィルタを使用することが提案された。メジアンフィルタは、GSTインターレース方法により生成される出力信号の輪郭の除去を可能にする。
しかし、GST補間の性能は、メジアンフィルタを適用すると、正しい動きベクトルを有する領域では劣化する。この劣化を低減するために、選択的な保護を適用することが提案された(E.B.Bellers and G. de Haan, "De-interlacing a key technology for scan rate conversion", Elsevier Science book series "Advances in Image Communications", vol. 9, 2000)。ほぼ臨界速度を有する領域ではメジアンフィルタを用い、他の領域ではGST補間を用いる。GSTインターレース解除は、臨界速度に近い動きベクトルを有する領域においてアーチファクトを生じる。従って、提案されたメジアン保護は、以下のように、ほぼ臨界速度に対して適用される。
Figure 0005464803
ここで、FGSTはGSTインターレース解除の出力を表す。
この方法の欠点は、現在のGSTインターレース解除では、利用可能な情報のわずか一部分のみを用いて欠落ピクセルの補間をする点にある。ビデオ信号では時間−空間情報を利用できるので、ビデオ信号の異なる時点および異なるセクションからの情報を用いて欠落ピクセルサンプルを補間できるようにすべきである。
それゆえ、本発明の目的は、よりローバストなインターレース解除方法を提供することにある。本発明の他の目的は、補間のためにビデオ信号内に提供される利用可能な情報をより多く使用することにある。本発明のさらに他の目的は、より良好なインターレース解除の結果を提供することにある。本発明のさらに他の目的は、インターレースビデオ信号から改善された動きベクトルを高機能画像処理のために提供することにある。
本発明の実施例は、これらの欠点を解決するために、
動きベクトルをインターレースビデオ信号から算出する方法において、
第1の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第2集合から第1のピクセルサンプルを算出するステップと、
第2のピクセルサンプルを、第2の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第3集合から算出するステップと、
第3のピクセルサンプルを前記ピクセルの第1集合から算出するステップと、
前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第1の関係を算出するステップと
前記第1のおよび/または前記第2のピクセルサンプルと前記第3のピクセルサンプルとの間の第2の関係を算出するステップと、
動きベクトルの集合を使用して、前記第1および前記第2の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するステップと
を具えることを特徴とする方法を提供する。
前記ピクセルサンプルの算出は、それぞれのピクセルを補間することによって行うことができる。
実施例では、算出された動きベクトルを、インターレース解除、動き補償ノイズ低減、あるいは他の画像エンハンスメントのために用いることができる。
第3のピクセルサンプルは、ピクセルの第1集合のピクセルをピクセルの第1集合内の少なくとも2つのピクセルの平均として補間することによって算出することができる。
実施例では、補間中に現在のフィールドを用いる。実施例によれば、正しい動きベクトルの選択を現在のインターレースフィールドのピクセルにも依存させることができる。実施例では、正しい動きベクトルを得るために、前フィールドおよび次フィールドからの動き補償ピクセルサンプルを比較することができ、さらに、これらのピクセルサンプルを現在フィールドのピクセルサンプルと比較することもできる。
模範的には、これは、現在フィールドのライン平均を算出し、このライン平均と第1および第2のピクセルサンプルとの関係を算出することにより行うことができる。このように、動き推定基準として、第1のピクセルサンプルと第2のピクセルサンプルと第3のピクセルサンプルとの関係を最小にすることによって、正しい動きベクトルを選択できる。
実施例では、前フィールドおよび次フィールドの2つのGST予測を用いる動き推定と、フィールド内最小化基準とを組み合わせることによって、ベクトルの不正確さに対する動き推定の影響されやすさが考慮され、より強力な推定器とすることができる。
実施例では、前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第3の関係を算出するステップと、動きベクトルの集合を使用して、前記第1、第2、第3の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するステップとを具える方法が提供される。この場合、現在、前、および次フィールドのピクセルサンプル値の間の関係が考慮される。
実施例では、第3の関係を、ピクセルの第1集合内の少なくとも2つの垂直方向に隣接するピクセルの平均として算出するステップを具える方法を提供する。これにより、偶数ピクセルの垂直方向移動を有する動きベクトルによるエラーを考慮することができる。
実施例では、出力動きベクトルを、動きベクトルの集合を用いて前記関係の和を最小にすることによって前記動きベクトルの集合から選択する。前記和を最小化することは、動きベクトルの良好な予測を生ずる1つのエラー基準とすることができる。前記和は加重和の方がよく、関係は値によって、重みづけされてもよい。
実施例では、ピクセルの第1集合、ピクセルの第2集合およびピクセルの第3集合を、画像系列の連続する時点から得る。この画像系列は、インターレースビデオ画像とすることができる。
ピクセルの第2集合が時間的にピクセルの第1集合に先行する場合、および/または、ピクセルの第3集合が時間的にピクセルの第1集合に追従する場合、実施例では、時間的に連続する少なくとも3つのフィールドに亘るピクセルの動きを考慮することができる。
1つの可能な誤差基準として、第1、第2および/または、第3の関係はピクセルサンプル値間の絶対差分とすることができる。他の可能な誤差基準として、第1、第2および/または、第3の関係はピクセルサンプル値の二乗差分としてもよい。
実施例では、第1のピクセルサンプルがピクセルの第1集合およびピクセルの第2集合からのピクセルの加重和として補間される場合には、少なくとも一部のピクセルの重みを動きベクトルの値に依存させる。実施例によれば、第2のピクセルサンプルは、ピクセルの第1集合およびピクセルの第3集合からのピクセルの加重和として補間され、この場合には少なくとも一部のピクセルの重みを動きベクトルの値に依存させる。
実施例では、第1および/または第2の関係の値の重みづけに垂直成分を考慮することができる。
本発明の他の様態は、インターレースビデオ信号から動きベクトルを供給する補間装置において、
第1のピクセルサンプルを、第1の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第2集合から算出する第1算出手段と、
第2のピクセルサンプルを、第2の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第3集合から算出する第2算出手段と、
第3のピクセルサンプルを前記ピクセルの第1集合から算出する第3算出手段と、
前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第1の関係を算出する第1算出手段と
前記第1のおよび/または前記第2のピクセルサンプルと前記第3のピクセルサンプルとの間の第2の関係を算出する第2算出手段と、
動きベクトルの集合を使用して、前記第1および前記第2の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択手段と
を具える補間器である。
本発明の更に他の態様は、この種の内挿器を具えているディスプレイデバイスである。
本発明の更に他の態様は、動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出するコンピュータプログラムにおいて、プロセッサが
第1のピクセルサンプルを、第1の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第2集合から算出し、
第2のピクセルサンプルを、第2の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第3集合から算出し、
第3のピクセルサンプルを前記ピクセルの第1集合から算出し、
前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第1の関係を算出し、
前記第1のおよび/または前記第2のピクセルサンプルと前記第3のピクセルサンプルとの間の第2の関係を算出し、
動きベクトルの集合を使用して、前記第1および前記第2の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するように、
動作させる命令を具えるコンピュータプログラムおよびコンピュータプログラム製品である。
本発明のこれらのおよびその他の態様を、以下の図を参照して説明して明らかにする。
現在フィールド(前フィールドでもよい)と次時点のフィールドの等間隔に位置しているサンプルに基づく動き推定方法は改善された結果をもたらす。動き推定基準は、ピクセルのルミナンスまたはクロミナンス値が前フィールドn-1からの推定に基づくだけでなく、現在フィールドnに存在するピクセルおよび次フィールドn+1からシフトされたサンプルにも基づくという事実に基づくものとすることができる。
GSTフィルタの出力は、
Figure 0005464803
と書ける。
動きベクトルが2つのフィールドにわたって線形であるという仮定のもとでは、対応する垂直および水平動き成分
Figure 0005464803
を有する動きベクトルは、最適化基準
Figure 0005464803
を用いて、1ブロックのピクセル、例えば8×8ブロックに属している全(x,y)に対して算出できる。
2つのフィールド間における偶数ピクセル分の移動を有する動きベクトルの場合、すなわち、
Figure 0005464803
のとき、前あるいは次フィールドからの動き推定の出力は、
Figure 0005464803
になる。
この場合には、前フィールドn-1および次フィールドn+1からシフトされたピクセルのみが考慮され、2フィールド動き推定器になる。従って、上記の最小化は、図3に示すように、現在フィールドnのピクセルを含まずに、隣接するピクセルを考慮し得るのみである。
図3は、現在および次フレームから推定されたピクセル値のみを使用する現在の動き推定の脆弱性を示す。最小化基準は、前フレームn-1からシフトされたピクセル2aと、次フレームn+1からシフトされたピクセル2bを考慮することができる。ピクセル値6の推定は、動きベクトル4を使用して算出できる。動きベクトル4が1画像につき偶数ピクセル分の移動に対応する場合には、最小化基準
Figure 0005464803
は、細い移動物体に対して極小になりうるが、本当の動きベクトルには対応しない。
このような極小を図4に示すことができる。図4は、画像10a、10b、10cの3つの時点n-1、n、n+1を示す。1画像につき偶数ピクセル分の移動の場合には、比較されるピクセル12の補間は、実画像に一致しない画像14になりうる。P. Delongeが提案するように、前画像と次画像または前画像と前々画像のみを考慮する推定基準は、このように、補間なしの実画像に一致しない画像になりうる。
P. Delogneの提案は、動き推定における偶数ベクトルの問題に対する解決策を提供する。この解決策(P. Delogne他による「Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures, IEEE Tr. On Im. Proc., Vol. 3, no. 5, Sep. 1994, pp 482-491」に記載されている)は、図1Bに示され、連続する4つのフィールドn-3〜nの動き推定および動き補償に基づいている。従って、3フィールド方式が偶数動きベクトル4bに沿ってnとn-2のサンプルのみを比較するとき、この4フィールド方式は、動きベクトル4cを用いて、n-1フィールドとn-3フィールドとを比較することによって、必然的に中間のn-1フィールドも含む。
この方法の第1の欠点は、均一動きの要件が2つの連続するフレーム、すなわち、3つの連続するフィールドに拡大することである。これは、かなり不均一な動きを有する実際のビデオシーケンス(画像系列)の場合には大きな制限である。
第2に、この方法は余分のフィールドメモリ(n-3フィールド)を必要とするため、ハードウェア実装に欠点がある。さらに、サンプルをn-3フィールドからnフィールドまでシフトする動きベクトル4cが、2つの連続するフィールドに亘りサンプルをシフトする動きベクトルより3倍大きいために、より大きいキャッシュが必要とされる。
図5において同一の数字は同一の要素を表し、図5は本実施例に従う補間を示す。図5に見られるように、同一画像10がフレームnに対し補間される。しかし、この実施例によれば、画像14の補間に前画像10aおよび次画像10cのピクセル12を用いるだけでなく現画像10bも用いる。
一貫性のない動きベクトル推定による不連続の影響を防止するために、現在フィールド16のピクセルも考慮する。加えて、次あるいは前フィールドからの各GST予測を、現在フィールドのライン平均LAの結果と比較することができる。動き推定基準は、
Figure 0005464803
とすることができ、ここで、Nは次画像10cからの推定ピクセル値12であり、Pは前画像10aからの推定ピクセル値12であり、LA(x,y,n)は単純なライン平均(LA)を使用した現画像10aの位置(x,y)のフィールド内補間ピクセル16である。その結果生じる画像14を図5に示す。
現在フィールド内のライン平均LAを含む上記の最小化基準における追加の項は、動きベクトルのエラーに対するローバスト性の増大を可能にする。これらの追加の項は、図5の実施例においてスポークの両側で黒と黒が一致することを防止可能にする。ライン平均LAの項により、不正確な動きベクトルについても黒とスポークとが一致する。
ライン平均項は、垂直成分の値に依存する重み係数を有することもできる。この係数は、これらの項が、偶数値に近い動きベクトルに対して選択的に大きく貢献するようにしなければならない。このとき、最小化基準は、
Figure 0005464803
と書ける。
図6は、インターレース解除方法を実現するためのブロック図を示す。入力信号40、第1フィールドメモリ20、第2フィールドメモリ22、第1GST補間回路24、第2GST補間回路26、フィールド内補間回路28、第1部分誤差計算機30、第2部分誤差計算機32、第3部分誤差計算機34、選択手段36および出力信号38を示す。
入力信号40の少なくとも1セグメントがピクセルの第2集合と理解される。フィールドメモリ20の出力の少なくとも1セグメントがピクセルの第2集合と理解され、フィールドメモリ22の出力の少なくとも1セグメントがピクセルの第3集合と理解される。ピクセルの集合は、ピクセルのブロック、例えば8×8ピクセルのブロックとすることができる。
新しい画像がフィールドメモリ20に供給されるとき、前の画像がすでにフィールドメモリ20の出力に存在し得る。フィールドメモリ20の画像出力より前の画像は、フィールドメモリ22の出力に存在し得る。この場合、3つの時間的に連続するフィールドを用いてGSTフィルタで補間した出力信号を算出できる。
入力信号40はフィールドメモリ20に供給される。動きベクトルはフィールドメモリ20内で算出される。この動きベクトルは、入力信号のピクセルの集合内のピクセルの動きに依存する。動きベクトルはGST補間回路24に供給される。入力信号40はGST補間回路24にも供給される。
第1フィールドメモリ20の出力は第2フィールドメモリ22に供給される。第2の動きベクトルは第2フィールドメモリに内で算出される。この動きベクトルの時点は、第1フィールドメモリ20の時点と時間的に後続している。従って、フィールドメモリ22により算出される動きベクトルは、フィールドメモリ20で使用される画像の次の画像内のピクセルの集合内の動きを表す。この動きベクトルはGST補間回路26に供給される。フィールドメモリ20の出力はGST補間回路26にも供給される。
フィールドメモリ20の出力は現在のフィールドを表す。この出力はフィールド内補間回路28に供給できる。フィールド内補間回路28内で、垂直方向に隣接するピクセルのライン平均を算出できる。
GST補間回路24は、入力信号40であるGST補間回路24の入力信号と、フィールドメモリ20からの動きベクトルと、フィールドメモリ20の出力とに基づいてGSTフィルタ処理された補間ピクセル値を算出する。それゆえ、補間は、画像の2つの時点、すなわち、入力信号40から直接の第1時点の情報と、ある特定の時間、特に1つの画像の時間だけ先行する第2時点の情報とを用いる。さらに、動きベクトルを用いる。
GST補間回路26は、フィールドメモリ20の出力であるGST補間回路26の入力信号と、フィールドメモリ22の出力とに基づいてGSTフィルタ処理された補間ピクセル値を算出する。さらに、GSTフィルタ26は、フィールドメモリ22内で算出される動きベクトルを使用する。GSTフィルタ処理された補間出力は、GSTフィルタ24の出力より時間的に先行している。さらに、動きベクトルを用いる。
ライン平均化手段28において、垂直線上の2つの隣接するピクセル値の平均が求められる。これらのピクセル値は補間ピクセル値に隣接する。
GSTフィルタ24の出力は、
Figure 0005464803
と書ける。
GSTフィルタ26の出力は、
Figure 0005464803
と書ける。
GST補間回路24、26の出力間の絶対差分が、第1エラー計算機30内で算出される。
GST補間回路24とライン平均計算機28の出力間の絶対差分が、第2エラー計算機32内で算出される。
GST補間回路26とライン平均計算機28の出力間の絶対差分が、第3エラー計算機34内で算出される。
第1、第2、第3のエラー計算機30、32、34の出力は、選択手段36に供給される。この選択手段内で、
Figure 0005464803
から、最小エラー値を有する動きベクトルが選択される。
一組の動きベクトルをGST補間回路24、26にフィードバックして、種々の動きベクトルに対して種々の部分誤差を算出することができる。これらの種々の動きベクトルに対して、最小化基準を用いて、最良の結果、例えば最小エラーを生じる動きベクトルを選択できる。
こうして、補間画像を算出するために最小エラーを生じる動きベクトルを選択できる。その結果生じる動きベクトルは、出力信号38として出力される。
本発明の方法、コンピュータプログラムおよびディスプレイデバイスによれば、画像品質を向上できる。
(A)は、前フィールドを使用するGST補間を、(B)は、4つの連続するフィールドを使用するGST補間を図式的に示す。 前々フィールドと前フィールドを使用するGST補間を図式的に示す。 1画像につき偶数ピクセル分の移動を有する動きベクトルによる動き推定を図式的に示す。 従来のエラー基準を用いる動き推定を示す。 現在のフィールドに基づく付加的基準を用いる改善された動き推定を示す。 動き推定器のブロック図を示す。

Claims (13)

  1. 動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出する方法において、
    ・第1の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第2集合の一般的サンプリング定理補間から第1のピクセルサンプルを算出するステップと、
    ・第2の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第3集合の一般的サンプリング定理補間から第2のピクセルサンプルを算出するステップと、
    ・前記ピクセルの第1集合のフィールド補間から第3のピクセルサンプルを算出するステップと、
    ・前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第1の差分を算出するステップと、
    前記第2のピクセルサンプルと前記第3のピクセルサンプルとの間の第2の差分を算出するステップと、
    ・前記第3のピクセルサンプルと前記第1のピクセルサンプルとの間の第3の差分を算出するステップと、
    前記第1及び第2の動きベクトルを含む動きベクトルの集合から、前記第1、前記第2および前記第差分の和を最小にする出力動きベクトルを選択するステップと、
    を具え、
    前記ピクセルの第1集合、前記ピクセルの第2集合および前記ピクセルの第3集合は、インターレースビデオ信号からの画像系列の連続的な時点から得られたものであって、前記ピクセルの第2集合は時間的に前記ピクセルの第1集合の前方であり、前記ピクセルの第3集合は時間的に前記ピクセルの第1集合の後方であることを特徴とする動きベクトル算出方法。
  2. 前記第3のピクセルサンプルを、前記ピクセルの第1集合内の少なくとも2つの垂直方向に隣接するピクセルの平均として算出するステップを具えることを特徴とする請求項1に記載の方法。
  3. 前記第1、第2および第3の差分の加重和を最小にすることによって、前記動きベクトルの集合から前記出力動きベクトルを選択するステップを具えることを特徴とする請求項に記載の方法。
  4. 前記第1、第2および第3の差分は、ピクセルサンプル値間の絶対差分であることを特徴とする請求項1に記載の方法。
  5. 前記第1、第2および第3の差分は、ピクセルサンプル値の二乗差分であることを特徴とする請求項1に記載の方法。
  6. 前記第1のピクセルサンプルは、前記ピクセルの第1集合および前記ピクセルの第2集合からピクセルの加重和として補間され、少なくとも一部のピクセルの重みが動きベクトルの値に依存することを特徴とする請求項1に記載の方法。
  7. 前記第2のピクセルサンプルは、前記ピクセルの第1集合および前記ピクセルの第3集合からピクセルの加重和として補間され、少なくとも一部のピクセルの重みが動きベクトルの値に依存することを特徴とする請求項1に記載の方法。
  8. 前記第1および第2の動きベクトルは、前記ピクセルの第1集合と前記ピクセルの第2集合との間、あるいは、前記ピクセルの第1集合と前記ピクセルの第3集合との間のピクセルの動きから算出されることを特徴とする請求項1〜のいずれかに記載の方法。
  9. 前記第および第差分は、垂直動き成分の値に依存する係数で重みづけされることを特徴とする請求項1に記載の方法。
  10. 動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出する補間装置において、
    ・第1の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第2集合の一般的サンプリング定理補間から第1のピクセルサンプルを算出する第1算出手段であって、前記ピクセルの第2集合は時間的に前記ピクセルの第1集合の前方である第1算出手段と、
    ・第2の動きベクトルを使用して、ピクセルの第1集合およびピクセルの第3集合の一般的サンプリング定理補間から第2のピクセルサンプルを算出する第2算出手段であって、前記ピクセルの第3集合は時間的に前記ピクセルの第1集合の後方である第2算出手段と、
    ・前記ピクセルの第1集合のフィールド補間から第3のピクセルサンプルを算出する第3算出手段と、
    ・前記第1のピクセルサンプルと前記第2のピクセルサンプルとの間の第1の差分を算出する第1部分誤差算出手段と
    ・前記第1ピクセルサンプルと前記第3のピクセルサンプルとの間の第2の差分を算出する第2部分誤差算出手段と、
    ・前記第2のピクセルサンプルと前記第3のピクセルサンプルとの間の第3の差分を算出する第3部分誤差算出手段と
    前記第1及び第2の動きベクトルを含む動きベクトルの集合から、前記第1、前記第2および前記第差分の和を最小にする出力動きベクトルを選択する選択手段と
    を具え
    前記ピクセルの第1集合、前記ピクセルの第2集合および前記ピクセルの第3集合は、インターレースビデオ信号からの画像系列の連続的な時点から得られたものであることを特徴とする補間装置。
  11. 請求項10に記載の補間装置を具えていることを特徴とするディスプレイデバイス。
  12. 動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出するコンピュータプログラムであって、請求項1〜9のいずれかに記載の方法の動きベクトルを算出する動作を、プロセッサに実行させる命令を具えることを特徴とするコンピュータプログラム。
  13. 請求項12に記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体
JP2007514233A 2004-05-25 2005-05-17 インターレースビデオ画像の動き推定 Expired - Fee Related JP5464803B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04102292 2004-05-25
EP04102292.2 2004-05-25
PCT/IB2005/051595 WO2005117446A1 (en) 2004-05-25 2005-05-17 Motion estimation in interlaced video images

Publications (2)

Publication Number Publication Date
JP2008500758A JP2008500758A (ja) 2008-01-10
JP5464803B2 true JP5464803B2 (ja) 2014-04-09

Family

ID=34967058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007514233A Expired - Fee Related JP5464803B2 (ja) 2004-05-25 2005-05-17 インターレースビデオ画像の動き推定

Country Status (6)

Country Link
US (1) US20070242750A1 (ja)
EP (1) EP1754376A1 (ja)
JP (1) JP5464803B2 (ja)
KR (1) KR100968642B1 (ja)
CN (1) CN1957614B (ja)
WO (1) WO2005117446A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1665781B1 (en) * 2003-09-04 2007-02-07 Koninklijke Philips Electronics N.V. Robust de-interlacing of video signals
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
TWI466093B (zh) * 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
US8526502B2 (en) * 2007-09-10 2013-09-03 Entropic Communications, Inc. Method and apparatus for line based vertical motion estimation and compensation
KR101500324B1 (ko) * 2008-08-05 2015-03-10 삼성디스플레이 주식회사 표시 장치
US9491473B2 (en) * 2013-10-03 2016-11-08 Amlogic Co., Limited Motion compensated de-interlacing and noise reduction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0671334B2 (ja) * 1986-03-07 1994-09-07 国際電信電話株式会社 動画像の動き量推定値の精度判定方法
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JP2832927B2 (ja) * 1994-10-31 1998-12-09 日本ビクター株式会社 走査線補間装置及び走査線補間用動きベクトル検出装置
JP3355054B2 (ja) * 1995-03-10 2002-12-09 日本放送協会 動きベクトル検出方法および動きベクトル検出装置
WO1997016923A1 (en) 1995-11-01 1997-05-09 Philips Electronics N.V. Video signal scan conversion
GB9824061D0 (en) * 1998-11-03 1998-12-30 Snell & Wilcox Ltd Film sequence detection (nt4)
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
JP2000261768A (ja) * 1999-03-09 2000-09-22 Hitachi Ltd 画像信号の動き補償走査変換回路
KR100327395B1 (ko) * 1999-09-03 2002-03-13 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
KR100857731B1 (ko) * 2001-02-21 2008-09-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정을 용이하게 하는 방법 및 장치
US7471725B2 (en) * 2003-03-26 2008-12-30 Lsi Corporation Segmented motion estimation with no search for small block sizes
JP4244685B2 (ja) * 2003-04-15 2009-03-25 日本ビクター株式会社 動画像時間軸補間方法及び動画像時間軸補間装置

Also Published As

Publication number Publication date
KR20070043703A (ko) 2007-04-25
US20070242750A1 (en) 2007-10-18
JP2008500758A (ja) 2008-01-10
CN1957614A (zh) 2007-05-02
KR100968642B1 (ko) 2010-07-06
WO2005117446A1 (en) 2005-12-08
EP1754376A1 (en) 2007-02-21
CN1957614B (zh) 2010-04-14

Similar Documents

Publication Publication Date Title
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
JP4083265B2 (ja) 画像信号の方式変換方法および装置
JP5657391B2 (ja) ハローを低減する画像補間
US7720150B2 (en) Pixel data selection device for motion compensated interpolation and method thereof
EP1515543A2 (en) Method and de-interlacing apparatus that employs recursively generated motion history maps
US20040207753A1 (en) Deinterlacing apparatus and method thereof
JP2004516724A (ja) ブロックベースの動き補償の精度を改善するための方法
JP5464803B2 (ja) インターレースビデオ画像の動き推定
Chen et al. Efficient edge line average interpolation algorithm for deinterlacing
KR20060135742A (ko) 영화 모드 적응을 갖춘 움직임 보상된 디-인터레이싱
KR20080008952A (ko) 초해상도 기술을 이용한 비비월주사의 방법 및 시스템
KR100732683B1 (ko) 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
EP0817478A1 (en) Process for interpolating frames for film mode compatibility
JP4222090B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP3898546B2 (ja) 画像走査変換方法及び装置
US6760376B1 (en) Motion compensated upconversion for video scan rate conversion
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP2007504742A (ja) ビデオ信号の頑強なデインタレース
JP2007504741A (ja) ビデオ信号の頑強なデインタレース
KR100728914B1 (ko) 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법
JPH11327521A (ja) 画素値変換方法
JPS62289080A (ja) 画素補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080514

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111025

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120330

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130528

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130625

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130826

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees