JP4197434B2 - 動き推定の容易化 - Google Patents

動き推定の容易化 Download PDF

Info

Publication number
JP4197434B2
JP4197434B2 JP2002566968A JP2002566968A JP4197434B2 JP 4197434 B2 JP4197434 B2 JP 4197434B2 JP 2002566968 A JP2002566968 A JP 2002566968A JP 2002566968 A JP2002566968 A JP 2002566968A JP 4197434 B2 JP4197434 B2 JP 4197434B2
Authority
JP
Japan
Prior art keywords
error
image data
image
error amount
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002566968A
Other languages
English (en)
Other versions
JP2004519901A (ja
JP2004519901A5 (ja
Inventor
ロバート ジェイ スクッテン
アブラハム ケイ リエメンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NXP BV filed Critical NXP BV
Publication of JP2004519901A publication Critical patent/JP2004519901A/ja
Publication of JP2004519901A5 publication Critical patent/JP2004519901A5/ja
Application granted granted Critical
Publication of JP4197434B2 publication Critical patent/JP4197434B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオ信号における動き推定を容易にする装置及び方法に関する。このような方法は、特限定はしないが、(MC-VFCとして知られている)動き補償ビデオフォーマット変換の分野における3-D再帰的ブロックマッチング技術(3-D recursive block matching technique)に対するアプリケーションを見出せる。
【0002】
動き推定は、一般的に、次のステップ、即ち1)多数の動きベクトル候補(candidate motion vectors)を取得するステップと、2)これら動きベクトル候補の各々に対するエラー量(error measure)を算出するステップと、3)最良のベクトルを選択するステップとを有する。このプロセスは画像の全ての部分に適用される。これは概して非常に計算の多いタスク(computationally intensive task)であるので、候補の数を制限しながらも、算出される動きベクトルの高い精度及び信頼性を保つために多くの方法及び方策が提案されている。
【0003】
【従来の技術】
MC-VFCに適するとりわけ効果的な検索装置、G. de Haan氏らによ"True motion estimation with 3-D recursive block-matching", IEEE Trans. CSVT, Oct. '93 pp. 368-388に記述された3-D再帰的検索ブロック整合器(3-D Recursive Search Block matcher)(3D-RS)において利用されている。
【0004】
フィルムモードにおける走査レート変換のための動き推定は、2つの連続するフレームの間の類似領域及び高度の類似性が存在する場所を検出するために2つのフレーム(通常は前のフレーム及び現在のフレーム)の画像ブロックの比較を有し、類似領域の位置の差が動きベクトルを表す。次いで、ビデオフォーマット変換においては、2つの元々は連続するフレームの間に時間的に位置する新たな(且つ前に存在しない)データのフレームを構成するために、画像データが動きベクトルの一部によってシフトされる。
【0005】
【発明が解決しようとする課題】
ビデオ信号では、このようなフォーマット変換が必要とされる場合には、ビデオが、通常、(1フレーム=2フィールドであり、一方のフィールドがフレームの奇数ラインを含み、次のフィールドがフレームの偶数ラインを含む)インタレースフォーマットでブロードキャストされることから、少しばかりより複雑な問題が生じる。ここで、ビデオシーケンスは、フレームの垂直方向において分割された奇数ライン又は偶数ラインを含む連続したフィールドを含む。このようなインタレースフォーマットは、半分のラインが「欠落」しているので、画像部の間の類似性の検出を妨げることがある。これは、2つの連続するフィールド(即ち、奇数ラインを備える1つのフィールド及び偶数のラインを備える1つのフィールド)が、該2つの連続するフィールドが画像中の異なる垂直位置から生じることから直接的には互い比較され得ないので、「動きのない」領域に対してとりわけ当てはまる。
【0006】
記問題に対する或る部分的な解決策は、インタレース化解除アルゴリズム(de-interlacing algorithm)を適用することにより与えられ得る。このようなアルゴリズムにおいては、受け取られたフィールド、奇数ラインと偶数ラインとの両方を含むフレームを構築するように(例えば内挿法により)電子的に処理されることができ、次いで、その後に受け取られたフィールド、このような組立フレーム(built-up frame)中の対応ラインと比較されることができる。しかしながら、このような対応ラインは自然に生じているものではなく計算の結果であるから、インタレース化解除アルゴリズムにおけるエラーが動き推定における「動きなし」の検出の質に影響を及ぼすことが認識されることになる
【0007】
米国特許公報第US-A-5,682,205号(イーストマン コダック社)は、複数の連続するインタレース画像フィールドからインタレース化解除された出力画像を生成するプロセス及び装置を開示している。この特許によれば、同じ極性(即ち、偶数/偶数又は奇数/奇数)のフィールドが、常に、動きを推定するために互いと比較される。これの1つの結果として、比較されるフィールドが常に非連続的であるので、比較的に大きな「時間的間隔」があることとなる。
【0008】
米国特許公報第US-A-5,329,317号(マツシタ・エレクトリック・コーポレーション・オブ・アメリカ)は、インタレースビデオ信号のためのフィールド/フレーム適応フィルタを開示している。この開示においては、静止画がある場合には、フレームフィルタリングが優先的に適用されるのに対し、画像又は画像の一部が動く場合には、フィールドフィルタリングが選択される。このようにして、フィールドフィルタリング及びフレームフィルタリングの両方がなされ、動き検出器の出力に依存してそれらの結果が併合される。動き検出器は常に2フレーム単位で動作する。
【0009】
本発明の好ましい実施例の目的は、フィルムモードの推定において用いられるようなフレームベースの動き推定器を、比較的に経済的な方式でビデオモードの推定における使用のために適応させることのできる方法を提供することにある。別の狙いは、従来技術の問題の少なくとも幾つかをある程度まで回避又は克服する、動きベクトルの後続の選択を容易にする手段及び方法を提供することである。
【課題を解決するための手段】
のため、本発明は独立請求項において規定されているような動き推定を提供する。有利な実施例は従属請求項において規定されている。
【0010】
ここで、画像データの第1グループはインタレース信号の第1フィールドとすることができ、画像データの第2グループはインタレース信号の第2フィールドとすることができ、画像データの第3グループはインタレース信号の第3フィールドとすることができる。好ましい実施例において、これはインタレースタイプの信号であるので、第1フィールド及び第3フィールド(並びに第2フィールド及び第4フィールドなど)は同じ奇偶性のものとなる〔即ち、両方が画像の奇数ラインを表す又は両方が画像の偶数ラインを表す〕。
【0011】
本発明の好ましい実施例においては、動きベクトル候補のうちの1つが零ベクトルとなる。前記零ベクトルは、一方のフレームの中の1つの画像部を別のフレームの中の同じ画像部(即ち同じ位置)に直接的にマップするベクトルである。零ベクトルは該零ベクトルが「動きのない」ことを表すので非常に重要なベクトルであり、前記零ベクトルは自然のビデオシーケンスにおいて頻繁に生じる。これら画像部の画像データが同一である場合には、の画像部に対して「動きのない」状態があり、の零ベクトルの第1エラー量は、好適実施例ではとなる。しかし、そら画像部の画像データが同一でない場合には、定量化可能な非零の第1エラー量となることとなる
【0012】
本発明に基づいて画像データの第1グループ及び第3グループを比較することにより、インタレース信号中の零ベクトルは、常に同じ奇偶性のフィールドの間でテストされる。この結果、画像データの前記第1グループ及び前記第3グループを用いて算出されるエラー量は、画像データの該第1グループ及び第2グループ又は該第2グループ及び該第3グループを用いるなどして非類似の奇偶性のフィールド(non-like parity fields)の2つの連続するグループを用いて算出されるエラー量より著しく信頼性が高い。それ故、本発明の好ましい実施例においては、出力エラー量が、主として又は専ら画像データの前記第1グループ及び前記第3グループからのエラー量から構成されることになる。しかしながら、非零の動きベクトル候補の場合は、画像データの前記第1グループ及び前記第2グループ又は該第2グループ及び前記第3グループを用いて算出されるエラー量が、画像データの該第1グループ及び該第3グループを用いるエラー量より信頼性が高い。このため、前記出力エラー量は、主として又は専ら画像データの前記第1グループ及び前記第2グループからのエラー量か又は該第2グループ及び前記第3グループからのエラー量から構成されることになる
【0013】
所与の画像部に対する最良の動きベクトル候補は、出力エラー量の最小のものと関連した動きベクトル候補とすることができる
【0014】
第1エラー量及び第2エラー量からの出力エラー量の算出は、関連動きベクトル候補のベクトル長に基づくものとすることができる。好ましくは、前記動きベクトル候補の長さが零である場合は、前記第1エラー量が出力エラー量として用いられる。好ましくは、垂直動きベクトル成分が等しい場合には必ず前記第1エラー量が用いられる。好ましくは、前記動きベクトル候補の長さが最大値Vmaxを上回る場合は、前記第2エラー量が出力エラー量として用いられる。好ましくは、前記動きベクトル候補の長さが零とVmaxとの間ある場合、前記第1エラー量及び前記第2エラー量の双方は、組み合わせ出力エラー量を算出するために用いられる。
【0015】
好ましくは、その組み合わせエラー量は、関連する動きベクトル候補の第1エラー量と第2エラー量との間のフェード・オーバ(fade over)の結果である。
【0016】
エラー量は、動きベクトル候補に対して、一方の画像の一部を他方の画像の一部と比較し、合計絶対差(summed absolute difference)の算出を行なうことにより算出され得る。
【0017】
画像データの第1グループは、単一のフィールドだけすなわち、奇数ビデオライン又は偶数ビデオラインのみからなる第1フィールド又は第2フィールド)を有しても良く、或いは両方のフィールドから成る完全なフレームのものを有しても良い。ビデオシーケンスがフィルム題材から作り出された場合には、2つの連続するフィールドが1つの時間的位置から作り出され得る。このような場合には、画像データの前記第1グループは、ただ単に2つの連続するフィールドを組み合わせることにより構成されるフレームとすることができる。他の例においては、前記フレームがより高度なインタレース化解除の計算により構成されても良く、前記より高度なインタレース化解除の計算のために多くのアルゴリズムが存在する。画像データの前記第1グループが完全なフレームである場合には、画像の垂直解像度が単一のフィールドと比較して増大される。結果として、エラー量は、関係する画像部の類似性をより正確に表現するものとなり、斯くして、動き推定器の結果の質が向上することになることが見込まれ得る。
【0018】
上記から認識されるように、前記方法を実施し、それによって動き補償を容易にするために、本発明の方法は3フィールドのデータのための記憶しか必要としない。画像データの前記第1グループがフレームである場合には、全部で1つのフレームと2つのフィールドとが必要とされる。
【0019】
本発明はまた、動きベクトル候補の選択が本発明の方法によって容易にされる動き推定方法を利用するビデオ動き推定を組み込むビデオ処理装置にも拡張し得る。
【0020】
本発明のよりよい理解のため及び同じものの実施例がいかにして実施され得るかを示すために、以下に一例として添付する概略的な図面に対する参照がなれる。
【0021】
【発明の実施の形態】
図1は、第1フィールド10を有する画像データの第1グループ、第2フィールド20を有する画像データの第2グループ及び第3フィールド30を有する画像データの第3グループを示している。
【0022】
第1フィールド、第2フィールド及び第3フィールドは、例えばインタレースビデオ信号の連続するフィールドを表す前のフィールド(N-2)、現在のフィールド(N-1)及び次のフィールド(N)であり得る。第1フィールド10及び第3フィールド30が同じ奇偶性を持つ(即ち、これらのフィールドが両方ともフレームの偶数ライン又はフレームの奇数ラインのいずれかを表す)のに対して、第2フィールド20は第1フィールド10及び第3フィールド30と異なる奇偶性のものとなる
【0023】
図1においては、第1フィールド10の第1画像部12が図示されている。第2フィールド20の第2画像部22及び第3フィールド30の第3画像部32もまた示されている。
【0024】
本発明の実施例によれば、第1エラー量を算出するために第1フィールド10の画像部が第3フィールド30中の画像部と比較され、第2エラー量を算出するために第1フィールド10の同じ又は略々同じ画像部第2フィールド20の画像部と比較される。
【0025】
第2エラー量は連続する画像グループの如何なる対からとられても良く、故に、この場合には、第2フィールド20の第2画像部22を第3フィールド30の第3画像部32と比較することにより同様に算出され得ることは認識されるであろう。しかしながら、以下に記載されている特定の例は、第2エラー量が第1画像部12と第2画像部22との比較から導き出されることを前提にしている。
【0026】
図1においては、第1画像部と第2画像部との間の公称動きベクトルが矢印Vpcによって表されており、第1画像部と第3画像部との間の延長動きベクトルが矢印Vpnによって表されている。公称動きベクトルと延長動きベクトルとの両方とも同じ又は略々同じオブジェクト速度(object velocity)を表す。ここで、画像部は、例えば、ピクセルのグループ(例えばブロック又はライン)などの画像データを表す画像の領域であると理解され得る。エラー量は、合計絶対差(SAD)アルゴリズムを用いることによって値を求められ得る。このようなアルゴリズムは当業界で良く知られており、この量を算出するための詳細をここ説明する必要はない。
【0027】
図1においては、動きベクトルが算出される必要がある画像の単一の部分のみに対する単一の動きベクトル候補のみが示されている。好ましい実施例においては、1組の動きベクトル候補のた同様の計算を行ない、その後に画像のその特定部分に対する最良の動きベクトルの選択を行うのが一般的な用法である。また、このプロセスは、一般に画像の全ての部分に対して繰り返され、これは画像中の全ての位置において既知の動きベクトルをもたらす。
【0028】
一般に、動きベクトル候補のうちの1つは零ベクトルとなるの場合に、画像部12及び32は画像中の同じ位置にあり、同じフィールド奇偶性を持つ。結果として、これらの2つの画像部どうしの比較が画像成分の類似性の信頼性の高い測定法となる。斯くして、かかる比較、(以下に記載される)出力エラー測定として用いられることになる。零ベクトル以外の動きベクトル候補に対しては、画像部1222の比較がこれらの画像部の間の類似性を算出するために用いられ、これによりかかる比較が出力エラー量の値を求めるために用いられることになる
【0029】
ここで図2を参照すると、それぞれ所与の延長動きベクトル候補及び公称動きベクトル候補に対する第1エラーブロックError140における第1エラー量及び第2エラーブロックError250における第2エラー量の値を求める方法が概略的に示されている。
【0030】
絶対差計算の第1合計を行ない得る第1エラーブロックError140において、第1フィールド10の画像部12の画像データIP1previous 第3フィールド30の第3画像部32の画像データIP2next の間のエラーが計算され第1エラー量Errorpn 形成れる。第1フィールド10の第1画像部12の画像データIP1previous 第2フィールド20の画像部22の画像データIP3current の間のエラーは、第2エラーブロックError250例えば絶対差の第2合計のブロック)において算出され第2エラー量 Error pc を形成する
【0031】
第1フィールド10の特定部分に対する最良の動きベクトル候補を見出すためには、動きベクトル候補がテストされるのと同じぐらい多く、複数のError1ユニット(又は計算)が必要となることが分かる。同様に、複数のError2ユニット(又は計算)があり得る。実際には、複数のユニット40及び50は、時分割多重化された形で利用される1つ以上のユニットとしてもよい
【0032】
図3は、第1エラー量Errorpn及び第2エラー量Errorpcを受け取る適応フェーダユニット60を示している。適応フェーダユニット60においては、出力エラー量Errorout 、制御入力kの値に応じて、Errorpn、Errorpc又は合成された混合中間値(synthesized mix intermediate) Errorpn/Errorpcのいずれかとなるよう選択される。
【0033】
図4は、混合値(mixing vlue)kがいかにして決定され得るかを示している。図4においては、kが、動きベクトル候補の所与のベクトル長(Vmax)にわたって零から1までの線形な推移(linear progression)を持つベクトル長VLの関数であるように示されている。とりわけ、動きベクトル候補の長さが零である場合は、kは零であり、このベクトル長が値Vmax以上である場合は、kは1である。0Vmaxの間の動きベクトル候補の長さに対しては、kが線形的に補間される。例えば、Vmax=1である場合には0.75のベクトル長に対してk=0.75である。
【0034】
図示されているkの推移に基づく単純な混合アルゴリズムは、Errorout=k*Errorpc+(1-k)*Errorpnにより与えられ得る。
【0035】
第1エラー量及び第2エラー量を組み合わせるためのより一般的な等式導き出してもよい。例えば、動きベクトル候補の長さがLであると仮定すると、関数f(L)は、L=0である場合に零であり、入力が0Vmaxの間である場合には0から1まで増大することになるものと規定することができる。それ故、このような概念上の関数(notional function)では、動き推定器に供給されるべき出力エラー量Erroroutが、Errorout=f(L)*Errorpc+(1-f(L))*Errorpnとして与えられ得る。
【0036】
上記から、フェーダユニット60の動作により、出力エラー量Errorout 、Errorpc、Errorpn又はフェードオーバの結果である中間値となることが分かる
【0037】
計算の何らかの節減が達成され得ることが認識されるであろう。フェーダがErrorpcしか用いない場合には、Errorpnの値が算出される必要はない。同様に、フェーダがErrorpnしか用いない場合には、Errorpcの値が算出される必要はない。エラー量が必要とされない場合には、エラー量が導き出される元の画像データも必要とされない。これにより、計算時間、電力又はメモリアクセス(即ちメモリ帯域幅)などの幾つかのシステム資源を節減し得る。
【0038】
ビデオシーケンスがフィルム題材から作り出される場合には、2つの連続するフィールドが1つの時間的位置から作り出され得る。このような場合には、第2画像及び第3画像の両方が単一の元フレームから作り出され得る。その結果、動きベクトル候補は延長される必要がなく、公称動きベクトル及び延長動きベクトルの両方が等しいものとなる。フレームベースのエラー量は今までどおりErrorpn及びErrorpcの両方の算出を行なうことにより得られ得る。フェーダ60のk値が(動きベクトル候補の長さとは無関係の)0.5にされる場合には、これら2つのエラー量は、値Erroroutを算出するために平均される。このように、(種々のブロックの制御において軽微な適応しか伴わない)同じシステムは、全フレームエラー量を算出しており、これにより出力エラー量の質を向上させる。
【0039】
更に、本発明の方法の好ましい実施例は、第3画像を有効にすることなしでも用いられ得ることが分かる筈である。明らかに、この場合には値Errorpnが算出され得ず、故にフェーダの制御パラメータkが1という値にされる必要がある。結果として、メモリ、帯域幅及び電力のような幾つかのシステム資源が動き推定器の質の低減を代償にして節減され得る。
【0040】
図5を参照すると、動き推定装置へ動きベクトル候補の適合性に関する表示を供給する装置が概略的に示されている。この装置は、3つの連続する画像データのグループから画像データを受け取り、記憶する記憶手段70、動き推定装置90のベクトル選択部に送られる動きベクトル候補のエラー量を算出する処理手段80を有し、これらの構成要素の各々はテレビセット、VCRなどといったより大きなビデオ処理装置100の一部を形成する。前記処理手段は、図1、2、3及び4によって図示されているように上述した方法に基づいて動作する。
【0041】
上記においては、動き推定器における動きベクトル候補の適合性を示す出力エラー量の生成に関して方法を説明した。勿論、この方法は、画像全体に対する動きベクトル及び出力エラー量を供給するために、当該画像の全ての画像部及び全ての動きベクトル候補に同様に適用される。
【0042】
本発明に記載の方法は、動きベクトル候補の数にも、動きベクトル候補のソース(source)にも、動きベクトル候補の長さ位置的制限(potential limitation)にも、動きベクトル候補のセットの他の特性にも、個々の動きベクトル候補自体の他の特性にも無関係であること理解されたい
【0043】
本発明において説明される方法において算出されるエラー量は、動き推定器のための唯一の選択基準ではなくても良いことも理解されるであろう。
【0044】
エラー量は画像データの第1/第3及び第1/第2グループの画像部における画像データの間にいかに近い合致があるかを示すので、これらエラー量は、該エラー量がそれによって構成されるべきフレームにおいてなされるべき適当なデータの代入(substitution)の選択を容易にするので、動き推定方法全体により必要とされるどんなフォーマットにおいても供給され得ることが認識されるであろう。このことを念頭に置くと、本発明の方法は、多くのタイプの動き推定システム及び方法に適用され得る。
【0045】
本発明の教示内容を組み込んでいる幾つかの動き推定方法は、第1エラー量及び第2エラー量以外のエラー量の供給を要しないようにすることもでき、それ故、フェードオーバ・アルゴリズム及び方法は、オプションであると理解されたい。他の例においては、動き推定方法は第1エラー量第2エラー量スイッチとすることができる
【0046】
上記は、いかにして画像データの3つの連続するグループが動き推定システム及び方法の一部として利用され得るのかを記載している。前記装置及び方法は、小さいベクトルの場合は、大きいベクトルの場合より画像間のより大きな時間間隔が用いられるように、零又は小さいベクトル候補が大きいベクトルと比較して異なるように扱われる高度なシステムを提供する。好ましい実施例においては、3フィールドの画像データしか必要とされないので、前記方法は、通常は2フレームのデータのための記憶装置を供給する走査レート変換のための既存の装置において容易に実施可能である。他の好ましい実施例においては、画像データの第1グループがフレームであっても良く、画像データの他の2つのグループが2つのフィールドであっても良い。このような場合には、合計4フィールドの画像データが必要とされる。前記方法がフィルムモードで適用される場合には、これら4つのフィールドは2つの元のフィルムフレームを有し得る。
【0047】
前記方法においては、インタレースフィールドの場合においても零ベクトルの適用可能性に対する簡単なテストをなすことができる。或る特定の実施例においては、前記方法が、同じ奇偶性の画像データ(フィールド)のグループに対しては零ベクトルのテストしか必要としない一方で、隣接する非類似の奇偶性のグループの間では他のテストがなされる。
【0048】
ハードウェア上の機能が記載されている場合には必ず、これらはソフトウェアの同等物によって置き換えられても良く、逆の場合も同様であることも認識されるであろう。
【0049】
本発明は、本明細書に記載されている実施例には限定されず、添付されている特許請求の範囲によってしか限定されない。特許請求の範囲においては、括弧の間に置かれているいかなる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。「有する」という用語は、特許請求の範囲において列挙されている要素又はステップ以外の要素又はステップの存在を除外しない。要素の単数形表記は、斯様な要素の複数の存在を除外しない。本発明は、幾つかの別個の要素を有するハードウェア及び適当にプログラムされたコンピュータによって実施され得る。幾つかの手段を列挙している装置クレームにおいては、これらの手段のうちの幾つかはハードウェアの同一要素によって実施され得る。単に或る方策が互いに異なる従属項において再び引用されているという事実は、これらの方策の組み合わせが有利に用いられえないことを示しているわけではない。
【図面の簡単な説明】
【図1】画像データの3つのグループ及び該3つのグループをつなぐ動きベクトル候補を概略的に示す
【図2】本発明の実施例によるエラー計算の動作を概略的に示す
【図3】エラーデータの処理のためのフェーダユニットを概略的に示す
【図4】図3のフェーダの制御用のフェードオーバ・アルゴリズムを示す
【図5】本発明の方法の実施のための装置を示す概略的なブロック図。

Claims (7)

  1. 動き推定に用いるための公称動きベクトル候補の出力エラー量を発生するための方法であって、
    連続した第1、第2及び第3グループの画像データから画像データを受け取るステップであって、前記第1グループがインターレースフィールド又はフレームであり、前記第2及び第3グループがそれぞれインターレースフィールドであるステップと、
    記第1グループの画像データのうちの第1画像部、前記第2グループの画像データのうちの第2画像部及び前記第3グループの画像データのうちの第3画像部を識別するステップであって、これら3つの画像部の位置前記動きベクトル候補により示される動きの軌道に応じて各グループの画像データにおいて互いに略対応するようにしたステップと、
    前記第1画像部前記第3画像部画像データ値のに関するテストをし、そのに応じた量を第1エラー量として定量化することにより該第1エラー量を算出するステップと、
    前記第1画像部前記第2画像部との画像データ値の差又は前記第2画像部前記第3画像部との画像データ値の差に関するテストをし、そのに応じた量を第2エラー量として定量化することにより該第2エラー量を算出するステップと、
    前記動きベクトル候補のベクトル長及び/又は垂直動きベクトル成分に依存した加重により前記第1エラー量及び前記第2エラー量の加重平均を計算することにより前記動きベクトル候補の出力エラー量を発生するステップと、
    を有する方法。
  2. 請求項1に記載の方法であって、前記動きベクトル候補の長さが最大長Vmaxを上回る場合に、前記第2エラー量が前記出力エラー量として選択される方法。
  3. 請求項1に記載の方法であって、前記動きベクトル候補のベクトル長が零Vmaxの間ある場合には、前記出力エラー量前記第1エラー量前記第2エラー量の組み合わせに基づく値とする、方法。
  4. 請求項3に記載の方法であって、前記出力エラー量が等式Errorout=f(L)*Errorpc+(1-f(L))*Errorpnにより与えられ、ここで、Erroroutは前記出力エラー量であり、Errorpcは前記第2エラー量であり、Errorpnは前記第1エラー量であり、f(L)は、前記ベクトル長がVmax以上である場合に1であり、前記ベクトル長が零である場合に零となる前記動きベクトル候補のベクトル長の関数である方法。
  5. 請求項2に記載の方法であって、Vmaxより長いベクトル長を持つ動きベクトル候補に対しては、前記第3画像部が用いられず、この場合には、前記出力エラー量は前記第2エラー量のみを有し、対応する前記第1エラー量算出必要としない方法。
  6. 動き推定装置に用いるための公称動きベクトル候補の出力エラー量を発生する装置であって、
    連続した第1、第2及び第3グループの画像データから画像データを受け取り記憶する手段であって、前記第1グループがインターレースフィールド又はフレームであり、前記第2及び第3グループがそれぞれインターレースフィールドである記憶手段と、
    記第1グループの画像データのうちの第1画像部、前記第2グループの画像データのうちの第2画像部及び前記第3グループの画像データのうちの第3画像部を識別し、その際、これら3つの画像部の位置は、前記動きベクトル候補により示される動きの軌道に応 じて各グループの画像データにおいて互いに略対応するようにし、前記第1画像部前記第3画像部画像データ値のに関するテストをし、そのに応じた第1エラー量として定量化することにより該第1エラー量を算出し、前記第1画像部前記第2画像部との画像データ値の差又は前記第2画像部前記第3画像部との画像データ値の差に関するテストをし、そのに応じた量を第2エラー量として定量化することにより該第2エラー量を算出し、前記動きベクトル候補のベクトル長及び/又は垂直動きベクトル成分に依存した加重により前記第1エラー量及び前記第2エラー量の加重平均を計算することにより前記動きベクトル候補の出力エラー量を発生するようにした処理手段と
    を有する装置。
  7. 請求項1に記載の方法を実行する手段と、この手段からの前記出力エラー量を受ける動き推定装置とを有するビデオ処理装置。
JP2002566968A 2001-02-21 2002-01-11 動き推定の容易化 Expired - Fee Related JP4197434B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01200623 2001-02-21
PCT/IB2002/000068 WO2002067576A1 (en) 2001-02-21 2002-01-11 Facilitating motion estimation

Publications (3)

Publication Number Publication Date
JP2004519901A JP2004519901A (ja) 2004-07-02
JP2004519901A5 JP2004519901A5 (ja) 2008-01-24
JP4197434B2 true JP4197434B2 (ja) 2008-12-17

Family

ID=8179917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002566968A Expired - Fee Related JP4197434B2 (ja) 2001-02-21 2002-01-11 動き推定の容易化

Country Status (6)

Country Link
US (1) US7023920B2 (ja)
EP (1) EP1364528A1 (ja)
JP (1) JP4197434B2 (ja)
KR (1) KR100857731B1 (ja)
CN (1) CN1224246C (ja)
WO (1) WO2002067576A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592258B1 (en) * 2004-04-30 2011-01-12 Panasonic Corporation Motion estimation employing adaptive spatial update vectors
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
KR100968642B1 (ko) * 2004-05-25 2010-07-06 엔엑스피 비 브이 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
CN1333327C (zh) * 2004-05-26 2007-08-22 凌阳科技股份有限公司 用以判断轨迹行为的最佳相关匹配方法及系统
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
US7982800B2 (en) * 2007-02-02 2011-07-19 Freescale Semiconductor, Inc. Video de-interlacer using motion residue compensation
JP4915317B2 (ja) * 2007-09-05 2012-04-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20110170604A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing device and method
US9100535B2 (en) * 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
KR101498124B1 (ko) 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
US20140218613A1 (en) * 2011-07-13 2014-08-07 Zoran Zivkovic Method and apparatus for motion estimation in video image data
ITTO20110654A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Generatore di segnale test, segnale test per apparecchi
CN114640850A (zh) * 2022-02-28 2022-06-17 上海顺久电子科技有限公司 视频图像的运动估计方法、显示设备和芯片

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0261137B1 (en) * 1986-03-19 1991-10-16 British Broadcasting Corporation Tv picture motion measurement
JP3226539B2 (ja) 1991-05-24 2001-11-05 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
US5237413A (en) * 1991-11-19 1993-08-17 Scientific-Atlanta, Inc. Motion filter for digital television system
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
US5329317A (en) 1992-09-30 1994-07-12 Matsushita Electric Corporation Of America Adaptive field/frame filter for interlaced video signals
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
EP0697788A3 (en) 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
KR0171146B1 (ko) * 1995-03-18 1999-03-20 배순훈 특징점을 이용한 움직임 벡터 검출 장치
KR100391192B1 (ko) 1995-04-11 2003-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력필드처리방법및장치및텔레비전신호수신기
US5687097A (en) 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
DE19609197A1 (de) * 1996-03-09 1997-09-11 Philips Patentverwaltung Schaltungsanordnung zur Störsignalbefreiung von Videosignalen
US6081606A (en) * 1996-06-17 2000-06-27 Sarnoff Corporation Apparatus and a method for detecting motion within an image sequence
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
WO1999022520A2 (en) * 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts

Also Published As

Publication number Publication date
KR100857731B1 (ko) 2008-09-10
JP2004519901A (ja) 2004-07-02
US20020126760A1 (en) 2002-09-12
KR20030011311A (ko) 2003-02-07
EP1364528A1 (en) 2003-11-26
CN1461556A (zh) 2003-12-10
CN1224246C (zh) 2005-10-19
WO2002067576A1 (en) 2002-08-29
US7023920B2 (en) 2006-04-04

Similar Documents

Publication Publication Date Title
KR100360893B1 (ko) 영상 움직임 보상 장치 및 방법
EP0549681B2 (en) Video image processing
KR100657280B1 (ko) 신경망을 이용한 이미지 순차주사화 방법 및 장치
JP4197434B2 (ja) 動き推定の容易化
US20100271484A1 (en) Object tracking using momentum and acceleration vectors in a motion estimation system
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
JP2001054075A (ja) 画像信号の動き補償走査変換回路
US5347312A (en) Motion compensated video signal processing
KR20050061556A (ko) 고장시 조치를 갖는 이미지 처리 유닛
KR20010042388A (ko) 카메라 비디오 또는 필름으로부터 텔레비젼 신호를 역비월주사하기 위한 시스템
EP2564588B1 (en) Method and device for motion compensated video interpoltation
US6925124B2 (en) Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
US20040071313A1 (en) Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
GB2263602A (en) Motion compensated video signal processing
JPH08163573A (ja) 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
EP0647919B1 (en) Method and apparatus for correcting motion vectors
KR960012490B1 (ko) 고선명티브이의 영상포맷 변환 장치 및 방법
US20070036466A1 (en) Estimating an edge orientation
JP2006303910A (ja) フィルムモード検出装置
GB2315182A (en) Global motion vector validation
Robert et al. Advanced high-definition 50 to 60-hz standards conversion
JP4597282B2 (ja) 画像情報変換装置、変換方法および表示装置
JPS62289080A (ja) 画素補間装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20071003

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080311

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees