JP4197434B2 - 動き推定の容易化 - Google Patents
動き推定の容易化 Download PDFInfo
- Publication number
- JP4197434B2 JP4197434B2 JP2002566968A JP2002566968A JP4197434B2 JP 4197434 B2 JP4197434 B2 JP 4197434B2 JP 2002566968 A JP2002566968 A JP 2002566968A JP 2002566968 A JP2002566968 A JP 2002566968A JP 4197434 B2 JP4197434 B2 JP 4197434B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- image data
- image
- error amount
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、ビデオ信号における動き推定を容易にする装置及び方法に関する。このような方法は、特に、限定はしないが、(MC-VFCとして知られている)動き補償ビデオフォーマット変換の分野における3-D再帰的ブロックマッチング技術(3-D recursive block matching technique)に対するアプリケーションを見出せる。
【0002】
動き推定は、一般的に、次のステップ、即ち1)多数の動きベクトル候補(candidate motion vectors)を取得するステップと、2)これら動きベクトル候補の各々に対するエラー量(error measure)を算出するステップと、3)最良のベクトルを選択するステップとを有する。このプロセスは画像の全ての部分に適用される。これは概して非常に計算の多いタスク(computationally intensive task)であるので、候補の数を制限しながらも、算出される動きベクトルの高い精度及び信頼性を保つために多くの方法及び方策が提案されている。
【0003】
【従来の技術】
MC-VFCに適するとりわけ効果的な検索装置は、G. de Haan氏らにより"True motion estimation with 3-D recursive block-matching", IEEE Trans. CSVT, Oct. '93 pp. 368-388に記述された3-D再帰的検索ブロック整合器(3-D Recursive Search Block matcher)(3D-RS)において利用されている。
【0004】
フィルムモードにおける走査レート変換のための動き推定は、2つの連続するフレームの間の類似領域及び高度の類似性が存在する場所を検出するために2つのフレーム(通常は前のフレーム及び現在のフレーム)の画像ブロックの比較を有し、類似領域の位置の差が動きベクトルを表す。次いで、ビデオフォーマット変換においては、2つの元々は連続するフレームの間に時間的に位置する新たな(且つ前に存在しない)データのフレームを構成するために、画像データが動きベクトルの一部によってシフトされる。
【0005】
【発明が解決しようとする課題】
ビデオ信号では、このようなフォーマット変換が必要とされる場合には、ビデオが、通常、(1フレーム=2フィールドであり、一方のフィールドがフレームの奇数ラインを含み、次のフィールドがフレームの偶数ラインを含む)インタレースフォーマットでブロードキャストされることから、少しばかりより複雑な問題が生じる。ここで、ビデオシーケンスは、フレームの垂直方向において分割された奇数ライン又は偶数ラインを含む連続したフィールドを含む。このようなインタレースフォーマットは、半分のラインが「欠落」しているので、画像部の間の類似性の検出を妨げることがある。これは、2つの連続するフィールド(即ち、奇数ラインを備える1つのフィールド及び偶数のラインを備える1つのフィールド)が、該2つの連続するフィールドが画像中の異なる垂直位置から生じることから直接的には互いに比較され得ないので、「動きのない」領域に対してとりわけ当てはまる。
【0006】
上記問題に対する或る部分的な解決策は、インタレース化解除アルゴリズム(de-interlacing algorithm)を適用することにより与えられ得る。このようなアルゴリズムにおいては、受け取られたフィールドは、奇数ラインと偶数ラインとの両方を含むフレームを構築するように(例えば内挿法により)電子的に処理されることができ、次いで、その後に受け取られたフィールドは、このような組立フレーム(built-up frame)中の対応ラインと比較されることができる。しかしながら、このような対応ラインは自然に生じているものではなく計算の結果であるから、インタレース化解除アルゴリズムにおけるエラーが動き推定器における「動きなし」の検出の質に影響を及ぼすことが認識されることになる。
【0007】
米国特許公報第US-A-5,682,205号(イーストマン コダック社)は、複数の連続するインタレース画像フィールドからインタレース化解除された出力画像を生成するプロセス及び装置を開示している。この特許によれば、同じ極性(即ち、偶数/偶数又は奇数/奇数)のフィールドが、常に、動きを推定するために互いと比較される。これの1つの結果として、比較されるフィールドが常に非連続的であるので、比較的に大きな「時間的間隔」があることとなる。
【0008】
米国特許公報第US-A-5,329,317号(マツシタ・エレクトリック・コーポレーション・オブ・アメリカ)は、インタレースビデオ信号のためのフィールド/フレーム適応フィルタを開示している。この開示においては、静止画がある場合には、フレームフィルタリングが優先的に適用されるのに対し、画像又は画像の一部が動く場合には、フィールドフィルタリングが選択される。このようにして、フィールドフィルタリング及びフレームフィルタリングの両方がなされ、動き検出器の出力に依存してそれらの結果が併合される。動き検出器は常に2フレーム単位で動作する。
【0009】
本発明の好ましい実施例の目的は、フィルムモードの推定において用いられるようなフレームベースの動き推定器を、比較的に経済的な方式でビデオモードの推定における使用のために適応させることのできる方法を提供することにある。別の狙いは、従来技術の問題の少なくとも幾つかをある程度まで回避又は克服する、動きベクトルの後続の選択を容易にする手段及び方法を提供することである。
【課題を解決するための手段】
このため、本発明は、独立請求項において規定されているような動き推定を提供する。有利な実施例は従属請求項において規定されている。
【0010】
ここで、画像データの第1グループはインタレース信号の第1フィールドとすることができ、画像データの第2グループはインタレース信号の第2フィールドとすることができ、画像データの第3グループはインタレース信号の第3フィールドとすることができる。好ましい実施例において、これはインタレースタイプの信号であるので、第1フィールド及び第3フィールド(並びに第2フィールド及び第4フィールドなど)は同じ奇偶性のものとなる〔即ち、両方が画像の奇数ラインを表すか又は両方が画像の偶数ラインを表す〕。
【0011】
本発明の好ましい実施例においては、動きベクトル候補のうちの1つが零ベクトルとなる。前記零ベクトルは、一方のフレームの中の1つの画像部を別のフレームの中の同じ画像部(即ち同じ位置)に直接的にマップするベクトルである。零ベクトルは、該零ベクトルが「動きのない」ことを表すので非常に重要なベクトルであり、前記零ベクトルは自然のビデオシーケンスにおいて頻繁に生じる。これら画像部の画像データが同一である場合には、その画像部に対して「動きのない」状態があり、その零ベクトルの第1エラー量は、好適実施例では零となる。しかし、それら画像部の画像データが同一でない場合には、定量化可能な非零の第1エラー量となることとなる。
【0012】
本発明に基づいて画像データの第1グループ及び第3グループを比較することにより、インタレース信号中の零ベクトルは、常に同じ奇偶性のフィールドの間でテストされる。この結果、画像データの前記第1グループ及び前記第3グループを用いて算出されるエラー量は、画像データの該第1グループ及び第2グループ又は該第2グループ及び該第3グループを用いるなどして非類似の奇偶性のフィールド(non-like parity fields)の2つの連続するグループを用いて算出されるエラー量より著しく信頼性が高い。それ故、本発明の好ましい実施例においては、出力エラー量が、主として又は専ら、画像データの前記第1グループ及び前記第3グループからのエラー量から構成されることになる。しかしながら、非零の動きベクトル候補の場合は、画像データの前記第1グループ及び前記第2グループ又は該第2グループ及び前記第3グループを用いて算出されるエラー量が、画像データの該第1グループ及び該第3グループを用いるエラー量より信頼性が高い。このため、前記出力エラー量は、主として又は専ら、画像データの前記第1グループ及び前記第2グループからのエラー量か又は該第2グループ及び前記第3グループからのエラー量から構成されることになる。
【0013】
所与の画像部に対する最良の動きベクトル候補は、出力エラー量の最小のものと関連した動きベクトル候補とすることができる。
【0014】
第1エラー量及び第2エラー量からの出力エラー量の算出は、関連の動きベクトル候補のベクトル長に基づくものとすることができる。好ましくは、前記動きベクトル候補の長さが零である場合は、前記第1エラー量が出力エラー量として用いられる。好ましくは、垂直動きベクトル成分が等しい場合には必ず前記第1エラー量が用いられる。好ましくは、前記動きベクトル候補の長さが最大値Vmaxを上回る場合は、前記第2エラー量が出力エラー量として用いられる。好ましくは、前記動きベクトル候補の長さが零とVmaxとの間にある場合、前記第1エラー量及び前記第2エラー量の双方は、組み合わせ出力エラー量を算出するために用いられる。
【0015】
好ましくは、その組み合わせエラー量は、関連する動きベクトル候補の第1エラー量と第2エラー量との間のフェード・オーバ(fade over)の結果である。
【0016】
エラー量は、動きベクトル候補に対して、一方の画像の一部を他方の画像の一部と比較し、合計絶対差(summed absolute difference)の算出を行なうことにより算出され得る。
【0017】
画像データの第1グループは、単一のフィールドだけ(すなわち、奇数ビデオライン又は偶数ビデオラインのみからなる第1フィールド又は第2フィールド)を有しても良く、或いは両方のフィールドから成る完全なフレームのものを有しても良い。ビデオシーケンスがフィルム題材から作り出された場合には、2つの連続するフィールドが1つの時間的位置から作り出され得る。このような場合には、画像データの前記第1グループは、ただ単に2つの連続するフィールドを組み合わせることにより構成されるフレームとすることができる。他の例においては、前記フレームがより高度なインタレース化解除の計算により構成されても良く、前記より高度なインタレース化解除の計算のために多くのアルゴリズムが存在する。画像データの前記第1グループが完全なフレームである場合には、画像の垂直解像度が単一のフィールドと比較して増大される。結果として、エラー量は、関係する画像部の類似性をより正確に表現するものとなり、斯くして、動き推定器の結果の質が向上することになることが見込まれ得る。
【0018】
上記から認識されるように、前記方法を実施し、それによって動き補償を容易にするために、本発明の方法は3フィールドのデータのための記憶しか必要としない。画像データの前記第1グループがフレームである場合には、全部で1つのフレームと2つのフィールドとが必要とされる。
【0019】
本発明はまた、動きベクトル候補の選択が本発明の方法によって容易にされる動き推定方法を利用するビデオ動き推定を組み込むビデオ処理装置にも拡張し得る。
【0020】
本発明のよりよい理解のため及び同じものの実施例がいかにして実施され得るかを示すために、以下に一例として添付する概略的な図面に対する参照がなされる。
【0021】
【発明の実施の形態】
図1は、第1フィールド10を有する画像データの第1グループ、第2フィールド20を有する画像データの第2グループ及び第3フィールド30を有する画像データの第3グループを示している。
【0022】
第1フィールド、第2フィールド及び第3フィールドは、例えばインタレースビデオ信号の連続するフィールドを表す前のフィールド(N-2)、現在のフィールド(N-1)及び次のフィールド(N)であり得る。第1フィールド10及び第3フィールド30が同じ奇偶性を持つ(即ち、これらのフィールドが両方ともフレームの偶数ライン又はフレームの奇数ラインのいずれかを表す)のに対して、第2フィールド20は第1フィールド10及び第3フィールド30と異なる奇偶性のものとなる。
【0023】
図1においては、第1フィールド10の第1画像部12が図示されている。第2フィールド20の第2画像部22及び第3フィールド30の第3画像部32もまた示されている。
【0024】
本発明の実施例によれば、第1エラー量を算出するために第1フィールド10の画像部が第3フィールド30中の画像部と比較され、第2エラー量を算出するために第1フィールド10の同じ又は略々同じ画像部も第2フィールド20の画像部と比較される。
【0025】
第2エラー量は連続する画像グループの如何なる対からとられても良く、故に、この場合には、第2フィールド20の第2画像部22を第3フィールド30の第3画像部32と比較することにより同様に算出され得ることは認識されるであろう。しかしながら、以下に記載されている特定の例は、第2エラー量が第1画像部12と第2画像部22との比較から導き出されることを前提にしている。
【0026】
図1においては、第1画像部と第2画像部との間の公称動きベクトルが矢印Vpcによって表されており、第1画像部と第3画像部との間の延長動きベクトルが矢印Vpnによって表されている。公称動きベクトルと延長動きベクトルとの両方とも同じ又は略々同じオブジェクト速度(object velocity)を表す。ここで、画像部は、例えば、ピクセルのグループ(例えばブロック又はライン)などの画像データを表す画像の領域であると理解され得る。エラー量は、合計絶対差(SAD)アルゴリズムを用いることによって値を求められ得る。このようなアルゴリズムは当業界で良く知られており、この量を算出するための詳細をここで説明する必要はない。
【0027】
図1においては、動きベクトルが算出される必要がある画像の単一の部分のみに対する単一の動きベクトル候補のみが示されている。好ましい実施例においては、1組の動きベクトル候補のために同様の計算を行ない、その後に画像のその特定部分に対する最良の動きベクトルの選択を行うのが一般的な用法である。また、このプロセスは、一般に画像の全ての部分に対して繰り返され、これは画像中の全ての位置において既知の動きベクトルをもたらす。
【0028】
一般に、動きベクトル候補のうちの1つは零ベクトルとなる。その場合に、画像部12及び32は、画像中の同じ位置にあり、同じフィールド奇偶性を持つ。結果として、これらの2つの画像部どうしの比較が画像成分の類似性の信頼性の高い測定法となる。斯くして、かかる比較は、(以下に記載される)出力エラー測定として用いられることになる。零ベクトル以外の動きベクトル候補に対しては、画像部12と22との比較がこれらの画像部の間の類似性を算出するために用いられ、これにより、かかる比較が出力エラー量の値を求めるために用いられることになる。
【0029】
ここで図2を参照すると、それぞれ所与の延長動きベクトル候補及び公称動きベクトル候補に対する第1エラーブロック(Error1)40における第1エラー量及び第2エラーブロック(Error2)50における第2エラー量の値を求める方法が概略的に示されている。
【0030】
絶対差計算の第1合計を行ない得る第1エラーブロック(Error1)40において、第1フィールド10の画像部12の画像データIP1previous と第3フィールド30の第3画像部32の画像データIP2next との間のエラーが計算され第1エラー量Errorpn が形成される。第1フィールド10の第1画像部12の画像データIP1previous と第2フィールド20の画像部22の画像データIP3current との間のエラーは、第2エラーブロック(Error2)50(例えば絶対差の第2合計のブロック)において算出され第2エラー量 Error pc を形成する。
【0031】
第1フィールド10の特定部分に対する最良の動きベクトル候補を見出すためには、動きベクトル候補がテストされるのと同じぐらい多く、複数のError1ユニット(又は計算)が必要となることが分かる。同様に、複数のError2ユニット(又は計算)があり得る。実際には、複数のユニット40及び50は、時分割多重化された形で利用される1つ以上のユニットとしてもよい。
【0032】
図3は、第1エラー量Errorpn及び第2エラー量Errorpcを受け取る適応フェーダユニット60を示している。適応フェーダユニット60においては、出力エラー量Errorout は、制御入力kの値に応じて、Errorpn、Errorpc又は合成された混合中間値(synthesized mix intermediate) Errorpn/Errorpcのいずれかとなるよう選択される。
【0033】
図4は、混合値(mixing vlue)kがいかにして決定され得るかを示している。図4においては、kが、動きベクトル候補の所与のベクトル長(Vmax)にわたって零から1までの線形な推移(linear progression)を持つベクトル長VLの関数であるように示されている。とりわけ、動きベクトル候補の長さが零である場合は、kは零であり、このベクトル長が値Vmax以上である場合は、kは1である。0とVmaxとの間の動きベクトル候補の長さに対しては、kが線形的に補間される。例えば、Vmax=1である場合には0.75のベクトル長に対してk=0.75である。
【0034】
図示されているkの推移に基づく単純な混合アルゴリズムは、Errorout=k*Errorpc+(1-k)*Errorpnにより与えられ得る。
【0035】
第1エラー量及び第2エラー量を組み合わせるためのより一般的な等式を導き出してもよい。例えば、動きベクトル候補の長さがLであると仮定すると、関数f(L)は、L=0である場合に零であり、入力が0とVmaxとの間である場合には0から1まで増大することになるものと規定することができる。それ故、このような概念上の関数(notional function)では、動き推定器に供給されるべき出力エラー量Erroroutが、Errorout=f(L)*Errorpc+(1-f(L))*Errorpnとして与えられ得る。
【0036】
上記から、フェーダユニット60の動作により、出力エラー量Errorout は、Errorpc、Errorpn又はフェードオーバの結果である中間値となることが分かる。
【0037】
計算の何らかの節減が達成され得ることが認識されるであろう。フェーダがErrorpcしか用いない場合には、Errorpnの値が算出される必要はない。同様に、フェーダがErrorpnしか用いない場合には、Errorpcの値が算出される必要はない。エラー量が必要とされない場合には、エラー量が導き出される元の画像データも必要とされない。これにより、計算時間、電力又はメモリアクセス(即ちメモリ帯域幅)などの幾つかのシステム資源を節減し得る。
【0038】
ビデオシーケンスがフィルム題材から作り出される場合には、2つの連続するフィールドが1つの時間的位置から作り出され得る。このような場合には、第2画像及び第3画像の両方が単一の元フレームから作り出され得る。その結果、動きベクトル候補は延長される必要がなく、公称動きベクトル及び延長動きベクトルの両方が等しいものとなる。フレームベースのエラー量は今までどおりErrorpn及びErrorpcの両方の算出を行なうことにより得られ得る。フェーダ60のk値が(動きベクトル候補の長さとは無関係の)0.5にされる場合には、これら2つのエラー量は、値Erroroutを算出するために平均化される。このように、(種々のブロックの制御において軽微な適応しか伴わない)同じシステムは、全フレームエラー量を算出しており、これにより出力エラー量の質を向上させる。
【0039】
更に、本発明の方法の好ましい実施例は、第3画像を有効にすることなしでも用いられ得ることが分かる筈である。明らかに、この場合には値Errorpnが算出され得ず、故にフェーダの制御パラメータkが1という値にされる必要がある。結果として、メモリ、帯域幅及び電力のような幾つかのシステム資源が動き推定器の質の低減を代償にして節減され得る。
【0040】
図5を参照すると、動き推定装置へ動きベクトル候補の適合性に関する表示を供給する装置が概略的に示されている。この装置は、3つの連続する画像データのグループから画像データを受け取り、記憶する記憶手段70と、動き推定装置90のベクトル選択部に送られる動きベクトル候補のエラー量を算出する処理手段80とを有し、これらの構成要素の各々はテレビセット、VCRなどといったより大きなビデオ処理装置100の一部を形成する。前記処理手段は、図1、図2、図3及び図4によって図示されているように上述した方法に基づいて動作する。
【0041】
上記においては、動き推定器における動きベクトル候補の適合性を示す出力エラー量の生成に関して方法を説明した。勿論、この方法は、画像全体に対する動きベクトル及び出力エラー量を供給するために、当該画像の全ての画像部及び全ての動きベクトル候補に同様に適用される。
【0042】
本発明に記載の方法は、動きベクトル候補の数にも、動きベクトル候補のソース(source)にも、動きベクトル候補の長さの位置的制限(potential limitation)にも、動きベクトル候補のセットの他の特性にも、個々の動きベクトル候補自体の他の特性にも無関係であることを理解されたい。
【0043】
本発明において説明される方法において算出されるエラー量は、動き推定器のための唯一の選択基準ではなくても良いことも理解されるであろう。
【0044】
エラー量は画像データの第1/第3及び第1/第2グループの画像部における画像データの間にいかに近い合致があるかを示すので、これらエラー量は、該エラー量がそれによって構成されるべきフレームにおいてなされるべき適当なデータの代入(substitution)の選択を容易にするので、動き推定方法全体により必要とされるどんなフォーマットにおいても供給され得ることが認識されるであろう。このことを念頭に置くと、本発明の方法は、多くのタイプの動き推定システム及び方法に適用され得る。
【0045】
本発明の教示内容を組み込んでいる幾つかの動き推定方法は、第1エラー量及び第2エラー量以外のエラー量の供給を要しないようにすることもでき、それ故、フェードオーバ・アルゴリズム及び方法は、オプションであると理解されたい。他の例においては、動き推定方法は第1エラー量と第2エラー量とのスイッチとすることができる。
【0046】
上記は、いかにして画像データの3つの連続するグループが動き推定システム及び方法の一部として利用され得るのかを記載している。前記装置及び方法は、小さいベクトルの場合は、大きいベクトルの場合より画像間のより大きな時間間隔が用いられるように、零又は小さいベクトル候補が大きいベクトルと比較して異なるように扱われる高度なシステムを提供する。好ましい実施例においては、3フィールドの画像データしか必要とされないので、前記方法は、通常は2フレームのデータのための記憶装置を供給する走査レート変換のための既存の装置において容易に実施可能である。他の好ましい実施例においては、画像データの第1グループがフレームであっても良く、画像データの他の2つのグループが2つのフィールドであっても良い。このような場合には、合計4フィールドの画像データが必要とされる。前記方法がフィルムモードで適用される場合には、これら4つのフィールドは2つの元のフィルムフレームを有し得る。
【0047】
前記方法においては、インタレースフィールドの場合においても、零ベクトルの適用可能性に対する簡単なテストをなすことができる。或る特定の実施例においては、前記方法が、同じ奇偶性の画像データ(フィールド)のグループに対しては零ベクトルのテストしか必要としない一方で、隣接する非類似の奇偶性のグループの間では他のテストがなされる。
【0048】
ハードウェア上の機能が記載されている場合には必ず、これらはソフトウェアの同等物によって置き換えられても良く、逆の場合も同様であることも認識されるであろう。
【0049】
本発明は、本明細書に記載されている実施例には限定されず、添付されている特許請求の範囲によってしか限定されない。特許請求の範囲においては、括弧の間に置かれているいかなる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。「有する」という用語は、特許請求の範囲において列挙されている要素又はステップ以外の要素又はステップの存在を除外しない。要素の単数形表記は、斯様な要素の複数の存在を除外しない。本発明は、幾つかの別個の要素を有するハードウェア及び適当にプログラムされたコンピュータによって実施され得る。幾つかの手段を列挙している装置クレームにおいては、これらの手段のうちの幾つかはハードウェアの同一要素によって実施され得る。単に或る方策が互いに異なる従属項において再び引用されているという事実は、これらの方策の組み合わせが有利に用いられえないことを示しているわけではない。
【図面の簡単な説明】
【図1】画像データの3つのグループ及び該3つのグループをつなぐ動きベクトル候補を概略的に示す図。
【図2】本発明の実施例によるエラー計算の動作を概略的に示す図。
【図3】エラーデータの処理のためのフェーダユニットを概略的に示す図。
【図4】図3のフェーダの制御用のフェードオーバ・アルゴリズムを示す図。
【図5】本発明の方法の実施のための装置を示す概略的なブロック図。
Claims (7)
- 動き推定に用いるための公称動きベクトル候補の出力エラー量を発生するための方法であって、
連続した第1、第2及び第3グループの画像データから画像データを受け取るステップであって、前記第1グループがインターレースフィールド又はフレームであり、前記第2及び第3グループがそれぞれインターレースフィールドであるステップと、
前記第1グループの画像データのうちの第1画像部、前記第2グループの画像データのうちの第2画像部及び前記第3グループの画像データのうちの第3画像部を識別するステップであって、これら3つの画像部の位置は、前記動きベクトル候補により示される動きの軌道に応じて各グループの画像データにおいて互いに略対応するようにしたステップと、
前記第1画像部と前記第3画像部との画像データ値の差に関するテストをし、その差に応じた量を第1エラー量として定量化することにより該第1エラー量を算出するステップと、
前記第1画像部と前記第2画像部との画像データ値の差又は前記第2画像部と前記第3画像部との画像データ値の差に関するテストをし、その差に応じた量を第2エラー量として定量化することにより該第2エラー量を算出するステップと、
前記動きベクトル候補のベクトル長及び/又は垂直動きベクトル成分に依存した加重により前記第1エラー量及び前記第2エラー量の加重平均を計算することにより前記動きベクトル候補の出力エラー量を発生するステップと、
を有する方法。 - 請求項1に記載の方法であって、前記動きベクトル候補の長さが最大長Vmaxを上回る場合に、前記第2エラー量が前記出力エラー量として選択される、方法。
- 請求項1に記載の方法であって、前記動きベクトル候補のベクトル長が零とVmaxとの間にある場合には、前記出力エラー量を前記第1エラー量と前記第2エラー量との組み合わせに基づく値とする、方法。
- 請求項3に記載の方法であって、前記出力エラー量が等式Errorout=f(L)*Errorpc+(1-f(L))*Errorpnにより与えられ、ここで、Erroroutは前記出力エラー量であり、Errorpcは前記第2エラー量であり、Errorpnは前記第1エラー量であり、f(L)は、前記ベクトル長がVmax以上である場合に1であり、前記ベクトル長が零である場合に零となる前記動きベクトル候補のベクトル長の関数である、方法。
- 請求項2に記載の方法であって、Vmaxより長いベクトル長を持つ動きベクトル候補に対しては、前記第3画像部が用いられず、この場合には、前記出力エラー量は前記第2エラー量のみを有し、対応する前記第1エラー量の算出を必要としない、方法。
- 動き推定装置に用いるための公称動きベクトル候補の出力エラー量を発生する装置であって、
連続した第1、第2及び第3グループの画像データから画像データを受け取り記憶する手段であって、前記第1グループがインターレースフィールド又はフレームであり、前記第2及び第3グループがそれぞれインターレースフィールドである記憶手段と、
前記第1グループの画像データのうちの第1画像部、前記第2グループの画像データのうちの第2画像部及び前記第3グループの画像データのうちの第3画像部を識別し、その際、これら3つの画像部の位置は、前記動きベクトル候補により示される動きの軌道に応 じて各グループの画像データにおいて互いに略対応するようにし、前記第1画像部と前記第3画像部との画像データ値の差に関するテストをし、その差に応じた第1エラー量として定量化することにより該第1エラー量を算出し、前記第1画像部と前記第2画像部との画像データ値の差又は前記第2画像部と前記第3画像部との画像データ値の差に関するテストをし、その差に応じた量を第2エラー量として定量化することにより該第2エラー量を算出し、前記動きベクトル候補のベクトル長及び/又は垂直動きベクトル成分に依存した加重により前記第1エラー量及び前記第2エラー量の加重平均を計算することにより前記動きベクトル候補の出力エラー量を発生するようにした処理手段と、
を有する装置。 - 請求項1に記載の方法を実行する手段と、この手段からの前記出力エラー量を受ける動き推定装置とを有するビデオ処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01200623 | 2001-02-21 | ||
PCT/IB2002/000068 WO2002067576A1 (en) | 2001-02-21 | 2002-01-11 | Facilitating motion estimation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004519901A JP2004519901A (ja) | 2004-07-02 |
JP2004519901A5 JP2004519901A5 (ja) | 2008-01-24 |
JP4197434B2 true JP4197434B2 (ja) | 2008-12-17 |
Family
ID=8179917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002566968A Expired - Fee Related JP4197434B2 (ja) | 2001-02-21 | 2002-01-11 | 動き推定の容易化 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7023920B2 (ja) |
EP (1) | EP1364528A1 (ja) |
JP (1) | JP4197434B2 (ja) |
KR (1) | KR100857731B1 (ja) |
CN (1) | CN1224246C (ja) |
WO (1) | WO2002067576A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1592258B1 (en) * | 2004-04-30 | 2011-01-12 | Panasonic Corporation | Motion estimation employing adaptive spatial update vectors |
EP1592255A1 (en) * | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Motion vector estimation with improved motion vector selection |
KR100968642B1 (ko) * | 2004-05-25 | 2010-07-06 | 엔엑스피 비 브이 | 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체 |
CN1333327C (zh) * | 2004-05-26 | 2007-08-22 | 凌阳科技股份有限公司 | 用以判断轨迹行为的最佳相关匹配方法及系统 |
KR100763182B1 (ko) | 2005-05-02 | 2007-10-05 | 삼성전자주식회사 | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 |
KR101356734B1 (ko) * | 2007-01-03 | 2014-02-05 | 삼성전자주식회사 | 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치 |
US7982800B2 (en) * | 2007-02-02 | 2011-07-19 | Freescale Semiconductor, Inc. | Video de-interlacer using motion residue compensation |
JP4915317B2 (ja) * | 2007-09-05 | 2012-04-11 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
US20110170604A1 (en) * | 2008-09-24 | 2011-07-14 | Kazushi Sato | Image processing device and method |
US9100535B2 (en) * | 2008-10-22 | 2015-08-04 | Entropic Communications, Llc | Device and method for motion estimation and compensation |
KR101498124B1 (ko) | 2008-10-23 | 2015-03-05 | 삼성전자주식회사 | 움직임 궤적을 이용한 프레임률 향상 장치 및 방법 |
US20140218613A1 (en) * | 2011-07-13 | 2014-08-07 | Zoran Zivkovic | Method and apparatus for motion estimation in video image data |
ITTO20110654A1 (it) * | 2011-07-20 | 2013-01-21 | Inst Rundfunktechnik Gmbh | Generatore di segnale test, segnale test per apparecchi |
CN114640850A (zh) * | 2022-02-28 | 2022-06-17 | 上海顺久电子科技有限公司 | 视频图像的运动估计方法、显示设备和芯片 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0261137B1 (en) * | 1986-03-19 | 1991-10-16 | British Broadcasting Corporation | Tv picture motion measurement |
JP3226539B2 (ja) | 1991-05-24 | 2001-11-05 | ブリティッシュ・ブロードキャスティング・コーポレーション | ビデオ画像処理 |
US5237413A (en) * | 1991-11-19 | 1993-08-17 | Scientific-Atlanta, Inc. | Motion filter for digital television system |
US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
US5329317A (en) | 1992-09-30 | 1994-07-12 | Matsushita Electric Corporation Of America | Adaptive field/frame filter for interlaced video signals |
KR0126871B1 (ko) * | 1994-07-30 | 1997-12-29 | 심상철 | 양방향 이동벡터 추정을 위한 고속 블럭정합 방식 |
EP0697788A3 (en) | 1994-08-19 | 1997-03-26 | Eastman Kodak Co | Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing |
KR0171146B1 (ko) * | 1995-03-18 | 1999-03-20 | 배순훈 | 특징점을 이용한 움직임 벡터 검출 장치 |
KR100391192B1 (ko) | 1995-04-11 | 2003-11-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 입력필드처리방법및장치및텔레비전신호수신기 |
US5687097A (en) | 1995-07-13 | 1997-11-11 | Zapex Technologies, Inc. | Method and apparatus for efficiently determining a frame motion vector in a video encoder |
DE19609197A1 (de) * | 1996-03-09 | 1997-09-11 | Philips Patentverwaltung | Schaltungsanordnung zur Störsignalbefreiung von Videosignalen |
US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
DE69727911D1 (de) * | 1997-04-24 | 2004-04-08 | St Microelectronics Srl | Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens |
WO1999016251A1 (en) * | 1997-09-23 | 1999-04-01 | Koninklijke Philips Electronics N.V. | Motion estimation and motion-compensated interpolation |
WO1999022520A2 (en) * | 1997-10-29 | 1999-05-06 | Koninklijke Philips Electronics N.V. | Motion vector estimation and detection of covered/uncovered image parts |
-
2002
- 2002-01-11 KR KR1020027014094A patent/KR100857731B1/ko not_active IP Right Cessation
- 2002-01-11 CN CNB028012399A patent/CN1224246C/zh not_active Expired - Fee Related
- 2002-01-11 EP EP02742439A patent/EP1364528A1/en not_active Withdrawn
- 2002-01-11 WO PCT/IB2002/000068 patent/WO2002067576A1/en active Application Filing
- 2002-01-11 JP JP2002566968A patent/JP4197434B2/ja not_active Expired - Fee Related
- 2002-02-19 US US10/078,953 patent/US7023920B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR100857731B1 (ko) | 2008-09-10 |
JP2004519901A (ja) | 2004-07-02 |
US20020126760A1 (en) | 2002-09-12 |
KR20030011311A (ko) | 2003-02-07 |
EP1364528A1 (en) | 2003-11-26 |
CN1461556A (zh) | 2003-12-10 |
CN1224246C (zh) | 2005-10-19 |
WO2002067576A1 (en) | 2002-08-29 |
US7023920B2 (en) | 2006-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100360893B1 (ko) | 영상 움직임 보상 장치 및 방법 | |
EP0549681B2 (en) | Video image processing | |
KR100657280B1 (ko) | 신경망을 이용한 이미지 순차주사화 방법 및 장치 | |
JP4197434B2 (ja) | 動き推定の容易化 | |
US20100271484A1 (en) | Object tracking using momentum and acceleration vectors in a motion estimation system | |
US20100271554A1 (en) | Method And Apparatus For Motion Estimation In Video Image Data | |
JP2001054075A (ja) | 画像信号の動き補償走査変換回路 | |
US5347312A (en) | Motion compensated video signal processing | |
KR20050061556A (ko) | 고장시 조치를 갖는 이미지 처리 유닛 | |
KR20010042388A (ko) | 카메라 비디오 또는 필름으로부터 텔레비젼 신호를 역비월주사하기 위한 시스템 | |
EP2564588B1 (en) | Method and device for motion compensated video interpoltation | |
US6925124B2 (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit | |
KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
JP2001024988A (ja) | 画像信号の動き補償フレーム数変換方式および装置 | |
US20040071313A1 (en) | Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence | |
GB2263602A (en) | Motion compensated video signal processing | |
JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
EP0647919B1 (en) | Method and apparatus for correcting motion vectors | |
KR960012490B1 (ko) | 고선명티브이의 영상포맷 변환 장치 및 방법 | |
US20070036466A1 (en) | Estimating an edge orientation | |
JP2006303910A (ja) | フィルムモード検出装置 | |
GB2315182A (en) | Global motion vector validation | |
Robert et al. | Advanced high-definition 50 to 60-hz standards conversion | |
JP4597282B2 (ja) | 画像情報変換装置、変換方法および表示装置 | |
JPS62289080A (ja) | 画素補間装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20071003 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080311 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |