JPH11355778A - 動きフィ―ルド推定方法 - Google Patents

動きフィ―ルド推定方法

Info

Publication number
JPH11355778A
JPH11355778A JP11136342A JP13634299A JPH11355778A JP H11355778 A JPH11355778 A JP H11355778A JP 11136342 A JP11136342 A JP 11136342A JP 13634299 A JP13634299 A JP 13634299A JP H11355778 A JPH11355778 A JP H11355778A
Authority
JP
Japan
Prior art keywords
motion
image
estimating
value
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11136342A
Other languages
English (en)
Inventor
Ratakonda Krishna
ラタコンダ クリシュナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPH11355778A publication Critical patent/JPH11355778A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Abstract

(57)【要約】 【課題】 ディジタルビデオ画像の処理における２つの
画像間の動きベクトルの推定に関し、積分射影法の改善
技術を提供する。 【解決手段】 画像ブロック２４を有するターゲット画
像２３中の動きベクトルの１成分、この場合は垂直方向
成分は、複数の画素より成る画像ブロック２２を有する
ソース画像２１からの第１の繰返しによりソース平均ベ
クトルとターゲット平均ベクトル（この場合行平均ベク
トル）から推定される。この推定垂直動きベクトルに従
って探索領域を垂直方向に移動させる。次に残る第２の
動き成分（この場合水平方向の動き）を、新ターゲット
平均ベクトル（この場合列平均ベクトル）を計算した上
で、画像ブロック２６を有するターゲット画像２５中で
の第２の繰返しにより推定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動きベクトル推定
方法に関し、より具体的には、ディジタルビデオ画像の
処理において、特に２つのディジタル画像間のグローバ
ルアフィンパラメータと局所移動ベクトルを推定する方
法に関する。本発明の準射影マッチング方法は、ａ）デ
ィジタルビデオ圧縮システムにおける動き補償、ｂ）デ
ィジタルビデオ変換システムにおける動き補償（時間フ
ィルタ処理）、ｃ）パノラマ（モザイク）画像の構築、
ｄ）動きに基づくビデオ索引及び検索、ｄ）画像分解能
の向上及びｅ）画像の安定化のような用途に用いられ
る。
【０００２】
【従来の技術】本技術の現在状況においては、２つの画
像間の動きベクトルを推定する２種類の技術が含まれて
いる。第１種の技法は、ブロックマッチングに基づく動
き評価法であり、ソース画像ブロック内の個々の画像サ
ンプル値が、ターゲット画像の候補ブロック内の個々の
画像サンプルにマッチングされる。各対象画像候補ブロ
ックは予め定めた探索ウィンドウ内の１個所に対応する
ように配置されている。ブロックマッチング方式による
動き推定は現在のリアルタイム・ディジタルビデオ圧縮
システムに広く用いられている。
【０００３】ブロックマッチングは、１つの画像の異な
る部分間又は２つの異なる画像間のローカル又はグロー
バルな一致を要求する種々のディジタルビデオ応用装置
において用いられる重要なツールである。何らかの形状
を有するブロックのマッチングを用いる幾つかのアプリ
ケーションは、圧縮、追跡、認識及びビデオ内容の分析
を含んでいる。代表的な全探索ブロックマッチング方式
の動き補償システムは、画素（ピクセルまたはペル）毎
に２Ｎ2（Ｎ＋２Ｓ）2の加算／減算を要する。ここで、
Ｎはマッチングが行われるソースブロックとターゲット
ブロックの水平方向と垂直方向の寸法であり、Ｓは移動
しない対象ブロックの境界を越えて拡大する（画素単
位）領域の大きさを規定する。探索領域のサイズは、従
って、（Ｎ＋２Ｓ）×（Ｎ＋２Ｓ）画素領域である。上
記の演算回数は、歪みが画素値差分の絶対値の合計で与
えられると仮定し、歪み値を計算し累積するために各々
Ｎ2回の減算とＮ2回の加算を行なうことを意味する（実
際の加算回数はＮ2−１であるが、説明を簡単にするた
めに、実際の加算回数をＮ2と仮定する）。この回数は
（Ｎ＋２Ｓ）2に等しい探索領域内の探索位置数であ
る。計算は階層処理法を用いて或る程度軽減出来る。即
ち、或る形状のマルチ分解能分析で得た小バージョンの
画像で粗いブロックマッチングを行ない、次に原画像で
より小さい探索領域で微細ブロックマッチングを行な
う。
【０００４】２つの画像間の動きベクトルを推定する第
２種の技法は、ブロックの動きを推定するための積分射
影（インテグラル・プロジェクション）技法を含んでい
る。この積分射影は、二次元画像列のマッチングを各々
水平及び垂直の画像サンプル値を平均化して得た２つの
一次元ベクトルのマッチングに代える技法である。ター
ゲットブロック、即ち先行画像中の画像ブロックにおい
て、該ブロックとその回りの探索領域を加えた範囲で平
均化を行なう。ソースブロック、即ち現画像中のブロッ
クにおいては、そのブロックだけについて平均化する。
現在の積分射影法は、垂直及び水平方向の成分を同じ
（Ｎ＋２Ｓ）×（Ｎ＋２Ｓ）の対象領域から推定するた
めに、大きな移動の推定には制限がある。
【０００５】S.CainとK.Sauerはその文献“Efficient B
lock Motion Estimation Using integral projections
（積分射影を用いた有効ブロック動き量の推定）”（IE
EE Visual Signal Processing Workshop（視覚信号処理
ワークショップ））、258−263頁、1992年9月）におい
てビデオ符合化システムにおけるブロックの動きを推定
する積分射影技法を記述している。彼らの技法は、移動
が少さい間は多段階処理することを含んでいる。しかし
ながら、Cain他は画像内の動きが大きい場合の代替処理
法の存在を認識していない。さらに、彼らは、その考え
をグローバル変換又はアフィンモーションパラメータを
推定する問題に拡長させることは考えていない。
【０００６】I.H.LeeとR.Parkは、その文献“A Fast bl
ock matching Algorithm Using integral projections
（積分射影を用いた迅速ブロックマッチングアルゴリズ
ム）”（ＴＥＮＣＯＮ８７、第２巻、韓国ソウル市、19
87年8月25−28日）においてブロックマッチングにおけ
る積分射影を行なう迅速技法を記述している。彼らは、
探索画素個所数を減少させる目的で多段階処理を提案し
ている。前記の場合と同様に、彼らはこの方法を他に応
用することは考えていない。彼らの方法においては、積
分射影を用いてターゲットブロックのみを平均化するこ
とで小移動の制限を解決している。従って、従来のブロ
ックマッチングアルゴリズムにおけるように探索によっ
て各移動ベクトルを推定することが求められる。
【０００７】E.Ogura，Y.Ikeda，Y.Iida，Y.Hosoya，M.
Takasima，K.Yamashitaの文献“A Cost Effective Moti
on Estimation Processor LSI Using a Simple and Eff
icient Algorithm（単純で有効なアルゴリズムを用いた
コスト面で有利な動き推定処理LＳI）”（IEEE Transa
ctions on Consumer Electronics（消費者電子機器に関
する会報）、第41巻3号、1995年8月）には、行方向及び
列方向ベクトルのさらなる平均化を含む積分射影技法の
種々の単純化が記述されている。彼らもまた半画素の精
密な動き推定及び簡素化をサポートする一般アーキテク
チャを考えている。先述の２つのケースと同様に、彼ら
は他の応用装置を示しておらず、積分射影技法を探索と
共に用いて大きな移動を適当に推定出来るようにしてい
る。
【０００８】
【発明が解決しようとする課題】本発明は、上述のごと
き実情に鑑みてなされたもので、積分射影法の改善技法
を提供することを目的とする。本発明の他の目的は、ア
フィン動きモデル又は変換動きモデルのような所与の動
きモデルにおけるグローバルな動きパラメータ（グロー
バルモーションパラメータ）を推定する方法を提供する
ことである。本発明のさらに他の目的は、ブロックマッ
チングに基づく動き計算技法に比して演算上の利点を有
する方法を提供することである。本発明のさらに他の目
的は、積分射影法に比して動き推定精度を改善する動き
補償方法を提供することである。本発明の他の目的は、
最小のハードウェアコストで迅速に動きフィールドを生
成する一体型のディジタルビデオカメラのような消費者
向けビデオ機器を供給することである。
【０００９】本発明のさらなる他の目的は、ビデオ画列
の動き補償圧縮とビデオ画列の速度調整（時間）フィル
ターとビデオの索引及び検索を目的としたビデオ内容の
動きの分析を含む動きフィールド用装置を提供すること
である。本発明のさらなる他の目的は、１つのディジタ
ル画像から他のディジタル画像への大域的な動きパラメ
ータを推定する手段を含むディジタルビデオカメラを提
供することである。
【００１０】
【課題を解決するための手段】請求項１の発明は、第１
動きベクトル成分をソース平均ベクトルとターゲット平
均ベクトルから推定し、該第１動きベクトル成分に従い
探索領域を移動し、移動した探索領域から第２動きベク
トル成分を推定することを含むことを特徴としたもので
ある。
【００１１】請求項２の発明は、請求項１の発明におい
て、前記探索領域の移動は、該探索領域を先行する繰返
しの関数として再センタリングするステップを含むこと
を特徴としたものである。
【００１２】請求項３の発明は、請求項２の発明におい
て、２つのビデオ画像を予め設定された第１の間引き係
数Ｑnにより空間的に間引き、動き推定値を誘導し、誘
導した動き推定値にＱpを乗じ、該Ｑpを乗じた動き推定
値の関数として予め設定された第２の係数Ｑn-p（Ｑは
所与の正の整数でありｎはゼロより大きい整数でありｐ
は１とｎとの間の値を持つ整数である）を用いて原画像
を間引くことを含み、階層スキームに用いることを特徴
としたものである。
【００１３】請求項４の発明は、請求項２の発明におい
て、前記第１動きベクトルの推定が水平及び垂直方向の
交互の移動を含むことを特徴としたものである。
【００１４】請求項５の発明は、請求項４の発明におい
て、２つのビデオ画像を予め設定された第１の間引き係
数Ｑnにより空間的に間引き、動き推定値を誘導し、誘
導した動き推定値にＱpを乗じ、該Ｑpを乗じた動き推定
値の関数として予め設定された第２の係数Ｑn-p（Ｑは
所与の正の整数でありｎはゼロより大きい整数でありｐ
は１とｎとの間の値を持つ整数である）を用いて原画像
を間引いて整列させることを含み、階層スキームに用い
ることを特徴としたものである。
【００１５】請求項６の発明は、請求項１の発明におい
て、前記第１動きベクトルの推定が水平及び垂直方向の
交互の移動を含むことを特徴としたものである。
【００１６】請求項７の発明は、請求項６の発明におい
て、２つのビデオ画像を予め設定された第１の予定間引
き係数Ｑnにより空間的に間引き、動き推定値を誘導
し、誘導した動き推定値にＱpを乗じ、該Ｑpを乗じた動
き推定値の関数として予め設定された第２の係数Ｑn-p
（Ｑは所与の正の整数でありｎはゼロより大きい整数で
ありｐは１とｎとの間の値を持つ整数である）を用いて
原画像を間引いて整列させることを含み、階層スキーム
に用いることを特徴としたものである。
【００１７】請求項８の発明は、請求項１の発明におい
て、積分射影技法と準射影技法より成る技法グループか
ら選択した技法を用いてグローバルな変換成分を推定
し、得られた該グローバルな変換成分の推定値に従って
前記２つの画像を整列させ、該画像を重なりのない小ブ
ロックに分割し、大きな変化を示す内容のブロックを選
択し、前記画像を整列させ動きベクトルを生成するため
に選択した画像ブロックに準射影マッチング技法を適用
し、記録結果の現在回数を予め設定されたしきい値Ｔ３
（Ｔ３＞２）を越えるまで計数し、記録結果数がＴ３よ
り大きければグローバルアフィンパラメータを推定する
ステップをさらに含むことを特徴としたものである。
【００１８】請求項９の発明は、請求項１の発明におい
て、２つのビデオ画像を予め設定された第１の間引き係
数Ｑnにより空間的に間引き、動き推定値を誘導し、誘
導した動き推定値にＱpを乗じ、該Ｑpを乗じた動き推定
値の関数として予め設定された第２の係数Ｑn-p（Ｑは
所与の正の整数でありｎはゼロより大きい整数でありｐ
は１とｎとの間の値を持つ整数である）を用いて原画像
を間引いて整列させることを含み、階層スキームに用い
ることを特徴としたものである。
【００１９】請求項１０の発明は、第１動きベクトル成
分をソース平均ベクトルとターゲット平均ベクトルから
推定し、該第１動きベクトル成分に従い探索領域を移動
し、移動した探索領域から第２動きベクトル成分を推定
し、２つのビデオ画像を予め設定された第１の間引き係
数Ｑnにより空間的に間引き、動き推定値を誘導し、誘
導動き推定値にＱpを乗じ、Ｑpを乗じた動き推定値の関
数として第２の予定係数Ｑn-p（Ｑは所与の正の整数で
ありnはゼロより大きい整数でありｐは１とｎとの間の
値を持つ整数である）を用いて原画像を間引いて整列さ
せることを含むことを特徴としたものである。
【００２０】請求項１１の発明は、請求項１０の発明に
おいて、前記探索領域の移動は、該探索領域を先行する
繰返しの関数として再センタリングするステップを含む
ことを特徴としたものである。
【００２１】請求項１２の発明は、請求項１０の発明に
おいて、前記第１動きベクトルの推定が水平及び垂直方
向の交互の移動を含むことを特徴としたものである。
【００２２】請求項１３の発明は、請求項１０の発明に
おいて、前記第１ベクトルの推定に先立ち、積分射影プ
ロセスを用い初期の垂直及び水平方向の移動を推定する
ことを特徴としたものである。
【００２３】請求項１４の発明は、請求項１０の発明に
おいて、積分射影技法と準射影技法より成る技法グルー
プから選択した技法を用いてグローバルな変換成分を推
定し、得られた該グローバルな変換成分の推定値に従っ
て前記２つの画像を整列させ、該画像を重なりのない小
ブロックに分割し、大きな変化を示す内容のブロックを
選択し、前記画像を整列させ動きベクトルを生成するた
めに選択した画像ブロックに準射影マッチング技法を適
用し、記録結果の現在回数を予め設定されたしきい値Ｔ
３（Ｔ３＞２）を越えるまで計数し、記録結果数がＴ３
より大きければグローバルアフィンパラメータを推定す
るステップをさらに含むことを特徴としたものである。
【００２４】
【発明の実施の形態】本発明の方法は、準射影マッチン
グ法（quasi-projection matching method）と称する。
本発明は、ブロックマッチング方式動き推定方法に比し
多大の演算上の利点をもたらす。代表的な全探索ブロッ
クマッチング方式の動き補償システムの場合、画素（ピ
クセルまたはペル）毎に２Ｎ2（Ｎ＋２Ｓ）2の加算／減
算を要する。ここで、Ｎはマッチングが行われるソース
ブロックとターゲットブロックの水平方向と垂直方向の
寸法であり、Ｓは移動しない対象ブロックの境界を越え
て拡大する（画素単位の）領域の大きさを規定する。探
索領域のサイズは、従って、（Ｎ＋２Ｓ）×（Ｎ＋２
Ｓ）画素領域である。上記の演算回数は、（歪みが画素
値差分の絶対値の合計で与えられると仮定し）歪み値を
計算して累積するために各々Ｎ2回の減算とＮ2回の加算
を行なうことを意味する。この回数は（Ｎ＋２Ｓ）2に
等しい探索域内の探索位置数である。本発明の方法は、
８（Ｎ＋Ｓ）2の加算／減算を要するだけである。この
回数は、各々ソースブロックとターゲットブロック中の
行及び列方向平均値を計算するために各々Ｎ2回と（Ｎ
＋２Ｓ）2回の加算を行なうことを意味する。この方法
は、（Ｎ＋２Ｓ）の可能な移動の各々に伴う歪み値を計
算して累積するために２Ｎ回の加算／減算を要するだけ
であり、又、かような計算を二回、即ち水平方向に一
回、垂直方向に一回行なうことを要するだけである。
【００２５】準射影マッチングは、ブロックサイズと探
索範囲が比較出来る、例えば、３ｘ探索範囲＜ブロック
サイズ＜１０ｘ探索範囲である即ち３ｘ＜Ｎ＜１０Ｓで
あるような状況において射影マッチングと比較すると、
より優れた代替え法であることが明らかになる。ブロッ
クサイズが３ｘ探索範囲より小さければ、どの方法も成
功しない。ブロックサイズが探索領域より十分に大きけ
れば、射影マッチング方式は本発明の準射影マッチング
方法の性能に近づく。射影マッチングと準射影マッチン
グのどちらも一定サイズの探索範囲に対しブロックサイ
ズが増加するに従い正確さを増すことは、当業者には明
らかであろう。
【００２６】本発明は、積分射影方法の動き推定プロセ
スの精度を向上させる。特に、現在の積分射影方法は、
垂直及び水平方向成分を同一の（Ｎ＋２Ｓ）×（Ｎ＋２
Ｓ）のターゲット領域から推定しているので、大きな移
動値の推定において限界がある。本発明の方法は、多く
の場合、或る成分例えば垂直移動成分が他の成分例えば
水平移動成分より小さいという事実を利用する。
【００２７】本発明の方法は、１）最初に最大の動き成
分を推定し、２）この動き成分推定値に従いターゲット
領域を移動し、３）次に新しいターゲット領域からより
小さい動き成分を推定することにより動き推定値の精度
を向上させる。最初の推定は、マッチングされるべき２
つのブロックがその領域の大部分において共通している
ということに基づく。これは、ブロックサイズが探索域
より十分に大きいと云う推定に相当する。動きベクトル
の垂直成分を求めるために、行（横列）の合計を算定し
垂直方向に向いた合成一次元ベクトルにマッチさせる。
これは、水平方向の移動は小さいと推定することに他な
らない。水平方向の移動が大きい場合、マッチングプロ
セスは受理可能な結果をもたらさない。換言すれば、大
きな水平方向の移動は不同の水平射影ベクトルをもたら
し、受け入れられない垂直方向の移動推定値をもたらす
結果となる。動きベクトルの水平成分は、動きベクトル
の垂直方向成分が小さいと仮定して同様に計算出来る。
【００２８】本発明の第１の実施例において、上記の３
段階動きベクトル推定手順を詳細に記述する。本発明の
第２の実施例において、動き推定を実行するためにこの
方法を繰返しスキームに使用する場合の第１実施例の拡
張について記述する。本発明の第３の実施例では、本方
法を積分射影法により生成された推定値を純化（細分）
するために使用する動き推定システムを記述する。本発
明の第４の実施例では、動き推定を実行する階層スキー
ムに本方法を用いる前記３つの実施例の拡張について記
述する。本発明の第５の実施例は、グローバルモーショ
ンモデルのパラメータを推定する最初のステップとして
本方法を用いる拡張について記述する。
【００２９】本発明の準射影マッチング法は、ａ）ディ
ジタルビデオ圧縮システムにおける動き補償、ｂ）ディ
ジタルビデオ変換システム（時間フィルタ処理）におけ
る動き補償、ｃ）パノラマ（モザイク）画像の構築、
ｄ）動きに基づくビデオ索引及び検索、ｄ）画像分解能
の向上及びｅ）画像の安定化のような用途に用いられ
る。
【００３０】特に、本発明は、最小のハードウェアコス
トで迅速に動きフィールドを生成する一体型のディジタ
ルビデオカメラのような消費者向けビデオ機器に実装出
来る。かような動きフィールド用応用装置は、ビデオ画
列の動き補償圧縮と、ビデオ画列の速度調整（時間）フ
ィルタ処理と、ビデオの索引及び検索を目的としたビデ
オ内容の動きの分析とを含んでいる。さらに、本発明
は、１つのディジタル画像から他のディジタル画像への
グローバルな動きパラメータ（グローバルモーションパ
ラメータ）を推定するディジタルビデオカメラに適用で
きる。より大きいシーンの異なる部分が各画像に記録さ
れた、ディジタルカメラ中の記録画像列を考える。グロ
ーバルな動きパラメータは本発明の準射影マッチング技
法を用いて画列中の各連続画像間で推定する。得られる
グローバルな動きパラメータは、画像を整列させて構成
し、モザイクとも呼ばれるシーンのパノラマ像を再構築
するために使用出来る。グローバルな動きパラメータは
ビデオカメラにより生成されたビデオ画列を安定化させ
るためにも使用できる。
【００３１】本発明の方法の他の用途として、分解能を
向上させる画像の再構成が挙げられる。この場合、ロー
カルモーションフィールドとグローバルモーションパラ
メータの両方がサブ画素精度で推定され、その内容がグ
ローバルまたはローカル分数移動値のいずれかで処理さ
れている画像を整列させるために使用される。画像を結
合して向上した分解能を示すより大きい画像を生成す
る。パノラマ画像の生成は、ディジタルカメラ内又はパ
ーソナルコンピュータ等の遠隔操作のいずれかで実施出
来る。
【００３２】積分射影方法（ＩＰＭ）のコンセプトを図
１に（全体を符号１０とする）示す。Ｎv×Ｎhの画像ブ
ロック１２（Ｎvの画素縦列とＮhの画素横列）を有する
現画像又はソース画像１１を考える。ここで、Ｎはマッ
チングを実施するソースブロックとターゲットブロック
の水平又は垂直サイズであり、左上隅は画素１２ａ
（ｑ，ｐ）に位置する。ここで、ｑは縦座標でｐは横座
標である。
【００３３】
【数１】
【００３４】行の平均値ｑ≦ｉ≦ｑ＋Ｎvと列の平均値
ｐ≦ｉ≦ｐ＋Ｎhをソース画像において計算する。この
演算により、ソース行平均ベクトル及び列平均ベクトル
と呼ばれる２つの一次元ベクトルが、各々ＮvとＮhエン
トリとして生成される。
【００３５】
【数２】
【００３６】Ｉ（ｋ，ｊ）とＩ（ｉ，ｋ）は、各々画素
位置（ｋ，ｊ）と（ｉ，ｋ）における画像画素値を表
す。Ｓは移動しないターゲットブロックの境界を越えて
延伸する画素単位の探索範囲又は限度を示す。垂直及び
水平寸法に沿いＮv＋２Ｓv行とＮh＋２Ｓh列の寸法を有
するターゲット画像１３内の同一Ｎv×Ｎh画像ブロック
１４を中心とする探索領域を用い、行平均値ｑ−Ｓv≦
ｉ≦ｑ＋Ｎvと列の平均値ｐ−Ｓh≦ｊ≦ｐ＋Ｎv−１＋
Ｓvを計算する。
【００３７】
【数３】
【００３８】
【数４】
【００３９】この演算により、ターゲット列平均ベクト
ル及びターゲット行平均ベクトルと呼ばれる２つの一次
元ベクトルが、各々Ｎv＋２ＳvとＮh＋２Ｓhをエントリ
として生成される。垂直方向の動きは、通常ソース行平
均ベクトル１×Ｎvとターゲット行平均ベクトル中の連
続値Ｎv間の絶対差分値の合計であるコスト関数を最小
にすることにより推定する。同様に、水平方向の動き
は、ソース列平均ベクトル１×Ｎhとターゲット列平均
ベクトル中の連続エントリＮhとの間のコスト関数を最
小にすることにより推定する。得られた動きベクトルの
成分は垂直及び水平方向のオフセット値（各々［−
Ｓv，＋Ｓv］と［−Ｓh，＋Ｓh］の範囲の値）であり、
コスト関数を最小にする値である。垂直及び水平方向の
動き成分は共に、ターゲット画像中の同一探索領域から
同時に推定されたものであることに注目すべきである。
【００４０】（第１の実施例）本発明による準射影マッ
チング方法の第１の実施例について説明する。用語“準
（quasi）”は、両動き成分を推定するために同一の探
索領域を用いる積分射影技法に対して、異なる探索領域
を用いて各動き成分を個別に推定することを含んでいる
ことに由来する。両技法を比較すると、本発明の準射影
マッチング方法は、３×Ｓv＜Ｎv＜１０×Ｓv及び３×
Ｓh＜Ｎh＜１０×Ｓhの場合に積分射影より良好な結果
を提供できる。
【００４１】動きフィールド推定方法の第１実施例は、
第１動きベクトル成分をソース平均ベクトルとターゲッ
ト平均ベクトルから推定し、第１動きベクトル成分に従
い探索領域を移動し、移動した探索領域から第２動きベ
クトル成分を推定することを含む。図２は本発明の第１
実施例の説明図である（全体を符号２０で示す）。図１
の積分射影方法（ＩＰＭ）と比較し、画像ブロック２４
を有するターゲット画像２３中の動きベクトルの１成
分、即ち第１の成分（この場合は垂直方向成分）は、複
数の画素より成る画像ブロック２２を有するソース画像
２１からの第１の繰返しによりソース平均ベクトルとタ
ーゲット平均ベクトル（この場合行平均ベクトル）から
推定される。この推定垂直動きベクトルに従って探索領
域を垂直方向に移動させる。残る第２の動き成分（この
場合水平方向の動き）を次に、新ターゲット平均ベクト
ル（この場合列平均ベクトル）を計算した上で、画像ブ
ロック２６を有するターゲット画像２５中での第２の繰
返し反復により推定する。
【００４２】尚、推定する第１成分は、予め水平又は垂
直成分に規定されている。ディジタルビデオ画列におい
て、垂直方向の移動は水平方向の移動より通常十分に小
さいので、この場合、ソース平均ベクトルとターゲット
平均ベクトルは小さい垂直方向の動きの影響が最小限に
押さえられ、従って水平方向の動きを最初に推定する方
が合理的である。
【００４３】（第２の実施例）垂直方向の移動計算に先
立ち、直前の水平方向移動による補償を行い又は逆の手
順の補償をしながら水平及び垂直方向の移動を交互に計
算することが出来る。この技法の利点は、初期の推定値
がある妥当性を有するならば、繰返し毎により良い動き
ベクトルが得られることである。探索領域は繰返し毎に
減少し、演算作業量も減少する。後の繰返しに必要な水
平及び垂直射影ベクトルは第１の繰返しにおける運動平
均を用いて予め計算することが出来る。かように、演算
増加量は、各繰返し当たりブロック寸法×探索寸法×２
の加算になる。ここで使用しているように、“繰返し”
は水平方向移動と垂直方向移動の両方を計算することで
ある。ブロック寸法は通常探索寸法よりかなり大きいの
で、演算量の増加は最小限である。一般的には、ブロッ
ク寸法が探索領域よりかなり大きいことを条件に、収束
を達成するに、大抵の場合２回以下の繰返しが必要であ
る。
【００４４】図３は本発明の第２実施例（全体を符号３
０で示す）の説明図である。始めの画像は現画像又はソ
ース画像３１である。第１実施例の場合のように、推定
する第１成分は予め（水平又は垂直）成分と規定されて
いる。垂直方向の移動は水平方向の移動より通常十分に
小さいので、水平方向の動きを最初に推定する方が合理
的である。生成ターゲット画像３３は、第ｌ回目の繰返
しにおいて得られた画像ブロック３４を含んでおり、第
２ターゲット画像３５は（ｌ＋１）回目の繰返しにおい
て得られた画像ブロック３６を含んでいる。
【００４５】本実施例は、前記手順を複数回数繰り返す
第１実施態様の変更例である。この場合、垂直及び水平
方向の移動は、先行繰返しにより得られた推定値に従い
探索領域を再度センタリングした後準射影マッチング方
法を用いて交互に推定する。従って、探索領域の垂直及
び水平移動はプロセスが停止するまで交互に実行され
る。探索領域のサイズは繰返し毎に変化させることが出
来る。例えば、動き推定値は逐次純化するので、繰返し
が進むに従い探索領域を減少させることが可能である。
図３はｌ回目の繰返しにおいて推定した成分が水平方向
の動き成分である場合を説明する図である。次に探索領
域を移動させ垂直方向の動きを、新しいターゲットの水
平方向の平均ベクトルを計算した上で（ｌ＋１）繰返し
時に推定する。
【００４６】（第３の実施例）本実施例では、水平方向
移動と垂直方向の移動は両方とも初回の繰返しにおいて
は補償なしで、即ち単純射影マッチングを用いて推定す
る。動き補償は、最小の不一致を生じる移動を用いて他
の移動推定前に実行する。残りの繰返しプロセスは第２
実施例に用いられた方法と同様である。第２実施例では
移動は略正確であることを前提条件としているが、その
条件が正確でない状況において、第３実施例は計算負荷
に僅かな増加をもたらすだけでその状況を部分的に取り
除く。
【００４７】図４は本発明の第３実施例（全体を符号４
０で示す）の説明図である。第３実施例が第１実施例及
び第２実施例と異なる点は、推定する最初の成分、即ち
水平又は垂直方向成分が最初の積分射影ステップにおい
て特定されることである。ソース画像４１は画像ブロッ
ク４２を含んでいる。第１ターゲット画像４３は初回繰
返し後に得られた画像ブロック４４を含んでおり、第２
ターゲット画像４５は２回目の繰返し後に得られた画像
ブロック４６を含んでいる。
【００４８】この実施例の場合、積分射影プロセスを用
いて最初の水平方向移動と最初の垂直方向移動の両方を
最初に粗く推定して、動きベクトルの良好な初推定値を
得る。次に、準射影マッチング方法を前述のように用い
る。初回の繰返しの開始時点において、最良の符合が得
られる最初の動き成分に従って探索領域を移動させる。
図４の例では、画像の下左隅を示す最初の動きベクトル
を示している。このベクトルは初期化ステップにおける
積分射影技法によって得た動き推定値である。この水平
方向成分が最良のマッチングが得られた成分であると仮
定する。従って、２回目の繰返しを開始する前に、探索
領域を最初の水平方向動き推定値に従って移動させる。
次に、準射影マッチング方法を用い垂直方向の動き成分
を推定する。前述のように、探索領域のサイズは繰返し
と繰返しの間において変更することが出来る。
【００４９】本発明の準射影マッチング方法は、列平均
ベクトルと行平均ベクトルを予め規定した計数で単純に
補間することによりサブ画素精度が得られるように設計
している。例えば、係数２で平均ベクトルを補間するこ
とにより半画素動き精度が達成される。この補間スキー
ムはパラメータフィルタ、即ち立体フィルタ又は所定階
数の通常の低域パスフィルタに基づいている。第２実施
例と第３実施例の場合、かような細分は最後の２回の繰
返しにおいてのみ実行しサブ画素精度まで両成分を純化
する。
【００５０】（第４の実施例）本発明の準射影マッチン
グ方法を階層スキームに埋め込むことが出来る。この技
法の第１の実施例は係数２n（０≦ｎ）によって空間的
に間引いた画像で実施出来る。動き推定値が計算される
と、各々の推定値に２を乗じ、それらの推定値を用い原
寸法画像を係数２n-1で間引いて得た同じ２枚の画像を
整列させる。このプロセスは帰納的に繰り返して原画像
と同じ分解能で画像を最終的に処理することが出来る。
階層スキームは、１より大きいステップ、例えば、２
n-1の間引き選択係数を２nの間引き選択係数の直後に用
いることが出来るが、しかしながら、かような状況の場
合、動きベクトルには係数４を乗じなければならない。
同様に、第２実施例と第３実施例は階層スキームを支持
することが出来る。第２実施例と第３実施例の繰返しプ
ロセスは第４実施例の階層推定スキームと結合させるこ
とが出来る。各分解能レベルで実行される繰返し数は種
々異なり得る。例えば、各分解能毎に２回繰り返しを実
行したり、或いは最低分解能で１回繰返し、他の全ての
繰返しは原画像分解能で実行することが出来る。
【００５１】本発明の準射影マッチング方法をまた或る
階層スキームに埋め込むことが出来る。例えば、第１の
実施例は第１の予め定められた間引き選択係数Ｑn（Ｑ
は所与の正の整数でｎは０より大きい整数）で空間的に
間引いたビデオ画像に適用出来る。動き推定値が計算さ
れると、各々の推定値にＱp（ｐは１≦ｐ＜ｎの範囲で
選択した整数）を乗じ、それらの推定値を、第２の予め
定められた間引き選択係数Ｑn-pで間引きして得た同じ
２つの画像を整列させるために用いる。このプロセス
は、準射影マッチング技法を原画像分解能（ｎ＝０）を
含む全スケールで適用するまで繰り返すことが出来る。
第２実施例と第３実施例を同様にして階層スキームに埋
め込むことが出来る。例えば、各画像分解能において２
回の繰返しを実行することを選択することが出来る。繰
返し数は種々の画像スケールにおいて可変である。この
階層スキームの最も単純な実装の場合、各スケールで１
回繰返す。
【００５２】（第５の実施例）本発明による方法の第５
の実施例は、前述の各実施例を拡張するものである。こ
の実施例の場合、本発明の準射影マッチング方法は、グ
ローバルな動きモデルのパラメータを推定するために用
いられる。例えば、アフィンモデルの一般公式は、ｘ
t+1＝Ａｘ t＋Ｄであり、ここでｘ t+1とｘ tは時間ｔ＋１
とｔにおける画素の位置を表しており、Ａは推移行列
を、Ｄはグローバルな移動ベクトルを表している。
【００５３】２枚の連続画像からグローバルな動きモデ
ルのパラメータ（６つの動きパラメータ）を推定する手
順について以下に記述する。 ステップ１：積分射影技法又は準射影技法のいずれかを
用いて、グローバルな移動成分を推定する。ブロックサ
イズは通常大きく探索領域はそれに比較して小さい。 ステップ２：先行ステップで発見されたグローバルな移
動推定値に従い２枚の画像を整列させる。 ステップ３：上記の画像を重なりのない小ブロックに分
割する。 ステップ４：大きな変化を示す内容のブロックを間引
く。ブロック内の変化レベルを評価する種々の方法（標
準偏差、ソーベルオペレータのような高域パスフィルタ
で処理後絶対値の合計）がある。ブロックは、その内容
の活動度が予め定めたしきい値Ｔ１を越える場合に間引
きする。 ステップ５：間引きした画像ブロックに（サブ画素精度
が可能な）準射影マッチング技法を適用し、画像を整列
させ（ステップ２参照）動きベクトルを生成する。この
ステップの目的は移動行列Ａにより誘導した空間的に変
化する局所残留移動を推定することである。射影不一致
誤差を検査し、不一致度がしきい値Ｔ２を越える場合は
測定値を破棄する。或いは、グローバル移動に推定残留
移動値を加算し結果を記録する。 ステップ６：記録結果の現在数を計数する。この計数値
が予め定めたしきい値Ｔ３（Ｔ３＞２）を越えなければ
ステップ５を繰り返す（アフィン動きモデルの６つのパ
ラメータを推定可能にするには少なくとも３回の測定が
必要である）。 ステップ７：記録結果がしきい値Ｔ３より大きければ、
グローバルアフィンパラメータを推定する。アフィンパ
ラメータ（行列ＡとベクトルＤ）は、モデルと動きデー
タ間に適合する最小自乗値を計算することにより推定す
る。
【００５４】特に、本発明は、最小のハードウェアコス
トで迅速に動きフィールドを生成する一体型のディジタ
ルビデオカメラのような消費者向けビデオ機器に実装出
来る。かような動きフィールド用応用装置は、ビデオ画
列の動き補償圧縮とビデオ画列の速度調整（時間）フィ
ルター処理とビデオの索引及び検索を目的としたビデオ
内容の動きの分析を含んでいる。
【００５５】さらに、本発明は、１つのディジタル画像
から他のディジタル画像へのグローバルな動きパラメー
タを推定するディジタルビデオカメラに適用できる。大
シーンの異なる部分が各画像に記録された、ディジタル
カメラ中の記録画像列を考慮する。グローバルな動きパ
ラメータは本発明の準射影マッチング技法を用いて画列
中の各連続画像間で推定する。得られるグローバルな動
きパラメータは、画像を整列させ構成し、モザイクとも
呼ばれるシーンのパノラマ像を再構築するために使用出
来る。グローバルな動きパラメータはビデオカメラによ
り生成されたビデオ画列を安定化させるためにも使用で
きる。
【００５６】本発明の方法の他の用途は、分解能を向上
させた画像の再構成である。この場合、ローカル動きフ
ィールドとグローバルな動きパラメータの両方をサブ画
素精度で推定し、その内容がグローバルまたはローカル
分数移動値のいずれかで処理された画像を整列させるた
めに使用される。画像を次に結合し向上した分解能を示
すより大きい画像を生成する。パノラマ画像の生成はデ
ィジタルカメラ内又はパーソナルコンピュータ等の遠隔
操作のいずれかで実施出来る。
【００５７】本発明の好ましい実施例と幾つかの変更例
を記述してきたが添付クレームに記載された本発明の範
囲を逸脱することなくさらなる変更を加えることが可能
なことは明らかである。
【図面の簡単な説明】
【図１】積分射影法における平均値計算の計算法を説明
するための図である。
【図２】本発明による準射影マッチング法を説明するた
めのブロック図である。
【図３】本発明による準射影マッチング法の他の実施例
を説明するためのブロック図である。
【図４】本発明による準射影マッチング法の更に他の実
施例を説明するためのブロック図である。
【符号の説明】
１１…ソース画像、１２…画像ブロック、１２ａ…画
素、１３…ターゲット画像、１４…画像ブロック、２１
…ソース画像、２２…画像ブロック、２３…ターゲット
画像、２４…画像ブロック、２５…ターゲット画像、２
６…画像ブロック、３１…ソース画像、３２…画像ブロ
ック、３３…ターゲット画像、３４…画像ブロック、３
５…ターゲット画像、３６…画像ブロック、４１…ソー
ス画像、４２…画像ブロック、４３…ターゲット画像、
４４…画像ブロック、４５…ターゲット画像、４６…画
像ブロック。

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 第１動きベクトル成分をソース平均ベク
    トルとターゲット平均ベクトルから推定し、該第１動き
    ベクトル成分に従い探索領域を移動し、移動した探索領
    域から第２動きベクトル成分を推定することを含むこと
    を特徴とする動きフィールド推定方法。
  2. 【請求項２】 前記探索領域の移動は、該探索領域を先
    行する繰返しの関数として再センタリングするステップ
    を含むことを特徴とする請求項１に記載の動きフィール
    ド推定方法。
  3. 【請求項３】 ２つのビデオ画像を予め設定された第１
    の間引き係数Ｑnにより空間的に間引き、動き推定値を
    誘導し、誘導した動き推定値にＱpを乗じ、該Ｑpを乗じ
    た動き推定値の関数として予め設定された第２の係数Ｑ
    n-p（Ｑは所与の正の整数でありｎはゼロより大きい整
    数でありｐは１とｎとの間の値を持つ整数である）を用
    いて原画像を間引くことを含み、階層スキームに用いる
    ことを特徴とする請求項２に記載の動きフィールド推定
    方法。
  4. 【請求項４】 前記第１動きベクトルの推定が水平及び
    垂直方向の交互の移動を含むことを特徴とする請求項２
    に記載の動きフィールド推定方法。
  5. 【請求項５】 ２つのビデオ画像を予め設定された第１
    の間引き係数Ｑnにより空間的に間引き、動き推定値を
    誘導し、誘導した動き推定値にＱpを乗じ、該Ｑpを乗じ
    た動き推定値の関数として予め設定された第２の係数Ｑ
    n-p（Ｑは所与の正の整数でありｎはゼロより大きい整
    数でありｐは１とｎとの間の値を持つ整数である）を用
    いて原画像を間引いて整列させることを含み、階層スキ
    ームに用いることを特徴とする請求項４に記載の動きフ
    ィールド推定方法。
  6. 【請求項６】 前記第１動きベクトルの推定が水平及び
    垂直方向の交互の移動を含むことを特徴とする請求項１
    に記載の動きフィールド推定方法。
  7. 【請求項７】 ２つのビデオ画像を予め設定された第１
    の予定間引き係数Ｑ nにより空間的に間引き、動き推定
    値を誘導し、誘導した動き推定値にＱpを乗じ、該Ｑpを
    乗じた動き推定値の関数として予め設定された第２の係
    数Ｑn-p（Ｑは所与の正の整数でありｎはゼロより大き
    い整数でありｐは１とｎとの間の値を持つ整数である）
    を用いて原画像を間引いて整列させることを含み、階層
    スキームに用いることを特徴とする請求項６に記載の動
    きフィールド推定方法。
  8. 【請求項８】 積分射影技法と準射影技法より成る技法
    グループから選択した技法を用いてグローバルな変換成
    分を推定し、得られた該グローバルな変換成分の推定値
    に従って前記２つの画像を整列させ、該画像を重なりの
    ない小ブロックに分割し、大きな変化を示す内容のブロ
    ックを選択し、前記画像を整列させ動きベクトルを生成
    するために選択した画像ブロックに準射影マッチング技
    法を適用し、記録結果の現在回数を予め設定されたしき
    い値Ｔ３（Ｔ３＞２）を越えるまで計数し、記録結果数
    がＴ３より大きければグローバルアフィンパラメータを
    推定するステップをさらに含むことを特徴とする請求項
    １に記載の動きフィールド推定方法。
  9. 【請求項９】 ２つのビデオ画像を予め設定された第１
    の間引き係数Ｑnにより空間的に間引き、動き推定値を
    誘導し、誘導した動き推定値にＱpを乗じ、該Ｑpを乗じ
    た動き推定値の関数として予め設定された第２の係数Ｑ
    n-p（Ｑは所与の正の整数でありｎはゼロより大きい整
    数でありｐは１とｎとの間の値を持つ整数である）を用
    いて原画像を間引いて整列させることを含み、階層スキ
    ームに用いることを特徴とする請求項１に記載の動きフ
    ィールド推定方法。
  10. 【請求項１０】 第１動きベクトル成分をソース平均ベ
    クトルとターゲット平均ベクトルから推定し、該第１動
    きベクトル成分に従い探索領域を移動し、移動した探索
    領域から第２動きベクトル成分を推定し、２つのビデオ
    画像を予め設定された第１の間引き係数Ｑnにより空間
    的に間引き、動き推定値を誘導し、誘導動き推定値にＱ
    pを乗じ、Ｑpを乗じた動き推定値の関数として第２の予
    定係数Ｑn-p（Ｑは所与の正の整数でありｎはゼロより
    大きい整数でありｐは１とｎとの間の値を持つ整数であ
    る）を用いて原画像を間引いて整列させることを含むこ
    とを特徴とする動きフィールド推定方法。
  11. 【請求項１１】 前記探索領域の移動は、該探索領域を
    先行する繰返しの関数として再センタリングするステッ
    プを含むことを特徴とする請求項１０に記載の動きフィ
    ールド推定方法。
  12. 【請求項１２】 前記第１動きベクトルの推定が水平及
    び垂直方向の交互の移動を含むことを特徴とする請求項
    １０に記載の動きフィールド推定方法。
  13. 【請求項１３】 前記第１ベクトルの推定に先立ち、積
    分射影プロセスを用い初期の垂直及び水平方向の移動を
    推定することを特徴とする請求項１０に記載の動きフィ
    ールド推定方法。
  14. 【請求項１４】 積分射影技法と準射影技法より成る技
    法グループから選択した技法を用いてグローバルな変換
    成分を推定し、得られた該グローバルな変換成分の推定
    値に従って前記２つの画像を整列させ、該画像を重なり
    のない小ブロックに分割し、大きな変化を示す内容のブ
    ロックを選択し、前記画像を整列させ動きベクトルを生
    成するために選択した画像ブロックに準射影マッチング
    技法を適用し、記録結果の現在回数を予め設定されたし
    きい値Ｔ３（Ｔ３＞２）を越えるまで計数し、記録結果
    数がＴ３より大きければグローバルアフィンパラメータ
    を推定するステップをさらに含むことを特徴とする請求
    項１０に記載の動きフィールド推定方法。
JP11136342A 1998-05-20 1999-05-17 動きフィ―ルド推定方法 Pending JPH11355778A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/082,456 US6285711B1 (en) 1998-05-20 1998-05-20 Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US09/082456 1998-05-20

Publications (1)

Publication Number Publication Date
JPH11355778A true JPH11355778A (ja) 1999-12-24

Family

ID=22171337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11136342A Pending JPH11355778A (ja) 1998-05-20 1999-05-17 動きフィ―ルド推定方法

Country Status (2)

Country Link
US (1) US6285711B1 (ja)
JP (1) JPH11355778A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100431075B1 (ko) * 2001-08-23 2004-05-10 한국과학기술원 동영상 부호화기를 위한 고속 블록 정합 움직임 추정방법
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
JP2007007426A (ja) * 2005-07-01 2007-01-18 Medison Co Ltd 階層的な動き推定方法及びこれを適用した超音波映像装置
KR100677117B1 (ko) 2003-06-06 2007-03-08 삼성전자주식회사 비디오 신호내의 움직임 보상에 부적당한 영역을 검출하는방법 및 장치
JP2008502196A (ja) * 2004-06-04 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グローバル動きベクトルの探索方法

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975779B1 (en) * 1998-09-28 2005-12-13 Infineon Technologies Ag Method for modifying the image size of video images
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US6690728B1 (en) * 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
US6690840B1 (en) * 2000-02-08 2004-02-10 Tektronix, Inc. Image alignment with global translation and linear stretch
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
US6687295B1 (en) * 2000-07-27 2004-02-03 Ati International Method and apparatus for motion estimation for encoding sequential frames
KR100421740B1 (ko) * 2000-11-14 2004-03-10 삼성전자주식회사 객체 활동 모델링 방법
KR100360893B1 (ko) * 2001-02-01 2002-11-13 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
US6687301B2 (en) * 2001-03-19 2004-02-03 Fulvio Moschetti Method for block matching motion estimation in digital video sequences
KR100905880B1 (ko) * 2001-09-12 2009-07-03 엔엑스피 비 브이 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
US20030198295A1 (en) * 2002-04-12 2003-10-23 Liang-Gee Chen Global elimination algorithm for motion estimation and the hardware architecture thereof
US7903892B2 (en) * 2002-10-29 2011-03-08 Ati Technologies Ulc Image analysis for image compression suitability and real-time selection
US6993077B2 (en) * 2002-11-28 2006-01-31 Faraday Technology Corp. Experimental design for motion estimation
US8111928B2 (en) 2003-02-13 2012-02-07 Ati Technologies Ulc Method and apparatus for compression of multi-sampled anti-aliasing color data
US7764833B2 (en) * 2003-02-13 2010-07-27 Ati Technologies Ulc Method and apparatus for anti-aliasing using floating point subpixel color values and compression of same
US7643679B2 (en) * 2003-02-13 2010-01-05 Ati Technologies Ulc Method and apparatus for block based image compression with multiple non-uniform block encodings
EP1494077A3 (en) * 2003-07-02 2006-12-27 Fuji Photo Film Co., Ltd. Image forming apparatus and image forming method
JP4711962B2 (ja) * 2003-08-29 2011-06-29 トムソン ライセンシング 周波数領域においてフィルムグレインのパターンをモデリングする方法及び装置
EP1585326A1 (en) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
EP1583367A1 (en) * 2004-03-30 2005-10-05 Matsushita Electric Industrial Co., Ltd. Motion estimation employing line and column vectors
US7440628B2 (en) * 2004-08-31 2008-10-21 Siemens Medical Solutions Usa, Inc. Method and system for motion correction in a sequence of images
KR101096916B1 (ko) * 2004-10-18 2011-12-22 톰슨 라이센싱 필름 그레인 시뮬레이션 방법
CN101057503A (zh) * 2004-11-12 2007-10-17 汤姆森特许公司 用于视频重放系统的正常播放和特技模式播放的胶片颗粒模拟
CA2587118C (en) 2004-11-16 2014-12-30 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
AU2005306921B2 (en) 2004-11-16 2011-03-03 Interdigital Vc Holdings, Inc. Film grain simulation method based on pre-computed transform coefficients
HUE044545T2 (hu) 2004-11-17 2019-10-28 Interdigital Vc Holdings Inc Bit-pontosságú film szemcsézet mintázat szimulációs eljárás elõre-kiszámított transzformált együtthatók alapján
JP5474300B2 (ja) * 2004-11-22 2014-04-16 トムソン ライセンシング フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステム
ATE435568T1 (de) * 2004-11-23 2009-07-15 Thomson Licensing Filmkörnigkeitssimulationstechnik mit geringer komplexität
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
US7606429B2 (en) * 2005-03-25 2009-10-20 Ati Technologies Ulc Block-based image compression method and apparatus
US8019179B2 (en) * 2006-01-19 2011-09-13 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
US7970239B2 (en) 2006-01-19 2011-06-28 Qualcomm Incorporated Hand jitter reduction compensating for rotational motion
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8208556B2 (en) * 2007-06-26 2012-06-26 Microsoft Corporation Video coding using spatio-temporal texture synthesis
US8218811B2 (en) 2007-09-28 2012-07-10 Uti Limited Partnership Method and system for video interaction based on motion swarms
WO2009088976A1 (en) * 2008-01-07 2009-07-16 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
US8098957B2 (en) * 2008-02-13 2012-01-17 Qualcomm Incorporated Shared block comparison architechture for image registration and video coding
EP2243289B1 (en) * 2008-02-20 2018-12-26 InterDigital Madison Patent Holdings Method of estimating motion between two video frames
US20090244388A1 (en) * 2008-03-27 2009-10-01 Siou-Shen Lin Motion estimation method and related apparatus for determining target motion vector according to motion of neighboring image blocks
US8120659B2 (en) * 2008-05-22 2012-02-21 Aptina Imaging Corporation Method and system for motion estimation in digital imaging applications
JP4962460B2 (ja) * 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2013186042A (ja) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd 距離算出装置及び距離算出方法
US20150070462A1 (en) * 2012-03-28 2015-03-12 Nokia Corporation Method, Apparatus and Computer Program Product for Generating Panorama Images
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN105335987B (zh) * 2014-06-09 2018-03-27 联想(北京)有限公司 图像数据处理方法及装置
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US11025950B2 (en) * 2017-11-20 2021-06-01 Google Llc Motion field-based reference frame rendering for motion compensated prediction in video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2833137B2 (ja) 1990-04-05 1998-12-09 松下電器産業株式会社 パターンマッチング方法
US5537494A (en) 1990-05-29 1996-07-16 Axiom Innovation Limited Video image data encoding and compression system using edge detection and luminance profile matching
DE69116036T2 (de) * 1990-08-28 1996-08-01 Philips Electronics Nv Verfahren und Anordung zum Verringern der Bewegungsabschätzapparatur und der Anforderungen an die Datenübertragungskapazität in Video-Systemen
US5173946A (en) 1991-05-31 1992-12-22 Texas Instruments Incorporated Corner-based image matching
DE69217150T2 (de) * 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
JP3490729B2 (ja) 1991-12-20 2004-01-26 ゼロックス・コーポレーション 階層的テンプレート突合せによる画像の忠実性強化再生
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US5365251A (en) 1992-08-28 1994-11-15 Xerox Corporation Image quality improvement by hierarchical pattern matching with variable size templates
US5465353A (en) 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
WO1996008114A1 (en) * 1994-09-02 1996-03-14 David Sarnoff Research Center, Inc. Method and apparatus for global-to-local block motion estimation
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100431075B1 (ko) * 2001-08-23 2004-05-10 한국과학기술원 동영상 부호화기를 위한 고속 블록 정합 움직임 추정방법
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
KR100677117B1 (ko) 2003-06-06 2007-03-08 삼성전자주식회사 비디오 신호내의 움직임 보상에 부적당한 영역을 검출하는방법 및 장치
JP2008502196A (ja) * 2004-06-04 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グローバル動きベクトルの探索方法
JP2007007426A (ja) * 2005-07-01 2007-01-18 Medison Co Ltd 階層的な動き推定方法及びこれを適用した超音波映像装置

Also Published As

Publication number Publication date
US6285711B1 (en) 2001-09-04

Similar Documents

Publication Publication Date Title
JPH11355778A (ja) 動きフィ―ルド推定方法
US8306121B2 (en) Method and apparatus for super-resolution of images
EP0986252B1 (en) System and method for electronic image stabilization
US6128047A (en) Motion estimation process and system using sparse search block-matching and integral projection
US20050094852A1 (en) Global motion estimation image coding and processing
US20130271666A1 (en) Dominant motion estimation for image sequence processing
WO2009053978A2 (en) Apparatus and method for improving image resolution using fuzzy motion estimation
US8098963B2 (en) Resolution conversion apparatus, method and program
JPH07505749A (ja) ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法
GB2431798A (en) Motion vector selection based on integrity
JP2004526363A (ja) ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法
EP2209086A1 (en) Image processing
US20030081682A1 (en) Unit for and method of motion estimation and image processing apparatus provided with such estimation unit
US20050123039A1 (en) Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method
EP0643538A2 (en) Motion vector detecting apparatus and methods
EP1586201A1 (en) Efficient predictive image parameter estimation
JP2004537112A (ja) 動き推定のための装置及び方法並びに斯かる動き推定装置が備えられた画像処理装置
KR101285810B1 (ko) 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법
Sorwar et al. Fast global motion estimation using iterative least-square estimation technique
JP2008504786A (ja) ビデオモード検出による動き補償
Kovačević et al. Block-matching correlation motion estimation for frame-rate up-conversion
CN111369592A (zh) 一种基于牛顿插值的快速全局运动估计方法
Spampinato et al. Adaptive low cost algorithm for video stabilization
Hong et al. Multistage block-matching motion estimation for superresolution video reconstruction
Bui-Thu et al. Scene-based video super-resolution with minimum mean square error estimation