JPH08317411A - 動きを推定する為の多重解像度循環探索装置及びその方法 - Google Patents

動きを推定する為の多重解像度循環探索装置及びその方法

Info

Publication number
JPH08317411A
JPH08317411A JP11463596A JP11463596A JPH08317411A JP H08317411 A JPH08317411 A JP H08317411A JP 11463596 A JP11463596 A JP 11463596A JP 11463596 A JP11463596 A JP 11463596A JP H08317411 A JPH08317411 A JP H08317411A
Authority
JP
Japan
Prior art keywords
motion
resolution
motion vector
value
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11463596A
Other languages
English (en)
Inventor
Jae-Min Kim
載 敏 金
Young-Bum Jang
永 ベオム 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH08317411A publication Critical patent/JPH08317411A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 各基本モデルの選択を容易に選択して、基本
モデルらの予想誤差に従って探索地域を違うようにし
て、推定された動きベクター場の特性に合わせて調節さ
れることにある。 【解決手段】 外部からビデオ信号の入力を受けて供給
し、完全推定された動きの信号を出力するビデオ信号入
出力手段(10)と、前記ビデオ信号入出力手段(10)から入
力される信号を貯蔵する探索記憶手段(20)と、前記ビデ
オ信号入出力手段(10)から入力される信号を利用して多
等級の解像度フレームを生成して、それに従って動きで
推定する制御信号を出力する制御手段(30)と、前記制御
(30)の出力信号にしたがって前記探索記憶手段(20)に貯
蔵されているデータからブロック・マッチングを行うブ
ロック・マッチング手段(40)と、前記制御手段(30)の出
力信号に従って前記探索記憶手段(20)に貯蔵されている
データの値を補間手段(50)からなることを特徴とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動き推定の為の多重
解像度循環探索装置及びその方法に関するもので、より
詳しく言うと、三次元空間モデルを利用して動き推定を
するに当たって、三次元空間モデルの計数を単純にさせ
て実現することによって、各基本モデルの選択を容易に
選択して、基本モデルの予想誤差に従って探索地域を別
々にして、推定された動きベクトル場の特性に合わせて
調節される動き推定の為の多重解像度循環探索装置及び
その方法に関するものである。
【０００２】
【従来の技術】最近、山間僻地にいる患者達のレントゲ
ン線(X-ray) の映像を数百キロメートル離れた大学病院
のコンピューター(computer)のモニタ(monitor) に伝送
させて診療する医療サービス(service) が試験的に運用
されている。また、例えば、江原道の田舎の小学校の学
生が大都会の学校の学生と同じ時間に同じ先生からの授
業を受ける映像教育サービスも試験的に運用され注目さ
れている。
【０００３】前記のようなサービスは映像通信という新
しい通信技術が登場することによって可能になったもの
であるが、このような映像通信は大きくアナログ(analo
g)方式とデジタル(digital) 方式に分けることができ
る。前記、アナログ方式の場合には映像会議などで活用
されているが、送・受信された映像が鮮明でない欠点を
有する。
【０００４】反面、デジタル方式の場合には、鮮明な情
報を提供することだけでなく多様な形で映像データ(dat
a)を加工、処理して膨大なデータを高速に伝送、在宅勤
務、或は映像通信を用いた購買、高解像度の遠隔医療及
び遠隔教育、映像会議システム(system)などで活用が期
待されている。
【０００５】
【発明が解決しようとする課題】ところが、デジタル映
像通信は映像信号が音声信号とは違って膨大なデータを
処理せねばならない為に必要不可欠に圧縮及び復元とい
う全く違う技術を必要とする。
【０００６】例えば、一千×一千画素のカラー(color)
映像を処理する為には約三百万バイト(byte)のメモリが
必要とし、これを動画像で処理する為には一秒当り30フ
レーム(frame) を持っていなくてはならない為に一秒間
の動画像のためには９千万バイトが必要となる。
【０００７】従って、デジタル映像通信は通信技術に劣
らず圧縮及び復元が何より難しい問題として台頭してい
る。
【０００８】これに関連して、最近の映像圧縮及び復元
に関する世界標準規格などが制定されているが、現在論
議されている映像圧縮の標準は停止画像を処理するJPEG
(Joint Photograph Experts Group 、接合写真専門家グ
ループ) の規格と、映像会議システムの為のCCITT(Inte
rnational Telegraph and Telephon Consultative Comm
ittee 、国際電信電話諮問委員会) の‘H261’規格と、
デジタル・メディア(media) の動画像処理の為のMPEG(M
otion Picture Experts Group 、動画像専門家グルー
プ、以下‘MPEG’と標記する) の規格等がある。
【０００９】ところで、前記で言及した動画像処理の
為、動きを推定するようになるが、動き推定方法にはマ
ッチング方法(Matching Method) と変化図方法(Gradien
t Method) などの様々なものがあるが、前記マッチング
方法の中の一つであるブロック・マッチング方法(Block
Matching Method) が画面の特性によって変化されない
で丈夫である為にMPEGの規格等の国際規格で動き推定方
法として使われている。
【００１０】以下、添付された図面を参考として一般的
なブロック・マッチング方法を説明する。
【００１１】図６は一般的な４×４ブロック・マッチン
グを表わした例示図である。同図に示されているよう
に、画面の構成が動画像の電話機に対する国際規格であ
る２４４列で、各列当り３５２個の画素からなってい
て、各画素が該当する明るさを持っている時、その値
を'0' から'255' までの数字で表現するが、前記各画素
の明るさの変化を持って、その動きを推定することにな
る。
【００１２】ところで、前記動きを探すに於いて単一画
素の動きを持って動きを探すのでなく、図６のＡ部分と
同じく４×４個の画素を縛ったブロックを基準として、
そのブロックが一つの動きだけを持つと仮定して、その
ブロックの代表的な画素の動きをそのブロックの動きに
割り当ててそのブロックの明るさの変化に従って動きを
探すことである。
【００１３】ところで、前記ブロックの動きが二次元で
あるので、下記の式(1) の通り動きベクトル(motion ve
ctor) で表示する。
【００１４】
【数１】 前記ブロック・マッチング方法にはフール探索(full se
arch) 方法、エム・ステップ探索(M-Step search) 方
法、ハイアラーキカル探索(Hierarchical search) 方
法、そしてプレーディクティブ探索(Predictive searc
h) 方法などがあり、その中でフール探索方法が最も一
般的に知られている。
【００１５】以下、添付された図面を参考として、フー
ル探索方法を説明する。図７はフール探索方法を説明す
る為の例示図であり、図８はフール探索方法での一般的
な後述するSAD の特性を表わしたグラフである。
【００１６】図７で見ると、ある時間での物体の位置が
Ａに該当して、その直前にその物体の位置がＢに該当す
る時に物体の任意のブロック(A1)の動きを推定する為
に、そのブロックの明るさを利用して、各々の場合に対
して下記の式(2) に従ってSAD(Sum of Absolute Differ
ence、以下‘SAD ’と標記する) が最も小さい値を持つ
ところを探してそこの位置を動きで推定することにな
る。
【００１７】
【数２】 例えば、前記動きベクトルを探す為の探索の大きさを
‘±１’画素の大きさとする場合、下記で表わした通り
‘９’個のSAD を求めて、その求められた値の中で最も
小さい値を表わす位置で動きが起きたと推定することに
なる。
【００１８】
【数３】 ところで、前記のように動きが小さい場合もあるが、動
きがもっと大きい場合には動きが推定できない場合があ
るので、そのような場合にも動きが推定できるようにす
る為には探索範囲を‘±16画素’の大きさに拡張せねば
ならないし、それに従って計算量が増加することにな
る。
【００１９】従って、前記フール探索方法は動画像の圧
縮で非常に効果的なものとして知られているが、計算量
があまりにも多く実際の動き(true motion) を探すのに
は難しいので他の探索方法が提案されている。
【００２０】その例としてエム・ステップ探索探索方法
と、ハイアラーキカル探索方法と、プレーディクティブ
探索方法等がある。
【００２１】以下、添付された図面を参考として３段階
探索方法（エム・ステップ探索探索方法）と、ハイアラ
ーキカル探索方法と、プレーディクティブ探索方法を説
明する。
【００２２】図９は３段階の探索方法を説明する為の例
示図であり、図１０は３段階の探索方法で表わすことの
できるSAD の問題点を表わしたグラフである。
【００２３】前記エム・ステップ探索方法は、始めに
‘２(M-1) ’単位(pel) の正確度で探索し動きを探し
て、次にはその探した動きの周辺を‘２(M-1) ’単位(p
el) の正確度でもう一度探索し動きを探して、前記のよ
うな動作を繰返すことによって動きを推定する。
【００２４】例えば、段階の大きさを３段階にした場
合、まずブロックの大きさを図９（Ａ）のように８画素
単位に構成し動きを推定して、その次に図９（Ｂ）のよ
うにブロックの大きさを４画素単位に構成して動きを推
定する。
【００２５】そして、その次に図９（Ｃ）のようにブロ
ックの大きさを２画素単位に構成し動きを推定すること
になる。
【００２６】即ち、動きを推定する段階を分けて、包括
的に動きを推定して、次第に動きを微細に推定していく
ようになる。
【００２７】ところで、前記のような３ー段階探索方法
の場合、図１０で見たように、ある段階で動きを間違っ
て決めると、結果的に動き探索が地域最少地点に収斂す
るようになる欠点を有する。
【００２８】そして、前記ハイアラーキカル探索方法
は、352 ×244 のフール解像度イメージ(full resoluti
on image) を縮ませた88×61のコース解像度イメージ(c
oarserresolution image)で動きを探して、その探した
動きの周辺を少し拡大した176×122 のファイナー解像
度イメージ(finer resolution image)でもう一度探す。
【００２９】即ち、最も小さいファイナー・イメージで
４画素の大きさを探索すると、フール解像度イメージで
の16画素の大きさの探索効果を表わすことができるし、
その次にはファイナー解像度イメージで２画素の大きさ
の動き探索とフール解像度イメージでの２画素の大きさ
の探索だけで動きが推定できるようになるし、計算量を
最少にすることができる。
【００３０】ところで、前記通りのハイアラーキカル探
索方法の場合、コース解像度で動きを間違って探すと、
結果的にファイナー解像度で動き探索が地域最少地点に
収斂することになる欠点を有する。
【００３１】プレーディクティブ探索方法は、探そうと
する基準ブロックでの動きを周辺ブロックの動きから予
想して、その予想値の周辺を探索する。
【００３２】ところで、前記プレーディクティブ探索方
法は、予想値が正確でないと地域最少地点に収斂するこ
とになる欠点を有する。
【００３３】前述の予想モデル(model) では動きベクト
ル場モデル(motion vector field model) が用いられて
いるし、２次元空間モデルと、３次元空間モデルなどが
用いられている。
【００３４】前記３次元空間モデルは、コース解像度で
の動きベクトル場に関する情報と周辺ブロックでの動き
に関する情報を効果的に結合して現在の基準ブロックで
の動きを効果的に予想する。これは動き不連続を効果的
に扱う為の多数の基本モデルからなっている。
【００３５】ところで、前記３次元空間モデルは本発明
者の学位論文(Jaemin Kim 、“3ーDKalman filter for V
ideo and motion estimation ”、Ph.D.thesis 、Renss
elater Polytechnic Institute,1994) で初めて提示さ
れたが、そのモデル計数(model parameter set) が非常
に複雑で、この３次元空間モデルによるカルマン・フィ
ールター(Kalman Filter) を動き推定に用いたが、この
アルゴリズム(algorithem)が非常に複雑で計算量があま
りにも多くて実現(implementation)できにくい問題点を
有している。
【００３６】従って、本発明の目的は前記のような従来
の問題点を解決する為のもので、３次元空間モデルを用
いて動き推定をするに当たって、三次元空間モデルの計
数を単純にさせて実現することによって、各基本モデル
の選択を容易に選択して、基本モデルの予想誤差に従っ
て探索地域を違うようにして、推定された動きベクトル
場の特性に合わせて調節される動き推定の為の多重解像
度循環探索装置及びその方法を提供することにある。
【００３７】
【課題を解決するための手段】前記目的を達成する為の
請求項１記載の第１の発明の構成は、外部からビデオ信
号の入力を受けて供給し、完全推定された動きの信号を
出力するビデオ信号入出力手段(10)と、前記ビデオ信号
入出力手段(10)から入力される信号を貯蔵する探索記憶
手段(20)と、前記ビデオ信号入出力手段(10)から入力さ
れる信号を利用して多等級の解像度フレームを生成し
て、それに従った動きで推定する制御信号を出力する制
御手段(30)と、前記制御手段(30)の出力信号に従って前
記探索記憶手段(20)に貯蔵されているデータからブロッ
ク・マッチングを行うブロック・マッチング手段(40)
と、前記制御手段(30)の出力信号に従って前記探索記憶
手段(20)に貯蔵されているデータの値を補間して出力す
る補間手段(50)からなっている。従って、各基本モデル
の選択を容易に選択して、基本モデルの予想誤差に従っ
て探索地域を違うようにして、推定された動きベクトル
場の特性に合わせて調節できる。
【００３８】前記目的を達成する為の請求項２記載の第
２の発明の他の構成は、外部から入力されるビデオ信号
を判読する段階と、前記段階で判読したビデオ信号を用
いて第一次解像度フレームを生成する段階と、前記段階
で判読したビデオ信号を用いて第二次解像度フレームを
生成する段階と、前記段階で判読したビデオ信号を用い
て第三次解像度フレームを生成する段階と、前記生成し
た第三次解像度での動きを推定する段階と、前記生成し
た第二次解像度での動きを推定する段階と、前記生成し
た第一次解像度での動きを推定する段階と、完全な解像
度での動きを推定して出力する段階からなっている。従
って、各基本モデルの選択を容易に選択して、基本モデ
ルの予想誤差に従って探索地域を違うようにして、推定
された動きベクトル場の特性に合わせて調節できる。
【００３９】請求項３記載の第３の発明は、前記各解像
度での動きを推定する段階は、直前のブロックの動きベ
クトルと現在基準ブロックの画像データを判読する段階
と、動きモデルから最適な動きベクトルを予測する段階
と、予測された動きベクトルを中心としたある画像デー
タを判読して、予測された動きベクトルを中心として動
きベクトルを変化させる段階と、前記段階で変化された
値に従ってSAD の値を計算して、その値をベクトル値で
貯蔵し最少SAD 値と比較する段階と、前記段階で現在SA
D 値が最少SAD 値より小さい場合、その時の動きベクト
ルを最少動きベクトルと設定して、その時のSAD 値を最
少SAD 値として設定する段階と、探索領域内の全ての動
きベクトルと比較したかを判断して、すべての動きベク
トルと比較されていない場合、もう一回予測された動き
ベクトルを中心に、ある探索領域の画像データを判読し
て予測された動きベクトルを中心に動きベクトルを変化
させる段階に戻って、全ての動きベクトルと比較された
場合には帰還する段階からなっている。従って、各等級
別に動きを推定できる。
【００４０】請求項４記載の第４の発明は、前記動きモ
デルから最適の動きベクトルを予測する段階は、動きモ
デルを用いて動きベクトルを予測する段階と、予測され
た動きベクトルを用いて前の映像フレームから現在の映
像フレームの基本ブロックを予想する場合、基本ブロッ
クと予想ブロックのSAD を計算する段階と、計算された
SAD の値と最少SAD 値を比較して、計算されたSAD 値が
最少SAD 値より小さい場合、その時のSAD 値を最少SAD
値として設定する段階と、指定された全ての動きモデル
を利用したかの可否を判断して、指定された全ての動き
モデルを利用していない場合は動きモデル利用して動き
ベクトルを予測する段階に戻るし、指定された全ての動
きモデルを利用した場合には帰還する段階からなってい
る。従って、各等級別に動きを推定できる。
【００４１】
【発明の実施の形態】添付された図面を参考として本発
明を容易に実施できる最も望ましい実施形態を説明す
る。
【００４２】図１は本発明の実施形態に従う多重解像度
循環探索装置を適用した構成を示すブロック図であり、
図２は本発明の実施形態に従う動き推定の為の多重解像
度循環探索方法を適用した動作順次図であり、図３は図
２の動き推定方法を表わした動作順次図であり、図４は
図３の動きモデルから最適の動きベクトルを予測するこ
とを表わす動作順次図であり、図５は３次元多重解像度
循環探索方法を表わした例示図である。
【００４３】図１に図示されているように、動き推定の
為の多重解像度循環探索装置の構成は、外部からビデオ
(video) 信号の入力を受けて供給し、完全推定された動
きの信号を出力するビデオ信号入出力部(10)と、前記ビ
デオ信号入出力部(10)から入力される信号を貯蔵する探
索メモリ(search memory、20) 部と、前記ビデオ信号入
出力手段(10)から入力される信号を利用して多等級の解
像度フレームを生成して、それに従った動きで推定する
制御信号を出力する制御部(30)と、前記制御部(30)の出
力信号にしたがって、前記探索メモリ(20)に貯蔵されて
いるデータからブロック・マッチングを行うブロック・
マッチング回路(40)と、前記制御部(30)の出力信号に従
って前記探索メモリ(20)に貯蔵されているデータの値を
補間して出力する補間回路(50)からなっている。
【００４４】前記構成の本発明の動作は次の通りであ
る。図２で見ると、制御部(30)はビデオ信号入出力部(1
0)を通じて外部から入力される３５２×２４４画素の大
きさのビデオ信号を判読して(S100)、そのビデオ信号を
縮ませた１７６×１２２画素の大きさの第１次解像度フ
レームを生成して探索メモリ(20)に貯蔵する(S200)。
【００４５】そして、それよりもっと小さい８８×６１
画素の大きさの第２次解像度フレームを生成して(S30
0)、又もっと小さい４４×31.5画素の大きさの第３次解
像度フレームを生成して探索メモリ(20)に貯蔵する(S40
0)。
【００４６】そして、制御部(30)は前記で生成した３次
解像度フレームを用いて一定時間後の動きを推定してそ
の値を探索メモリ(20)に貯蔵する(S500)。
【００４７】そして、前記段階(S500)で推定された動き
を基準として前記第２次解像度フレームの生成段階(S30
0)で生成した解像度フレームで動きを推定して探索メモ
リ(20)に貯蔵する(S600)。
【００４８】又、前記段階(S600)で推定された動きを基
準として前記第１次解像度フレーム生成段階(S200)で生
成された解像度フレームを推定して探索メモリ(20)に貯
蔵する(S700)。
【００４９】最後に、前記段階(S700)で推定された動き
を基準として最初に外部から入力された元のビデオ信号
に従う完全解像度フレームで動きを推定して探索メモリ
(20)に貯蔵する(S800)。
【００５０】その次に前記制御部(30)は動き推定結果を
ビデオ信号入出力部(10)を通じて出力する(S900)。
【００５１】ところで、図３を参考にして前記第３次解
像度での動き推定をする段階(S500)を具体的に表わすと
次の通りである。
【００５２】
【外１】 前記制御部(30)は前記段階(S560)で計算されたSAD の値
をベクトルの形に貯蔵して(S570)、その値を最少SAD の
値と比較して(S580)、前記で計算されたSAD の値が最少
SAD の値より小さい場合には、その時のSAD の値を最少
SAD の値として設定し、その時の動きの値を最少動き値
として設定する(S590)。
【００５３】そして、探索領域内の全ての動きベクトル
を比較したかの可否を判断して、全ての動きベクトルを
比較しなかった場合にはもう一度予測された動きベクト
ルを中心に一つの探索領域の画像データを判読する段階
(S540)に戻るし、そうでない場合には、該当解像度フレ
ームで動きを推定する動作を終わることにする(S599)。
【００５４】前記通りの方法で各等級別に動きを推定す
る。ところで、前記動きモデルから最適動きベクトルを
予測する段階を図４を参考にして説明すると次の通りで
ある。
【００５５】動きモデルを用いて動きベクトルを予測(S
531)し、予測された動きベクトルを用いて前の映像フレ
ームから現在の映像フレームの基本ブロックを予想する
時、基本ブロックと予想ブロックのSAD を計算する(S53
2)。
【００５６】そして、前記SAD 値を最少SAD 値と比較し
て(S553)、最少SAD の値より小さい場合には、その時の
動きベクトル値を最少動きベクトル値として設定し、そ
の時のSAD 値を最少SAD 値として設定する(S534)。
【００５７】その次、指定された全ての動きモデルを利
用したかを判断して(S535)、全ての動きモデルを利用し
ていなかった場合には動きモデルを用いて動きベクトル
を予測する段階(S531)に戻るし、そうでない場合はその
動作を終わることにする。
【００５８】下記の表１は‘フラワー・ガーデン(flowe
r garden) ’と‘モビール(mobile)’の標準画像を持っ
て各探索方法を比較したもので、表１から見ると本発明
で提案した方法が効果的に動作していることが分かる。
【００５９】
【表１】 又、下記の表２は各探索方法別に30フレームでMSE の平
均値を求めたもので、フール探索方法が最も効果的であ
るが、本発明で提案した方法もほぼ同じ効果を表わして
いることが分かる。
【００６０】
【表２】 そして、下記の表３は、各探索方法別に計算で使われた
時間を求めたもので、ハイアラーキカル探索方法が最も
効果的であるが、本発明で提案した方法のほぼ同じ効果
を表わしていることが分かる。
【００６１】
【表３】 従って、３次元空間モデルを用いて動き推定をするに当
たって、三次元空間モデルの計数を単純にさせて実現す
ることによって、各基本モデルの選択を容易に選択し
て、基本モデルの予想誤差に従って探索地域を違うよう
にして、推定された動きベクトル場の特性に合わせて調
節される動き推定をすることによって、ビデオーホン(v
ideo-phone) 、画像会議等の動画像の圧縮に効果的に使
うことができる。
【００６２】
【発明の効果】以上説明したように、第１の発明は、外
部からビデオ信号の入力を受けて供給し、完全推定され
た動きの信号を出力するビデオ信号入出力手段(10)と、
前記ビデオ信号入出力手段(10)から入力される信号を貯
蔵する探索記憶手段(20)と、前記ビデオ信号入出力手段
(10)から入力される信号を利用して多等級の解像度フレ
ームを生成して、それに従って動きで推定する制御信号
を出力する制御手段(30)と、前記制御手段(30)の出力信
号に従って前記探索記憶手段(20)に貯蔵されているデー
タからブロック・マッチングを行うブロック・マッチン
グ手段(40)と、前記制御手段(30)の出力信号に従って前
記探索記憶手段(20)に貯蔵されているデータの値を補間
して出力する補間手段(50)からなるので、各基本モデル
の選択を容易に選択して、基本モデルの予想誤差に従っ
て探索地域を違うようにして、推定された動きベクトル
場の特性に合わせて調節できる。
【００６３】第２の発明は、外部から入力されるビデオ
信号を判読する段階と、前記段階で判読したビデオ信号
を用いて第一次解像度フレームを生成する段階と、前記
段階で判読したビデオ信号を用いて第二次解像度フレー
ムを生成する段階と、前記段階で判読したビデオ信号を
用いて第三次解像度フレームを生成する段階と、前記生
成した第三次解像度での動きを推定する段階と、前記生
成した第二次解像度での動きを推定する段階と、前記生
成した第一次解像度での動きを推定する段階と、完全な
解像度での動きを推定して出力する段階からなるので、
各基本モデルの選択を容易に選択して、基本モデルの予
想誤差に従って探索地域を違うようにして、推定された
動きベクトル場の特性に合わせて調節できる。
【００６４】第３の発明は、前記各解像度での動きを推
定する段階は、直前のブロックの動きベクトルと現在基
準ブロックの画像データを判読する段階と、動きモデル
から最適な動きベクトルを予測する段階と、予測された
動きベクトルを中心としたある画像データを判読して、
予測された動きベクトルを中心として動きベクトルを変
化させる段階と、前記段階で変化された値に従ってSAD
の値を計算して、その値をベクトル値で貯蔵し最少SAD
値と比較する段階と、前記段階で現在SAD 値が最少SAD
値より小さい場合、その時の動きベクトルを最少動きベ
クトルと設定して、その時のSAD 値を最少SAD 値として
設定する段階と、探索領域内の全ての動きベクトルと比
較したかを判断して、すべての動きベクトルと比較され
ていない場合、もう一回予測された動きベクトルを中心
に、ある探索領域の画像データを判読して予測された動
きベクトルを中心に動きベクトルを変化させる段階に戻
って、全ての動きベクトルと比較された場合には帰還す
る段階からなるので、各等級別に動きを推定できる。
【００６５】第４の発明は、前記動きモデルから最適の
動きベクトルを予測する段階は、動きモデルを用いて動
きベクトルを予測する段階と、予測された動きベクトル
を用いて前の映像フレームから現在の映像フレームの基
本ブロックを予想する場合、基本ブロックと予想ブロッ
クのSAD を計算する段階と、計算されたSAD の値と最少
SAD 値を比較して、計算されたSAD 値が最少SAD 値より
小さい場合、その時のSAD 値を最少SAD 値として設定す
る段階と、指定された全ての動きモデルを利用したかの
可否を判断して、指定された全ての動きモデルを利用し
ていない場合は動きモデル利用して動きベクトルを予測
する段階に戻るし、指定された全ての動きモデルを利用
した場合には帰還する段階からなるので、各等級別に動
きを推定できる。
【図面の簡単な説明】
【図１】本発明の実施形態に従う多重解像度循環探索装
置を適用した構成を示すブロック図である。
【図２】本発明の実施形態に従う動き推定の為の多重解
像度循環探索方法を適用した動作順序図である。
【図３】図２の動き推定方法を表わした動作順序図であ
る。
【図４】図３の動きモデルから最適の動きベクターを予
測することを表わす動作順序図である。
【図５】３次元多重解像度循環探索方法を表わした例示
図である。
【図６】一般的な４×４ブロック・マッチングを表わし
た例示図である。
【図７】フール探索方法を説明する為の例示図である。
【図８】フール探索方法での一般的なSAD の特性を表わ
したグラフである。
【図９】３段階探索方法を説明する為の例示図である。
【図１０】３段階探索方法で表わすことのできるSAD の
問題点を表わすグラフである。
【符号の説明】
10 ビデオ信号入出力手段 20 探索記憶手段 30 制御手段 40 ブロック・マッチング手段 50 補間手段

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 外部からビデオ信号の入力を受けて供給
    し、完全推定された動きの信号を出力するビデオ信号入
    出力手段(10)と、 前記ビデオ信号入出力手段(10)から入力される信号を貯
    蔵する探索記憶手段(20)と、 前記ビデオ信号入出力手段(10)から入力される信号を利
    用して多等級の解像度フレームを生成して、それに従っ
    た動きで推定する制御信号を出力する制御手段(30)と、 前記制御手段(30)の出力信号に従って前記探索記憶手段
    (20)に貯蔵されているデータからブロック・マッチング
    を行うブロック・マッチング手段(40)と、 前記制御手段(30)の出力信号に従って前記探索記憶手段
    (20)に貯蔵されているデータの値を補間して出力する補
    間手段(50)からなることを特徴とする動き推定の為の多
    重解像度循環探索装置。
  2. 【請求項２】 外部から入力されるビデオ信号を判読す
    る段階と、 前記段階で判読したビデオ信号を用いて第一次解像度フ
    レームを生成する段階と、 前記段階で判読したビデオ信号を用いて第二次解像度フ
    レームを生成する段階と、 前記段階で判読したビデオ信号を用いて第三次解像度フ
    レームを生成する段階と、 前記生成した第三次解像度での動きを推定する段階と、 前記生成した第二次解像度での動きを推定する段階と、 前記生成した第一次解像度での動きを推定する段階と、 完全な解像度での動きを推定して出力する段階からなる
    ことを特徴とする動き推定の為の多重解像度循環探索方
    法。
  3. 【請求項３】 前記各解像度での動きを推定する段階
    は、 直前のブロックの動きベクトルと現在基準ブロックの画
    像データを判読する段階と、 動きモデルから最適な動きベクトルを予測する段階と、 予測された動きベクトルを中心としたある画像データを
    判読して、予測された動きベクトルを中心として動きベ
    クトルを変化させる段階と、 前記段階で変化された値に従ってSAD の値を計算して、
    その値をベクトル値で貯蔵し最少SAD 値と比較する段階
    と、 前記段階で現在SAD 値が最少SAD 値より小さい場合、そ
    の時の動きベクトルを最少動きベクトルと設定して、そ
    の時のSAD 値を最少SAD 値として設定する段階と、 探索領域内の全ての動きベクトルと比較したかを判断し
    て、すべての動きベクトルと比較されていない場合、も
    う一回予測された動きベクトルを中心に、ある探索領域
    の画像データを判読して予測された動きベクトルを中心
    に動きベクトルを変化させる段階に戻って、全ての動き
    ベクトルと比較された場合には帰還する段階からなるこ
    とを特徴とする請求項２記載の動き推定の為の多重解像
    度循環探索方法。
  4. 【請求項４】 前記動きモデルから最適の動きベクトル
    を予測する段階は、 動きモデルを用いて動きベクトルを予測する段階と、 予測された動きベクトルを用いて前の映像フレームから
    現在の映像フレームの基本ブロックを予想する場合、基
    本ブロックと予想ブロックのSAD を計算する段階と、 計算されたSAD の値と最少SAD 値を比較して、計算され
    たSAD 値が最少SAD 値より小さい場合、その時のSAD 値
    を最少SAD 値として設定する段階と、 指定された全ての動きモデルを利用したかの可否を判断
    して、指定された全ての動きモデルを利用していない場
    合は動きモデルを利用して動きベクトルを予測する段階
    に戻るし、指定された全ての動きモデルを利用した場合
    には帰還する段階からなることを特徴とする請求項３記
    載の動き推定の為の多重解像度循環探索方法。
JP11463596A 1995-05-10 1996-05-09 動きを推定する為の多重解像度循環探索装置及びその方法 Pending JPH08317411A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1995-11469 1995-05-10
KR1019950011469A KR0182058B1 (ko) 1995-05-10 1995-05-10 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법

Publications (1)

Publication Number Publication Date
JPH08317411A true JPH08317411A (ja) 1996-11-29

Family

ID=19414123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11463596A Pending JPH08317411A (ja) 1995-05-10 1996-05-09 動きを推定する為の多重解像度循環探索装置及びその方法

Country Status (5)

Country Link
US (1) US5793429A (ja)
JP (1) JPH08317411A (ja)
KR (1) KR0182058B1 (ja)
DE (1) DE19618984B4 (ja)
TW (1) TW317065B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19703251A1 (de) * 1997-01-29 1998-11-05 Kuhn Peter Dipl Ing Eine flexible VLSI Architektur für Blockmatching mit variabler Blockgröße, für Teilblockkombinationen, beliebig berandete Objekte und Luminanzkorrektur
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
US6342904B1 (en) 1998-12-17 2002-01-29 Newstakes, Inc. Creating a slide presentation from full motion video
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置
KR20010045766A (ko) * 1999-11-08 2001-06-05 오길록 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치
US6937966B1 (en) * 2000-06-09 2005-08-30 International Business Machines Corporation System and method for on-line adaptive prediction using dynamic management of multiple sub-models
KR100408294B1 (ko) * 2001-09-05 2003-12-01 삼성전자주식회사 저전송율 동영상 부호화에 적합한 움직임 추정 방법
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
CN1977541B (zh) * 2004-06-29 2010-05-26 索尼株式会社 运动补偿预测方法和运动补偿预测装置
TWI254571B (en) * 2004-12-07 2006-05-01 Sunplus Technology Co Ltd Method for fast multiple reference frame motion estimation
CN100568983C (zh) 2007-10-29 2009-12-09 威盛电子股份有限公司 影像信号像素点色彩值调整方法
US8879631B2 (en) * 2007-11-30 2014-11-04 Dolby Laboratories Licensing Corporation Temporally smoothing a motion estimate
US8941720B2 (en) * 2011-02-02 2015-01-27 National Tsing Hua University Method of enhancing 3D image information density
TWI489195B (zh) * 2014-02-10 2015-06-21 Etron Technology Inc 增加影像擷取系統偵測範圍的方法及其相關的影像擷取系統
CN108900847B (zh) * 2018-06-11 2020-06-30 阿依瓦（北京）技术有限公司 一种基于块匹配的大范围预测方法
JP7201906B2 (ja) * 2019-01-15 2023-01-11 日本電信電話株式会社 参照領域決定装置及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
EP0595895B1 (en) * 1991-07-23 1997-12-29 BRITISH TELECOMMUNICATIONS public limited company Method and device for frame interpolation of a moving image
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
KR0152013B1 (ko) * 1992-05-08 1998-10-15 강진구 가변장부호화를 고려한 움직임추정장치
US5276513A (en) * 1992-06-10 1994-01-04 Rca Thomson Licensing Corporation Implementation architecture for performing hierarchical motion analysis of video images in real time
KR0166716B1 (ko) * 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
US5365281A (en) * 1992-06-26 1994-11-15 Samsung Electronics, Co., Ltd. Motion signal detecting circuit
KR950010913B1 (ko) * 1992-07-23 1995-09-25 삼성전자주식회사 가변장부호화 및 복호화시스템
KR0166727B1 (ko) * 1992-11-27 1999-03-20 김광호 영상움직임관련정보를 양자화제어에 이용하는 부호화방법 및 장치
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
KR0166724B1 (ko) * 1993-05-08 1999-03-20 김광호 반화소정확도를 갖는 동벡터추정방법 및 그 장치
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法

Also Published As

Publication number Publication date
TW317065B (ja) 1997-10-01
DE19618984A1 (de) 1996-11-14
DE19618984B4 (de) 2007-05-31
US5793429A (en) 1998-08-11
KR0182058B1 (ko) 1999-05-01
KR960043898A (ko) 1996-12-23

Similar Documents

Publication Publication Date Title
JPH08317411A (ja) 動きを推定する為の多重解像度循環探索装置及びその方法
Nam et al. A fast hierarchical motion vector estimation algorithm using mean pyramid
CN1139253C (zh) 用于在基于分段的编码系统中检测运动矢量的方法
EP0765087B1 (en) Video coding device
KR100905880B1 (ko) 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
JP4514081B2 (ja) ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）
JP3190529B2 (ja) 映像データ・ブロック変換システム
JP3621152B2 (ja) 特徴点の特定装置及びその方法
US5754237A (en) Method for determining motion vectors using a hierarchical motion estimation
JP2001086507A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置
US5717470A (en) Method and apparatus for detecting optimum motion vectors based on a hierarchical motion estimation approach
JP2001500688A (ja) 逐次画像圧縮用のビット割当方法
US6310920B1 (en) Moving picture encoding apparatus
KR20040049214A (ko) 고속 모션벡터 추정장치 및 방법
US6081553A (en) Block-matching motion estimation technique for video compression of noisy source signals
Rajagopalan et al. Motion field modeling for video sequences
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP3723995B2 (ja) 画像情報変換装置および方法
US8107525B1 (en) Variable bit rate video CODEC using adaptive tracking for video conferencing
EP1501295A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, and recording medium
JPH0262178A (ja) 画像処理装置の動き検出方式
JPH08130744A (ja) テレビジヨン受像装置
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
JP3587188B2 (ja) ディジタル画像信号処理装置および処理方法
JP4042121B2 (ja) 画像情報処理装置及び画像情報処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060221