JPH11289538A - 動きベクトル検出方法及び装置 - Google Patents
動きベクトル検出方法及び装置Info
- Publication number
- JPH11289538A JPH11289538A JP8907298A JP8907298A JPH11289538A JP H11289538 A JPH11289538 A JP H11289538A JP 8907298 A JP8907298 A JP 8907298A JP 8907298 A JP8907298 A JP 8907298A JP H11289538 A JPH11289538 A JP H11289538A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- detecting
- frame
- detected
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ルを的確に検出し得るようにする。 【解決手段】本発明は、第1のフレームから第3のフレ
ームまでの間、所望階層よりも下層において隣接するフ
レーム間におけるフイールド間の動きベクトルを順次検
出し、当該検出した動きベクトルの大きさに応じて所望
階層における第3及び第2のフレーム間の動きベクトル
を検出するための探索領域の大きさ及び位置を決定し、
この決定に基づいて第3及び第2のフレーム間の動きベ
クトルを検出することにより、単位ブロツクの動き量が
比較的大きい場合でも第3及び第2のフレーム間の動き
ベクトルを的確に検出することができ、かくして単位ブ
ロツクの動き量に係わらずに動きベクトルを的確に検出
し得る動きベクトル検出方法及び装置を実現することが
できる。
Description
図2) (2)動きベクトルの検出処理(図3〜図8) (3)本実施の形態の動作及び効果(図1〜図8) (4)他の実施の形態(図1〜図8) 発明の効果
法及び装置に関し、例えば映像データを符号化する際に
動きベクトルを検出する動きベクトル検出方法及び装置
に適用して好適なものである。
PEG2(Moving Picture Experts Group Phase 2)と
呼ばれる方式がある。
rnational Telecommunication Union-Telecommunicatio
n Standardization Secter:国際電気通信連合電気通信
標準化部門)等の機関によつて標準化され、映像データ
を符号化し、これを多重化して蓄積及び伝送する目的で
規格化されている。
タをフレーム毎にマクロブロツクと呼ばれる単位で符号
化するように規定されており、当該映像データを高能率
符号化するための符号化方式として、I(Intra )ピク
チヤと呼ばれる方式と、前方向と後方向との双方向の動
き補償フレーム間予測を用いるB(Bidirectionallypre
dictive)ピクチヤと呼ばれる方式と、前方向の動き補
償フレーム間予測を用いるP(Predictive)ピクチヤと
呼ばれる方式とが規定されている。
タの時間的に連続するフレーム単位のデータ(以下、こ
れをフレームデータと呼ぶ)Tn 〜Tn+2 にIピクチ
ヤ、Bピクチヤ又はPピクチヤを割り当てたとすると、
当該Iピクチヤを割り当てたフレームデータTn はその
データのみを用いて符号化し、Bピクチヤを割り当てた
フレームデータTn+1 は時間的に過去のIピクチヤを割
り当てたフレームデータTn と時間的に未来のPピクチ
ヤを割り当てたフレームデータTn+2 とを用いてマクロ
ブロツクMB単位で双方向の動き補償フレーム間予測に
より符号化し、さらにPピクチヤを割り当てたフレーム
データTn+2 は時間的に過去のIピクチヤを割り当てた
フレームデータTn を用いてマクロブロツク単位MBで
前方向の動き補償フレーム間予測により符号化するよう
になされている。
PEG2方式が適用された符号化装置1を示し、外部か
らアナログでなる映像信号S1が入力処理部2に供給さ
れる。
信号S1をアナログデイジタル変換し、順次得られるフ
レームデータにIピクチヤ、Bピクチヤ又はPピクチヤ
のいずれかを割り当てた後、このフレームデータをマク
ロブロツク単位に分割して出力する。
の符号化処理モード時に第1及び第2の切換え器3及び
4のスイツチをそれぞれ第1の接点Aに接続する。
チヤを割り当てたフレームデータ(以下、これを第1の
フレームデータと呼ぶ)をマクロブロツク単位に分割
し、得られた第1のマクロブロツクデータD1を順次第
1の切換え器3を介して離散コサイン変換(DCT:Discre
te Cosine Transform )器5に送出する。
3を介して与えられる第1のマクロブロツクデータD1
を離散コサイン変換処理して離散コサイン変換係数に変
換し、これを量子化器6に送出する。
与えられる離散コサイン変換係数を、情報量制御器7か
ら与えられる対応する量子化係数に基づいて量子化し、
得られた量子化データD2を可変長符号化器8に送出す
ると共に、逆量子化器9に送出する。
られる量子化データD2を所定方式で可変長符号化し、
得られた符号化データD3をバツフアメモリ10を介し
て例えば所定の記録媒体を有する記録装置(図示せず)
に送出する。
号化データD3は、バツフアメモリ10を介して情報量
制御器7にも与えられ、これにより情報量制御器7は符
号化データD3のデータ量を検出し、その検出結果に基
づいて量子化係数を生成してこれを量子化器6及び逆量
子化器9に送出する。
る量子化データD2を、情報量制御器7から与えられる
対応する量子化係数に基づいて逆量子化し、得られる離
散コサイン係数を逆離散コサイン変換器11に送出す
る。
9から与えられる離散コサイン係数を逆離散コサイン変
換処理することにより第1のマクロブロツクデータD1
に変換してこれを加算器12に送出する。
換器11から与えられる第1のマクロブロツクデータD
1をそのままフレームメモリ構成でなる画像メモリ13
に送出し、かくして画像メモリ13内に第1のマクロブ
ロツクデータD1を順次格納し、第1のフレームデータ
を再構成する。
2から1フレーム分の第1のマクロブロツクデータD1
が全て出力されると、第2の符号化処理モードに移り、
第1及び第2の切換え器3及び4のスイツチを第2の接
点Bに接続する。
チヤ又はPピクチヤを割り当てたフレームデータ(以
下、これを第2のフレームデータと呼ぶ)をマクロブロ
ツク単位に分割し、得られた第2のマクロブロツクデー
タD4を動きベクトル検出器14に送出すると共に、減
算器15に送出する。
から第2のマクロブロツクデータD4が与えられると、
画像メモリ13からこれに格納されている、当該第2の
マクロブロツクデータD4に対して時間的に過去又は未
来の所定の第1又は第2のフレームデータを参照データ
D5として読み出す。そして動きベクトル検出器14
は、画像メモリ13から読み出した参照データD5と第
2のマクロブロツクデータD4とに基づいて当該第2の
マクロブロツクデータD4の動きベクトルを求め、これ
を動きベクトルデータD6として動き補償器16に送出
する。
4から動きベクトルデータD6が与えられると、このと
き画像メモリ13から参照データD5を読み出し、当該
読み出した参照データD5から動きベクトルデータD6
に基づいて、第2のマクロブロツクデータD4と最も一
致するブロツクデータを取り出し、これを動き補償デー
タD7として減算器15に送出する。
ら与えられる第2のマクロブロツクデータD4から、動
き補償器16から与えられる動き補償データD7を減算
し、得られる差分データD8を第1の切換え器3を介し
て離散コサイン変換器5に送出する。
第1の符号化処理モード時と同様にして差分データD8
を離散コサイン変換器5及び量子化器6を順次介して量
子化データD9を生成し、これを可変長符号化器8に送
出する。
きベクトル検出器14から動きベクトルデータD6が与
えられており、量子化器6から与えられる量子化データ
D9と共にこれに対応する動きベクトルデータD6も可
変長符号化し、これら可変長符号化した量子化データD
9及び動きベクトルデータD6を符号化データD10と
してバツフアメモリ10を介して出力する。
タD9は、逆量子化器9及び逆離散コサイン変換器11
を順次介して複合されることにより差分データD8に変
換されて加算器12に与えられる。
から第2の切換え器4を介して対応する動き補償データ
D7が与えられており、これにより加算器12は差分デ
ータD8と、動き補償データD7とを加算して第2のマ
クロブロツクデータD4を生成し、これを画像メモリ1
3に送出する。
力される第2のマクロブロツクデータD4が順次格納さ
れ、これにより第2のフレームデータを再構成すること
ができる。ただしこのとき画像メモリ13には、Pピク
チヤが割り当てられた第2のマクロブロツクデータD4
のみが格納され、Bピクチヤが割り当てられた第2のマ
クロブロツクデータD4は動き補償フレーム間予測に参
照データとして用いられないことから格納されないよう
になされている。
理部2から1フレーム分の第2のマクロブロツクデータ
D4が全て出力されると、この第2のマクロブロツクデ
ータD4に続いて入力処理部2から出力される第1又は
第2のマクロブロツクデータD1又はD4に応じて第1
の符号化処理モードに移り、又は第2の符号化処理モー
ドを継続し、この後上述した処理を実行することにより
映像信号S1を符号化処理することができる。
きベクトル検出対象の第2のマクロブロツクデータD4
に基づく画像(以下、これをマクロブロツク画像と呼
ぶ)と、当該マクロブロツク画像が位置する1フレーム
分の画像(以下、これを原画像と呼ぶ)よりも時間的に
例えば2フレーム過去の参照データD5(第1又は第2
のフレームデータ)に基づく画像(以下、これを参照原
画像と呼ぶ)とからそれぞれ画素数を減らすように縮小
してなる階層画像を生成し、これら階層画像と、マクロ
ブロツク画像及び参照原画像とを階層的に用いて動きベ
クトルを検出する。
11(A)及び(B)に示すように、例えば水平方向に
16画素及び垂直方向に16ラインでなるマクロブロツク画
像MG1上で各画素位置を(i,j)と表し、このマク
ロブロツク画像MG1上でトツプフイールドtf及びボ
トムフイールドbfの低域成分lf(q,r) を次式
向に2画素おき及び垂直方向に2ラインおきの各位置
(q,r)でそれぞれ水平方向に2画素及び垂直方向に
2ラインでなる対応するブロツク内の4画素の輝度デー
タdの平均値を算出するようにして求めることにより、
これらトツプフイールドtf及びボトムフイールドbf
の低域成分でなる階層画像(以下、これを第1の基本階
層画像と呼ぶ)KG1を生成する。
2(A)及び(B)に示すように、参照原画像上で第1
の基本階層画像KG1に対する第1の探索領域TR1の
位置を決定し、この第1の探索領域TR1のトツプフイ
ールドtf及びボトムフイールドbfの低域成分Lf
(q,r) を次式
向に2画素おき及び垂直方向に2ラインおきの各位置
(q,r)でそれぞれ水平方向に2画素及び垂直方向に
2ラインでなる対応するブロツク内の4画素の輝度デー
タDの平均値を算出するようにして求めることにより、
これらトツプフイールドtf及びボトムフイールドbf
の低域成分でなる階層画像(以下、これを第1の参照階
層画像と呼ぶ)SG1を生成する。
は、変数fiに「0」を代入することによりトツプフイ
ールドtfの低域成分を求めることができると共に、当
該変数fiに「1」を代入することによりボトムフイー
ルドbfの低域成分を求めることができる。
3に示すように、第1段階の動きベクトル検出処理にお
いて、第1の参照階層画像SG1内を第1の基本階層画
像KG1によつてサーチしながら順次ブロツクマツチン
グする。
の基本階層画像KG1と、これに第1の参照階層画像S
G1内で対応させた第1のブロツク階層画像BK1とに
おいて、この第1の基本階層画像KG1のトツプフイー
ルドtfに対する予測誤差bdt1(q,r) を次式
像KG1のトツプフイールドtfの各低域成分と、第1
のブロツク階層画像BK1のそれぞれ対応させた低域成
分との差分の絶対値の総和を算出するようにして求め
る。
イールドbfに対する予測誤差bdb1(q,r) を次式
像KG1のボトムフイールドbfの各低域成分と、第1
のブロツク階層画像BK1のそれぞれ対応させた低域成
分との差分の絶対値の総和を算出するようにして求め
る。
ブロツク階層画像BK1とのフレーム間の予測誤差bd
f1(q,r) を次式
t1(q,r) 及び予測誤差bdb1(q,r) 同士を順次加算
するようにして求め、当該求めた予測誤差bdf1
(q,r) の値が最も最小となるときの第1のブロツク階層
画像BK1を検出する。これによりこの動きベクトル検
出器14は、この検出した第1のブロツク階層画像BK
1を第1の基本階層画像KG1と最も一致するものと判
断し、これら第1のブロツク階層画像BK1と第1の基
本階層画像KG1との間の動き量に基づいて2フレーム
間の動きベクトルMVa1を階層画像レベルで検出す
る。
14に示すように、第2段階の動きベクトル検出処理に
おいて、上述した第1段階の動きベクトル検出処理にお
いて検出した動きベクトル(以下、これを第1段階の動
きベクトルと呼ぶ)MVa1に基づいて、参照原画像F
G1上で第2の探索領域TR2の位置を決定する。
2の探索領域TR2内をマクロブロツク画像MG1でサ
ーチしながら順次ブロツクマツチングすることにより、
当該マクロブロツク画像MG1とこれに第2の探索領域
TR2内で対応させた第1のブロツク画像BG1とにお
いて、このマクロブロツク画像MG1のトツプフイール
ドtfに対する予測誤差BDt(m,n) を次式
像MG1のトツプフイールドtfの各画素位置(i,
j)の輝度データdと、第1のブロツク画像BG1のそ
れぞれ対応させた画素位置(m,n)の輝度データDと
の差分の絶対値の総和を算出するようにして求める。
ムフイールドbfに対する予測誤差BDb(m,n) を次式
像MG1のボトムフイールドbfの各画素位置(i,
j)の輝度データdと、第1のブロツク画像BG1のそ
れぞれ対応させた画素位置(m,n)の輝度データDと
の差分の絶対値の総和を算出するようにして求める。
ロツク画像BG1とのフレーム間の予測誤差BDf
(m,n) を次式
t(m,n) 及び予測誤差BDb(m,n) 同士を順次加算する
ようにして求め、当該求めた予測誤差BDf(m,n) の値
が最も最小となるときの第1のブロツク画像BG1を検
出する。これによりこの動きベクトル検出器14は、検
出した第1のブロツク画像BG1をマクロブロツク画像
MG1と最も一致するものと判断し、これら第1のブロ
ツク画像BG1とマクロブロツク画像MG1との間の動
き量に基づいて原画像レベルで第1段階の動きベクトル
MVa1を補正するような動きベクトルMVa2を検出
する。
次式
に欠落した画素を補うように第1段階の動きベクトルM
Va1を2倍にし、これに第2段階の動きベクトル検出
処理において検出した動きベクトル(以下、これを第2
段階の動きベクトルと呼ぶ)MVa2を加算することに
よりマクロブロツク画像MG1の最終的な2フレーム間
の動きベクトルMVa3を検出する。
るためには予測誤差の演算量が膨大になるにもかかわら
ずに、上述したような動きベクトル検出処理では、階層
的に動きベクトルを検出することから、第1の探索領域
TR1の大きさを比較的小さくすることができると共
に、第2の探索領域TR2の大きさも第1段階の動きベ
クトルMVa1に基づいて決定することにより比較的小
さくすることができ、これにより予測誤差の演算量を大
幅に削減できる利点がある。
動きベクトル検出対象のマクロブロツク画像MG1の動
き量が比較的大きいと、当該マクロブロツク画像MG1
から生成した第1の基本階層画像KG1と最も一致する
ブロツク階層画像BK1がその第1の探索領域TR1を
越えて位置してしまい、第1段階の動きベクトルMVa
1を的確に検出し難くなる問題があつた。すなわちこの
動きベクトル検出器14では、マクロブロツク画像MG
1の動き量が比較的大きいと最終的な動きベクトルMV
a3の検出精度が大幅に低下する問題があつた。
で、単位ブロツクの動き量に係わらずに動きベクトルを
的確に検出し得る動きベクトル検出方法及び装置を提案
しようとするものである。
め本発明においては、動きベクトル検出方法において、
第1のフレームから第2のフレームの1フレーム前の第
3のフレームまでの間、隣接するフレーム間又は当該隣
接するフレーム間におけるフイールド間の動きベクトル
を順次検出する第1のステツプと、当該第1のステツプ
において検出した動きベクトルの大きさに応じて第3及
び第2のフレーム間の動きベクトルを検出するための探
索領域の大きさ及び位置を決定する第2のステツプと、
第2のステツプの決定に基づいて第3及び第2のフレー
ム間の動きベクトルを検出する第3のステツプとを設け
るようにした。
た動きベクトルの大きさに応じて第3及び第2のフレー
ム間の動きベクトルを検出するための探索領域の大きさ
及び位置を決定することから、単位ブロツクの動き量が
比較的大きい場合でも第3及び第2のフレーム間におい
て動きベクトルを的確に検出することができる。
方法において、第1のフレームから第2のフレームの1
フレーム前の第3のフレームまでの間、所望階層よりも
下層において隣接するフレーム間におけるフイールド間
の動きベクトルを順次検出する第1のステツプと、当該
第1のステツプにおいて検出した動きベクトルの大きさ
に応じて所望階層における第3及び第2のフレーム間の
動きベクトルを検出するための探索領域の大きさ及び位
置を決定する第2のステツプと、当該第2のステツプの
決定に基づいて第3及び第2のフレーム間の動きベクト
ルを検出する第3のステツプとを設けるようにした。
た動きベクトルの大きさに応じて所望階層における第3
及び第2のフレーム間の動きベクトルを検出するための
探索領域の大きさ及び位置を決定することから、単位ブ
ロツクの動き量が比較的大きい場合でも第3及び第2の
フレーム間において動きベクトルを的確に検出すること
ができる。
出装置において、第1のフレームから第2のフレームの
1フレーム前の第3のフレームまでの間、隣接するフレ
ーム間又は当該隣接するフレーム間におけるフイールド
間の動きベクトルを順次検出する第1の動きベクトル検
出手段と、当該第1の動きベクトル検出手段によつて検
出された動きベクトルの大きさに応じて第3及び第2の
フレーム間の動きベクトルを検出するための探索領域の
大きさ及び位置を決定する決定手段と、当該決定手段の
決定に基づいて第3及び第2のフレーム間の動きベクト
ルを検出する第2の動きベクトル検出手段とを設けるよ
うにした。
よつて検出した動きベクトルの大きさに応じて第3及び
第2のフレーム間の動きベクトルを検出するための探索
領域の大きさ及び位置を決定することから、単位ブロツ
クの動き量が比較的大きい場合でも第3及び第2のフレ
ーム間の動きベクトルを的確に検出することができる。
出装置において、第1のフレームから第2のフレームの
1フレーム前の第3のフレームまでの間、所望階層より
も下層において隣接するフレーム間におけるフイールド
間の動きベクトルを順次検出する第1の動きベクトル検
出手段と、当該第1の動きベクトル検出手段によつて検
出された動きベクトルの大きさに応じて所望階層におけ
る第3及び第2のフレーム間の動きベクトルを検出する
ための探索領域の大きさ及び位置を決定する決定手段
と、当該決定手段の決定に基づいて第3及び第2のフレ
ーム間の動きベクトルを検出する第2の動きベクトル検
出手段とを設けるようにした。
よつて検出した動きベクトルの大きさに応じて所望階層
における第3及び第2のフレーム間の動きベクトルを検
出するための探索領域の大きさ及び位置を決定すること
から、単位ブロツクの動き量が比較的大きい場合でも第
3及び第2のフレーム間の動きベクトルを的確に検出す
ることができる。
施の形態を詳述する。
成 図9との対応部分に同一符号を付して示す図1におい
て、20は全体として本実施の形態による符号化装置を
示し、動きベクトル検出器21の構成を除いて従来の符
号化装置1と同様に構成されている。
検出器21は、入力処理部2から与えられる第1及び第
2のマクロブロツクデータD1及びD4を参照データと
して用い、動きベクトル検出対象の第2のマクロブロツ
クデータD4の動き量に応じた階層的な動きベクトル検
出処理を実行することにより、当該第2のマクロブロツ
クデータD4の動き量が比較的大きい場合でも動きベク
トルを的確に検出し得るようになされている。
検出回路21においては、全体がCPU22によつて制
御されており、まず第1の符号化処理モード時、第3及
び第4の切換え器23及び24のスイツチをそれぞれ第
1の接点Aに接続する。
力される第1のマクロブロツクデータD1は、フレーム
メモリ構成でなる原画像メモリ25に供給されると共
に、第3の切換え器23を介して階層画像生成器26に
供給される。
レス生成器27からアドレス情報が与えられており、こ
れにより入力処理部2から順次与えられる第1のマクロ
ブロツクデータD1をアドレス情報によつて指定された
アドレス位置に書き込み、第1のフレームデータを再構
成する。
から与えられる第1のマクロブロツクデータD1に基づ
いてその低域成分及び高域成分でなる参照階層ブロツク
データD10を生成してこれを第4の切換え器24を介
してフレームメモリ構成でなる階層画像メモリ28に送
出する。
ドレス生成器29からアドレス情報が与えられており、
これにより階層画像生成器26から順次与えられる参照
階層ブロツクデータD10をアドレス情報によつて指定
されたアドレス位置に書き込む。
2の符号化処理モード時、第3及び第4の切換え器23
及び24のスイツチを第1の接点Aに接続したままの状
態において、入力処理部2から第2のマクロブロツクデ
ータD4が原画像メモリ25に供給されると共に、第3
の切換え器23を介して階層画像生成器26に供給され
る。
えられる第2のマクロブロツクデータD4を、第1のア
ドレス生成器27から与えられるアドレス情報によつて
指定されたアドレス位置に書き込む。
ブロツクデータD10の生成時と同様にして、入力処理
部2から与えられる第2のマクロブロツクデータD4に
基づいてその低域成分及び高域成分でなる参照階層ブロ
ツクデータD10を生成し、これを第4の切換え器24
を介して階層画像メモリ28に送出する。
像生成器26から与えられる参照階層ブロツクデータD
10を第2のアドレス生成器29から与えられるアドレ
ス情報によつて指定されたアドレス位置に書き込む。
入力処理部2から与えられる1つの第2のマクロブロツ
クデータD4に対して上述した処理が終了すると、第2
の符号化処理モードから第1の動きベクトル検出処理モ
ードに移つて第1段階の動きベクトル検出処理を開始
し、第3及び第4の切換え器23及び24のスイツチを
第2の接点Bに接続する。
2の符号化処理モード時に格納した第2のマクロブロツ
クデータD4を第1のアドレス生成器27から与えられ
るアドレス情報に基づいて読み出し、当該読み出した第
2のマクロブロツクデータD4を動きベクトル検出対象
として原画像予測誤差演算器30に送出すると共に第3
の切換え器23を介して階層画像生成器26に送出す
る。
から与えられる第2のマクロブロツクデータD4に基づ
いてその低域成分及び高域成分でなる基本階層ブロツク
データD11を生成してこれを第4の切換え器24を介
して階層画像予測誤差演算器31に送出する。
CPU22から第2のマクロブロツクデータD4に基づ
くマクロブロツク画像の原画像上での位置情報が与えら
れると共に、前方向又は後方向のいずれの動き補償フレ
ーム間予測を実行するのかを表す予測方向情報が与えら
れる。
この位置情報及び予測方向情報に基づいて、動きベクト
ル検出対象の第2のマクロブロツクデータD4よりも時
間的に例えば1フレーム過去の1フレーム分の各参照階
層ブロツクデータD10に基づく画像(以下、これを第
2の参照階層画像と呼ぶ)上で第3の探索領域の大きさ
及び位置を決定し、当該第3の探索領域内に位置する参
照階層ブロツクデータD10を選定する。そしてその選
定した参照階層ブロツクデータD10に対するアドレス
情報を生成してこれを階層画像メモリ28に送出する。
アドレス生成器29から与えられるアドレス情報に基づ
いて、指定されたアドレス位置に書き込まれている参照
階層ブロツクデータD10を第1の参照ブロツクデータ
D12として読み出して階層画像予測誤差演算器31に
送出する。
層画像生成器26から与えられた基本階層ブロツクデー
タD11からその低域成分のみを取り出し、当該取り出
した低域成分と、階層画像メモリ28から与えられた第
1の参照ブロツクデータD12とに基づいてブロツクマ
ツチングすることにより最下層における隣接するフレー
ム間の対応するフイールド間の動きベクトルを第1段階
の動きベクトルとして検出し、これを第1の動きベクト
ルデータD13として第2のアドレス生成器29及び原
画像予測誤差演算器30並びに判定処理器32に送出す
る。
は、第1段階の動きベクトルを検出すると、第1の動き
ベクトル検出処理モードから第2の動きベクトル検出処
理モードに移り、第2段階の動きベクトル検出処理を開
始する。
誤差演算器31から与えられた第1の動きベクトルデー
タD13に基づいて得られる第1段階の動きベクトルの
大きさが予め設定された所定の比較値よりも大きいか否
かを判断し、この判断結果に応じて、第1段階の動きベ
クトルの大きさに応じて予め設定された2種類の第2段
階の動きベクトル検出処理内容のうち対応する処理内容
を指定する選定結果情報を第2のアドレス生成器29及
び階層画像予測誤差演算器31に送出する。
定処理器32から与えられる選定結果情報に基づいて第
1段階の動きベクトルが比較的小さい場合に応じた動き
ベクトル検出処理内容が指定されたときには、階層画像
予測誤差演算器31から与えられる第1の動きベクトル
データD13に基づいて、第2の参照階層画像よりも時
間的にさらに例えば1フレーム過去の1フレーム分の各
参照階層ブロツクデータD10に基づく画像(以下、こ
れを第3の参照階層画像と呼ぶ)上で予め設定された領
域の比較的狭い第4の探索領域の位置を決定する。
は、選定結果情報に基づいて第1段階の動きベクトルが
比較的大きい場合に応じた動きベクトル検出処理内容が
指定されたときには、当該第1の動きベクトルデータD
13に基づいて第3の参照階層画像の低域成分でなる画
像(以下、これを第4の参照階層画像と呼ぶ)上で予め
設定された領域の比較的広い第5の探索領域の位置を決
定する。
した第4又は第5の探索領域内に位置する参照階層ブロ
ツクデータD10を選定し、この選定した参照ブロツク
データD10に対するアドレス情報を生成してこれを階
層画像メモリ28に送出する。
アドレス生成器29から与えられるアドレス情報に基づ
いて指定されたアドレス位置に書き込まれている参照階
層ブロツクデータD10を第2の参照ブロツクデータD
14として読み出して階層画像予測誤差演算器31に送
出する。
ブロツクデータD11と、階層画像メモリ28から与え
られた第2の参照ブロツクデータD14とに基づいてブ
ロツクマツチングすることにより最下層よりも上層にお
ける隣接するフレーム間の動きベクトルを第2段階の動
きベクトルとして検出し、これを第2の動きベクトルデ
ータD15として第1のアドレス生成器27及び原画像
予測誤差演算器30に送出する。
第2段階の動きベクトルを検出すると、第2の動きベク
トル検出処理モードから第3の動きベクトル検出処理モ
ードに移つて第3段階の動きベクトル検出処理を開始す
る。
層画像予測誤差演算器31から与えられる第2の動きベ
クトルデータD15に基づいて、第3の参照階層画像に
対応する(動きベクトル検出対象の第2のマクロブロツ
クデータD4よりも時間的に2フレーム分離れている)
参照原画像上で第6の探索領域の大きさ及び位置を決定
し、当該第6の探索領域内に位置する第1又は第2のマ
クロブロツクデータD1又はD4を選定する。そしてこ
の選定した第1又は第2のマクロブロツクデータD1又
はD4に対するアドレス情報を生成してこれを原画像メ
モリ25に送出する。
ドレス生成器27から与えられるアドレス情報に基づい
て指定されたアドレス位置に書き込まれている第1又は
第2のマクロブロツクデータD1又はD4を第3の参照
ブロツクデータD16として読み出して原画像予測誤差
演算器30に送出する。
ロブロツクデータD4と、第3の参照ブロツクデータD
16とに基づいてブロツクマツチングすることにより原
画像レベルにおける第2段階の動きベクトルを補正する
ような第3段階の動きベクトルを検出する。
画像予測誤差演算器31から与えられた第1段階及び第
2段階の動きベクトルと、第3段階の動きベクトルとに
基づいて第2のマクロブロツクデータD4の最終的な2
フレーム間の動きベクトルを検出し、これを動きベクト
ルデータD17として動き補償器16及び可変長符号化
器8に送出する。
いては、動きベクトル検出対象の第2のマクロブロツク
データD4の最終的な2フレーム間の動きベクトルを検
出すると、第3の動きベクトル検出処理モードから再び
第2の符号化処理モードに移つて第3及び第4の切換え
器23及び24のスイツチをそれぞれ第1の接点Aに接
続し、この状態において入力処理部2から1つの第2の
マクロブロツクデータD4が与えられる。
この後入力処理部2から1つの第2のマクロブロツクデ
ータD4が与えられる毎に上述した第2の符号化処理モ
ードから第3の動きベクトル検出処理モードまでの動き
ベクトル検出処理を順次繰り返し、かくして第2のマク
ロブロツクデータD4の動き量に応じて動きベクトルを
検出する。
クトル検出処理モード時に、階層画像生成器26により
動きベクトル検出対象の第2のマクロブロツクデータD
4のトツプフイールド及びボトムフイールドのデータか
らそれぞれ低域成分と高域成分とを取り出すようにして
基本階層ブロツクデータD11を生成する。
(A)〜(C)に示すように、第2のマクロブロツクデ
ータD4に基づくマクロブロツク画像MG2上でトツプ
フイールドtf及びボトムフイールドbfの低域成分l
f’(q,r) を次式
向に4画素おき及び垂直方向に4ラインおきの各位置で
それぞれ水平方向に4画素及び垂直方向に4ラインでな
る対応するブロツク内の16画素の輝度データdの平均値
を算出するようにして求めると共に、マクロブロツク画
像MG2上でトツプフイールドtf及びボトムフイール
ドbfの高域成分af’(q,r) を次式
向に4画素おき及び垂直方向に4ラインおきの各位置で
それぞれ水平方向に4画素及び垂直方向に4ラインでな
る対応するブロツク内の16画素の輝度データdの平均値
を算出し、その平均値と当該ブロツク内の各画素の輝度
データdとの差分の絶対値の平均値を算出するようにし
て求めることにより、水平方向に4画素及び垂直方向に
4ラインの低域成分(図3(B))と、水平方向に4画
素及び垂直方向に4ラインの高域成分(図3(C))と
からなる基本階層ブロツクデータD11を生成する。
び第2の符号化処理モード時に参照用の第1又は第2の
マクロブロツクデータD1又はD4のトツプフイールド
及びボトムフイールドのデータからもそれぞれ低域成分
と高域成分とを取り出すようにして参照階層ブロツクデ
ータD10を生成する。
(A)〜(C)に示すように、参照用の第1又は第2の
マクロブロツクデータD1又はD4に基づくマクロブロ
ツク画像MG3上でトツプフイールドtf及びボトムフ
イールドbfの低域成分Lf’(q,r) を次式
向に2画素おき及び垂直方向に2ラインおきの各位置で
それぞれ水平方向に4画素及び垂直方向に4ラインでな
る対応するブロツク内の16画素の輝度データDの平均値
を算出するようにして求めると共に、マクロブロツク画
像MG3上でトツプフイールドtf及びボトムフイール
ドbfの高域成分Af’(q,r) を次式
向に2画素おき及び垂直方向に2ラインおきの各位置で
それぞれ水平方向に4画素及び垂直方向に4ラインでな
る対応するブロツク内の16画素の輝度データDの平均値
を算出し、その平均値と当該ブロツク内の各画素の輝度
データDとの差分の絶対値の平均値を算出するようにし
て求めることにより、水平方向に8画素及び垂直方向に
8ラインの低域成分(図4(B))と、水平方向に8画
素及び垂直方向に8ラインの高域成分(図4(C))と
からなる参照階層ブロツクデータD10を生成する。
は、変数fiに「0」を代入することによりトツプフイ
ールドtfの低域成分を求めることができると共に、当
該変数fiに「1」を代入することによりボトムフイー
ルドbfの低域成分を求めることができる。また上述し
た(11)式及び(13)式では、変数fiに「0」を代入
することによりトツプフイールドtfの高域成分を求め
ることができると共に、当該変数fiに「1」を代入す
ることによりボトムフイールドbfの高域成分を求める
ことができる。
て第1の動きベクトル検出処理モード時、図5に示すよ
うに、第2のアドレス生成器29は、位置情報及び予測
方向情報に基づいて、第2の参照階層画像SG2上で、
基本階層ブロツクデータD11のトツプフイールドtf
の低域成分に基づく画像(以下、これを第2の基本階層
画像と呼ぶ)KG2の所定の1つの角w1と対応する位
置を中心とした例えば水平方向Sxに±8画素及び垂直
方向Syに±8ラインでなる第3の探索領域TR3を決
定する。
は、第3の探索領域TR3内を第2の基本階層画像KG
2によつてサーチしながら順次ブロツクマツチングする
ことにより、当該第2の基本階層画像KG2と、これに
第3の探索領域TR3内で対応させた第2のブロツク階
層画像BK2との(トツプフイールドtfに対する)予
測誤差bdt2(q,r) を次式
像KG2内の各低域成分と、ブロツク階層画像BK2内
のそれぞれ対応させた低域成分との差分の絶対値の総和
を算出するようにして求める。
は、順次求めた予測誤差bdt2(q,r) が最小となると
きの第2のブロツク階層画像BK2を検出し、当該検出
した第2のブロツク階層画像BK2と、第2の基本階層
画像KG2との間の動き量に基づいて、最下層における
隣接するフレーム間の対応するフイールド間の第1段階
の動きベクトルMVb1を比較的粗く検出する。
2の動きベクトル検出処理モード時、選定処理器32
は、例えば第3の探索領域TR3の水平方向の画素数
(例えば±8画素)を所定の比較値とするように予め設
定されており、当該比較値と第1段階の動きベクトルM
Vb1のx成分の絶対値とを比較する。
ルMVb1のx成分mxの絶対値と、比較値Sxtとを
比較した結果、当該第1段階の動きベクトルMVb1の
x成分mxの絶対値が比較値Sxtよりも小さいときに
は、マクロブロツク画像MG2の動き量が比較的小さい
と判断し、この判断結果に応じて、予め設定された領域
の大きさの異なる第4の探索領域(領域が狭い)と第5
の探索領域(領域が広い)とのうち領域の狭い第4の探
索領域を選定すると共に、当該判断結果に応じた動きベ
クトルの検出処理内容を選定する。
ルMVb1のx成分mxの絶対値と、比較値Sxtとを
比較した結果、当該第1段階の動きベクトルMVb1の
x成分mxの絶対値が比較値Sxt以上のときには、マ
クロブロツク画像MG2の動き量が比較的大きいと判断
し、この判断結果に応じて第4の探索領域と第5の探索
領域とのうち領域の広い第5の探索領域を選定すると共
に、当該判断結果に応じた動きベクトル検出処理内容を
選定する。
域を選定した場合、図6に示すように、第2のアドレス
生成器29は、選定結果情報に基づいて、第3の参照階
層画像SG3上で第1段階の動きベクトルMVb1の終
点w2と対応する位置に例えば水平方向Sxに±8画素
及び垂直方向Syに±8ラインでなる(第3の探索領域
TR3と同じ大きさでなる)第4の探索領域TR4の中
心位置を重ねるようにして当該第4の探索領域TR4の
位置を決定する。
は、選定された処理内容に応じて、第4の探索領域TR
4内を基本階層ブロツクデータD11に基づく画像(以
下、これを第3の基本階層画像と呼ぶ)KG3によつて
サーチしながら順次ブロツクマツチングすることによ
り、当該第3の基本階層画像KG3と、これに第4の探
索領域TR4内で対応させた第3のブロツク階層画像B
K3とにおいて、この第3の基本階層画像KG3のトツ
プフイールドtfに対する予測誤差bdt3(q,r)を次
式
G3のトツプフイールドtfの各低域成分と、第3のブ
ロツク階層画像BK3のそれぞれ対応させた低域成分と
の差分の絶対値の総和と、当該第3の基本階層画像KG
3のトツプフイールドtfの各高域成分と、第3のブロ
ツク階層画像BK3のそれぞれ対応させた高域成分との
差分の絶対値の総和とを加算するようにして求める。
イールドbfに対する予測誤差bdb3(q,r) を次式
像KG3のボトムフイールドbfの各低域成分と、第3
のブロツク階層画像BK3のそれぞれ対応させた低域成
分との差分の絶対値の総和と、当該第3の基本階層画像
KG3のボトムフイールドbfの各高域成分と、第3の
ブロツク階層画像BK3のそれぞれ対応させた高域成分
との差分の絶対値の総和とを加算するようにして求め
る。
対応させた第3のブロツク階層画像BK3とのフレーム
間の予測誤差bdf3(q,r) を次式
t3(q,r) 及び予測誤差bdb3(q,r) 同士を順次加算
するようにして求め、当該求めた予測誤差bdf3
(q,r) が最小となるときの第3のブロツク階層画像BK
3を検出する。
1は、検出した第3のブロツク階層画像BK3と第3の
基本階層画像KG3との間の動き量に基づいて、最下層
よりも上層における隣接するフレーム間(第2及び第3
の参照階層画像SG2及びSG3間)の第2段階の動き
ベクトルMVb21を第1段階の動きベクトルMVb1
よりも検出精度を向上させて検出する。
領域を選定した場合、図7に示すように、第2のアドレ
ス生成器29は、選定結果情報に基づいて、第3の参照
階層画像SG3の低域成分のみでなる第4の参照階層画
像SG4上で第1段階の動きベクトルMVb1の終点w
2に対応する位置に例えば水平方向2Sxに±16画素及
び垂直方向Syに±8ラインでなる(第3の探索領域T
R3の水平方向Sxを2倍にした大きさでなる)第5の
探索領域TR5の中心位置を重ねるようにして当該第5
の探索領域TR5の位置を決定する。
選定された処理内容に応じて第5の探索領域TR5内
を、第3の基本階層画像KG3の低域成分のみでなる画
像(以下、これを第4の基本階層画像と呼ぶ)KG4に
よつてサーチしながら順次ブロツクマツチングする。
は、このとき第4の基本階層画像KG4と、これに第5
の探索領域TR5内で対応させた第4のブロツク階層画
像BK4とにおいて、当該第4の基本階層画像KG4の
トツプフイールドtfに対する予測誤差bdt4(q,r)
を次式
G4のトツプフイールドtfの各低域成分と、第4のブ
ロツク階層画像BK4のそれぞれ対応させた低域成分と
の差分の絶対値の総和を算出するようにして求める。
イールドbfに対する予測誤差bdb4(q,r) を次式
G4のボトムフイールドbfの各低域成分と、第4のブ
ロツク階層画像BK4のそれぞれ対応させた低域成分と
の差分の絶対値の総和を算出するようにして求める。
ブロツク階層画像BK4とのフレーム間の予測誤差bd
f4(q,r) を次式
t4(q,r) 及び予測誤差bdb4(q,r) 同士を順次加算
するようにして求め、当該求めた予測誤差bdf4
(q,r) が最小となるときの第4のブロツク階層画像BK
4を検出し、当該検出した第4のブロツク階層画像BK
4と第4の基本階層画像KG4との間の動き量に基づい
て最下層よりも上層における隣接するフレーム間の第2
段階の動きベクトルMVb22を第1段階の動きベクト
ルMVb1よりも検出精度を向上させ、かつ第2段階の
動きベクトルMVb21よりも検出精度をわずかに下げ
て検出する。
Vb1の大きさが比較値Sxtよりも小さいときには、
領域の比較的狭い第4の探索領域TR4内を低域成分及
び高域成分でなる第3の基本階層画像KG3によつてサ
ーチしながら順次ブロツクマツチングするようにして第
2段階の動きベクトルMVb21を比較的高精度に検出
し、また第1段階の動きベクトルMVb1の大きさが比
較値Sxt以上のときには、領域の比較的広い第5の探
索領域TR5内を低域成分のみでなる第4の基本階層画
像KG4によつてサーチしながら順次ブロツクマツチン
グするようにして第2段階の動きベクトルMVb22を
ある程度精度を低下させて検出する。
1は、第1段階の動きベクトルMVb1の大きさに応じ
て処理内容が変わつても、予測誤差の演算量をほぼ同等
にして第2段階の動きベクトルMVb21又はMVb2
2を検出し得るようになされている。
て第3の動きベクトル検出処理モード時、図8に示すよ
うに、第1のアドレス生成器27は、動きベクトル検出
対象の第2のマクロブロツクデータD4に対応する原画
像FG2よりも時間的に例えば2フレーム過去の参照原
画像FG3上で、先に検出した第2段階の動きベクトル
MVb21又はMVb22のいずれか一方の終点w3と
対応する位置を中心として、参照階層ブロツクデータD
10を生成する際に欠落した画素を補うように例えば水
平方向に±1画素及び垂直方向に±1ラインでなる第6
の探索領域TR6を決定する。
第6の探索領域TR6内を動きベクトル検出対象の第2
のマクロブロツクデータD4に基づくマクロブロツク画
像MG2によつてサーチしながら順次ブロツクマツチン
グすることにより、上述した(6)式、(7)式及び
(8)式を用いて当該マクロブロツク画像MG2に第6
の探索領域TR6内で順次対応させた第2のブロツク画
像BG2のうち、このマクロブロツク画像MG2と最も
一致する第2のブロツク画像BG2を検出し、当該検出
した第2のブロツク画像BG2とマクロブロツク画像M
G2との間の動き量に基づいて原画像レベルで第2段階
の動きベクトルMVb21又はMVb22を補正するよ
うな第3段階の動きベクトルMVb3を検出する。
ロブロツク画像MG2の動き量が比較的小さいために上
述した第2段階の動きベクトル検出処理において、第2
段階の動きベクトルMVb21を検出している場合、次
式
に欠落した画素を補うように、第1段階の動きベクトル
MVb1と第2段階の動きベクトルMVb21との加算
結果を2倍にし、これに第3段階の動きベクトルMVb
3を加算することにより当該マクロブロツク画像MG2
の最終的な2フレーム間の動きベクトルMVB1を検出
する。
比較的大きいために上述した第2段階の動きベクトル検
出処理において、第2段階の動きベクトルMVb22を
検出している場合には、次式
に欠落した画素を補うように、第1段階の動きベクトル
MVb1と第2段階の動きベクトルMVb22との加算
結果を2倍にし、これに第3段階の動きベクトルMVb
3を加算することにより当該マクロブロツク画像MG2
の最終的な2フレーム間の動きベクトルMVB2を検出
する。
は、マクロブロツク画像MG2の動き量の大きさに応じ
て第2の動きベクトル検出処理モードの処理内容を換え
ることにより、当該マクロブロツク画像MG2の動き量
が比較的大きい場合でも最終的な動きベクトルを的確に
検出し得るようになされている。
検出器21では、Bピクチヤが割り当てられた第2のマ
クロブロツクデータD4の動きベクトルを検出すると
き、前方向又は後方向のいずれか一方の動きベクトル検
出処理によつて検出した第1段階の動きベクトルに基づ
いて第4又は第5の探索領域TR4又はTR5のいずれ
か一方を選定するようになされており、これによりBピ
クチヤが割り当てられた第2のマクロブロツクデータD
4の動きベクトルを検出するときの予測誤差の演算量が
増大することを防止し得るようになされている。
検出器21では、Bピクチヤが割り当てられた第2のマ
クロブロツクデータD4を参照用として用いる際に、動
きベクトル検出処理の第1段階でのみ用いることから、
当該Bピクチヤが割り当てられた第2のマクロブロツク
データD4からはトツプフイールドtfのデータの低域
成分のみでなる参照階層ブロツクデータを生成するよう
になされており、これにより参照階層ブロツクデータを
格納する階層画像メモリ28の記憶容量を低減化してい
る。
ル検出器21では、第1の動きベクトル検出処理モード
時に第2の参照階層画像SG2上で第3の探索領域TR
3の大きさ及び位置を決定し、当該第3の探索領域TR
3内を第2の基本階層画像KG2によつてサーチしなが
ら順次ブロツクマツチングすることにより最下層の隣接
するフレーム間におけるフイールド間の第1段階の動き
ベクトルMVb1を比較的粗く検出する。
の動きベクトル検出処理モード時に第1段階の動きベク
トルMVb1の大きさに応じて第4の探索領域TR4又
は第5の探索領域TR5のいずれか一方と処理内容とを
選定する。
大きさが比較値Sxtよりも小さい場合には、マクロブ
ロツク画像MG2の動き量が比較的小さいと判断し、第
3の参照階層画像SG3上で第4の探索領域TR4の位
置を決定し、当該第4の探索領域TR4内を第3の基本
階層画像KG3によつてサーチしながら順次ブロツクマ
ツチングすることにより最下層よりも上層における隣接
するフレーム間の第2段階の動きベクトルMVb21を
検出する。
b1の大きさが比較値Sxt以上の場合には、マクロブ
ロツク画像MG2の動き量が比較的大きいと判断し、第
4の参照階層画像SG4上で第5の探索領域TR5の位
置を決定し、当該第4の探索領域TR42内を第4の基
本階層画像KG4によつてサーチしながら順次ブロツク
マツチングすることにより最下層よりも上層における隣
接するフレーム間の第2段階の動きベクトルMVb22
を検出する。
の動きベクトル検出処理モード時に第2段階の動きベク
トルMVb21又はMVb22に基づいて、参照原画像
FG3上で第6の探索領域TR6の大きさ及び位置を決
定し、当該第6の探索領域TR6内をマクロブロツク画
像MG2によつてサーチしながら順次ブロツクマツチン
グすることにより、第2段階の動きベクトルMVb21
又はMVb22を補正するような第3段階の動きベクト
ルMVb3を検出する。
段階及び第2段階並びに第3段階の動きベクトルMVb
1及びMVb21並びにMVb3、又は第1段階及び第
2段階並びに第3段階の動きベクトルMVb1及びMV
b22並びにMVb3に基づいてマクロブロツク画像M
G2の最終的な2フレーム間の動きベクトルを検出す
る。
第2段階の動きベクトル検出処理において、第1段階の
動きベクトルMVb1の大きさに応じて第4の探索領域
TR4又は第5の探索領域TR5のいずれか一方を選定
して用いることから、マクロブロツク画像MG2の動き
量の大きさに応じて第2段階の動きベクトルMVb21
又はMVb22を的確に検出することができる。
1段階の動きベクトルMVb1の大きさが比較値Sxt
よりも小さいときには低域成分及び高域成分を用いて第
2段階の動きベクトルMVb21を検出し、これに対し
て第1段階の動きベクトルMVb1の大きさが比較値S
xt以上のときには、低域成分のみを用いて第2段階の
動きベクトルMVb22を検出することから、これら2
種類の第2段階の動きベクトルMVb21及びMVb2
2の検出するための予測誤差の演算量をほぼ同等にする
ことができる。
2種類の第2段階の動きベクトルMVb21及びMVb
22をそれぞれ同じ回路で検出することから、マクロブ
ロツク画像MG2の動き量に応じて動きベクトルを検出
し分けるために回路規模が増大することを防止すること
ができる。
動きベクトルをマクロブロツク単位で検出するようにし
たことにより、原画像FG2上で動きのある部分のみの
動きベクトルを的確に検出することができる。
の探索領域TR3内を第2の基本階層画像KG2によつ
てサーチしながらブロツクマツチングすることにより隣
接する2フレーム間におけるフイールド間の第1段階の
動きベクトルMVb1を検出し、当該検出した第1段階
の動きベクトルMVb1の大きさに応じて最下層よりも
上層において第4の探索領域TR4又は第5の探索領域
TR5のいずれか一方と処理内容とを選定して第2段階
の動きベクトルMVb21又はMVb22のいずれか一
方を検出するようにしたことにより、マクロブロツク画
像MG2の動き量が比較的大きい場合でも第2段階の動
きベクトルMVb22を的確に検出し、この結果として
最終的な動きベクトルMVB2も的確に検出することが
でき、かくしてマクロブロツク画像MG2の動き量に係
わらず動きベクトルを的確に検出し得る動きベクトル検
出方法及び動きベクトル検出装置を実現することができ
る。
21により動きベクトル検出対象の第2のマクロブロツ
クデータD4の2フレーム間の動きベクトルを検出する
ようにした場合について述べたが、本発明はこれに限ら
ず、動きベクトル検出対象の第2のマクロブロツクデー
タD4の少なくとも2フレーム間の動きベクトルを検出
するようにしても良い。
めるフレームの1フレーム前までは第1段階の動きベク
トル検出処理により隣接するフレーム間におけるフイー
ルド間の第1段階の動きベクトルを順次検出し、求める
フレーム及びその1フレーム前のフレーム間の第2段階
の動きベクトルを第2段階の動きベクトル検出処理によ
り最下層よりも上層において検出する。このようにした
場合でも上述した実施の形態と同様の効果を得ることが
できる。
クトル検出対象の第2のマクロブロツクデータD4の2
フレーム間の動きベクトルを階層画像を用いて検出する
ようにした場合について述べたが、本発明はこれに限ら
ず、動きベクトル検出対象の第2のマクロブロツクデー
タD4の少なくとも2フレーム間の動きベクトルを源画
像レベルで検出するようにしても良い。
1フレーム前までは隣接するフレーム間又は当該フレー
ム間におけるフイールド間の動きベクトルを順次検出
し、当該検出した動きベクトルの大きさに応じて求める
フレーム及びその1フレーム前のフレーム間における探
索領域の広さを決定してこの求めるフレーム及びその1
フレーム前のフレーム間の動きベクトル検出し、このよ
うにして求めた各動きベクトルを合成するようにして最
終的な少なくとも2フレーム間の動きベクトルを検出す
るようにしても良く、この場合にも、動きベクトル検出
対象の第2のマクロブロツクデータD4の動き量に応じ
て動きベクトルを適確に検出することができる。
の動きベクトル検出処理モード時にトツプフイールドt
fの低域成分でなる第2の基本階層画像KG2を用いる
ようにした場合について述べたが、本発明はこれに限ら
ず、第2の基本階層画像KG2に代えてボトムフイール
ドbfの低域成分のみ、トツプフイールドtfの高域成
分のみ、又はボトムフイールドbfの高域成分のみでな
る画像を用いて第1段階の動きベクトルMVb1を検出
するようにしても良い。
段階の動きベクトルMVb1の大きさが比較値Sxt以
上のときに低域成分のみを用いて第2段階の動きベクト
ルMVb22を検出するようにした場合について述べた
が、本発明はこれに限らず、このときに高域成分のみを
用いて第2段階の動きベクトルを検出するようにしても
良い。
明をMPEG2が適用された符号化装置20に適用する
ようにした場合について述べたが、本発明はこれに限ら
ず、MPEG1のフレーム構造が適用された符号化装置
や動きベクトル検出装置に適用するようにしても良い。
ベクトル検出器21において第3の動きベクトル検出処
理モードから第2の符号化処理モードに移つたときに第
3及び第4の切換え器23及び24のスイツチをそれぞ
れ第1の接点Aに接続するようにした場合について述べ
たが、本発明はこれに限らず、第2の動きベクトル検出
処理モードから第3の動きベクトル検出処理モードに移
つたときに第3及び第4の切換え器23及び24のスイ
ツチをそれぞれ第1の接点Aに接続するようにしても良
く、これにより第3段階の動きベクトル検出処理を実行
しながら、第2の符号化処理モード時の第2のマクロブ
ロツクデータD4に対する処理を実行することができ
る。
段階の動きベクトルMVb1の水平方向の画素数を所定
の比較値Sxtとするようにした場合について述べた
が、本発明はこれに限らず、第1段階の動きベクトルM
Vb1の垂直方向の画素数や、所定のしきい値等のよう
に、この他種々の値を比較値とすることができる。
段階の動きベクトルMVb1の大きさと比較値Sxtと
の比較結果に基づいて予め設定された第4の探索領域T
R4又は第5の探索領域TR5のいずれか一方を選定す
るようにした場合について述べたが、本発明はこれに限
らず、第1段階の動きベクトルMVb1の大きさに応じ
て探索領域の広さを決定するようにしても良い。
のフレームから第2のフレームの1フレーム前の第3の
フレームまでの間、所望階層よりも下層において隣接す
るフレーム間におけるフイールド間の動きベクトルを順
次検出する第1の動きベクトル検出手段として、階層画
像予測誤差演算器31及び階層画像生成器26を適用す
るようにした場合について述べたが、本発明はこれに限
らず、第1のフレームから第2のフレームの1フレーム
前の第3のフレームまでの間、所望階層よりも下層にお
いて隣接するフレーム間におけるフイールド間の動きベ
クトルを順次検出することができれば、この他種々の第
1の動きベクトル検出手段を適用するようにしても良
い。
の動きベクトル検出手段によつて検出された動きベクト
ルMVb1の大きさに応じて所望階層における第3及び
第2のフレーム間の動きベクトルを検出するための探索
領域の大きさ及び位置を決定する決定手段として選定処
理器32及び第2のアドレス生成器29を適用するよう
にした場合について述べたが、本発明はこれに限らず、
第1の動きベクトル検出手段によつて検出された動きベ
クトルMVb1の大きさに応じて所望階層における第3
及び第2のフレーム間の動きベクトルを検出するための
探索領域の大きさ及び位置を決定することができれば、
この他種々の決定手段を適用するようにしても良い。
手段の決定に基づいて第3及び第2のフレーム間の動き
ベクトルを検出する第2の動きベクトル検出手段として
階層画像予測誤差演算器31を適用するようにした場合
について述べたが、本発明はこれに限らず、決定手段の
決定に基づいて第3及び第2のフレーム間の動きベクト
ルを検出することができれば、この他種々の第2の動き
ベクトル検出手段を適用するようにしても良い。
レームから第3のフレームまでの間、隣接するフレーム
間又は当該隣接するフレーム間におけるフイールド間の
動きベクトルを順次検出し、当該検出した動きベクトル
の大きさに応じて第3及び第2のフレーム間の動きベク
トルを検出するための探索領域の大きさ及び位置を決定
し、この決定に基づいて第3及び第2のフレーム間の動
きベクトルを検出するようにしたことにより、単位ブロ
ツクの動き量が比較的大きい場合でも第3及び第2のフ
レーム間の動きベクトルを的確に検出することができ、
かくして単位ブロツクの動き量に係わらずに動きベクト
ルを的確に検出し得る動きベクトル検出方法を実現する
ことができる。
での間、所望階層よりも下層において隣接するフレーム
間におけるフイールド間の動きベクトルを順次検出し、
当該検出した動きベクトルの大きさに応じて所望階層に
おける第3及び第2のフレーム間の動きベクトルを検出
するための探索領域の大きさ及び位置を決定し、この決
定に基づいて第3及び第2のフレーム間の動きベクトル
を検出するようにしたことにより、単位ブロツクの動き
量が比較的大きい場合でも第3及び第2のフレーム間の
動きベクトルを的確に検出することができ、かくして単
位ブロツクの動き量に係わらずに動きベクトルを的確に
検出し得る動きベクトル検出方法を実現することができ
る。
1のフレームから第2のフレームの1フレーム前の第3
のフレームまでの間、隣接するフレーム間又は当該隣接
するフレーム間におけるフイールド間の動きベクトルを
順次検出する第1の動きベクトル検出手段と、当該第1
の動きベクトル検出手段によつて検出された動きベクト
ルの大きさに応じて第3及び第2のフレーム間の動きベ
クトルを検出するための探索領域の大きさ及び位置を決
定する決定手段と、当該決定手段の決定に基づいて第3
及び第2のフレーム間の動きベクトルを検出する第2の
動きベクトル検出手段とを設けるようにしたことによ
り、単位ブロツクの動き量が比較的大きい場合でも第3
及び第2のフレーム間の動きベクトルを的確に検出する
ことができ、かくして単位ブロツクの動き量に係わらず
に動きベクトルを的確に検出し得る動きベクトル検出装
置を実現することができる。
の1フレーム前の第3のフレームまでの間、所望階層よ
りも下層において隣接するフレーム間におけるフイール
ド間の動きベクトルを順次検出する第1の動きベクトル
検出手段と、当該第1の動きベクトル検出手段によつて
検出された動きベクトルの大きさに応じて所望階層にお
ける第3及び第2のフレーム間の動きベクトルを検出す
るための探索領域の大きさ及び位置を決定する決定手段
と、当該決定手段の決定に基づいて第3及び第2のフレ
ーム間の動きベクトルを検出する第2の動きベクトル検
出手段とを設けるようにしたことにより、単位ブロツク
の動き量が比較的大きい場合でも第3及び第2のフレー
ム間の動きベクトルを的確に検出することができ、かく
して単位ブロツクの動き量に係わらずに動きベクトルを
的確に検出し得る動きベクトル検出装置を実現すること
ができる。
形態を示すブロツク図である。
一実施の形態を示すブロツク図である。
略線的概略図である。
略線的概略図である。
る略線的概略図である。
階の動きベクトル検出処理の説明に供する略線的概略図
である。
階の動きベクトル検出処理の説明に供する略線的概略図
である。
る略線的概略図である。
明に供する略線的概略図である。
図である。
する略線的概略図である。
する略線的概略図である。
明に供する略線的概略図である。
明に供する略線的概略図である。
6……階層画像生成器、28……階層画像メモリ、29
……第2のアドレス生成器、31……階層画像予測誤差
演算器、32……選定処理器、D1……第1のマクロブ
ロツクデータ、D4……第2のマクロブロツクデータ、
D10……参照階層ブロツクデータ、D11……基本階
層ブロツクデータ、D12……第1の参照ブロツクデー
タ、D13……第1の動きベクトルデータ、D14……
第2の参照ブロツクデータ、D15……第2の動きベク
トルデータ、D16……第3の参照ブロツクデータ、D
17……動きベクトルデータ、MVb1……第1段階の
動きベクトル、MVb21、MVb22……第2段階の
動きベクトル、MVb3……第3段階の動きベクトル、
MG2……マクロブロツク画像、FG2……原画像、F
G3……参照原画像、SG2……第2の参照階層画像、
SG3……第3の参照階層画像、SG4……第4の参照
階層画像、KG2……第2の基本階層画像、KG3……
第3の基本階層画像、KG4……第4の基本階層画像、
BK2……第2のブロツク階層画像、BK3……第3の
ブロツク階層画像、BK4……第4のブロツク階層画
像、BG2……第2のブロツク画像、TR3……第3の
探索領域、TR4……第4の探索領域、TR5……第5
の探索領域、TR6……第6の探索領域。
Claims (14)
- 【請求項1】符号化対象の映像データから分割された所
定の単位ブロツクの第1のフレームから少なくとも2フ
レーム以上後の第2のフレームまでの動きベクトルを検
出する動きベクトル検出方法において、 上記第1のフレームから上記第2のフレームの1フレー
ム前の第3のフレームまでの間、隣接するフレーム間又
は当該隣接するフレーム間におけるフイールド間の動き
ベクトルを順次検出する第1のステツプと、 上記第1のステツプにおいて検出した上記動きベクトル
の大きさに応じて上記第3及び第2のフレーム間の動き
ベクトルを検出するための探索領域の大きさ及び位置を
決定する第2のステツプと、 上記第2のステツプの上記決定に基づいて上記第3及び
第2のフレーム間の上記動きベクトルを検出する第3の
ステツプとを具えることを特徴とする動きベクトル検出
方法。 - 【請求項2】上記第2のステツプでは、 上記第1のステツプにおいて検出した上記動きベクトル
の大きさを所定の比較値と比較して得られる比較結果に
基づいて上記探索領域の大きさ及び位置を決定すること
を特徴とする請求項1に記載の動きベクトル検出方法。 - 【請求項3】上記第2のステツプでは、 上記単位ブロツクに双方向の動き補償フレーム間予測を
用いる符号化方式が割り当てられている場合、上記第1
のステツプにおいて検出した前方向の上記動きベクトル
又は後方向の上記動きベクトルのいずれか一方の大きさ
に応じて上記探索領域の大きさ及び位置を決定すること
を特徴とする請求項1に記載の動きベクトル検出方法。 - 【請求項4】符号化対象の映像データから分割された所
定の単位ブロツクの所望階層における第1のフレームか
ら少なくとも2フレーム以上後の第2のフレームまでの
動きベクトルを検出する動きベクトル検出方法におい
て、 上記第1のフレームから上記第2のフレームの1フレー
ム前の第3のフレームまでの間、上記所望階層よりも下
層において隣接するフレーム間におけるフイールド間の
動きベクトルを順次検出する第1のステツプと、 上記第1のステツプにおいて検出した上記動きベクトル
の大きさに応じて上記所望階層における上記第3及び第
2のフレーム間の動きベクトルを検出するための探索領
域の大きさ及び位置を決定する第2のステツプと、 上記第2のステツプの上記決定に基づいて上記第3及び
第2のフレーム間の上記動きベクトルを検出する第3の
ステツプとを具えることを特徴とする動きベクトル検出
方法。 - 【請求項5】上記第2のステツプでは、 上記第1のステツプにおいて検出した上記動きベクトル
の大きさを所定の比較値と比較して得られる比較結果に
基づいて上記探索領域の大きさ及び位置を決定すること
を特徴とする請求項4に記載の動きベクトル検出方法。 - 【請求項6】上記第2のステツプでは、 上記単位ブロツクに双方向の動き補償フレーム間予測を
用いる符号化方式が割り当てられている場合、上記第1
のステツプにおいて検出した前方向の上記動きベクトル
又は後方向の上記動きベクトルのいずれか一方の大きさ
に応じて上記探索領域の大きさ及び位置を決定すること
を特徴とする請求項4に記載の動きベクトル検出方法。 - 【請求項7】上記第2のステツプでは、 上記第1のステツプにおいて検出した上記動きベクトル
の大きさが上記比較値よりも大きい場合には、上記探索
領域を当該第1のステツプにおいて検出した上記動きベ
クトルの大きさが上記比較値よりも小さい場合の上記探
索領域よりも広くし、かつ上記所望階層において上記動
きベクトルを検出するために用いる階層画像のデータ量
を、上記第1のステツプにおいて検出した上記動きベク
トルの大きさが上記比較値よりも小さい場合に上記所望
階層において上記動きベクトルを検出するために用いる
階層画像のデータ量よりも低減させることを特徴とする
請求項5に記載の動きベクトル検出方法。 - 【請求項8】符号化対象の映像データから分割された所
定の単位ブロツクの第1のフレームから少なくとも2フ
レーム以上後の第2のフレームまでの動きベクトルを検
出する動きベクトル検出装置において、 上記第1のフレームから上記第2のフレームの1フレー
ム前の第3のフレームまでの間、隣接するフレーム間又
は当該隣接するフレーム間におけるフイールド間の動き
ベクトルを順次検出する第1の動きベクトル検出手段
と、 上記第1の動きベクトル検出手段によつて検出された上
記動きベクトルの大きさに応じて上記第3及び第2のフ
レーム間の動きベクトルを検出するための探索領域の大
きさ及び位置を決定する決定手段と、 上記決定手段の上記決定に基づいて上記第3及び第2の
フレーム間の上記動きベクトルを検出する第2の動きベ
クトル検出手段とを具えることを特徴とする動きベクト
ル検出装置。 - 【請求項9】上記決定手段は、 上記第1の動きベクトル検出手段によつて検出された上
記動きベクトルの大きさを所定の比較値と比較して得ら
れる比較結果に基づいて上記探索領域の大きさ及び位置
を決定することを特徴とする請求項8に記載の動きベク
トル検出装置。 - 【請求項10】上記決定手段は、 上記単位ブロツクに双方向の動き補償フレーム間予測を
用いる符号化方式が割り当てられている場合、上記第1
の動きベクトル検出手段によつて検出された前方向の上
記動きベクトル又は後方向の上記動きベクトルのいずれ
か一方の大きさに応じて上記探索領域の大きさ及び位置
を決定することを特徴とする請求項8に記載の動きベク
トル検出装置。 - 【請求項11】符号化対象の映像データから分割された
所定の単位ブロツクの所望階層における第1のフレーム
から少なくとも2フレーム以上後の第2のフレームまで
の動きベクトルを検出する動きベクトル検出装置におい
て、 上記第1のフレームから上記第2のフレームの1フレー
ム前の第3のフレームまでの間、上記所望階層よりも下
層において隣接するフレーム間におけるフイールド間の
動きベクトルを順次検出する第1の動きベクトル検出手
段と、 上記第1の動きベクトル検出手段によつて検出された上
記動きベクトルの大きさに応じて上記所望階層における
上記第3及び第2のフレーム間の動きベクトルを検出す
るための探索領域の大きさ及び位置を決定する決定手段
と、 上記決定手段の上記決定に基づいて上記第3及び第2の
フレーム間の上記動きベクトルを検出する第2の動きベ
クトル検出手段とを具えることを特徴とする動きベクト
ル検出装置。 - 【請求項12】上記決定手段は、 上記第1の動きベクトル検出手段によつて検出された上
記動きベクトルの大きさを所定の比較値と比較して得ら
れる比較結果に基づいて上記探索領域の大きさ及び位置
を決定することを特徴とする請求項11に記載の動きベ
クトル検出装置。 - 【請求項13】上記決定手段は、 上記単位ブロツクに双方向の動き補償フレーム間予測を
用いる符号化方式が割り当てられている場合、上記第1
の動きベクトル検出手段によつて検出された前方向の上
記動きベクトル又は後方向の上記動きベクトルのいずれ
か一方の大きさに応じて上記探索領域の大きさ及び位置
を決定することを特徴とする請求項11に記載の動きベ
クトル検出装置。 - 【請求項14】上記決定手段は、 上記第1の動きベクトル検出手段によつて検出された各
上記動きベクトルの大きさが上記比較値よりも大きい場
合には、上記探索領域を当該第1の動きベクトル検出手
段において検出した上記動きベクトルの大きさが上記比
較値よりも小さい場合の上記探索領域よりも広くし、か
つ上記所望階層において上記動きベクトルを検出するた
めに用いる階層画像のデータ量を、上記第1の動きベク
トル検出手段において検出した上記動きベクトルの大き
さが上記比較値よりも小さい場合に上記所望階層におい
て上記動きベクトルを検出するために用いる階層画像の
データ量よりも低減させることを特徴とする請求項12
に記載の動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08907298A JP3944806B2 (ja) | 1998-04-01 | 1998-04-01 | 動きベクトル検出方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08907298A JP3944806B2 (ja) | 1998-04-01 | 1998-04-01 | 動きベクトル検出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11289538A true JPH11289538A (ja) | 1999-10-19 |
JP3944806B2 JP3944806B2 (ja) | 2007-07-18 |
Family
ID=13960658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08907298A Expired - Fee Related JP3944806B2 (ja) | 1998-04-01 | 1998-04-01 | 動きベクトル検出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3944806B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329693A (ja) * | 2006-06-08 | 2007-12-20 | Hitachi Ltd | 画像符号化装置、及び画像符号化方法 |
-
1998
- 1998-04-01 JP JP08907298A patent/JP3944806B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329693A (ja) * | 2006-06-08 | 2007-12-20 | Hitachi Ltd | 画像符号化装置、及び画像符号化方法 |
US8379724B2 (en) | 2006-06-08 | 2013-02-19 | Hitachi, Ltd. | Image coding apparatus and image coding method |
Also Published As
Publication number | Publication date |
---|---|
JP3944806B2 (ja) | 2007-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662636B2 (ja) | 動き推定とブロックマッチング・パターンの改良 | |
JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
US5864368A (en) | Picture signal editing and encoding method and apparatus, signal recording medium and picture signal decoding method and apparatus | |
JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
US20100104020A1 (en) | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof | |
US20030174769A1 (en) | Motion picture encoding apparatus | |
JPH05137131A (ja) | フレーム間動き予測方法 | |
JP3031152B2 (ja) | 動き予測プロセッサ及び動き予測装置 | |
TW201921949A (zh) | 動態影像預測解碼方法、動態影像預測解碼裝置及動態影像預測編碼方法 | |
US5982439A (en) | Coding image data | |
JPS6075184A (ja) | 動画像信号の符号化方式とその装置 | |
JPH09294262A (ja) | 画像符号化装置 | |
JP3944804B2 (ja) | 動きベクトル検出方法及び装置 | |
JP2000069469A (ja) | 動画像符号化方法とシステム及び動画像復号方法とシステム | |
JPH11289538A (ja) | 動きベクトル検出方法及び装置 | |
KR19990064023A (ko) | 디지털화상부호화·복호방법 및 장치 | |
JP3944805B2 (ja) | 動きベクトル検出方法及び装置 | |
JPH10327416A (ja) | 動画像符号化装置 | |
JP3677165B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
JPH11122619A (ja) | 動画像符号化および復号化方法 | |
JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
JP2000134581A (ja) | 動画再生装置及び動画再生方法 | |
WO2022196133A1 (ja) | 符号化装置及び方法 | |
JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH11298902A (ja) | 画像符号化装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070329 |
|
LAPS | Cancellation because of no payment of annual fees |