JPH0591496A - 動き補償装置 - Google Patents

Abstract

(57)【要約】 【目的】 動き補償回路に於いて、フィールド間及びフ
レーム間の動き補償をデータ内容に応じてデータ量を変
えずに選択する。 【構成】 フィールドメモリ３０及び３１を直列的に接
続し、少なくとも１フィールド遅延された画像データと
少なくとも１フレーム遅延された画像データをフィール
ド間動き補償回路３３とフレーム間動き補償回路３４並
にフィールド間動きベクトル検出回路３７とフレーム間
動きベクトル検出回路３８に供給し、フィールド間及び
フレーム間動きベクトルに基づいて、フレーム間の動き
補償を行うものに於いてフィールド間補償に置き代るも
のはフィールド間補償を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像高能率符号化回路等
に用いて好適な動き補償装置に係わり、特にフレーム間
動きベクトルの内でフィールド間動きベクトルに置き換
えられる動きは、これをフィールド間動きベクトルに変
換する様にした動き補償装置に関する。

【０００２】

【従来の技術】従来から画像高能率符号化装置等の動き
補償回路には種々の方式が提案されているが、一般的に
前フレームの画像データをフレーム用のメモリに蓄積
し、動きベクトルが指定する位置のデータ（例えばｎ×
ｍ画素）を上記メモリから読み出し、現フレームのデー
タとの間で差分をとって、その差分を符号化する様なも
のである。

【０００３】図１２は、この様な動き補償フレーム予測
回路の一例を示すものである。図に於いて、入力端子Ｔ
₁ には画像データが入力され、出力端子Ｔ₂ より符号化
されたデータを出力する。

【０００４】先ず、動きベクトル検出回路１で現在のフ
レームの画像データとフレームメモリ２内の例えば２フ
レーム乃至３フレーム前の画像データとの間で動きベク
トル検出を行なって、この動きベクトル検出回路１の検
出出力に基づいて動き補償フレーム間予測回路３で動き
ベクトルに基づき予測値が作られる。

【０００５】入力端子Ｔ₁ に供給された画像データは加
算回路４を通じて直交変換回路５でブロック単位に直交
変換が施され、量子化回路６で量子化した後に符号化回
路（図示せず）等で符号化されて出力端子Ｔ₂ に符号化
データを出力する。出力端子Ｔ₂ は伝送路等に接続され
てデコーダ側に接続されている。

【０００６】量子化回路６で量子化の施された画像デー
タは逆量子化回路７及び逆直交変換回路８を介し、加算
回路９で動き補償フレーム間予測誤差が加算されてフレ
ームメモリ２に書き込まれる。

【０００７】動き補償フレーム間予測回路の出力はフレ
ーム間予測値であり、加算回路４に供給されて現フレー
ムの画像データとの誤差が差し引かれ、ブロック単位で
直交変換、符号化が行なわれる。

【０００８】図１３はデコーダ側の系統図を示すもので
エンコーダの出力端子Ｔ₂ から伝送路を介してデコーダ
の入力端子Ｔ₃ に符号化されたデータが入力される。同
様に入力端子Ｔ₄ にも動きベクトルのデータがエンコー
ダの動きベクトル検出回路１から伝送路を介して入力さ
れ、フレーム間動き補償回路１３に供給される。

【０００９】符号化データは入力端子Ｔ₃ から図示しな
いバッファ及び復号器を介して逆量子化回路及び逆直交
変換回路１０で逆量子化及び逆直交変換されて加算回路
１１に供給される。この加算回路１１にはフレームメモ
リ１２に格納されていた前フレームのデータをフレーム
間動き補償回路１３に供給したフレーム間動き補償され
たデータが加算され出力端子Ｔ₅ に出力される。

【００１０】この様な動き補償フレーム予測符号化回路
に対し、フレーム内符号化回路も知られている。これは
同一走査線或いは近接する走査線との間の演算を行うも
ので、これは厳密にいえばフィールド内符号化である
が、フィールド間ではあまり注目されていなかった。

【００１１】

【発明が解決しようとする課題】上述の様にフィールド
間で動き補償が行われなかった理由は静止画データでは
１フレーム前の標本値は原理的には、略等しい値をとる
が、フィールド間では、この様なことがないためにメリ
ットがないことが第１に考えられる。

【００１２】第２の理由としてはフィールド内に比べ
て、フィールド間まで考慮すると、走査線間の距離は１
／２になり、相関は高くなるが、メモリのコストと比べ
て見合わないものであった。

【００１３】従来のフレーム間符号化装置によれば差分
をとって符号化が成されるために、データ発生量を少な
くすることが出来るが、画像データ内の被写体の動きが
速くなると、動きベクトルの検出が出来なくなって、フ
レーム内或いはフィールド内の様に差分をとらないデー
タの符号化が行なわれるためにデータ発生量が増大する
問題であった。

【００１４】又、シーンチェンジの多い画像ではフレー
ム間動き補償を行うとすれば１フレーム前の画からの動
き補償は出来ない問題もあった。

【００１５】更に、動きがブロック内で一様でないズー
ム等が多い画像ではフレーム間での画の変形が大き過ぎ
て、能率よく動き補償が出来ない問題があった。

【００１６】本発明は叙上の問題点を解決するためにな
されたもので、その目的とするところは画像データ内の
被写体の動きに応じて、フレーム間動きベクトル補償を
行ないつつフィールド間動きベクトルに置き換えること
の出来るものは置き換えて動きベクトル補償装置を有効
に動作させた、画像データ量の圧縮の能率化を図った動
き補償装置を提供するにある。

【００１７】

【課題を解決するための手段】本発明の動き補償装置は
その例が図１に示されている様に画像データが供給され
る第１のフィールドメモリ３０と、この第１のフィール
ドメモリ３０の少なくとも１フィールド前の画像データ
が供給され、少なくとも１フィールド前の動きベクトル
データが供給されるフィールド間動き補償回路３３と、
第１のフィールドメモリ３０に直列的に接続された第２
のフィールドメモリ３１と、この第２のフィールドメモ
リ３１の少なくとも１フレーム前の画像データが供給さ
れ、少なくとも１フレーム前の動きベクトルデータが供
給されるフレーム間動き補償回路３４と、フィールド間
動き補償回路３３とフレーム間動き補償回路３４から得
られた補償データを選択的に出力するセレクタ３５とを
具備し、フレーム間動きベクトル補償を行ないつつフィ
ールド間動きベクトルに置き換えることの出来る補償デ
ータを取り出す様にして成るものである。

【００１８】

【作用】本発明の動き補償装置は少なくとも２個のフィ
ールドメモリ３０及び３１を有し、動きに応じて適宜フ
レーム間内でフィールド間補償に置き換えられるものは
フィールド間の動き補償を行なう様にしたので、画像デ
ータの被写体が垂直方向に高速移動する場合やズーム
時、シーンチェンジ時にデータ発生量の少ない効率的な
動き補償による符号化を行うことの出来るものが得られ
る。

【００１９】

【実施例】以下、本発明の動き補償装置を画像高能率符
号化回路について説明する。図１で本例の構成を説明す
るに先だち、図７乃至図１１によって動き補償の原理
と、フィールド間の動き補償の有用性について説明す
る。

【００２０】図７ＡＢは動き補償の動作原理を示すもの
で、図７Ａで移動物体１７を考え、この移動物体１７の
変位を動きベクトル１８と呼んでいる。動き補償ではこ
の動きベクトル１８が変位した前画面内の画素を用い
て、現フレームの時刻の移動物体１７の画素の予測が行
なわれる。

【００２１】動き補償では動ベクトル１８をどの様に検
出するかが最大の要点となり、この検出方法にはネトラ
バリ等の提案した画素逐次方式が知られているが、過大
な情報量を必要とするためパターンマッチングに基礎を
置いたブロックマッチング方式が一般に利用されてい
る。この方式では一画面を例えば、図５Ａの様に所定の
複数にブロック毎に分割して、例えば３×３の検索範囲
２０とする。そして、１ブロック１９をｎライン×ｍ画
素と考え、このブロック１９が一画面のどこから動いて
来たかを検出する。

【００２２】ブロックマッチング法での動ベクトル１８
の検出を現フレームのブロック１９Ａと１フレーム前の
ブロック１９Ｃについて図７Ｂで考えてみる。この方法
では現フレームのブロック１９Ａと前フレームのブロッ
ク１９Ｃとの差信号から動きベクトル１８に対する評価
関数値Ｃ（ｋ）を求める。この値は数１で示される。

【００２３】

【数１】

【００２４】この様な探索範囲内のすべての動きベクト
ル１８について最小の評価関数値Ｃ（ｋ）を求めて、真
の動きベクトル１８とするものである。

【００２５】この様にして求めた動きベクトルに基づい
て従来はフレーム間の動き補償が行われフレーム間予測
等が行われているが、フィールド間に於いて注目されて
いなかった動き補償の有用性について、図８以下に説明
する。

【００２６】図８では画像が画面の垂直方向に移動する
場合について考察する。図７Ｂに示した様に１つのフレ
ームは２つのフィールドから構成されているので１フレ
ーム前の時間は１フィールド前の時間ｔの２倍となる。
そこで図８Ａの様に画面の垂直方向に移動している移動
物体１７の画素２１について考えると１フィールド前の
Ｗ位置にあった×印の画素２１は１フレーム前では○印
の画素２１の様にＹ＝２Ｗ位置にある。一方、上述より
早く移動する物体１７の画素２１ａについて図８Ｂを参
照して考える。１フィールド前に×印で示す画素２１ａ
の様に３Ｗの位置にあったものは１フレーム前では○印
で示す画素２１ａの様に３Ｙ＝６Ｗの位置にある。

【００２７】このことは移動物体１７が画面の垂直方向
に速い速度で移動すると、図９に示す様に、現在のフィ
ールドのブロック１９Ａは１フィールド前ではブロック
１９Ｂの時に探索範囲２０内にあるが、１フレーム前で
はブロック１９Ｃで示す様に探索範囲２０外にある。

【００２８】このことは探索範囲２０外にあるブロック
１９Ｃからデータｂｋを求めることが出来ず、動きベク
トル検出は１フレーム前からは検出不可能となる。この
為に従来ではフレーム内処理等を行うことになるが、こ
の場合１フィールド前のデータに着目すれば、１フィー
ルド前のデータに基づいてフィールド間の動き補正を行
うことができるので、これを有効に利用可能となる。

【００２９】次に画面がズームアップ（拡大）される場
合について考察すると、図１０Ａの様に拡大は注目する
画像（又は画素）２３Ａが画面の例えば探索範囲２０内
で垂直方向に移動したり、斜め方向に移動したり、１フ
レーム前の画像２３Ｃは１フィールド前の画像２３Ｂ及
び現在フィールドの画像２３Ａの様に順次拡大される。

【００３０】この様な所定方向に拡大される動きベクト
ル１８の値を図１０Ｂの様にｖ₀ ，ｖ₁ ，ｖ₂ とする
と、動きベクトル値ｖ₀ では１フレーム前の現フィール
ドの画素２３Ａ₀ は画素２３Ｃになるので１フィールド
前の画素２３Ｂ₀ と置き換えても画素の相関性は変わら
ないが、動きベクトル値が大きくなってｖ₁ 及びｖ₂ の
様になると現在フィールドの画素は２３Ａ₁ 及び２３Ａ
₂ となり１フレーム前の画素２３Ｃよりも１フィールド
前の画素２３Ｂ₁ 或いは２３Ｂ₂ に置き換えた方が画素
の相関性は高くなる。

【００３１】依って、動きベクトル値がｖ₁ ，ｖ₂ の場
合は１フレーム前のデータで置換えて差分をとるより１
フィールド前のデータで置換えて差分をとった方が、差
分値は小さくなり、情報発生量は少なくなる。従って拡
大画像に於いてもフィールド間の動き補償が有用とな
る。

【００３２】更に図１１に示す様に、シーンチェンジの
場合も、フィールド間動き補償が有効となる。即ち、図
１１の様に、例えば、連続した５フィールド〜があ
って、シーン２４が、シーン２５にフィールドから
フィールドで変わったとすると、フレーム間動き補償で
はフィールドでフィールド内処理を行わなければな
らないが、フィールド間動き補償ではフィールドだけ
フィールド内処理を行えばよい、よってフレーム間動き
補償ではフィールド内処理の分だけ情報発生量が増大
するのでフィールド間の動き補償が有用となる。

【００３３】以上、説明した様に、フレーム間及びフィ
ールド間を動きベクトルに対応して選択することが有用
となる。この為の動き補償装置を図１及び図２の画像高
能率符号化回路及び復号化回路について説明する。

【００３４】図１及び図２で図１２及び図１３との対応
部分には同一符号を付して重複説明を省略する。本例で
は加算回路９の出力は第１のフィールドメモリ３０及び
第２のフィールドメモリ３１に直列的に供給され、第２
のフィールドメモリ３１には１フィールド分遅延された
１フレーム前の画像データが格納されることになる。

【００３５】第１及び第２のフィールドメモリ３０及び
３１の１フィールド及び１フレーム前の画像データはフ
ィールド及びフレーム間動き補償回路３２内のフィール
ド間動き補償回路３３及びフレーム間動き補償回路３４
並びに動きベクトル検出回路３６内のフィールド間動き
ベクトル検出回路３７及びフレーム間動きベクトル検出
回路３８に供給される。

【００３６】一方フィールド間動きベクトル検出回路３
７及びフレーム間動きベクトル検出回路３８には入力端
子Ｔ₁ から現在の画像データが供給され、フレーム間及
びフィールド間で動きベクトルが検出されてフィールド
及びフレーム間動き補償回路３３及び３４並セレクタ３
５に動きベクトルデータが供給される。

【００３７】フィールド間動き補償回路３３及びフレー
ム間動き補償回路３４の出力は共にセレクタ３５に供給
されて、フレーム間或いはフィールド間動き補償データ
が選択されて加算回路４及び９に供給されて、予測化が
成され、高能率符号化が行なわれて符号化出力が出力端
子Ｔ₂ より取り出され、又、動きベクトルデータも出力
端子Ｔ₆ を介して出力され、伝送ラインを通じてデコー
ダ側に伝送される。

【００３８】図２はデコーダの系統図を示すもので入力
端子Ｔ₃ には符号化出力データが、入力端子Ｔ₄ には動
きベクトルデータが供給され、図示されないバッファ及
び復号回路で解読されたデータは逆量子化回路と逆直交
変換回路１０を介して加算回路１１に供給される。

【００３９】加算回路１１の出力データはエンコーダ側
のメモリと同様の第３及び第４のフィールドメモリ３０
Ｄ及び３１Ｄに直列的に供給され、第３のフィールドメ
モリ３０Ｄの出力データはフィールド間及びフレーム間
動き補償回路３２Ｄのフィールド間動き補償回路３３Ｄ
に第４のフィールドメモリ３１Ｄの出力データはフィー
ルド間及びフレーム間動き補償回路３２Ｄのフレーム間
動き補償回路３４Ｄに供給され、フィールド間及びフレ
ーム間動き補償回路３２Ｄの出力は加算回路１１で加算
されて出力端子Ｔ₅ から復号化出力を取り出す様に成さ
れている。

【００４０】以下、図１に基づいて本例の動き補償装置
を説明する。入力端子Ｔ₁ に供給される画像データはＤ
ＣＴ等の直交変換、量子化並びに符号回路４０で符号化
が成されて出力端子Ｔ₂ に符号化出力を供給する。量子
化回路６の出力は逆量子化回路７及び逆直交変換のＩＤ
ＣＴが逆直交変換回路８で行われて、加算回路９を介し
て第１及び第２のフィールドメモリ３０及び３１に供給
され、フィールド及びフレーム動き補償回路３２内のセ
レクタ３２を介してフレーム間でフィールド間に置き換
えられるものはフィールド間動き補償が行われて、予測
データが加算回路４及び９に供給される。

【００４１】上述のフィールド及びフレーム間動き補償
回路３２内のフィールド間動き補償回路３３とフレーム
間動き補償回路３４に供給された１フィールド前の第１
及び第２のフィールドメモリ３０及び３１の格納データ
並に１フレーム前の格納データはフィールド間動きベク
トル検出回路３７及びフレーム間動きベクトル検出回路
３８で検出された動きベクトルによる補償が成されてセ
レクタに出力されて加算回路４で現在の画像データとの
差分がとられ加算回路９で加算がなされる。

【００４２】上述の構成に於けるフレーム間動きベクト
ル検出回路３８Ｂの動作を考えると、動きベクトル１８
の検出方法は図７Ｂで説明した様に１フレーム前ではｎ
×ｍのブロック１９Ｃ中の移動物体１７が現フレームの
ブロック１９Ａに移動したと考えた時に、例えば図３に
示す様な動ベクトルとして出力される。

【００４３】図３で動ベクトル１８を０番から２６番ま
での２７ベクトルで示してあり１３番のベクトルは現フ
レームの静止ベクトルに対応し、１９番のベクトルは１
フレーム間に１９番から１３番へ動きがあったことを意
味する。この様なフレーム間の動ベクトルは数１で説明
した様に例えば図４の構成で求められる。

【００４４】図４で入力端子Ｔ₇ には現フレームのデー
タが供給され、減算器群４１の各減算器の一方の入力に
供給される。一方入力端子Ｔ₈ に１フレーム前のデータ
が供給され、画素ディレイ群４０を構成するディレイ回
路に図３で示した０番乃至２６番のデータが各ディレイ
回路から出力されて各減算器の他方の入力に供給されて
減算が成され、これら各減算器の減算出力が最小値回路
４２に供給され、その最小値が動ベクトル値として検出
され出力端子Ｔ₉ に出力される。

【００４５】上述の１フレーム前の２７ベクトルの内、
０，２，４，６，８，１８，２０，２２，２４，２６の
ベクトルが１フィールド前では図５の様に０′，２′，
４′，６′，８′，１８′，２０′，２２′，２４′，
２６′に対応する考えられる。なぜなら、フィールド間
はフレーム間と比較して時間差が半分のため動きベクト
ルも半分となるからである。

【００４６】この様に一般的にフレーム間動き補償にお
けるベクトルのうち図５の様にフィールド間のベクトル
で置き換えられるものは置き換える様にする。即ち、０
〜２７の内０，２，４，６，８，１８，２０，２１，２
４，２６のフレーム間の動きベクトルは、フレーム間の
補償をフレーム間補償回路３４で行なう代りにフィール
ド間動き補償回路３３によって０′，２′，４′，
６′，８′，１８′，２０′，２２′，２４′，２６′
のフィールド間動き補償を行う様にする。この為のフレ
ーム及びフィールド間動きベクトル検出回路３６を図６
の如く構成させる。

【００４７】図６で入力端子Ｔ₈ に供給される１フレー
ム前のデータが入力されるフレーム間動きベクトル検出
回路３８は図４と同様の構成であり、フィールド間動き
ベクトル検出回路３７は入力端子Ｔ₁₀に１フィールド前
のデータが供給され、画素ディレイ群の各出力から図５
に示す０′〜２６′の動きベクトルが各減算器の一方の
入力に供給され現フレームデータが供給される減算器群
４１によって各減算器で減算されて減算結果は最小値回
路４２に供給され、フィールド間及びフレーム間動きベ
クトル検出回路３７及び３８のすべの減算器の出力の最
小値がとられて動ベクトルとして出力される。

【００４８】これら動ベクトルに基づいてフィールド間
動き補償回路３３又はフレーム間補償回路３４で各々動
き補償が行なわれセレクタ３２でフレーム間又はフィー
ルド間補償されたデータが選択されて加算回路４又は９
に供給される様に成される。

【００４９】本例は上述の様に構成させたので、動きベ
クトルの数に変更がないので伝送フレームのフォーマッ
トを変更する必要はなく、フィールド間に置き換えたも
のに関しては図７乃至図１１で説明した様に動き補償の
能率の向上した動き補償装置が得られる。

【００５０】

【発明の効果】本発明の動き補償回路によればフレーム
間補償とフィールド間補償を画像のデータに応じて動ベ
クトルのデータ数を変えずに選択したので、速い動き補
償の符号化等に於いても情報発生量の少ない符号化回路
が得られる。

【図面の簡単な説明】

【図１】本発明の動き補償装置のエンコーダの一実施例
を示す構成図である。

【図２】本発明の動き補償装置のデコーダの一実施例を
示す構成図である。

【図３】フレーム間の動きベクトルの説明図である。

【図４】フレーム間の動きベクトル検出回路の説明図で
ある。

【図５】置き換えられたフィールド間動きベクトルの説
明図である。

【図６】フィールド及びフレーム間動きベクトル検出回
路の構成図である。

【図７】本発明の動きベクトルと探索範囲の説明図であ
る。

【図８】本発明の画素の垂直方向の移動説明図である。

【図９】本発明のブロックが探索範囲外にある場合の説
明図である。

【図１０】本発明の画面拡大説明図である。

【図１１】本発明のシーンチェンジの説明図である。

【図１２】従来の補償装置のエンコーダの構成図であ
る。

【図１３】従来の動き補償装置のデコーダの構成図であ
る。

【符号の説明】

１ 動きベクトル検出回路 ２ フレームメモリ ３０，３１ フィールドメモリ ３３ フィールド間動き補償回路 ３４ フレーム間動き補償回路 ３７ フィールド間動きベクトル検出回路 ３８ フレーム間動きベクトル検出回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像データが供給される第１のフィール
   ドメモリと、 上記第１のフィールドメモリの少なくとも１フィールド
   前の画像データが供給され、少なくとも１フィールド前
   の動きベクトルデータが供給されるフィールド間動き補
   償回路と、 上記第１のフィールドメモリに直列的に接続された第２
   のフィールドメモリと、 上記第２のフィールドメモリの少なくとも１フレーム前
   の画像データが供給され、少なくとも１フレーム前の動
   きベクトルデータが供給されフレーム間動き補償回路
   と、 上記フィールド間動き補償回路と上記フレーム間動き補
   償回路から得られた補償データを選択的に出力するセレ
   クタとを具備し、 フレーム間動きベクトル補償を行ないつつフィールド間
   動きベクトルに置き換えることの出来る補償データを取
   り出す様にして成ることを特徴とする動き補償装置。