JP2925046B2 - 動画像の動き補償予測方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号を符号化す
る場合の動き補償予測方法に関する。

【０００２】

【従来の技術】テレビ会議などの動画像通信やＣＤ−Ｒ
ＯＭなどへの動画像蓄積を目的とした動画像の高能率符
号化方法においては、フレーム又はフィールドの画面
で、各画面を例えば１６画素×１６ラインのブロックに
分割して面内符号化、又は動き補償による参照画面と現
画面の差分を符号化する面間符号化を用いて高能率符号
化を行っている。

【０００３】図７に一般的な符号化器の構成を示す。こ
こで、６１は減算器であり、入力画面Ｘ１と予測画面Ｘ
２の差分を求めて予測誤差画面Ｘ３を生ずる。６２は離
散コサイン変換（ＤＣＴ）器、６３は量子化器、６４は
逆量子化器、６５は逆離散コサイン変換（ＩＤＣＴ）
器、６６は加算器でＩＤＣＴによって復元された予測誤
差画面Ｘ５と予測画面Ｘ２を加算して局部復号画面Ｘ６
を発生する。予測画面についてはフレームメモリ６７に
格納された参照画面に対する入力画面の動き量を動き補
償器６８で求め、得られた動き量に対する参照画面を予
測画面として用いる。

【０００４】上述した符号化装置では、フレーム画面か
又はフィールド画面かいずれかの画面を用いて動き検出
を行っている。この場合、 （１）フレーム画面のみの場合、加速度的な動きの画像
などに対して、参照する画面が偶数ラインと奇数ライン
で異なるため、動き補償時の予測誤差が大きくなり、符
号化効率が低下する。 （２）フィールド画面のみの場合、等速度的な動きの画
像などの場合、各フィールドの動き量はほとんど同じに
なるため、フレーム画面での動き補償に比べ動きベクト
ル量に関する情報が増加し、その結果、符号化効率が低
下する。

【０００５】このような符号化効率の低下及び画質の低
下を防ぐために、フレーム予測とフィールド予測とを適
応的に選択して符号化を行う方法は公知である（「イン
ターレース動画像の予測符号化方式」、画像電子学会
誌、２［４］（１９９１．８）ｐ．３６０−３６６）。

【０００６】

【発明が解決しようとする課題】本発明は、このような
予測符号化を行う場合に、より高精度の動き補償を行う
ことができる新規な動き補償予測方法を提供することを
目的としている。

【０００７】

【課題を解決するための手段】本発明は、例えば、入力
画面及び参照画面をフレームブロックに分解し、分解し
たブロック毎に動きを検出し動きベクトルを求め、動き
検出からそれぞれのフレーム予測誤差を求め、さらに入
力画面及び参照画面をフィールドブロックに分解し、分
解したブロック毎に動きを検出し動きベクトルを求め、
動き検出からそれぞれのフィールド予測誤差を求め、フ
レーム予測誤差とフィールド予測誤差を比較した結果に
より測定誤差を求めるための参照画面がフレームブロッ
クかフィールドブロックかを予測誤差が小さくなるよう
にブロック毎に適応的に選択して符号化し、符号化ブロ
ックにいずれを選択したかを示す選択フラグ及び選択フ
ラグに対応した動きベクトルを付加して伝送する動画像
の動き補償予測方法に適用される。

【０００８】即ち、本発明によれば、動画像をブロック
単位で圧縮符号化し、適応的にフレームブロック又はフ
ィールドブロック毎に動き補償予測を行う方法であっ
て、前ブロック（例えば、現在の入力ブロックの左隣の
ブロック）の動き補償予測モードがフレーム予測モード
であるかフィールド予測モードであるかと、前ブロック
で用いた動きベクトル量と、前ブロックとこの前ブロッ
クが用いた参照ブロックとのフィールド間距離と、現在
のブロックと現在のブロックが用いている参照ブロック
とのフィールド間距離とに応じて、現在のブロックにお
ける動き検出の初期偏位（参照ブロックの位置）を決定
している。

【０００９】現在のブロックにおける動き検出を行う際
に、前ブロックがフレーム予測モードであるかフィール
ド予測モードであるかに応じて、参照ブロックの位置を
定めているので、フレーム予測モード、フィールド予測
モードに係りなく参照ブロックを決める一般的な方式に
比して、より高い精度で動き検出を行う、従って動き補
償予測を行うことが可能となる。特に動画像の動きが激
しい場合に、本発明は非常に有効である。

【００１０】前ブロックの動き補償予測モードがフレー
ム予測モードであり、動き検出としてフィールド動き検
出を行う場合は、前ブロックとこの前ブロックが用いた
参照ブロックとのフィールド間距離に応じて現在のブロ
ックにおける動き検出の初期偏位（参照ブロックの位
置）を決定することが好ましい。

【００１１】前ブロックの動き補償予測モードがフィー
ルド予測モードであり、動き検出としてフレーム動き検
出又はフィールド動き検出を行う場合は、前ブロックと
この前ブロックが用いた参照ブロックとのフィールド間
距離に応じて現在のブロックにおける動き検出の初期偏
位（参照ブロックの位置）を決定することが好ましい。

【００１２】

【実施例】以下、本発明の実施例について説明する。図
１は本発明の動き補償予測方法の一実施例における動き
補償器の構成図であり、図６は図１の動き補償器を適用
した符号化装置の構成図である。

【００１３】図１において、１０は入力画面、１１は参
照画面であり、共にフレーム画面である。入力画面１０
は、フレーム／フィールド変換器１２でフレームブロッ
ク信号及びフィールドブロック信号に分解される。ま
た、参照画面１１もフレーム／フィールド変換器１３で
フレームブロック信号及びフィールドブロック信号に分
解される。入力画面１０及び参照画面１１のフレームブ
ロック信号はフレーム動き検出器１４で動き検出が行わ
れ、動きベクトルＶＲ及びブロックの予測誤差ＥＲが出
力される。また、入力画面１０及び参照画面１１のフィ
ールドブロック信号についてはフィールド動き検出器１
５で動き検出が行われ、フィールドブロックの動きベク
トルＶＦ及びフィールドブロックの予測誤差のＥＦが出
力される。ＥＲとＥＦとは比較器１７で比較され、予測
誤差が小さくなるようにブロック毎にいずれかを選択
し、いずれを選択したかの信号として選択フラグＺＭを
出力する。選択器１６では、比較器１７からの選択フラ
グＺＭをもとに動きベクトルＶＲ及びＶＦの一方の選択
が行われ、選択されたものが動きベクトルＺＶとして出
力される。

【００１４】以下に、この動き補償器の主要部の詳細な
説明を行なう。

【００１５】図２（ａ）及び図２（ｂ）は、それぞれ、
フレーム信号及びフィールド信号のブロックデータの構
成を示している。入力ブロックの大きさについては、輝
度信号は１６画素×１６ライン、２つの色差信号（色信
号）についてはそれぞれ８画素×１６ラインとし、これ
らをまとめてマクロブロックという。符号化の一連の処
理はこのマクロブロック毎に行う。図２（ａ）のよう
に、フレーム信号のブロックは、奇数ラインに奇数フィ
ールドのデータ（○）を、また偶数ラインには偶数フィ
ールドのデータ（×）をそれぞれ有する。フィールド信
号ブロックでは、図２（ｂ）のように、上部８ラインは
奇数フィールドのデータ（○）を有し、下部８ラインは
偶数フィールドのデータ（×）を有する。参照ブロック
については輝度信号のみを対象としている。ブロックの
大きさとしては検索する範囲に応じて変化する（例え
ば、±７画素の場合は３０画素×３０ラインに変化す
る）が、フレームブロック及びフィールドブロックの構
成は入力ブロックの場合と同様である。

【００１６】フレーム動き検出器１４は、入力されたフ
レームブロック信号について、１６画素×１６ラインの
入力ブロック信号に対して参照ブロックとの予測誤差信
号が最小となる位置を求め、動きベクトルＶＲ及び予測
誤差ＥＲを出力する。予測誤差信号としては、差分絶対
値の累積和又は差分二乗値の累積和などが利用できる。

【００１７】フィールド動き検出器１５は、入力された
フィールドブロック信号について、上部及び下部各々の
１６画素×８ラインの入力ブロックに対して参照ブロッ
クとの予測誤差信号が最小となる位置をそれぞれ求め
る。この場合、動きベクトルＶＦとしては各フィールド
ブロックについて求められるため、２つの動きベクトル
が出力される。予測誤差信号ＥＦについては各誤差信号
の和を出力する。参照ブロックについては入力ブロック
信号が奇数フィールドブロックの場合は奇数フィールド
ブロックを参照することを基本とするが、偶数フィール
ドブロックをも参照ブロックとすることによって精度の
高い動き検出が実現できる。入力ブロック信号が偶数フ
ィールドブロックの場合も同様に参照ブロックとして偶
数及び奇数フィールドブロックを用いる。

【００１８】次に、フレーム動き検出器１４及びフィー
ルド動き検出器１５における動き検出方法（動きベクト
ル量）を、図３及び図４を用いて以下に説明する。

【００１９】まず、本発明に関する参照ブロックの位置
（本発明における初期偏位）決定について説明する。初
期偏位は、現在の入力ブロックの左隣のブロック（本発
明における前ブロック）で得られた動きベクトルＰＶを
用い、以下のように決定される。ただし、入力ブロック
が画面の左端の場合はＰＶ＝０である。

【００２０】（Ａ）前ブロックの動きベクトルＰＶがフ
レームブロックによる動きベクトルの場合 この場合の一例を図３に示す。同図において、入力画面
は第３フレーム、参照画面は第１フレームであり、前ブ
ロックの動きベクトルは図３（ａ）のようにフレームブ
ロックによる動きベクトルＰＶとして得られているもの
とする。

【００２１】（Ａ１）フレーム動き検出 この場合、現在のブロックは第３フレームのフレームブ
ロックで、参照画面は第１フレームのフレームブロック
であり、現在のブロックが前ブロックと同様にフレーム
からフレームへの予測であるため、ＰＶをそのまま現在
のブロックの初期偏位として決定して動き検出を行い、
動きベクトルＶＲ及び予測誤差ＥＲを出力する。

【００２２】（Ａ２）フィールド動き検出 この場合、２つの現在のフィールドブロックそれぞれに
対して動き検出を行う。前ブロックでの動き量は、フレ
ームからフレームへの予測による動き量ＰＶであったの
に対し、フィールド動き検出ではフィールドからフィー
ルドへの予測になるため、現在のブロックの初期偏位は
参照ブロックと入力ブロックの時間的な距離に応じて決
定される。今、図３（ｂ）のように、現在のブロックが
第３フレーム内の第５フィールドで、参照フィールドを
第１フィールドにした場合はＰＶを初期偏位としてその
まま用いる。次に参照フィールドを第２フィールドにし
た場合、初期偏位としてＰＶ×３／４を用いて動き検出
を行う。これら２つの参照フィールドそれぞれについて
得られた予測誤差信号を比較して信号の小さい方のフィ
ールドを参照フィールドとする。次に第６フィールドの
現在のブロックに対しても同様に参照フィールドを第１
フィールドにした場合と第２フィールドにした場合につ
いて初期偏位をそれぞれ求め、動き検出を行い、予測誤
差信号の小さい方のフィールドを参照フィールドとす
る。

【００２３】第５及び第６フィールドの現在のブロック
に対して得られた動きベクトルはＶＦ（ＶＦ１：第５フ
ィールドに対する動きベクトル、ＶＦ２：第６フィール
ドに対する動きベクトル）として、またそれぞれのブロ
ックで得られた予測誤差の和をＥＦとして出力する。

【００２４】（Ｂ）前ブロックの動きベクトルＰＶがフ
ィールドブロックによる動きベクトルの場合 この場合の一例を図４に示す。この場合、前ブロックの
動きベクトルは図４（ａ）のように入力画面が第５フィ
ールドに対しては第２フィールドを参照画面としてベク
トルＰＶ１が、また入力画面が第６フィールドに対して
は第１フィールドを参照画面としてＰＶ２が得られてい
るものとする。

【００２５】（Ｂ１）フレーム動き検出 この場合、第１フレームから第３フレームへの予測とな
るので、図４（ｂ）のようにＰＶ１を用いてＰＶ１×４
／３を初期偏位として動き検出を行い、動きベクトルＶ
Ｒ及び予測誤差ＥＲを出力する。

【００２６】（Ｂ２）フィールド動き検出 この場合、第５フィールドと第６フィールドの現在のブ
ロックそれぞれに対して動き検出を行う。図４（ｃ）の
ように、まず第５フィールドの現在のブロックに対して
は、第１フィールドを参照画面とした場合、ＰＶ１×４
／３を初期偏位として動き検出を行う。次に第２フィー
ルドを参照画面とした場合はＰＶ１をそのまま初期偏位
として動き検出を行う。これら２つの参照フィールドそ
れぞれについて得られた予測誤差信号を比較して信号の
小さい方のフィールドを参照フィールドとする。同様に
して、第６フィールドの現在のブロックに対してはＰＶ
２をベースにして参照画面を第１フィールドと第２フィ
ールドの場合それぞれについて初期偏位を求め、動き検
出を行う。この場合も２つの参照フィールドそれぞれに
ついて得られた予測誤差信号を比較して信号の小さい方
のフィールドを参照フィールドとする。

【００２７】第５及び第６フィールドの現在のブロック
に対して得られた動きベクトルはＶＦ（ＶＦ１：第５フ
ィールドに対する動きベクトル、ＶＦ２：第６フィール
ドに対する動きベクトル）として、またそれぞれのブロ
ックで得られた予測誤差の和をＥＦとして出力する。

【００２８】（Ａ）、（Ｂ）いずれの場合も出力された
フレーム動き検出及びフィールド動き検出による予測誤
差信号、ＥＲ及びＥＦは図１の比較器１７で比較され予
測誤差信号の小さい方の動き検出を選択し、選択フラグ
ＺＭを出力する。

【００２９】動きベクトル量に言及すると、例えば、検
索範囲を±７画素とすると、上述の初期偏位からこの範
囲で動き検出を行うことになり、動きベクトル量も±７
画素以内の動き量となる。

【００３０】本発明には含まれないが、動き検出精度向
上のための１つの方法として、補間画素ブロックに対し
てフレーム動き検出とフィールド動き検出とを行う場合
がある。以下、この方法について簡単に説明する。

【００３１】参照ブロックがフレーム信号の場合、図５
に示すように、元の画素信号Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに
対して、例えば１／２画素精度として上下ライン間や左
右画素間にｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ，ｘのよう
な補間信号を作成して補間画素ブロックとすることがで
きる。この場合、上下ライン間の補間信号としては２種
類の信号が作成可能である。まず、第１の方法は偶数ラ
イン、奇数ライン混合の補間信号を作成する方法で、ｑ
＝（Ａ＋Ｃ）／２、ｕ＝（Ｃ＋Ｅ）／２．．．とする。
第２の方法は、奇数ラインは奇数ライン間で作成する。
即ち、ｑ＝（Ａ＋Ｅ）／２．．．として用いる。なお左
右ライン間の補間信号についてはｐ＝（Ａ＋Ｂ）／２、
ｒ＝（ｑ＋ｓ）／２．．．として求めることが可能であ
る。参照ブロックがフィールド信号の場合、ｑ＝（Ａ＋
Ｃ）／２、ｐ＝（Ａ＋Ｂ）／２．．．のようにして求
め、補間信号ブロックを作成する。

【００３２】選択器１６で動きベクトルが選択された
後、動きベクトルに対応する参照ブロックが予測信号と
して用いられるが、輝度信号については動きベクトルは
そのままの値が用いられ、色信号についてはブロックサ
イズが水平方向で輝度の半分であるため、水平方向の動
きベクトルは半分して予測信号を作成する。

【００３３】比較器１７の出力である動き補償の種類す
なわち選択フラグＺＭとしては、まずフレーム動き補償
とフィールド動き補償の２つに大別される。フィールド
動き補償についてはさらに奇数フィールドの入力ブロッ
クに対して奇数又は偶数フィールドの参照ブロックが、
また偶数フィールドの入力ブロックに対しても奇数又は
偶数フィールドの参照ブロックが用いられるため合計４
つのモードが存在する。従って動き補償の種類は合計５
種類に分類される。

【００３４】なお、復号化器側では処理概要を補足する
と、符号化器から送られてきた動き検出の種類及び動き
ベクトル量により該当の参照ブロックを探し、予測信号
を作成する。

【００３５】本発明の実施にあたっては種々の変形形態
が可能である。例えば、ブロックのサイズについても１
６画素×１６ラインに限らずに３２画素×３２ラインな
ど種々のサイズが適応可能である。検索範囲についても
制限はなく、例えば、±１６画素範囲を検索することで
もよい。また参照画面と入力画面の時間的な距離または
位置も任意で、例えば６フレーム離れた画面を参照した
り、時間的に後に位置する参照画面から時間的に逆方向
の動き補償行う場合の動き検出手段として本発明を用い
ることが可能である。

【００３６】本実施例によれば、フレーム信号とフィー
ルド信号の動き補償予測を適応的に用いることによっ
て、フレーム信号のみの動き補償やフィールド信号のみ
の動き補償における符号化効率の低下を防ぎ、画質の向
上及び伝送情報量の削減を実現することができる。効果
の一例として、ＩＳＯテスト動画像（ｆｌｏｗｅｒ ｇ
ａｒｄｅｎ，ｆｏｏｔｂａｌｌ）をＣＣＩＲ６０１画像
フォーマットにおいて４Ｍｂｉｔ／ｓのビットレートで
画質（Ｓ／Ｎ比）は０．３〜１．６ｄＢ向上、情報伝送
量は５〜２５％削減できる。

【００３７】

【発明の効果】以上に詳細に説明したように本発明によ
れば、現在のブロックにおける動き検出を行う際に、前
ブロックがフレーム予測モードであるかフィールド予測
モードであるかに応じて、参照ブロックの位置を定めて
おり、また、補間画素ブロックを得る場合に、フレーム
ブロックの垂直方向の補間画素を同一フィールド内のラ
イン間で補間しているので、より高い精度で動き検出を
行う、従って動き補償予測を行うことが可能となる。特
に動画像の動きが激しい場合に、本発明は非常に有効で
ある。

【図面の簡単な説明】

【図１】本発明の実施例における動き補償器を説明する
ための構成図である。

【図２】ブロックデータの構成である。

【図３】初期偏位の決定例を示す。

【図４】初期偏位の決定例を示す。

【図５】補間画素ブロックの作成例の図である。

【図６】図１の動き補償器を適用した符号化装置の構成
図である。

【図７】従来の符号器の構成図である。

【符号の説明】

１０ 入力画面 １１ 参照画面 １２、１３ フレーム／フィールド変換器 １４ フレーム動き検出器 １５ フィールド動き検出器 １６ 選択器 １７ 比較器 ６１ 減算器 ６２ ＤＣＴ ６３ 量子化器 ６４ 逆量子化器 ６５ ＩＤＣＴ ６６ 加算器 ６７ フレームメモリ ６８、６９ 動き補償器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 1990年画像符号化シンポジウム（ＰＣ ＳＪ90） Ｐ．175−176（８−１適応ラ イン補間フィールド間動き補償方式の検 討) 1991年テレビジョン学会年次大会，16 −１ フレーム間／フィールド間適応動 き補償予測を用いた蓄積系メディア用動 画符号化方式（1991．７）Ｐ．313−314

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 動画像をブロック単位で圧縮符号化し、
   適応的にフレームブロック又はフィールドブロック毎に
   動き補償予測を行う方法であって、前ブロックの動き補
   償予測モードがフレーム予測モードであるかフィールド
   予測モードであるかと、該前ブロックで用いた動きベク
   トル量と、該前ブロックと該前ブロックが用いた参照ブ
   ロックとのフィールド間距離と、現在のブロックと現在
   のブロックが用いている参照ブロックとのフィールド間
   距離とに応じて、現在のブロックにおける動き検出の初
   期偏位を決定することを特徴とする動画像の動き補償予
   測方法。
2. 【請求項２】 前記前ブロックの動き補償予測モードが
   フレーム予測モードであり、動き検出としてフィールド
   動き検出を行う場合は、該前ブロックと該前ブロックが
   用いた参照ブロックとのフィールド間距離に応じて現在
   のブロックにおける動き検出の初期偏位を決定すること
   を特徴とする請求項１に記載の方法。
3. 【請求項３】 前記前ブロックの動き補償予測モードが
   フィールド予測モードの場合は、該前ブロックと該前ブ
   ロックが用いた参照ブロックとのフィールド間距離に応
   じて現在のブロックにおける動き検出の初期偏位を決定
   することを特徴とする請求項１に記載の方法。