JP2929044B2 - 動き補償予測方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議、テレビ電
話、ケーブルテレビなどの装置において使用する動き補
償予測方法に関する。

【０００２】

【従来の技術】図５は従来の動き補償フレーム間符号化
装置の構成例を示すブロック図であり、図５においてデ
ジタル化された信号（画像）は入力端子５０１より加算
器５０２に入力される。

【０００３】また加算器５０２はフレームメモリ５１０
より出力された予測値も入力され予測誤差信号を出力す
る。この予測誤差信号は直交変換部５０３に入力されて
直交変換される。変換係数は量子化部５０４に入力さ
れ、量子化される。量子化された変換係数は逆量子化部
５０７および多重化部５０５に入力される。多重化部５
０５は量子化部５０４で量子化された変換係数と、動ベ
クトル検出部５１１で検出された動ベクトルを多重化し
て出力端子５０６を通して出力する。

【０００４】一方逆量子化部５０７は量子化された変換
係数を逆量子化し、直交変換係数を得、これを逆直交変
換部５０８に出力する。逆直交変換部５０８にて逆直交
変換し、もとの予測誤差信号を出力する。逆直交変換に
よって得られた予測誤差信号は加算器５０９に与えられ
る。この加算器５０９はフレームメモリ５１０からの予
測値と逆直交変換部５０８からの予測誤差信号を加算
し、再生画素値をフレームメモリ５１０に出力する。こ
のフレームメモリ５１０は加算器５０９からの再生画素
値から再生画像をつくり、その再生画像を次フレームの
予測値として出力する。また動ベクトル検出部５１１は
入力端子５０１より入力された入力画像とフレームメモ
リ５１０からの再生画像から動ベクトルを求めフレーム
メモリ５１０および多重化部５０５へ出力する。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の動き補償フレーム間予測符号化装置では前フレーム
のフレーム画像から予測画像をつくるため、１フレーム
の時間に垂直方向への奇数画素の運動の場合において、
正確な動ベクトルの検出が行われにくく、たとえ行われ
た場合でも異なったフィールドの画像を予測画像とする
ため精度の良い予測画像を得ることができず、圧縮効果
を悪化させるという問題があった。

【０００６】本発明はこのような従来の問題を解決する
ものであり、異なったフィールド間予測のための時間差
による劣化を防ぎ、適切な予測画像を得ることができる
優れた動き補償予測方法を提供することを目的とするも
のである。

【０００７】

【課題を解決するための手段】本発明に係る動き補償予
測方法は、参照フレームの第１フィールドと被符号化フ
レームの第１フィールドとの間の動きベクトルＭＶ１を
用いて、前記参照フレームの第１フィールドおよび第２
フィールドから前記被符号化フレームの第１フィールド
の動き補償予測を行なう動き補償予測方法であって、前
記動きベクトルＭＶ１のフィールド間の時間間隔Ｔ１と
前記参照フレームの第１フィールドおよび第２フィール
ドの時間間隔Ｔ２との比Ｔ２／Ｔ１を前記動きベクトル
ＭＶ１に乗じることによって、前記参照フレームの第１
フィールドおよび第２フィールドの間の動きベクトルＭ
Ｖ２を求め、前記動きベクトルＭＶ２を用いて前記参照
フレームの第２フィールドを時間的に１フィールド分遅
らせ、前記参照フレームの第１フィールドおよび前記時
間的に遅らせた第２フィールドから前記被符号化フレー
ムの第１フィールドの動き補償予測を行なうことを特徴
とする。なお、上記参照フレームおよび被符号化フレー
ムをそれぞれ構成する画像は、それぞれ、以下に述べる
実施例における「再生画像」、「予測画像」と同義であ
る。 また、上記参照フレームおよび被符号化フレームは
それぞれ２つのフィールドから構成され、それらは、そ
れぞれ、第１フィールド、第２フィールドとよばれる。
以下に述べる実施例では、上記被符号化フレームの第１
フィールド、第２フィールドは、それぞれ、第３フィー
ルド、第４フィールドなどとよばれているが、それらの
意義は異なるものではない。

【０００８】

【作用】本発明によれば、予測画像のフィールドと入力
画像のフィールドが常に一致し、１フレームあたり垂直
方向への奇数画素の運動の場合にも同じフィールドから
の予測画像を作成するため、時間や位置のずれが生ぜず
スムースな動ベクトルの検出が可能となる。また、より
適切な予測画像が得られ圧縮効率が向上するという効果
を有する。

【０００９】更に予測画像のフィールドと一致するフィ
ールドのみからでなく、もう一方のフィールド画像も動
ベクトルによって補正し、同フィールドの画像として利
用することにより、予測画像の解像度をあげることがで
き、より精度の高い予測画像の出力が可能となり圧縮効
果が向上し、画質を向上することができるという効果を
有する。

【００１０】

【実施例】（実施例１） 図１は本発明の実施例１の構成を示すブロック図であ
り、また、図２はフィールド画像分割とオーバーサンプ
リングの原理を示すものである。

【００１１】入力端子１０１より入力された入力画像
（インターレーステレビジョン）信号は動ベクトル検出
部１１３、加算器１０２に夫々入力される。この加算器
１０２はフレーム合成部１１４から出力された予測画像
との差を直交変換部１０３に出力し、直交変換部１０３
は、たとえばＤＣＴのような直交変換を行い変換係数を
量子化部１０４に出力し、量子化部１０４は変換係数を
量子化し逆量子化部１０７、多重化部１０５に夫々出力
する。そして、多重化部１０５は動ベクトル検出部１１
３で検出された動ベクトルと量子化された変換係数を多
重化し、符号化して出力端子１０６を通して出力する。

【００１２】また、逆量子化部１０７は変換係数を逆量
子化し逆直交変換部１０８に出力し、逆直交変換部１０
８はもとの予測誤差信号に変換し、加算器１０９に出力
する。この加算器１０９はフレーム合成部１１４から出
力された予測画像とを加算し、フィールド画像分割部１
１０に再生画像を出力する。

【００１３】フィールド画像分割部１１０は第１フィー
ルド，第２フィールドの２つのフィールドに再生画像を
分割し、夫々オーバーサンプリング部１１１およびオー
バーサンプリング部１１２に出力する。そして、オーバ
ーサンプリング部１１１およびオーバーサンプリング部
１１２はそれぞれ入力されたフィールド画像の補間を行
い、夫々画像メモリ１１５および画像メモリ１１６に出
力しメモリに蓄えられる。

【００１４】画像メモリ１１５および画像メモリ１１６
は動ベクトル検出部１１３で検出された動ベクトルをも
とに予測画像の夫々のフィールド画像をフレーム合成部
１１４に出力し、ここでフレームに合成され予測画像と
して夫々加算器１０２および加算器１０９に出力され
る。

【００１５】また、画像メモリ１１５および画像メモリ
１１６は動ベクトルを検出するために補間された再生画
像を動ベクトル検出部１１３に出力し、動ベクトル検出
部１１３は２つの画像メモリ１１５，１１６からの補間
された再生画像と入力端子１０１からの入力画像から動
ベクトルを検出する。ここで動ベクトル検出部１１３は
動ベクトル検出のために行うパターンマッチングの際
に、入力画像の対応するフィールドの再生フィールド画
像とのマッチングを行う。また、画像メモリ１１５，１
１６はそれぞれ予測画像の対応するフィールドの予測画
素のみを予測画像として出力する。

【００１６】図２にフィールド画像分割およびオーバー
サンプリングの動作を示す。フィールド画像分割部１１
０に入力されたフレーム信号（ａ）は１ラインずつ交互
に第１フィールド，第２フィールドに分けられる
（ｂ）。この分割されたフィールド画像のライン数はも
とのフレームの１／２になっているので、今、動ベクト
ルの精度を１画素単位まで求めるとすると、ライン数を
もとのフレームと同じにしなければならない。

【００１７】したがって、オーバーサンプリング部１１
１，１１２で、もう１方のフィールドの画素位置の画素
を回りの画素から補間によって求められる（ｃ）。動ベ
クトルの検出はそれぞれ入力画像のフィールドに合わせ
たフィールド画像とのマッチングを行う。これにより常
に入力画像のフィールドと予測画像のフィールドとの対
応がとれることになり、フィールドが逆になることがな
くなり、より予測誤差の少ない予測画像を出力できると
いう効果を有する。

【００１８】（実施例２） 図３は本発明の実施例２の構成を示すブロック図であ
り、入力端子３０１から入力された入力画像（インター
レーステレビジョン信号）は加算器３０２、動ベクトル
検出部３１３に入力される。加算器３０２は画素補間部
３１２により出力された予測画像と入力画像との差分を
直交変換部３０３に出力する。この差分を予測誤差信号
という。

【００１９】この予測誤差信号は直交変換部３０３でＤ
ＣＴのような直交変換を行い変換係数を量子化部３０４
に出力し、量子化部３０４では入力された変換係数を量
子化し、これを多重化部３０５および逆量子化部３０７
に夫々出力する。そして、多重化部３０５は動ベクトル
検出部３１３で検出された動ベクトルと量子化された変
換係数を多重化し、出力端子３０６を通して出力する。

【００２０】また、逆量子化部３０７は量子化された変
換係数を逆量子化し、直交変換係数を得、これを逆直交
変換部３０８に出力する。この逆直交変換部３０８は入
力された直交変換係数を逆直交変換し予測誤差信号を得
る。この予測誤差信号は加算器３０９に入力され、画素
補間部３１２から出力された予測画像と加えられ再生画
像を得る。この再生画像は画像メモリ３１０に蓄えられ
る。

【００２１】動ベクトル検出部３１３は動ベクトルを検
出し、そして、次フレームの予測を行うために画像メモ
リ３１０に蓄えられている再生画像をフィールド調整部
３１１に出力する。フィールド調整部３１１は動ベクト
ル検出部３１３で検出された動ベクトルをもとにフィー
ルドの時間差による位置の補償を行い、画素補間部３１
２に出力する。この画素補間部３１２はフィールド調整
部３１１から出力された画像を基に実際の予測画像の画
素を計算し予測画像を加算器３０２及び３０９に夫々出
力する。

【００２２】図４は図３のフィールド調整部３１１の動
作を示す。画像メモリ３１０に蓄えられている再生画像
（以下、フレーム画像という）が第１フィールドと第２
フィールドで構成され、入力されたフレーム画像が第３
フィールド，第４フィールドで構成されている場合、第
３フィールドの予測画像は第１フィールドの画像から、
第４フィールドの画像は第２フイールドの画像から予測
を行うと予測画像の時間順序と入力画像の時間順序が一
致する。

【００２３】従ってフィールド調整部３１１は第１，第
２フィールドから元々のフィールド画像より解像度の高
いフィールド画像を作成する。すなわち解像度の高い第
１フィールドを作成するために、時間的に後の第２フィ
ールドの画像を第１フィールドに戻している。第１フィ
ールドと第３フィールドとの間の動ベクトルを（Ｖｘ，
Ｖｙ）とすると第２フィールドは第１フィールドに比べ
１フィールドの時間分後の画像である。従って第１フィ
ールドに比べ動きに変化がないとすると（Ｖｘ／２，Ｖ
ｙ／２）動いていることになる。従ってこの分戻すこと
によって時間的に第１フィールドを一致させることがで
きる（ａ）。

【００２４】この動き補正した第２フィールドと第１フ
ィールドから新たな第１フィールドを作成することによ
り元々のフレーム画像と同じ解像度を持った第１フィー
ルドの画像を得ることができる。また、逆に第２フィー
ルドに対し時間的に１フィールド分遅い第１フィールド
を（Ｖｘ／２，Ｖｙ／２）動きを進ませることにより、
第２フィールドの時間を一致させることができ（ｂ）、
同様にフレームと同じ解像度を持った新たな第２フィー
ルドを作成する。

【００２５】これら解像度の高いフィールド画像の画素
の位置は入力画像の画素の位置とは必ずしも一致しない
ため、画素補間部３１２にて入力画素の位置の近傍の画
素から補間によって予測画素値を作成する。これによっ
て第３フィールドは第１フィールドから、第４フィール
ドは第２フィールドから予測画像を常に得ることができ
る。また、予測参照画像の解像度は元のフレームの解像
度と同じになるのでより予測誤差の少ない予測画像を得
ることができる。これにより画像の圧縮効率が上がり、
再生画像の画質の向上が得られるという効果を有する。

【００２６】

【発明の効果】以上説明したように本発明による動き補
償予測方法を採用すれば、フィールド分割後、補間によ
ってつくられた、それぞれのフィールド画像、または一
方のフィールド画像を動ベクトルをもとに補正して他方
のフィールドと合わせ作成したフィールド画像からその
フィールド画像に対応したフィールド画像を予測誤差に
用いるため、動き量によって予測画像のフィールドが逆
転してしまうことがなくなる。したがって、精度の良い
予測画像を得ることができる。

【００２７】また、動ベクトルの検出のマッチングも同
様の予測画像をもとに行うため、より精度が良く細かな
動ベクトルを検出することができる。

【図面の簡単な説明】

【図１】本発明の実施例１の構成を示すブロック図であ
る。

【図２】図１のフィールド画像分割部と、オーバーサン
プリング部の動作を説明するための図である。

【図３】本発明の実施例２の構成を示すブロック図であ
る。

【図４】図３のフィールド調整部の動作を説明するため
の図である。

【図５】従来の動き補償フレーム間予測符号化装置の構
成例を示すブロック図である。

【符号の説明】

１０１，３０１…入力端子、 １０２，１０９，３０
２，３０９…加算器、 １０３，３０３…直交変換部、
１０４，３０４…量子化部、 １０５，３０５…多重化
部、 １０６，３０６…出力端子、 １０７，３０７…
逆量子化部、 １０８，３０８…逆直交変換部、 １１
０…フィールド画像分割部、 １１１，１１２…オーバ
ーサンプリング部、 １１３，３１３…動ベクトル検出
部、 １１４…フレーム合成部、 １１５，１１６，３
１０…画像メモリ、 ３１１…フィールド調整部、３１
２…画素補間部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】参照フレームの第１フィールドと被符号化
   フレームの第１フィールドとの間の動きベクトルＭＶ１
   を用いて、前記参照フレームの第１フィールドおよび第
   ２フィールドから前記被符号化フレームの第１フィール
   ドの動き補償予測を行なう動き補償予測方法であって、 前記動きベクトルＭＶ１のフィールド間の時間間隔Ｔ１
   と前記参照フレームの第１フィールドおよび第２フィー
   ルドの時間間隔Ｔ２との比Ｔ２／Ｔ１を前記動きベクト
   ルＭＶ１に乗じることによって、前記参照フレームの第
   １フィールドおよび第２フィールドの間の動きベクトル
   ＭＶ２を求め、 前記動きベクトルＭＶ２を用いて前記参照フレームの第
   ２フィールドを時間的に１フィールド分遅らせ、 前記参照フレームの第１フィールドおよび前記時間的に
   連らせた第２フィールドから 前記被符号化フレームの第
   １フィールドの動き補償予測を行なうことを特徴とする
   動き補償予測方法。