JP5931160B2

JP5931160B2 - 画像符号化装置およびビットストリーム

Info

Publication number: JP5931160B2
Application number: JP2014225282A
Authority: JP
Inventors: 裕介伊谷; 優一出原; 杉本　和夫; 和夫杉本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-11-05
Filing date: 2014-11-05
Publication date: 2016-06-08
Anticipated expiration: 2029-06-29
Also published as: JP2015027111A

Description

この発明は、画像を圧縮符号化する画像符号化装置と、画像符号化装置により圧縮符号化された画像を復号する画像復号装置とに関するものである。

例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＩＴＵ−ＴＨ．２６ｘなどの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
画像符号化装置及び画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。

国際標準方式であるＡＶＣ／Ｈ．２６４では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。

このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。

ここで、図６は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図６において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３において、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式で求められる。

ＭＶＬ０＝ＭＶ×（Ｔ２−Ｔ０）／（Ｔ３−Ｔ０）
ＭＶＬ１＝ＭＶ×（Ｔ３−Ｔ２）／（Ｔ３−Ｔ０）
したがって、時間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを求めるには、符号化済みピクチャの動きベクトルＭＶを１画面分必要とするため、動きベクトルを保持するメモリが必要となる。

図７は空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図７において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ）

空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも、上記の方法を用いて求めることが可能である。
したがって、空間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを求めるには、周囲のマクロブロックの動きベクトルのみが必要であり、符号化済みのピクチャのマクロブロックの動きベクトルは不要である。

なお、従来の画像符号化装置及び画像復号装置が、例えば、ＤＳＰのようなプロセッサを用いたソフトウェア処理や、ＬＳＩを用いたハードウェア処理で、画像の符号化又は復号化を行う場合、使用可能なメモリ量や単位時間当りの演算量に限りがあるため、使用するメモリ量を極力減らす必要がある。

ＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）／ＩＴＵ−ＴＨ．２６４規格

従来の画像符号化装置は以上のように構成されているので、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。しかし、Ｂピクチャにおけるダイレクトモードの切り替えがスライス単位に限られるため、時間ダイレクトモードを選択せずに、空間ダイレクトモードを選択する場合でも、時間ダイレクトモードを選択した場合に参照するピクチャの動きベクトルを必ず保持しておかなければならず、メモリ量を削減することが困難であるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、使用するメモリ量を削減することができる画像符号化装置及び画像復号装置を得ることを目的とする。

この発明に係る画像符号化装置は、異なる時刻の符号化済みピクチャの動きベクトルをもとにカレントの動きベクトルを定める動き予測モードの使用を、シーケンスに対して許可する場合、動き予測モードにおいて、入力画像を構成している符号化対象のブロックの異なる時刻の符号化済みピクチャの動きベクトルを参照してカレントの動きベクトルを生成して予測画像を生成し、動き予測モードの使用をシーケンスに対して許可しない場合、異なる時刻の符号化済みのピクチャの動きベクトルを参照せずにカレントの動きベクトルを生成して予測画像を生成する予測画像生成手段と、動き予測モードの使用をシーケンスに対して許可するか否かを示す制御信号を符号化してビットストリームを生成するビットストリーム生成手段とを備えるようにしたものである。

この発明によれば、異なる時刻の符号化済みピクチャの動きベクトルをもとにカレントの動きベクトルを定める動き予測モードの使用を、シーケンスに対して許可する場合、動き予測モードにおいて、入力画像を構成している符号化対象のブロックの異なる時刻の符号化済みピクチャの動きベクトルを参照してカレントの動きベクトルを生成して予測画像を生成し、動き予測モードの使用をシーケンスに対して許可しない場合、異なる時刻の符号化済みのピクチャの動きベクトルを参照せずにカレントの動きベクトルを生成して予測画像を生成する予測画像生成手段と、動き予測モードの使用をシーケンスに対して許可するか否かを示す制御信号を符号化してビットストリームを生成するビットストリーム生成手段とを備えるように構成したので、時間ダイレクトモードフラグをオフにした場合、符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャの動きベクトルを格納するためのメモリを確保する必要がなくなり、メモリ量を削減することができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。この発明の実施の形態１による画像復号装置を示す構成図である。この発明の実施の形態１による画像復号装置の動き補償部２４を示す構成図（時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合の動き補償部２４の内部構成図）である。この発明の実施の形態１による画像復号装置の動き補償部２４を示す構成図（時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可しない旨を示している場合の動き補償部２４の内部構成図）である。図１の画像符号化装置の動き補償予測部１におけるダイレクトモードの決定処理を示すフローチャートである。時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。時間ダイレクトモードフラグの選択方法の一例を示すフローチャートである。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、動き補償予測部１はメモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択し、マクロブロックの単位で、色成分毎に動き補償予測処理を実行（全ブロックサイズ、ないしは、サブブロックサイズで、所定の探索範囲のすべての動きベクトル及び選択可能な１枚以上の参照画像に対して動き補償予測処理を実行）して、当該マクロブロック（符号化対象のマクロブロック）の動きベクトルを生成して予測画像を生成し、それぞれのマクロブロック毎に選択した参照画像の識別番号、動きベクトル及び予測画像を出力する処理を実施する。

ただし、動き補償予測部１は符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する際、時間ダイレクトモードの使用を許可するか否かを示す時間ダイレクトモードフラグ（制御信号）を入力し、その時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合、入力画像を構成している符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャの動きベクトルを参照する時間ダイレクトモード、または、符号化対象のマクロブロックの周囲に位置している符号化済みマクロブロックの動きベクトルを参照する空間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する処理を実施する。
一方、時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可しない旨を示している場合、空間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する処理を実施する。
なお、動き補償予測部１は予測画像生成手段を構成している。

減算器２は動き補償予測部１により生成された予測画像と入力画像の差分画像を求め、その差分画像である予測差分信号を符号化モード判定部３に出力する処理を実施する。
符号化モード判定部３は符号化制御部１３の制御の下、減算器２から出力された予測差分信号の予測効率を評価して、減算器２から出力された少なくとも１以上の予測差分信号の中で、最も予測効率が高い予測差分信号を選択し、動き補償予測部１で当該予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ（ダイレクトモードの種類として、例えば、当該マクロブロックでは、時間ダイレクトモード又は空間ダイレクトモードが用いられている旨を示す情報）及び参照画像の識別番号を可変長符号化部１１に出力し、また、最も予測効率が高い予測差分信号を直交変換部４に出力する処理を実施する。
なお、減算器２及び符号化モード判定部３から予測画像選択手段が構成されている。

直交変換部４は符号化モード判定部３から出力された予測差分信号を直交変換し、その予測差分信号の直交変換係数を量子化部５に出力する処理を実施する。
量子化部５は符号化制御部１３により決定された量子化パラメータを用いて、直交変換部４から出力された直交変換係数を量子化し、その直交変換係数の量子化係数を逆量子化部６及び可変長符号化部１１に出力する処理を実施する。
なお、直交変換部４及び量子化部５から量子化手段が構成されている。

逆量子化部６は符号化制御部１３により決定された量子化パラメータを用いて、量子化部５から出力された量子化係数を逆量子化することで局部復号直交変換係数（直交変換部４から出力された直交変換係数に相当する係数）を復号し、その局部復号直交変換係数を逆直交変換部７に出力する処理を実施する。
逆直交変換部７は逆量子化部６から出力された局部復号直交変換係数を逆直交変換することで局部復号予測差分信号（符号化モード判定部３から出力された予測差分信号に相当する信号）を復号し、その局部復号予測差分信号を加算器８に出力する処理を実施する。

加算器８は動き補償予測部１から出力された予測画像と逆直交変換部７から出力された局部復号予測差分信号を加算することで局部復号画像を生成する処理を実施する。
デブロッキングフィルタ９は外部から入力されたフィルタ制御フラグがオンであれば、加算器８により生成された局部復号画像に対するフィルタリング処理を実施して符号化歪みを解消し、フィルタリング処理後の局部復号画像を動き補償予測用の参照画像としてメモリ１０に出力する処理を実施する。
メモリ１０は動き補償予測部１が動き補償処理を実施する際に参照する動き補償予測用の参照画像を格納する記録媒体である。

可変長符号化部１１は符号化モード判定部３から出力された動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号と、量子化部５から出力された量子化係数と、符号化制御部１３から出力された量子化パラメータと、外部から入力された時間ダイレクトモードフラグ及びフィルタ制御フラグとを可変長符号化（例えば、ハフマン符号化や算術符号化などの手段でエントロピー符号化）してビットストリームを生成する処理を実施する。
なお、可変長符号化部１１はビットストリーム生成手段を構成している。

送信バッファ１２は可変長符号化部１１により生成されたビットストリームを一時的に格納してから、そのビットストリームを出力する。
符号化制御部１３は送信バッファ１２により格納されているビットストリームを監視して、適正な量子化パラメータを決定するとともに、符号化モード判定部３における評価対象の予測差分信号を切り換えるなどの処理を実施する。

図２はこの発明の実施の形態１による画像復号装置を示す構成図である。
図２において、可変長復号部２１は図１の画像符号化装置により生成されたビットストリームを解読して、最も予測効率が高い予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号と、量子化係数及び量子化パラメータと、時間ダイレクトモードフラグ及びフィルタ制御フラグとを抽出して出力する処理を実施する。
なお、可変長復号部２１は可変長復号手段を構成している。

逆量子化部２２は可変長復号部２１により抽出された量子化パラメータを用いて、可変長復号部２１により抽出された量子化係数を逆量子化することで、局部復号直交変換係数（図１の直交変換部４から出力された直交変換係数に相当する係数）を復号し、その局部復号直交変換係数を逆直交変換部２３に出力する処理を実施する。
逆直交変換部２３は逆量子化部２２から出力された局部復号直交変換係数を逆直交変換することで局部復号予測差分信号（図１の符号化モード判定部３から出力された予測差分信号に相当する信号）を復号し、その局部復号予測差分信号を加算器２５に出力する処理を実施する。
なお、逆量子化部２２及び逆直交変換部２３から逆量子化手段が構成されている。

動き補償部２４は可変長復号部２１により抽出された時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモードが用いられている旨を示していれば、復号対象のマクロブロックの時間的に近傍にある復号済みピクチャの動きベクトルを参照する時間ダイレクトモードで、復号対象のマクロブロックの動きベクトルを生成し、その時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可しない旨を示している場合、または、そのマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示している場合、復号対象のマクロブロックの周囲に位置している復号済みマクロブロックの動きベクトルを参照する空間ダイレクトモードで、復号対象のマクロブロックの動きベクトルを生成する処理を実施する。
また、動き補償部２４は動きベクトルを生成すると、その動きベクトルを用いて、予測画像を生成する処理を実施する。
なお、動き補償部２４は動きベクトル生成手段及び予測画像生成手段を構成している。

加算器２５は動き補償部２４により生成された予測画像と逆直交変換部２３から出力された局部復号予測差分信号を加算することで、局部復号画像を生成する処理を実施する。
なお、加算器２５は加算手段を構成している。

デブロッキングフィルタ２６は可変長復号部２１により抽出されたフィルタ制御フラグがオンであれば、加算器２５により生成された局部復号画像に対するフィルタリング処理を実施して符号化歪みを解消し、フィルタリング処理後の局部復号画像を動き補償予測用の参照画像としてメモリ２７に出力するとともに、フィルタリング処理後の局部復号画像を復号画像（図１の画像符号化装置に入力される入力画像に相当する画像）として出力する処理を実施する。
メモリ２７は動き補償部２４が動き補償処理を実施する際に参照する動き補償予測用の参照画像を格納する記録媒体である。

図３はこの発明の実施の形態１による画像復号装置の動き補償部２４を示す構成図（時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合の動き補償部２４の内部構成図）である。
図３において、動きベクトルメモリ部３１は可変長復号部２１により抽出された時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合、復号済みピクチャの動きベクトルと復号済みマクロブロックの動きベクトルを格納する領域を確保している。
即ち、動きベクトルメモリ部３１は可変長復号部２１により抽出された時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可する旨を示している場合、復号済みピクチャの動きベクトルを格納する復号済み画像動きベクトルメモリ３１ａと、復号済みマクロブロックの動きベクトルを格納する周囲動きベクトルメモリ３１ｂとを確保するようにする。

マクロブロックタイプ判別部３２はＢピクチャを復号する場合、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモード又は空間ダイレクトモードが用いられている旨を示している場合、ダイレクトモードベクトル生成部３５を起動し、そのマクロブロックタイプ／サブマクロブロックタイプが、ダイレクトモード以外のモードが用いられている旨を示している場合、予測ベクトル生成部３３を起動する処理を実施する。

予測ベクトル生成部３３は可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプにしたがって予測ベクトルを生成する処理を実施する。
動きベクトル生成部３４は予測ベクトル生成部３３により生成された予測ベクトルと可変長復号部２１により抽出された動きベクトルをベクトル加算することで、復号対象のマクロブロックの動きベクトルを生成するとともに、その動きベクトルを復号済み画像動きベクトルメモリ３１ａ及び周囲動きベクトルメモリ３１ｂに格納する処理を実施する。

ダイレクトモードベクトル生成部３５は可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモードが用いられている旨を示していれば、復号済み画像動きベクトルメモリ３１ａにより格納されている動きベクトル（復号対象のマクロブロックの時間的に近傍にある復号済みピクチャにおいて、復号対象のマクロブロックと空間的に同一の位置にあるマクロブロックの動きベクトル）を参照して、復号対象のマクロブロックの動きベクトルを生成し、そのマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示している場合、周囲動きベクトルメモリ３１ｂにより格納されている動きベクトル（復号対象のマクロブロックの周囲に位置している復号済みマクロブロックの動きベクトル）を参照して、復号対象のマクロブロックの動きベクトルを生成する処理を実施する。
動き補償予測部３６は動きベクトル生成部３４又はダイレクトモードベクトル生成部３５により生成された動きベクトルを用いて、予測画像を生成する処理を実施する。

図４はこの発明の実施の形態１による画像復号装置の動き補償部２４を示す構成図（時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可しない旨を示している場合の動き補償部２４の内部構成図）である。
時間ダイレクトモードフラグが時間ダイレクトモードの使用を許可しない旨を示している場合、動きベクトルメモリ部３１は、復号済みマクロブロックの動きベクトルを格納する領域のみを確保している。
即ち、動きベクトルメモリ部３１は復号済み画像動きベクトルメモリ３１ａを確保せずに、周囲動きベクトルメモリ３１ｂのみを確保するようにする。
図５は図１の画像符号化装置の動き補償予測部１におけるダイレクトモードの決定処理を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、入力画像である映像フレームを１６×１６画素の矩形領域（マクロブロック）に均等分割し、そのマクロブロックの単位で、フレーム内で閉じた符号化を行う画像符号化装置と、その画像符号化装置に対応している画像復号装置について説明する。
なお、画像符号化装置と画像復号装置は、例えば、上記の非特許文献１に開示されているＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）／ＩＴＵ−ＴＨ．２６４規格の符号化方式を採用するものとする。

最初に、図１の画像符号化装置の動作について説明する。
まず、動き補償予測部１は、入力画像である映像フレームを１６×１６画素の矩形領域（マクロブロック）に均等分割する。
動き補償予測部１は、入力画像をマクロブロック毎に分割すると、メモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択し、マクロブロックの単位で、色成分毎に動き補償予測処理を実行（全ブロックサイズ、ないしは、サブブロックサイズで、所定の探索範囲のすべての動きベクトル及び選択可能な１枚以上の参照画像に対して動き補償予測処理を実行）して、当該マクロブロック（符号化対象のマクロブロック）の動きベクトルを生成して予測画像を生成する。

ただし、動き補償予測部１は、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する際、外部から時間ダイレクトモードフラグを入力する。
時間ダイレクトモードフラグの選択方法の一例について図８に示す。時間ダイレクトモードを使用すると、参照ピクチャの動きベクトル情報用のメモリが必要であり、また効果のある画像として動きが単調な映像を符号化する場合が考えられる。そのため、画像符号化装置において、使用するメモリ量に制限がない場合（ステップＳＴ１１：ＹＥＳ）や動きが単調な画像を符号化する場合（ステップＳＴ１２：ＹＥＳ）には時間ダイレクトモードフラグをオン（時間ダイレクトモードの使用を許可する）にする（ステップＳＴ１３）。
一方、画像符号化装置において、使用可能なメモリ量が限られている状況下や、動きが大きい映像を符号化する場合では、オフ（時間ダイレクトモードの使用を許可しない）の時間ダイレクトモードフラグが入力される（ステップＳＴ１４）。

動き補償予測部１は、外部から入力される時間ダイレクトモードフラグがオンであれば（図５のステップＳＴ１：ＹＥＳ）、Ｂピクチャを符号化する際に使用するダイレクトモードとして、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれかを選択する（ステップＳＴ２）。
例えば、使用可能なメモリ量に余裕がある状況下や、時間ダイレクトモードを使用すれば、高い符号化効率が得られる可能性が高い状況下では（ステップＳＴ２：ＹＥＳ）、Ｂピクチャを符号化する際に使用するダイレクトモードとして、時間ダイレクトモードを選択する（ステップＳＴ３）。

一方、使用可能なメモリ量が限られている状況下や、時間ダイレクトモードを使用しても、高い符号化効率が得られる可能性が低い状況下では（ステップＳＴ２：ＮＯ）、Ｂピクチャを符号化する際に使用するダイレクトモードとして、空間ダイレクトモードを選択する（ステップＳＴ４）。
ここでは、動き補償予測部１が自ら判断して、時間ダイレクトモード又は空間ダイレクトモードを選択するものについて示したが、符号化モード判定部３の指示によって、時間ダイレクトモード又は空間ダイレクトモードを選択するようにしてもよい。
動き補償予測部１は、外部から入力される時間ダイレクトモードフラグがオフであれば（ステップＳＴ１：ＮＯ）、Ｂピクチャを符号化する際に使用するダイレクトモードとして、空間ダイレクトモードを選択する（ステップＳＴ４）。

動き補償予測部１は、Ｂピクチャを符号化する際に使用するダイレクトモードとして、時間ダイレクトモードを選択すると、符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャの動きベクトルのうち、符号化対象のマクロブロックと空間的に同一の位置にあるマクロブロックの動きベクトルを参照して、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する（図６を参照）。
動き補償予測部１は、Ｂピクチャを符号化する際に使用するダイレクトモードとして、空間ダイレクトモードを選択すると、符号化対象のマクロブロックの周囲に位置している符号化済みマクロブロックの動きベクトルを参照して、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する（図７を参照）。

動き補償予測部１は、上記のようにして、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成すると、その予測画像を減算器２及び加算器８に出力する。
また、動き補償予測部１は、符号化対象のマクロブロックの動きベクトルと、マクロブロックタイプ／サブマクロブロックタイプ（使用しているダイレクトモードの種類）と、参照画像の識別番号とを符号化モード判定部３に出力する。
さらに、動き補償予測部１は、外部から入力されたフィルタ制御フラグ（デブロッキングフィルタ９のフィルタリング処理を制御するフラグ）を可変長符号化部１１に出力する。
なお、動き補償予測部１は、符号化モード判定部３の指示の下、複数の条件で予測画像を生成する。例えば、異なるマクロブロックタイプ／サブマクロブロックタイプ、動きベクトルや参照画像で予測画像を生成する。

減算器２は、動き補償予測部１から予測画像を受ける毎に、その予測画像と入力画像の差分画像を求め、その差分画像である予測差分信号を符号化モード判定部３に出力する。
符号化モード判定部３は、減算器２から予測差分信号を受けると、符号化制御部１３の制御の下、減算器２から出力された予測差分信号の予測効率を評価する。
予測差分信号の予測効率を評価する方法については、公知の技術を使用すればよく、ここでは、詳細な説明を省略する。

符号化モード判定部３は、動き補償予測部１の動き補償処理を適宜制御することで（例えば、符号化対象のマクロブロックに対するマクロブロックタイプ／サブマクロブロックタイプの変更など）、減算器２から少なくとも１以上の予測差分信号を入力し、少なくとも１以上の予測差分信号の中で、最も予測効率が高い予測差分信号を選択する。
符号化モード判定部３は、最も予測効率が高い予測差分信号を選択すると、動き補償予測部１において、その予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号を可変長符号化部１１に出力する。
また、符号化モード判定部３は、最も予測効率が高い予測差分信号を直交変換部４に出力する。

直交変換部４は、符号化モード判定部３から予測差分信号を受けると、その予測差分信号を直交変換し、その予測差分信号の直交変換係数を量子化部５に出力する。
量子化部５は、直交変換部４から直交変換係数を受けると、符号化制御部１３により決定された量子化パラメータを用いて、その直交変換係数を量子化し、その直交変換係数の量子化係数を逆量子化部６及び可変長符号化部１１に出力する。

逆量子化部６は、量子化部５から量子化係数を受けると、符号化制御部１３により決定された量子化パラメータを用いて、その量子化係数を逆量子化することで局部復号直交変換係数（直交変換部４から出力された直交変換係数に相当する係数）を復号し、その局部復号直交変換係数を逆直交変換部７に出力する。
逆直交変換部７は、逆量子化部６から局部復号直交変換係数を受けると、その局部復号直交変換係数を逆直交変換することで局部復号予測差分信号（符号化モード判定部３から出力された予測差分信号に相当する信号）を復号し、その局部復号予測差分信号を加算器８に出力する。

加算器８は、動き補償予測部１から予測画像を受け、逆直交変換部７から局部復号予測差分信号を受けると、その予測画像と局部復号予測差分信号を加算することで局部復号画像を生成する。
デブロッキングフィルタ９は、外部から入力されたフィルタ制御フラグがオンであれば、加算器８により生成された局部復号画像に対するフィルタリング処理を実施して符号化歪みを解消し、フィルタリング処理後の局部復号画像を動き補償予測用の参照画像としてメモリ１０に格納する。
一方、外部から入力されたフィルタ制御フラグがオフであれば、加算器８により生成された局部復号画像に対するフィルタリング処理を実施せずに、その局部復号画像を動き補償予測用の参照画像としてメモリ１０に格納する。

可変長符号化部１１は、符号化モード判定部３から出力された動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号と、量子化部５から出力された量子化係数と、符号化制御部１３から出力された量子化パラメータと、外部から入力された時間ダイレクトモードフラグ及びフィルタ制御フラグとを可変長符号化（例えば、ハフマン符号化や算術符号化などの手段でエントロピー符号化）してビットストリームを生成し、そのビットストリームを送信バッファ１２に出力する。

送信バッファ１２は、可変長符号化部１１により生成されたビットストリームを一時的に格納してから、そのビットストリームを画像復号装置に出力する。
符号化制御部１３は、送信バッファ１２により格納されているビットストリームを監視して、適正な量子化パラメータを決定するとともに、符号化モード判定部３における評価対象の予測差分信号の切り換え等を行う。

この実施の形態１では、時間ダイレクトモードフラグをシーケンスパラメータセットのデータの一部として符号化するものについて示したが、例えば、ピクチャパラメータセットなどの他のパラメータセットのデータの一部として符号化するようにしてもよい。
また、時間ダイレクトモードフラグがオンの場合、スライス単位で、時間ダイレクトモードと空間ダイレクトモードを切り換えるものについて示したが、マクロブロック単位やピクチャ単位などの他の単位で、時間ダイレクトモードと空間ダイレクトモードを切り換えるようにしてもよい。

次に、図２の画像復号装置の動作について説明する。
可変長復号部２１は、図１の画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームを解読して、最も予測効率が高い予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号と、量子化係数及び量子化パラメータと、時間ダイレクトモードフラグ及びフィルタ制御フラグとを抽出する。
可変長復号部２１により抽出された量子化係数及び量子化パラメータは、逆量子化部２２に出力され、予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ、参照画像の識別番号及び時間ダイレクトモードフラグは、動き補償部２４に出力され、フィルタ制御フラグは、デブロッキングフィルタ２６に出力される。

逆量子化部２２は、可変長復号部２１から量子化係数と量子化パラメータを受けると、その量子化パラメータを用いて、その量子化係数を逆量子化することで、局部復号直交変換係数（図１の直交変換部４から出力された直交変換係数に相当する係数）を復号し、その局部復号直交変換係数を逆直交変換部２３に出力する。
逆直交変換部２３は、逆量子化部２２から局部復号直交変換係数を受けると、その局部復号直交変換係数を逆直交変換することで、局部復号予測差分信号（図１の符号化モード判定部３から出力された予測差分信号に相当する信号）を復号し、その局部復号予測差分信号を加算器２５に出力する。

動き補償部２４は、可変長復号部２１から予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ、参照画像の識別番号及び時間ダイレクトモードフラグを受けると、次のようにして、予測画像を生成する。
最初に、時間ダイレクトモードフラグがオンである場合の予測画像の生成処理について説明する。
時間ダイレクトモードフラグがオンである場合、図１の画像符号化装置が、Ｂピクチャを符号化する際に使用するダイレクトモードとして、時間ダイレクトモードが選択されている可能性がある。
この場合、Ｂピクチャを復号する際、復号対象のマクロブロックの時間的に近傍にある復号済みピクチャの動きベクトルを参照する必要があるので、図３に示すように、動き補償部２４が、復号済みマクロブロックの動きベクトルを格納する領域（周囲動きベクトルメモリ３１ｂ）だけでなく、復号済みピクチャの動きベクトルを格納する領域（復号済み画像動きベクトルメモリ３１ａ）を確保する。

［Ｐピクチャの復号］
Ｐピクチャを復号する場合、動き補償部２４のマクロブロックタイプ判別部３２が予測ベクトル生成部３３を起動する。
動き補償部２４の予測ベクトル生成部３３は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプにしたがって予測ベクトルを生成する。
動き補償部２４の動きベクトル生成部３４は、予測ベクトル生成部３３が予測ベクトルを生成すると、その予測ベクトルと可変長復号部２１により抽出された動きベクトルをベクトル加算することで、復号対象のマクロブロックの動きベクトルを生成し、その動きベクトルを動き補償予測部３６に出力する。
また、動きベクトル生成部３４は、その動きベクトルを復号済み画像動きベクトルメモリ３１ａ及び周囲動きベクトルメモリ３１ｂに格納する。

［Ｂピクチャの復号］
Ｂピクチャを復号する場合、動き補償部２４のマクロブロックタイプ判別部３２は、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモード又は空間ダイレクトモードが用いられている旨を示している場合、ダイレクトモードベクトル生成部３５を起動する。
そのマクロブロックタイプ／サブマクロブロックタイプが、ダイレクトモード以外のモードが用いられている旨を示している場合、予測ベクトル生成部３３を起動する。

動き補償部２４のダイレクトモードベクトル生成部３５は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモードが用いられている旨を示していれば、復号済み画像動きベクトルメモリ３１ａにより格納されている動きベクトル（復号対象のマクロブロックの時間的に近傍にある復号済みピクチャにおいて、復号対象のマクロブロックと空間的に同一の位置にあるマクロブロックの動きベクトル）を参照して、復号対象のマクロブロックの動きベクトルを生成する。
そのマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示している場合、周囲動きベクトルメモリ３１ｂにより格納されている動きベクトル（復号対象のマクロブロックの周囲に位置している復号済みマクロブロックの動きベクトル）を参照して、復号対象のマクロブロックの動きベクトルを生成する。

動き補償部２４の予測ベクトル生成部３３は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプにしたがって予測ベクトルを生成する。
動き補償部２４の動きベクトル生成部３４は、予測ベクトル生成部３３が予測ベクトルを生成すると、その予測ベクトルと可変長復号部２１により抽出された動きベクトルをベクトル加算することで、復号対象のマクロブロックの動きベクトルを生成し、その動きベクトルを動き補償予測部３６に出力する。
また、動きベクトル生成部３４は、その動きベクトルを復号済み画像動きベクトルメモリ３１ａ及び周囲動きベクトルメモリ３１ｂに格納する。

動き補償部２４の動き補償予測部３６は、図１の動き補償予測部１と同様の動き補償処理を実施するものであり、動きベクトル生成部３４が動きベクトルを生成すれば、その動きベクトルを用いて、予測画像を生成する。
また、動き補償予測部３６は、ダイレクトモードベクトル生成部３５が動きベクトルを生成すれば、その動きベクトルを用いて、予測画像を生成する。

次に、時間ダイレクトモードフラグがオフである場合の予測画像の生成処理について説明する。
時間ダイレクトモードフラグがオフである場合、図１の画像符号化装置が、Ｂピクチャを符号化する際に使用するダイレクトモードとして、時間ダイレクトモードが選択されている可能性がない。
この場合、Ｂピクチャを復号する際、復号対象のマクロブロックの時間的に近傍にある復号済みピクチャの動きベクトルを参照する必要がないので、図４に示すように、動き補償部２４が、復号済みマクロブロックの動きベクトルを格納する領域（周囲動きベクトルメモリ３１ｂ）だけを確保して、復号済みピクチャの動きベクトルを格納する領域（復号済み画像動きベクトルメモリ３１ａ）を確保しない。

［Ｐピクチャの復号］
Ｐピクチャを復号する場合、動き補償部２４のマクロブロックタイプ判別部３２が予測ベクトル生成部３３を起動する。
動き補償部２４の予測ベクトル生成部３３は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプにしたがって予測ベクトルを生成する。
動き補償部２４の動きベクトル生成部３４は、予測ベクトル生成部３３が予測ベクトルを生成すると、その予測ベクトルと可変長復号部２１により抽出された動きベクトルをベクトル加算することで、復号対象のマクロブロックの動きベクトルを生成し、その動きベクトルを動き補償予測部３６に出力する。
また、動きベクトル生成部３４は、その動きベクトルを周囲動きベクトルメモリ３１ｂに格納する。

［Ｂピクチャの復号］
Ｂピクチャを復号する場合、動き補償部２４のマクロブロックタイプ判別部３２は、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示していれば（時間ダイレクトモードフラグがオフであるため、時間ダイレクトモードが用いられている旨を示していることはない）、ダイレクトモードベクトル生成部３５を起動する。
そのマクロブロックタイプ／サブマクロブロックタイプが、ダイレクトモード以外のモードが用いられている旨を示している場合、予測ベクトル生成部３３を起動する。

動き補償部２４のダイレクトモードベクトル生成部３５は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示している場合、周囲動きベクトルメモリ３１ｂにより格納されている動きベクトル（復号対象のマクロブロックの周囲に位置している復号済みマクロブロックの動きベクトル）を参照して、復号対象のマクロブロックの動きベクトルを生成する。

動き補償部２４の予測ベクトル生成部３３は、マクロブロックタイプ判別部３２により起動されると、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプにしたがって予測ベクトルを生成する。
動き補償部２４の動きベクトル生成部３４は、予測ベクトル生成部３３が予測ベクトルを生成すると、その予測ベクトルと可変長復号部２１により抽出された動きベクトルをベクトル加算することで、復号対象のマクロブロックの動きベクトルを生成し、その動きベクトルを動き補償予測部３６に出力する。
また、動きベクトル生成部３４は、その動きベクトルを周囲動きベクトルメモリ３１ｂに格納する。

動き補償部２４の動き補償予測部３６は、動きベクトル生成部３４が動きベクトルを生成すれば、その動きベクトルを用いて、予測画像を生成する。
また、動き補償予測部３６は、ダイレクトモードベクトル生成部３５が動きベクトルを生成すれば、その動きベクトルを用いて、予測画像を生成する。

加算器２５は、上記のようにして、動き補償予測部２４が予測画像を生成すると、その予測画像と逆直交変換部２３から出力された局部復号予測差分信号を加算することで、局部復号画像（図１の加算器８により生成される局部復号画像に相当する画像）を生成する。

デブロッキングフィルタ２６は、可変長復号部２１により抽出されたフィルタ制御フラグがオンであれば、加算器２５により生成された局部復号画像に対するフィルタリング処理を実施して符号化歪みを解消し、フィルタリング処理後の局部復号画像を動き補償予測用の参照画像としてメモリ２７に格納するとともに、フィルタリング処理後の局部復号画像を復号画像（図１の画像符号化装置に入力される入力画像に相当する画像）として出力する。
一方、可変長復号部２１により抽出されたフィルタ制御フラグがオフであれば、加算器２５により生成された局部復号画像に対するフィルタリング処理を実施せずに、その局部復号画像を動き補償予測用の参照画像としてメモリ２７に格納するとともに、その局部復号画像を復号画像（図１の画像符号化装置に入力される入力画像に相当する画像）として出力する。

以上で明らかなように、この実施の形態１によれば、時間ダイレクトモードフラグがオンである場合、入力画像を構成している符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャの動きベクトルを参照する時間ダイレクトモード又は符号化対象のマクロブロックの周囲に位置している符号化済みマクロブロックの動きベクトルを参照する空間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成し、その時間ダイレクトモードフラグがオフである場合、その空間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを生成して予測画像を生成する動き補償予測部１と、動き補償予測部１により生成された予測画像と入力画像の差分画像を求め、その差分画像である予測差分信号を出力する減算器２と、減算器２から出力された予測差分信号の予測効率を評価して、減算器２から出力された少なくとも１以上の予測差分信号の中で、最も予測効率が高い予測差分信号を選択する符号化モード判定部３とを設け、可変長符号化部１１が、符号化モード判定部３により選択された予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ及び参照画像の識別番号と、量子化部５から出力された量子化係数と、符号化制御部１３から出力された量子化パラメータと、外部から入力された時間ダイレクトモードフラグ及びフィルタ制御フラグとを可変長符号化してビットストリームを生成するように構成したので、時間ダイレクトモードフラグがオフの場合、符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャの動きベクトルを格納するためのメモリを確保する必要がなくなり、メモリ量を削減することができる効果を奏する。

また、この実施の形態１によれば、可変長復号部２１により抽出された時間ダイレクトモードフラグがオンである場合、可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、時間ダイレクトモードが用いられている旨を示していれば、復号対象のマクロブロックの時間的に近傍にある復号済みピクチャの動きベクトルを参照する時間ダイレクトモードで、復号対象のマクロブロックの動きベクトルを生成し、可変長復号部２１により抽出された時間ダイレクトモードフラグがオフである場合又は可変長復号部２１により抽出されたマクロブロックタイプ／サブマクロブロックタイプが、空間ダイレクトモードが用いられている旨を示している場合、復号対象のマクロブロックの周囲に位置している復号済みマクロブロックの動きベクトルを参照する空間ダイレクトモードで、復号対象のマクロブロックの動きベクトルを生成し、その生成した動きベクトルを用いて、予測画像を生成する動き補償部２４を設け、加算器２５が、動き補償部２４により生成された予測画像と逆直交変換部２３から出力された局部復号予測差分信号を加算することで、局部復号画像を得るように構成したので、画像符号化装置において、時間ダイレクトモードフラグがオフの場合、復号済みピクチャの動きベクトルを格納する領域（復号済み画像動きベクトルメモリ３１ａ）を確保する必要がなくなり、メモリ量を削減することができる効果を奏する。

また、この実施の形態１によれば、時間ダイレクトモードフラグは、シーケンスに１つあれば十分であるため、従来例のようにスライス単位でフラグを持つ必要がなくなる。そのため、符号量の削減に寄与する効果も奏する。
さらに、スライス単位でダイレクトモードを切り換える煩雑な処理がなくなるため、演算量を削減することができる効果を奏する。

なお、この実施の形態１では、時間ダイレクトモードフラグを用いて、時間ダイレクトモードの使用を許可するか否かを示す制御信号を送受信するものについて示したが、例えば、プロファイル情報や、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ＿ｆｌａｇなどの別のフラグに、時間ダイレクトモードの使用を許可するか否かを示す制御信号を含めて送受信するようにしてもよい。

１動き補償予測部（予測画像生成手段）、２減算器（予測画像選択手段）、３符号化モード判定部（予測画像選択手段）、４直交変換部（量子化手段）、５量子化部（量子化手段）、６逆量子化部、７逆直交変換部、８加算器、９デブロッキングフィルタ、１０メモリ、１１可変長符号化部（ビットストリーム生成手段）、１２送信バッファ、１３符号化制御部、２１可変長復号部（可変長復号手段）、２２逆量子化部（逆量子化手段）、２３逆直交変換部（逆量子化手段）、２４動き補償部（動きベクトル生成手段、予測画像生成手段）、２５加算器（加算手段）、２６デブロッキングフィルタ、２７メモリ、３１動きベクトルメモリ部、３１ａ復号済み画像動きベクトルメモリ、３１ｂ周囲動きベクトルメモリ、３２マクロブロックタイプ判別部、３３予測ベクトル生成部、３４動きベクトル生成部、３５ダイレクトモードベクトル生成部、３６動き補償予測部。

Claims

異なる時刻の符号化済みピクチャの動きベクトルをもとにカレントの動きベクトルを定める動き予測モードの使用を、シーケンスに対して許可する場合、前記動き予測モードにおいて、入力画像を構成している符号化対象のブロックの異なる時刻の符号化済みピクチャの動きベクトルを参照してカレントの動きベクトルを生成して予測画像を生成し、前記動き予測モードの使用を前記シーケンスに対して許可しない場合、異なる時刻の符号化済みの前記ピクチャの動きベクトルを参照せずにカレントの動きベクトルを生成して予測画像を生成する予測画像生成手段と、
前記動き予測モードの使用を前記シーケンスに対して許可するか否かを示す制御信号を符号化してビットストリームを生成するビットストリーム生成手段と、
を備えることを特徴とする画像符号化装置。
ピクチャに対し予測処理を行い、符号化されたビットストリームであって、
符号化対象のブロックの単位で予測画像の生成に用いられた動き予測モードと、
異なる時刻の符号化済みピクチャの動きベクトルをもとにカレントの動きベクトルを定める動き予測モードの使用を、シーケンスに対して許可するか否かを示す制御信号と、
を含み、
前記制御信号が前記動き予測モードの使用を許可しない旨を示している場合、画像復号装置に異なる時刻の復号済みの前記ピクチャの動きベクトルを参照せずにカレントの動きベクトルを生成させ、前記動きベクトルを用いて予測画像を生成させ、
前記制御信号が前記動き予測モードの使用を許可する旨を示している場合、画像復号装置に異なる時刻の復号済みの前記ピクチャの動きベクトルを参照してカレントの動きベクトルを生成させ、前記動きベクトルを用いて予測画像を生成させることを特徴とするビットストリーム。