JPWO2007074543A1 - 動画像復号装置および動画像符号化装置 - Google Patents

Abstract

本発明の動画像復号装置又は動画像符号化装置における予測ベクトル導出手段においては、少なくとも２枚以上の参照画像を基準画像の候補とする。基準画像候補の一つを基準画像として選択したときに、基準領域がイントラ符号化されていて基準動きベクトルが存在しない場合には、別の基準画像候補を基準画像として選択することで画像の実際の動きに合った予測ベクトルを導出できる可能性を高めることができる。これにより、後方参照画像上の基準領域がイントラ符号化されている場合でも、ゼロベクトルではない予測ベクトルを導出でき、予測効率の低下を防止できる、動画像復号装置および動画像符号化装置を実現する。

Description

本発明は、動き補償に複数の参照画像を用いる動画像符号化装置および動画像復号装置に関するものである。

従来技術として、ＭＰＥＧ−４ ＡＶＣ方式（非特許文献１；ＩＳＯ／ＩＥＣ １４４９６−１０）を用いた動画像復号装置について、図９に示すブロック図を参照しながら、以下に説明する。

動画像復号装置３は、可変長符号復号部１００、動きベクトル復号部（動きベクトル復号手段）１０１、予測ベクトル導出部１０２、バッファメモリ１０３、画像復号部１０４、予測画像導出部（予測画像導出手段）１０５を含んで構成される。

可変長符号復号部１００は、入力符号化データを可変長復号し、予測方式、予測残差データ、差分ベクトルおよび時間情報等の符号化情報を復号する。動きベクトル復号部１０１は、予測ベクトルおよび差分ベクトルから、動きベクトルを復号する。予測ベクトル導出部１０２は、予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。バッファメモリ１０３は、動きベクトル、画像、および時間情報等を一時的に記録する。画像復号部１０４は、予測方式、予測残差データ、および予測画像から、画像を復号する。予測画像導出部１０５は、動きベクトルおよび参照画像を用いて、動き補償により予測画像を導出する。

＜従来技術を用いた復号手順の概要について＞
従来技術を用いた動画像復号装置における復号処理の概略について、図１０に示す復号処理手順のフローチャートを参照しながら、以下に説明する。

まず、可変長符号復号部１００が、動画像復号装置３の外部から入力された符号化データを可変長復号する（ステップ１０、以下Ｓ１０と略す)。可変長符号復号部１００の出力は、予測方式、予測残差データ、差分ベクトル、および時間情報等の符号化情報である。予測方式は、予測ベクトル導出部１０２および画像復号部１０４に出力され、予測残差データは、画像復号部１０４に出力され、差分ベクトルは、動きベクトル復号部１０１に出力され、時間情報は、画像復号部１０４に出力される。

次に、予測ベクトル導出部１０２が、バッファメモリ１０３に記録されている動きベクトルを用いて、可変長符号復号部１００から入力された予測方式に応じた予測ベクトルを導出する（Ｓ２０）。予測ベクトル導出部１０２は、導出した予測ベクトルを、動きベクトル復号部１０１およびバッファメモリ１０３に出力する。なお、予測ベクトル導出部１０２の動作の詳細については後述する。

次に、動きベクトル復号部１０１が、予測ベクトル導出部１０２から入力された予測ベクトルに、可変長符号復号部１００から入力された差分ベクトルを加えて、動きベクトルとして出力する（Ｓ３０）。出力された動きベクトルは、バッファメモリ１０３に出力され、記録される。

次に、予測画像導出部１０５が、バッファメモリ１０３に記録されている参照画像を読み出す。予測画像導出部１０５は、バッファメモリ１０３を介して動きベクトル復号部１０１から入力された動きベクトルと、読み出した参照画像とを用いて、動き補償予測を行い、予測画像を導出し、導出した予測画像を画像復号部１０４に出力する（Ｓ４０）。

次に、画像復号部１０４が、可変長符号復号部１００から入力された予測方式に応じて、予測画像導出部１０５から入力された予測画像と可変長符号復号部１００から入力された予測残差データとに基づいて、画像を復号する（Ｓ５０）。復号された画像およびその画像の表示タイミングに関する時間情報は、バッファメモリ１０３に出力され、記録される。

次に、Ｓ５０においてバッファメモリ１０３に記録された画像は、時間情報で示される時刻に、動画像表示装置（図示せず）に出力される（Ｓ６０）。

以上説明したように、従来技術（ＭＰＥＧ−４ ＡＶＣ方式）では、動き補償予測を用いた復号が行われている。

＜時間ダイレクト予測について＞
ＭＰＥＧ−４ ＡＶＣ方式では、予測方式の一つとして、時間ダイレクト予測と呼ばれる高能率な動き補償予測方式を用いることができる。

次に、ＭＰＥＧ−４ ＡＶＣ方式の時間ダイレクト予測について、図１１に示す概念図を用いて説明する。なお、以降の説明では、特に断らない限り、参照画像は、前方参照用と後方参照用とにそれぞれ１枚づつ、合計２枚あるものとする。

時間ダイレクト予測とは、図１１に示すように、対象画像Ｐ_ｃｕｒの予測画像を導出するにあたり、前方参照画像Ｐ_ｒ０，０および後方参照画像Ｐ_ｒ1，０の２枚の参照画像を用いる、動き補償予測方式である。

以下では、対象画像Ｐ_ｃｕｒ上の処理対象領域（図１１中の白丸）を、対象領域Ａ_ｃｕｒと呼ぶ。なお、図１１の概念図、そして、図４、図５、図６、図１４に示す概念図では、図の左右方向が、動画像を表示する表示時刻を表し、縦棒が各画像を表し、図の上下方向が、各画像内の領域の位置を表している。

時間ダイレクト予測における動き補償では、対象領域Ａ_ｃｕｒの、前方予測ベクトルｍｖＬ０と後方予測ベクトルｍｖＬ１とを用いる。前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１は、「基準画像」として定めた画像Ｐ_ｃｏｌ上の、対象領域Ａ_ｃｕｒと空間的に同一位置の領域Ｂ_ｃｏｌ(図１１中の二重丸)の動きベクトルｍｖＣｏｌに基づいて計算する。なお、領域Ｂ_ｃｏｌを「基準領域」と呼び、動きベクトルｍｖＣｏｌを「基準動きベクトル」と呼ぶこととする。また、基準動きベクトルｍｖＣｏｌが指す領域を、領域Ｂ_{ｃｏｌｒｅｆ}とし、領域Ｂ_{ｃｏｌｒｅｆ}は、画像Ｐ_{ｃｏｌｒｅｆ}上にあるものとする。

ＭＰＥＧ−４ ＡＶＣ方式の時間ダイレクト予測では、図１１に示すように、後方参照画像Ｐ_ｒ1，０が、基準画像Ｐ_ｃｏｌである。また、特に参照画像が２枚の場合には、前方参照画像Ｐ_ｒ０，０が、画像Ｐ_{ｃｏｌｒｅｆ}になる。

前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１は、基準動きベクトルｍｖＣｏｌを用いて、以下の式で計算する。

ｍｖＬ０ ＝ ｔｂ ／ ｔｂｂ × ｍｖＣｏｌ ・・・（１）
ｍｖＬ１ ＝ （ｔｂ − ｔｄ） ／ ｔｂｂ × ｍｖＣｏｌ ・・・（２）

なお、式（１）および式（２）において、ｔｂは、前方参照画像Ｐ_ｒ０，０と対象画像Ｐ_ｃｕｒとの表示時間の時間間隔、ｔｄは、前方参照画像Ｐ_ｒ０，０と後方参照画像Ｐ_ｒ1，０との時間間隔、ｔｂｂは、画像Ｐ_{ｃｏｌｒｅｆ}と基準画像Ｐ_ｃｏｌとの時間間隔を表す。時間間隔ｔｂ、ｔｄ、およびｔｂｂの各値は、図１０のＳ５０の処理において、バッファメモリ１０３に記録されている各画像の表示時刻に関する時間情報を用いて計算される。時間間隔ｔｂ、ｔｄ、およびｔｂｂは、対象画像Ｐ_ｃｕｒの表示時刻Ｔ_ｃｕｒ、前方参照画像Ｐ_ｒ０，０の表示時刻Ｔ_ｒ０，０、後方参照画像Ｐ_ｒ1，０の表示時刻Ｔ_ｒ1，０、基準画像Ｐ_ｃｏｌの表示時刻Ｔ_ｃｏｌ、および画像Ｐ_{ｃｏｌｒｅｆ}の表示時刻Ｔ_{ｃｏｌｒｅｆ}を用いて、以下の式で計算される。

ｔｂ ＝ Ｔ_ｒ０，０ − Ｔ_ｃｕｒ ・・・（３）
ｔｄ ＝ Ｔ_ｒ１，０ − Ｔ_ｒ０，０ ・・・（４）
ｔｂｂ ＝ Ｔ_ｃｏｌ − Ｔ_{ｃｏｌｒｅｆ} ・・・（５）

時間ダイレクト予測は、図１１に示す対象領域Ａ_ｃｕｒおよび領域Ｂ_ｃｕｒそれぞれにおいて画像となっている２つの物体が、領域Ａ_ｒ０，０から領域Ａ_ｒ1，０に、また領域Ｂ_{ｃｏｌｒｅｆ}から基準領域Ｂ_ｃｏｌに、それぞれ同じ方向へ等速運動していることを仮定した予測方式である。

なお、ｐｍｖ（Ｐｒｅｄｉｃｔｏｒ ｏｆ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）予測では、推定した動きベクトルと予測ベクトルとの差分ベクトルを用いるが、時間ダイレクト予測では、そのような差分ベクトルを用いずに動きベクトルを復号する。具体的には、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を対象領域Ａ_ｃｕｒにおける動きベクトルとする。

対象領域Ａ_ｃｕｒの予測画像は、前方予測ベクトルｍｖＬ０が指す前方参照画像Ｐ_ｒ０，０上の領域Ａ_ｒ０，０と、後方予測ベクトルｍｖＬ１が指す後方参照画像Ｐ_ｒ1，０上の領域Ａ_ｒ1，０とを使用して動き補償を行い、生成される。

＜予測ベクトル導出部１０２の詳細な構成について＞
時間ダイレクト予測を用いて予測ベクトルを導出する、予測ベクトル導出部１０２の詳細な構成を、図１２のブロック図で示す。

予測ベクトル導出部１０２は、導出方式選択部２０１、スイッチ２０２、時間ダイレクト予測部２０３、空間ダイレクト予測部２０４、ｐｍｖ予測部２０５、ゼロベクトル出力部２０６から構成される。

導出方式選択部２０１は、可変長符号復号部１００から入力された予測方式と、バッファメモリ１０３に記録された基準動きベクトルの有無とに応じて、予測ベクトルの導出方式を選択する。スイッチ２０２は、導出方式選択部２０１で選択された予測ベクトル導出方式への切り替えを行う。時間ダイレクト予測部２０３は、時間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部１０１へ出力する。空間ダイレクト予測部２０４は、空間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部１０１へ出力する。ｐｍｖ予測部２０５は、差分ベクトルが存在する場合に、推定した動きベクトルと予測ベクトルとの差分ベクトルを符号化するｐｍｖ予測により予測ベクトルを求め、動きベクトル復号部１０１へ出力する。ゼロベクトル出力部２０６は、予測ベクトル導出部１０２への入力に関わらず、常にゼロベクトルを予測ベクトルとして、動きベクトル復号部１０１へ出力する。

＜時間ダイレクト予測における予測ベクトルの導出手順について＞
次に、動き補償予測方式として、時間ダイレクト予測が用いられる場合の、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１の導出手順について、図１３に示す導出手順のフローチャートを用いて説明する。

まず、導出方式選択部２０１が、基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ２１）。

次に、導出方式選択部２０１は、バッファメモリ１０３からの通知に基づき、バッファメモリ１０３上の、基準領域Ｂ_ｃｏｌの基準動きベクトルｍｖＣｏｌの有無を判定する（Ｓ２２）。

基準動きベクトルｍｖＣｏｌが有る場合は、次のＳ２３の処理に進み、基準動きベクトルｍｖＣｏｌが無い場合は、Ｓ２５の処理に進む。

次に、導出方式選択部２０１は、スイッチ２０２を切り替えて、時間ダイレクト予測部２０３を選択する（Ｓ２３）。

次に、時間ダイレクト予測部２０３は、バッファメモリ１０３から取得した基準動きベクトルｍｖＣｏｌを、時間情報でスケーリング、すなわち式（１）および式（２）を用いて、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を計算し、予測ベクトルとして、動きベクトル復号部１０１へ出力し、処理を終了する（Ｓ２４）。

Ｓ２２において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３上に無いとの通知を受けた場合、導出方式選択部２０１は、基準領域Ｂ_ｃｏｌがイントラ符号化されていると判断し、スイッチ２０２を切り替えて、ゼロベクトル出力部２０６を選択する（Ｓ２５）。

次に、ゼロベクトル出力部２０６は、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を、共にゼロベクトルとし、予測ベクトルとして動きベクトル復号部１０１へ出力して、処理を終了する（Ｓ２６）。

なお、ＭＰＥＧ−４ ＡＶＣ方式では、時間ダイレクト予測の他に、空間ダイレクト予測およびｐｍｖ予測による動き補償予測が可能であるが、これらの予測を行う空間ダイレクト予測部２０４およびｐｍｖ予測部２０５の動作については、説明を省略する。

以上説明したように、従来技術による時間ダイレクト予測方式では、後方参照画像Ｐ_ｒ1，０を基準画像Ｐ_ｃｏｌとした場合であり、かつ基準画像Ｐ_ｃｏｌ上の基準領域Ｂ_ｃｏｌの基準動きベクトルｍｖＣｏｌが利用可能な場合には、動画内の物体の実際の動きに近い予測ベクトルを導出することができる。

しかしながら、従来技術による予測ベクトル導出方法では、後方参照画像Ｐ_ｒ1，０上の基準領域Ｂ_ｃｏｌがイントラ符号化されている場合には、基準動きベクトルｍｖＣｏｌがゼロベクトルとされてしまう。その場合、図１４の概念図に示すように、ゼロベクトルを用いて式（１）および式（２）の計算を行うので、前方予測ベクトルｍｖＬ０が指す領域は領域Ａ_ｒ０，０となり、後方予測ベクトルが指す領域は領域Ａ_ｒ1，０となってしまい、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１と、対象領域Ａ_ｃｕｒの実際の動きとの差異が大きくなる場合が多い。従って、予測効率が低下するという課題があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、後方参照画像Ｐ_ｒ1，０上の基準領域Ｂ_ｃｏｌがイントラ符号化されている場合でも、ゼロベクトルではない前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出し、予測効率の低下を防止できる、動画像復号装置および動画像符号化装置を実現することにある。

上記課題を解決するために、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出することを特徴とする動画像復号装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

処理対象画像とは、符号化データの状態から動画像を構成する画像を再構築する対象となる画像をいう。

処理対象領域とは、処理対象画像上にあり、一つの復号処理の単位で復号される処理対象画像の部分のことをいう。

予測ベクトルとは、動きベクトルを導出するために用いるベクトルである。

動きベクトルとは、動き補償予測方式により、動画像を構成する画像を再構築する際に予測画像を導出するために用いるベクトルである。

基準画像とは、予測ベクトルを求めるための基準動きベクトルを持つ画像である。

基準動きベクトルとは、基準画像の基準領域にある動きベクトルである。

基準領域とは、処理対象領域と空間的に同一の位置にある、基準画像上の領域である。

予測画像とは、符号化データに含まれる予測残差データから画像を再構築する元になる画像である。

既復号画像とは、符号化データの復号および再構築により導出された動画を構成する画像である。

時間ダイレクト予測とは、処理対象画像の表示時刻と、基準画像の表示時刻と、基準動きベクトルが指す既復号画像の表示時刻との時間間隔に基づいて、基準動きベクトルをスケーリングし、予測ベクトルを導出する予測方式である。

表示時刻とは、符号化データに含まれる時間情報であり、動画像を構成する各既復号画像をどの時刻に再生すればよいかを表すものである。

従来技術では、処理対象画像より表示時刻が遅い既復号画像を基準画像として、予測ベクトルが導出されるが、該既復号画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。

上記の構成によれば、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

上記課題を解決するために、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

既符号化画像とは、動画像データ構成する画像のうち、一度符号化したデータから画像を復号および再構築により導出した画像である。

従来技術では、処理対象画像より表示時刻が遅い既符号化画像を基準画像として、予測ベクトルが導出されるが、該既符号化画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。

上記の構成によれば、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

予測ベクトル導出部１１２が予測ベクトルを導出する手順を示すフローチャートある。 第１の実施の形態における、動画像復号装置１の構成を示すブロック図である。 予測ベクトル導出部１１２の詳細な構成を示すブロック図である。 前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 複数の参照画像を基準画像候補とする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 非参照画像を基準画像候補に含める場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 第２の実施の形態における、動画像符号化装置２の構成を示すブロック図である。 第２の実施の形態における、動画像符号化装置２の処理手順を示すフローチャートである。 従来技術における動画像復号装置３のブロック図である。 従来技術における動画像復号装置３の復号手順の概要を示すフローチャートである。 後方参照画像Ｐ_ｒ1，０が基準画像Ｐ_ｃｏｌである場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 従来技術における、予測ベクトル導出部１０２の詳細な構成を示すブロック図である。 従来技術において、予測ベクトル導出部１０２が予測ベクトルを導出する手順を示すフローチャートである。 従来技術において、基準領域Ｂ_ｃｏｌがイントラ予測されている場合の、予測ベクトルを示す概念図である。

［第１の実施の形態］
以下、本発明の第１の実施の形態における、動画像復号装置について説明する。

＜動画像復号装置の構成について＞
図２および図３のブロック図において、本実施の形態における、動画像復号装置の構成を示す。図２のブロック図は、動画像復号装置１の全体の構成を示し、図３のブロック図は、図２に示す予測ベクトル導出部（予測ベクトル導出手段）１１２の詳細な構成を示したものである。

これらの図に示す要素は、以下に述べるものを除き、従来技術の説明において用いたブロック図（図９および図１２）と同一なので、説明を省略する。

図２に示すブロック図おいて、本実施の形態の動画像復号装置１の構成と従来技術による動画像復号装置３の構成とが異なる部分は、予測ベクトル導出部１１２である。予測ベクトル導出部１１２は、可変長符号復号部１００から入力した予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。

図３に示すブロック図において、本実施の形態の予測ベクトル導出部１１２の構成と従来技術による予測ベクトル導出部１０２の構成とが異なる部分は、基準ベクトル選択部（基準動きベクトル選択手段）２１０の有無である。基準ベクトル選択部２１０は、バッファメモリ１０３上に複数ある基準画像候補から、基準画像Ｐ_ｃｏｌとする画像を選択し、選択した基準画像Ｐ_ｃｏｌに対応する基準動きベクトルｍｖＣｏｌを、導出方式選択部２０１に通知する。

すなわち、本実施の形態の動画像復号装置１は、時間ダイレクト予測において、複数の基準画像候補から、所定の手順で、基準画像Ｐ_ｃｏｌおよび基準動きベクトルｍｖＣｏｌを決定し、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を導出することを特徴とする。

＜本実施の形態における予測ベクトルの導出手順について＞
本実施の形態の動画像復号装置１での、時間ダイレクト予測における前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１の導出手順について、図１のフローチャートを用いて説明する。

まず、導出方式選択部２０１が、基準ベクトル選択部２１０に、基準動きベクトルｍｖＣｏｌを要求する（Ｓ１）。

次に、基準ベクトル選択部２１０が、導出方式選択部２０１による要求に応じて、後方参照画像Ｐ_ｒ1，０を、基準画像Ｐ_ｃｏｌとして設定（Ｐ_ｃｏｌ＝Ｐ_ｒ1，０）した後、基準画像Ｐ_ｃｏｌの基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ２）。

次に、導出方式選択部２０１は、バッファメモリ１０３からの返答に基づいて、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するか否かを判断する（Ｓ３）。なお、この場合、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するとは、後方参照画像Ｐ_ｒ1，０の基準領域Ｂ_ｃｏｌに基準動きベクトルｍｖＣｏｌが存在することである。

基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在する場合（後方参照画像Ｐ_ｒ1，０を基準画像Ｐ_ｃｏｌとする、図１１の概念図の場合に相当）は、次のＳ４の処理に進む。

基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しない場合は、Ｓ６の処理に進む。

Ｓ３またはＳ７において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在すると判断された場合、導出方式選択部２０１は、スイッチ２０２を切り替えて、時間ダイレクト予測部２０３を選択する（Ｓ４）。

次に、時間ダイレクト予測部２０３が、バッファメモリ１０３から取得した基準動きベクトルｍｖＣｏｌを用いて、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１を、式（１）および式（２）により計算し、計算結果を前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１として、動きベクトル復号部１０１へ出力し、処理を終了する（Ｓ５）。

Ｓ３において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しないと判断された場合、基準ベクトル選択部２１０は、前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとして設定（Ｐ_ｃｏｌ＝Ｐ_ｒ０，０）した後、基準画像Ｐ_ｃｏｌの基準動きベクトルｍｖＣｏｌを、バッファメモリ１０３に要求する（Ｓ６）。

次に、導出方式選択部２０１は、バッファメモリ１０３からの返答に基づいて、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するか否かを判断する（Ｓ７）。なお、この場合、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在するとは、前方参照画像Ｐ_ｒ０，０の基準領域Ｂ_ｃｏｌに基準動きベクトルｍｖＣｏｌが存在することである。

基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在する場合（図４の概念図の場合に相当）は、Ｓ４の処理に進む。なお、図４の概念図では、前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとする場合の、基準動きベクトルｍｖＣｏｌと、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。

基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しない場合は、次のＳ８に進む。

Ｓ７において、基準動きベクトルｍｖＣｏｌがバッファメモリ１０３内に存在しないと判断された場合は、導出方式選択部２０１は、スイッチ２０２を切り替えて、ゼロベクトル出力部２０６を選択する（Ｓ８）。

次に、ゼロベクトル出力部２０６が、ゼロベクトルを前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１として動きベクトル復号部１０１へ出力し、処理を終了する。（Ｓ９）
上記手順に従うと、後方参照画像Ｐ_ｒ1，０を基準画像Ｐ_ｃｏｌとした際に、基準動きベクトルｍｖＣｏｌが利用可能ならば、従来技術と同様にして予測ベクトルを導出することができる。また、後方参照画像Ｐ_ｒ1，０における基準動きベクトルｍｖＣｏｌが利用不可能ならば、前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとして基準動きベクトルｍｖＣｏｌを利用することができる。

後方参照画像Ｐ_ｒ1，０を基準画像Ｐ_ｃｏｌとして使う場合と同様に、前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとして使う場合も、図４の概念図に示す対象領域Ａ_ｃｕｒにおいて画像としてある物体および領域Ｂ_ｃｕｒにおいて画像としてある物体がそれぞれ、領域Ａ_ｒ０，０から領域Ａ_ｒ1，０に、また領域Ｂ_{ｃｏｌｒｅｆ}から領域Ｂ_ｒ1，０に、同じ方向へ等速運動していることを仮定して予測を行う。

このように、従来手法において、図１４の概念図で示した様に、後方参照画像Ｐ_ｒ1，０に基準動きベクトルｍｖＣｏｌが無く、予測ベクトルがゼロベクトルとされる予測方法に較べて、本発明に係る予測方法では、他の参照画像の基準動きベクトルｍｖＣｏｌを用いて予測ベクトルを導出し画像予測に用いるので、領域Ａ_ｃｕｒに画像としてある物体の実際の動きを正確に表すことができる。従って、従来技術による予測方法に比べて、効率の良い予測が可能である。

＜基準画像候補が３枚以上ある場合の基準画像選択方法について＞
なお、本発明は、基準画像候補が３枚以上ある場合にも、適用可能である。

例えば、参照画像が３枚以上存在する場合は、それら参照画像のうち、複数枚を基準画像候補として利用できる。図５の概念図に示すように、３枚の前方参照画像Ｐ_ｒ０，０、Ｐ_ｒ０，１、およびＰ_ｒ０，２と、１枚の後方参照画像Ｐ_ｒ1，０とが存在し、それらの参照画像を全て基準画像候補とする場合について、以下に説明する。

３枚以上の基準画像候補が存在する場合、候補間の優先順位を、各基準画像候補の表示時刻と、対象画像Ｐ_ｃｕｒの表示時刻との時間間隔の大小を用いて決めておく。例えば、後方参照画像Ｐ_ｒ1，０を時間間隔が小さい順に並べ、その後、前方参照画像Ｐ_ｒ０，０、Ｐ_ｒ０，１、およびＰ_ｒ０，２を時間間隔が小さい順に並べ、この順序を優先順位とする。この優先順位に従うと、図５における各基準画像候補の優先順位は、後方参照画像Ｐ_ｒ1，０、前方参照画像Ｐ_ｒ０，０、前方参照画像Ｐ_ｒ０，１、前方参照画像Ｐ_ｒ０，２の順となる。

基準ベクトル選択部２１０は、優先順位の高い基準画像候補を、基準画像Ｐ_ｃｏｌに設定する。そして、設定した基準画像Ｐ_ｃｏｌの基準動きベクトルｍｖＣｏｌの有無を判定して、基準動きベクトルｍｖＣｏｌが存在する場合は、その基準動きベクトルｍｖＣｏｌを選択する。存在しない場合は、次の優先順位の基準画像候補を基準画像Ｐ_ｃｏｌに設定し、優先順位に従って、同様の処理を繰り返す。全ての基準画像Ｐ_ｃｏｌを試した後に、基準動きベクトルｍｖＣｏｌが選択されていない場合は、その旨を導出方式選択部２０１へ通知する。

図５に示す概念図では、参照画像Ｐ_ｒ０，１を基準画像Ｐ_ｃｏｌに設定した場合の、基準動きベクトルｍｖＣｏｌと、前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。この場合も、対象領域Ａ_ｃｕｒに画像としてある物体および領域Ｂ_ｃｕｒに画像としてある物体が、それぞれ、領域Ａ_ｒ０，０から領域Ａ_ｒ1，０に、領域Ｂ_{ｃｏｌｒｅｆ}から領域Ｂ_ｒ1，０に、同じ方向へ等速運動していることを仮定し、式（１）および式（２）より、予測ベクトルが計算できる。

基準画像候補が３枚以上ある場合には、基準画像候補のいずれかを基準画像Ｐ_ｃｏｌとし、その基準画像Ｐ_ｃｏｌに対応する基準動きベクトルｍｖＣｏｌを選択することで、図１４の概念図に示すように基準動きベクトルｍｖＣｏｌをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなる。従って、より効率の良い予測が可能である。

＜非参照画像を基準画像候補に含める予測方法について＞
参照画像に加えて、従来技術では予測画像の導出には用いない非参照画像を、基準画像候補に含めても構わない。この場合は、全ての既復号画像が、基準画像候補となり得る。図６の概念図に示すように、前方参照画像Ｐ_ｒ０，０および後方参照画像Ｐ_ｒ1，０の２枚の参照画像に加えて、非参照画像Ｐ_ｎｒが基準画像候補に含まれる場合について説明する。

基準画像候補に非参照画像Ｐ_ｎｒを含む場合であっても、基準ベクトル選択部２１０の動作は既に説明した動作と同様である。つまり、優先順位に従って、順に基準画像Ｐ_ｃｏｌに設定した画像毎に、基準動きベクトルｍｖＣｏｌの有無を判定することで、基準動きベクトルｍｖＣｏｌを選択する。

基準画像候補に非参照画像Ｐ_ｎｒを含む場合の、優先順位の決め方として、例えば、参照画像であるか非参照画像であるかを問わず、表示時刻が対象画像Ｐ_ｃｕｒの表示時刻に近い順に、画像に優先順位をつける方法がある。また、参照画像である画像を表示時刻が対象画像Ｐ_ｃｕｒの表示時刻に近い順に並べ、次に、非参照画像である画像を表示時刻が対象画像Ｐ_ｃｕｒの表示時刻に近い順に並べて、優先順位とする方法もある。

図６の概念図では、非参照画像Ｐ_ｎｒを基準画像Ｐ_ｃｏｌに設定した場合（Ｐ_ｃｏｌ=Ｐ_ｎｒ）における、基準動きベクトルｍｖＣｏｌと前方予測ベクトルｍｖＬ０および後方予測ベクトルｍｖＬ１との関係を示している。この場合も、対象領域Ａ_ｃｕｒに画像としてある物体および領域Ｂ_ｃｕｒに画像としてある物体が、それぞれ、領域Ａ_ｒ０，０から領域Ａ_ｒ1，０に、また領域Ｂ_{ｃｏｌｒｅｆ}から基準領域Ｂ_ｒ1，０に、同じ方向へ等速運動していることを仮定し、式（１）および式（２）より予測ベクトルを計算できる。

非参照画像を基準画像候補に含めることで、参照画像のみを基準画像候補に含める場合に較べて、対象画像Ｐ_ｃｕｒの表示時刻と表示時刻が近い基準画像候補が多くなる。対象画像Ｐ_ｃｕｒの表示時刻と基準画像Ｐ_ｃｏｌの表示時刻との間隔が狭い場合は、対象領域Ａ_ｃｕｒと領域Ｂ_ｃｕｒとの、対象画像Ｐ_ｃｕｒ上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるため、参照画像のみを基準画像候補とする場合に較べて、より効率の良い予測が可能である。

なお、非参照画像を基準画像候補として使用する場合には、少なくとも、候補となる非参照画像に対応する動きベクトルおよびその非参照画像の表示時刻情報が、バッファメモリ１０３内に記録されている必要がある。

＜予測画像導出に１枚の参照画像のみを用いる方法について＞
なお、ここまでの説明では、時間ダイレクト予測において、対象領域Ａ_ｃｕｒの予測画像導出に、前方参照画像Ｐ_ｒ０，０および後方参照画像Ｐ_ｒ1，０の２枚を用いるものとしていたが、いずれか一方の参照画像のみを用いても構わない。

例えば、図４の概念図に示すように、前方参照画像Ｐ_ｒ０，０を基準画像Ｐ_ｃｏｌとして予測ベクトルを導出する場合に、領域Ａ_ｒ０，０のみから対象領域Ａ_ｃｕｒの予測画像を生成してもよい。この場合、基準領域Ｂ_ｃｏｌに画像としてある物体が領域Ｂ_{ｃｏｌｒｅｆ}から領域Ｂ_ｃｕｒまで等速運動する可能性の方が、より時間間隔の長い領域Ｂ_{ｃｏｌｒｅｆ}から領域Ｂ_ｒ1，０まで等速運動する可能性に較べて高い。つまり、前方予測ベクトルｍｖＬ０の方が、後方予測ベクトルｍｖＬ１に較べて精度が良い可能性が高い。従って、領域Ａ_ｒ０，０のみを用いた場合に、予測効率が向上する。

また、後方参照画像Ｐ_ｒ1，０を、基準画像Ｐ_ｃｏｌとする場合であり、かつ、基準動きベクトルｍｖＣｏｌが後方参照画像Ｐ_ｒ1，０よりも表示時間が後になる画像を指す場合には、前方参照画像Ｐ_ｒ０，０のみから予測ベクトルを導出する場合と同様に、領域Ａ_ｒ1，０のみを予測画像の導出に用いることで、予測効率が向上する。

［第２の実施の形態］
以下、本発明の第２の実施の形態における動画像符号化装置について説明する。
＜動画像符号化装置の構成について＞
図７のブロック図において、本実施の形態に係る動画像符号化装置２の構成を示す。図７のブロック図は、動画像符号化装置２の全体の構成を示したものである。

動画像符号化装置２は、画像符号化部１２１、予測画像導出部１０５、動きベクトル推定部（動きベクトル推定手段）１２２、バッファメモリ１０３、画像復号部１０４、予測ベクトル導出部１１２、予測方式制御部１２４、可変長符号化部１２０、および動きベクトル符号化部（動きベクトル符号化手段）１２３を含んで構成される。

この図に示す要素は、以下に述べるものを除き、第１の実施の形態において動画像復号装置１のブロック図（図２）に示す要素と同一なので、説明を省略する。

可変長符号化部１２０は、画像符号化部１２１から入力した予測残差データ、動きベクトル符号化部１２３から入力した差分ベクトル、および予測方式制御部１２４から入力した予測方式等の符号化情報を可変長符号化し、外部に出力する。画像符号化部１２１は、外部から入力した動画像データおよび予測画像導出部１０５から入力した予測画像を用いて予測残差データを求め、画像復号部１０４および可変長符号化部１２０に出力する。動きベクトル推定部１２２は、外部から入力した動画像データおよびバッファメモリ１０３内の参照画像を用いて、動きベクトルを推定し、求めた動きベクトルを予測画像導出部１０５、バッファメモリ１０３、予測ベクトル導出部１１２、予測方式制御部１２４、および動きベクトル符号化部１２３にする。動きベクトル符号化部１２３は、動きベクトル推定部１２２から入力した動きベクトル、予測ベクトル導出部１１２から入力した予測ベクトル、および予測方式制御部から入力した予測方式を用いて差分ベクトルを求め、可変長符号化部１２０に出力する。予測方式制御部１２４は、動きベクトル推定部１２２から入力した動きベクトルに基づき、予測ベクトル導出時の予測方式を設定し、予測方式を予測ベクトル導出部１１２、可変長符号化部１２０、および動きベクトル符号化部１２３に出力する。

＜動画符号化装置２における符号化手順の概略について＞
動画符号化装置２における符号化処理手順の概略について、図８に示すフローチャートを参照しながら、以下に説明する。

まず、動きベクトル推定部１２２が、入力された動画像データとバッファメモリ１０３内の参照画像とを用いて動き推定を行い、符号化の対象となる画像の各領域の動きベクトルを求める。動きベクトル推定部１２２は、求めた動きベクトルをバッファメモリ１０３に記録すると共に、予測ベクトル導出部１１２、予測方式制御部１２４、および動きベクトル符号化部１２３へ出力する（Ｓ１００）。

次に、予測方式制御部１２４が、動きベクトル推定部１２２から入力された動きベクトルを用いて、予測方式を、時間ダイレクト予測、空間ダイレクト予測、またはｐｍｖ予測のいずれかの方式に決定し、予測ベクトル導出部１１２、可変長符号化部１２０、および動きベクトル符号化部１２３に出力する（Ｓ１１０）。

次に、予測ベクトル導出部１１２が、動きベクトル推定部１２２から入力された動きベクトルと、予測方式制御部１２４から入力された予測方式とに基づいて、第１の実施の形態において説明した予測ベクトルの導出手順に従って、予測ベクトルを計算し、バッファメモリ１０３および動きベクトル符号化部１２３に出力する（Ｓ１２０）。

次に、動きベクトル符号化部１２３が、差分ベクトルを求める。予測方式制御部１２４から入力された予測方式がｐｍｖ予測である場合には、動きベクトル推定部１２２から入力された動きベクトルと、予測ベクトル導出部１１２から入力された予測ベクトルとに基づいて、差分ベクトルを計算する。予測方式制御部１２４から入力された予測方式が、時間ダイレクト予測または空間ダイレクト予測の場合には、差分ベクトルをゼロベクトルとする。動きベクトル符号化部１２３は、求めた差分ベクトルを可変長符号化部１２０に出力する（Ｓ１３０）。

次に、予測画像導出部１０５が、動きベクトル推定部１２２から入力された動きベクトルと、バッファメモリ１０３内の参照画像とを用いて動き補償を行い、予測画像を求め、画像符号化部１２１および画像復号部１０４に出力する（Ｓ１４０）。

次に、画像符号化部１２１が、外部から入力された動画像データと予測画像導出部１０５から入力された予測画像とに基づき、予測残差データを計算し、画像復号部１０４および可変長符号化部１２０に出力する（Ｓ１５０）。

次に、画像復号部１０４が、画像符号化部１２１から入力された予測残差データと、予測画像導出部１０５から入力された予測画像とを用いて、画像を既符号化画像として再構成する（Ｓ１６０）。再構成された画像は、バッファメモリ１０３に記録される。既符号化画像は、予測ベクトル導出時に基準画像として用いられ、また、予測画像導出時に参照画像として用いられる。

次に、可変長符号化部１２０が、画像符号化部１２１から入力された予測残差データと、動きベクトル符号化部１２３から入力された差分ベクトルと、予測方式制御部１２４から入力された予測方式とを可変長符号化し、符号化データとして動画像符号化装置２の外部に出力する（Ｓ１７０）。

＜第２の実施の形態に関する補足事項＞
以上説明したように、本実施の形態における動画像符号化装置２は、第１の実施の形態において説明した予測ベクトルの導出手順に従い、複数の基準画像候補を用いて予測ベクトルを導出する。そして、導出した予測ベクトルを用いて動画像の符号化を行うので、動画像の高能率な符号化が可能である。

なお、図８に示すフローチャートのＳ１２０の処理（予測ベクトルの導出）において、第１の実施の形態で説明したように、３枚以上の基準画像候補を用いて予測ベクトルを導出することにより、予測効率が向上する。

また、同じくＳ１２０の処理において、第１の実施の形態で説明したように、非参照画像を基準画像候補に含めて予測ベクトルを導出することにより、予測効率が向上する。

また、以上説明した時間ダイレクト予測における予測ベクトルの導出方法を、ｐｍｖ予測を予測方式として用いる場合の、予測ベクトルの導出に用いることも可能である。

＜補足事項＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

これにより、当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既復号画像を基準画像として、予測画像を導出する。

上記の構成によれば、処理対象画像に最も表示時刻が近い既復号画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。

また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、複数ある既復号画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既復号画像を優先する順位付けになっている。

これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。

また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。

参照画像とは、動きベクトルが指す領域を有する既復号画像のことをいう。

前方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が早い既復号画像のことをいう。

後方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が遅い既復号画像のことをいう。

前方予測ベクトルとは、処理対象領域から前方参照画像を指す予測ベクトルである。

後方予測ベクトルとは、処理対象領域から後方参照画像を指す予測ベクトルである。

当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。

これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が基準動きベクトルが指す前方参照画像上の領域から処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。

さらに、前方参照画像と後方参照画像との時間間隔に比較して短い前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。

また、前記既復号画像は、参照画像および非参照画像であることが好ましい。

非参照画像とは、予測画像の導出には用いない既復号画像のことをいう。

当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既復号画像が多くなる。

これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との処理対象画像上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。

また、前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既符号化画像を基準画像として、予測画像を導出する。

これにより、上記の構成によれば、処理対象画像に最も表示時刻が近い既符号化画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。

また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、複数ある既符号化画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既符号化画像を優先する順位付けになっている。

これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。

また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。

当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。

これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が、基準動きベクトルが指す前方参照画像上の領域から、処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い、基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。

さらに、前方参照画像と後方参照画像との時間間隔に比較して短い、前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である、画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。

また、前記既符号化画像は、参照画像および非参照画像であることが好ましい。

当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既符号化画像が多くなる。

これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との、処理対象画像上における距離が短くなるため、これら２つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。

なお、本発明に係る動画像復号装置は、処理対象画像上の処理対象領域の動きベクトルを既復号画像の動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既復号画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像復号装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の既復号画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から１枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既復号画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既復号画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既復号画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既復号画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既復号画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既復号画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。

さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像を用いることを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、符号化処理を終えた既符号化画像の動きベクトルを用いて処理対象画像上の処理対象領域の動きベクトルを導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既符号化画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも２枚以上の既符号化画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から１枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既符号化画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既符号化画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既符号化画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既符号化画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既符号化画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既符号化画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像を用いることを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。

最後に、動画像復号装置１および動画像符号化装置２の各ブロック、特に導出方式選択部２０１、基準ベクトル選択部２１０、時間ダイレクト予測部２０３、空間ダイレクト予測部２０４、ｐｍｖ予測部、およびゼロベクトル出力部２０６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、動画像復号装置１および動画像符号化装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１および動画像符号化装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記動画像復号装置１および動画像符号化装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、動画像復号装置１および動画像符号化装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る動画像復号装置は、以上のように、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

それゆえ、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

また、本発明に係る動画像符号化装置は、以上のように、前記予測ベクトル導出手段は、少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

それゆえ、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

産業上の利用の可能性

本発明に係る動画像復号装置１および動画像符号化装置２を用いると、予測ベクトルの予測効率を向上させることができるので、動画像の符号化または復号を行う装置、すなわち、携帯端末機器、携帯電話機、テレビジョン受像機、マルチメディア機器などに好適に使用できる。

Claims (10)

1. 処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
   前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、
   復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
   を備え、
   前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像復号装置において、
   前記予測ベクトル導出手段は、
   少なくとも２枚以上の前記既復号画像を前記基準画像の候補画像とし、
   前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
   該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする、動画像復号装置。
2. 前記候補画像は、
   前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像
   および
   前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、
   前記所定の選択基準は、
   前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
   該動きベクトルが存在しない場合で、
   前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項１に記載の動画像復号装置。
3. 前記所定の選択基準は、
   前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
   その優先順位に続けて、
   前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
   該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、
   該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項１に記載の動画像復号装置。
4. 前記基準動きベクトル選択手段が、
   前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、
   前記予測画像導出手段は、
   前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、請求項１から３のうちいずれか一項に記載の動画像復号装置。
5. 前記既復号画像は、参照画像および非参照画像であることを特徴とする、請求項１から４のうちいずれか一項に記載の動画像復号装置。
6. 処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
   前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、
   前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、
   前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
   を備え、
   前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像符号化装置において、
   前記予測ベクトル導出手段は、
   少なくとも２枚以上の前記既符号化画像を前記基準画像の候補画像とし、
   前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の１枚を前記基準画像として選択し、
   該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする、動画像符号化装置。
7. 前記候補画像は、
   前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像
   および
   前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、
   前記所定の選択基準は、
   前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
   該動きベクトルが存在しない場合で、
   前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項６に記載の動画像符号化装置。
8. 前記所定の選択基準は、
   前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
   その優先順位に続けて、
   前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
   該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、
   該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項６に記載の動画像符号化装置。
9. 前記基準動きベクトル選択手段が、
   前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、
   前記予測画像導出手段は、
   前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、請求項６から８のうちいずれか一項に記載の動画像符号化装置。
10. 前記既符号化画像は、参照画像および非参照画像であることを特徴とする、請求項６から９のうちいずれか一項に記載の動画像符号化装置。

Images