JP4243205B2 - 動画像符号化装置、その方法及びそのプログラム - Google Patents

Description

本発明は、動画像符号化技術に関し、より詳細には、動画像を動き補償予測により符号化する動画像符号化装置、その方法及びそのプログラムに関する。

現在、動画像を圧縮符号化する方式として、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９のＷＧ１１（ワーキンググループ１１）で標準化されたＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔで勧告化されたＨ．２６１、Ｈ．２６３、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９のＷＧ１１とで規格化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４／ＡＶＣという）等が存在する。これらの圧縮符号化方式では、画像をブロックと呼ばれる特定の大きさの領域（例えば、１６画素×１６画素）に分割し、このブロックを単位として動き補償予測や、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行い、さらに、高周波成分を大きく削減するように量子化を行い、可変長符号化を行うことで動画像の符号化を行っている。このとき、動き補償予測でどの画像を参照するかは、動き補償予測の方法により異なっている。

例えば、動き補償予測において順方向予測と呼ばれる、時間的に過去の画像から符号化対象となる画像を予測する方法を用いる場合、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４やＨ．２６１、Ｈ．２６３では、図１０に示すように、現在符号化処理を行っている画像（符号化対象画像）の時間的に直前の画像のみを参照して、符号化対象画像の符号化を行っている。ここで参照される画像は、参照画像又は参照フレームと呼ばれる。また、Ｈ．２６４／ＡＶＣでは、図１１に示すように、参照画像は時間的に直前の画像に限らず、過去に符号化された画像をメモリに蓄えておくことで、複数の画像の中から参照画像を選択することが可能になっている。

さらに、ＭＰＥＧ−２、ＭＰＥＧ−４では、時間的な階層符号化と呼ばれる（時間スケーラビリティ符号化、テンポラルスケーラビリティとも呼ばれる）符号化方式が採用されている。これは、図１２に示すように、時間当たりのフレーム数を示すフレームレートが低い場合は、基本階層（ベース・レイヤ）だけで動画像を符号化し、フレームレートが高い場合、例えば、符号化された符号化データ（ビットストリーム）を伝送する帯域や、蓄積する容量が大きい場合は、拡張階層（エンハンスド・レイヤ）を含めて動画像を符号化するものである。この場合においても、符号化対象画像は、時間的に前の画像を参照画像として符号化される。

また、動き補償予測において双方向予測と呼ばれる、過去と未来の画像から符号化対象となる画像を予測する方法を用いる場合、前記した各符号化方式では、図１３に示すように、動き補償予測を行わずに画面内だけで符号化される画面内符号化画像（イントラ画像あるいはＩピクチャ）、又は順方向予測で画面間の動き補償予測によって符号化される画面間予測符号化画像（インター画像のＰピクチャ）に挟まれる形で双方向予測画像（Ｂピクチャ）を配置する。このＢピクチャの動きの予測は、時間的に過去の画像と未来の画像との両方を参照画像として行われる。このため、符号化する順番が入力される動画像の順番とは異なり、時間的に未来となる画像を先に符号化することから、双方向予測のＢピクチャには、一定量の時間的遅延が発生する。また、この双方向予測のＢピクチャを何枚挟むかは、符号化時に任意に決めることができる。なお、Ｈ．２６４／ＡＶＣでは、双方向予測においても、複数枚の画像の中から参照画像を選択することが可能になっている。

このように動き補償予測を用いて圧縮符号化を行う場合、画質の品質を極力損なわず、限られた伝送帯域又は蓄積容量内で処理を行う方法が種々行われている。以下、図１４を参照して、これらの方法について説明する。図１４は、動き補償予測を用いた圧縮符号化方式の動作を説明するための説明図である。

図１４（ａ）は、入力された動画像のフレームレートを保ち、動き補償予測を順方向予測のみで行う方式（通常方式）における、符号化対象画像と参照画像との関係を示している。図１４（ａ）に示すように、通常方式では、時間的に直前の画像を参照画像として、符号化対象画像を符号化する。この通常方式では、限られた伝送帯域又は蓄積容量内で処理を行うために、どの画像においても同程度の画質になるように符号量を配分する。これによって、例えば、伝送帯域が狭い場合は、すべての画像の符号量を減らすことで、画像の連続性を保ったまま符号化データ（ビットストリーム）に変換することができる。

図１４（ｂ）は、画像を間引くことで、フレームレートを入力された動画像よりも低くする方式（低フレームレート方式）における、符号化対象画像と参照画像との関係を示している。図１４（ｂ）に示すように、低フレームレート方式では、画像を間引いた残りの画像で、時間的に前の画像を参照画像として、符号化対象画像を符号化する。この低フレームレート方式では、動き補償予測を順方向予測のみで行い、画像を間引いた残りの画像に同程度の画質になるように符号量を配分する。これによって、動画像全体として符号化する画像の枚数が少なくなり、個々の画像に配分される符号量は、図１４（ａ）の通常方式と比較して相対的に多くなるため、符号化データの画質を高くすることができる。

図１４（ｃ）は、与えられた伝送帯域又は蓄積容量によって、フレームレートを変化させることができる方式（スケーラブル方式）における、符号化対象画像と参照画像との関係を示している。このスケーラブル方式は、図１２に示した時間的な階層符号化を用いた方式である。図１４（ｃ）では、左右２枚の画像が基本階層の画像で、中央の画像が拡張階層の画像である。なお、右側の画像の動き補償予測は、左側の基本階層の画像を参照画像として符号化される。また、拡張階層の画像は、参照画像として基本階層の画像を用い、自らは参照画像とはならない。ただし、階層が３階層以上の場合は、拡張階層の画像も参照画像となる。この例では、基本階層画像間に１枚の拡張階層の画像を示しているが、この拡張階層の画像の枚数は任意である。

このスケーラブル方式は、与えられた伝送帯域又は蓄積容量が小さいときは、基本階層のみを符号化し、与えられた伝送帯域又は蓄積容量が大きいときは、拡張階層を含んで符号化する。この拡張階層を含んで符号化された場合、連続感を高くすることができ、また、画質の劣化を低く抑えることができる。

図１４（ｄ）は、図１３に示した双方向予測方式における、符号化対象画像と参照画像との関係を示している。ここでは、２枚のイントラ画像又はインター画像の間に双方向予測画像（Ｂピクチャ：図中、中央の画像）が挟まれている。この双方向予測方式では、Ｂピクチャが符号化対象画像となった場合、動き補償予測は、Ｂピクチャの前後の画像を参照画像とする。
この双方向予測方式は、フレームレートが入力された動画像と同一となるため、連続感が損なわれることはない。また、双方向予測方式は、未来からの動き予測も行われるため、順方向のみの予測に比べて画質が高くなる。

以上説明したように、動き補償予測を用いて圧縮符号化を行う場合、限られた伝送帯域又は蓄積容量内で動画像を符号化する方式は種々存在する。なお、同様の方式として、例えば、特許文献１に開示されているものが知られている。この特許文献１で開示されている方法は、階層符号化により動画像を符号化するものである。この符号化方法は、時間ではなく、信号対雑音比（ＳＮＲ：Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）により階層化を行っており、拡張階層に、標準画像と高画質画像との差分情報を付加しておくものである。この差分情報は、ＭＰＥＧ等の規格で準備されているユーザ領域に符号化されて格納される。そして、復号化装置が、符号化データに拡張階層が存在する場合に、ユーザ領域の差分情報を解析することで、高画質の動画像を得ることができる。
特開２００２−３６９２２０号公報（段落００６３〜００６９、図１）

しかし、図１４で説明した動き補償予測を用いた圧縮符号化方式では、以下に示す問題がある。
まず、図１４（ａ）の通常方式（順方向予測方式）では、限られた伝送帯域又は蓄積容量を動画像全体に配分するため、画像１枚１枚の画質が劣化するという問題がある。さらに、劣化した画像を次に入力される画像の参照画像として用いるため、低画質が伝播してしまうという問題もある。
また、図１４（ｂ）の低フレームレート方式では、画像を間引いて、フレームレートを低くしているため、動画像としての連続感が損なわれてしまうという問題がある。

また、図１４（ｃ）のスケーラブル方式では、与えられた伝送帯域又は蓄積容量が小さいときは、基本階層のみを符号化するため、低フレームレート方式と同様、動画像としての連続感が損なわれてしまうという問題がある。また、このスケーラブル方式によって符号化された拡張階層を含んだ符号化データは、スケーラブル方式を解析可能な復号化装置でしか復号することができないという問題がある。

さらに、図１４（ｄ）の双方向予測方式では、Ｂピクチャを符号化するために、未来の画像（時間的に後の画像）を参照しなければならないため、遅延が発生してしまうという問題がある。また、双方向予測方式は、未来の参照画像を蓄積するため、順方向予測と比べて多くのメモリが必要になり、ハードウェアとして専用の符号化装置を用いなければ、その効果を得ることができないという問題がある。さらに、双方向予測方式は、１つのＢピクチャに対して２組の動きベクトルを必要とするため、その動きベクトル分の情報が符号化対象として増加してしまうという問題がある。
また、特許文献１に記載の発明においては、ユーザ領域を解析可能な復号化装置でなければ、拡張階層を認識することができないため、画像の画質を向上させることができないという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、動画像を動き補償予測により符号化する際に、限られた伝送帯域又は蓄積容量であっても、画質の劣化や連続感の低減を抑え、従来の復号化装置に特別な機能等を付加することなく復号可能な符号化データを生成する動画像符号化装置、その方法及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の動画像符号化装置は、動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化する動画像符号化装置であって、参照画像蓄積手段と、参照画像選択手段と、動き推定手段と、動き補償手段と、差分画像圧縮手段と、参照画像生成手段と、符号化手段とを備える構成とした。

かかる構成によれば、動画像符号化装置は、参照画像選択手段によって、符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する。ここで、参照位置とは、符号化対象画像が参照する参照画像が、当該符号化対象画像を基準として、時系列上どこに位置するかを示す位置情報である。このように、符号化対象画像の参照位置を個々に固定することで、当該符号化対象画像を、参照画像になる画像か非参照画像になる画像かに決めることができる。

そして、動画像符号化装置は、動き推定手段によって、参照画像選択手段で選択された参照画像と、符号化対象画像とに基づいて、当該符号化対象画像の動きを推定した動き情報（動きベクトル）を生成する。そして、動画像符号化装置は、動き補償手段によって、参照画像選択手段で選択された参照画像を、動きベクトル分移動させた動き補償画像を生成する。この動き補償画像は、現時点における符号化対象画像の動きを推定した画像となる。そこで、動画像符号化装置は、差分画像圧縮手段によって、動き補償画像と符号化対象画像との差分をとった差分画像を圧縮して、差分画像圧縮データを生成する。

また、動画像符号化装置は、参照画像生成手段によって、差分画像圧縮データを伸張し、動き補償画像を加算することで、参照画像を生成する。ここで生成された参照画像が、後で処理する符号化対象画像の動き推定を行うための画像となり、参照画像蓄積手段に蓄積される。

そして、動画像符号化装置は、符号化手段によって、差分画像圧縮データと、参照画像を特定する参照画像特定情報（例えば、フレーム番号）と、動き情報（動きベクトル）とを多重化し符号化することで、符号化データを生成する。

また、請求項２に記載の動画像符号化装置は、請求項１に記載の動画像符号化装置において、前記差分画像圧縮手段が、前記符号化対象画像において、前記参照画像となる画像よりも、前記非参照画像となる画像を粗く量子化する量子化手段を備えていることを特徴とする。

かかる構成によれば、動画像符号化装置は、量子化手段によって、非参照画像となる画像を粗く量子化する。ここで、非参照画像は、符号化対象画像を動き推定する際に参照されないため、参照画像となる画像より粗く量子化しても、後の画像の画質に影響を与えない。

さらに、請求項３に記載の動画像符号化装置は、請求項１に記載の動画像符号化装置において、前記非参照画像になる画像を、ブロック単位で削減するブロック削減手段を備えていることを特徴とする。

かかる構成によれば、動画像符号化装置は、ブロック削減手段によって、非参照画像となる画像をブロック単位で削減する。このブロック単位の削減は、非参照画像となる画像を、例えば、Ｈ．２６４／ＡＶＣ等で用いられるスキップモードに設定することで実現することができる。ここで、スキップモードとは、符号化対象画像の動きベクトルを他の周辺画像（ブロック）と等しくすることで、復号時に動き推定を行わず（動きベクトルを用いずに）、動き補償のみで画像を復号するモードである。これによって、符号量を削減することができる。なお、ここでは、非参照画像となる画像を削減するため、後の画像の画質に影響を与えない。

また、請求項４に記載の動画像符号化装置は、請求項１に記載の動画像符号化装置において、前記非参照画像になる画像を、フレーム単位で削減するフレーム削減手段を備えていることを特徴とする。

かかる構成によれば、動画像符号化装置は、フレーム削減手段によって、非参照画像となる画像を含んだフレーム全体を読み飛ばすことで、動画像の符号量をフレーム単位で削減する。なお、ここで読み飛ばされるフレームは、非参照画像となる画像で構成されているため、読み飛ばして符号化された場合であっても、後の画像の画質に影響を与えない。

さらに、請求項５に記載の動画像符号化装置は、請求項１乃至請求項４のいずれか一項に記載の動画像符号化装置において、前記参照画像選択手段が、前記符号化対象画像に対して、時系列上過去及び／又は未来の参照画像を複数選択し、前記動き推定手段が、前記複数の参照画像の中から、前記符号化対象画像に近似する参照画像に基づいて、前記動き情報を生成することを特徴とする。

かかる構成によれば、動画像符号化装置は、参照画像選択手段によって、符号化対象画像に対して、複数の参照画像を選択する。すなわち、参照画像選択手段が、予め固定された参照位置に基づいて、参照画像蓄積手段の中から複数の参照画像を選択する。この場合、参照位置は、当該符号化対象画像に対して未来あるいは過去のいずれか、あるいはその両方であっても構わない。

そして、動画像符号化装置は、動き推定手段によって、複数の参照画像の中から、符号化対象画像に近似する参照画像を探索し、その探索結果となる参照画像に基づいて動き情報（動きベクトル）を生成する。これによって、符号化対象画像に最も類似した参照画像から動きベクトルを生成することができ、動画像における動きを滑らかにすることができる。

また、請求項６に記載の動画像符号化方法は、動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化する動画像符号化方法であって、参照画像選択ステップと、動き推定ステップと、動き補償ステップと、差分画像圧縮ステップと、参照画像生成ステップと、符号化ステップとを含んでいることを特徴とする。

この手順によれば、動画像符号化方法は、参照画像選択ステップで、符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像を蓄積した参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する。

続いて、動画像符号化方法は、動き推定ステップで、参照画像選択ステップで選択された参照画像と、符号化対象画像とに基づいて、当該符号化対象画像の動きを推定した動き情報（動きベクトル）を生成する。そして、動画像符号化方法は、動き補償ステップで、参照画像選択ステップにおいて選択された参照画像を、動きベクトル分移動させた動き補償画像を生成し、差分画像圧縮ステップで、動き補償画像と符号化対象画像との差分をとった差分画像を圧縮して、差分画像圧縮データを生成する。

一方、動画像符号化方法は、参照画像生成ステップで、差分画像圧縮データを伸張し、動き補償画像を加算することで、参照画像を生成する。ここで生成された参照画像が、後で処理する符号化対象画像の動き推定を行うための画像となり、参照画像蓄積手段に蓄積される。
そして、動画像符号化方法は、符号化ステップで、差分画像圧縮データと、参照画像を特定する参照画像特定情報（例えば、フレーム番号）と、動き情報（動きベクトル）とを多重化し符号化することで、符号化データを生成する。

さらに、請求項７に記載の動画像符号化プログラムは、動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化するために、コンピュータを、参照画像選択手段、動き推定手段、動き補償手段、差分画像圧縮手段、参照画像生成手段、符号化手段として機能させることを特徴とする。

かかる構成によれば、動画像符号化プログラムは、参照画像選択手段によって、符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像を蓄積した参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する。

そして、動画像符号化プログラムは、動き推定手段によって、参照画像選択手段で選択された参照画像と、符号化対象画像とに基づいて、動き情報（動きベクトル）を生成し、動き補償手段によって、参照画像を動きベクトル分移動させた動き補償画像を生成する。さらに、動画像符号化プログラムは、差分画像圧縮手段によって、動き補償画像と符号化対象画像との差分をとった差分画像を圧縮して、差分画像圧縮データを生成する。

また、動画像符号化プログラムは、参照画像生成手段によって、差分画像圧縮データを伸張し、動き補償画像を加算することで、参照画像を生成する。ここで生成された参照画像が動き推定を行うための画像となり、参照画像蓄積手段に蓄積される。

そして、動画像符号化プログラムは、符号化手段によって、差分画像圧縮データと、参照画像特定情報と、動き情報とを多重化し符号化することで、符号化データを生成する。

請求項１、請求項６又は請求項７に記載の発明によれば、動画像を動き補償予測によって符号化する際に、動画像の各画像（フレーム）を、参照画像になる画像と非参照画像になる画像とに予め固定して、符号化することができる。また、参照画像になる画像には、符号量を多く配分し、非参照画像になる画像には、符号量を少なめに配分する制御を行うことが可能になる。この場合、非参照画像の符号量を減らす（画質を落とす）場合でも、低画質が後の画像に伝播することがない。これによって、限られた伝送帯域、蓄積容量等の制限がある場合に、動画像の画質の劣化を抑えることができる。また、非参照画像全体を削減しないため、動画像の連続感の低下を抑えることができる。

請求項２に記載の発明によれば、動画像の符号量を制御する場合に、参照画像となる画像よりも、非参照画像となる画像を粗く量子化する。このとき、参照画像になる画像には、符号量を多く配分し、非参照画像になる画像には、符号量を少なめに配分することで、動画像の画質の劣化を抑えることができる。

請求項３に記載の発明によれば、非参照画像になる画像を、ブロック単位で削減することで、動画像の符号量を削減することができる。例えば、非参照画像になる画像からなるフレーム内の画像を、ブロック単位でスキップモードに設定することで、動画像の符号量を削減することができる。この場合、非参照画像の符号量を減らすことになるため、低画質が後の画像に伝播することがなく、動画像全体としての画質の劣化を抑えることができる。

請求項４に記載の発明によれば、非参照画像になる画像からなるフレームを読み飛ばすことで、動画像の符号量を削減することができる。この場合、１フレーム単位で符号量を削減するため、画像の連続感は低下するが、元の動画像の画質を損なうことはない。また、他の符号量の削減方法と併用し、例えば、動画像において動きが少ない場合のみ、フレーム単位で符号量を削減し、動きが多い場合は、例えばブロック毎の符号量の削減を行うことで、動画像の特性に適した形で、符号量を制御することができる。

請求項５に記載の発明によれば、動き推定を行う際に、符号化対象画像に最も類似した参照画像から動きを推定することができるため、動画像における動きを滑らかにすることができる。

以下、本発明の実施の形態について図面を参照して説明する。
［動画像符号化装置：第一の実施の形態］
（動画像符号化装置の構成）
まず、図１を参照して、本発明に係る第一の実施の形態である動画像符号化装置の構成について説明する。図１は、動画像符号化装置の構成を示したブロック図である。
図１に示すように、動画像符号化装置１は、時系列に連続した画像である動画像に対して動き補償予測を行うことによって、動画像を符号化した符号化データを生成するものである。ここでは、動画像符号化装置１は、ブロック分割手段１０と、差分画像圧縮手段１１と、参照画像生成手段１２と、参照画像蓄積手段１３と、参照画像選択手段１４と、動き推定手段１５と、動き補償手段１６と、符号化手段１７とを備えている。

ブロック分割手段１０は、入力された動画像を特定の大きさのブロック単位に分割するものである。ここで分割されたブロックは、差分画像圧縮手段１１に出力される。このブロックは、符号化の基本単位となる画像（符号化対象画像）であって、以降の各手段は、このブロックを単位として処理を行う。
なお、ここで処理するブロックの大きさは、１６×１６（画素）のマクロブロックと呼ばれるブロックの大きさや、１６×８、８×１６、８×８、８×４、４×４等の既存の符号化規格に沿った大きさ、あるいは任意の大きさであっても構わない。

差分画像圧縮手段１１は、ブロック分割手段１０で分割されたブロック（符号化対象画像）と、後記する動き補償手段１６で生成された動き補償画像との差分を圧縮し、差分画像圧縮データ（量子化変換係数）を生成するものである。ここでは、差分画像圧縮手段１１は、減算手段１１ａと、変換手段１１ｂと、量子化手段１１ｃとを備えている。

減算手段１１ａは、ブロック分割手段１０で分割されたブロック（符号化対象画像）と、動き補償手段１６で生成された動き補償画像との差分をとった差分画像を生成するものである。この差分画像は、符号化対象画像と、その動きを予測した動き補償画像との予測誤差を示すものである。ここで生成された差分画像は、変換手段１１ｂに出力される。

変換手段１１ｂは、減算手段１１ａで生成された差分画像を周波数領域の情報に変換した、変換係数を生成するものである。ここで生成された変換係数は、量子化手段１１ｃに出力される。

この変換手段１１ｂで行われる周波数変換には、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ４、Ｈ．２６３で用いられている、８×８画素のブロック単位で行う離散コサイン変換（ＤＣＴ）や、Ｈ．２６４／ＡＶＣで用いられている、４×４画素のブロック単位の整数や小数精度の変換手法を用いることができる。なお、Ｈ．２６４／ＡＶＣで用いられている周波数変換は、離散コサイン変換の浮動小数点計算を整数化（又は小数化）したものである。

量子化手段１１ｃは、変換手段１１ｂで生成された変換係数を量子化して、量子化変換係数を生成するものである。この量子化手段１１ｃは、視覚感度の低い高周波成分を大きく削減するように予め設定した量子化テーブルに基づいて量子化を行う。なお、ここで生成された量子化変換係数が、動き補償画像と符号化対象画像との差分（差分画像）を圧縮した差分画像圧縮データとなる。ここで生成された量子化変換係数（差分画像圧縮データ）は、参照画像生成手段１２と符号化手段１７とに出力される。

なお、この量子化手段１１ｃは、後記する参照画像選択手段１４から通知される、当該変換係数が参照画像となるブロックから生成されたものかどうかを示す参照判定情報に基づいて、変換係数の量子化の度合いを変える。

この量子化手段１１ｃにおける量子化の度合い（粗さ）の変更は、量子化を行う代表値の間隔（量子化ステップ）を変えることにより行うことができる。例えば、量子化手段１１ｃは、参照画像となるブロックから生成された変換係数を、量子化テーブルに設定されている量子化ステップ、例えば「８」を除数として量子化（８ビット毎に量子化）するものとする。このとき、量子化手段１１ｃは、参照画像とはならないブロックから生成された変換係数を量子化する場合、別の量子化テーブルを参照し、その量子化テーブルに設定されている量子化ステップ、例えば「１６」を除数として量子化（１６ビット毎に量子化）を行う。これによって、参照画像とはならないブロックから生成された変換係数は、参照画像から生成された変換係数よりも粗く量子化されることになる。

なお、この量子化の際にどの量子化テーブルを用いたかを示す情報は、量子化変換係数に付加されているものとする。また、量子化の度合い（粗さ）を示す量子化テーブルは、図示していない入力手段から、量子化情報として入力することで変更することとしてもよいし、予め量子化手段１１ｃ内部に固定して記憶しておくこととしてもよい。

参照画像生成手段１２は、差分画像圧縮手段１１で生成された量子化変換係数（差分画像圧縮データ）を伸張し、後記する動き補償手段１６で生成された動き補償画像を加算することで、参照画像を生成するものである。すなわち、参照画像生成手段１２は、この動画像符号化装置１で符号化された符号化データを復号する復号化装置と同様の復号系であって、後の画像の動き推定を行うための画像（参照画像）を生成するものである。ここでは、参照画像生成手段１２は、逆量子化手段１２ａと、逆変換手段１２ｂと、加算手段１２ｃとを備えている。

逆量子化手段１２ａは、差分画像圧縮手段１１の量子化手段１１ｃで生成された量子化変換係数（差分画像圧縮データ）に対して、逆量子化を行うことで、量子化変換係数を逆量子化変換係数に変換するものである。ここで変換された逆量子化変換係数は、逆変換手段１２ｂに出力される。なお、この量子化変換係数の逆量子化は、例えば、前記した量子化テーブルと同じテーブルを用い、量子化変換係数に対して、量子化テーブルの値を乗算することで行う。

逆変換手段１２ｂは、逆量子化手段１２ａで変換された逆量子化変換係数に対して、変換手段１１ｂで行った変換の逆変換を行うものである。この逆変換手段１２ｂで逆変換されて生成された画像（差分局所復号画像）は、符号化対象となるブロックがイントラブロックである場合は、ブロックそのものであり、イントラブロック以外の場合は、ブロックに対する差分画像となる。この逆変換手段１２ｂで逆変換によって生成された差分局所復号画像は、加算手段１２ｃへ出力される。

加算手段１２ｃは、逆変換手段１２ｂから出力される差分局所復号画像と、動き補償手段１６から出力される動き補償画像とを加算して、ブロック毎の画像を復号するものである。この加算手段１２ｃによって復号された画像（局所復号画像）は、参照画像の候補として参照画像蓄積手段１３に蓄積される。なお、逆変換手段１２ｂから出力される画像がイントラブロックである場合、加算手段１２ｃは、そのイントラブロックをそのまま参照画像蓄積手段１３に蓄積する。

参照画像蓄積手段１３は、参照画像生成手段１２で生成された局所復号画像を、次に入力されるフレームにおけるブロックの復号を行う際の参照画像として蓄積しておくものである。この参照画像蓄積手段１３には、１ブロック毎復号されたブロックが逐次蓄積され、フレームとして蓄積されることになる。なお、この参照画像蓄積手段１３には、参照すべきフレームの最長時間分の参照画像が蓄積される。

参照画像選択手段１４は、外部から入力される固定すべき参照画像のフレームを指定する選択情報に基づいて、参照画像蓄積手段１３に蓄積されている参照画像（参照フレーム）を選択するものである。ここで選択情報とは、現在符号化対象となっている画像（符号化対象画像）が、どの参照画像を参照するかを示す情報（参照位置）であって、ここではフレームの番号で参照画像を指定するものとする。なお、フレームの番号は、符号化対象画像からの相対的な番号でもよいし、動画像全体や、動画像のある範囲内における絶対的な番号であってもよい。

また、この参照画像選択手段１４は、選択された参照画像が、参照画像蓄積手段１３のどの位置（アドレス等）に蓄積されているかを示す位置情報を、動き推定手段１５と、動き補償手段１６とに出力する。また、参照画像選択手段１４は、ここで選択されたフレームの番号（参照フレーム番号）を参照画像を特定する参照画像特定情報として符号化手段１７に出力する。

さらに、参照画像選択手段１４は、現在符号化対象となっている画像（符号化対象画像）が、参照画像であるかどうかを示す参照判定情報を量子化手段１１ｃに通知する。これによって、量子化手段１１ｃは、変換係数が参照画像となるブロックから生成されたものかどうか判定することができ、その判定結果により量子化の度合いを変えることができる。

ここで、図２を参照（適宜図１参照）して、参照画像選択手段１４における参照画像の選択方式について説明する。図２は、選択情報で指定される符号化対象画像と参照画像との関係を示す関係図である。
図２では、動画像符号化装置１に入力される動画像のフレーム毎の対応するブロック（Ｂ１〜Ｂ４）を時系列に示している。また、現時点における符号化対象画像をブロックＢ３とする。

ここで、動き補償予測が順方向予測のみの場合は、符号化対象画像（ブロックＢ３）の参照画像は、符号化対象画像（ブロックＢ３）より前に入力されたブロック（ここではブロックＢ１又はブロックＢ２）となる。この場合、ブロックＢ１又はブロックＢ２のいずれか一方を固定して参照画像として選択することとしてもよいし、ブロックＢ１及びブロックＢ２の両方を選択することとしてもよい。さらに、動き補償予測が双方向予測の場合は、さらに時間的に未来の画像であるブロックＢ４を参照画像とすることもできる。
なお、複数の参照画像（参照フレーム）を選択した場合は、後記する動き推定手段１５が、最も符号化対象画像に近似（類似）する画像を選択して動き推定を行うことになる。

さらに、図３乃至図５を参照（適宜図１参照）して、参照画像選択手段１４における参照画像の選択方式の例について説明する。図３は、動き補償予測が順方向予測である場合の、参照画像の選択方式の一例を示す図である。図４は、動き補償予測が順方向予測で、複数の階層（多段階層）で、参照画像を選択する方式の一例を示す図である。また、図５は、動き補償予測が順方向予測で、複数の参照画像を参照する方式の一例を示す図である。それぞれ、動画像符号化装置１に入力されるフレーム毎の対応するブロック（Ｂ１、Ｂ２、…）を時系列に示している。

図３の例では、入力された動画像で、フレーム毎に参照画像となるブロックと、参照画像とはならない（非参照画像となる）ブロックとを交互に設定する参照画像選択方式の例を示している。
この場合、ブロックＢ１の次のブロックＢ２は、ブロックＢ１を参照画像として参照する。また、その次のブロックＢ３もまたブロックＢ１を参照画像として参照する。これによって、ブロックＢ２は、参照画像とはならないため、他の参照画像よりも粗く量子化しても、他の画像への影響はない。なお、参照画像選択手段１４は、図３の例でブロックＢ２又はブロックＢ３が符号化対象画像であるときは、ブロックＢ１を含んだフレームの番号（参照フレーム番号）を選択する。

図４の例では、入力された動画像で、参照画像となるブロックが２つ続いた後に、非参照画像となるブロックを設定する多段階層の参照画像選択方式の例を示している。
この場合、ブロックＢ１の次のブロックＢ２は、ブロックＢ１を参照画像として参照する。また、その次のブロックＢ３は、直前のブロックＢ２を参照画像として参照する。そして、その次のブロックＢ４は、ブロックＢ１を参照画像として参照している。これによって、ブロックＢ３は、参照画像とはならないため、他の参照画像よりも粗く量子化しても、他の画像への影響はない。なお、参照画像選択手段１４は、図４の例でブロックＢ２が符号化対象画像であるときは、ブロックＢ１を含んだフレームの番号（参照フレーム番号）を選択し、ブロックＢ３が符号化対象画像であるときは、ブロックＢ２を含んだフレームの番号（参照フレーム番号）を選択する。

図５の例では、入力された動画像で、参照画像となるブロックが２つ続いた後に、非参照画像となるブロックを設定するのは図４と同様であるが、非参照画像が複数のブロックを選択して参照することができるところが異なっている。
この場合、ブロックＢ３は、ブロックＢ１又はブロックＢ２を参照画像として参照し、ブロックＢ４もブロックＢ１又はブロックＢ２を参照画像として参照する。これによって、ブロックＢ３は、参照画像とはならないため、他の参照画像よりも粗く量子化しても、他の画像への影響はない。なお、参照画像選択手段１４は、図５の例でブロックＢ３が符号化対象画像であるときは、ブロックＢ１及びブロックＢ２を含んだ複数のフレームの番号（参照フレーム番号）を選択する。
図１に戻って説明を続ける。

動き推定手段１５は、ブロック分割手段１０で分割された現時点における符号化対象画像と、参照画像選択手段１４で選択された参照画像蓄積手段１３に蓄積されている参照画像とに基づいて、符号化対象画像の動きを推定した動き情報を生成するものである。ここで動き情報は、符号化対象画像が参照画像に対してどれくらい動いたかを示す情報であって、動き予測の方向及び大きさである動きベクトルを示す。この動き推定手段１５は、例えば、ブロックマッチング法や勾配法等の公知の技術によって、ブロック単位で動きベクトルを求める。ここで求められた動き情報（動きベクトル）は、符号化データを生成するためのデータとして符号化手段１７に出力されるとともに、動き補償手段１６に出力される。

なお、動き推定手段１５は、参照画像選択手段１４で選択された参照画像が複数存在する場合は、符号化対象画像に最も近似する参照画像を用いて推定した動きベクトルを出力する。

動き補償手段１６は、動き推定手段１５で生成された動き情報（動きベクトル）と、参照画像選択手段１４で選択された参照画像蓄積手段１３に蓄積されている参照画像とに基づいて、符号化対象画像の動きを推定した動き補償画像を生成するものである。すなわち、動き補償手段１６は、参照画像が、動きベクトル分動いた画像を動き補償画像とする。ここで生成された動き補償画像は、差分画像圧縮手段１１の減算手段１１ａ及び参照画像生成手段１２の加算手段１２ｃに出力される。

符号化手段１７は、差分画像圧縮手段１１で生成された量子化変換係数（差分画像圧縮データ）と、動き推定手段１５で生成された動き情報（動きベクトル）と、参照画像選択手段１４で選択された、参照画像を特定するための参照画像特定情報であるフレームの番号（参照フレーム番号）とを、それぞれエントロピ符号化し多重化することで、動画像を符号化した符号化データを生成するものである。

このように動画像符号化装置１を構成することで、動画像符号化装置１は、参照画像となるブロックと、参照されないブロック（非参照画像）とを区別することができる。これによって、動画像符号化装置１は、非参照画像の符号量（情報量）を制御することで、動画像全体のビットレートを制御することができる。このとき、非参照画像の符号量を削減しても、他の画像から参照されないため、画質の劣化を抑えることができる。また、符号量の削減において、フレーム毎の削除を行わないため、画像の連続性を保つことができる。

なお、動画像符号化装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（動画像符号化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

（動画像符号化装置の動作）
次に、図６を参照（適宜図１参照）して、本発明に係る第一の実施の形態である動画像符号化装置１の動作について説明する。図６は、動画像符号化装置の動作を示すフローチャートである。

〈参照画像選択ステップ〉
まず、動画像符号化装置１は、ブロック分割手段１０によって、入力された動画像を特定の大きさのブロック単位に分割する（ステップＳ１）。そして、動画像符号化装置１は、参照画像選択手段１４によって、外部から入力される固定すべき参照画像を指定する選択情報に基づいて、参照画像蓄積手段１３に蓄積されている参照画像（参照フレーム）を選択する（ステップＳ２）。

〈動き推定ステップ及び動き補償ステップ〉
また、動画像符号化装置１は、動き推定手段１５によって、ステップＳ１において分割された現時点における符号化対象画像と、ステップＳ２において選択された参照画像蓄積手段１３に蓄積されている参照画像とに基づいて、符号化対象画像の動きを推定した動き情報（動きベクトル）を生成する（ステップＳ３）。さらに、動画像符号化装置１は、動き補償手段１６によって、動きベクトルと参照画像とに基づいて、符号化対象画像の動きを推定した動き補償画像を生成する（ステップＳ４）。

〈差分画像圧縮ステップ〉
そして、動画像符号化装置１は、差分画像圧縮手段１１の減算手段１１ａによって、符号化対象画像と、動き補償手段１６で生成された動き補償画像との差分をとった差分画像を生成する（ステップＳ５）。さらに、動画像符号化装置１は、変換手段１１ｂによって、差分画像を周波数領域の情報に変換することで、変換係数を生成し（ステップＳ６）、量子化手段１１ｃによって、変換係数を量子化することで、量子化変換係数を生成する（ステップＳ７）。

なお、ステップＳ７においては、動画像符号化装置１は、変換係数が参照画像となるブロックから生成されたものかどうかを示す参照判定情報に基づいて、変換係数の量子化の度合いを変える。すなわち、符号化対象画像が、非参照画像の場合は、量子化を粗くする。

〈参照画像生成ステップ〉
また、動画像符号化装置１は、ステップＳ７において生成された量子化変換係数に対して、逆量子化を行うことで、量子化変換係数から逆量子化変換係数を生成する（ステップＳ８）。さらに、動画像符号化装置１は、逆変換手段１２ｂによって、逆量子化変換係数に対して、ステップＳ６で行った変換の逆変換を行うことで、差分局所復号画像（ブロック）を生成する（ステップＳ９）。ここで、復元されたブロックは、逐次参照画像蓄積手段１３に蓄積されフレームとなる（ステップＳ１０）。ここで蓄積されたフレームを構成するブロックは、参照画像の候補となり、ステップＳ２で選択されることになる。

〈符号化ステップ〉
さらに、動画像符号化装置１は、符号化手段１７によって、ステップＳ２で選択した参照フレーム番号と、ステップＳ３で生成された動き情報（動きベクトル）と、ステップＳ７で生成された量子化変換係数とを、それぞれエントロピ符号化し多重化することで、動画像を符号化した符号化データを生成する（ステップＳ１１）。
動画像符号化装置１は、以上の動作を、動画像の入力が終了するまで継続することで、動画像を符号化した符号化データを逐次出力する。

次に、図７を参照（適宜図１参照）して、図６における動き推定の動作（ステップＳ３）について、さらに詳細に説明する。図７は、動画像符号化装置の動き推定手段の動作を示すフローチャートである。ここでは、参照画像選択手段１４が参照画像となるフレームを１つ以上選択するものとする。

動き推定手段１５は、選択された１番目の参照フレームにおいて、動きベクトルを探索するための領域である探索範囲内の所定位置（例えば、初期位置は、探索範囲の左上）におけるブロックの大きさに相当する画像と、現在処理を行っている符号化対象画像との差分をとることで、誤差を算出する（ステップＳ２１）。そして、動き推定手段１５は、その誤差が、誤差最小値より小さいかどうかを判定する（ステップＳ２２）。なお、１番目の参照フレームにおける探索範囲内の初期位置で誤差を算出した場合は、誤差が誤差最小値よりも小さいものとみなす。

そして、誤差が、誤差最小値以上の場合（ステップＳ２２でＮｏ）は、ステップＳ２５に進む。一方、誤差が、誤差最小値より小さい場合（ステップＳ２２でＹｅｓ）は、動き推定手段１５は、誤差最小値をより小さい誤差で更新する（ステップＳ２３）。そして、動き推定手段１５は、このときの動きベクトルを符号化対象画像の動きベクトルとして更新（設定）する（ステップＳ２４）。

そして、動き推定手段１５は、探索範囲内の全ての領域で符号化対象画像の誤差を算出したかどうか、すなわち探索が終了したかどうかを判定し（ステップＳ２５）、まだ、探索が終了していない場合（ステップＳ２５でＮｏ）は、探索範囲内の位置を更新し（ステップＳ２６）、ステップＳ２１に戻って誤差が最小となる探索領域内の画像を探索する。

一方、探索領域内の探索が終了した場合（ステップＳ２５でＹｅｓ）は、さらに、選択された参照フレームを全て参照したかどうかを判定し（ステップＳ２７）、まだ参照していない参照フレームが存在する場合（ステップＳ２７でＮｏ）は、参照フレームを更新し（ステップＳ２８）、ステップＳ２１に戻って、その参照フレームにおいて、誤差が最小となる探索領域内の画像を探索する。一方、全ての参照フレームを参照した場合（ステップＳ２７でＹｅｓ）は、誤差が最小となったときの動きベクトルを出力する（ステップＳ２９）。
以上の動作によって、動画像符号化装置１の動き推定手段１５は、符号化対象画像に最も類似した画像から動きを推定することができる。

以上、一実施形態に基づいて、動画像符号化装置１について説明したが、本発明はこれに限定されるものではない。ここでは、符号量（情報量）を削減する方法として、非参照画像を、量子化手段１１ｃにおいて粗く量子化することとしたが、例えば、非参照画像を符号化する際にブロック単位でスキップ（コマ落とし）することとしてもよいし、その非参照画像を含んだフレームをフレーム単位でスキップすることととしてもよい。

［動画像符号化装置：第二の実施の形態］
ここで、図８を参照して、非参照画像をブロック単位又はフレーム単位でスキップする動画像符号化装置の第二の実施の形態について説明する。図８は、非参照画像をブロック単位又はフレーム単位でスキップする動画像符号化装置の構成を示したブロック図である。

図８に示すように、動画像符号化装置１Ｂは、ブロック分割手段１０と、差分画像圧縮手段１１と、参照画像生成手段１２と、参照画像蓄積手段１３と、参照画像選択手段１４と、動き推定手段１５と、動き補償手段１６と、符号化手段１７Ｂと、フレーム削減手段１８と、ブロック削減手段１９とを備えている。

この動画像符号化装置１Ｂは、図１に示した動画像符号化装置１において、符号化手段１７を、その機能を変更した符号化手段１７Ｂとし、さらに、フレーム削減手段１８と、ブロック削減手段１９とを付加している。なお、動画像符号化装置１Ｂは、フレーム削減手段１８及びブロック削減手段１９のいずれか一方のみを備えていればよい。また、両方備えている場合は、いずれか一方のみ、あるいはいずれか一方を切り替えて機能するものとする。ここで、符号化手段１７Ｂ、フレーム削減手段１８及びブロック削減手段１９以外の構成については、動画像符号化装置１と同一の構成であるので、同一の符号を付し説明を省略する。

フレーム削減手段１８は、外部から入力される固定すべき参照画像のフレームを指定する選択情報に基づいて、入力された動画像のフレームの符号化を行わずに読み飛ばすものである（フレームスキップ）。このフレーム削減手段１８は、選択情報によって、入力された動画像のフレームが参照画像を含んだフレームかどうかを判定し、当該フレームが、非参照画像となるフレームの場合はそのフレームを読み飛ばし、その旨をフレーム削減情報として符号化手段１７Ｂに出力する。なお、ここで読み飛ばされたフレームの各ブロックは、参照画像とはならないため、後のブロックの画質に影響を与えることはない。

ブロック削減手段１９は、外部から入力される固定すべき参照画像のフレームを指定する選択情報に基づいて、ブロック分割手段１０で分割されたブロックにおいて、非参照画像であるブロックの一部又は全部をスキップモードに設定するものである。また、ブロック削減手段１９は、どのブロックをスキップモードとして設定したかを示すブロック削減情報を、符号化手段１７Ｂに出力する。

ここでスキップモードとは、符号化対象画像の動きベクトルを他の周辺画像（ブロック）と等しくすることで、復号時に動き推定を行わず（動きベクトルを用いずに）、動き補償のみで画像を復号するモードである。なお、このスキップモードは、すでにＨ．２６４／ＡＶＣ等で用いられている技術である。しかし、ここでは、非参照画像のみをスキップモードの対象ブロックとするため、スキップモードを使用しても後のブロックの画質に影響を与えることはない。また、復号化装置側では、このスキップモードとして設定されたブロックは、参照画像をコピーして復元されるため、その復元された画像の画質は、フレーム削減手段１８でフレーム全体を読み飛ばす場合に比べて高くなる。

なお、ブロック削減手段１９は、非参照画像の中で、どのブロックをスキップモードに設定するかを、以下の方法により判断するものとする。
すなわち、ブロック削減手段１９は、符号化対象画像と、参照画像蓄積手段１３に蓄積されている当該符号化対象画像の周辺画像（例えば、時系列で１つ前のブロック）との差分が、予め定めた閾値よりも小さい場合に、その符号化対象画像をスキップモードに設定する。

符号化手段１７Ｂは、差分画像圧縮手段１１で生成された量子化変換係数（差分画像圧縮データ）と、動き推定手段１５で生成された動き情報（動きベクトル）と、参照画像選択手段１４で選択されたフレームの番号（参照フレーム番号）と、ブロック削減手段１９から出力されるブロック削減情報とを、それぞれエントロピ符号化し多重化することで、動画像を符号化した符号化データを生成するものである。なお、符号化手段１７Ｂは、フレーム削減手段１８からフレーム削減情報を通知されたときは、当該フレームのフレーム番号を詰めることで、フレーム番号の連続性を保つ処理を行う。

このように動画像符号化装置１Ｂを構成することで、動画像符号化装置１Ｂは、参照画像として参照されないブロック（非参照画像）を、フレーム単位で符号化の対象から外すことができ、符号量を削減することができる。また、動画像符号化装置１Ｂは、ブロック単位で、非参照画像を、スキップモードに設定することで、符号量を削減することができる。このフレーム単位又はブロック単位で符号量を削減する場合であっても、非参照画像を対象として符号量の削減を行うため、画像の劣化が次の画像に伝播することがなく、画質の劣化を抑えることができる。
また、動画像符号化装置１（図１）又は動画像符号化装置１Ｂ（図８）で生成された符号化データは、従来の一般的な復号化装置で復号することが可能である。

［動画像復号化装置］
ここで、図９を参照（適宜図１又は図８参照）して、動画像符号化装置１（１Ｂ）で符号化され生成された符号化データを復号する動画像復号化装置について説明する。図９は、動画像復号化装置の構成を示すブロック図である。

動画像復号化装置２は、復号化手段２０と、逆量子化手段２１と、逆変換手段２２と、加算手段２３と、動き補償手段２４と、参照画像蓄積手段２５と、参照画像選択手段２６とを備えている。

復号化手段２０は、符号化データを復号するものである。なお、この復号化手段２０は、動画像符号化装置１（１Ｂ）の符号化手段１７（１７Ｂ）とは逆の手順を行うことで、符号化データから、量子化変換係数と、動きベクトル（動き情報）と、参照フレーム番号とを復号する。ここで復号された量子化変換係数は、逆量子化手段２１に出力される。また、動きベクトルは、動き補償手段２４に出力される。さらに、参照フレーム番号は参照画像選択手段２６に出力される。

逆量子化手段２１は、復号化手段２０で復号された量子化変換係数を逆量子化することで、逆量子化変換係数を生成するものである。なお、逆量子化手段２１は、動画像符号化装置１（１Ｂ）の逆量子化手段１２ａと同じ手順を行うことで、逆量子化変換係数を生成する。なお、この逆量子化手段２１には、量子化手段１１ｃと同一の量子化テーブルを保持し、量子化時と同じ量子化テーブルが参照される。ここで生成された逆量子化変換係数は、逆変換手段２２に出力される。

逆変換手段２２は、逆量子化手段２１で生成された逆量子化変換係数に対して、動画像符号化装置１（１Ｂ）の逆変換手段１２ｂと同じ手順を行うことで、差分局所復号画像（差分画像）を生成するものである。ここで生成された差分局所復号画像は、加算手段２３に出力される。

加算手段２３は、逆変換手段２２で生成された差分局所復号画像と、後記する動き補償手段２４で生成された動き補償画像とを加算することで、復号データを生成するものである。ここで生成された復号データは、動画像復号化装置２における復号結果として外部に出力されるとともに、参照画像蓄積手段２５に蓄積される。

動き補償手段２４は、復号化手段２０で復号された動きベクトルと、参照画像蓄積手段２５に蓄積され、後記する参照画像選択手段２６で選択された参照画像とに基づいて、参照画像が動きベクトル分動いた画像（動き補償画像）を生成するものである。ここで生成された動き補償画像は、加算手段２３に出力される。
なお、動画像復号化装置２は、符号化されたブロックがスキップモードに設定されている場合、動き補償手段２４は、動きベクトルを用いずに、参照画像をコピーするだけで、当該ブロックを復元する。

参照画像蓄積手段２５は、加算手段２３で生成された復号データを参照画像として蓄積するものである。この参照画像蓄積手段２５には、復号データが１ブロック毎蓄積され、逐次フレームとなる。

参照画像選択手段２６は、復号化手段２０で復号された参照フレーム番号に基づいて、参照画像蓄積手段２５から、動き補償に用いる参照画像を選択するものである。なお、この参照画像選択手段２６は、参照画像蓄積手段２５のどの位置（アドレス等）に蓄積されているかを示す位置情報を動き補償手段２４に出力する。
以上説明したように、ＭＰＥＧ−２等の一般的な動画像復号化装置によって、動画像符号化装置１（１Ｂ）で符号化され生成された符号化データを復号することができる。

本発明に係る第一の実施の形態である動画像符号化装置の構成を示すブロック図である。 本発明に係る符号化対象画像と参照画像との関係を示す関係図である。 動き補償予測が順方向予測である場合の、参照画像の選択方式の一例を示す図である。 動き補償予測が順方向予測で、複数の階層（多段階層）で、参照画像を選択する方式の一例を示す図である。 動き補償予測が順方向予測で、複数の参照画像を参照する方式の一例を示す図である。 本発明に係る動画像符号化装置の動作を示すフローチャートである。 本発明に係る動画像符号化装置の動き推定手段の動作を示すフローチャートである。 本発明に係る第二の実施の形態である動画像符号化装置の構成を示すブロック図である。 動画像復号化装置の構成を示すブロック図である。 順方向予測における従来の符号化対象画像と参照画像との関係を示す関係図である。 順方向予測における従来の複数参照画像方式における符号化対象画像と参照画像との関係を示す関係図である。 順方向予測における従来の階層化符号化方式における各画像の参照関係を示す関係図である。 双方向予測における従来の符号化対象画像と参照画像との関係を示す関係図である。 従来の動き補償予測における参照画像の選択方式を説明するための説明図であって、（ａ）は通常方式、（ｂ）は低フレームレート方式、（ｃ）はスケーラブル方式、（ｄ）は双方向予測方式の参照画像の選択方式を示す。

符号の説明

１、１Ｂ 動画像符号化装置
１０ ブロック分割手段
１１ 差分画像圧縮手段
１１ａ 減算手段
１１ｂ 変換手段
１１ｃ 量子化手段
１２ 参照画像生成手段
１２ａ 逆量子化手段
１２ｂ 逆変換手段
１２ｃ 加算手段
１３ 参照画像蓄積手段
１４ 参照画像選択手段
１５ 動き推定手段
１６ 動き補償手段
１７、１７Ｂ 符号化手段
１８ フレーム削除手段
１９ ブロック削除手段

Claims (7)

1. 動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化する動画像符号化装置であって、
   前記参照画像を蓄積する参照画像蓄積手段と、
   前記符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する参照画像選択手段と、
   この参照画像選択手段で選択された参照画像と、前記符号化対象画像とに基づいて、前記符号化対象画像の動きを推定した動き情報を生成する動き推定手段と、
   この動き推定手段で生成された動き情報と、前記参照画像選択手段で選択された参照画像とに基づいて、前記符号化対象画像の動きを推定した動き補償画像を生成する動き補償手段と、
   この動き補償手段で生成された動き補償画像と前記符号化対象画像との差分となる差分画像を圧縮して、差分画像圧縮データを生成する差分画像圧縮手段と、
   この差分画像圧縮手段で生成された差分画像圧縮データを伸長し、前記動き補償画像を加算することで、前記参照画像を生成する参照画像生成手段と、
   前記差分画像圧縮データと、前記参照画像を特定する参照画像特定情報と、前記動き情報とを多重化して符号化する符号化手段と、
   を備えることを特徴とする動画像符号化装置。
2. 前記差分画像圧縮手段は、前記符号化対象画像において、前記参照画像となる画像よりも、前記非参照画像となる画像を粗く量子化する量子化手段を備えていることを特徴とする請求項１に記載の動画像符号化装置。
3. 前記符号化対象画像において、前記非参照画像になる画像を、ブロック単位で削減するブロック削減手段を備えていることを特徴とする請求項１に記載の動画像符号化装置。
4. 前記符号化対象画像において、前記非参照画像になる画像を、フレーム単位で削減するフレーム削減手段を備えていることを特徴とする請求項１に記載の動画像符号化装置。
5. 前記参照画像選択手段が、前記符号化対象画像に対して、時系列上過去／又は未来の参照画像を複数選択し、
   前記動き推定手段が、前記複数の参照画像の中から、前記符号化対象画像に近似する参照画像に基づいて、前記動き情報を生成することを特徴とする請求項１乃至請求項４のいずれか一項に記載の動画像符号化装置。
6. 動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化する動画像符号化方法であって、
   前記符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像を蓄積した参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する参照画像選択ステップと、
   この参照画像選択ステップで選択された参照画像と、前記符号化対象画像とに基づいて、前記符号化対象画像の動きを推定した動き情報を生成する動き推定ステップと、
   この動き推定ステップで生成された動き情報と、前記参照画像選択ステップで選択された参照画像とに基づいて、前記符号化対象画像の動きを推定した動き補償画像を生成する動き補償ステップと、
   この動き補償ステップで生成された動き補償画像と前記符号化対象画像との差分となる差分画像を圧縮して、差分画像圧縮データを生成する差分画像圧縮ステップと、
   この差分画像圧縮ステップで生成された差分画像圧縮データを伸張し、前記動き補償画像を加算することで、前記参照画像を生成する参照画像生成ステップと、
   前記差分画像圧縮データと、前記参照画像を特定する参照画像特定情報と、前記動き情報とを多重化して符号化する符号化ステップと、
   を含んでいることを特徴とする動画像符号化方法。
7. 動画像を特定の大きさのブロック単位に分割した符号化対象画像がいずれかの参照画像を参照して動き補償予測を行うのかを示す情報である参照位置を入力されることで、前記動画像を符号化するために、コンピュータを、
   前記符号化対象画像毎に、前記参照画像になる画像と非参照画像になる画像とで、前記入力された参照位置に基づいて、前記参照画像を蓄積した参照画像蓄積手段から当該符号化対象画像に対応する参照画像を選択する参照画像選択手段、
   この参照画像選択手段で選択された参照画像と、前記符号化対象画像とに基づいて、前記符号化対象画像の動きを推定した動き情報を生成する動き推定手段、
   この動き推定手段で生成された動き情報と、前記参照画像選択手段で選択された参照画像とに基づいて、前記符号化対象画像の動きを推定した動き補償画像を生成する動き補償手段、
   この動き補償手段で生成された動き補償画像と前記符号化対象画像との差分となる差分画像を圧縮して、差分画像圧縮データを生成する差分画像圧縮手段、
   この差分画像圧縮手段で生成された差分画像圧縮データを伸張し、前記動き補償画像を加算することで、前記参照画像を生成する参照画像生成手段、
   前記差分画像圧縮データと、前記参照画像を特定する参照画像特定情報と、前記動き情報とを多重化して符号化する符号化手段、
   として機能させることを特徴とする動画像符号化プログラム。

Images