JP4301495B2 - 動画像圧縮符号化装置 - Google Patents

Description

本発明は、動画像圧縮符号化装置に関し、特に、１つの入力画像からフレームレートの異なる複数の圧縮ビットストリームを同時生成する動画像圧縮符号化装置に関する。

ネットワークによる動画像配信では、ＰＣ、携帯電話、ＰＤＡ（personal digital assistants）といった受信端末の多様性、また、ＰＣ向けナローバンド／ブロードバンドインターネット、携帯電話向け現行第３世代（例えば、cdma2000 1x）および拡張第３世代（例えば、cdma2000 1xEV-DO）、さらにはＰＤＡや地上波ディジタルモバイル放送といった配信形態の多様性のため、画像サイズ、フレームレート、ビットレートが異なる種々のレベルの動画像データが流通している。

現在、ビデオ符号化方式として広く利用されているMPEG-4では、このような状況に対処するための空間・時間スケーラビリティが用意されている。また、同一ソース画像から各レベルに対応するビットストリームを各々独立に生成することも一般的に行われている。

図１１は、符号化処理部１〜３によりソース画像ａから出力（ビットストリーム）Ａ，Ｂ，Ｃを各々独立に生成する、従来の動画像複数同時圧縮符号化装置を示すブロック図である。符号化処理部１〜３は同じ構成であるので、主として符号化処理部１について説明する。

入力画像ａは、フレームスキップ部４，５，６で適宜のフレームがスキップされた後、符号化処理部１，２，３に入力される。フレームスキップ部４，５，６でスキップされるフレームは、各符号化処理部１，２，３のレート制御部２２−１，２２−２，２２−３からのスキップパラメータに従って定められる。

符号化処理部１において、減算器１１は、入力画像（スキップされた後の画像）から動き補償予測部１２で得られた予測画像を減算し、予測誤差信号を生成する。この予測誤差信号は、ＤＣＴ（直交変換）部１３において、例えば8×8画素のブロック単位でＤＣＴ係数に変換される。

量子化部１４は、レート制御部２２−１からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化部１４の出力は、可変長符号化（ＶＬＣ）部１５で可変長符号化されるとともに動き検出部２１−１からの動きベクトルと多重化され、バッファ１６に一時的に蓄積された後、第１レベル（フレームレート）に対応するビットストリームＡとして送出される。

また、量子化部１４の出力は、逆量子化部１７で逆量子化され、逆ＤＣＴ部１８で予測誤差信号に再生され、加算器１９で動き補償予測部１２からの予測画像と加算される。この加算により得れらた局部復号画像は、フレームメモリ２０に蓄積される。

動き検出部２１−１，２１−２，２１−３は、順次入力される入力画像と局部復号画像の間での画像の動きを検出し、動きベクトルを算出する。画像の動きは、例えば16×16画素のマクロブロックを単位として検出される。動き補償予測部１２は、フレームメモリ２０に蓄積された局部復号画像と動き検出部２１−１からの動きベクトルとにより予測画像を生成し、減算器１１と加算器１９に出力する。

レート制御部２２−１，２１−２，２１−３はそれぞれ、バッファ１６−１，１６−２，１６−３に蓄積されたデータ量に応じた量子化パラメータおよびスキップパラメータを算出する。レート制御部２２−１で算出された量子化パラメータは量子化部１４に与えられ、スキップパラメータはフレームスキップ部４に与えられる。

なお、切換スイッチ２３，２４は、イントラ符号化フレームを適宜挿入して符号化データに途中からの再生機能やエラー耐性を持たせるためのものであり、フレーム間予測を行う場合にはInter側に接続され、フレーム間予測を行わない場合にはIntra側に接続される。イントラ符号化フレームではフレーム内予測を行うのが普通である。

以上のように、符号化処理部１，２，３はそれぞれ、入力画像ａを独立に符号化し、フレームレートが異なるビットストリームＡ，Ｂ，Ｃを生成して出力する。

上記のように、各ビットストリームを独立に生成する方式では演算量が問題になるため、本発明者らは、ビットレートあるいは画像サイズが異なるビットストリームを効率的に生成し、配信するための複数同時符号化方式を下記非特許文献１，２で既に提案した。

また、符号化後にビットストリームを変換（トランスコーディング）する技術も知られている。トランスコーディングに関しては、変換の際の演算量を低減するために、符号化情報の継承の検討がいくつかなされており、MPEGビットストリームの変換の際には動きベクトルを継承利用することが考えられている。これは、動きベクトル検出に必要な演算量が大きいため、動きベクトルの再利用により演算効率が高められること、動きベクトル検出は符号化ループの外に位置しているため、動きベクトルの再利用が容易であることなどに基づいている。フレームレート変換を伴う場合の動きベクトルの再利用に関しては下記非特許文献３，４で検討されている。
信太他："MPEG-4 ビデオの複数同時符号化方式に関する一検討（1）"，信学総大，D-11-6(2003) 宮地他："MPEG-4 ビデオの複数同時符号化方式に関する一検討（2）"，信学総大，D-11-7(2003) J.Youn,et al.,"Motion vector refinement for high performance transcoding"IEEE Trans.Multimedia, vol.1,No.1,pp.30-40(1999) C.W.Lin,et al.,"Dynamic region of transcoding for multipoint video conferencing,"ICS2000,pp.114-121(2000)

上述のように、ビデオ符号化方式として広く利用されているMPEG-4では、空間・時間スケーラビリティが用意されているものの、それで行えるのは空間若しくは時間方向のどちらか一方のみの拡張であり、さらに、拡張において基本／拡張レイヤの２段構成しか取ることができないため、実用性が低いものとなっている。

また、図１１に示したような、同一ソース画像から各レベルに対応するビットストリームを各々独立に生成する同時符号化では、演算量が問題となる。図１１の例では、符号化処理部１，２，３のそれぞれの動き検出部で入力画像と自身の局部復号画像の間での画像の動きを検出し、動きベクトルを算出しなければならない。

また、MPEGビットストリームのトランスコーディングに関しては、従来の技術は、オリジナルビットストリームに含まれるビデオフレームを欠落（ドロップ）させてフレームレートを変換し、その際、動きベクトルを補間延長して参照先を変更する手法について提案しているものの、この場合、フレームレート変換後の符号化フレームの時間位置は、変換前の符号化フレームの時間位置に必ず含まれなければならず、変換後のフレームレートは大きく制約を受けることとなる。

複数同時符号化を行う場合、特に、MPEG-4では、符号化時、各レベルに対するフレームレートを適切に設定することが、１枚１枚の画面の画質を維持しつつ大きなレンジをカバーするために必須の技術であり、そのような観点から各レベルに対するフレームレートを適切に設定した場合においても、効率のよい符号化を行い得ることが重要となる。

本発明は、上記課題にかんがみなされたものであり、１つの画像から複数の符号化処理によりフレームレートの異なる複数の圧縮ビットストリームを同時生成するに際し、符号化処理間でフレームレートが互いに異なり、フレームタイミングが互いに異なる場合でも動きベクトルを継承利用して演算量を低減可能にすることを目的とする。

本発明は、１つの入力画像から複数の符号化処理によりフレームレートの異なる複数の圧縮ビットストリームを同時生成する動画像圧縮符号化装置において、前記複数の符号化処理のうちのマスタとなる符号化処理での局部復号画像と入力画像との間で動き検出を行って動きベクトルを検出する動きベクトル検出手段と、前記マスタとなる符号化処理において、前記動きベクトルを用いて動画像圧縮符号化を行う手段と、前記複数の符号化処理のうちのスレーブとなる符号化処理において、前記動きベクトルを継承利用して動画像圧縮符号化を行う手段とを備え、前記スレーブとなる符号化処理における動きベクトルの継承利用に際し、符号化対象のフレームの時間的位置と該符号化対象のフレームに過去あるいは未来で最も近いマスタのフレームの時間的位置との関係、および前記符号化対象のフレームが参照している参照フレームの時間的位置と前記マスタのフレームが参照している参照フレームの時間的位置との関係に従って、前記マスタのフレームと該マスタのフレームが参照している参照フレームの間での動きベクトルを、前記符号化対象のフレームと前記符号化対象のフレームが参照している参照フレームの間での相当する動きベクトルになるように補正して利用することを特徴とする。

ここで、スレーブとなる符号化処理において、動きベクトルの継承利用は、継承元の動きベクトルをそのまま使用すること、継承元の動きベクトルを内挿、外挿、あるいはスケール変換した動きベクトルを使用すること、継承元の動きベクトルのいくつかを合成したベクトルを使用すること、あるいはそれらのいくつかの組み合わせを含む。

本発明は、１つの画像から複数の符号化処理によりフレームレートの異なる複数の圧縮ビットストリームを同時生成するに際し、符号化処理間でフレームレートが互いに異なり、フレームタイミングが互いに異なる場合でも動きベクトルを継承利用するものであるため、符号化に際しての演算処理量を大幅に低減させることができる。

以下、図面を参照して本発明の動画像圧縮符号化装置について説明する。図１は、本発明の実施形態を示すブロック図であり、図１１と同一あるいは同等部分には同じ符号を付してある。ここでは、入力画像ａからフレームレートが異なるビットストリームＡ，Ｂ，Ｃを生成して出力する例を示すが、出力するビットストリームの数は３つに限られず、任意である。

フレームスキップ部４，５，６はそれぞれ、符号化処理部１，２，３のバッファ１６−１，１６−２，１６−３に蓄積されたデータ量に応じてフレームをスキップするので、符号化処理部１，２，３は、可変フレームレート符号化により入力画像ａを符号化し、それぞれビットストリームＡ，Ｂ，Ｃを出力することになる。

本実施形態が図１１の従来技術と異なる点は、符号化処理部２，３が動き検出部を備えず、その代わりに、動きベクトル補正部２５，２６をそれぞれ備えて、入力画像と符号化処理部１の局部復号画像の間での画像の動きを検出する動き検出部２１により得られた動きベクトルを継承利用する点である。なお、図では、符号化処理部１の外部に動き検出部２１を示しているが、図１１と同様に、これは符号化処理部１の内部にあってもよい。

図１において、動き検出部２１は、入力画像（フレームスキップ後の画像）と符号化処理部１の局部復号画像、すなわち符号化処理部１のフレームメモリ２０に蓄積された画像との間で動き検出を行って動きベクトルを算出する。ここで、符号化処理部１は、マスタとして動作するものであり、動き検出部２１により得られた動きベクトルをそのまま用いて入力画像を符号化し、ビットストリーム（マスタビットストリーム）Ａを出力する。この符号化処理は、従来技術での符号化処理と同じである。

符号化処理部２，３は、スレーブとして動作する。動きベクトル補正部２５，２６は、動き検出部２１により得られた動きベクトルと、符号化処理部１，２，３のレート制御部２２−１，２２−２，２２−３からの各フレームスキップパラメータを入力とし、後述するように、動き検出部２１により検出された動きベクトルを、符号化処理部２，３で処理される画像のフレームレート（フレーム間隔）に合わせて補正する。符号化処理部２，３は、動きベクトル補正部２５，２６でそれぞれ補正された動きベクトル（継承ベクトル）を用いて入力画像を符号化し、ビットストリーム（スレーブビットストリーム）Ｂ，Ｃを出力する。

マスタとして動作させる符号化処理部は、フレームレートの大小に依らず任意に選択可能であるが、フレームレートが高い画像を処理する符号化処理部を選択すれば継承利用し得る動きベクトルが多くなるので、符号化の精度がよくなり、フレームレートが低い画像を処理する符号化処理部を選択すれば動き検出の回数が少なくなるので、符号化処理速度を高めることができる。

図２は、複数同時符号化における符号化フレームのタイミングの例を示す。本例では、ソース画像ａのフレームレート（縦線で示す）を30fpsとし、ビットストリームＡの符号化フレームレートを10fps、ビットストリームＢの符号化フレームレートを7.5fps、ビットストリームＣの符号化フレームレートを6fpsとしている。

図２に示すように、トランスコーディングの場合と異なり、ビットストリームＡ，Ｂ，Ｃの間には、他のビットストリームの符号化タイミングに含まれない符号化タイミングが存在する。

図２では、ビットストリームＢ，Ｃの符号化タイミングに関して
・そのフレーム位置がビットストリームＡに含まれる場合を黒色の丸
・そのフレーム位置はビットストリームＡに含まれないものの、そのフレームが参照しているフレーム位置がビットストリームＡに含まれる場合を白色の丸
・そのフレームならびに参照しているフレーム共にビットストリームＡには含まれない場合を灰色の丸
でそれぞれ示している。

ここで、ビットストリームＡをマスタビットストリームとし、ビットストリームＢ，Ｃをスレーブビットストリームとする。ビットストリームＡにおいては動き検出を通常通り行って動きベクトルを算出し符号化を行い、ビットストリームＢ，Ｃにおいては動き検出を行わず、ビットストリームＡについて算出された動きベクトルを継承利用して符号化を行うものとする。

次に、ベクトルを〈 〉付きで表し、スレーブビットストリームにおける動きベクトルの継承利用について具体的に説明する。各マクロブロックに対する継承ベクトル〈Ｖｓ〉は、マスタビットストリームのフレーム（以下、マスタフレームと称する。）が、スレーブビットストリームの参照フレーム（以下単に、参照フレームと称する。）ならびにスレーブビットストリームの符号化フレーム（以下単に、参照フレームと称する。）に一致するか否か、また、符号化フレームと参照フレームとの間、すなわち符号化フレーム間隔内に存在するマスタフレーム数に応じて、以下の手法（Ａ）〜（Ｄ）により得られる。なお以下において、スレーブビットストリーム中のフレーム（参照フレーム、符号化フレームを含む。）を、単にスレーブフレームと称することもある。また、リアルタイム性やメモリ消費を考慮して、次マスタフレームの生成を待ってからの処理は用いないことにする。

（Ａ）参照フレーム位置、符号化フレーム位置が共にマスタフレーム位置と一致する場合
(A-1)符号化フレーム間隔内に存在するマスタフレーム数が０枚の場合
この場合、スレーブビットストリームでの参照フレーム位置ならびに符号化フレーム位置はマスタビットストリームのフレーム位置と一致し、かつフレーム間隔も等しいため、マスタビットストリームについて算出された動きベクトルをそのまま使用する。
(A-2)符号化フレーム間隔内に存在するマスタフレーム数が１枚の場合
この場合のマスタフレームとスレーブフレームの関係を図３に示す。同図において、横方向は時間軸、Ｔｍ１，Ｔｍ２はマスタフレーム間隔、縦方向区切りはマクロブロック位置（ただし、１次元として示す。）を示す。マスタフレーム位置は黒丸で示されており、また、スレーブフレームにおける丸印は、先に述べた図２での色分けに準じている。以下の図でも同様である。

この場合には、符号化フレーム間隔内に存在し、マスタビットストリームについて算出された動きベクトルを合成して使用するが、マスタフレーム間での動きベクトルに基づいて複数の継承ベクトルの候補が生成される可能性がある。例えば、図３に示すように、マスタフレームＦ_ｍ１のマクロブロックＭＢ_１の画像がマスタフレームＦ_ｍ２のマクロブロックＭＢ_１とＭＢ_２に跨る領域の画像に対応し、動きベクトルが〈Ｖｍ１〉である場合、動きベクトル〈Ｖｍ１〉の参照先には動きベクトル〈Ｖｍ２ａ〉，〈Ｖｍ２ｂ〉が含まれる。この場合、候補となる継承ベクトル〈Ｖｓ〉は、動きベクトル〈Ｖｍ１〉と、動きベクトル〈Ｖｍ１〉の参照先に含まれるマクロブロックの動きベクトル〈Ｖｍ２ａ〉あるいは〈Ｖｍ２ｂ〉とを合成したベクトルである。動きベクトル〈Ｖｍ１〉の参照先に含まれるマクロブロックの動きベクトルの数は、最大で４個となる。継承ベクトル〈Ｖｓ〉の候補が複数存在する場合、どの候補を継承ベクトルとするかの選定手法については後述する。
(A-3)符号化フレーム間隔内に存在するマスタフレーム数が2枚以上の場合
この場合は、(A-2)と同様に、符号化フレーム間隔内に存在し、マスタビットストリームについて算出された動きベクトルを合成して使用する。この場合にも複数の継承ベクトルの候補が生成される可能性がある。

（Ｂ）マスタフレームと参照フレームは一致するが、符号化フレームが一致しない場合
(B-1)符号化フレーム間隔内に存在するマスタフレーム数が０枚の場合
この場合は、マスタビットストリームについて算出された動きベクトルを、マスタフレームおよびスレーブフレームのフレーム間隔に従ってスケール変換して使用する。
(B-2)符号化フレーム間隔内に存在するマスタフレーム数が１枚の場合
この場合のマスタフレームとスレーブフレームの関係を図４に示す。符号化フレームが生成済みのマスタビットストリームより時間軸上で未来（図示右側）に位置するため、マスタフレームの同一マクロブロック位置の動きベクトルを、マスタフレームおよびスレーブフレームのフレーム間隔Ｔｍ，Ｔｓに応じて外挿し、継承ベクトル〈Ｖｓ〉とする。この場合、

〈Ｖｓ〉＝（Ｔｓ／Ｔｍ）・〈Ｖｍ〉

となる。
(B-3)符号化フレーム間隔内に存在するマスタフレーム数が２枚以上の場合
この場合には、符号化フレーム間隔内に含まれる動きベクトルを合成し、最後の動きベクトルを外挿し、さらに両者を合成して使用する。この場合にも複数の継承ベクトルの候補が生成される可能性がある。例えば、図５に示すように、マスタフレームＦ_ｍ１のマクロブロックＭＢ_１の画像がマスタフレームＦ_ｍ２のマクロブロックＭＢ_１とＭＢ_２に跨る領域の画像に対応し、動きベクトルが〈Ｖｍ１〉である場合、動きベクトル〈Ｖｍ１〉の参照先には動きベクトル〈Ｖｍ２ａ〉，〈Ｖｍ２ｂ〉が含まれる。この場合、候補となる継承ベクトル〈Ｖｓ〉は、動きベクトル〈Ｖｍ１〉に外挿処理を施すことにより得られるベクトルと、〈Ｖｍ１〉の参照先に含まれるマクロブロックの動きベクトル〈Ｖｍ２ａ〉あるいは〈Ｖｍ２ｂ〉とを合成したベクトルとなる。参照先に含まれる含まれる動きベクトル〈Ｖｍ２＊〉は、(A-2)の場合と同様、最大４個となる。

（Ｃ）マスタフレームと符号化フレームは一致するが、参照フレームが一致しない場合
(C-1)符号化フレーム間隔内に存在するマスタフレーム数が０枚の場合
この場合は、マスタビットストリームについて算出された動きベクトルを、マスタフレームおよびスレーブフレームのフレーム間隔に従って内挿して使用する。
(C-2)符号化フレーム間隔内に存在するマスタフレーム数が１枚の場合
この場合は、２つの手法がある。１つは、マスタビットストリームについて算出された動きベクトルを、マスタフレームおよびスレーブフレームのフレーム間隔に従って外挿して使用する手法である。他の１つは、図６に示すように、最新に生成されたマスタビットストリームの動きベクトル〈Ｖｍ１〉と、動きベクトル〈Ｖｍ１〉の参照先に含まれるマクロブロックの動きベクトル〈Ｖｍ２ａ〉あるいは〈Ｖｍ２ｂ〉（最大４個）を、マスタフレームおよびスレーブフレームのフレーム間隔に従ってスケール変換したベクトルとを合成して得られるベクトルを使用する手法である。後者の手法で、複数の継承ベクトルの候補が生成された場合には(A-2)の場合と同様に、どの候補を継承ベクトルとするかを選定する必要がある。
(C-3)符号化フレーム間隔内に存在するマスタフレーム数が２枚以上の場合
この場合は、符号化フレーム間隔内において最も古く生成されたマスタビットストリームの動きベクトルの内挿ベクトルおよびそれに続く動きベクトルを合成して使用する。この場合にも複数の継承ベクトルの候補が生成される可能性がある。
（Ｄ）マスタフレームと符号化フレーム、参照フレームが両方とも一致しない場合
(D-1)符号化フレーム間隔内に存在するマスタフレーム数が０枚の場合
この場合は、符号化フレーム間隔内において最新に生成されたマスタビットストリームの動きベクトルを、マスタフレームおよびスレーブフレームのフレーム間隔に従ってスケール変換して使用する。
(D-2)符号化フレーム間隔内に存在するマスタフレーム数が１枚の場合
この場合は、図７に示すように、継承ベクトル〈Ｖｓ〉は、動きベクトル〈Ｖｍ１〉をスレーブフレームの間隔に合わせてスケール変換して得られるベクトルとなる。
(D-3)符号化フレーム間隔内に存在するマスタフレーム数が２枚以上の場合
この場合は、符号化フレーム間隔内において最新に生成されたマスタビットストリームの動きベクトルを外挿して得られるベクトルと、最も古く生成されたマスタビットストリームの動きベクトルを内挿して得られるベクトル、および途中に含まれるベクトルを合成して使用する。この場合にも複数の継承ベクトルの候補が生成される可能性がある。

図８は、以上に説明した各場合の動きベクトルの継承利用の手法をまとめて示すものである。

次に、継承ベクトル〈Ｖｓ〉の候補が複数存在する場合、どの候補を継承ベクトルとするかの選定手法について説明する。
継承ベクトル〈Ｖｓ〉の候補が複数存在する場合には、例えば、全ての継承候補ベクトルに対して実際にＳＡＤ（Sum of Absolute Difference：差分絶対値和）の算出を行い、ＳＡＤを最小とするものを選択するという方法で継承ベクトルを選択できる。すなわち、参照元の対応する画素との間で差分を求め、その差分の絶対値を加算することにより得られる値が最小となる継承ベクトルを選択すればよい。

さらに、継承ベクトルの候補に対して±１画素範囲を0.5画素精度で再探索することにより、より精度のよい継承ベクトルとすることができる。この場合、改めて動きベクトルを算出することになるが、候補とされた継承ベクトルの周囲に限定された狭い範囲での探索であるので演算量は少なくて済む。

図９は、本発明の他の実施形態を示すブロック図であり、図１と同一あるいは同等部分には同じ符号を付してある。本実施形態は、符号化処理部２，３にそれぞれ動きベクトル再探索部２７，２８を設け、動きベクトル補正部２５，２６で補正された動きベクトルに基づいて再探索を行い、それにより得られる動きベクトルを用いて符号化を行うようにしたものである。それ以外は図１と同様であるので、説明を省略する。

図１０は、本発明に従って符号化を行った場合の特性を確認するために、MPEG-4VMによるシミュレーション実験を行った結果を示す。原画像には、30fps、300フレーム、QCIF（176画素×144画素）の標準画像coastguard、foreman、news、silentを用いた。SP＠L1（符号化モード）、QP（量子化パラメータ）=10固定、I-VOP（イントラ符号化）先頭のみ、を符号化条件として、マスタストリームＡを10fps、スレーブストリームＢを7.5fps、スレーブストリームＣを6fpsでそれぞれ符号化した。

この実験結果から、動きベクトルを継承利用した場合、各符号化処理でそれぞれ動きベクトルを直接検出する場合に比較して、多少のデータ量の増加（news、silentでは増加は殆どみられないが、画面全体の動きを有するcoastguardおよびforemanでは最大8%ほどの増加）がみられるが、全てのケースにおいて処理速度がほぼ２倍高速になっていることが分かる。

また、スレーブストリーム6fpsの方がスレーブストリーム7.5fpsよりもデータ量の増加が少ない。これは、6fpsではフレーム間隔が大きくなっているため、動きベクトル直接検出でも十分な動き予測効率が得られておらず、継承ベクトルでの予測効率との差が7.5fpsの場合と比べて小さくなっているものと考えられる。

本発明の実施形態を示すブロック図である。 複数同時符号化における符号化フレームのタイミングの例を示す図である。 ベクトル継承（参照フレーム、符号化フレームが共に一致する場合）の説明図である。 ベクトル継承（参照フレームは一致するが、符号化フレームは一致しない場合）の説明図である。 ベクトル継承（符号化フレーム間隔内にマスタフレームが複数存在する場合）の説明図である。 ベクトル継承（符号化フレームは一致するが、参照フレームが一致しない場合）の説明図である。 ベクトル継承（符号化フレーム、参照フレームが両方とも一致しない場合）の説明図である。 動きベクトルの継承利用の手法をまとめて示す図である。 本発明の他の実施形態を示すブロック図である。 本発明に従ってシミュレーション実験を行った結果を示す図である。 従来の動画像複数同時圧縮符号化装置を示すブロック図である。

符号の説明

１，２，３・・・符号化処理部、４，５，６・・・フレームスキップ部、１１・・・減算器、１２・・・動き補償部、１３・・・ＤＣＴ（直交変換）部、１４・・・量子化部、１５・・・可変長符号化部、１６−１，１６−２，１６−３・・・バッファ、１７・・・逆量子化部、１８・・・逆ＤＣＴ部、１９・・・加算器、２０・・・フレームメモリ、２１・・・動き検出部、２２−１，２２−２，２２−３・・・レート制御部、２３，２４・・・切換スイッチ、２５，２６・・・動きベクトル補正部、２７，２８・・・動きベクトル再探索部

Claims (6)

1. １つの入力画像から複数の符号化処理によりフレームレートの異なる複数の圧縮ビットストリームを同時生成する動画像圧縮符号化装置において、
   前記複数の符号化処理のうちのマスタとなる符号化処理での局部復号画像と入力画像との間で動き検出を行って動きベクトルを検出する動きベクトル検出手段と、
   前記マスタとなる符号化処理において、前記動きベクトルを用いて動画像圧縮符号化を行う手段と、
   前記複数の符号化処理のうちのスレーブとなる符号化処理において、前記動きベクトルを継承利用して動画像圧縮符号化を行う手段とを備え、
   前記スレーブとなる符号化処理における動きベクトルの継承利用に際し、符号化対象のフレームの時間的位置と該符号化対象のフレームに過去あるいは未来で最も近いマスタのフレームの時間的位置との関係、および前記符号化対象のフレームが参照している参照フレームの時間的位置と前記マスタのフレームが参照している参照フレームの時間的位置との関係に従って、前記マスタのフレームと該マスタのフレームが参照している参照フレームの間での動きベクトルを、前記符号化対象のフレームと前記符号化対象のフレームが参照している参照フレームの間での相当する動きベクトルになるように補正して利用することを特徴とする動画像圧縮符号化装置。
2. 前記スレーブとなる符号化処理において、前記動きベクトルの継承利用は、前記動きベクトルをそのまま使用することを含むことを特徴とする請求項１に記載の動画像圧縮符号化装置。
3. 前記スレーブとなる符号化処理において、前記動きベクトルの継承利用は、前記動きベクトルの内挿ベクトルを使用することを含むことを特徴とする請求項１に記載の動画像圧縮符号化装置。
4. 前記スレーブとなる符号化処理において、前記動きベクトルの継承利用は、前記動きベクトルの外挿ベクトルを使用することを含むことを特徴とする請求項１に記載の動画像圧縮符号化装置。
5. 前記スレーブとなる符号化処理において、前記動きベクトルの継承利用は、前記動きベクトルをスケール変換した動きベクトルを使用することを含むことを特徴とする請求項１に記載の動画像圧縮符号化装置。
6. 前記スレーブとなる符号化処理において、前記動きベクトルの継承利用は、前記動きベクトルのいくつかを合成したベクトルを使用することを含むことを特徴とする請求項１に記載の動画像圧縮符号化装置。

Images