JP4779230B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラムに関し、例えばインターネットを利用して動画像データを配信する際に当該動画像データを圧縮符号化する動画像符号化装置に適用して好適なものである。
【０００２】
【従来の技術】
近年、インターネットを利用した動画像データの配信方法として、ビデオカメラ等で被写体を撮像しながら得られる動画像データをインターネットを介してユーザのパーソナルコンピュータ等に送信することにより当該動画像データに基づく動画像をリアルタイムで見せるようにした、いわゆるストリーミングと呼ばれる配信方法が普及し始めている
【０００３】
実際上、このようなストリーミングによる配信方法においては、インターネットとユーザのパーソナルコンピュータとを接続するインターネット接続回線のデータ転送速度が比較的低いために、送信側で配信対象の動画像データを例えばＭＰＥＧ２（Moving Picture Experts Group phase 2）と呼ばれる圧縮符号化方式を用いて圧縮符号化して送信することによりユーザに動画像をリアルタイムで提供している。
【０００４】
ここで、ＭＰＥＧ２方式は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２／ＷＧ１１（International Organization for Standardization/International Electrotechnical Commission Joint Technical Committee/Sub Committee 2/Working Group 11）等の機関によって標準化され、動き補償予測符号化と離散コサイン変換（DCT:Discrete Cosine Transform ）とを組み合わせたハイブリット符号化方式を採用して規格化された圧縮符号化方式である。
【０００５】
そして、このＭＰＥＧ２方式では、Ｉ（Intra ）ピクチャと呼ばれるフレーム内符号化画像（イントラ符号化画像）と、Ｐ（Predictive）ピクチャと呼ばれるフレーム間順方向予測符号化画像と、Ｂ（Bidirectionally predictive）ピクチャと呼ばれる双方向予測符号化画像との３種類のピクチャタイプが規定されており、これらＩピクチャ、Ｐピクチャ及びＢピクチャのうちいずれかを動画像データを構成するフレーム画像データに順次所定の順番で割り当てて圧縮符号化するように規定されている。
【０００６】
また、このＭＰＥＧ２方式では、フレーム内符号化、順方向予測符号化、逆方向予測符号化及び双方向予測符号化の４種類の予測モードが規定されており、Ｉピクチャを割り当てたフレーム画像については例えば16画素×16ラインのマクロブロックと呼ばれる単位でフレーム内符号化により圧縮符号化し、Ｐピクチャを割り当てたフレーム画像についてはマクロブロック単位でフレーム内符号化又は順方向予測符号化のいずれかにより圧縮符号化し、さらにＢピクチャを割り当てたフレーム画像についてはマクロブロック単位でフレーム内符号化、順方向予測符号化、逆方向予測符号化及び双方向予測符号化のいずれかにより圧縮符号化するように規定されている。
【０００７】
【発明が解決しようとする課題】
ところで最近では、それぞれデータ転送速度の異なる複数種類のインターネット接続回線が提供されており、未だ全体的にはデータ転送速度が低いもののユーザがこれらインターネット接続回線を任意に選択して利用し得るようになされている。
【０００８】
このため、ストリーミングにより動画像データを配信するには、送信側で配信対象の動画像データを複数種類の圧縮率で圧縮符号化することにより各種インターネット接続回線をそれぞれ効率良く利用して動画像データを配信することが提案されている。
【０００９】
ここで、各種インターネット接続回線に応じて動画像データを圧縮符号化する動画像符号化装置として、図１５に示すように構成されたものがある。
【００１０】
図１５に示すように、かかる構成の動画像符号化装置１においては、外部のビデオカメラ等から供給される配信対象の動画像データを順次フレーム画像データ単位で第１乃至第３の解像度変換器２乃至４に取り込む。
【００１１】
第１乃至第３の解像度変換器２乃至４は、それぞれ動画像データを順次フレーム画像データ単位で取り込むと、当該フレーム画像データに基づくフレーム画像から予め設定された解像度の変換率に応じて画素を間引くことによりその動画像データの解像度を例えば１／２、１／４及び１／８の解像度に変換し、これら解像度の異なる動画像データをそれぞれ対応する第１乃至第３のエンコーダ５乃至７に送出する。
【００１２】
ここで、第１乃至第３のエンコーダ５乃至７は、それぞれＭＰＥＧ２方式が適用され、同様の回路構成を有していることにより、以下に図１６を用いて第１のエンコーダ５の回路構成について詳細に説明する。
【００１３】
図１６に示すように、第１のエンコーダ５は、対応する第１の解像度変換器２から与えられた例えば１／２の解像度の動画像データを順次フレーム画像データ（以下、これを低解像度フレーム画像データと呼ぶ）単位で、複数フレーム分の記録容量を有する入力用フレームメモリ１０に取り込み、当該入力用フレームメモリ１０に取り込んだ低解像度フレーム画像データにＩピクチャ、Ｐピクチャ及びＢピクチャのうちいずれかを所定の順番で割り当てると共に、その割り当てたＩピクチャ、Ｐピクチャ及びＢピクチャを表すピクチャ情報を低解像度フレーム画像データに対応付けて記録する。
【００１４】
そして、演算器１１は、入力用フレームメモリ１０内でＩピクチャが割り当てられた低解像度フレーム画像データ（以下、これを特に第１の低解像度フレーム画像データと呼ぶ）については、当該第１の低解像度フレーム画像データの解像度に応じた低解像度のマクロブロック単位のデータ（以下、これを第１の低解像度マクロブロックデータと呼ぶ）として順次読み出す。
【００１５】
このとき、動きベクトル検出器１２は、演算器１１により入力用フレームメモリ１０から第１の低解像度マクロブロックデータが読み出される毎に当該第１の低解像度マクロブロックデータに対応するピクチャ情報（すなわち、Ｉピクチャを表す）を読み出しており、そのピクチャ情報に基づいて第１の低解像度マクロブロックデータをフレーム内符号化により圧縮符号化することを表す予測モードデータを生成してこれを動き補償器１３及び可変長符号化器１４に送出する。
【００１６】
これにより動き補償器１３は、動きベクトル検出器１２から与えられた予測モードデータ（フレーム内符号化を表す）に基づいて、対応する第１の低解像度マクロブロックデータに対する動き補償処理を停止する。
【００１７】
従って、演算器１１は、入力用フレームメモリ１０から第１の低解像度マクロブロックデータを読み出すと、このとき動き補償器１３からは何らデータが与えられないことにより当該第１の低解像度マクロブロックデータをそのまま離散コサイン変換器１５に送出する。
【００１８】
離散コサイン変換器１５は、演算器１１から与えられた第１の低解像度マクロブロックデータを離散コサイン変換し、得られた離散コサイン変換係数を量子化器１６に送出する。
【００１９】
量子化器１６は、出力段に設けられたバッファ１７における符号化データの蓄積量（以下、これをデータ蓄積量と呼ぶ）を所定周期で検出し、当該検出したデータ蓄積量に応じて量子化ステップを選定する。
【００２０】
これにより量子化器１６は、離散コサイン変換器１５から与えられた離散コサイン変換係数を対応する量子化ステップに基づいて量子化し、得られた量子化係数をその量子化ステップと共に可変長符号化器１４及び逆量子化器１８に送出する。
【００２１】
可変長符号化器１４は、量子化器１６から与えられた量子化係数をハフマン符号等により可変長符号化（VLC:Variable Length Code）すると共に、当該量子化器１６から与えられた量子化ステップ及び動きベクトル検出器１２から与えられた予測モードデータも可変長符号化し、得られた符号化データをバッファ１７を介して外部に出力する。
【００２２】
このようにして第１のエンコーダ５においては、入力用フレームメモリ１０内の第１の低解像度フレーム画像データを順次第１の低解像度マクロブロックデータ単位でフレーム内符号化により圧縮符号化し、得られた符号化データを外部に出力する。
【００２３】
また、逆量子化器１８は、量子化器１６から与えられた量子化係数を同様に量子化器１６から与えられた量子化ステップに基づいて逆量子化し、得られた離散コサイン変換係数を逆離散コサイン変換器１９に送出する。
【００２４】
逆離散コサイン変換器１９は、逆量子化器１８から与えられた離散コサイン変換係数を逆離散コサイン変換（IDCT:Inverse Discrete Cosine Transform）し、得られた第１の低解像度マクロブロックデータを加算器２０に送出する。
【００２５】
加算器２０は、逆離散コサイン変換器１９から第１の低解像度マクロブロックデータが与えられると、このとき動き補償器１３からは何らデータが与えられないことにより第１の低解像度マクロブロックデータをそのまま複数フレーム分の記録容量を有する参照用フレームメモリ２１に送出して格納し、かくして参照用フレームメモリ２１内に第１の低解像度フレーム画像データを再構築する。
【００２６】
一方、演算器１１は、入力用フレームメモリ１０内でＰピクチャが割り当てられた低解像度フレーム画像データ（以下、これを特に第２の低解像度フレーム画像データと呼ぶ）については、当該第２の低解像度フレーム画像データの解像度に応じた低解像度のマクロブロック単位のデータ（以下、これを第２の低解像度マクロブロックデータと呼ぶ）として順次読み出す。
【００２７】
この場合、動きベクトル検出器１２は、演算器１１により入力用フレームメモリ１０から第２の低解像度マクロブロックデータが読み出される毎に、当該入力用フレームメモリ１０から同じ第２の低解像度マクロブロックデータとこれに対応するピクチャ情報（すなわち、Ｐピクチャを表す）とを読み出すと共に、そのピクチャ情報に基づいて第２の低解像度マクロブロックデータよりも順方向側（時間的に過去）の第１又は第２の低解像度フレーム画像データを順方向予測の参照用として読み出す。
【００２８】
そして、動きベクトル検出器１２は、ブロックマッチング法により参照用の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内で第２の低解像度マクロブロックデータに基づく第２の低解像度マクロブロックを複数の比較用ブロックと順次対応付けながら当該第２の低解像度マクロブロック内の各画素の画素値と比較用ブロックのそれぞれ対応する画素の画素値との差分の絶対値の総和（以下、これを予測誤差と呼ぶ）を算出する。
【００２９】
これにより動きベクトル検出器１２は、第２の低解像度マクロブロックと各比較用ブロックとの間で順次算出した予測誤差のうち最も値の小さい予測誤差（以下、これを特に最小予測誤差）を選定すると共に、その最小予測誤差を算出したときに用いた比較用ブロック（以下、これを順方向近似ブロックと呼ぶ）を第２の低解像度マクロブロックと最も一致するものとして検出し、当該検出した順方向近似ブロックと第２の低解像度マクロブロックとの動き量により第２の低解像度マクロブロックデータの順方向の動きベクトルを検出する。
【００３０】
これに加えて、動きベクトル検出器１２は、第２の低解像度マクロブロック内の各画素の画素値の平均値を算出した後にその算出した平均値と各画素値との差分の絶対値の総和（以下、これを分散値と呼ぶ）を算出し、当該算出した分散値を最小予測誤差と比較する。
【００３１】
この結果、動きベクトル検出器１２は、分散値が最小予測誤差よりも小さければ、第２の低解像度マクロブロックに対して各画素の分散（画素値のばらつき）が小さいために第２の低解像度マクロブロックデータをそのまま圧縮符号化しても符号化データのデータ量（以下、これを符号化データ量と呼ぶ）を比較的少なくし得ると判断し、その第２の低解像度マクロブロックデータをフレーム内符号化により圧縮符号化することを表す予測モードデータを生成してこれを動き補償器１３及び可変長符号化器１４に送出する。
【００３２】
これに対して、動きベクトル検出器１２は、分散値が最小予測誤差よりも大きければ、第２の低解像度マクロブロックに対して各画素の分散（画素値のばらつき）が大きいために第２の低解像度マクロブロックデータを順方向予測符号化により圧縮符号化しなければ符号化データ量を少なくし難いと判断し、このとき第２の低解像度マクロブロックデータを順方向予測符号化により圧縮符号化することを表す予測モードデータを生成してこれを当該第２の低解像度マクロブロックデータの動きベクトルと共に動き補償器１３及び可変長符号化器１４に送出する。
【００３３】
これにより動き補償器１３は、動きベクトル検出器１２から第２の低解像度マクロブロックデータに対してフレーム内符号化を表す予測モードデータが与えられると、当該第２の低解像度マクロブロックデータに対する動き補償処理を停止する。
【００３４】
これに対して、動き補償器１３は、動きベクトル検出器１２から第２の低解像度マクロブロックデータに対する動きベクトルと、順方向予測符号化を表す予測モードデータとが与えられると、動き補償処理を実行して参照用フレームメモリ２１から第２の低解像度マクロブロックデータよりも順方向側（時間的に過去）の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【００３５】
そして、動き補償器１３は、その第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から動きベクトルに基づいて第２の低解像度マクロブロックデータに基づく第２の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これを演算用ブロックデータとして演算器１１及び加算器２０に送出する。
【００３６】
演算器１１は、入力用フレームメモリ１０から読み出した第２の低解像度マクロブロックデータに対する予測モードとしてフレーム内符号化が選択されたときには、動き補償器１３から演算用ブロックデータが与えられないことにより当該第２の低解像度マクロブロックデータをそのまま離散コサイン変換器１５に送出する。
【００３７】
これにより第１のエンコーダ５においては、第２の低解像度マクロブロックデータに対する予測モードとしてフレーム内符号化が選択されたときには、離散コサイン変換器１５、量子化器１６、可変長符号化器１４、バッファ１７、逆量子化器１８、逆離散コサイン変換器１９、加算器２０及び参照用フレームメモリ２１をそれぞれ上述した第１の低解像度マクロブロックデータを圧縮符号化したときと同様に動作させ、かくして第２の低解像度マクロブロックデータを量子化ステップ及び予測モードデータと共に可変長符号化し、得られた符号化データを外部に出力すると共に、圧縮した第２の低解像度マクロブロックデータを復号化して参照用フレームメモリ２１に格納する。
【００３８】
また演算器１１は、入力用フレームメモリ１０から読み出した第２の低解像度マクロブロックデータに対する予測モードとして順方向予測符号化が選択されたときには、動き補償器１３から与えられた演算用ブロックデータを当該第２の低解像度マクロブロックデータから減算し、得られた差分データを離散コサイン変換器１５に送出する。
【００３９】
この場合、離散コサイン変換器１５は、演算器１１から与えられた差分データを離散コサイン変換し、得られた離散コサイン変換係数を量子化器１６に送出する。
【００４０】
また、量子化器１６は、その離散コサイン変換係数を上述した第１の低解像度マクロブロックデータを処理したときと同様に選定した対応する量子化ステップに基づいて量子化し、得られた量子化係数をその量子化ステップと共に可変長符号化器１４及び逆量子化器１８に送出する。
【００４１】
そして、可変長符号化器１４は、その量子化係数をハフマン符号等により可変長符号化すると共に、対応する量子化ステップ及び予測モードデータ（順方向予測符号化を表す）並びに動きベクトルも可変長符号化し、このようにして得られた符号化データをバッファ１７を介して外部に出力する。
【００４２】
このとき、逆量子化器１８は、量子化器１６から与えられた量子化係数を同様に量子化器１６から与えられた量子化ステップに基づいて逆量子化し、得られた離散コサイン変換係数を逆離散コサイン変換器１９に送出する。
【００４３】
また、逆離散コサイン変換器１９は、逆量子化器１８から与えられた離散コサイン変換係数を逆離散コサイン変換し、得られた差分データを加算器２０に送出する。
【００４４】
加算器２０は、逆離散コサイン変換器１９から与えられた差分データをこのとき動き補償器１３から与えられた演算用ブロックデータと加算し、得られた第２の低解像度マクロブロックデータを参照用フレームメモリ２１に送出して格納する。
【００４５】
このようにして第１のエンコーダ５においては、第２の低解像度フレーム画像データを順次第２の低解像度マクロブロックデータ単位で圧縮符号化したときにも参照用フレームメモリ２１内に第２の低解像度フレーム画像データを再構築する。
【００４６】
これに加えて、演算器１１は、入力用フレームメモリ１０内でＢピクチャが割り当てられた低解像度フレーム画像データ（以下、これを特に第３の低解像度フレーム画像データと呼ぶ）については、当該第３の低解像度フレーム画像データの解像度に応じた低解像度のマクロブロック単位のデータ（以下、これを第３の低解像度マクロブロックデータと呼ぶ）として順次読み出す。
【００４７】
この場合、動きベクトル検出器１２は、演算器１１により入力用フレームメモリ１０から第３の低解像度マクロブロックデータが読み出される毎に、当該入力用フレームメモリ１０から同じ第３の低解像度マクロブロックデータとこれに対応するピクチャ情報（すなわち、Ｂピクチャを表す）とを読み出すと共に、そのピクチャ情報に基づいて第３の低解像度マクロブロックデータよりも順方向側（時間的に過去）の第１又は第２の低解像度フレーム画像データ及び逆方向側（時間的に未来）の第１又は第２の低解像度フレーム画像データを順方向予測、逆方向予測及び双方向予測の参照用として読み出す。
【００４８】
そして、動きベクトル検出器１２は、上述した第２の低解像度マクロブロックデータのときと同様にブロックマッチング法により順方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内で最小予測誤差（以下、これを特に順方向最小予測誤差と呼ぶ）となる順方向近似ブロックを検出するようにして第３の低解像度マクロブロックデータに対する順方向の動きベクトルを検出する。
【００４９】
同様に動きベクトル検出器１２は、ブロックマッチング法により逆方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内で最小予測誤差（以下、これを特に逆方向最小予測誤差と呼ぶ）となる比較用ブロック（以下、これを逆方向近似ブロックと呼ぶ）を検出するようにして第３の低解像度マクロブロックデータに対する逆方向の動きベクトルを検出する。
【００５０】
さらに、動きベクトル検出器１２は、このように検出した順方向近似ブロック及び逆方向近似ブロックの対応する画素同士の画素値を平均化して平均近似ブロックを生成し、当該生成した平均近似ブロックと第３の低解像度マクロブロックとの予測誤差（以下、これを双方向予測誤差と呼ぶ）を算出する。
【００５１】
これにより動きベクトル検出器１２は、順方向最小予測誤差、逆方向最小予測誤差及び双方向予測誤差のうち最も値の小さい１つの順方向最小予測誤差、逆方向最小予測誤差又は双方向予測誤差を選定すると共に、第３の低解像度マクロブロックデータに対しても上述した第２の低解像度マクロブロックデータのときと同様にして分散値を算出し、当該算出した分散値をその選定した１つの順方向最小予測誤差、逆方向最小予測誤差又は双方向予測誤差（以下、これを特に選定予測誤差と呼ぶ）と比較する。
【００５２】
この結果、動きベクトル検出器１２は、分散値が選定予測誤差よりも小さければ、第３の低解像度マクロブロックに対して各画素の分散（ばらつき）が小さいために第３の低解像度マクロブロックデータをそのまま圧縮符号化しても符号化データ量を比較的少なくし得ると判断し、その第３の低解像度マクロブロックデータをフレーム内符号化により圧縮符号化することを表す予測モードデータを生成してこれを動き補償器１３及び可変長符号化器１４に送出する。
【００５３】
これに対して、動きベクトル検出器１２は、分散値が選定予測誤差よりも大きければ、第３の低解像度マクロブロックに対して各画素の分散（ばらつき）が大きいために第３の低解像度マクロブロックデータをフレーム内符号化以外の予測モードで圧縮符号化しなければ符号化データ量を少なくし難いと判断する。
【００５４】
このとき、動きベクトル検出器１２は、選定予測誤差が順方向最小予測誤差であれば、第３の低解像度マクロブロックデータを順方向予測符号化により圧縮符号化することを表す予測モードデータを生成してこれを当該第３の低解像度マクロブロックデータの順方向の動きベクトルと共に動き補償器１３及び可変長符号化器１４に送出する。
【００５５】
また、動きベクトル検出器１２は、その選定予測誤差が逆方向最小予測誤差であれば、第３の低解像度マクロブロックデータを逆方向予測符号化により圧縮符号化することを表す予測モードデータを生成してこれを当該第３の低解像度マクロブロックデータの逆方向の動きベクトルと共に動き補償器１３及び可変長符号化器１４に送出する。
【００５６】
さらに、動きベクトル検出器１２は、その選定予測誤差が双方向予測誤差であれば、第３の低解像度マクロブロックデータを双方向予測符号化により圧縮符号化することを表す予測モードデータを生成してこれを当該第３の低解像度マクロブロックデータの順方向及び逆方向の双方の動きベクトルと共に動き補償器１３及び可変長符号化器１４に送出する。
【００５７】
動き補償器１３は、動きベクトル検出器１２から第３の低解像度マクロブロックデータに対してフレーム内符号化を表す予測モードデータが与えられると、当該第３の低解像度マクロブロックデータに対する動き補償処理を停止する。
【００５８】
これに対して動き補償器１３は、動きベクトル検出器１２から第３の低解像度マクロブロックデータに対する順方向の動きベクトルと順方向予測符号化を表す予測モードデータとが与えられると、動き補償処理を実行して参照用フレームメモリ２１から第３の低解像度マクロブロックデータよりも順方向側（時間的に過去）の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【００５９】
そして、動き補償器１３は、参照用の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内からその順方向の動きベクトルに基づいて第３の低解像度マクロブロックデータに基づく第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これを演算用ブロックデータとして演算器１１及び加算器２０に送出する。
【００６０】
また、動き補償器１３は、動きベクトル検出器１２から第３の低解像度マクロブロックデータに対する逆方向の動きベクトルと逆方向予測符号化を表す予測モードデータとが与えられると、このときにも動き補償処理を実行して参照用フレームメモリ２１から第３の低解像度マクロブロックデータよりも逆方向側（時間的に未来）の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【００６１】
そして、動き補償器１３は、参照用の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内からその逆方向の動きベクトルに基づいて第３の低解像度マクロブロックデータに基づく第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これを演算用ブロックデータとして演算器１１及び加算器２０に送出する。
【００６２】
さらに動き補償器１３は、動きベクトル検出器１２から第３の低解像度マクロブロックデータに対する順方向及び逆方向の双方の動きベクトルと双方向予測符号化を表す予測モードデータとが与えられたときにも動き補償処理を実行して参照用フレームメモリ２１から第３の低解像度マクロブロックデータよりも順方向側（時間的に過去）の第１又は第２の低解像度フレーム画像データと逆方向側（時間的に未来）の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【００６３】
そして、動き補償器１３は、順方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から順方向の動きベクトルに基づいて第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出すると共に、逆方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から逆方向の動きベクトルに基づいて第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これら抽出した２つの演算用ブロックの対応する画素同士の画素値を平均化して平均演算用ブロックを生成し、これを平均演算用ブロックデータとして演算器１１及び加算器２０に送出する。
【００６４】
演算器１１は、入力用フレームメモリ１０から読み出した第３の低解像度マクロブロックデータに対する予測モードとしてフレーム内符号化が選択されたときには、動き補償器１３からは何らデータが与えられないことにより当該第３の低解像度マクロブロックデータをそのまま離散コサイン変換器１５に送出する。
【００６５】
これにより第１のエンコーダ５においては、第３の低解像度マクロブロックデータに対する予測モードとしてフレーム内符号化が選択されたときには、離散コサイン変換器１５、量子化器１６、可変長符号化器１４、バッファ１７、逆量子化器１８、逆離散コサイン変換器１９、加算器２０及び参照用フレームメモリ２１をそれぞれ上述した第１の低解像度マクロブロックデータを圧縮符号化したときと同様に動作させ、かくして第３の低解像度マクロブロックデータを量子化ステップ及び予測モードデータと共に可変長符号化し、得られた符号化データを外部に出力すると共に、圧縮した第３の低解像度マクロブロックデータを復号化して参照用フレームメモリ２１に格納する。
【００６６】
また、演算器１１は、入力用フレームメモリ１０から読み出した第３の低解像度マクロブロックデータに対する予測モードとして順方向予測符号化、逆方向予測符号化及び双方向予測符号化が選択されたときには、動き補償器１３から与えられた演算用ブロックデータ又は平均演算用ブロックデータを当該第３の低解像度マクロブロックデータから減算し、得られた差分データを離散コサイン変換器１５に送出する。
【００６７】
この場合、離散コサイン変換器１５は、演算器１１から与えられた差分データを離散コサイン変換し、得られた離散コサイン変換係数を量子化器１６に送出する。
【００６８】
量子化器１６は、その離散コサイン変換係数を上述した第１の低解像度マクロブロックデータを処理したときと同様に選定した対応する量子化ステップに基づいて量子化し、得られた量子化係数をその量子化ステップと共に可変長符号化器１４及び逆量子化器１８に送出する。
【００６９】
そして、可変長符号化器１４は、このとき量子化係数の元になる第３の低解像度マクロブロックデータに対する予測モードとして順方向予測符号化が選定されたときには、当該量子化係数をハフマン符号等により可変長符号化すると共に、対応する量子化ステップ及び予測モードデータ（順方向予測符号化を表す）並びに順方向の動きベクトルも可変長符号化し、このようにして得られた符号化データをバッファ１７を介して外部に出力する。
【００７０】
また、可変長符号化器１４は、量子化係数の元になる第３の低解像度マクロブロックデータに対する予測モードとして逆方向予測符号化が選定されたときには、当該量子化係数をハフマン符号等により可変長符号化すると共に、対応する量子化ステップ及び予測モードデータ（逆方向予測符号化を表す）並びに逆方向の動きベクトルも可変長符号化し、このようにして得られた符号化データをバッファ１７を介して外部に出力する。
【００７１】
さらに、可変長符号化器１４は、量子化係数の元になる第３の低解像度マクロブロックデータに対する予測モードとして双方向予測符号化が選定されたときには、当該量子化係数をハフマン符号等により可変長符号化すると共に、対応する量子化ステップ及び予測モードデータ（双方向予測符号化を表す）並びに順方向及び逆方向の双方の動きベクトルも可変長符号化し、このようにして得られた符号化データをバッファ１７を介して外部に出力する。
【００７２】
このとき、逆量子化器１８は、量子化器１６から与えられた量子化係数を同様に量子化器１６から与えられた量子化ステップに基づいて逆量子化し、得られた離散コサイン変換係数を逆離散コサイン変換器１９に送出する。
【００７３】
また、逆離散コサイン変換器１９は、逆量子化器１８から与えられた離散コサイン変換係数を逆離散コサイン変換し、得られた差分データを加算器２０に送出する。
【００７４】
そして、加算器２０は、逆離散コサイン変換器１９から与えられた差分データをこのとき動き補償器１３から与えられた演算用ブロックデータ又は平均演算用ブロックデータと加算し、得られた第３の低解像度マクロブロックデータを参照用フレームメモリ２１に送出して格納する。
【００７５】
このようにして第１のエンコーダ５においては、第３の低解像度フレーム画像データを順次第３の低解像度マクロブロックデータ単位で圧縮符号化したときにも、参照用フレームメモリ２１内に第３の低解像度フレーム画像データを再構築する。
【００７６】
かくして第１のエンコーダ５においては、解像度を下げた動画像データを順次低解像度フレーム画像データ単位でＩピクチャ、Ｐピクチャ、当該Ｉピクチャ及びＰピクチャ間、又は２つのＰピクチャ間に位置するＢピクチャの順番を繰り返すようにして圧縮符号化し、得られた符号化データを外部に出力し得るようになされている。
【００７７】
一方、第２及び第３のエンコーダ６及び７は、それぞれ対応する第２及び第３の解像度変換器３及び４から１／４の解像度に変換された動画像データ及び１／８の解像度に変換された動画像データが与えられ、当該解像度の変換された動画像データを順次低解像度フレーム画像データ単位で第１のエンコーダ５の場合と同様に圧縮符号化し、得られた符号化データを外部に出力する。
【００７８】
かくして動画像符号化装置１においては、配信対象の動画像データからそれぞれ解像度の異なる複数の動画像データを生成し、これら解像度の異なる動画像データを圧縮符号化することにより各種インターネット接続回線をそれぞれ効率良く利用して動画像を配信させ得るようになされている。
【００７９】
ところがかかる構成の動画像符号化装置１においては、配信対象の動画像データは１つであるのにその解像度が異なるだけで第１乃至第３のエンコーダ５乃至７がこれら解像度の異なる動画像データをそれぞれ個別に圧縮符号化していることにより配信対象の動画像データに対する圧縮符号化処理の処理負荷が大幅に増加し、その圧縮符号化処理に多大な処理時間が必要になる問題があった。
【００８０】
本発明は以上の点を考慮してなされたもので、１つの動画像データから得られる解像度の異なる複数の動画像データに対して圧縮符号化処理を高速化し得る動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラムを提案しようとするものである。
【００８１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、１つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、当該１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、当該最も低い解像度の動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出し、当該階層動きベクトルを検出したときに算出した最小予測誤差に基づき、１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出して、当該１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであることを検出しないときは暫定的なピクチャタイプを変更せずに確定し、１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであることを検出したときは暫定的なピクチャタイプを変更して確定すると共に、当該変更後のピクチャタイプに従い、最も低い解像度の動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、最も低い解像度の動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出し直し、解像度の異なる複数の動画像データのうち最も低い解像度以上の少なくとも２種類の解像度の動画像データをそれぞれ、確定したピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、階層動きベクトルを共有化して用いて少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化するようにした。
【００８２】
従って、最も低い解像度以上の少なくとも２種類の解像度の動画像データを圧縮符号化する際、動きベクトルの検出及びシーンチェンジの有無の検出による演算量を減らして圧縮符号化処理の処理負荷を大幅に低減させることができる。
【００８３】
【発明の実施の形態】
以下、図面について、本発明の一実施の形態を詳述する。
【００８４】
（１）第１の実施の形態
図１において、３０は全体として第１の実施の形態による動画像符号化装置を示し、被写体を撮像している外部のビデオカメラ（図示せず）から供給される動画像データＤ１を順次フレーム画像データ単位で解像度変換処理部３１の第１乃至第３の解像度変換器３２乃至３４と、簡易動きベクトル検出処理部３５に取り込む。
【００８５】
この場合、第１乃至第３の解像度変換器３２乃至３４は、外部から動画像データＤ１の解像度の変換率（例えば１／１、１／２、１／４、１／８の変換率）を指定する変換率指定情報ＨＳ１乃至ＨＳ３が与えられており、その変換率指定情報ＨＳ１乃至ＨＳ３に基づいて動画像データＤ１に対する解像度の変換処理を実行し、当該変換率指定情報ＨＳ１乃至ＨＳ３の指定内容が変化すれば、これに応じて動画像データＤ１の解像度の変換率を変更し得るようになされている。
【００８６】
このため、第１乃至第３の解像度変換器３２乃至３４は、動画像データＤ１に対する解像度の変換処理を実行すると、この結果得られる動画像データを対応する変換率指定情報ＨＳ１乃至ＨＳ３と共に対応する第１乃至第３のエンコーダ３７乃至３９に送出することにより当該第１乃至第３のエンコーダ３７乃至３９にその変換率指定情報ＨＳ１乃至ＨＳ３によって動画像データの解像度を通知する。
【００８７】
実際上第１の解像度変換器３２は、外部から供給される動画像データＤ１を順次フレーム画像データ単位で取り込む毎に、例えば１／４の変換率を指定する変換率指定情報ＨＳ１に基づいてフレーム画像データに基づくフレーム画像から画素を間引くことにより動画像データＤ１の解像度を１／４の解像度に変換し、当該解像度を１／４に変換した動画像データＤ２を変換率指定情報ＨＳ１と共に第１のエンコーダ３７に送出する。
【００８８】
また、第２の解像度変換器３３は、外部から供給される動画像データＤ１を順次フレーム画像データ単位で取り込む毎に、例えば１／２の変換率を指定する変換率指定情報ＨＳ２に基づいてフレーム画像データに基づくフレーム画像から画素を間引くことにより動画像データＤ１の解像度を１／２の解像度に変換し、当該解像度を１／２に変換した動画像データＤ３を変換率指定情報ＨＳ２と共に第２のエンコーダ３８に送出する。
【００８９】
さらに、第３の解像度変換器３４は、外部から供給される動画像データＤ１を順次フレーム画像データ単位で取り込む毎に、１／１の変換率を指定する変換率指定情報ＨＳ３に基づいて当該動画像データＤ１をそのまま変換率指定情報ＨＳ３と共に第３のエンコーダ３９に送出する。
【００９０】
かくして解像度変換処理部３１は、配信対象の１つの動画像データＤ１からそれぞれ解像度の異なる複数の動画像データＤ１乃至Ｄ３を得て対応する第１乃至第３のエンコーダ３７乃至３９に送出する。
【００９１】
簡易動きベクトル検出処理部３５は、図２に示すように、外部から供給される動画像データＤ１を順次フレーム画像データ単位で、複数フレーム分の記録容量を有する割当用フレームメモリ４０に取り込む。
【００９２】
この場合、ピクチャ割当器４１は、図３（Ａ）に示すように、割当用フレームメモリ４０に動画像データＤ１のフレーム画像データを順次取り込む毎に、当該取り込んだフレーム画像データに例えば先頭のフレーム画像データにＢピクチャを割り当て、２フレーム目以降には１つのＩピクチャに所定数のＢピクチャ及びＰピクチャが順次交互に連続するようなパターンを順次繰り返す順番でＩピクチャ、Ｐピクチャ及びＢピクチャのピクチャタイプを暫定的に割り当てる。
【００９３】
また、ピクチャ割当器４１は、このようにフレーム画像データに順次Ｉピクチャ、Ｐピクチャ及びＢピクチャを割り当てると、当該Ｉピクチャ、Ｐピクチャ及びＢピクチャを表すピクチャタイプとこれらを割り当てたフレーム画像データ固有のフレーム識別情報とをピクチャ情報として割当用フレームメモリ４０に記録する。
【００９４】
簡易動きベクトル検出器４２（図２）は、割当用フレームメモリ４０内でＩピクチャが割り当てられたフレーム画像データ（以下、これを第１のフレーム画像データと呼ぶ）については、当該割当用フレームメモリ４０から第１のフレーム画像データのピクチャ情報を読み出して第１乃至第３のエンコーダ３７乃至３８に送出する。
【００９５】
また、簡易動きベクトル検出器４２は、割当用フレームメモリ４０内でＰピクチャが割り当てられたフレーム画像データ（以下、これを第２のフレーム画像データと呼ぶ）については、図３（Ｂ）に示すように、当該割当用フレームメモリ４０からその第２のフレーム画像データを動きベクトル検出対象として順次マクロブロック単位のデータ（以下、これを第２のマクロブロックデータと呼ぶ）Ｄ１０で読み出すと共に、当該第２のフレーム画像データよりも時間的に順方向側の任意の第１又は第２のフレーム画像データＤ１１を参照用として読み出す。
【００９６】
ここで、簡易動きベクトル検出器４２は、動きベクトル検出対象の第２のフレーム画像データを、第１乃至第３の解像度変換器３２乃至３４に対して設定し得る解像度よりも低い例えば１／１６の解像度に変換して簡易動きベクトルを検出する。
【００９７】
すなわち、簡易動きベクトル検出器４２は、図４（Ａ）及び（Ｂ）に示すように、階層サーチ動きベクトル検出方式による原画像レベルの第１階層よりも下層の第５階層において、第２のマクロブロックデータＤ１０に基づく第２のマクロブロックＭＢ１から画素を間引くことにより１／１６の解像度の階層マクロブロックＭＢ２を生成すると共に、同様に参照用の第１又は第２のフレーム画像データＤ１１に基づく第１又は第２のフレーム画像ＦＧ１から画素を間引くことにより１／１６の解像度の階層フレーム画像ＦＧ２を生成する。
【００９８】
そして、簡易動きベクトル検出器４２は、ブロックマッチング法により階層マクロブロックＭＢ２を階層フレーム画像ＦＧ２の比較的狭いサーチ範囲内で複数の比較用ブロックと順次対応付けながら当該階層マクロブロックＭＢ２の各画素の画素値と比較用ブロックのそれぞれ対応する画素の画素値との差分の絶対値の総和（以下、これを予測誤差と呼ぶ）を算出する。
【００９９】
これにより簡易動きベクトル検出器４２は、階層マクロブロックＭＢ２と各比較用ブロックとの間で順次算出した予測誤差のうち最も値の小さい予測誤差（以下、これを特に最小予測誤差と呼ぶ）を選定し、当該選定した最小予測誤差を算出したときに用いた比較用ブロック（以下、これを近似ブロックと呼ぶ）を階層マクロブロックＭＢ２と最も一致するものとして検出する。
【０１００】
このようにして簡易動きベクトル検出器４２は、これら階層マクロブロックＭＢ２と近似ブロックとの動き量により階層マクロブロックデータＤ１２の第５階層における動きベクトル（以下、これを第５階層動きベクトルと呼ぶ）を検出する。
【０１０１】
ところで、簡易動きベクトル検出器４２は、第１乃至第３の解像度変換器３２乃至３４に与えられた変換率指定情報ＨＳ１乃至ＨＳ３の内容を表す制御情報ＳＧ１が外部から与えられており、動きベクトル検出対象の第２のフレーム画像データに対する１フレーム分の第５階層動きベクトルを検出すると、制御情報ＳＧ１に基づいてこれら第５階層動きベクトルを第１乃至第３の解像度変換器３２乃至３４における解像度の変換率に応じて４倍、８倍及び１６倍に変倍することにより第１乃至第３のエンコーダ３７乃至３９における処理用に解像度を合わせた順方向側の簡易動きベクトル（以下、これを順方向側簡易動きベクトルと呼ぶ）Ｄ１５、Ｄ１６、Ｄ１７を生成する。
【０１０２】
そして、簡易動きベクトル検出器４２は、このように順方向側簡易動きベクトルＤ１５、Ｄ１６及びＤ１７を生成すると、割当用フレームメモリ４０から順方向側簡易動きベクトルＤ１５、Ｄ１６及びＤ１７の検出に用いた動きベクトル検出対象の第２のフレーム画像データのピクチャ情報及び参照用の第１又は第２のフレーム画像データＤ１１のピクチャ情報を読み出し、当該読み出したこれらピクチャ情報を順方向側簡易動きベクトルＤ１５、Ｄ１６及びＤ１７と対応付けてそれぞれ対応する第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１０３】
また、簡易動きベクトル検出器４２は、割当用フレームメモリ４０内でＢピクチャが割り当てられたフレーム画像データ（以下、これを第３のフレーム画像データと呼ぶ）については、図３（Ｂ）に示すように、当該割当用フレームメモリ４０から第３のフレーム画像データを動きベクトル検出対象として順次マクロブロック単位のデータ（以下、これを第３のマクロブロックデータと呼ぶ）Ｄ２０で読み出す。
【０１０４】
これに加えて簡易動きベクトル検出器４２は、割当用フレームメモリ４０からその動きベクトル検出対象の第３のフレーム画像データよりも時間的に順方向側の任意の第１又は第２のフレーム画像データＤ２１と、同様に時間的に逆方向側の任意の第１又は第２のフレーム画像データＤ２２とをそれぞれ参照用として読み出す。
【０１０５】
この場合、簡易動きベクトル検出器４２は、まず図４（Ａ）及び（Ｂ）について上述した場合と同様に階層サーチ動きベクトル検出方式による第５階層において、第３のマクロブロックデータＤ２０に基づく第３のマクロブロックから１／１６の解像度の階層マクロブロックを生成すると共に、同様に順方向側で参照用に割り当てた第１又は第２のフレーム画像データＤ２１に基づく第１又は第２のフレーム画像から１／１６の解像度の階層フレーム画像データを生成する。
【０１０６】
そして、簡易動きベクトル検出器４２は、これら階層マクロブロック及び階層フレーム画像を用いてブロックマッチング法により階層マクロブロックデータの順方向側の第５階層動きベクトルを検出する。
【０１０７】
次いで、簡易動きベクトル検出器４２は、図４（Ａ）及び（Ｂ）について上述した場合と同様に階層サーチ動きベクトル検出方式による第５階層において、逆方向側で参照用に割り当てた第１又は第２のフレーム画像データＤ２１に基づく第１又は第２のフレーム画像から１／１６の解像度の階層フレーム画像を生成し、当該生成した階層フレーム画像と、第３のマクロブロックデータの階層マクロブロックとを用いてブロックマッチング法により当該階層マクロブロックデータの逆方向側の第５階層動きベクトルを検出する。
【０１０８】
そして、簡易動きベクトル検出器４２は、動きベクトル検出対象の第３のフレーム画像データに対する１フレーム分の順方向側及び逆方向側の第５階層動きベクトルを検出すると、制御情報ＳＧ１に基づいてこれら順方向側及び逆方向側の第５階層動きベクトルをそれぞれ４倍、８倍及び１６倍に変倍することにより第１乃至第３のエンコーダ３７乃至３９における処理用に解像度を合わせた順方向側の簡易動きベクトル（以下、これを順方向側簡易動きベクトルと呼ぶ）Ｄ２３、Ｄ２４、Ｄ２５を生成すると共に逆方向側の簡易動きベクトル（以下、これを逆方向側簡易動きベクトルと呼ぶ）Ｄ２６、Ｄ２７、Ｄ２８を生成する。
【０１０９】
これにより簡易動きベクトル検出器４２は、このように順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成すると、割当用フレームメモリ４０からその順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８の検出に用いた動きベクトル検出対象の第３のフレーム画像データのピクチャ情報及び順方向側及び逆方向側の参照用の第１又は第２のフレーム画像データＤ２１及びＤ２２のピクチャ情報を読み出し、当該読み出したこれらピクチャ情報を順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８と対応付けてそれぞれ対応する第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１１０】
ところで、簡易動きベクトル検出器４２は、第２及び第３のフレーム画像データに対する１フレーム分の順方向側及び逆方向側の第５階層動きベクトルを検出すると、当該第５階層動きベクトルに基づいて順方向側及び逆方向側簡易動きベクトルＤ１５乃至Ｄ１７、Ｄ２３乃至Ｄ２８を生成する前に、当該第５階層動きベクトルの検出によって算出した全ての最小予測誤差をシーンチェンジ検出器４３に送出する。
【０１１１】
これによりシーンチェンジ検出器４３は、簡易動きベクトル検出器４２から１フレーム分の最小予測誤差が与えられる毎に、当該１フレーム分の最小予測誤差を全て加算して合計最小予測誤差を算出し、その合計最小予測誤差をすでに算出している全ての合計最小予測誤差の平均値（以下、これを予測誤差平均値と呼ぶ）と比較する。
【０１１２】
この結果、シーンチェンジ検出器４３は、算出した合計最小予測誤差が予測誤差平均値以下の値であれば、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データと、すでに処理している順方向側の連続する第１乃至第３のフレーム画像データとの相関が比較的高いことによりこれら動きベクトル検出対象の第２及び第３のフレーム画像データを含む第１乃至第３のフレーム画像データが全て動画像の１つのシーンを構成するフレーム画像データであると判断する。
【０１１３】
このときシーンチェンジ検出器４３は、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データに対して暫定的に割り当てていたピクチャタイプを恒久的なピクチャタイプとして確定してこれを簡易動きベクトル検出器４２に通知する。
【０１１４】
また、シーンチェンジ検出器４３は、算出した合計最小予測誤差が予測誤差平均値よりも大きい値であれば、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データと、すでに処理している順方向側の連続する第１乃至第３のフレーム画像データとの相関が比較的低いことにより当該順方向側の連続する第１乃至第３のフレーム画像データの構成する動画像のシーンに対してこの時点で動きベクトル検出対象の第２又は第３のフレーム画像データの構成する動画像のシーンが変化したと判断する。
【０１１５】
このときシーンチェンジ検出器４３は、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データに対して暫定的に割り当てていたピクチャタイプを他のピクチャタイプに変更することを簡易動きベクトル検出器４２に通知する。
【０１１６】
従って、簡易動きベクトル検出器４２は、シーンチェンジ検出器４３からピクチャタイプの確定が通知されると、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データに対して検出した１フレーム分の順方向側及び逆方向側の第５階層動きベクトルに基づいて順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成し、対応するピクチャ情報と共に第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１１７】
これに対して簡易動きベクトル検出器４２は、シーンチェンジ検出器４３からピクチャタイプの変更が通知されると、この時点で動きベクトル検出対象の第２又は第３のフレーム画像データに対して暫定的なピクチャタイプに変えてシーンチェンジに応じた新たなピクチャタイプ（Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれか）を割り当てることにより当該新たなピクチャタイプに従ってその第２又は第３のフレーム画像データに対して上述と同様な処理を実行する。
【０１１８】
因みに、簡易動きベクトル検出器４２は、シーンが変化した時点のフレーム画像データに対してＩピクチャを割り当てるように設定されているときには、当該シーンの変化した時点の第２又は第３のフレーム画像データに新たにＩピクチャを割り当て直してピクチャ情報のみを第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１１９】
また、簡易動きベクトル検出器４２は、シーンが変化した時点のフレーム画像データに対してＰピクチャ又はＢピクチャを割り当てるように設定されているときには、当該シーンの変化した時点の第２又は第３のフレーム画像データに新たにＰピクチャ又はＢピクチャを割り当て直して第５階層動きベクトルを再検出した後、当該再検出した第５階層動きベクトルに基づいて順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成して対応するピクチャ情報と共に第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１２０】
因みに、簡易動きベクトル検出器４２は、シーンの変化に応じて第２又は第３のフレーム画像データのピクチャタイプを変更したときには、当該ピクチャタイプの変更に応じてピクチャ情報の内容（すなわち、暫定的に割り当てていたピクチャタイプ）を変更して第１乃至第３のエンコーダ３７乃至３９に送出する。
【０１２１】
このようにして簡易動きベクトル検出器４２は、暫定的なピクチャタイプに従って第２及び第３のフレーム画像データに対して順次簡易動きベクトルの検出処理を実行するものの、当該第２及び第３のフレーム画像データに対してシーンが変化した時点のフレーム画像データであることを検出したときには、その第２及び第３のフレーム画像データをシーンチェンジに応じた第１乃至第３のフレーム画像データに変更して処理する。
【０１２２】
これにより簡易動きベクトル検出処理部３５は、第１乃至第３のフレーム画像データに対してシーンチェンジに応じて適確に割り当てたピクチャタイプを第１乃至第３のエンコーダ３７乃至３９に通知し得ると共に、このように適確に割り当てたピクチャタイプに応じて生成した順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を当該第１乃至第３のエンコーダ３７乃至３９に送出し、かくして第１乃至第３のエンコーダ３７乃至３９に対して適確に動きベクトルを検出させて動画像データＤ１を圧縮符号化させ得るようになされている。
【０１２３】
ここで、第１乃至第３のエンコーダ３７乃至３９は、それぞれＭＰＥＧ２方式が適用された同様な回路構成でなり、対応する第１乃至第３の解像度変換器３２乃至３４から与えられた変換率指定情報ＨＳ１乃至ＳＨ３に基づいて動画像データＤ１乃至Ｄ３に対する圧縮符号化処理の設定を解像度に合わせて変更し、これにより動画像データＤ１乃至Ｄ３に対して順次フレーム画像データ単位で解像度に合わせた圧縮符号化処理を適確に実行し得るようになされている。
【０１２４】
実際上、第１乃至第３のエンコーダ３７乃至３９については、図５を用いて以下に第１のエンコーダ３７の回路構成についてのみ詳細に説明する。
【０１２５】
図５に示すように、第１のエンコーダ３７は、対応する第１の解像度変換器３２から与えられた１／４の解像度の動画像データＤ２を順次フレーム画像データ（以下、これを低解像度フレーム画像データと呼ぶ）単位で変換率指定情報ＨＳ１と共に、複数フレーム分の記録容量を有する入力用フレームメモリ５０に取り込むと共に、簡易動きベクトル検出処理部３５から与えられた順方向側簡易動きベクトルＤ１５、順方向側及び逆方向側簡易動きベクトルＤ２３及びＤ２６、ピクチャ情報を順次動きベクトル検出器５１に取り込む。
【０１２６】
動きベクトル検出器５１は、入力用フレームメモリ５０に低解像度フレーム画像データと共に順次取り込まれた変換率指定情報ＨＳ１に基づいて、当該低解像度フレーム画像データに対して１／４の解像度に応じた動きベクトルの検出処理を実行するように処理パラメータを設定する。
【０１２７】
また、動きベクトル検出器５１は、簡易動きベクトル検出処理部３５から与えられたピクチャ情報を入力用フレームメモリ５０に送出して格納することにより当該入力用フレームメモリ５０よりも後段の各種回路ブロックに対して低解像度フレーム画像データに割り当てられたピクチャタイプを認識させ得るようになされている。
【０１２８】
一方、演算器５２は、入力用フレームメモリ５０に低解像度フレーム画像データと共に順次取り込まれた変換率指定情報ＨＳ１に基づいて当該低解像度フレーム画像データに対して１／４の解像度に応じた圧縮符号化処理を実行するように処理パラメータを設定すると共に、その低解像度フレーム画像データの解像度（１／４）の情報を後段の各種回路ブロックに通知することによりこれら各種回路ブロックに対しても低解像度フレーム画像データに対して１／４の解像度に応じた処理を実行するように処理パラメータを設定させ得るようになされている。
【０１２９】
そして、第１のエンコーダ３７において、入力用フレームメモリ５０に順次取り込んでいる低解像度フレーム画像データに対して圧縮符号化処理を開始すると、演算器５２はその入力用フレームメモリ５０からＩピクチャの割り当てられている符号化対象の低解像度フレーム画像データ（以下、これを特に第１の低解像度フレーム画像データと呼ぶ）については、順次１／４の解像度のマクロブロック単位のデータ（以下、これを第１の低解像度低解像度マクロブロックデータと呼ぶ）Ｄ３０として読み出す。
【０１３０】
このとき動きベクトル検出器５１は、演算器５２により入力用フレームメモリ５０から符号化対象の第１の低解像度フレーム画像データが順次第１の低解像度マクロブロックデータＤ３０単位で読み出される毎に対応するピクチャ情報（すなわちＩピクチャを表す）に基づいて当該符号化対象の第１の低解像度フレーム画像データのフレーム識別情報を表すと共に、第１の低解像度マクロブロックデータＤ３０をフレーム内符号化により圧縮符号化することを表す予測モードデータＤ３１を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０１３１】
これにより動き補償器５３は、動きベクトル検出器５１から与えられた予測モードデータＤ３１（フレーム内符号化を表す）に基づいて、対応する第１の低解像度マクロブロックデータＤ３０に対する動き補償処理を停止する。
【０１３２】
従って、演算器５２は、入力用フレームメモリ５０から第１の低解像度マクロブロックデータＤ３０を読み出すと、このとき動き補償器５３からは何らデータが与えられないことにより当該第１の低解像度マクロブロックデータＤ３０をそのまま離散コサイン変換器５５に送出する。
【０１３３】
離散コサイン変換器５５は、演算器５２から与えられた第１の低解像度マクロブロックデータＤ３０を離散コサイン変換し、得られた離散コサイン変換係数Ｋ１を量子化器５６に送出する。
【０１３４】
量子化器５６は、出力段に設けられたバッファ５７における符号化データの蓄積量（以下、これをデータ蓄積量と呼ぶ）ＤＲを所定周期で検出することにより当該検出したデータ蓄積量ＤＲに応じて順次量子化ステップＳＴを選定しており、離散コサイン変換器５５から与えられた離散コサイン変換係数Ｋ１を対応する量子化ステップＳＴに基づいて量子化し、得られた量子化係数Ｋ２をその量子化ステップＳＴと共に可変長符号化器５４及び逆量子化器５８に送出する。
【０１３５】
因みに、量子化器５６は、データ蓄積量ＤＲが比較的多いときには量子化ステップＳＴを大きくすることにより圧縮率を高くし、これとは逆にデータ蓄積量ＤＲが比較的少ないときには量子化ステップＳＴを小さくすることにより圧縮率を低くし、このようにしてバッファ５７において符号化データのオーバーフローやアンダーフローが発生することを防止している。
【０１３６】
可変長符号化器５４は、量子化器５６から与えられた量子化係数Ｋ２をハフマン符号等により可変長符号化すると共に、当該量子化器５６から与えられた量子化ステップＳＴ及び動きベクトル検出器５１から与えられた予測モードデータＤ３１も可変長符号化し、得られた符号化データＤ３２をバッファ５７に一旦蓄積することにより符号化データＤ３２のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力する。
【０１３７】
このようにして第１のエンコーダ３７においては、入力用フレームメモリ５０内の第１の低解像度フレーム画像データを順次第１の低解像度マクロブロックデータＤ３０単位でフレーム内符号化により圧縮符号化し、得られた符号化データＤ３２を符号化ビットストリームＢＳ１として外部に出力する。
【０１３８】
また、逆量子化器５８は、量子化器５６から与えられた量子化係数Ｋ２を同様に量子化器５６から与えられた量子化ステップＳＴに基づいて逆量子化し、得られた離散コサイン変換係数Ｋ３を逆離散コサイン変換器５９に送出する。
【０１３９】
逆離散コサイン変換器５９は、逆量子化器５８から与えられた離散コサイン変換係数Ｋ３を逆離散コサイン変換し、得られた第１の低解像度マクロブロックデータＤ３３を加算器６０に送出する。
【０１４０】
加算器６０は、逆離散コサイン変換器５９から第１の低解像度マクロブロックデータＤ３３が与えられると、このとき動き補償器５３からは何らデータが与えられていないことにより当該第１の低解像度マクロブロックデータＤ３３をそのまま複数フレーム分の記録容量を有する参照用フレームメモリ６１に送出して格納する。
【０１４１】
このようにして加算器６０は、第１の低解像度フレーム画像データに対する圧縮符号化により逆離散コサイン変換器５９から第１の低解像度マクロブロックデータＤ３３が順次与えられる毎に当該第１の低解像度マクロブロックデータＤ３３をそのまま参照用フレームメモリ６１に送出して格納することにより、参照用フレームメモリ６１内にこれら第１の低解像度マクロブロックデータＤ３３によって動き補償処理の参照用となる第１の低解像度フレーム画像データを再構築する。
【０１４２】
また、演算器５２は、入力用フレームメモリ５０からＰピクチャが割り当てられている符号化対象の低解像度フレーム画像データ（以下、これを特に第２の低解像度フレーム画像データと呼ぶ）については、順次１／４の解像度のマクロブロック単位のデータ（以下、これを第２の低解像度マクロブロックデータと呼ぶ）Ｄ３５として順次読み出す。
【０１４３】
このとき、動きベクトル検出器５１は、演算器５２により入力用フレームメモリ５０から符号化対象の第２の低解像度フレーム画像データに対する読み出しが開始されると、対応するピクチャ情報に基づいて入力用フレームメモリ５０から当該符号化対象の第２の低解像度フレーム画像データに対して時間的に順方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ａを順方向予測の参照用として読み出す。
【０１４４】
また、動きベクトル検出器５１は、演算器５２により入力用フレームメモリ５０から符号化対象の第２の低解像度フレーム画像データが順次第２の低解像度マクロブロックデータＤ３５単位で読み出される毎に当該入力用フレームメモリ５０から同じ第２の低解像度マクロブロックデータＤ３５を読み出す。
【０１４５】
そして、動きベクトル検出器５１は、図６に示すように、第２の低解像度フレーム画像データの１／４の解像度に応じた階層サーチ動きベクトル検出方式による第１階層よりも下層の第３階層において、ブロックマッチング法により参照用の第１又は第２の低解像度フレーム画像データＤ２ａに基づく第１又は第２の低解像度フレーム画像ＦＧ３に対して対応する順方向側簡易動きベクトルＤ１５の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと第２の低解像度マクロブロックデータＤ３５に基づく第２の低解像度マクロブロックＭＢ３とを順次対応付けながら予測誤差を算出する。
【０１４６】
この結果、動きベクトル検出器５１は、算出した予測誤差のうち最小予測誤差を算出したときに用いた比較用ブロック（以下、これを順方向近似ブロックと呼ぶ）と第２の低解像度マクロブロックＭＢ３との動き量により１／４の解像度で順方向側簡易動きベクトルＤ１５を補正する補正用動きベクトルＤ３６を検出し、当該検出した補正用動きベクトルＤ３６を順方向側簡易動きベクトルＤ１５と加算することにより第２の低解像度マクロブロックデータＤ３５に対する最終的な第３階層の動きベクトルＤ３７を生成する。
【０１４７】
因みに、動きベクトル検出器５１は、第３階層の動きベクトルＤ３７を生成する場合、参照用の第１又は第２の低解像度フレーム画像ＦＧ３と、第２の低解像度マクロブロックＭＢ３とに対してそれぞれ順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間した状態でブロックマッチング法により補正用動きベクトルＤ３６を検出している。
【０１４８】
これにより動きベクトル検出器５１は、第１又は第２の低解像度フレーム画像ＦＧ３及び第２のマクロブロックＭＢ３の画素を補間する分、補正用動きベクトルＤ３６を１／２画素レベルで高精度に検出することができ、かくして第３階層の動きベクトルＤ３７を１／２画素レベルで高精度に生成し得るようになされている。
【０１４９】
これに加えて、動きベクトル検出器５１は、このとき第２の低解像度マクロブロックＭＢ３内の各画素の画素値の平均値を算出した後にその算出した平均値と各画素値との差分の絶対値の総和（以下、これを分散値と呼ぶ）を算出し、当該算出した分散値を最小予測誤差と比較する。
【０１５０】
この結果、動きベクトル検出器５１は、分散値が最小予測誤差よりも小さければ、第２の低解像度マクロブロックＭＢ３に対して各画素の分散（画素値のばらつき）が小さいために第２の低解像度マクロブロックデータＤ３５をそのまま圧縮符号化しても得られる符号化データのデータ量（以下、これを符号化データ量と呼ぶ）を比較的少なくし得ると判断し、第２の低解像度マクロブロックデータＤ３５をフレーム内符号化により圧縮符号化することを表す予測モードデータＤ３９を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０１５１】
また、動きベクトル検出器５１は、分散値が最小予測誤差よりも大きければ、第２の低解像度マクロブロックＭＢ３に対して各画素の分散（画素値のばらつき）が大きいために第２の低解像度マクロブロックデータＤ３５を順方向予測符号化により圧縮符号化しなければ符号化データ量を少なくし難いと判断し、その第２の低解像度マクロブロックデータＤ３５を順方向予測符号化により圧縮符号化することを表す予測モードデータＤ４０を生成してこれを当該第２の低解像度マクロブロックデータＤ３５の動きベクトルＤ３７と共に動き補償器５３及び可変長符号化器５４に送出する。
【０１５２】
これにより動き補償器５３は、動きベクトル検出器５１から第２の低解像度マクロブロックデータＤ３５に対してフレーム内符号化を表す予測モードデータＤ３９が与えられると、当該第２の低解像度マクロブロックデータＤ３５に対する動き補償処理を停止する。
【０１５３】
また、動き補償器５３は、動きベクトル検出器５１から第２の低解像度マクロブロックデータＤ３５に対する動きベクトルＤ３７と、順方向予測符号化を表す予測モードデータＤ４０とが与えられると、動き補償処理を実行して参照用フレームメモリ６１からこの時点で符号化対象の第２の低解像度フレーム画像データよりも時間的に順方向側の任意の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【０１５４】
そして、動き補償器５３は、その第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から動きベクトルＤ３７に基づいて第２の低解像度マクロブロックデータに基づく第２の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、当該抽出した演算用ブロックのデータ（以下、これを演算用ブロックデータと呼ぶ）Ｄ４１を演算器５２及び加算器６０に送出する。
【０１５５】
演算器５２は、入力用フレームメモリ５０から読み出した第２の低解像度マクロブロックデータＤ３５に対する予測モードとしてフレーム内符号化が選択されたときには、動き補償器５３から演算用ブロックデータが与えられないことにより当該第２の低解像度マクロブロックデータＤ３５をそのまま離散コサイン変換器５５に送出する。
【０１５６】
これにより第１のエンコーダ３７においては、第２の低解像度マクロブロックデータＤ３５に対する予測モードとしてフレーム内符号化が選択されたときには、離散コサイン変換器５５、量子化器５６、可変長符号化器５４、バッファ５７、逆量子化器５８、逆離散コサイン変換器５９、加算器６０及び参照用フレームメモリ６１をそれぞれ上述した第１の低解像度マクロブロックデータＤ３０を圧縮符号化したときと同様に動作させ、かくして第２の低解像度マクロブロックデータＤ３５を量子化ステップＳＴ及び予測モードデータＤ３９と共に可変長符号化し、得られた符号化データＤ４２をバッファ５７に一旦蓄積して符号化ビットストリームＢＳ１として外部に出力すると共に、圧縮した第２の低解像度マクロブロックデータＤ３５を復号化して参照用フレームメモリ６１に格納する。
【０１５７】
また、演算器５２は、入力用フレームメモリ５０から読み出した第２の低解像度マクロブロックデータＤ３５に対する予測モードとして順方向予測符号化が選択されたときには、動き補償器５３から与えられた演算用ブロックデータＤ４１を当該第２の低解像度マクロブロックデータＤ３５から減算し、得られた差分データＤ４３を離散コサイン変換器５５に送出する。
【０１５８】
このとき離散コサイン変換器５５は、演算器５２から与えられた差分データＤ４３を離散コサイン変換し、得られた離散コサイン変換係数Ｋ４を量子化器５６に送出する。
【０１５９】
量子化器５６は、その離散コサイン変換係数Ｋ４を対応する量子化ステップＳＴに基づいて量子化し、得られた量子化係数Ｋ５をその量子化ステップＳＴと共に可変長符号化器５４及び逆量子化器５８に送出する。
【０１６０】
これにより可変長符号化器５４は、その量子化係数Ｋ５をハフマン符号等により可変長符号化すると共に、対応する量子化ステップＳＴ及び予測モードデータＤ４０（順方向予測符号化を表す）並びに動きベクトルＤ３７も可変長符号化し、得られた符号化データＤ４４をバッファ５７に一旦蓄積することにより符号化データＤ４４のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力する。
【０１６１】
このとき、逆量子化器５８は、量子化器５６から与えられた量子化係数Ｋ５を同様に量子化器５６から与えられた量子化ステップＳＴに基づいて逆量子化し、得られた離散コサイン変換係数Ｋ６を逆離散コサイン変換器５９に送出する。
【０１６２】
また、逆離散コサイン変換器５９は、逆量子化器５８から与えられた離散コサイン変換係数Ｋ６を逆離散コサイン変換し、得られた差分データＤ４５を加算器６０に送出する。
【０１６３】
加算器６０は、逆離散コサイン変換器５９から与えられた差分データＤ４５をこのとき動き補償器５３から与えられた演算用ブロックデータＤ４１と加算し、得られた第２の低解像度マクロブロックデータＤ４７を参照用フレームメモリ６１に送出して格納する。
【０１６４】
このようにして第１のエンコーダ３７においては、第２の低解像度フレーム画像データを順次第２の低解像度マクロブロックデータＤ３５単位でフレーム内符号化及び順方向予測符号化により圧縮符号化したときにも参照用フレームメモリ６１内に、復号化して得られた第２の低解像度マクロブロックデータＤ４７によって動き補償処理の参照用となる第２の低解像度フレーム画像データを再構築する。
【０１６５】
これに加えて、演算器５２は、入力用フレームメモリ５０からＢピクチャが割り当てられている符号化対象の低解像度フレーム画像データ（以下、これを特に第３の低解像度フレーム画像データと呼ぶ）については、順次１／４の解像度のマクロブロック単位のデータ（以下、これを第３の低解像度マクロブロックデータと呼ぶ）Ｄ５０として順次読み出す。
【０１６６】
このとき、動きベクトル検出器５１は、演算器５２により入力用フレームメモリ５０から符号化対象の第３の低解像度フレーム画像データに対する読み出しが開始されると、対応するピクチャ情報に基づいて入力用フレームメモリ５０から当該符号化対象の第３の低解像度フレーム画像データよりも順方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ｂを順方向予測の参照用として読み出すと共に、その符号化対象の第３の低解像度フレーム画像データよりも逆方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ｃを逆方向予測の参照用として読み出す。
【０１６７】
また、動きベクトル検出器５１は、演算器５２により入力用フレームメモリ５０から符号化対象の第３の低解像度フレーム画像データが順次第３の低解像度マクロブロックデータＤ５０単位で読み出される毎に当該入力用フレームメモリ５０から同じ第３の低解像度マクロブロックデータＤ５０を読み出す。
【０１６８】
この場合、動きベクトル検出器５１は、まず図６について上述した第２の低解像度マクロブロックデータＤ３５のときと同様に第３の低解像度フレーム画像データの１／４の解像度に応じた階層サーチ動きベクトル検出方式による第３階層において、第３の低解像度マクロブロックデータＤ５０に対する順方向側の動きベクトル検出処理を実行する。
【０１６９】
すなわち、動きベクトル検出器５１は、その第３階層においてブロックマッチング法により順方向予測の参照用の第１又は第２の低解像度フレーム画像データＤ２ｂに基づく第１又は第２の低解像度フレーム画像及び第３の低解像度マクロブロックデータＤ５０に基づく第３の低解像度マクロブロック並びに対応する順方向側簡易動きベクトルＤ２３を用いて当該第３の低解像度マクロブロックとの間で最小予測誤差（以下、これを順方向側最小予測誤差と呼ぶ）となる近似ブロック（以下、これを順方向側近似ブロックと呼ぶ）を検出するようにして１／４の解像度で順方向側簡易動きベクトルＤ２３を補正する補正用動きベクトルを１／２画素レベルで検出する。
【０１７０】
そして、動きベクトル検出器５１は、その補正用動きベクトルを順方向側簡易動きベクトルＤ２３と加算することにより第３の低解像度マクロブロックデータＤ５０に対する第３階層の順方向側の動きベクトルＤ５１を１／２画素レベルで生成する。
【０１７１】
次いで、動きベクトル検出器５１は、図６について上述した第２の低解像度マクロブロックデータＤ３５のときと同様に第３の低解像度フレーム画像データの１／４の解像度に応じた階層サーチ動きベクトル検出方式による第３階層において、第３の低解像度マクロブロックデータＤ５０に対する逆方向側の動きベクトル検出処理を実行する。
【０１７２】
このとき、動きベクトル検出器５１は、その第３階層においてブロックマッチング法により逆方向予測の参照用の第１又は第２の低解像度フレーム画像データＤ２ｃに基づく第１又は第２の低解像度フレーム画像及び第３の低解像度マクロブロック並びに対応する逆方向側簡易動きベクトルＤ２６を用いて当該第３の低解像度マクロブロックとの間で最小予測誤差（以下、これを逆方向側最小予測誤差と呼ぶ）となる近似ブロック（以下、これを逆方向側近似ブロックと呼ぶ）を検出するようにして１／４の解像度で逆方向側簡易動きベクトルＤ２６を補正する補正用動きベクトルを１／２画素レベルで検出する。
【０１７３】
そして、動きベクトル検出器５１は、その補正用動きベクトルを逆方向側簡易動きベクトルＤ２６と加算することにより第３の低解像度マクロブロックデータＤ５０に対する第３階層の逆方向側の動きベクトルＤ５２を１／２画素レベルで生成する。
【０１７４】
これに加えて動きベクトル検出器５１は、順方向側近似ブロックと逆方向側近似ブロックとの対応する画素同士の画素値を平均化して平均近似ブロックを生成し、当該生成した平均近似ブロックと第３の低解像度マクロブロックとの予測誤差（以下、これを双方向予測誤差と呼ぶ）を算出する。
【０１７５】
これにより動きベクトル検出器５１は、順方向側最小予測誤差、逆方向側最小予測誤差及び双方向予測誤差のうち最も値の小さい１つの順方向側最小予測誤差、逆方向側最小予測誤差又は双方向予測誤差を選定すると共に、第３の低解像度マクロブロックに対しても上述した第２の低解像度マクロブロックのときと同様にして分散値を算出し、当該算出した分散値をその選定した１つの順方向側最小予測誤差、逆方向側最小予測誤差又は双方向予測誤差（以下、これを特に選定予測誤差と呼ぶ）と比較する。
【０１７６】
この結果、動きベクトル検出器５１は、分散値が選定予測誤差よりも小さければ、第３の低解像度マクロブロックに対して各画素の分散（ばらつき）が小さいために第３の低解像度マクロブロックデータＤ５０をそのまま圧縮符号化しても符号化データ量を比較的少なくし得ると判断し、その第３の低解像度マクロブロックデータＤ５０をフレーム内符号化により圧縮符号化することを表す予測モードデータＤ５３を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０１７７】
また、動きベクトル検出器５１は、分散値が選定予測誤差よりも大きければ、第３の低解像度マクロブロックに対して各画素の分散（ばらつき）が大きいために当該第３の低解像度マクロブロックデータＤ５０をフレーム内符号化以外の予測モードで圧縮符号化しなければ符号化データ量を少なくし難いと判断する。
【０１７８】
このとき、動きベクトル検出器５１は、選定予測誤差が順方向側最小予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を順方向予測符号化により圧縮符号化することを表す予測モードデータＤ５４を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の順方向側の動きベクトルＤ５１と共に動き補償器５３及び可変長符号化器５４に送出する。
【０１７９】
また、動きベクトル検出器５１は、選定予測誤差が逆方向最小予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を逆方向予測符号化により圧縮符号化することを表す予測モードデータＤ５５を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の逆方向側の動きベクトルＤ５２と共に動き補償器５３及び可変長符号化器５４に送出する。
【０１８０】
さらに、動きベクトル検出器５１は、選定予測誤差が双方向予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を双方向予測符号化により圧縮符号化することを表す予測モードデータＤ５６を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の順方向側及び逆方向側の双方の動きベクトルＤ５１及びＤ５２と共に動き補償器５３及び可変長符号化器５４に送出する。
【０１８１】
動き補償器５３は、動きベクトル検出器５１から第３の低解像度マクロブロックデータＤ５０に対してフレーム内符号化を表す予測モードデータＤ５３が与えられると、当該第３の低解像度マクロブロックデータＤ５０に対する動き補償処理を停止する。
【０１８２】
また、動き補償器５３は、動きベクトル検出器５１から第３の低解像度マクロブロックデータＤ５０に対する順方向側の動きベクトルＤ５１と順方向予測符号化を表す予測モードデータＤ５４とが与えられると、動き補償処理を実行して参照用フレームメモリ６１からこの時点で符号化対象の第３の低解像度フレーム画像データよりも順方向側の任意の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【０１８３】
そして、動き補償器５３は、その順方向側で参照用の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から順方向側の動きベクトルＤ５１に基づいて第３の低解像度マクロブロックデータＤ５０に基づく第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これを演算用ブロックデータＤ６０として演算器５２及び加算器６０に送出する。
【０１８４】
さらに、動き補償器５３は、動きベクトル検出器５１から第３の低解像度マクロブロックデータＤ５０に対する逆方向側の動きベクトルＤ５２と逆方向予測符号化を表す予測モードデータＤ５５とが与えられると、このときも動き補償処理を実行して参照用フレームメモリ６１からこの時点で符号化対象の第３の低解像度フレーム画像データよりも逆方向側の任意の第１又は第２の低解像度フレーム画像データを参照用として読み出す。
【０１８５】
そして、動き補償器５３は、その読み出した第１又は第２の低解像度フレーム画像データに基づく第1又は第２の低解像度フレーム画像内から逆方向側の動きベクトルＤ５２に基づいて第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これを演算用ブロックデータＤ６１として演算器５２及び加算器６０に送出する。
【０１８６】
これに加えて、動き補償器５３は、動きベクトル検出器５１から第３の低解像度マクロブロックデータＤ５０に対する順方向側及び逆方向側の双方の動きベクトルＤ５１及びＤ５２と双方向予測符号化を表す予測モードデータＤ５６とが与えられたときにも動き補償処理を実行し、参照用フレームメモリ６１からこの時点で符号化対象の第３の低解像度フレーム画像データよりも順方向側の任意の第１又は第２の低解像度フレーム画像データを参照用として読み出すと共に逆方向側の任意の第１又は第２の低解像度フレーム画像データも参照用として読み出す。
【０１８７】
そして、動き補償器５３は、順方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第２の低解像度フレーム画像内から順方向側の動きベクトルＤ５１に基づいて第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出すると共に、逆方向側の第１又は第２の低解像度フレーム画像データに基づく第１又は第３の低解像度フレーム画像内から逆方向側の動きベクトルＤ５２に基づいて第３の低解像度マクロブロックと最も一致する演算用ブロックを抽出し、これら抽出した２つの演算用ブロックの対応する画素同士の画素値を平均化して平均演算用ブロックを生成することにより当該生成した平均演算用ブロックのデータ（以下、これを平均演算用ブロックデータと呼ぶ）Ｄ６２を演算器５２及び加算器６０に送出する。
【０１８８】
演算器５２は、入力用フレームメモリ５０から読み出した第３の低解像度マクロブロックデータＤ５０に対する予測モードとしてフレーム内符号化が選択されたときには、動き補償器５３からは何らデータが与えられないことにより当該第３の低解像度マクロブロックデータＤ５０をそのまま離散コサイン変換器５５に送出する。
【０１８９】
これにより第１のエンコーダ３７においては、第３の低解像度マクロブロックデータＤ５０に対する予測モードとしてフレーム内符号化が選択されたときには、離散コサイン変換器５５、量子化器５６、可変長符号化器５４、バッファ５７、逆量子化器５８、逆離散コサイン変換器５９、加算器６０及び参照用フレームメモリ６１をそれぞれ上述した第１の低解像度マクロブロックデータＤ３０を圧縮符号化したときと同様に動作させ、かくして第３の低解像度マクロブロックデータＤ５０を量子化ステップＳＴ及び予測モードデータＤ５３と共に可変長符号化し、得られた符号化データＤ６５をバッファ５７に一旦蓄積することにより当該符号化データＤ６５のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力すると共に、圧縮した第３の低解像度マクロブロックデータＤ５０を復号化して参照用フレームメモリ６１に格納する。
【０１９０】
また、演算器５２は、入力用フレームメモリ５０から読み出した第３の低解像度マクロブロックデータＤ５０に対する予測モードとして順方向予測符号化、逆方向予測符号化及び双方向予測符号化が選択されたときには、動き補償器５３から与えられた演算用ブロックデータＤ６０、Ｄ６１又は平均演算用ブロックデータＤ６２を当該第３の低解像度マクロブロックデータＤ５０から減算し、得られた差分データＤ６６を離散コサイン変換器５５に送出する。
【０１９１】
この場合、離散コサイン変換器５５は、演算器５２から与えられた差分データＤ６６を離散コサイン変換し、得られた離散コサイン変換係数Ｋ７を量子化器５６に送出する。
【０１９２】
量子化器５６は、その離散コサイン変換係数Ｋ７を対応する量子化ステップＳＴに基づいて量子化し、得られた量子化係数Ｋ８をその量子化ステップＳＴと共に可変長符号化器５４及び逆量子化器５８に送出する。
【０１９３】
そして、可変長符号化器５４は、このとき量子化係数Ｋ８の元になる第３の低解像度マクロブロックデータＤ５０に対する予測モードとして順方向予測符号化が選定されたときには、当該量子化係数Ｋ８をハフマン符号等により可変長符号化すると共に、対応する量子化ステップＳＴ及び予測モードデータＤ５４（順方向予測符号化を表す）並びに順方向側の動きベクトルＤ５１も可変長符号化し、得られた符号化データＤ６７をバッファ５７に一旦蓄積することにより当該符号化データＤ６７のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力する。
【０１９４】
また、可変長符号化器５４は、量子化係数Ｋ８の元になる第３の低解像度マクロブロックデータＤ５０に対する予測モードとして逆方向予測符号化が選定されたときには、当該量子化係数Ｋ８をハフマン符号等により可変長符号化すると共に、対応する量子化ステップＳＴ及び予測モードデータＤ５５（逆方向予測符号化を表す）並びに逆方向側の動きベクトルＤ５２も可変長符号化し、得られた符号化データＤ６８をバッファ５７に一旦蓄積することにより当該符号化データＤ６８のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力する。
【０１９５】
さらに、可変長符号化器５４は、量子化係数Ｋ８の元になる第３の低解像度マクロブロックデータＤ５０に対する予測モードとして双方向予測符号化が選定されたときには、当該量子化係数Ｋ８をハフマン符号等により可変長符号化すると共に、対応する量子化ステップＳＴ及び予測モードデータＤ５６（双方向予測符号化を表す）並びに順方向側及び逆方向側の双方の動きベクトルＤ５１及びＤ５２も可変長符号化し、得られた符号化データＤ６９をバッファ５７に一旦蓄積することにより当該符号化データＤ６９のデータ量を平滑化した符号化ビットストリームＢＳ１として外部に出力する。
【０１９６】
このとき、逆量子化器５８は、量子化器５６から与えられた量子化係数Ｋ８を同様に量子化器５６から与えられた量子化ステップＳＴに基づいて逆量子化し、得られた離散コサイン変換係数Ｋ９を逆離散コサイン変換器５９に送出する。
【０１９７】
また、逆離散コサイン変換器５９は、逆量子化器５８から与えられた離散コサイン変換係数Ｋ９を逆離散コサイン変換し、得られた差分データＤ７０を加算器６０に送出する。
【０１９８】
そして加算器６０は、逆離散コサイン変換器５９から与えられた差分データＤ７０をこのとき動き補償器５３から与えられた演算用ブロックデータＤ６０、Ｄ６１又は平均演算用ブロックデータＤ６２と加算し、得られた第３の低解像度マクロブロックデータＤ７１を参照用フレームメモリ６１に送出して格納する。
【０１９９】
このようにして第１のエンコーダ３７においては、第３の低解像度フレーム画像データを順次第３の低解像度マクロブロックデータＤ５０単位でフレーム内符号化、順方向予測符号化、逆方向予測符号化及び両方向予測符号化により圧縮符号化したときにも、参照用フレームメモリ６１内に、復号化して得られた第３の低解像度マクロブロックデータＤ７１によって第３の低解像度フレーム画像データを再構築する。
【０２００】
かくして第１のエンコーダ３７においては、原画像レベルから１／４に解像度を下げた動画像データＤ２を順次低解像度フレーム画像データ単位で圧縮符号化し、得られた符号化データＤ３２、Ｄ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９を符号化ビットストリームＢＳ１として外部に出力し得るようになされている。
【０２０１】
また、第２のエンコーダ３８（図１）は、図５について上述した第１のエンコーダ３７と基本的には同様に動作し、対応する第２の解像度変換器３３から順次与えられる変換率指定情報ＨＳ２に従って各種回路ブロックがそれぞれ１／２の解像度の動画像データＤ３を順次低解像度フレーム画像データ単位で圧縮符号化し、得られた符号化データをデータ量を平滑化した符号化ビットストリームＢＳ２として外部に出力する。
【０２０２】
さらに、第３のエンコーダ３９（図１）も図５について上述した第１のエンコーダ３７と基本的には同様に動作し、対応する第３の解像度変換器３４から順次与えられる変換率指定情報ＨＳ３に従って各種回路ブロックがそれぞれ１／１の解像度の動画像データＤ１を順次フレーム画像データ単位で圧縮符号化し、得られた符号化データをデータ量を平滑化した符号化ビットストリームＢＳ３として外部に出力する。
【０２０３】
因みに第２のエンコーダ３８は、１／２の解像度の動画像データＤ３に対する圧縮符号化処理時、図７に示すように、内部の動きベクトル検出器（図示せず）により図６について上述した場合とほぼ同様に動画像データＤ３の１／２の解像度に応じた階層サーチ動きベクトル検出方式による第１階層よりも下層の第２階層において動きベクトル検出処理を実行する。
【０２０４】
すなわち、第２のエンコーダ３８は、動きベクトル検出器により低解像度フレーム画像データから分割した動きベクトル検出対象の１／２の解像度の低解像度マクロブロックテータに基づく低解像度マクロブロックＭＢ５に対して順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２０５】
また、第２のエンコーダ３８は、動きベクトル検出器により動きベクトル検出対象の低解像度マクロブロックデータの参照用となる低解像度フレーム画像データに基づく低解像度フレーム画像ＦＧ５に対しても順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２０６】
そして、第２のエンコーダ３８は、動きベクトル検出器により画素を補間した参照用の低解像度フレーム画像ＦＧ５に対して対応する順方向側簡易動きベクトルＤ１６、Ｄ２４、逆方向側簡易動きベクトルＤ２７の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと、画素を補間した低解像度マクロブロックＭＢ５とを順次対応付けながら予測誤差を算出する。
【０２０７】
この結果、第２のエンコーダ３８は、動きベクトル検出器により最小予測誤差を算出したときに用いた比較用ブロックと低解像度マクロブロックＭＢ５との動き量により１／２の解像度で順方向側簡易動きベクトルＤ１６、Ｄ２４、逆方向側簡易動きベクトルＤ２７を補正する補正用動きベクトルＤ７５を検出し、当該検出した補正用動きベクトルＤ７５を順方向側簡易動きベクトルＤ１６、Ｄ２４、逆方向側簡易動きベクトルＤ２７と加算することにより低解像度マクロブロックデータに対する最終的な第２階層の動きベクトルＤ７６を１／２画素レベルで生成する。
【０２０８】
これにより第２のエンコーダ３８は、動画像データＤ３に対して１／２の解像度に合わせた動きベクトルＤ７６を高精度に検出し、当該検出した動きベクトルＤ７６を用いて動画像データＤ３を順次低解像度フレーム画像データ単位で動き補償予測符号化により圧縮符号化することができる。
【０２０９】
また、第３のエンコーダ３９は、１／１の解像度の動画像データＤ１に対する圧縮符号化処理時、図８に示すように、内部の動きベクトル検出器（図示せず）により図６について上述した場合とほぼ同様に動画像データＤ１の１／１の解像度に応じた階層サーチ動きベクトル検出方式による原画像レベルの第１階層において動きベクトル検出処理を実行する。
【０２１０】
すなわち、第３のエンコーダ３９は、動きベクトル検出器によりフレーム画像データから分割した動きベクトル検出対象の１／１の解像度のマクロブロックテータに基づくマクロブロックＭＢ６に対して順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２１１】
また第３のエンコーダ３９は、動きベクトル検出器により動きベクトル検出対象のマクロブロックデータの参照用となるフレーム画像データに基づくフレーム画像ＦＧ６に対しても順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２１２】
そして、第３のエンコーダ３９は、動きベクトル検出器により画素を補間した参照用のフレーム画像ＦＧ６に対して対応する順方向側簡易動きベクトルＤ１７、Ｄ２５、逆方向側簡易動きベクトルＤ２８の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと、画素を補間したマクロブロックＭＢ６とを順次対応付けながら予測誤差を算出する。
【０２１３】
この結果、第３のエンコーダ３９は、動きベクトル検出器により最小予測誤差を算出したときに用いた比較用ブロックとマクロブロックＭＢ６との動き量により１／１の解像度で順方向側簡易動きベクトルＤ１７、Ｄ２５、逆方向側簡易動きベクトルＤ２８を補正する補正用動きベクトルＤ７７を検出し、当該検出した補正用動きベクトルＤ７７を順方向側簡易動きベクトルＤ１７、Ｄ２５、逆方向側簡易動きベクトルＤ２８と加算することによりマクロブロックデータに対する最終的な第１階層（すなわち原画像レベル）の動きベクトルＤ７８を１／２画素レベルで生成する。
【０２１４】
これにより第３のエンコーダ３９は、動画像データＤ１に対して１／１の解像度に合わせた動きベクトルＤ７８を高精度に検出し、当該検出した動きベクトルＤ７８を用いて動画像データＤ１を順次フレーム画像データ単位で動き補償予測符号化により圧縮符号化することができる。
【０２１５】
このようにして動画像符号化装置３０においては、図９に示すように、第１乃至第３のエンコーダ３７乃至３９において、簡易動きベクトル検出処理部３５によって１／１６の解像度の動画像データを用いて検出した第５階層動きベクトルを互いに共有化して用いてそれぞれ解像度の異なる動画像データＤ１乃至Ｄ３の解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出し、当該検出した動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８をその動画像データＤ１乃至Ｄ３の圧縮符号化処理に用いるようになされている。
【０２１６】
ここで、動画像符号化装置３０の解像度変換処理部３１と簡易動きベクトル検出処理部３５と圧縮符号化処理部３６とによる配信対象の動画像データＤ１の圧縮符号化処理手順についてまとめてみると、図１０（Ａ）に示すように、まず解像度変換処理部３１はルーチンＲＴ１の開始ステップから入ってステップＳＰ１に移る。
【０２１７】
ステップＳＰ１において解像度変換処理部３１は、配信対象の動画像データＤ１を構成するフレーム画像データに対してそれぞれ変換率の異なる解像度の変換処理を施してステップＳＰ２に移る。
【０２１８】
ステップＳＰ２において解像度変換処理部３１は、動画像データＤ１の全てのフレーム画像データに対してそれぞれ変換率の異なる解像度の変換処理を施したか否かを判断する。
【０２１９】
このステップＳＰ２において否定結果を得ることは、外部から未だ配信対象の動画像データＤ１が供給されていることを意味し、このとき解像度変換処理部３１はステップＳＰ１に戻り、この後ステップＳＰ２において肯定結果を得るまでの間はステップＳＰ１−ＳＰ２の処理を順次繰り返すことにより配信対象の動画像データＤ１のフレーム画像データに順次、それぞれ変換率の異なる解像度の変換処理を施す。
【０２２０】
このとき、図１０（Ｂ）に示すように、簡易動きベクトル検出処理部３５は、ルーチンＲＴ２の開始ステップから入ってステップＳＰ１１に移る。
【０２２１】
ステップＳＰ１１において簡易動きベクトル検出部３５は、外部から供給される動画像データＤ１を順次フレーム画像データ単位で取り込んで当該フレーム画像データにピクチャタイプを暫定的に割り当てると共に、当該フレーム画像データの解像度を１／１６の解像度に変換し、階層サーチ動きベクトル検出方式による第５階層においてその暫定的なピクチャタイプに従って動きベクトル検出対象のフレーム画像データに対する１フレーム分の階層マクロブロックデータの第５階層動きベクトルを検出してステップＳＰ１２に移る。
【０２２２】
ステップＳＰ１２において簡易動きベクトル検出処理部３５は、動きベクトル検出対象のフレーム画像データに対する１フレーム分の第５階層動きベクトルの検出に伴って算出した最小予測誤差に基づいて当該動きベクトル検出対象のフレーム画像データが動画像でシーンが変更された時点のフレーム画像データであるか否かを判断する。
【０２２３】
このステップＳＰ１２において肯定結果を得ることは、動きベクトル検出対象のフレーム画像データとすでに処理した順方向側のフレーム画像データとの相関が比較的小さく、当該動きベクトル検出対象のフレーム画像データが動画像でシーンが変更された時点のフレーム画像データであることを意味し、このとき簡易動きベクトル検出処理部３５はステップＳＰ１３に移って当該動きベクトル検出対象のフレーム画像データにシーンチェンジに応じた新たなピクチャタイプを割り当て直し、その新たなピクチャタイプによっては第５階層動きベクトルを再検出してステップＳＰ１４に移る。
【０２２４】
またステップＳＰ１２において否定結果を得ることは、動きベクトル検出対象のフレーム画像データとすでに処理した順方向側のフレーム画像データとの相関が比較的大きく、当該動きベクトル検出対象のフレーム画像データが動画像で１つのシーンを構成するフレーム画像データのうちの１つであるために暫定的なピクチャタイプを圧縮符号化用に確定したことを意味し、このとき簡易動きベクトル検出処理部３５はステップＳＰ１４に移る。
【０２２５】
ステップＳＰ１４において簡易動きベクトル検出処理部３５は、動きベクトル検出対象のフレーム画像データに対して検出した第５階層動きベクトルに基づいて順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成し、対応するピクチャ情報と共に第１乃至第３のエンコーダ３７乃至３９に送出した後、ステップＳＰ１５に移る。
【０２２６】
ステップＳＰ１５において簡易動きベクトル検出処理部３５は、動画像データＤ１に含まれる全ての動きベクトル検出対象のフレーム画像データに対して簡易動きベクトルを生成したか否かを判断する。
【０２２７】
このステップＳＰ１５において否定結果を得ることは、外部から未だ配信対象の動画像データＤ１が供給されていることを意味し、このとき簡易動きベクトル検出処理部３５はステップＳＰ１１に戻り、この後ステップＳＰ１５において肯定結果を得るまでの間はステップＳＰ１１−ＳＰ１２―ＳＰ１３−ＳＰ１４−ＳＰ１５の処理を順次繰り返すことによりシーンチェンジに応じてピクチャタイプを確定しながら順次動きベクトル検出対象のフレーム画像データに対する第５階層動きベクトルを検出すると共に、その第５階層動きベクトルに基づいて順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成して対応するピクチャ情報と共に第１乃至第３のエンコーダ３７乃至３９に送出する。
【０２２８】
このようにして解像度変換処理部３１及び簡易動きベクトル検出処理部３５が処理を開始すると、図１０（Ｃ）に示すように、圧縮符号化処理部３６は、ルーチンＲＴ３の開始ステップから入ってステップＳＰ２１に移る。
【０２２９】
ステップＳＰ２１において圧縮符号化処理部３６は、解像度変換処理部３１から与えられたそれぞれ解像度の異なる動画像データＤ１乃至Ｄ３を順次低解像度フレーム画像データ単位及びフレーム画像データ単位で取り込むと共に、簡易動きベクトル検出処理部３５から与えられる順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８、ピクチャ情報を取り込み、当該順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を用いて動きベクトル検出対象の低解像度フレーム画像データ及びフレーム画像データに対する解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出してステップＳＰ２２に移る。
【０２３０】
ステップＳＰ２２において圧縮符号化処理部３６は、Ｉピクチャの割り当てられた第１の低解像度フレーム画像データ及び第１のフレーム画像データについてはフレーム内予測符号化により圧縮符号化し、得られた符号化データＤ３２をバッファ５７に蓄積すると共に、Ｐピクチャ及びＢピクチャの割り当てられた第２及び第３の低解像度フレーム画像データ並びに第２及び第３のフレーム画像データについては動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を用いた動き補償予測符号化により圧縮符号化し、得られた符号化データＤ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９をバッファ５７に蓄積してステップＳＰ２３に移る。
【０２３１】
ステップＳＰ２３において圧縮符号化処理部３６は、バッファ５７に一旦蓄積した符号化データＤ３２、Ｄ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９のデータ量を平滑化することにより当該符号化データＤ３２、Ｄ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９を符号化ビットストリームＢＳ１乃至ＢＳ３として外部に出力してステップＳＰ２４に移る。
【０２３２】
ステップＳＰ２４において圧縮符号化処理部３６は、符号化対象の低解像度フレーム画像データ及びフレーム画像データを全て圧縮符号化したか否かを判断する。
【０２３３】
このステップＳＰ２４において否定結果を得ることは、解像度変換処理部３１から未だ解像度の異なる動画像データＤ１乃至Ｄ３が供給されていることを意味し、このとき圧縮符号化処理部３６は、ステップＳＰ２１に戻り、この後ステップＳＰ２４において肯定結果を得るまでの間はステップＳＰ２１−ＳＰ２２―ＳＰ２３−ＳＰ２４の処理を順次繰り返すことにより解像度の異なる動画像データＤ１乃至Ｄ３を順次低解像度フレーム画像データ単位及びフレーム画像データ単位で圧縮符号化する。
【０２３４】
そしてステップＳＰ２において肯定結果を得ることは、外部からの動画像データＤ１の供給が停止して当該動画像データＤ１の全てのフレーム画像データに対してそれぞれ異なる変換率で解像度の変換処理を施したことを意味し、このとき解像度変換処理部３１はステップＳＰ３に移って当該解像度変換処理部３１の処理手順を終了する。
【０２３５】
また、ステップＳＰ１５において肯定結果を得ることは、外部からの動画像データＤ１の供給が停止して全てのフレーム画像データに対するピクチャタイプを確定すると共に、これらフレーム画像データのうち全ての動きベクトル検出対象のフレーム画像データに対して順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成したことを意味し、このとき簡易動きベクトル検出処理部３５はステップＳＰ１６に移って当該簡易動きベクトル検出処理部３５の処理手順を終了する。
【０２３６】
さらに、ステップＳＰ２４において肯定結果を得ることは、解像度変換処理部３１からのそれぞれ解像度の異なる動画像データＤ１乃至Ｄ３の供給が停止して全ての符号化対象の低解像度フレーム画像データ及びフレーム画像データを圧縮符号化したことを意味し、このとき圧縮符号化処理部３６はステップＳＰ２５に移って当該圧縮符号化処理部３６の処理手順を終了し、かくして動画像符号化装置３０における配信対象の動画像データＤ１に対する圧縮符号化処理手順を全て終了する。
【０２３７】
以上の構成において、この動画像符号化装置３０では、解像度変換処理部３１により配信対象の１つの動画像データＤ１から得られる複数の動画像データＤ１乃至Ｄ３の解像度のみがそれぞれ異なることを利用し、動画像データＤ１乃至Ｄ３に対する動きベクトルの検出方式として階層サーチ動きベクトル検出方式を適用してこれら複数の動画像データＤ１乃至Ｄ３のそれぞれ異なる１／１、１／２、１／４、１／８の解像度を階層サーチ動きベクトル検出方式による動きベクトル検出用の複数の第１乃至第４階層に対応させる。
【０２３８】
また、この動画像符号化装置３０では、簡易動きベクトル検出器４２により配信対象の動画像データＤ１の解像度を、複数の動画像データＤ１乃至Ｄ３のそれぞれ異なる１／１、１／２、１／４、１／８の解像度よりもさらに低く、かつ第１乃至第４階層よりも下層の第５階層に対応する１／１６の解像度に変換し、当該１／１６の解像度に変換した動画像データを用いて階層サーチ動きベクトル検出方式による第５階層において第５階層動きベクトルを検出する。
【０２３９】
そして、この動画像符号化装置３０では、簡易動きベクトル検出器４２によって検出した第５階層動きベクトルを第１乃至第３のエンコーダ３７乃至３９で共有化して用いてそれぞれ階層サーチ動きベクトル検出方式により第１乃至第４階層において動画像データＤ１乃至Ｄ３の解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出し、当該検出した動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を用いてそれぞれ対応する解像度の動画像データＤ１乃至Ｄ３を動き補償予測符号化により圧縮符号化するようにした。
【０２４０】
従って、この動画像符号化装置３０では、それぞれ解像度の異なる動画像データＤ１乃至Ｄ３の圧縮符号化に用いる動きベクトルの検出方式として、階層サーチ動きベクトル検出方式を適用し、解像度の異なる動画像データＤ１乃至Ｄ３に対してそれぞれ２階層分の処理で解像度に合わせた動きベクトルを検出するため、これら動画像データＤ１乃至Ｄ３に対してそれぞれ直接１階層で動きベクトルを検出する場合よりも動きベクトル検出時の演算量を低減させている。
【０２４１】
すなわち、この階層サーチ動きベクトル検出方式によれば、所望の階層よりも下層の階層においては、その階層に応じて解像度を下げた（すなわちデータ量を減らした）動画像データを用いて当該階層の動きベクトルを検出するため、参照用のフレーム画像に対するサーチ範囲を原画像レベルでの検出に比べて小さくすることができ、その分予測誤差の演算量を低減させ得ると共に、所望の階層においても下層の階層で検出した動きベクトルを当該所望の階層に対応する解像度に応じて変倍し、得られる簡易動きベクトルの終点部分のみを補正するようにして最終的な動きベクトルを検出するため同様に予測誤差の演算量を大幅に低減させることができる。
【０２４２】
そして、この動画像符号化装置３０では、動画像データＤ１乃至Ｄ３のそれぞれ異なる解像度に対応させた階層よりも下層の階層で第５階層動きベクトルを検出し、これら解像度の異なる動画像データＤ１乃至Ｄ３に対してその第５階層動きベクトルを共有化して用いてそれぞれ異なる解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出するため、解像度の異なる動画像データＤ１乃至Ｄ３に対して動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出する際の検出回数を減少させることができ、かくして動きベクトル検出時の演算量を低減させて圧縮符号化処理における処理負荷を低減させることができる。
【０２４３】
また、通常、動画像データＤ１乃至Ｄ３を圧縮符号化する際にはそれぞれシーンチェンジの有無を検出してその検出結果に応じてフレーム画像データに割り当てるピクチャタイプを特定する必要があるものの、この動画像符号化装置３０では、配信対象の動画像データＤ１を取り込む簡易動きベクトル検出処理部３５においてシーンチェンジの有無を検出し、その検出結果に応じてフレーム画像データに割り当てるピクチャタイプを確定して当該フレーム画像データに対して確定したピクチャタイプの情報を第１乃至第３のエンコーダ３７乃至３９で共有化して使用するため、シーンチェンジ検出時の演算量も大幅に低減させることができ、圧縮符号化処理における処理負荷をさらに低減させることができる。
【０２４４】
従って、この動画像符号化装置３０では、１つの動画像データＤ１から得られる複数の動画像データＤ１乃至Ｄ３の解像度のみがそれぞれ異なることを利用して当該動画像データＤ１乃至Ｄ３に対する圧縮符号化処理に動きベクトルやシーンチェンジの有無の情報からなる圧縮符号化パラメータを共有化して用いるため、当該動画像データＤ１乃至Ｄ３の圧縮符号化処理における処理負荷を格段的に低減させることができる。
【０２４５】
因みに、この動画像符号化装置３０では、配信対象の１つの動画像データＤ１から得られる解像度の異なる動画像データＤ１乃至Ｄ３よりもさらに解像度の低い（すなわちデータ量の少ない）１／１６の解像度の動画像データを用いて第５階層動きベクトル及びシーンチェンジの有無を検出するため、その１／１６の解像度の動画像データを用いることでも第５階層動きベクトル及びシーンチェンジの有無の検出における演算量を低減させることができる。
【０２４６】
以上の構成によれば、簡易動きベクトル検出器４２において配信対象の１つの動画像データＤ１から得られる複数の動画像データＤ１乃至Ｄ３のそれぞれ異なる解像度よりも低い解像度に変換した配信対象の動画像データを用いて第５階層動きベクトルを検出し、第１乃至第３のエンコーダ３７乃至３９において第５階層動きベクトルを共有化して用いてこれら解像度の異なる動画像データＤ１乃至Ｄ３に対して当該解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を検出し、動画像データＤ１乃至Ｄ３をその検出した動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８を用いて動き補償予測符号化により圧縮符号化するようにしたことにより、これら解像度の異なる動画像データＤ１乃至Ｄ３に対して圧縮符号化処理の処理負荷を低減させることができ、かくして１つの動画像データから得られる解像度の異なる複数の動画像データに対して圧縮符号化処理を高速化し得る動画像符号化装置を実現することができる。
【０２４７】
これに加えて、簡易動きベクトル検出処理部３５において、配信対象の１つの動画像データＤ１から得られた複数の動画像データＤ１乃至Ｄ３のそれぞれ異なる解像度よりも低い解像度に変換した配信対象の動画像データＤ１を用いてシーンチェンジの有無を検出し、第１乃至第３のエンコーダ３７乃至３８において、そのシーンチェンジの有無の検出結果を共有化して用いて解像度の異なる複数の動画像データＤ１乃至Ｄ３を圧縮符号化処理するようにしたことにより、これら解像度の異なる複数の動画像データＤ１乃至Ｄ３に対する圧縮符号化処理の処理負荷をさらに低減させることができ、かくして１つの動画像データから得られるそれぞれ解像度の異なる複数の動画像データに対する圧縮符号化処理をさらに高速化することができる。
【０２４８】
なお、上述した第１の実施の形態においては、図３（Ａ）及び（Ｂ）について上述したように配信対象の動画像データＤ１のフレーム画像データにＩピクチャ、Ｐピクチャ及びＢピクチャを割り当てるようにした場合について述べたが、本発明はこれに限らず、配信対象の動画像データＤ１のフレーム画像データにＩピクチャ及びＰピクチャを所定の順番で割り当てるようにしても良い。因みに、動画像データＤ１にＩピクチャ、Ｐピクチャ及びＢピクチャを割り当てる場合でも図３（Ａ）及び（Ｂ）について上述した順番とは異なる順番で割り当てるようにしても良い。
【０２４９】
また、上述した第１の実施の形態においては、動画像データＤ１の解像度を１／１、１／２、１／４、１／８、１／１６の解像度に変換するようにした場合について述べたが、本発明はこれに限らず、動画像データＤ１の解像度をこの他種々の変換率で変換するようにしても良い。
【０２５０】
さらに、上述した第１の実施の形態においては、簡易動きベクトル検出処理部３５により第５階層動きベクトルに基づいて順方向側簡易動きベクトルＤ１５乃至Ｄ１７、順方向側及び逆方向側簡易動きベクトルＤ２３乃至Ｄ２８を生成して第１乃至第３のエンコーダ３７乃至３９に送出するようにした場合について述べたが、本発明はこれに限らず、簡易動きベクトル検出処理部３５により所定階層の動きベクトルを検出して第１乃至第３のエンコーダ３７乃至３９に送出し、当該第１乃至第３のエンコーダ３７乃至３９においてその所定階層の動きベクトルに基づいて簡易動きベクトルを生成した後に当該生成した簡易動きベクトルを用いて最終的な動きベクトルを検出するようにしても良い。
【０２５１】
さらに、上述した第１の実施の形態においては、動きベクトル検出器５１において、ブロックマッチング法により動きベクトルＤ３７、Ｄ５１、Ｄ５２を検出するようにした場合について述べたが、本発明はこれに限らず、テレスコピックサーチ法やオプティカルフロー等のように、この他種々の方法によって動きベクトルを検出するようにしても良い。
【０２５２】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図１１は第２の実施の形態による動画像符号化装置７０を示し、解像度変換処理部７１に２つの第１及び第３の解像度変換器３２及び３４が設けられると共に、同様に圧縮符号化処理部７２にも２つの第１及び第３のエンコーダ７３及び３９が設けられて構成されている。
【０２５３】
この動画像符号化装置７０においては、外部から供給される動画像データＤ１を順次フレーム画像データ単位で第１及び第３の解像度変換器３２及び３４に取り込む。
【０２５４】
第１の解像度変換器３２は、図１について上述した第１の実施の形態による動画像符号化装置３０の場合と同様に変換率指定情報ＨＳ１に基づいて、動画像データＤ１の解像度を１／４の解像度に変換し、当該解像度を変換した動画像データＤ２を変換率指定情報ＨＳ１と共に第１のエンコーダ７３に送出する。
【０２５５】
また、第３の解像度変換器３４も、図１について上述した第１の実施の形態による動画像符号化装置３０の場合と同様に変換率指定情報ＨＳ３に基づいて、動画像データＤ１を１／１の解像度のまま変換率指定情報ＨＳ３と共に第３のエンコーダ３９に送出する。
【０２５６】
そして、図５との対応部分に同一符号を付して示す図１２において第１のエンコーダ７３は、ピクチャ割当器７４、簡易動きベクトル検出器７５、シーンチェンジ検出器７６及び動きベクトル検出器７７の構成を除いて第１の実施の形態による動画像符号化装置３０（図１）の第１のエンコーダ３７（図５）と同様に構成されている。
【０２５７】
この場合、ピクチャ割当器７４は、図３（Ａ）について上述した場合と同様に入力フレームメモリ５０に解像度を変換した動画像データＤ２を順次低解像度フレーム画像データ単位で取り込む毎に、当該取り込んだ低解像度フレーム画像データに先頭の低解像度フレーム画像データにＢピクチャを割り当て、２フレーム目以降には１つのＩピクチャに所定数のＢピクチャ及びＰピクチャが順次交互に連続するようなパターンを順次繰り返す順番でＩピクチャ、Ｐピクチャ及びＢピクチャのピクチャタイプを暫定的に割り当てる。
【０２５８】
また、ピクチャ割当器７４は、低解像度フレーム画像データに順次Ｉピクチャ、Ｐピクチャ及びＢピクチャを割り当てると、当該Ｉピクチャ、Ｐピクチャ及びＢピクチャを表すピクチャタイプとこれらを割り当てた低解像度フレーム画像データ固有のフレーム識別情報とをピクチャ情報として入力用フレームメモリ５０に記録する。
【０２５９】
簡易動きベクトル検出器７５は、入力用フレームメモリ５０内で低解像度フレーム画像データにＩピクチャが割り当てられたときには、当該入力用フレームメモリ５０からそのＩピクチャが割り当てられた第１の低解像度フレーム画像データのピクチャ情報を読み出して第３のエンコーダ３８に送出する。
【０２６０】
また、簡易動きベクトル検出器７５は、入力用フレームメモリ５０内で低解像度フレーム画像データにＰピクチャが割り当てられたときには、当該入力用フレームメモリ５０からそのＰピクチャが割り当てられた第２の低解像度フレーム画像データを動きベクトル検出対象として順次第２の低解像度マクロブロックデータＤ３５単位で読み出すと共に、当該第２の低解像度フレーム画像データよりも時間的に順方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ａを参照用として読み出す。
【０２６１】
そして、簡易動きベクトル検出器７５は、階層サーチ動きベクトル検出方式による第１階層よりも下層の第３階層において、ブロックマッチング法により第２の低解像度マクロブロックデータＤ３５及び参照用の第１又は第２の低解像度フレーム画像データＤ２ａをそのまま用いて当該第２の低解像度マクロブロックデータＤ３５に対する順方向側の第３階層における動きベクトル（以下、これを順方向側の第３階層動きベクトルと呼ぶ）Ｄ８０を１画素レベルで検出する。
【０２６２】
ここで、簡易動きベクトル検出器７５は、第３の解像度変換器３４から与えられた変換率指定情報ＨＳ３の内容を表す制御情報ＳＧ２が外部から与えられており、動きベクトル検出対象の第２の低解像度フレーム画像データに対する１フレーム分の順方向側の第３階層動きベクトルＤ８０を検出すると、当該制御情報ＳＧ２に基づいて順方向側の第３階層動きベクトルＤ８０を第３の解像度変換器３４における解像度の変換率に応じて４倍に変倍することにより第３のエンコーダ３９における処理用に解像度を合わせた順方向側簡易動きベクトルＤ８１を生成する。
【０２６３】
そして、簡易動きベクトル検出器７５は、このように順方向側簡易動きベクトルＤ８１を生成すると、入力用フレームメモリ５０から順方向側簡易動きベクトルＤ８１の検出に用いた動きベクトル検出対象の第２の低解像度フレーム画像データのピクチャ情報及び参照用の第１又は第２の低解像度フレーム画像データＤ２ａのピクチャ情報を読み出し、当該読み出したこれらピクチャ情報を順方向側簡易動きベクトルＤ８１と対応付けて第３のエンコーダ３９に送出すると共に、順方向側の第３階層動きベクトルＤ８０をそのまま動きベクトル検出器７７に送出する。
【０２６４】
また、簡易動きベクトル検出器７５は、入力用フレームメモリ５０内で低解像度フレーム画像データにＢピクチャが割り当てられたときには、当該入力用フレームメモリ５０からそのＢピクチャが割り当てられた第３の低解像度フレーム画像データを動きベクトル検出対象として順次第３の低解像度マクロブロックデータＤ５０単位で読み出す。
【０２６５】
これに加えて簡易動きベクトル検出器７５は、入力用フレームメモリ５０からその動きベクトル検出対象の第３の低解像度フレーム画像データよりも時間的に順方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ｂと、同様に時間的に逆方向側の任意の第１又は第２の低解像度フレーム画像データＤ２ｃとをそれぞれ参照用として読み出す。
【０２６６】
簡易動きベクトル検出器７５は、まず上述した場合と同様に階層サーチ動きベクトル検出方式による第３階層において、ブロックマッチング法により第３の低解像度マクロブロックデータＤ５０及び順方向側で参照用に割り当てた第１又は第２の低解像度フレーム画像データＤ２ｂをそのまま用いて当該第３の低解像度マクロブロックデータＤ５０の順方向側の第３階層動きベクトルＤ８２を１画素レベルで検出する。
【０２６７】
次いで、簡易動きベクトル検出器７５は、上述した場合と同様に階層サーチ動きベクトル検出方式による第３階層において、ブロックマッチング法により第３の低解像度マクロブロックデータＤ５０及び逆方向側で参照用に割り当てた第１又は第２の低解像度フレーム画像データＤ２ｃをそのまま用いて当該第３の低解像度マクロブロックデータＤ５０の逆方向側の第３階層動きベクトルＤ８３を１画素レベルで検出する。
【０２６８】
そして、簡易動きベクトル検出器７５は、動きベクトル検出対象の第３の低解像度フレーム画像データに対する１フレーム分の順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出すると、制御情報ＳＧ２に基づいてこれら順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３をそれぞれ４倍に変倍することにより第３のエンコーダ３９における処理用に解像度を合わせた順方向側簡易動きベクトルＤ８４を生成すると共に逆方向側簡易動きベクトルＤ８５を生成する。
【０２６９】
これにより簡易動きベクトル検出器７５は、このように順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を生成すると、入力用フレームメモリ５０からその順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５の検出に用いた動きベクトル検出対象の第３の低解像度フレーム画像データのピクチャ情報及び順方向側及び逆方向側の参照用の第１又は第２の低解像度フレーム画像データＤ２ａ及びＤ２ｃのピクチャ情報を読み出し、当該読み出したこれらピクチャ情報を順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５と対応付けて第３のエンコーダ３９に送出すると共に、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３をそのまま動きベクトル検出器７７に送出する。
【０２７０】
ここで、簡易動きベクトル検出器７５は、図２について上述した簡易動きベクトル検出器４２と同様に第２及び第３の低解像度フレーム画像データに対する１フレーム分の順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出すると、当該順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３に基づいて順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を生成する前に、その順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３の検出によって算出した全ての最小予測誤差をシーンチェンジ検出器７６に送出する。
【０２７１】
シーンチェンジ検出器７６は、図２について上述したシーンチェンジ検出器４３とほぼ同様に動作し、簡易動きベクトル検出器７５から１フレーム分の最小予測誤差が与えられる毎に、当該１フレーム分の最小予測誤差を全て加算して合計最小予測誤差を算出し、その合計最小予測誤差をすでに算出している全ての合計最小予測誤差の平均値（以下、これを予測誤差平均値と呼ぶ）と比較する。
【０２７２】
この結果、シーンチェンジ検出器７６は、算出した合計最小予測誤差が予測誤差平均値以下の値であれば、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データと、すでに処理している順方向側の連続する第１乃至第３の低解像度フレーム画像データとの相関が比較的高いことによりこれら動きベクトル検出対象の第２又は第３の低解像度フレーム画像データを含む第１乃至第３のフレーム画像データが全て動画像の１つのシーンを構成する低解像度フレーム画像データであると判断する。
【０２７３】
このときシーンチェンジ検出器７６は、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データに対して暫定的に割り当てていたピクチャタイプを恒久的なピクチャタイプとして確定してこれをピクチャ割当器７４及び簡易動きベクトル検出器７５に通知する。
【０２７４】
また、シーンチェンジ検出器７６は、算出した合計最小予測誤差が予測誤差平均値よりも大きい値であれば、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データと、すでに処理している順方向側の連続する第１乃至第３の低解像度フレーム画像データとの相関が比較的低いことにより当該順方向側の連続する第１乃至第３の低解像度フレーム画像データの構成する動画像のシーンに対してこの時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データの構成する動画像のシーンが変化したと判断する。
【０２７５】
このときシーンチェンジ検出器７６は、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データに対して暫定的に割り当てていたピクチャタイプを他のピクチャタイプに変更することをピクチャ割当器７４及び簡易動きベクトル検出器７５に通知する。
【０２７６】
従って、ピクチャ割当器７４は、シーンチェンジ検出器７６からピクチャタイプの確定が通知されると、入力用フレームメモリ５０内の対応するピクチャ情報をそのままにする。
【０２７７】
また、ピクチャ割当器７４は、シーンチェンジ検出器７６からピクチャタイプの変更が通知されると、入力用フレームメモリ５０内の対応するピクチャ情報の内容をシーンチェンジに応じた新たなピクチャタイプを表すように変更する。
【０２７８】
これによりピクチャ割当器７４は、入力用フレームメモリ５０内のピクチャ情報に基づいて後段の各種回路ブロックに低解像度フレーム画像データに割り当てたピクチャタイプを適確に認識させて圧縮符号化処理を実行させ得るようになされている。
【０２７９】
また、簡易動きベクトル検出器７５は、シーンチェンジ検出器７６からピクチャタイプの確定が通知されると、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データに対して検出した１フレーム分の順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３に基づいて順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を生成し、対応するピクチャ情報と共に第３のエンコーダ３９に送出すると共に、順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３をそのまま動きベクトル検出器７７に送出する。
【０２８０】
これに対して簡易動きベクトル検出器７５は、シーンチェンジ検出器７６からピクチャタイプの変更が通知されると、この時点で動きベクトル検出対象の第２又は第３の低解像度フレーム画像データに対して暫定的なピクチャタイプに変えてシーンチェンジに応じた新たなピクチャタイプ（Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれか）を割り当てることにより当該新たなピクチャタイプに従ってその第２又は第３の低解像度フレーム画像データに対して上述と同様な処理を実行する。
【０２８１】
因みに、簡易動きベクトル検出器７５は、シーンが変化した時点の低解像度フレーム画像データに対してＩピクチャを割り当てるように設定されているときには、当該シーンの変化した時点の第２又は第３の低解像度フレーム画像データに新たにＩピクチャを割り当て直してピクチャ情報のみを第３のエンコーダ３９に送出する。
【０２８２】
また、簡易動きベクトル検出器７５は、シーンが変化した時点の低解像度フレーム画像データに対してＰピクチャ又はＢピクチャを割り当てる用に設定されているときには、当該シーンの変化した時点の第２又は第３の低解像度フレーム画像データに新たにＰピクチャ又はＢピクチャを割り当て直して順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を再検出した後、当該再検出した順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３に基づいて順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を生成して対応するピクチャ情報と共に第３のエンコーダ３９に送出すると共に、順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３をそのまま動きベクトル検出器７７に送出する。
【０２８３】
さらに、簡易動きベクトル検出器７５は、シーンの変化に応じて第２又は第３の低解像度フレーム画像データのピクチャタイプを変更したときには、当該ピクチャタイプの変更に応じてピクチャ情報の内容（すなわち、暫定的に割り当てていたピクチャタイプ）を変更して第３のエンコーダ３９に送出する。
【０２８４】
これにより簡易動きベクトル検出器７５は、低解像度フレーム画像データに対する順方向側及び逆方向側の簡易動きベクトルＤ８０乃至Ｄ８２をシーンチェンジに応じて確定されたピクチャタイプに従って適確に生成し、かくして第１及び第３のエンコーダ７３及び３９に対して適確に動きベクトルを検出させて動画像データＤ１及びＤ２を圧縮符号化させ得るようになされている。
【０２８５】
一方、動きベクトル検出器７７は、第１乃至第３の低解像度フレーム画像データに対する圧縮符号化の開始に合わせて、演算器５２により入力用フレームメモリ５０から符号化対象の第１の低解像度フレーム画像データが順次第１の低解像度マクロブロックデータＤ３０単位で読み出されると、当該入力用フレームメモリ５０から対応するピクチャ情報を読み出して第１の低解像度マクロブロックデータＤ３０に対する予測モードデータＤ３１を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０２８６】
また、動きベクトル検出器７７は、演算器５２により入力用フレームメモリ５０から符号化対象の第２の低解像度フレーム画像データが順次第２の低解像度マクロブロックデータＤ３５単位で読み出されると、当該入力用フレームメモリ５０から第２の低解像度マクロブロックデータＤ３５を順次読み出すと共に、順方向側で参照用に割り当てられた第１又は第２の低解像度フレーム画像データＤ２ａを読み出す。
【０２８７】
このとき動きベクトル検出器７７は、参照用の第１又は第３の低解像度フレーム画像データＤ２ａに基づく第１位又は第２の低解像度フレーム画像と、第２の低解像度マクロブロックデータＤ３５に基づく第２の低解像度マクロブロックとに対してそれぞれ順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２８８】
そして、動きベクトル検出器７７は、ブロックマッチング法により、画素を補間した参照用の第１又は第２の低解像度フレーム画像に対して対応する順方向側の第３階層動きベクトルＤ８０の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと、画素を補間した第２の低解像度マクロブロックとを順次対応付けながら最小予測誤差となる順方向近似ブロックを検出するようにして当該順方向側の第３階層動きベクトルＤ８０を補正する補正用動きベクトルを検出する。
【０２８９】
これにより動きベクトル検出器７７は、その補正用動きベクトルを順方向側の第３階層動きベクトルＤ８０と加算することにより第２の低解像度マクロブロックデータＤ３５に対する第３階層の１／２画素レベルの動きベクトルＤ３７を生成する。
【０２９０】
これに加えて、動きベクトル検出器７７は、上述した第１の実施の形態による第１のエンコーダ３７（図５）の動きベクトル検出器５１（図５）と同様に、画素を補間した第２の低解像度マクロブロックに対する分散値を算出し、当該算出した分散値を最小予測誤差と比較する。
【０２９１】
この結果、動きベクトル検出器７７は、分散値が最小予測誤差よりも小さければ、第２の低解像度マクロブロックデータＤ３５をフレーム内符号化により圧縮符号化することを表す予測モードデータＤ３９を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０２９２】
また、動きベクトル検出器７７は、分散値が最小予測誤差よりも大きければ、第２の低解像度マクロブロックデータＤ３５を順方向予測符号化により圧縮符号化することを表す予測モードデータＤ４０を生成してこれを対応する動きベクトルＤ３７と共に動き補償器５３及び可変長符号化器５４に送出する。
【０２９３】
さらに、動きベクトル検出器７７は、演算器５２により入力用フレームメモリ５０から符号化対象の第３の低解像度フレーム画像データが順次第３の低解像度マクロブロックデータＤ５０単位で読み出されると、当該入力用フレームメモリ５０から第３の低解像度マクロブロックデータＤ５０を順次読み出すと共に、順方向側及び逆方向側で参照用に割り当てた第１又は第２の低解像度フレーム画像データＤ２ｂ及びＤ２ｃを読み出す。
【０２９４】
このとき動きベクトル検出器７７は、順方向側及び逆方向側の参照用の第１又は第３の低解像度フレーム画像データＤ２ｂ及びＤ２ｃに基づく第１位又は第２の低解像度フレーム画像と、第３の低解像度マクロブロックデータＤ５０に基づく第３の低解像度マクロブロックとに対してそれぞれ順次隣接する画素同士の画素値の平均値を算出し、当該算出した平均値をその画素同士の間に新たな画素の画素値として補間する。
【０２９５】
そして、動きベクトル検出器７７は、ブロックマッチング法により、まず画素を補間した順方向側の参照用の第１又は第２の低解像度フレーム画像に対して対応する順方向側の第３階層動きベクトルＤ８２の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと、画素を補間した第３の低解像度マクロブロックとを順次対応付けながら最小予測誤差となる順方向近似ブロックを検出するようにして当該順方向側の第３階層動きベクトルＤ８２を補正する補正用動きベクトルを検出する。
【０２９６】
これにより動きベクトル検出器７７は、その補正用動きベクトルを順方向側の第３階層動きベクトルＤ８２と加算することにより第３の低解像度マクロブロックデータＤ５０に対する第３階層の１／２画素レベルの動きベクトルＤ５１を生成する。
【０２９７】
次いで、動きベクトル検出器７７は、ブロックマッチング法により、画素を補間した逆方向側の参照用の第１又は第２の低解像度フレーム画像に対して対応する逆方向側の第３階層動きベクトルＤ８３の終点周辺に格段的に狭いサーチ範囲を設定し、当該サーチ範囲内で複数の比較用ブロックと、画素を補間した第３の低解像度マクロブロックとを順次対応付けながら最小予測誤差となる逆方向近似ブロックを検出するようにして当該逆方向側の第３階層動きベクトルＤ８３を補正する補正用動きベクトルを検出する。
【０２９８】
これにより動きベクトル検出器７７は、その補正用動きベクトルを逆方向側の第３階層動きベクトルＤ８３と加算することにより第３の低解像度マクロブロックデータＤ５０に対する第３階層の１／２画素レベルの動きベクトルＤ５２を生成する。
【０２９９】
これに加えて、動きベクトル検出器７７は、上述した第１の実施の形態による第１のエンコーダ３７（図５）の動きベクトル検出器５１（図５）と同様に、順方向側近似ブロック及び逆方向側近似ブロックに基づいて平均近似ブロックを生成し、当該生成した平均近似ブロックと第３の低解像度マクロブロックとの双方向予測誤差を算出する。
【０３００】
そして、動きベクトル検出器７７は、順方向側最小予測誤差、逆方向側最小予測誤差及び双方向予測誤差のうち最も値の小さい１つの選定予測誤差を選定すると共に、第３の低解像度マクロブロックに対する分散値を算出して当該算出した分散値を選定予測誤差と比較する。
【０３０１】
この結果、動きベクトル検出器７７は、分散値が選定予測誤差よりも小さければ、第３の低解像度マクロブロックデータＤ５０をフレーム内符号化により圧縮符号化することを表す予測モードデータＤ５３を生成してこれを動き補償器５３及び可変長符号化器５４に送出する。
【０３０２】
また、動きベクトル検出器７７は、分散値が選定予測誤差よりも大きく、かつ当該選定予測誤差が順方向側最小予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を順方向予測符号化により圧縮符号化することを表す予測モードデータＤ５４を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の順方向側の動きベクトルＤ５１と共に動き補償器５３及び可変長符号化器５４に送出する。
【０３０３】
さらに、動きベクトル検出器７７は、分散値が選定予測誤差よりも大きく、かつ当該選定予測誤差が逆方向最小予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を逆方向予測符号化により圧縮符号化することを表す予測モードデータＤ５５を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の逆方向側の動きベクトルＤ５２と共に動き補償器５３及び可変長符号化器５４に送出する。
【０３０４】
さらに、動きベクトル検出器７７は、分散値が選定予測誤差よりも大きく、かつ当該選定予測誤差が双方向予測誤差であれば、第３の低解像度マクロブロックデータＤ５０を双方向予測符号化により圧縮符号化することを表す予測モードデータＤ５６を生成してこれを当該第３の低解像度マクロブロックデータＤ５０の順方向側及び逆方向側の双方の動きベクトルＤ５１及びＤ５２と共に動き補償器５３及び可変長符号化器５４に送出する。
【０３０５】
このようにして第１のエンコーダ７３においては、図１３に示すように、第３のエンコーダ３９と順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を共有化しながら動画像データＤ２を順次低解像度フレーム画像データ単位で圧縮符号化し得るようになされている。
【０３０６】
因みに、第３のエンコーダ３９は、第１のエンコーダ７３から順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３が与えられると、階層サーチ動きベクトル検出方式による原画像レベルの第１階層においてブロックマッチング法により、画素を補間した参照用のフレーム画像データ及び画素を補間した動きベクトル検出対象のマクロブロックデータ並びに順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を用いて当該マクロブロックデータに対する第１階層（すなわち原画像レベル）の動きベクトルを１／２画素レベルで生成する。
【０３０７】
ここで、動画像符号化装置７０の解像度変換処理部７１と圧縮符号化処理部７２とによる配信対象の動画像データＤ１の圧縮符号化処理手順についてまとめてみると、図１４（Ａ）に示すように、まず解像度変換処理部７１はルーチンＲＴ４の開始ステップから入ってステップＳＰ４１に移る。
【０３０８】
このステップＳＰ４１において解像度変換処理部７１は、配信対象の動画像データＤ１を構成するフレーム画像データに対してそれぞれ変換率の異なる解像度の変換処理を施してステップＳＰ４２に移る。
【０３０９】
ステップＳＰ４２において解像度変換処理部７１は、動画像データＤ１の全てのフレーム画像データに対してそれぞれ変換率の異なる解像度の変換処理を施したか否かを判断する。
【０３１０】
このステップＳＰ４２において否定結果を得ることは、外部から未だ配信対象の動画像データＤ１が供給されていることを意味し、このとき解像度変換処理部７１はステップＳＰ４１に戻り、この後ステップＳＰ４２において肯定結果を得るまでの間はステップＳＰ４１−ＳＰ４２の処理を順次繰り返すことにより配信対象の動画像データＤ１のフレーム画像データに順次それぞれ変換率の異なる解像度の変換処理を施す。
【０３１１】
このとき、図１４（Ｂ）に示すように、圧縮符号化処理部７２は、ルーチンＲＴ５の開始ステップから入ってステップＳＰ５１に移る。
【０３１２】
ステップＳＰ５１において圧縮符号化処理部７２は、第１及び第３のエンコーダ７３及び３９のうち一方の第１のエンコーダ７３において、解像度変換処理部７１から供給される動画像データＤ２を順次低解像度フレーム画像データ単位で取り込んで当該低解像度フレーム画像データにピクチャタイプを暫定的に割り当てると共に、階層サーチ動きベクトル検出方式による第３階層においてその暫定的なピクチャタイプに従って当該低解像度フレーム画像データをそのまま用いて動きベクトル検出対象の低解像度フレーム画像データに対する１フレーム分の順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出してステップＳＰ５２に移る。
【０３１３】
ステップＳＰ５２において圧縮符号化処理部７２は、動きベクトル検出対象の低解像度フレーム画像データに対する１フレーム分の順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３の検出に伴って算出した最小予測誤差に基づいて当該動きベクトル検出対象の低解像度フレーム画像データが動画像でシーンが変更された時点の低解像度フレーム画像データであるか否かを判断する。
【０３１４】
このステップＳＰ５２において肯定結果を得ることは、動きベクトル検出対象の低解像度フレーム画像データとすでに処理した順方向側の低解像度フレーム画像データとの相関が比較的小さく、当該動きベクトル検出対象の低解像度フレーム画像データが動画像でシーンが変更された時点の低解像度フレーム画像データであることを意味し、このとき圧縮符号化処理部７２はステップＳＰ５３に移って当該動きベクトル検出対象の低解像度フレーム画像データにシーンチェンジに応じた新たなピクチャタイプを割り当て直し、その新たなピクチャタイプによっては順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を再検出してステップＳＰ５４に移る。
【０３１５】
またステップＳＰ５２において否定結果を得ることは、動きベクトル検出対象の低解像度フレーム画像データとすでに処理した順方向側の低解像度フレーム画像データとの相関が比較的大きく、当該動きベクトル検出対象の低解像度フレーム画像データが動画像で１つのシーンを構成する低解像度フレーム画像データのうちの１つであるために暫定的なピクチャタイプを圧縮符号化用に確定したことを意味し、このとき圧縮符号化処理部７２はステップＳＰ５４に移る。
【０３１６】
ステップＳＰ５４において圧縮符号化処理部７２は、動きベクトル検出対象の低解像度フレーム画像データに対して検出した順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３に基づいて順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４乃至Ｄ８５を生成し、対応するピクチャ情報と共に他方の第３のエンコーダ３９に引き渡してステップＳＰ５５に移る。
【０３１７】
ステップＳＰ５５において圧縮符号化処理部７２は、一方の第１のエンコーダ７３において、順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を用いて第３階層の最終的な動きベクトルＤ３７、Ｄ５１、Ｄ５２を検出すると共に、他方の第３のエンコーダ３９において、順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４乃至Ｄ８５を用いて第１階層の最終的な動きベクトルＤ７８を検出してステップＳＰ５６に移る。
【０３１８】
ステップＳＰ５６において圧縮符号化処理部７２は、一方の第１のエンコーダ７３において、Ｉピクチャの割り当てられた第１の低解像度フレーム画像データについてはフレーム内予測符号化により圧縮符号化し、得られた符号化データＤ３２をバッファ５７に蓄積すると共に、Ｐピクチャ及びＢピクチャの割り当てられた第２及び第３の低解像度フレーム画像データについては動きベクトルＤ３７、Ｄ５１、Ｄ５２を用いた動き補償予測符号化により圧縮符号化し、得られた符号化データＤ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９をバッファ５７に蓄積し、他方の第３のエンコーダ３９において、Ｉピクチャの割り当てられた第１のフレーム画像データについてはフレーム内予測符号化により圧縮符号化し、得られた符号化データをバッファに蓄積すると共に、Ｐピクチャ及びＢピクチャの割り当てられた第２及び第３のフレーム画像データについては動きベクトルＤ７８を用いた動き補償予測符号化により圧縮符号化し、得られた符号化データをバッファに蓄積してステップＳＰ５７に移る。
【０３１９】
ステップＳＰ５７において圧縮符号化処理部７２は、バッファ５７に一旦蓄積した符号化データＤ３２、Ｄ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９のデータ量を平滑化することにより当該符号化データＤ３２、Ｄ４２、Ｄ４４、Ｄ６５、Ｄ６７、Ｄ６８、Ｄ６９を符号化ビットストリームＢＳ１及びＢＳ３として外部に出力してステップＳＰ５８に移る。
【０３２０】
ステップＳＰ５８において圧縮符号化処理部７２は、符号化対象の低解像度フレーム画像データ及びフレーム画像データを全て圧縮符号化したか否かを判断する。
【０３２１】
このステップＳＰ５８において否定結果を得ることは、解像度変換処理部７１から未だそれぞれ解像度の異なる動画像データＤ１及びＤ２が供給されていることを意味し、このとき圧縮符号化処理部７２は、ステップＳＰ５１に戻り、この後ステップＳＰ５８において肯定結果を得るまでの間はステップＳＰ５１−ＳＰ５２−ＳＰ５３−ＳＰ５４−ＳＰ５５−ＳＰ５６−ＳＰ５７−ＳＰ５８の処理を順次繰り返すことにより動画像データＤ１及びＤ２を順次低解像度フレーム画像データ単位及びフレーム画像データ単位で圧縮符号化する。
【０３２２】
そしてステップＳＰ４２において肯定結果を得ることは、外部からの動画像データＤ１の供給が停止して当該動画像データＤ１の全てのフレーム画像データに対してそれぞれ異なる変換率の解像度の変換処理を施したことを意味し、このとき解像度変換処理部７１はステップＳＰ４３に移って当該解像度変換処理部７１の処理手順を終了する。
【０３２３】
また、ステップＳＰ５８において肯定結果を得ることは、解像度変換処理部７１からのそれぞれ解像度の異なる動画像データＤ１及びＤ２の供給が停止して全ての符号化対象の低解像度フレーム画像データ及びフレーム画像データを圧縮符号化したことを意味し、このとき圧縮符号化処理部７２はステップＳＰ５９に移って当該圧縮符号化処理部７２の処理手順を終了し、かくして動画像符号化装置７０における動画像データＤ１の圧縮符号化処理手順を全て終了する。
【０３２４】
以上の構成において、この動画像符号化装置７０では、第１のエンコーダ７３内部で簡易動きベクトル検出器７５が当該第１のエンコーダ７３に取り込んだ１／４の解像度の動画像データＤ２を用いて順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出する。
【０３２５】
そして、この動画像符号化装置７０では、簡易動きベクトル検出器７５により検出した順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を第１及び第３のエンコーダ７３及び３９において共有化して用いてそれぞれ符号化対象の動画像データＤ１及びＤ２の解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７８を検出し、解像度の異なる動画像データＤ１及びＤ２を順次フレーム画像データ単位及び順次低解像度フレーム画像データ単位で当該検出した動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７８を用いた動き補償予測符号化により圧縮符号化するようにした。
【０３２６】
従って、この動画像符号化装置７０では、第１及び第３のエンコーダ７３及び３９において共有化して用いる順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３の検出用に、特には配信対象の動画像データＤ１の解像度を変換せずに、解像度変換処理部７１によって当該配信対象の動画像データＤ１から得られる１／４の解像度の動画像データＤ２を有効に利用するため、上述した第１の実施の形態による動画像符号化装置３０（図１）に比べて配信対象の動画像データＤ１の解像度を変換するための演算量を低減させて解像度の異なる動画像データＤ1及びＤ２に対する圧縮符号化処理の処理負荷を低減させることができる。
【０３２７】
また、この動画像符号化装置７０では、第１及び第２のエンコーダ７３及び３９において共有化して用いるシーンチェンジの有無の検出用にも、特には配信対象の動画像データＤ１の解像度を変換せずに、解像度変換処理部７１によって当該配信対象の動画像データＤ１から得られる１／４の解像度の動画像データＤ２を有効に利用するため、解像度の異なる動画像データＤ1及びＤ２に対する圧縮符号化処理の処理負荷をさらに低減させることができる。
【０３２８】
さらに、この動画像符号化装置７０では、配信対象の１つの動画像データＤ１から得られる解像度の異なる動画像データＤ１及びＤ２のうち最も解像度の低い（すなわちデータ量の少ない）動画像データＤ２を用いて、順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３、シーンチェンジの有無を検出するため、その動画像データＤ２を用いることでも順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３、シーンチェンジの有無の検出における演算量を低減させることができる。
【０３２９】
これに加えて、この動画像符号化装置７０では、第１のエンコーダ７３に取り込む動画像データＤ２を順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３やシーンチェンジの有無の情報からなる圧縮符号化パラメータの検出に流用するため、当該動画像符号化装置７０の回路構成を簡易化することもできる。
【０３３０】
以上の構成によれば、簡易動きベクトル検出器７５において、配信対象の１つの動画像データＤ１から得られる解像度の異なる動画像データＤ１及びＤ２のうち第１のエンコーダ７３に取り込んだ動画像データＤ２を用いて順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出し、第１及び第３のエンコーダ７３及び３９においてその検出した順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を共有化して用いて、解像度の異なる動画像データＤ１及びＤ２に対して当該解像度に合わせた動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７８を検出し、当該解像度の異なる動画像データＤ１及びＤ２をその動きベクトルＤ３７、Ｄ５１、Ｄ５２、Ｄ７８を用いて動き補償予測符号化により圧縮符号化するようにしたことにより、上述した第１の実施の形態によって得られる効果よりも、解像度の異なる動画像データＤ１及びＤ２に対する圧縮符号化処理の処理負荷を低減させることができ、かくして１つの動画像データから得られる解像度の異なる複数の動画像データに対して圧縮符号化処理をさらに高速化し得る動画像符号化装置を実現することができる。
【０３３１】
これに加えて、シーンチェンジ検出器７６において、配信対象の１つの動画像データＤ１から得られる解像度の異なる動画像データＤ１及びＤ２のうち第１のエンコーダ７３に取り込んだ動画像データＤ２を用いてシーンチェンジの有無を検出し、当該検出結果を共有化して用いて解像度の異なる複数の動画像データＤ１及びＤ２を圧縮符号化するようにしたことにより、解像度の異なる動画像データＤ１及びＤ２に対する圧縮符号化処理の処理負荷をさらに低減させて当該圧縮符号化処理を高速化し得る動画像符号化装置を実現することができる。
【０３３２】
なお、上述した第２の実施の形態においては、図３（Ａ）及び（Ｂ）について上述したように配信対象の動画像データＤ１のフレーム画像データにＩピクチャ、Ｐピクチャ及びＢピクチャを割り当てるようにした場合について述べたが、本発明はこれに限らず、配信対象の動画像データＤ１のフレーム画像データにＩピクチャ及びＰピクチャを所定の順番で割り当てるようにしても良い。因みに、動画像データＤ１にＩピクチャ、Ｐピクチャ及びＢピクチャを割り当てる場合でも図３（Ａ）及び（Ｂ）について上述した順番とは異なる順番で割り当てるようにしても良い。
【０３３３】
また、上述した第２の実施の形態においては、動画像データＤ１の解像度を１／１、１／２、１／４、１／８の解像度に変換するようにした場合について述べたが、本発明はこれに限らず、動画像データＤ１の解像度をこの他種々の変換率で変換するようにしても良い。
【０３３４】
さらに、上述した第２の実施の形態においては、動きベクトル検出器７７において、ブロックマッチング法により動きベクトルＤ３７、Ｄ５１、Ｄ５２を検出するようにした場合について述べたが、本発明はこれに限らず、テレスコピックサーチ法やオプティカルフロー等のように、この他種々の方法によって動きベクトルを検出するようにしても良い。
【０３３５】
さらに、上述した第２の実施の形態においては、簡易動きベクトル検出器７５により順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３に基づいて順方向側簡易動きベクトルＤ８１、順方向側及び逆方向側簡易動きベクトルＤ８４及びＤ８５を生成して第３のエンコーダ３９に送出するようにした場合について述べたが、本発明はこれに限らず、簡易動きベクトル検出器７５により所定階層の動きベクトルを検出して第３のエンコーダ３９に送出し、当該第３のエンコーダ３９においてその所定階層の動きベクトルに基づいて簡易動きベクトルを生成した後に当該生成した簡易動きベクトルを用いて最終的な動きベクトルを検出するようにしても良い。
【０３３６】
さらに、上述した第２の実施の形態においては、簡易動きベクトル検出器７５により、第１のエンコーダ７３に取り込んだ１／４の解像度の動画像データＤ２を用いて順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出するようにした場合について述べたが、本発明はこれに限らず、第１及び第２のエンコーダ７３及び３９において共有化して用いることができる下層の階層動きベクトルを検出することができれば、第１の解像度変換器３２において配信対象の動画像データＤ１から得られる１／４の解像度の動画像データＤ２を用いて順方向側の第３階層動きベクトルＤ８０、順方向側及び逆方向側の第３階層動きベクトルＤ８２及びＤ８３を検出するようにしても良い。また、シーンチェンジの有無も、共有化し得る下層動きベクトルの検出時に合わせて検出すれば、演算量を低減させることができるため、同様に第１の解像度変換器３２において検出しても良い。
【０３３７】
（３）他の実施の形態
なお、上述した第１及び第２の実施の形態においては、本発明による動画像符号化装置として、図１乃至図１４について上述した動画像符号化装置３０及び７０を適用するようにした場合について述べたが、本発明はこれに限らず、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）等の機関によって規格化されたＭＰＥＧ４（Moving Picture Experts Group phase 4）と呼ばれる圧縮符号化方式等のようにこの他種々の圧縮符号化方式が適用された動画像符号化装置やビデオカメラから供給される動画像データＤ１に代えて外部又は内部に予め記憶している動画像データを圧縮符号化処理する動画像符号化装置、さらには動画像データを圧縮符号化処理し得るものであれば、パーソナルコンピュータや携帯電話機、ＰＤＡ（Personal Digital Assistance ）等の電子機器のように、この他種々の動画像符号化装置に広く適用することができる。
【０３３８】
因みに、本発明による動画像符号化装置をパーソナルコンピュータや携帯電話機、ＰＤＡ等の電子機器に適用する場合には、当該電子機器に図１、図２、図５、図１１及び図１２について上述した各回路ブロックをハードウェアとして設けるようにしても良いし、その電子機器にハードウェアに代えて図１０（Ａ）乃至（Ｃ）及び図１４（Ａ）及び（Ｂ）について上述した動画像データＤ１の圧縮符号化処理手順を実行するためのプログラムをインストールし、当該プログラムに従ってソフトウェア処理として動画像データＤ１の圧縮符号化処理手順を実行しても本発明を実現することができる。
【０３３９】
そして、このように電子機器に図１０（Ａ）乃至（Ｃ）及び図１４（Ａ）及び（Ｂ）について上述した動画像データＤ１の圧縮符号化処理手順を実行するためのプログラムをインストールするには、当該プログラムが格納されたプログラム格納媒体を用いても良いし、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用しても良く、さらにはルータやモデム等の各種通信インターフェイスを介してインストールするようにしても良い。
【０３４０】
因みに、電子機器にプログラムをインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフロッピーディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアのみならず、配信処理プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体に配信処理プログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデム等の各種通信インターフェイスを介して格納するようにしても良い。
【０３４１】
さらに、上述した第１及び第２の実施の形態においては、１つの動画像データから得られる解像度の異なる複数の動画像データのうち任意の解像度の動画像データを用いて圧縮符号化パラメータを検出するパラメータ検出手段として、図２について上述した簡易動きベクトル検出器４２及びシーンチェンジ検出器４３と、図１２について上述した簡易動きベクトル検出器７５及びシーンチェンジ検出器７６とを適用するようにした場合について述べたが、本発明はこれに限らず、１つの動画像データから得られる解像度の異なる複数の動画像データのうち任意の解像度の動画像データを用いて圧縮符号化パラメータを検出することができれば、例えば圧縮符号化パラメータとして、動画像データのフレームレートの変換の有無を検出するフレームレート検出器や、動画像データを通すノイズリダクションフィルタのフィルタ係数を検出するフィルタ係数検出器、動画像データの連続するフレーム画像データから抽出すべき順次任意形状の抽出画像を追跡する抽出画像追跡器等のように、この他種々のパラメータ検出手段を広く適用することができる。
【０３４２】
さらに、上述した第１及び第２の実施の形態においては、複数種類の解像度の動画像データのうち少なくとも２種類の解像度の動画像データをそれぞれ圧縮符号化パラメータを共有化して用いて圧縮符号化する圧縮符号化手段として、図１及び図５並びに図１１及び図１２について上述した動画像データを順次フレーム画像データ単位で圧縮符号化する第１乃至第３のエンコーダ３７乃至３９、７３を適用するようにした場合について述べたが、本発明はこれに限らず、複数種類の解像度の動画像データのうち少なくとも２種類の解像度の動画像データをそれぞれ圧縮符号化パラメータを共有化して用いて圧縮符号化することができれば、動画像データの連続するフレーム画像データから順次任意形状の抽出画像のデータを抽出して圧縮符号化する圧縮符号化手段等のように、この他種々の圧縮符号化手段を広く適用することができる。
【０３４３】
さらに、上述した第１及び第２の実施の形態においては、複数種類の解像度のうち任意の当該解像度の動画像データを用いて圧縮符号化パラメータとなるフレーム画像間の階層動きベクトルを検出する階層動きベクトル検出手段として、ブロックマッチング法により階層動きベクトルを検出する図２について上述した簡易動きベクトル検出器４２及び図１２について上述した簡易動きベクトル検出器７５を適用するようにした場合について述べたが、本発明はこれに限らず、複数種類の解像度のうち任意の当該解像度の動画像データを用いて圧縮符号化パラメータとなるフレーム画像間の階層動きベクトルを検出することができれば、テレスコピックサーチ法やオプティカルフローにより階層動きベクトルを検出する階層動きベクトル検出手段等のように、この他種々の階層動きベクトル検出手段を広く適用することができる。
【０３４４】
【発明の効果】
上述のように本発明によれば、１つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、当該１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、当該最も低い解像度の動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出し、当該階層動きベクトルを検出したときに算出した最小予測誤差に基づき、１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出して、当該１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであることを検出しないときは暫定的なピクチャタイプを変更せずに確定し、１つの動画像データを構成する複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであることを検出したときは暫定的なピクチャタイプを変更して確定すると共に、当該変更後のピクチャタイプに従い、最も低い解像度の動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、最も低い解像度の動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出し直し、解像度の異なる複数の動画像データのうち最も低い解像度以上の少なくとも２種類の解像度の動画像データをそれぞれ、確定したピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、階層動きベクトルを共有化して用いて少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化するようにしたことにより、最も低い解像度以上の少なくとも２種類の解像度の動画像データを圧縮符号化する際、動きベクトルの検出及びシーンチェンジの有無の検出による演算量を減らして圧縮符号化処理の処理負荷を大幅に低減させることができ、かくして１つの動画像データから得られた解像度の異なる複数の動画像データに対して圧縮符号化処理を高速化することができる。
【図面の簡単な説明】
【図１】本発明による動画像符号化装置の回路構成の第１の実施の形態を示すブロック図である。
【図２】簡易動きベクトル検出処理部の回路構成を示すブロック図である。
【図３】動画像データのフレーム画像データに暫定的に割り当てたピクチャタイプの説明に供する略線図である。
【図４】階層マクロブロック及び階層フレーム画像の生成の説明に供する略線図である。
【図５】第１乃至第３のエンコーダの回路構成を示すブロック図である。
【図６】階層サーチ動きベクトル検出方式の説明に供する略線図である。
【図７】階層サーチ動きベクトル検出方式による第２階層の動きベクトルの検出の説明に供する略線図である。
【図８】階層サーチ動きベクトル検出方式による第１階層の動きベクトルの検出の説明に供する略線図である。
【図９】第５階層動きベクトルの共有化の説明に供する略線図である。
【図１０】動画像データの圧縮符号化処理手順を示すフローチャートである。
【図１１】第２の実施の形態による動画像符号化装置の回路構成を示すブロック図である。
【図１２】第１のエンコーダの回路構成を示すブロック図である。
【図１３】エンコーダで検出した動きベクトルの共有化の説明に供する略線図である。
【図１４】動画像データの圧縮符号化処理手順を示すフローチャートである。
【図１５】従来の動画像符号化装置の回路構成を示すブロック図である。
【図１６】第１乃至第３のエンコーダの回路構成を示すブロック図である。
【符号の説明】
３０、７０……動画像符号化装置、３１、７１……解像度変換処理部、３２……第１の解像度変換器、３３……第２の解像度変換器、３４……第３の解像度変換器、３５……簡易動きベクトル検出処理部、３６、７２……圧縮符号化処理部、３７、７３……第１のエンコーダ、３８……第２のエンコーダ、３９……第３のエンコーダ、４２、７５……簡易動きベクトル検出器、４３、７６……シーンチェンジ検出器、５１、７７……動きベクトル検出器、Ｄ１、Ｄ２、Ｄ３……動画像データ、Ｄ１５乃至Ｄ１６、Ｄ２３乃至Ｄ２８、Ｄ８１、Ｄ８４、Ｄ８５……簡易動きベクトル、Ｄ３７、Ｄ５１、Ｄ５２、Ｄ７６、Ｄ７８……動きベクトル、Ｄ８０、Ｄ８２、Ｄ８３……第３階層動きベクトル。

Claims (6)

1. １つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、上記１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出する階層動きベクトル検出手段と、
   上記階層動きベクトル検出手段により上記暫定的な上記ピクチャタイプに従い上記階層動きベクトルが検出されたときに算出された上記最小予測誤差に基づき、上記１つの動画像データを構成する上記複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出するシーンチェンジ検出手段と、
   上記シーンチェンジ検出手段により、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることが検出されないときは上記暫定的な上記ピクチャタイプを変更せずに確定し、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることが検出されたときは上記暫定的な上記ピクチャタイプを変更して確定するピクチャタイプ確定手段と、
   解像度の異なる複数の上記動画像データのうち上記最も低い解像度以上の少なくとも２種類の解像度の上記動画像データをそれぞれ上記ピクチャタイプ確定手段により確定された上記ピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、上記階層動きベクトルを共有化して用いて上記少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化する圧縮符号化手段と
   を具え、
   上記階層動きベクトル検出手段は、
   上記ピクチャタイプ確定手段により上記暫定的な上記ピクチャタイプが変更されずに確定されたときには、当該変更されずに確定された上記ピクチャタイプに従って検出していた上記階層動きベクトルを、上記少なくとも２種類の解像度にそれぞれ合わせた上記動きベクトルの検出用として上記圧縮符号化手段に供給し、上記ピクチャタイプ確定手段により上記暫定的な上記ピクチャタイプが変更されて確定されたときには、当該変更後の上記ピクチャタイプに従い、上記最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの上記階層動きベクトルを検出し直して、上記少なくとも２種類の解像度にそれぞれ合わせた上記動きベクトルの検出用として上記圧縮符号化手段に供給する
   動画像符号化装置。
2. 上記ピクチャタイプ確定手段は、
   上記１つの動画像データを構成する上記複数のフレーム画像データにそれぞれ上記ピクチャタイプを暫定的に割り当て、上記シーンチェンジ検出手段により、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることが検出されないときは上記暫定的な上記ピクチャタイプを変更せずに確定し、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることが検出されたときは上記暫定的な上記ピクチャタイプを変更して確定する
   請求項１に記載の動画像符号化装置。
3. 外部から与えられた、解像度の変換率を指定する変換率指定情報に基づいて、上記１つの動画像データから解像度の異なる複数の上記動画像データを生成すると共に、当該生成した解像度の異なる複数の上記動画像データをそれぞれ対応する上記変換率指定情報と共に上記圧縮符号化手段に送出する解像度変換手段
   を具え、
   上記圧縮符号化手段は、
   上記最も低い解像度以上の上記少なくとも２種類の解像度の上記動画像データに対応する上記変換率指定情報に基づいて、当該少なくとも２種類の解像度にそれぞれ合わせた上記動きベクトルを検出する
   請求項２に記載の動画像符号化装置。
4. １つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、上記１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出する階層動きベクトル検出ステップと、
   上記暫定的な上記ピクチャタイプに従い上記階層動きベクトルを検出したときに算出した上記最小予測誤差に基づき、上記１つの動画像データを構成する上記複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出するようにして、当該１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出しないときは上記暫定的な上記ピクチャタイプを変更せずに確定し、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出したときは上記暫定的な上記ピクチャタイプを変更して確定すると共に、当該変更後のピクチャタイプに従い、上記最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの上記階層動きベクトルを検出し直すピクチャタイプ確定ステップと、
   解像度の異なる複数の上記動画像データのうち上記最も低い解像度以上の少なくとも２種類の解像度の上記動画像データをそれぞれ、上記確定した上記ピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、上記階層動きベクトルを共有化して用いて上記少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化する圧縮符号化ステップと
   を具える動画像符号化方法。
5. コンピュータに
   １つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、上記１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出する階層動きベクトル検出ステップと、
   上記暫定的な上記ピクチャタイプに従い上記階層動きベクトルを検出したときに算出した上記最小予測誤差に基づき、上記１つの動画像データを構成する上記複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出するようにして、当該１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出しないときは上記暫定的な上記ピクチャタイプを変更せずに確定し、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出したときは上記暫定的な上記ピクチャタイプを変更して確定すると共に、当該変更後のピクチャタイプに従い、上記最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの上記階層動きベクトルを検出し直すピクチャタイプ確定ステップと、
   解像度の異なる複数の上記動画像データのうち上記最も低い解像度以上の少なくとも２種類の解像度の上記動画像データをそれぞれ、上記確定した上記ピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、上記階層動きベクトルを共有化して用いて上記少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化する圧縮符号化ステップと
   を実行させるための動画像符号化プログラムを格納したコンピュータ読取可能な動画像符号化プログラム格納媒体。
6. コンピュータに
   １つの動画像データを構成する複数のフレーム画像データそれぞれの暫定的な、圧縮符号化の種類を規定するピクチャタイプに従い、上記１つの動画像データから得られる解像度の異なる複数の動画像データのうち最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの階層動きベクトルを検出する階層動きベクトル検出ステップと、
   上記暫定的な上記ピクチャタイプに従い上記階層動きベクトルを検出したときに算出した上記最小予測誤差に基づき、上記１つの動画像データを構成する上記複数のフレーム画像データについてシーンが変更された時点のフレーム画像データであるかを検出するようにして、当該１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出しないときは上記暫定的な上記ピクチャタイプを変更せずに確定し、上記１つの動画像データを構成する上記複数のフレーム画像データについて上記シーンが変更された時点のフレーム画像データであることを検出したときは上記暫定的な上記ピクチャタイプを変更して確定すると共に、当該変更後のピクチャタイプに従い、上記最も低い解像度の上記動画像データに含まれる動きベクトル検出対象のフレーム画像内の所定ブロックと、上記最も低い解像度の上記動画像データに含まれる参照用のフレーム画像との最小予測誤差を算出するようにして当該所定ブロックの上記階層動きベクトルを検出し直すピクチャタイプ確定ステップと、
   解像度の異なる複数の上記動画像データのうち上記最も低い解像度以上の少なくとも２種類の解像度の上記動画像データをそれぞれ、上記確定した上記ピクチャタイプに従い、フレーム内符号化により圧縮符号化すると共に、上記階層動きベクトルを共有化して用いて上記少なくとも２種類の解像度にそれぞれ合わせた動きベクトルを検出して、当該検出した動きベクトルを用いた動き補償予測符号化により圧縮符号化する圧縮符号化ステップと
   を実行させるための動画像符号化プログラム。

Images