JP5446686B2 - 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム - Google Patents

Description

本発明は、動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像についてＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で符号化して配信する動画像配信システムに適用し得る。

近年、非特許文献１に説明されるようなＤｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下ＤＶＣ）という新しい符号化方式に注目が集まっている。この方式は、符号化部で符号化するべき原画像に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データと復号側で行った符号化部側の原画像の予測画像とともにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うことで画像の符号化を行う新しい符号化方式である。このような、非特許文献１に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題がある。

そこで、非特許文献２では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算を行う方式を提案している。

以下、非特許文献２に記載されている、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化としてＬＤＰＣ符号を用いた動画像の符号化装置及び復号装置について説明する。

符号化装置側では、符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖ Ｆｒａｍｅｓ）を変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２^Ｍｋｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その値（ｑ_ｋ）を２値で表し、各ビットの情報を、例えば１ｆｒａｍｅ分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、その結果のうちシンドロームビットのみを一時保存し、情報ビットは捨てられる。そして、符号化装置側では、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、予測画像の誤りやすさを推定し、訂正するための必要な誤り訂正符号の量を計算する。

符号化装置から復号装置に与えるシンドロームビットの量は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたシンドロームビットを間引くことによって決定する。これは、間引きパターンを複数用意しておき、ここから誤り訂正に必要な符号量が得られる間引きパターンを選択することによって、送信する符号量を決定する。例えば、誤り訂正符号を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン、２／４８に間引くパターン、…、４７／４８に間引くパターンというような間引きパターンと４８／４８のパターン（間引きなし）を用意しておき、この４８通りから計算した送信する対応する間引きパターンを選択する。

復号装置側では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域（ＤＣＴ）に変換し、帯域毎にＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎとして利用する。

そして、復号装置側では、符号化装置側から与えられたシンドロームビットとその内容を示す信号を受信し、受信したシンドロームビットの内容によって適用する復号方式を決定する。

例えば、受信したシンドロームビットが、２／４８等の間引かれたパターンの場合は、受け取ったシンドロームビットを送信された間引きパターンと仮定してＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行い、その復号値と、Ｓｉｄｅ Ｉｎｆｏｒｔｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。一方、４８／４８のパターン（間引きなしのパターン）の場合は、マトリクス解法を行い、その処理結果とＳｉｄｅ Ｉｎｆｏｒｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。シンドロームビットが間引き無しの場合にマトリクス解法を行うのは、予測画像に誤りが極めて多い場合には、間引き無しのシンドロームビットによりＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行っても正しく復号できるとは限らないが、マトリクス解法を用いると復号の精度が向上する。

Ａｎｎｅ Ａａｒｏ， Ｓｈａｎｔａｎｕ Ｒａｎｅ， Ｅｒｉｃ Ｓｅｔｔｏｎ， ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ，"Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ．"Ｉｎ：Ｐｒｏｃ，ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｓａｎ Ｊｏｓｅ，ＣＡ（２００４） Ｃ．Ｂｒｉｔｅｓ，Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ"，ＩＣＩＰ２００７

しかしながら、非特許文献２における送信符号量の制御方法では、符号化装置側でシンドロームビットについて間引きを行ったか、行っていないかによって、復号装置側での処理が異なる。符号化装置側で、間引きを行っていない場合には、復号装置側で、マトリクス解法による処理を行う必要があり、回路規模の増大、プログラム規模の増大などという問題が発生する。

そのため、符号化された動画像データの復号に係る処理量を低減することができる動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムが臨まれている。

第１の本発明の動画像符号化装置は、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段とを有し、（８）上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする。

第２の本発明の動画像復号装置は、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段とを有し、（５）前記第１の非キーフレーム復号手段は、取得した誤り訂正符号の量が、上記予測画像の誤りを訂正する誤り訂正符号の量の上限だった場合において、当該誤り訂正符号を用いた復号処理を実行可能な構成が省略されていることを特徴とする。

第３の本発明の動画像符号化プログラムは、コンピュータを、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段として機能させ、（８）上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする。

第４の本発明の動画像復号プログラムは、コンピュータを、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段として機能させ、（５）前記第１の非キーフレーム復号手段は、取得した誤り訂正符号の量が、上記予測画像の誤りを訂正する誤り訂正符号の量の上限だった場合において、当該誤り訂正符号を用いた復号処理を実行可能な構成が省略されていることを特徴とする。

第５の本発明は、動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、（１）上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、（２）上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、（３）上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用し、（４）上記動画像復号装置として、第２の本発明の動画像復号装置を適用したことを特徴とする。

本発明によれば、符号化された動画像データの復号に係る処理量を低減することができる。

実施形態に係る動画像配信システムの全体構成について示したブロック図である。 実施形態に係る動画像符号化装置の動作について示したフローチャートである。 実施形態に係る動画像復号装置の動作について示したフローチャートである。

（Ａ）主たる実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの一実施形態を、図面を参照しながら詳述する。

（Ａ−１）実施形態の構成
図１は、この実施形態の動画像配信システム１の全体構成を示すブロック図である。

動画像配信システム１は、動画像配信装置１０及び動画像受信装置２０を有している。動画像配信装置１０は、動画像符号化装置１００を有しており、動画像符号化装置１００により入力された映像信号を符号化して動画像データを生成し、図示しない通信部により動画像受信装置２０に向けて送出する。

動画像符号化装置１００に対して入力される映像信号は、この実施形態においては、フレーム単位の映像信号（例えば、ＣＣＤカメラから入力される映像信号等）の列（以下、「入力シーケンス」という）を適用するものとして説明する。その他にも、動画像符号化装置１００に、ビデオカメラ等によるアナログ形式の映像信号を入力して、動画像符号化装置１００がフレーム単位の画像データに変換するキャプチャを別途備えるようにしても良い。このように、動画像符号化装置１００に対して入力される映像信号の形式は限定されないものである。

動画像受信装置２０は、動画像復号装置２００を有しており、図示しないにより、動画像配信装置１０から送信された動画像データを受信し、動画像復号装置２００により、受信した符号化された動画像データを復号して、動画像の信号を生成、所定の出力（例えば、ディスプレイへの出力や、復号した動画像データの記憶媒体への書き込み等、出力方法限定されないものである）を行う。

動画像符号化装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像符号化プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。また、動画像復号装置２００についても同様のプログラムの実施構成に、実施形態の動画像復号プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。

動画像配信装置１０は、例えば、ハードウェア的な通信部の他は、通信処理やデータ処理等を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵが実行するプログラム（実施形態の動画像符号化プログラムを含む）をインストールすることにより構築しても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。また、動画像受信装置２０も、同様の装置に、実施形態の動画像復号プログラム等をインストールすることにより構築するようにしても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。

次に、動画像符号化装置１００の内部構成について説明する。

動画像符号化装置１００は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０及びキーフレーム符号化部１２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０は、変換量子化部１１１、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２、送信符号量推定部１１３、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４、及び情報ビット格納部１１５を有している。

キーフレーム符号化部１２０は、入力シーケンスからキーフレームを得、従来のＭＰＥＧやＪＰＥＧといった従来の符号化方式で符号化を行い、復号側へ符号化データを送信する。

変換量子化部１１１は、入力シーケンスからＷｙｎｅｒ−Ｚｉｖフレームを得、変換・量子化しビットプレーン単位へ分割する。

Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２は、Ｗｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレーム画像を入力し、Ｗｙｎｅｒ−Ｚｉｖフレーム画像の予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、変換量子化部１１１から入力された各ビットプレーンの情報（情報ビット）に対し、ＬＤＰＣ符号といったＳｌｅｐｉａｎ一Ｗｏｌｆ符号化を行い、シンドロームビットを生成し、送信符号量推定部１１３からの指示があった場合にシンドロームビットを受信側（動画像受信装置２０）に送信する。

情報ビット格納部１１５は、変換量子化部１１１から入力された各ビットプレーンの情報（以下、「情報ビット」という）を格納し、送信符号量推定部１１３からの指示があった場合に動画像受信装置２０（動画像復号装置２００）に送信する。

送信符号量推定部１１３は、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像の変換係数と、変換量子化部１１１で得られたＷｙｎｅｒ−Ｚｉｖフレームの変換係数を入力し、各ビットプレーンの復号部へ送る誤り訂正符号の量を推定する。

送信符号量推定部１１３による誤り訂正符号の量は、上述の非特許文献２の記載技術と同様の処理により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４が符号化したシンドロームビットについて間引く量を決定する（間引く量ではなく、残す量を決定するようにしても良いが、ここでは、説明を簡易にするため間引く量として説明する）。

そして、ここでは、例として、送信符号量推定部１１３が決定する誤り訂正符号の量（間引き量のパターン）は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化したシンドロームビットを、１／４８単位で間引くいずれかのパターン（１／４８、２／４８、…、４８／４８のいずれかのパターン）で示されるものとする。

そして、送信符号量推定部１１３は、上述の間引き量のパターンを、４８／４８のパターン（すなわち、間引き無し）と決定した場合には、その旨が情報ビット格納部１１５に通知し、当該非キーフレームの符号化データとして、情報ビット格納部１１５に格納された情報を出力し、動画像受信装置２０（動画像復号装置２００）に送信する。

また、送信符号量推定部１１３は、上述の間引き量のパターンを、１／４８〜４７／４８のいずれかのパターン（すなわち、間引き有り）と決定した場合には、その旨をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に通知する。そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、生成したシンドロームビットから、送信符号量推定部１１３により決定されたパターンの間引きを行って、その間引き後のデータを、当該非キーフレームの符号化データとして出力し、動画像受信装置２０（動画像復号装置２００）に送信する。

また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報について、受信側で分類できるような情報を付加するようにしても良い。例えば、ヘッダ情報の一部に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報とを分類するための情報を挿入するようにしても良い。

次に、動画像復号装置２００の内部構成について説明する。

動画像復号装置２００は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０及びキーフレーム復号部２２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０は、切り替え部２１１、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３、及び復号画像生成部２１４を有している。

キーフレーム復号部２２０は、動画像符号化装置１００（キーフレーム符号化部１２０）で符号化されたキーフレームを受信し、復号を行うことで、復号画像を得る。

Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３は、キーフレーム復号部２２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレームの復号画像から、例えば動き推定と動き補償などの手法を用いてＷｙｎｅｒ−Ｚｉｖフレームの予測画像を生成し、変換・量子化しビットプレーンへ分割する。

切り替え部２１１は、動画像符号化装置１００（Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０）から受信したＷｙｎｅｒ−Ｚｉｖフレームに係るデータが、シンドロームビットの場合には、そのデータをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へ与え、情報ビットの場合には、復号画像生成部２１４へ与える。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２は、受信したシンドロームビットとＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報（ビットプレーン）とから、Ｓｌｅｐｉａｎ−Ｗｏｌf復号を行う。

復号画像生成部２１４は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での各ビットプレーンの復号結果もしくは受信した情報ビットと、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報を参照してフレーム単位での情報に再構成したのち、再構成されたフレームに逆変換・逆量子化を行い、復号画像を得る。

（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像配信システム１の動作を説明する。

ここでは、まず、動画像符号化装置１００の動作について説明した後に、動画像復号装置２００の動作について説明する。

（Ａ−２−１）動画像符号化装置の動作について
動画像符号化装置１００に入力される、入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われる。ここでは、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。

動画像符号化装置１００では、入力シーケンスの１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１２０において、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化がおこなわれて受信側へ送信される。次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について説明する。

図２は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について示したフローチャートである。

まず、入力シーケンスから２フレーム目の原画像を変換量子化部１１１へ入力される（Ｓ２０１）。

次に、変換量子化部１１１で、２フレーム目の原画像が変換係数領域に変換（ＤＣＴ）され、帯域ごとに量子化される（Ｓ２０２）。ステップＳ２０２では、各帯域の量子化された変換係数が２値化され、ビットプレーンへ分割されるとともに、各ビットプレーンの情報が情報ビットとして、情報ビット格納部１１５に格納される。帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンへ分割しても良いし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンへ分割しても良い。一般に、誤り訂正符号は符号長が長いほど高い誤り訂正能力を発揮できる。しかし、動画像では、動きのある領域と動きがない領域では、動きのある領域のほうが予測画像の誤りが多い、というように画面内の領域によって誤りの量が異なることが考えられるため、領域によってビットプレーンを分割することにより、領域の特徴を捉えることができると考えられる。

次に、キーフレーム符号化部１２０から前または後、または両方のキーフレーム画像がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２へ入力される（Ｓ２０３）。

次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ２０４）。

予測画像の生成には、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、非特許文献２に示されるような、範囲の絞った動き探索などの方法がある。

次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において生成した予測画像に対して、変換・量子化を行い、ビットプレーンに分割される（Ｓ２０５）。このときのビットプレーンの長さは変換量子化部１１１と同様の分割方法で行う。

次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２から予測画像の変換係数を送信符号量推定部１１３へ入力される（Ｓ２０６）。

次に、変換量子化部１１１から原画像の変換係数が送信符号量推定部１１３へ入力される（Ｓ２０７）。

次に、送信符号量推定部１１３において、誤り訂正に必要な誤り訂正符号の量が推定される（Ｓ２０８）。

ステップＳ２０８における計算手法については、例えば、非特許文献２などの方法を用いることができる。つまり、送信符号量推定部１１３では、入力されたＷｙｎｅｒ−Ｚｉｖフレームの予測画像と原画像の変換係数を比較し、帯域毎に予測誤差の分布パラメータを推定する。予測誤差の分布を平均０のラプラス分布と仮定すると、予測画像の変換係数と原画像の変換係数の差分の分散を計算することによって得られる。次に、推定した分布パラメータをもとに、各ビットプレーンの予測画像の誤りやすさを推定し、それを訂正するために必要な誤り訂正符号の量を計算する。符号化側のＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像を復号側で生成する予測画像と仮定することで、誤りやすさを推定し、誤り訂正に必要な誤り訂正符号の量を推定し、間引きパターンを選択する。間引きパターンとは、例えば、誤り訂正符号（ここでは、例としてＬＤＰＣのシンドロームビットを用いる）を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン，２／４８に間引くパターン、・・・、４７／４８に間引くパターンというような間引きパターンと、４８／４８のパターン（間引きなし）が用意されているので選択する。

次に、送信符号量推定部１１３で求められた間引きパターンが、間引きありのパターンか無しのパターンかが判定され（Ｓ２０９）、間引き有りの場合（上述の例では４８／４８以外のパターン）は、間引きされたシンドロームビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１０）。一方、間引きなし（上述の例では４８／４８のパターン）の場合は、情報ビット格納部１１５から、情報ビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１１）。

（Ａ−２−２）動画像復号装置の動作について
次に、動画像復号装置２００の動作を説明する。

動画像復号装置２００では、動画像符号化装置１００から与えられる１フレーム目のデータは、上述の通りキーフレームの符号化データであるため、キーフレーム復号部２２０は、キーフレーム符号化部１２０から送信された符号化されたキーフレームを受信し、復号を行う。動画像符号化装置１００側では、キーフレームはＪＰＥＧやＭＰＥＧのＩフレームといった従来の符号化方式のフレーム内符号化を例として挙げているのが、これに対応した復号を行うことにより、復号画像を得る。

次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームについて符号化されたデータであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について説明する。

図３は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について示したフローチャートである。

まず、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０において、動画像配信装置１０（動画像符号化装置１００）から送信された、Ｗｙｎｅｒ−Ｚｉｖフレームの符号化データが受信される（Ｓ３０１）。

次に、切り替え部２１１において、受信した符号化データの内容が、ヘッダ情報の確認等により、シンドロームビットか情報ビットかが判定され（Ｓ３０２）、シンドロームビットである場合には、後述するステップＳ３０３の処理に進み、情報ビットである場合には後述するステップＳ３０８の処理に進む。

次に、上述のステップＳ３０３において、受信した符号化データの内容が、シンドロームビットであった場合には、まず、キーフレーム復号部２２０の出力結果からキーフレーム画像（例えば前後のキーフレーム）がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３へ入力される（Ｓ３０３）。

次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ３０４）。予測画像生成方法としては、例えば、前後の平均や、動き推定・動き補償を行う方法などがある。

次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３において予測画像が、量子化・２値化され、ビットプレーンへ分割される（Ｓ３０５）。このとき、ビットプレーンの長さについては、符号化器と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。

次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成されたビットプレーンが入力される（Ｓ３０６）。

次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０から送信されたシンドロームビットを用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号（この実施形態においては、ＬＤＰＣ復号を用いる）が行われる（Ｓ３０７）。

そして、上述のステップＳ３０３において、受信した符号化データがシンドロームビットであった場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での復号結果が、復号画像生成部２１４へ入力される。一方、上述のステップＳ３０３において、受信した符号化データが情報ビットであると判定された場合には、受信した情報ビットが、復号画像生成部２１４へ入力される（Ｓ３０８）。

次に、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０では、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ３０９）、全てのビットプレーンの処理が完了した場合には後述するステップＳ３１０の処理に進み、そうでない場合には、上述のステップＳ３０１の処理に戻って動作する。

次に、復号画像生成部２１４では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２による復号結果のビットプレーン又は情報ビットが、フレーム単位へ再構成され、逆量子化・逆変換することで復号画像が得られる（Ｓ３１０）。

（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

動画像符号化装置１００側では、送信符号量推定部１１３により、シンドロームを間引かずに送信すると判定された場合には、シンドロームビットを送らずに、対応する情報ビットを送ることで、動画像復号装置２００側で、従来のようなマトリクス解法等を行う手段を用意する必要がなくなる。これにより、動画像復号装置２００側の回路規模、プログラム規模が縮小される上、処理量も低減することができる。

（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）上記の実施形態においては、送信符号量推定部１１３は、決定した誤り訂正符号の量（間引き量のパターン）が、「間引き有り」のパターンの場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に間引きしたシンドロームビットの出力を指示し、「間引き無し」のパターンの場合には、情報ビット格納部１１５に情報ビットの出力を指示しているが、その他の基準を適用するようにしても良い。

例えば、間引きの有無ではなく、間引き量に対する閾値を設けて、その閾値との比較結果に応じて、シンドロームビット又は情報ビットの出力のいずれかを選択するようにしても良い。例えば、閾値を４５／４８に設定した場合には、送信符号量推定部１１３が決定した間引き量が１／４８〜４４／４８のいずれかのパターンであった場合には、シンドロームビットの出力を選択し、４５／４８〜４８／４８のいずれかのパターンであった場合には、情報ビットの出力を選択するようにしても良い。

（Ｂ−２）上記の実施形態においては、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４では、ＬＤＰＣ符号を用いた処理を行っているが、他の符号化方式（例えば、ターボ符号）を適用するようにしても良い。

（Ｂ−３）上記の実施形態においては、情報ビット格納部１１５には、変換量子化部１１１から出力されるＷｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム）の原画像に係るビットプレーンが格納されるものとして説明したが、他の形式の原画像に係るデータを格納するようにしても良い。

例えば、キーフレーム符号化部１２０における符号化形式と同様の形式（例えば、ＭＰＥＧにおけるＩフレームやＪＰＥＧ等の形式）のデータを情報ビット格納部１１５に格納するようにしても良い。その場合は、動画像復号装置２００側でも、復号画像生成部２１４において、情報ビット格納部１１５からのデータを受信した場合には、キーフレーム復号部２２０と同様の処理により復号するようにしても良い。なお、上述の例の場合、別途復号手段を設けずに、キーフレーム復号部２２０をそのまま適用するようにしても良い。

（Ｂ−４）上記の実施形態において、動画像符号化装置１００は、動画像配信装置１０に搭載され、符号化した動画像データを、動画像受信装置２０（動画像復号装置２００）に送信するものとして説明したが、動画像符号化装置１００を単独の装置として構築するようにしても良い。その場合、例えば、動画像符号化装置１００が出力する動画像の符号化データを記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録するようにしても良い。

また、上記の実施形態において、動画像復号装置２００は、動画像受信装置２０に搭載され、符号化した動画像データを、動画像配信装置１０（動画像符号化装置１００）から受信して復号するものとして説明したが、動画像復号装置２００を単独の装置として構築するようにしても良い。その場合例えば、動画像復号装置２００に入力されるデータは、記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録されたデータとしても良い。

１…動画像配信システム、１０…動画像配信装置、１００…動画像符号化装置、１１０…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１１１…変換量子化部、１１２…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、１１３…送信符号量推定部、１１４…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１１５…情報ビット格納部、１２０…キーフレーム符号化部、２０…動画像受信装置、２００…動画像復号装置、２１０…Ｗｙｎｅｒ−Ｚｉｖフレーム復号部、２２１…切り替え部、２２２…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、２２３…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、２２４…復号画像生成部、２２０…キーフレーム復号部。

Claims (5)

1. フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
   キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
   上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
   上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
   上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
   上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
   上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段とを有し、
   上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択する
   ことを特徴とする動画像符号化装置。
2. フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
   復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
   上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、
   上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段とを有し、
   前記第１の非キーフレーム復号手段は、取得した誤り訂正符号の量が、上記予測画像の誤りを訂正する誤り訂正符号の量の上限だった場合において、当該誤り訂正符号を用いた復号処理を実行可能な構成が省略されている
   ことを特徴とする動画像復号装置。
3. コンピュータを、
   フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
   キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
   上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
   上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
   上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
   上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
   上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段として機能させ、
   上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択する
   ことを特徴とする動画像符号化プログラム。
4. コンピュータを、
   フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
   復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
   上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と
   上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段として機能させ、
   前記第１の非キーフレーム復号手段は、取得した誤り訂正符号の量が、上記予測画像の誤りを訂正する誤り訂正符号の量の上限だった場合において、当該誤り訂正符号を用いた復号処理を実行可能な構成が省略されている
   ことを特徴とする動画像復号プログラム。
5. 動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、
   上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、
   上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、
   上記動画像符号化装置として、請求項１に記載の動画像符号化装置を適用し、
   上記動画像復号装置として、請求項２に記載の動画像復号装置を適用したことを特徴とする動画像配信システム。

Images