JP6268718B2 - 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム - Google Patents

Description

この発明は、動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像をＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で符号化して配信する動画像配信システムに適用し得る。

従来のＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式を採用したシステムは、Ｓｌｅｐｉａｎ‐Ｗｏｌｆ理論およびＷｙｎｅｒ−Ｚｉｖ理論に基づき動画像の符号化および復号をおこなうシステムである。

ＤＶＣ方式は、デコーダで生成される符号化対象画像の予測画像（以下、「デコーダ予測画像」と呼ぶ）から符号化対象画像を再構成する符号（以下、「Ｗｙｎｅｒ−Ｚｉｖ符号」と呼ぶ）を、デコーダ予測画像を直接参照することなく生成することを特徴とする。この特徴より、ＤＶＣ方式を採用した動画像符号化装置は複雑な予測画像生成部を備える必要がなく、符号化にかかる演算量の削減が可能になる。ＤＶＣ方式の間題は、デコーダ予測画像自体を保持して、復号画像を生成するのに必要十分なＷｙｎｅｒ−Ｚｉｖ符号のレートを求めることが困難であることである。例えば、ＤＶＣ方式を採用した動画像符号化装置では、Ｗｙｎｅｒ−Ｚｉｖ符号が多すぎると圧縮効果が得られず、Ｗｙｎｅｒ−Ｚｉｖ符号が少なすぎるとデコーダ予測画像から復号画像を生成できない。

このようなＤＶＣ方式の課題を解決する従来技術として、非特許文献１の記載技術がある。非特許文献１では、デコーダ予測画像から復号画像が生成されるまで追加のＷｙｎｅｒ−Ｚｉｖ符号を要求し続ける（フィードバックし続ける）ことで必要十分なレートを探る方式（以下、「デコーダレート制御方式」と呼ぶ）を実現している。

しかし、従来のデコーダレート制御方式には、ネットワークを介した復号処理の存在なしに符号化することができないため、用途が限定されるという短所がある。そして、この短所を改善するための従来技術として非特許文献２、３の記載技術がある。

この短所を解消するため、非特許文献２や非特許文献３では、エンコーダ予測画像（デコーダ予測画像ほど複雑な演算を必要とせずに生成が可能な予測画像）を動画像符号化装置側で生成し、符号化対象画像とエンコーダ予測画像を比較することで、レートを制御する方式（以下、「エンコーダレート制御方式」と呼ぶ）が提案されている。

非特許文献２、３のエンコーダレート制御方式を採用した動画像符号化装置では、レート制御を行うことで、初回に送られるＷｙｅｒ−Ｚｉｖ符号のレートを、必要十分なレートに近づけ、フィードバック回数を少なくしている。

Ｂ．Ｇｉｒｏｄ，ａ Ｍ．Ａａｒｏｎ，Ｓ．Ｒａｎｅ，ａｎｄＤ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏ，"Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥE，ｖｏｌ．９３，Ｊａｎ．２００５，ｐｐ．７１−８３． Ｃ．Ｂｒｉｔｅｓ ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ ｖｉｄｅｏ ｃｏｄｉｎｇ，"１ｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００７． ＩＣＩＰ ２００７． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ＩＥＥＥ， ２００７， ｐｐ．４−７． Ｍ．Ｔａｇｌｉａｓａｃｃｈｉ，Ａ．Ｍａｊｕｍｄａｒ，ａｎｄ Ｒ．Ｒａｍｃｈａｎｄｒａｎ，"Ａ ｄｉｓｔｒｉｂｕｔｅｄ−ｓｏｕｒｃｅ−ｃｏｄｉｎｇ ｂａｓｅｄ ｒｏｂｕｓｔ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｅｃ，"Ｐｒｏｃ． Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ， Ｃｉｔｅｓｅｅｒ， ２００４． Ｊ．Ａｓｃｅｎｓｏ， Ｃ．Ｂｒｉｔｅｓ， ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，‘Ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ ｐｉｘｅｌ ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ， ２００５．， ｐｐ． ５９３−５９８．

従来の動画像符号化装置でエンコーダ予測画像（サイドインフォメーション）を生成する場合、生成したエンコーダ予測画像の量子化値と、Ｗｙｎｅｒ−Ｚｉｖ画像の量子化値との間の誤りの量に応じて、動画像復号装置側に供給する符号量を増減させる。すなわち、従来の動画像符号化装置では、上述の量子化値の誤りの量が多いほど多くの符号量のパリティビットを、動画像復号装置側に供給することになる。

一方、動画像符号化装置において、上述の符号量はより少ない方が、伝送効率等の面から好ましいが、符号量を少なくすると動画像復号装置側で生成する復号画像の品質が低下する。

そのため、復号画像の品質を低下させずに符号量を少なくすることができる動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムが望まれている。

第１の本発明は、フレーム列を有する動画像を符号化する動画像符号化装置において、（１）上記フレーム列のうちキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（２）予測画像を構成するパラメータの値を量子化する量子化手段と、（３）予測画像の各パラメータと原画像の各パラメータについて、それぞれの値の差分を算出し、当該差分が上記量子化手段の処理により発生する量子化誤差より大きいパラメータについては、原画像の値を選択し、当該差分が量子化誤差以下となるパラメータについては、当該予測画像の値を選択する比較手段と、（４）上記比較手段による比較結果の分布状況に応じて、フレームを構成するブロックごとに、予測画像又は原画像のいずれかのパラメータの値を選択して、ブロックごとに選択されたパラメータの値で構成された更新後原画像を生成する更新後原画像生成手段とを有し、（５）上記量子化手段は、更新後原画像を構成するパラメータの値を量子化し、（６）非キーフレームに対する上記量子化手段により量子化された更新後原画像の誤りを訂正するための誤り訂正符号を生成する誤り訂正符号生成手段をさらに有し、（７）予測画像及び原画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値であることを特徴とする。

第２の本発明は、フレーム列を有する動画像が第１の本発明の動画像符号化装置によりフレーム単位に符号化された動画像データを復号する動画像復号装置であって、（１）キーフレームのデータを保持するキーフレーム保持手段と、（２）上記キーフレーム保持手段が保持したキーフレームを利用して、上記フレーム列のうち非キーフレームの第１の予測画像を生成する第１の予測画像生成手段と、（３）上記キーフレーム保持手段が保持したキーフレームを利用して、上記動画像符号化装置の上記予測画像生成手段で生成される予測画像と同様の第２の予測画像を生成する第２の予測画像生成手段と、（４）非キーフレームのブロックごとに、上記動画像符号化装置で生成されたブロック選択情報に基づき、第１の予測画像又は第２の予測画像のいずれかのパラメータの値を選択して、更新後予測画像を生成する更新後予測画像生成手段と、（５）上記動画像データを構成する非キーフレームの符号化データが、当該非キーフレームの原画像に対する予測画像の誤りを訂正する誤り訂正符号であった場合には、当該非キーフレームの更新後予測画像について、その誤り訂正符号を用いて訂正した訂正後画像を生成する誤り訂正手段とを有し、（７）第１の予測画像及び第２の予測画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値であることを特徴とする。

第３の本発明は、フレーム列を有する動画像を符号化する動画像符号化プログラムにおいて、コンピュータを、（１）上記フレーム列のうちキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（２）予測画像を構成するパラメータの値を量子化する量子化手段と、（３）予測画像の各パラメータと原画像の各パラメータについて、それぞれの値の差分を算出し、当該差分が上記量子化手段の処理により発生する量子化誤差より大きいパラメータについては、原画像の値を選択し、当該差分が量子化誤差以下となるパラメータについては、当該予測画像の値を選択する比較手段と、（４）上記比較手段による比較結果の分布状況に応じて、フレームを構成するブロックごとに、予測画像又は原画像のいずれかのパラメータの値を選択して、ブロックごとに選択されたパラメータの値で構成された更新後原画像を生成する更新後原画像生成手段として機能させ、（５）上記量子化手段は、更新後原画像を構成するパラメータの値を量子化し、（６）非キーフレームに対する上記量子化手段により量子化された更新後原画像の誤りを訂正するための誤り訂正符号を生成する誤り訂正符号生成手段として上記コンピュータをさらに機能させ、（７）予測画像及び原画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値であることを特徴とする。

第４の本発明は、フレーム列を有する動画像が第１の本発明の動画像符号化装置によりフレーム単位に符号化された動画像データを復号する動画像復号プログラムであって、コンピュータを、（１）キーフレームのデータを保持するキーフレーム保持手段と、（２）上記キーフレーム保持手段が保持したキーフレームを利用して、上記フレーム列のうち非キーフレームの第１の予測画像を生成する第１の予測画像生成手段と、（３）上記キーフレーム保持手段が保持したキーフレームを利用して、上記動画像符号化装置の上記予測画像生成手段で生成される予測画像と同様の第２の予測画像を生成する第２の予測画像生成手段と、（４）非キーフレームのブロックごと、上記動画像符号化装置で生成されたブロック選択情報に基づき、に第１の予測画像又は第２の予測画像のいずれかのパラメータの値を選択して、更新後予測画像を生成する更新後予測画像生成手段と、（５）上記動画像データを構成する非キーフレームの符号化データが、当該非キーフレームの原画像に対する予測画像の誤りを訂正する誤り訂正符号であった場合には、当該非キーフレームの更新後予測画像について、その誤り訂正符号を用いて訂正した訂正後画像を生成する誤り訂正手段して機能させ、（６）第１の予測画像及び第２の予測画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値であることを特徴とする。

第５の本発明は、フレーム列を有する動画像をフレーム単位に符号化した動画像データを生成する動画像符号化装置と、上記動画像符号化装置で生成された動画像データを復号する動画像復号装置とを備える動画像配信システムにおいて、上記動画像符号化装置として第１の本発明の動画像符号化装置を適用したことを特徴とする動画像配信システム。

本発明によれば、復号画像の品質を低下させずに符号量を少なくすることができる動画像配信システムを提供することができる。

第１の実施形態に係る動画像配信システムの全体構成について示したブロック図である。 第１の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第１の実施形態に係る動画像復号装置の機能的構成について示したブロック図である。 第１の実施形態に係る動画像配信システムの動作（動画像符号化装置側の動作）について示したフローチャートである。 第１の実施形態に係る動画像配信システムの動作（動画像復号装置側の動作）について示したフローチャートである。 第１の実施形態に係る動画像符号化装置における、画像の量子化について示した説明図である。 第１の実施形態に係る動画像符号化装置で行われる更新後Ｗｙｎｅｒ−Ｚｉｖ画像の生成処理について示した説明図である。 第１の実施形態の効果に関する検証結果について示した説明図（その１）である。 第１の実施形態の効果に関する検証結果について示した説明図（その２）である。 第２の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第２の実施形態に係る動画像復号装置の機能的構成について示したブロック図である。 第２の実施形態に係る動画像配信システムの動作（動画像符号化装置側の動作）について示したフローチャートである。 第２の実施形態に係る動画像配信システムの動作（動画像復号装置側の動作）について示したフローチャートである。 第３の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第３の実施形態に係る動画像復号装置の機能的構成について示したブロック図である。 第３の実施形態に係る動画像配信システムの動作（動画像符号化装置側の動作）について示したフローチャートである。 第３の実施形態に係る動画像配信システムの動作（動画像復号装置側の動作）について示したフローチャートである。

（Ａ）第１の実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
動画像配信システム１は、動画像符号化装置１０及び動画像復号装置２０を有している。

図１は、この実施形態の動画像配信システム１の全体構成を示すブロック図である。

動画像配信システム１は、動画像符号化装置１０及び動画像復号装置２０を有している。

動画像符号化装置１０は、フレーム単位（画像単位）で入力される入力動画像信号（入力映像信号）を符号化して、符号化したデータをストリーム化（ビットストリーム化）して出力する。図１に示すように、動画像符号化装置１０では、入力動画像信号を構成する各画像が、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とＫｅｙ画像Ｆ１２とに分けて符号化される。そして、動画像符号化装置１０は、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１を符号化した符号化データのストリーム（以下、「Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１」と呼ぶ）と、Ｋｅｙ画像Ｆ１２を符号化したデータのストリーム（以下、「ＫｅｙストリームＳＴ２」と呼ぶ）と、後述する選択信号伝達符号Ｃ１（詳細については後述する）を出力する。

動画像復号装置２０は、動画像符号化装置１０から出力された符号化データ（Ｓｌｅｐｉａｎ−Ｗｏｌｆストリーム、及びＫｅｙストリーム）を復号して、復号画像（復号フレーム）を生成し、フレーム単位（画像単位）で復号動画像信号（復号動画像データ）として出力するものである。動画像復号装置２０は、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を復号して得たＷｙｎｅｒ−Ｚｉｖ復号画像Ｆ４１と、ＫｅｙストリームＳＴ２を復号して得た復号画像（Ｋｅｙ画像Ｆ１２）とを合わせた復号動画像信号を出力する。

なお、動画像符号化装置１０が出力するデータ形式、及び動画像復号装置２０に入力されるデータ形式については限定されないものである。例えば、動画像符号化装置１０から、リアルタイムデータ伝送に適したストリーム形式ではなく、同様のデータを１つのデータファイルとして出力して、オフライン（例えば、ハードディスク等のデータ記録媒体）で動画像復号装置２０に供給するようにしてもよい。

次に、動画像符号化装置１０の内部構成について図２を用いて説明する。

動画像符号化装置１０は、エンコーダ予測画像生成部１０１、エンコーダ予測画像量子化部１０２、画像選択部１０３、ブロック単位画像選択部１０４、符号化対象画像更新部１０５、符号化対象画像量子化部１０６、レート制御部１０７、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８、及びＫｅｙ画像符号化部１２０を有している。

Ｋｅｙ画像符号化部１２０は、画面内符号化処理（例えば、Ｈ．２６４／ＡＶＣやＪＰＥＧ等の符号化技術による符号化処理）を行って、Ｋｅｙ画像Ｆ１２を符号化し、その符号化データをストリーム化して、ＫｅｙストリームＳＴ２として出力するものである。

エンコーダ予測画像生成部１０１は、Ｋｅｙ画像Ｆ１２からエンコーダ予測画像Ｆ２１を生成するものである。エンコーダ予測画像生成部１０１がエンコーダ予測画像Ｆ２１を生成する方式については限定されないものであり、ＤＶＣシステムを採用したシステムにおける種々の生成方式を適用することができる。

エンコーダ予測画像量子化部１０２は、エンコーダ予測画像Ｆ２１を量子化（例えば、画素ごとにビット列のデータに変換）し、量子化後エンコーダ予測画像Ｆ２２を生成するものである。

画像選択部１０３は、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とエンコーダ予測画像Ｆ２１の差を画素ごとに計算し、画素ごとに、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１又はエンコーダ予測画像Ｆ２１のいずれか一方を選択する処理を行う。そして、画像選択部１０３は、画素ごとの選択結果を示すデータを選択信号Ｓ１１として生成する。

レート制御部１０７は、量子化後エンコーダ予測画像Ｆ２２と量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４からＳｌｅｐｉａｎ−Ｗｏｌｆ符号に必要な符号量を推定し、その推定結果をレートＲとして出力するものである。レート制御部１０７が符号量を推定する具体的処理については、限定されないものであり、ＤＶＣを採用したシステムにおける種々の推定処理を適用することができる。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、レートＲに基づく符号量で、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を生成するものである。Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行う具体的方式については、限定されないものであり、ＤＶＣを採用したシステムにおける種々の符号化処理を適用することができる。

ブロック単位画像選択部１０４は、画像をブロック単位（例えば、４×４のブロック）に分割して、各ブロック内の画素のうち、選択信号Ｓ１１でエンコーダ予測画像Ｆ２１側が選択されている数と、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１側が選択されている数との比率に応じて、当該ブロックについて選択する画像（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１又はエンコーダ予測画像Ｆ２１のいずれか）を決定する。具体的には、この実施形態のブロック単位画像選択部１０４は、各ブロックについて、選択信号Ｓ１１でエンコーダ予測画像Ｆ２１側が選択されている画素の比率を計算し、その比率が予め設定された比率（以下「ｋ」と表す。ｋは、例えば、０．６≦ｋ≦１（６０％≦ｋ≦１００％）の範囲の任意の値）以上の場合、当該ブロックについてエンコーダ予測画像Ｆ２１を選択し、そうでない場合にはＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１を選択するものとする。そして、ブロック単位画像選択部１０４は、その選択結果（ブロックごとに選択された画像を表すデータ）を、ブロック単位選択信号Ｓ１２として出力する。

符号化対象画像更新部１０５は、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とエンコーダ予測画像Ｆ２１と、ブロック単位選択信号Ｓ１２とに基づき、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を生成するものである。

符号化対象画像量子化部１０６は、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を量子化（例えば、画素ごとにビット列のデータに変換）し、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４を生成するものである。

選択信号通知部１０９は、ブロック単位選択信号Ｓ１２を動画像復号装置２０に伝送するための選択信号伝達符号Ｃ１に変換して出力するものである。なお、ブロック単位選択信号Ｓ１２をそのまま出力可能な場合には、動画像符号化装置１０において選択信号通知部１０９は省略するようにしてもよい。

次に、動画像復号装置２０の内部構成について図３を用いて説明する。

動画像復号装置２０は、選択信号受取部２００、エンコーダ予測画像生成部２０１、デコーダ予測画像生成部２０２、デコーダ予測画像更新部２０３、デコーダ予測画像量子化部２０４、ＬＬＲ推定部２０５、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６、再構成部２０７、再構成画像更新部２０８及びＫｅｙ画像復号部２２０を有している。

Ｋｅｙ画像復号部２２０は、ＫｅｙストリームＳＴ２を復号処理（動画像符号化装置１０側に対応する復号処理）して、Ｋｅｙ画像Ｆ１２を得るものである。なお、この実施形態では、説明を簡易とするため、Ｋｅｙ画像復号部２２０において、ＫｅｙストリームＳＴ２を復元して、符号化側に入力されるＫｅｙ画像Ｆ１２と同じ内容の復元画像が得られるものとする。Ｋｅｙ画像復号部２２０で得られる復号画像は、できるだけ符号化側に入力されるＫｅｙ画像に近い内容であることが望ましいが、完全に同一でなくてもよい。

選択信号受取部２００は、動画像符号化装置１０から供給された選択信号伝達符号Ｃ１から、ブロック単位選択信号Ｓ１１を復元して取得するものである。

エンコーダ予測画像生成部２０１は、Ｋｅｙ画像復号部２２０で取得されたＫｅｙ画像Ｆ１２からエンコーダ予測画像Ｆ２１を生成するものである。なお、この実施形態では、説明を簡易とするために、エンコーダ予測画像生成部２０１において、符号化側と同じエンコーダ予測画像Ｆ２１が得られるものとして説明する。エンコーダ予測画像生成部２０１で得られるエンコーダ予測画像は、できるだけ符号化側で生成されるものに近い内容であることが望ましいが、完全に同一でなくてもよい。

デコーダ予測画像生成部２０２は、Ｋｅｙ画像復号部２２０で取得されたＫｅｙ画像Ｆ１２から、デコーダ予測画像Ｆ３２を生成するものである。デコーダ予測画像生成部２０２がデコーダ予測画像Ｆ３２を生成する方式については限定されないものであり、ＤＶＣ方式を採用したシステムにおける種々の生成方式を適用することができる。

デコーダ予測画像更新部２０３は、エンコーダ予測画像Ｆ２１とデコーダ予測画像Ｆ３２と、ブロック単位選択信号Ｓ１１とに基づき、更新後デコーダ予測画像Ｆ３３を生成するものである。なお、デコーダ予測画像更新部２０３及び更新後デコーダ予測画像Ｆ３３の詳細については後述する。

デコーダ予測画像量子化部２０４は、デコーダ予測画像Ｆ３２を量子化（例えば、画素ごとにビット列のデータに変換）し、量子化後デコーダ予測画像Ｆ３４を生成するものである。

ＬＬＲ推定部２０５は、量子化後デコーダ予測画像Ｆ３４から量子化されたビット列の各ビットについてＬＬＲ（Ｌｏｇ Ｌｉｋｅｌｉｈｏｏｄ Ｒａｔｉｏ）を推定し、ＬＬＲ通知信号Ｓ２２として出力するものである。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６は、ＬＬＲ通知信号Ｓ２２とＳｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１から、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５を生成するものである。

動画像符号化装置１０では、ＬＬＲ推定部２０５及びＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を行う復号手段が形成されている。そして、ＬＬＲ推定部２０５及びＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６が行う具体的処理としては、種々のＤＶＣシステムにおける復号手段を適用することができる。

再構成部２０７は、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５と、更新後デコーダ予測画像Ｆ３３とを用いて、画像の再構成処理（逆量子化しながらＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１を推定する処理）を行い、再構成画像Ｆ３６を生成するものである。なお、再構成部２０７の詳細処理については後述する。

再構成画像更新部２０８は、再構成画像Ｆ３６とデコーダ予測画像Ｆ３２と、ブロック単位選択信号Ｓ１１とに基づき、Ｗｙｎｅｒ−Ｚｉｖ復号画像Ｆ４１を生成するものである。なお、再構成画像更新部２０８の詳細処理については後述する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像配信システム１の動作を説明する。

（Ａ−２−１）動画像符号化装置１０の動作
まず、動画像配信システム１の動画像符号化装置１０側の動作について、図４のフローチャートを用いて説明する。

まず、エンコーダ予測画像生成部１０１において、動き推定などを用いて、Ｋｅｙ画像Ｆ１２からエンコーダ予測画像Ｆ２１が生成される（Ｓ１０１）。

次に、エンコーダ予測画像量子化部１０２において、エンコーダ予測画像Ｆ２１を量子化し、量子化後エンコーダ予測画像Ｆ２２が生成される（Ｓ１０２）。ただし、レート制御部１０７で量子化後エンコーダ予測画像Ｆ２２を利用したレート制御をおこなわない場合、当該ステップの処理は不要である。

次に、画像選択部１０３により、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とエンコーダ予測画像Ｆ２１の差分が画素ごとに計算される。そして画像選択部１０３では、計算された差分が、量子化誤差（以下「Ｘ」とも表す）未満ならばエンコーダ予測画像Ｆ２１が選択され、差分が量子化誤差Ｘ以上ならばＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択される。そして、画像選択部１０３では、その選択結果を示す選択信号Ｓ１１が生成される（Ｓ１０３）。

Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値とエンコーダ予測画像Ｆ２１の画素値の差が、量子化誤差Ｘよりも大きいか小さいかについて、画像選択部１０３は、たとえば、その差が量子化ステップ幅（以下、「Ｗ」とも表す）の半分よりも大きいか小さいかを計算することで判定できる。また、画像選択部１０３は、たとえば、その差が量子化ステップ幅Ｗよりも大きいか小さいかを計算することで判定しても良い。前者は、量子化誤差の平均値が量子化ステップ幅の半分であろうという仮説に基づく方法で、後者は、量子化誤差は何時も最大値で発生するとみなす場合の方法である。

そして、ブロック単位画像選択部１０４は、画像（フレーム；Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１、及びエンコーダ予測画像Ｆ２１）を、任意の画素ずつのブロックに区切り（この実施形態では、例として、画像全体を４×４＝１６のブロックに区切るものとする）、ブロックごとに、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１、又は、エンコーダ予測画像Ｆ２１のいずれかを選択する。そして、ブロック単位画像選択部１０４は、その選択結果を示すブロック単位選択信号Ｓ１２を生成する（Ｓ１０４）。

この実施形態では、ブロック単位画像選択部１０４は、選択信号Ｓ１１で各ブロックについて、エンコーダ予測画像Ｆ２１が選択されている画素数を数え、所定の比率ｋ以上の画素でエンコーダ予測画像Ｆ２１が選択されている場合に、当該ブロックについてエンコーダ予測画像Ｆ２１を選択し、それ以外の場合には当該ブロックについてＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１を選択する。

そして、符号化対象画像更新部１０５は、ブロック単位選択信号Ｓ１２の指示に従い、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とエンコーダ予測画像Ｆ２１とから更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を生成する（Ｓ１０５）。

そして、符号化対象画像量子化部１０６は、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を量子化し、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４を生成する（Ｓ１０６）。

そして、レート制御部１０７は、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４と量子化後エンコーダ予測画像Ｆ２２とを比較して、動画像復号装置２０（デコーダ）で復号に必要となるＳｌｅｐｉａｎ−Ｗｏｌｆ符号化のレートＲを生成する（Ｓ１０７）。

ただし、第１の実施形態では非特許文献１のように、フィードバックアプローチによってレート制御する場合でも有効である。例えば、レート制御部１０７において、一度決定したレートＲについて、非特許文献１の記載技術と同様に、デコーダ側からのフィードバックの内容に応じて調節し、所望の復号品質が得られるようにするようにしてもよい。

そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８が、レートＲに基づき、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を生成する（Ｓ１０８）。

そして、選択信号通知部１０９が、ブロック単位選択信号Ｓ１２を選択信号伝達符号Ｃ１として出力する（Ｓ１０９）。

次に、上述のステップＳ１０３における画像選択部１０３の処理の詳細について説明する。

この実施形態では、例として、画像選択部１０３では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値とエンコーダ予測画像Ｆ２１の画素値の差分が量子化誤差Ｘよりも大きい位置の画素については、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値を採用するものとする。また、この実施形態の画像選択部１０３では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値とエンコーダ予測画像Ｆ２１の画素値の差分が量子化誤差Ｘ以下の位置の画素については、エンコーダ予測画像Ｆ２１の画素値を採用するものとする。

量子化誤差Ｘは、基本的に画素ごとに異なる値であり、個別に求めることが望ましいが、第１の実施形態の画像選択部１０３では、演算量を低減するために、それぞれの画素について量子化誤差Ｘを一律の値（以下、「閾値Ｔ」と呼ぶ）と比較して処理するものとする。すなわち、画像選択部１０３では、「Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値と、エンコーダ予測画像Ｆ２１の画素値の差」と閾値Ｔとの比較結果によって、選択する画素値を決定するものとする。

閾値Ｔの設定方法は限定されないものであるが、例えば、全ての画素の量子化誤差Ｘの平均値が、量子化ステップ幅Ｗの半分であるとみなして、閾値Ｔを量子化ステップ幅の半分と設定（Ｔ＝Ｗ／２）するようにしても良い。また、例えば、全ての画素の量子化誤差Ｘは常に最大値（量子化ステップ幅）とみなして、閾値Ｔを量子化ステップ幅Ｗと設定（Ｔ＝Ｗ）するようにしても良い。

次に、上述の量子化ステップ幅Ｗについて、図６を用いて説明する。

図６では、更新後Ｗｙｎｅｒ−Ｚｉｖ画像及びエンコーダ予測画像Ｆ２１の各画素の画素値が０〜２５５の範囲（８ｂｉｔ相当）である場合の量子化ステップ幅Ｗについて示している。図６（ａ）に示すように、各画素の量子化値を２ビットで表すと００、０１、１０、１１の４つの値のいずれかになる。図６（ａ）に示すように、各画素の量子化値が２ビットで表わされる場合、量子化ステップ幅Ｗを、量子化前と同様に０〜２５５（１０進数）の値で表わすと６４となる。また、図６（ｂ）に示すように、各画素の量子化値が３ビットで表わされる場合、量子化ステップ幅Ｗを、量子化前と同様に０〜２５５（１０進数）の値で表わすと３２となる。

次に、上述のステップＳ１０４、Ｓ１０５における、ブロック単位画像選択部１０４及び符号化対象画像更新部１０５の処理の詳細について、図７を用いて説明する。

図７で示す例のように、ブロック単位選択信号Ｓ１２がエンコーダ予測画像を選択しているブロックでは、エンコーダ予測画像Ｆ２１の情報を用い、ブロック単位選択信号Ｓ１２が符号化対象画像を選択しているブロックでは、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の情報を用いて、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を構成する。

図７では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１、エンコーダ予測画像Ｆ２１、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３のそれぞれについて、縦４ブロック×横４ブロック（１６のブロック）に分割したとなっている。図７（ａ）、図７（ｂ）、図７（ｄ）は、それぞれＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１、エンコーダ予測画像Ｆ２１、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３の画像の内容を概念的に表している。また、図７（ｃ）では、ブロック単位選択信号Ｓ１２において、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されたブロックと、エンコーダ予測画像Ｆ２１が選択されたブロックの分布を示している。図７では、四角形の枠のそれぞれを１つのブロックとし、当該四角形の中に図示された符号が当該ブロックの識別子となっている。図７（ａ）に示すＷｙｎｅｒ−Ｚｉｖ画像Ｆ１１では、各ブロックの符号は、小文字のアルファベットａ〜ｐとなっている。そして、図７（ｂ）に示すエンコーダ予測画像Ｆ２１では、各ブロックの符号は、大文字のアルファベットＡ〜Ｐとなっている。そして、図７（ｃ）に示すような分布のブロック単位選択信号Ｓ１２に基づいて生成される更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３が、図７（ｄ）のようになる。

図７（ｄ）では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されたブロックについては小文字のアルファベットの符号を付し、エンコーダ予測画像Ｆ２１が選択されたブロックについては大文字のアルファベットを付している。

例えば、図７（ｄ）に示すブロックＢ１には小文字のアルファベット「ｅ」が付されているので、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値が採用されていることを示している。一方、図７（ｄ）に示す画素Ｂ２には、大文字のアルファベット「Ｉ」が付されているので、エンコーダ予測画像Ｆ２１の画素値が採用されていることを示している。

選択信号Ｓ１１は、１つの画素につき、１ビットの情報を有しているため、その情報量は多い。その情報量は、量子化ステップを半分にするために必要な情報量に相当する。しかし、ブロック単位画像選択部１０４で、選択信号１０４をブロック化し情報量を抑えたブロック単位選択信号Ｓ１２を生成し、そのブロック単位選択信号Ｓ１２に基づいた選択信号伝達符号Ｃ１の符号量は僅かとなる。

また、エンコーダ予測画像の品質が高い画素は密集し、領域を形成することが多い。したがって、選択信号Ｓ１１がエンコーダ予測画像Ｆ２１を指している領域は、エンコーダ予測画像Ｆ２１の品質が高い領域であるため、エンコーダ予測画像Ｆ２１を指している選択信号Ｓ１１も密集し領域を形成する傾向がある。この傾向があるため、ブロック単位画像選択部１０４は、符号量を僅かに抑えながらも、効率よく選択信号Ｓ１１の情報を保持することができる。

（Ａ−２−２）動画像復号装置２０の動作
次に、動画像復号装置２０の復号処理の動作について、図５のフローチャートを用いて説明する。

まず、選択信号受取部１１０が、選択信号伝達符号Ｃ１の供給を受け、ブロック単位選択信号Ｓ１１を生成する（Ｓ１１０）。

そして、エンコーダ予測画像生成部２０１が、動き推定などを用いて、Ｋｅｙ画像Ｆ１２からエンコーダ予測画像Ｆ２１を生成する（Ｓ１１１）。

そして、デコーダ予測画像生成部２０２が、動き推定などを用いて、Ｋｅｙ画像Ｆ１２からデコーダ予測画像Ｆ３２を生成する（Ｓ１１２）。

そして、デコーダ予測画像更新部２０３が、ブロック単位選択信号Ｓ１１の指示に従い、エンコーダ予測画像Ｆ２１とデコーダ予測画像Ｆ３２とから更新後デコーダ対象画像１１３を生成する（Ｓ１１３）。

ブロック単位選択信号Ｓ１１は、ブロック単位選択信号Ｓ１２でエンコーダ予測画像が選択されているブロックについては、エンコーダ予測画像Ｆ２１の情報を利用して更新後デコーダ予測画像１１３を構成する。また、ブロック単位選択信号Ｓ１１は、ブロック単位選択信号Ｓ１２で符号化対象画像が選択されているブロックでは、デコーダ予測画像Ｆ３２の情報を用いて、更新後デコーダ予測画像１１３を構成する。

そして、デコーダ予測画像量子化部２０４が、更新後デコーダ予測画像１１３を量子化し、量子化後デコーダ予測画像Ｆ３４を生成する（Ｓ１１４）。

そして、ＬＬＲ推定部２０５が、量子化後デコーダ予測画像Ｆ３４から、ＬＬＲ通知信号Ｓ２２を推定する（Ｓ１１５）。

そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６が、ＬＬＲ通知信号Ｓ２２とＳｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を用いてＳｌｅｐｉａｎ−Ｗｏｌｆ復号し、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５を生成する（Ｓ１１６）。

そして、再構成部２０７が、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５と、デコーダ予測画像１１３とにもとづいて、再構成画像Ｆ３６を生成する（Ｓ１１７）。

そして、再構成画像更新部２０８が、ブロック単位選択信号Ｓ１１の指示に従い、再構成画像Ｆ３６とデコーダ予測画像Ｆ３２とから復号画像５を生成する（Ｓ１１８）。

具体的には、再構成画像更新部２０８は、ブロック単位選択信号Ｓ１１がエンコーダ予測画像を選択しているブロックでは、デコーダ予測画像Ｆ３２の情報を用い、ブロック単位選択信号Ｓ１２が符号化対象画像を選択しているブロックでは再構成画像１１２の情報を用いて、更新後デコーダ予測画像１１３を構成する。

ブロック単位選択信号Ｓ１２がエンコーダ予測画像Ｆ２１を選択しているブロックは、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とエンコーダ予測画像Ｆ２１間の誤差が量子化誤差未満の領域である。つまり、当該ブロックは、エンコーダ予測画像Ｆ２１の品質が高い領域（予測が当たりやすい領域）である。一般的に、デコーダ予測画像は、エンコーダ予測画像よりも高品質であるため、予測が当たりやすい領域では、デコーダ予測画像の品質が、エンコーダ予測画像の品質よりも高くなる可能性は高い。そこで、第１の実施形態の動画像復号装置２０では、ブロック単位選択信号Ｓ１１によってエンコーダ予測画像Ｆ２１が選択されている領域ではデコーダ予測画像Ｆ３２の情報を復号結果として採用するものとする。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば以下のような効果を奏することができる。

（Ａ−３−１）動画像符号化装置１０では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１をそのままＳｌｅｐｉａｎ−Ｗｏｌｆ符号化に用いずに、選択信号Ｓ１１を利用して補正した更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を用いてＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行っている。符号化対象画像更新部１０５では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の各画素の量子化誤差Ｘを閾値Ｔと比較し、その比較結果に応じて、一部のブロックについて画素値をエンコーダ予測画像Ｆ２１の画素値に置き換えている。したがって、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１よりも、エンコーダ予測画像Ｆ２１との差異が少ない画像となっている。そして、レート制御部１０７は、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４（更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を量子化した画像）と量子化後エンコーダ予測画像Ｆ２２とを比較し、量子化後エンコーダ予測画像Ｆ２２の誤りを推定し訂正するために必要な符号量をレートＲとして計算する。レート制御部１０７では、量子化後エンコーダ予測画像Ｆ２２と比較の対象となる画像（量子化値列）との差異が少ないほど、訂正すべき誤りが少なく、計算結果が低いレートＲ（少ない符号量）となる。また、レート制御部１０７では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１よりもエンコーダ予測画像Ｆ２１との差異が少ない更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３に基づく量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４を用いてレートＲを計算している。したがって、第１の実施形態のレート制御部１０７では、従来（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１をそのまま量子化に用いて、レートＲを計算する場合）以下のレートＲを計算結果として出力することになる。

そして、符号化対象画像更新部１０５では、上述の通り、量子化誤差Ｘが閾値Ｔ以上の画素が比率ｋ以上含まれているブロックについては、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素値を採用し、量子化誤差Ｘが閾値Ｔ以上の画素が比率ｋ未満のブロックについては、エンコーダ予測画像Ｆ２１の画素値を採用するものとしている。上述の通り、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３は、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１よりもエンコーダ予測画像Ｆ２１との差分が少なくなるように補正されている。しかし、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３において、補正されているブロックの画素は所定の比率ｋ以上で、量子化誤差Ｘよりも差分の少ない画素となる。したがって、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１と更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３との間の変化を画素単位（パラメータ単位）で見た場合、その変化は比率ｋ以上の画素で量子化誤差Ｘの範囲内にとどまることになる。

一方、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８では、量子化後エンコーダ予測画像Ｆ２２の誤りを訂正して量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４とするためのパリティビットを生成する。上述の通り、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４及び量子化後エンコーダ予測画像Ｆ２２には、量子化誤差Ｘを含むことになる。したがって、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１と更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３との差分が、量子化誤差Ｘの範囲内とすれば、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８で生成するパリティビットによる誤り訂正の結果は、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１をそのままＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行う場合と比較しても同程度の精度となる。すなわち、この実施形態の動画像符号化装置１０のように、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化に用いる場合でも、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１をそのままＳｌｅｐｉａｎ−Ｗｏｌｆ符号化に用いる場合でも、動画像復号装置２０側で得られる復号品質は同程度となる。

しかし、第１の実施形態の画像選択部１０３では、画素ごとの量子化誤差Ｘについて一律に閾値Ｔ（例えば、エンコーダ予測画像Ｆ２１の量子化ステップ幅の半分の値）と比較する処理を行っているため、実際に更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化に用いる場合でも、動画像復号装置２０側で得られる復号品質は同程度となるか否かについての検証を行った。以下、第１の実施形態の効果に関する検証結果について、図８、図９を用いて説明する。

図８では、従来技術と同様に、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１をそのまま量子化してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行う例について説明している。一方、図９では、第１の実施形態の動画像符号化装置１０により符号化を行う例（更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を量子化して符号化に用いる場合）について示している。また、図８、図９では、説明を簡易とするために、各画像（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３、及びエンコーダ予測画像Ｆ２１）は、３つの画素ＰＸ１〜ＰＸ３による画素列（１×３の画素列）で構成される画像であるものとしている。そして、図８、図９では、説明を簡易とするため、ブロック単位選択信号Ｓ１２における各ブロックが１つの画素で構成されるものとして表している。言い換えると、図８、図９では、３つの画素ＰＸ１〜ＰＸ３が、それぞれブロック単位選択信号Ｓ１２における１つのブロックを構成しているものとして示している。

そして、図８、図９では、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１を構成する画素列αの画素ＰＸ１〜ＰＸ３の画素値は、それぞれ７９、１１４、１６４（１０進数）となっているものとする。また、図８、図９において、エンコーダ予測画像Ｆ２１を構成する画素列βの各画素値は、それぞれ９７、１２９、１８８であったものとする。なお、図８、図９では、画素列α、画素列βの各画素値は０〜２５５（１０進数）で表されるものとして示している。

次に、図８、図９の例のそれぞれについて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行う場合に必要な符号量、及び、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８で生成される符号（パリティビット）を用いて動画像復号装置２０側で復号処理を行った場合の平均誤差（復号品質）について説明する。

まず、図８の例において、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行う場合に必要な符号量について説明する。図８の例では、量子化後エンコーダ予測画像Ｆ２２として、画素列βを量子化ビット数２ビットで量子化した量子化値列γ１を用いるものとする。図８では、量子化ビット数２ビットで量子化された量子化値列γ１の各量子化値は先頭から０１、１０、１０（２進数）となっている。

また、図８に示すように、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１の画素列αの各画素値を、量子化ビット数２ビットで量子化した量子化値列δ（量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４）の画素ＰＸ１〜ＰＸ３の画素値は、それぞれ０１、０１、１０（２進数）となる。

そして、量子化ビット数２ビットで量子化された量子化値列γ１（エンコーダ予測画像Ｆ２１）と、量子化値列δ（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）の間に生じている予測誤りを訂正するのに必要な情報量は、量子化値列γ１（エンコーダ予測画像Ｆ２１）と量子化値列δ（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）の間のビット誤り確率から条件付きエントロピーを計算し、それに量子化列δのビット数を乗じれば求めることができる。この場合、量子化値列γ１（エンコーダ予測画像Ｆ２１）と、量子化値列δ（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）の間のビット誤り数は、６個中２個であるので、ビット誤り確率は２／６である。

そして、このビット誤り確率からｐをビット誤り確率としたときの条件付きエントロピー「−ｐｌｏｇ（ｐ）−（１−ｐ）ｌｏｇ（１−ｐ）」を求め、それに量子化列δのビット数６を乗じると、５．５ビットになる。すなわち、図８の例では、５．５ビットの符号量（パリティビット）がなければ量子化後エンコーダ予測画像Ｆ２２から量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４を得ることができないことになる。

次に、図８の例における平均誤差について説明する。

ここでは、動画像復号装置２０においてＳｌｅｐｉａｎ−Ｗｏｌｆ復号が成功し、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６が出力する訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５が、量子化値列δ（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）と同じになったと仮定する。このとき、訂正後量子化値から、画像を再構成する方法（画像再構成部２１２の処理方法）は限定されないものであるが、例えば、非特許文献４のように、デコーダ予測画像Ｆ３２を量子化した値と訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５が一致する場合、デコーダ予測画像Ｆ３２を再構成結果とし、異なる場合は、量子化区間のなかでデコーダ予測画像Ｆ３２に最も近い値を再構成結果とするようにしてもよい。なお、図８、図９の例では、説明を簡易にするためにデコーダ予測画像Ｆ３２がエンコーダ予測画像Ｆ２１と同じであったと仮定する。

そして、図８の例では、動画像復号装置２０で生成される再構成画像の画素列ε１を構成する各画素の画素値は、９７、１２８、１８８（１０進数）になる。この場合、ε１と、原画像（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）の画素列αとの間の平均誤差（画素ごとの画素値の差分の平均値）を求めると、１８．７になる。

次に、図９の例について説明する。

なお、図９の例では、量子化後エンコーダ予測画像Ｆ２２として、画素列βを量子化ビット数３ビットで表した量子化値列γ２を用いるものとする。図９では、量子化ビット数２ビットで量子化された量子化値列γ２の各量子化値は先頭から０１１、１００、１０１（２進数）となっている。図８の例と図９の例で、エンコーダ予測画像Ｆ２１に適用する量子化ビット数を同じとすると、誤り訂正に必要な符号量が減り、平均誤差が増える結果となり、本発明の効果がわかりにくくなる。そこで、図９では、量子化ビット数を３ビットとして、図８の例と同程度の平均誤差を、より少ない符号量で実現できることを検証している。

はじめに、Ｗｙｎｅｒ−Ｚｉｖ画像（画素列α）とエンコーダ予測画像Ｆ２１（画素列β）の間の画素値の差分を計算する。図８では、先頭から画素Ｐｘ２の画素値の差分のみが、量子化ステップ幅の半分（２＾（８−３）／２＝１６）よりも小さい１５である。したがって、図９の例における更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３の画素列ζでは、画素Ｐｘ２のみがエンコーダ予測画像Ｆ２１の画素値に補正され、その画素値は先頭から７９、１２９、１６４（１０進数）となる。

次に、図９の例において、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行う場合に必要な符号量について説明する。

図９に示すように、エンコーダ予測画像Ｆ２１の画素列βを、量子化ビット数３ビットで量子化した量子化値列γ２の３つの量子化値は、先頭から０１１、１００、１０１（２進数）となる。

また、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３の画素列ζを、量子化ビット数３ビットで量子化した量子化値列δの３つの量子化値は、先頭から０１０、１００、１０１（２進数）となる。

そして、量子化ビット数３ビットで量子化された量子化値列γ２（量子化後エンコーダ予測画像Ｆ２２）と、量子価値列δ（量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４）の間に生じている予測誤りを訂正するのに必要な情報量は、量子化値列γ２（量子化後エンコーダ予測画像Ｆ２２）と量子化値列δ（量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４）の間のビット誤り確率から求めた条件付きエントロピーを計算すれば求めることができる。この場合、量子化値列γ２（エンコーダ予測画像Ｆ２１）と、量子化値列δ（更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３）の間のビット誤り数は、９個中１個であるので、ビット誤り確率は１／９である。

そして、このビット誤り確率からｐをビット誤り確率としたときの条件付きエントロピー「−ｐｌｏｇ（ｐ）−（１−ｐ）ｌｏｇ（１−ｐ）」を求め、それに量子化列δのビット数９を乗じると、４．５ビットになる。すなわち、図９の例では、４．５ビットの符号量（パリティビット）がなければ量子化後エンコーダ予測画像Ｆ２２から量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４を得ることができないことになる。

次に、図９の例における平均誤差について説明する。

図９の例では、動画像復号装置２０においてＳｌｅｐｉａｎ−Ｗｏｌｆ復号が成功し、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６が出力する訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５が、量子化値列δ（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）と同じになったと仮定する。そして、図９において、再構成画像Ｆ３６の生成方法（再構成部２０７の処理方法）に、図８の場合と同じ方法を用いるものとする。この場合、図９の例では、動画像復号装置２０で生成される再構成画像の画素列ε２を構成する各画素の画素値は、先頭から９６、１２９、１８８（１０進数）になる。この場合、ε２（再構成画像Ｆ３６）と、画素列α（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１）のとの間の平均誤差（画素ごとの画素値の差分の平均値）を求めると、１８．７（小数点以下を四捨五入）になる。

以上の計算結果をまとめると、図８の例では、平均誤差１８．７を実現するのに５．５ビットの符号量を要していたのに対し、図９の例（第１の実施形態の動画像配信システム１）では、同じ平均誤差１８．７を実現するのに、４．５ビットしかしか必要としていない。すなわち、第１の実施形態のように、エンコーダ予測画像Ｆ２１の量子化ステップ幅の半分の値を量子化誤差Ｘの平均値とみなして、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を生成するための閾値Ｔとして適用しても、従来よりも少ない符号量で同等の復号品質を実現することができることがわかる。

以上のように、第１の実施形態の動画像配信システム１では、符号量あたりの画質改善量が小さい画素を対象にした符号量の増加を防止することで、復号画像の品質を低下させずに符号量を少なくすることができる。

（Ａ−３−２）動画像配信システム１では、動画像符号化装置１０から動画像復号装置２０に、ブロック単位選択信号Ｓ１１（選択信号伝達符号Ｃ１）を通知することにより、動画像復号装置２０で不必要な復号誤りの発生を防止できる。なお、従来のＤＶＣを採用したシステムにおいて、不必要な復号誤りは、例えば、デコーダ予測画像がエンコーダ予測画像よりも高品質になる場合に発生する。

上述の通り、一般的に、デコーダ予測画像は、エンコーダ予測画像よりも高品質である。また、エンコーダ予測画像が符号化対象画像（Ｗｙｎｅｒ−Ｚｉｖ画像）に近いことは、復号品質を改善するために役立つ。しかし、この実施形態の動画像符号化装置１０のように、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１を、エンコーダ予測画像Ｆ２１により更新した画像）のＳｌｅｐｉａｎ−Ｗｏｌｆ符号を生成している場合、そのＳｌｅｐｉａｎ−Ｗｏｌｆ符号にとっては、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３を生成することが復号の目標になる。したがって、動画像復号装置２０のＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６に対して、可能な限り更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３に近い画像を入力することが求められる。

すなわち、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６に与えるデコーダ予測画像が更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３から遠ければ、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６では、誤りが多すぎるとして復号誤りを発生させる恐れがある。更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３は、一部にエンコーダ予測画像の情報を含んでいるため、デコーダ予測画像Ｆ３２がエンコーダ予測画像Ｆ２１よりも高品質な場合（つまりデコーダ予測画像Ｆ３２がエンコーダ予測画像Ｆ２１よりも遠い場合）、デコーダ予測画像Ｆ３２と更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３の関係も遠くなる可能性がある。その場合、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６において、復号誤りが発生する。そこで、動画像復号装置２０では、更新後デコーダ予測画像Ｆ３３を生成すること（Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１とデコーダ予測画像Ｆ３２とのそれぞれ同じ領域でエンコーダ予測画像Ｆ２１の情報を含むこと）で、不必要な復号誤りの発生を防止する。

（Ｂ）第２の実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像配信システム１Ａの全体構成についても上述の図１を用いて示すことができる。以下、第２の実施形態について第１の実施形態との差異について説明する。

第２の実施形態の動画像配信システム１Ａでは、動画像符号化装置１０及び動画像復号装置２０が、動画像符号化装置１０Ａ及び動画像復号装置２０Ａに置き換わっている。

図１０は、第２の実施形態の動画像符号化装置１０Ａの機能的構成について示したブロック図である。

そして、第２の実施形態の動画像符号化装置１０Ａでは、レート制御部１０７がレート制御部１０７Ａに置き換わっている。

レート制御部１０７Ａは、ブロック単位選択信号Ｓ１２において、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックに係るビット（当該ブロックに所属する画素値を示すビット）を特定し、符号化対象画像が選択されている画素に関わるビットのみを対象に、ビット反転確率を求め、求めたビット反転確率からレートＲを生成する処理を行う。

図１１は、第２の実施形態の動画像復号装置２０Ａの機能的構成について示したブロック図である。

第２の実施形態の動画像復号装置２０Ａでは、ＬＬＲ補正部２０９が追加されている点で第１の実施形態と異なっている。

ＬＬＲ補正部２０９は、ブロック単位選択信号Ｓ１１より、エンコーダ予測画像Ｆ２１が選択されているブロックの位置を明らかにし、エンコーダ予測画像Ｆ２１が選択されているブロックに含まれるビットに対応するＬＬＲの大きさが、その他のビットのＬＬＲに比べて十分大きくなるように補正する処理（例えば、１以上の係数を乗じて補正する処理や、定数を加算する処理）を行って、補正後ＬＬＲを求める。そして、ＬＬＲ補正部２０９は、各ビットの補正後ＬＬＲを表す補正後ＬＬＲ通知信号２１９を生成して、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６に供給する。Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６は、補正後ＬＬＲ通知信号Ｓ２３とＳｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号をおこない、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５を生成する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像配信システム１Ａの動作を説明する。

以下では、第２の実施形態の動画像配信システム１Ａの動作のうち、第１の実施形態との差異について図１２、図１３を用いて説明する。

第２の実施形態の動画像配信システム１Ａでは、上述のステップＳ１０７、Ｓ１１５、Ｓ１１６が、それぞれステップＳ２０７、Ｓ２１５、Ｓ２１６に置き換わっている点で異なっている。

まず、動画像符号化装置１０Ａ側の処理（ステップＳ２０７）について説明する。

図１２に示すようにステップＳ２０７は、３つのステップＳ２０７−１〜Ｓ２０７−３に分かれている。

ステップＳ２０７−１では、レート制御部１０７Ａにより、ブロック単位選択信号Ｓ１２に基づき、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されている画素が特定される。

ステップＳ２０７−２では、レート制御部１０７Ａにより、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されている画素に関わるビットのみを対象にビット反転確率が求められる。

ステップＳ２０７−３では、レート制御部１０７Ａにより、求めたビット反転確率からレートＲが生成される。

第１の実施形態のＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理においては、ビット反転確率が定常であることを前提に符号化するので、エンコーダ予測画像Ｆ２１が選択されているブロックでもビット反転が発生する可能性を配慮したＳｌｅｐｉａｍ−Ｗｏｌｆ符号を生成する。しかし、更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３において、エンコーダ予測画像Ｆ２１が選択されているブロックは、符号化側と復号側とで情報（エンコーダ予測画像Ｆ２１）が共有されている領域であり、新たな情報を必要としない領域である。そこで、第２の実施形態の動画像復号装置２０Ａでは、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックを特定し、そのブロックに関わるビットのみで、ビット反転確率およびレートＲを計算することで、符号量の増加を防止する。

次に、動画像復号装置２０Ａ側の処理（ステップＳ２１５、Ｓ２１６）について説明する。

図１３に示すようにステップＳ２１５は、２つのステップＳ２１５−１、Ｓ２１５−２に分かれている。

ステップＳ２１５−１では、ＬＬＲ推定部２０５により、量子化後デコーダ予測画像Ｆ３４から、ＬＬＲが推定され、ＬＬＲ通知信号Ｓ２２として出力される。

ステップＳ２１５−２では、ＬＬＲ補正部２０９により、ブロック単位選択信号Ｓ１１に基づき、ＬＬＲ通知信号Ｓ２２が補正され、補正後ＬＬＲ通知信号Ｓ２３として生成される。

具体的には、ＬＬＲ補正部２０９は、ブロック単位選択信号Ｓ１１より、エンコーダ予測画像が選択されているブロックの位置を認識し、エンコーダ予測画像Ｆ２１が選択されているブロックに含まれるビットに対応するＬＬＲの大きさが、その他のビットのＬＬＲに比べて十分大きくなるように補正する。

そして、ステップＳ２１６では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６により、補正後ＬＬＲ通知信号Ｓ２３とＳｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を用いて、復号処理が行われ、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５が生成される。

第１の実施形態のＳｌｅｐｉａｎ−Ｗｏｌｆ復号処理では、ビット反転確率が定常であることを前提に処理されるため、エンコーダ予測画像Ｆ２１が選択されているブロックでもビット反転が発生する可能性を配慮したＳｌｅｐｉａｍ−Ｗｏｌｆ復号処理を行う。しかし、更新後デコーダ予測画像Ｆ３３において、エンコーダ予測画像Ｆ２１が選択されているブロックは、符号化側と復号側とで情報（エンコーダ予測画像Ｆ２１）が共有されている領域であり、新たな情報を必要としない領域である。そこで、第２の実施形態の動画像復号装置２０Ａでは、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックを特定し、ＬＬＲを補正することで、復号成功確率（復号品質）を向上させることができる。特に、第２の実施形態の動画像符号化装置１０Ａのように、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックを特定し、そのブロックに関わるビットのみで、ビット反転確率およびレートＲを計算し、符号量を削減している場合、ＬＬＲの補正による復号品質向上効果は大きくなる。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。

動画像符号化装置１０Ａでは、動画像復号装置２０Ａと情報共有がなされていない、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックに限定してレートを推定することで、符号量を削減できる。

また、動画像復号装置２０Ａにおいても、動画像符号化装置１０Ａと情報共有がなされている、エンコーダ予測画像Ｆ２１が選択されている領域に関わるビットのＬＬＲを周囲のＬＬＲよりも大きくすることで、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の品質向上が可能となる。

（Ｃ）第３の実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの第３の実施形態を、図面を参照しながら詳述する。

（Ｃ−１）第３の実施形態の構成
第３の実施形態の動画像配信システム１Ｂの全体構成についても上述の図１を用いて示すことができる。以下、第３の実施形態について第１の実施形態との差異について説明する。

第３の実施形態の動画像配信システム１Ｂでは、動画像符号化装置１０及び動画像復号装置２０が、動画像符号化装置１０Ｂ及び動画像復号装置２０Ｂに置き換わっていうる点で第１の実施形態と異なっている。

図１４は、第３の実施形態の動画像符号化装置１０Ｂの機能的構成について示したブロック図である。

第３の実施形態の動画像符号化装置１０Ｂでは、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂに置き換わり、さらに、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９が追加されている点で第１の実施形態と異なっている。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９は、ブロック単位選択信号Ｓ１２に基づき、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックのビットを特定して、特定したビットを対象としてＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行うための情報（以下、「専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３」と呼ぶ）を生成する。

この実施形態では、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３は、上述の特定されたビットのビット数（符号化対象となるビット数）で符号化するのに最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号（Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化に用いる符号の行列）を含むものとする。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９は、例えば、符号化対象となるビット数（特定ビット数）ごとに最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号を予め保持しておき、符号化対象となるビット数（特定ビット数）に応じたＳｌｅｐｉａｎ−Ｗｏｌｆ符号を選択して、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３の生成に用いるようにしてもよい。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９で、任意のビット数に応じたＳｌｅｐｉａｎ−Ｗｏｌｆ符号を保持する具体的な処理については限定されないものである。

例えば、参考文献１（Xiao-Yu Hu,Regular and irregular progressive edge-growth tanner graphs, Information Theory, IEEE Transactions on, Volume 51, Issue 1, Pages 386 - 398.）の記載技術を用いて生成したＬＤＰＣ符号（Ｌｏｗ−Ｄｅｎｓｉｔｙ Ｐａｒｉｔｙ−ｃｈｅｃｋ Ｃｏｄｅ）に対して、参考文献２（D. Varodayan, A. Aaron and B. Girod,Rate-adaptive codes for distributed source coding, EURASIP Signal Processing Journal, Special Section on Distributed Source Coding, vol. 86, no. 11, pp. 3123-3130, November 2006.）の記載技術に基づく処理を加えて、レートを容易に変更可能なＬＤＰＣ符号が得られる。そこで、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９は、例えば、上述の参考文献１、２の記載技術を用いて、任意のビット数に応じて調整された上述のＬＤＰＣ符号を、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号として保持するようにしてもよい。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂは、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３を用いてＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を生成する。

図１５は、第３の実施形態の動画像復号装置２０Ｂの機能的構成について示したブロック図である。

第３の実施形態の動画像復号装置２０Ｂでは、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６がＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６Ｂに置き換わり、さらに、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部２１０が追加されている点で第１の実施形態と異なっている。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部２１０は、ブロック単位選択信号Ｓ１１に基づき、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックのビットを特定して、特定したビットを対象としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号処理を行うための情報（以下、「専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４」と呼ぶ）を生成する。

専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４は、上述の特定されたビットのビット数で復号するのに最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号（Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号に用いる符号の行列）を含むものとする。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部２１０は、例えば、復号対象となるビット数（特定ビット数）ごとに最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号を予め保持しておき、復号対象となるビット数（特定ビット数）に応じたＳｌｅｐｉａｎ−Ｗｏｌｆ符号を選択して、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４の生成に用いるようにしてもよい。Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部２１０は、例えば、上述のＳｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９と同様に、上述の参考文献１、２の記載技術を用いて生成されたＳｌｅｐｉａｎ−Ｗｏｌｆ符号を保持するようにしてもよい。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂは、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号Ｓ２４を用いてＳｌｅｐｉａｎ−Ｗｏｌｆ復号し、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５を生成する点で第１の実施形態と異なっている。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の動画像配信システム１Ｂの動作を説明する。

以下では、第３の実施形態の動画像配信システム１Ｂの動作のうち、第１の実施形態との差異について図１６、図１７を用いて説明する。

第３の実施形態の動画像配信システム１Ａでは、上述のステップＳ１０８、Ｓ１１６が、それぞれステップＳ３０８、Ｓ３１６に置き換わっている点で第１の実施形態と異なっている。

まず、動画像符号化装置１０Ｂ側の処理（ステップＳ３０８）について説明する。

図１６に示すようにステップＳ３０８は、２つのステップＳ３０８−１、Ｓ３０８−２に分かれている。

ステップＳ３０８−１では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部１０９により、ブロック単位選択信号Ｓ１２に基づき、符号化対象画像が選択されている画素に関わるビットのビットが特定され、特定されたビットに基づいて専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３が生成される。

ステップＳ３０８−２では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂにより、レートＲに基づき、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３を用いて、量子化後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２４が符号化され、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１が生成される。具体的には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂは、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３の情報に基づき、符号化するビットを集め、集めたビットを上述の最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号で符号化する。

次に、動画像復号装置２０Ａ側の処理（ステップＳ３１６）について説明する。

図１７に示すようにステップＳ３１６は、２つのステップＳ３１６−１、Ｓ３１６−２に分かれている。

ステップＳ３１６−１では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号選択部２１０により、ブロック単位選択信号Ｓ１１に基づき、符号化対象画像が選択されている画素に関わるビットのビット数が特定され、特定されたビットに基づいて専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４が生成される。

ステップＳ３１６−２では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６Ｂにより、ＬＬＲ通知信号Ｓ２２、及び専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４を用いて、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１が復号され、訂正後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ３５が生成される。

具体的には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０６Ｂは、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４の情報に基づき、復号するビットに対応するＬＬＲを集め、集めたＬＬＲを上述の最適なＳｌｅｐｉａｎ−Ｗｏｌｆ符号で、Ｓｌｅｐｉａｎ−ＷｏｌｆストリームＳＴ１を復号する。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。

更新後Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ２３（更新後デコーダ予測画像Ｆ３３）において、エンコーダ予測画像Ｆ２１（エンコーダ予測画像Ｆ２１）が選択されているブロックは、動画像符号化装置１０Ｂと動画像復号装置２０Ｂとの間で、情報が共有されている領域であり、動画像復号装置２０Ｂで復号するために新たな情報を必要としない領域である。

したがって、動画像符号化装置１０Ｂでは、ブロック単位選択信号Ｓ１２に基づいて、生成した専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化情報Ｓ１３を用いてＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行うことで、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックを符号化するのに最適な符号化処理を行い、符号量の増加を抑制することができる。

また、動画像復号装置２０Ｂでは、ブロック単位選択信号Ｓ１１に基づいて生成した専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号処理を行うことで、Ｗｙｎｅｒ−Ｚｉｖ画像Ｆ１１が選択されているブロックの復号に最適な復号処理を行い、復号品質を向上させることができる。

（Ｄ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｄ−１）上記の各実施形態では、説明を簡易とするために、Ｗｙｎｅｒ−Ｚｉｖ画像の符号化及び復号に用いる各画像（Ｗｙｎｅｒ−Ｚｉｖ画像、エンコーダ予測画像、更新後Ｗｙｎｅｒ−Ｚｉｖ画、デコーダ予測画像、更新後デコーダ予測画像等）について、非特許文献１等のようにＤＣＴ変換等による変換処理を行わずに、各画素の画素値又は量子化値で表わしたパラメータ形式（ピクセルドメイン形式）のまま処理するものとして説明している。ただし、本発明では、各画像を表現するためのパラメータ形式は、ピクセルドメイン形式に限定されず、ＤＣＴ変換等により変換係数領域ごとの量子化値で表わしたパラメータ形式（トランスフォームドメイン形式）としても良い。トランスフォームドメイン形式の場合、上記の各実施形態の画素の画素値（量子化値）が、変換係数領域（複数のブロックに分割して処理する場合には、各ブロック内での変換係数領域）ごとの量子化値に置き換えられることになる。上記の各実施形態で、符号化及び復号に用いる各画像について、トランスフォームドメイン形式で処理する場合には、量子化処理の前段に、トランスフォームドメイン形式のパラメータ列に変換する変換処理部を追加すれば良い。

上記の各実施形態では、各画素の画素値をパラメータとして並べたパラメータ列としてみることができる。そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ理論およびＷｙｎｅｒ−Ｚｉｖ理論に基づいたＤＶＣ方式の符号化処理及び復号処理では、符号化及び復号する対象となるパラメータ列の数や各パラメータの持つ意味は限定されない。したがって、各画像を表現するためのパラメータ列の形式（パラメータの数等）を変更したとしても、上記の各実施形態と同様の効果を奏することができる。

（Ｄ−２）上記の各実施形態において、動画像復号装置では、Ｋｅｙ画像からエンコーダ予測画像やデコーダ予測画像を生成しているが、他時刻のＷｙｎｅｒ−Ｚｉｖ復号画像から生成しても良い。また、動画像復号装置では、非特許文献３のようにスケーラブル構造を有する場合は、ベースレイヤの情報を用いて、デコーダ予測画像を生成しても良い。

（Ｄ−３）上記の各実施形態の動画像符号化装置では、レート制御部による推定結果により、レートＲを決定する構成となっているが、非特許文献１のように、動画像復号装置側からのフィードバックアプローチによってレート制御する構成としても良い。フィードバックアプローチによってレート制御する場合、エンコーダ予測画像量子化部１０２を省略するようにしてもよい。

（Ｄ−４）上記の各実施形態では、動画像符号化装置と動画像復号装置はネットワーク等の通信路で接続されているものとして説明しているが、動画像符号化装置と動画像復号装置は直接通信可能な構成としなくてもよい。例えば、動画像符号化装置が生成した動画像データ（Ｓｌｅｐｉａｎ−Ｗｏｌｆストリーム及びＫｅｙストリームのデータ）を、ＤＶＤやハードディスク等の媒体に記録し、オフラインで動画像復号装置に供給するようにしてもよい。

（Ｄ−５）第３の実施形態において、専用Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号情報Ｓ２４とＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８の形態として、エンコーダ予測画像Ｆ２１が選択されている画素に属するビットが符号化処理および復号処理に関わらないＳｌｅｐｉａｎ−Ｗｏｌｆ符号を生成しても良い。該Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号は、符号化および復号するビットの位置情報を、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号に内在したものとなる。この場合、ステップＳ３０８−２で、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８Ｂは、符号化するビットを集めたり、ステップＳ３１６−２で復号するビットに対応するＬＬＲを集めたりする必要はなくなる。

１…動画像配信システム、１０…動画像符号化装置、１０１…エンコーダ予測画像生成部、１０２…エンコーダ予測画像量子化部、１０３…画像選択部、１０４…ブロック単位画像選択部、１０５…符号化対象画像更新部、１０６…符号化対象画像量子化部、１０７…レート制御部、１０８…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１２０…Ｋｅｙ画像符号化部、２０…動画像復号装置、２００…選択信号受取部、２０１…エンコーダ予測画像生成部、２０２…デコーダ予測画像生成部、２０３…デコーダ予測画像更新部、２０４…デコーダ予測画像量子化部、２０５…ＬＬＲ推定部、２０６…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、２０７…再構成部、２０８…再構成画像更新部、２２０…Ｋｅｙ画像復号部。

Claims (11)

1. フレーム列を有する動画像を符号化する動画像符号化装置において、
   上記フレーム列のうちキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
   予測画像を構成するパラメータの値を量子化する量子化手段と、
   予測画像の各パラメータと原画像の各パラメータについて、それぞれの値の差分を算出し、当該差分が上記量子化手段の処理により発生する量子化誤差より大きいパラメータについては、原画像の値を選択し、当該差分が量子化誤差以下となるパラメータについては、当該予測画像の値を選択する比較手段と、
   上記比較手段による比較結果の分布状況に応じて、フレームを構成するブロックごとに、予測画像又は原画像のいずれかのパラメータの値を選択して、ブロックごとに選択されたパラメータの値で構成された更新後原画像を生成する更新後原画像生成手段とを有し、
   上記量子化手段は、更新後原画像を構成するパラメータの値を量子化し、
   非キーフレームに対する上記量子化手段により量子化された更新後原画像の誤りを訂正するための誤り訂正符号を生成する誤り訂正符号生成手段をさらに有し、
   予測画像及び原画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値である
   ことを特徴とする動画像符号化装置。
2. 上記更新後原画像生成手段は、ブロックごとに、上記比較手段で予測画像が選択されたパラメータの数の比率を算出し、当該比率が閾値以上のブロックについて、予測画像のパラメータの値を選択し、当該比率が閾値未満のブロックについて原画像のパラメータの値を選択して更新後原画像を生成することを特徴とする請求項１に記載の動画像符号化装置。
3. 上記更新後原画像生成手段は、上記量子化手段の量子化処理で用いられる量子化ステップ幅の半分に相当する値を、量子化誤差とみなして、各パラメータのパラメータの値の選択に用いることを特徴とする請求項１に記載の動画像符号化装置。
4. 上記更新後原画像生成手段は、上記量子化手段の量子化処理で用いられる量子化ステップ幅に相当する値を、量子化誤差とみなして、各パラメータのパラメータの値の選択に用いることを特徴とする請求項１に記載の動画像符号化装置。
5. 上記更新後原画像生成手段が生成する更新後原画像で、ブロックごとに選択された画像を示すブロック選択情報を出力するブロック選択情報生成手段と、
   上記誤り訂正符号生成手段が生成した誤り訂正符号と、上記ブロック選択情報生成手段が生成したブロック選択情報を含むデータを非キーフレームに係るデータとして出力する出力手段と
   をさらに備えることを特徴とする請求項１〜４のいずれかに記載の動画像符号化装置。
6. フレーム列を有する動画像が請求項５に記載の動画像符号化装置によりフレーム単位に符号化された動画像データを復号する動画像復号装置であって、
   キーフレームのデータを保持するキーフレーム保持手段と、
   上記キーフレーム保持手段が保持したキーフレームを利用して、上記フレーム列のうち非キーフレームの第１の予測画像を生成する第１の予測画像生成手段と、
   上記キーフレーム保持手段が保持したキーフレームを利用して、上記動画像符号化装置の上記予測画像生成手段で生成される予測画像と同様の第２の予測画像を生成する第２の予測画像生成手段と、
   非キーフレームのブロックごとに、上記動画像符号化装置で生成されたブロック選択情報に基づき、第１の予測画像又は第２の予測画像のいずれかのパラメータの値を選択して、更新後予測画像を生成する更新後予測画像生成手段と、
   上記動画像データを構成する非キーフレームの符号化データが、当該非キーフレームの原画像に対する予測画像の誤りを訂正する誤り訂正符号であった場合には、当該非キーフレームの更新後予測画像について、その誤り訂正符号を用いて訂正した訂正後画像を生成する誤り訂正手段とを有し、
   第１の予測画像及び第２の予測画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値である
   ことを特徴とする動画像復号装置。
7. 上記誤り訂正手段により生成された非キーフレームの訂正後画像について、上記更新後予測画像生成手段により、第２の予測画像のパラメータの値が適用されたブロックの各パラメータを、第１の予測画像のパラメータの値に置き換えた再更新後画像を生成する再更新後画像生成手段をさらに備えることを特徴とする請求項６に記載の動画像復号装置。
8. フレーム列を有する動画像を符号化する動画像符号化プログラムにおいて、
   コンピュータを、
   上記フレーム列のうちキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
   予測画像を構成するパラメータの値を量子化する量子化手段と、
   予測画像の各パラメータと原画像の各パラメータについて、それぞれの値の差分を算出し、当該差分が上記量子化手段の処理により発生する量子化誤差より大きいパラメータについては、原画像の値を選択し、当該差分が量子化誤差以下となるパラメータについては、当該予測画像の値を選択する比較手段と、
   上記比較手段による比較結果の分布状況に応じて、フレームを構成するブロックごとに、予測画像又は原画像のいずれかのパラメータの値を選択して、ブロックごとに選択されたパラメータの値で構成された更新後原画像を生成する更新後原画像生成手段として機能させ、
   上記量子化手段は、更新後原画像を構成するパラメータの値を量子化し、
   非キーフレームに対する上記量子化手段により量子化された更新後原画像の誤りを訂正するための誤り訂正符号を生成する誤り訂正符号生成手段として上記コンピュータをさらに機能させ、
   予測画像及び原画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値である
   ことを特徴とする動画像符号化プログラム。
9. フレーム列を有する動画像が請求項５に記載の動画像符号化装置によりフレーム単位に符号化された動画像データを復号する動画像復号プログラムであって、
   コンピュータを、
   キーフレームのデータを保持するキーフレーム保持手段と、
   上記キーフレーム保持手段が保持したキーフレームを利用して、上記フレーム列のうち非キーフレームの第１の予測画像を生成する第１の予測画像生成手段と、
   上記キーフレーム保持手段が保持したキーフレームを利用して、上記動画像符号化装置の上記予測画像生成手段で生成される予測画像と同様の第２の予測画像を生成する第２の予測画像生成手段と、
   非キーフレームのブロックごと、上記動画像符号化装置で生成されたブロック選択情報に基づき、に第１の予測画像又は第２の予測画像のいずれかのパラメータの値を選択して、更新後予測画像を生成する更新後予測画像生成手段と、
   上記動画像データを構成する非キーフレームの符号化データが、当該非キーフレームの原画像に対する予測画像の誤りを訂正する誤り訂正符号であった場合には、当該非キーフレームの更新後予測画像について、その誤り訂正符号を用いて訂正した訂正後画像を生成する誤り訂正手段として機能させ、
   第１の予測画像及び第２の予測画像を表すパラメータの値は、それぞれの画像を構成する各画素の画素値、又は、それぞれの画像を所定の変換方式で変換することで得られる変換係数領域ごとの量子化値である
   ことを特徴とする動画像復号プログラム。
10. フレーム列を有する動画像をフレーム単位に符号化した動画像データを生成する動画像符号化装置と、上記動画像符号化装置で生成された動画像データを復号する動画像復号装置とを備える動画像配信システムにおいて、
    上記動画像符号化装置として請求項１に記載の動画像符号化装置を適用したことを特徴とする動画像配信システム。
11. 上記動画像符号化装置として請求項５に記載の動画像符号化装置を適用し、上記動画像復号装置として請求項６に記載の動画像復号装置を適用したことを特徴とする請求項１０に記載の動画像配信システム。

Images