JP5811823B2 - 動画像符号化装置、システム及びプログラム - Google Patents

Description

本発明は動画像符号化装置、システム及びプログラムに関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、ＤＶＣ方式と呼ぶ）を用いたものに適用し得るものである。

近年、非特許文献１に記載されるようなＤＶＣ方式という新しい符号化方式が注目されている。

このＤＶＣ方式は、動画像の符号化において、数フレームおき（一定間隔でなくても良い）のキーとなるいくつかのフレームの画像（以下、キーフレーム若しくはキーフレーム画像と呼ぶ）についてはフレーム内符号化を適用し（なお、キーフレームのいくつかに対して、フレーム間符号化方式を適用しても良い）、一方、その他のフレーム（若しくは全て）のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム））については、時間方向の予測誤差信号の誤り訂正符号のみを符号化して伝送するものである。

今日のＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理という２つのキーとなる情報理論に基づいた新しい圧縮方式である。ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖフレームの画像：以下、ＷＺフレーム若しくはＷＺフレーム画像と呼ぶ）に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データとＷｙｎｅｒ−Ｚｉｖフレーム復号器側で得たＷｙｎｅｒ−Ｚｉｖフレーム符号化器側の原画像の予測画像とを基にＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う、新しい符号化方式である。

非特許文献１に記載されるようなＤＶＣ方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献１の図１を参照しながら、ＷＺフレームの符号化、復号の面から説明する。なお、図７は、非特許文献１の図１をそのまま示した図面である。

Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で、符号化するべきＷＺフレームを変換係数領域（周波数領域）に変換（ＤＣＴ）した後、周波数領域における成分毎に、量子化（２^ＭＫ ｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その量子化値（ｑ_ｋ）をビット列コードに変換し、各ビットの情報を、例えば、１フレーム分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ；ビットプレーン）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ Ｅｎｃｏｄｅｒ）を行い、その結果のうち、パリティビットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ビットは捨てられる（非特許文献１の図１には明確に図示されていない）。

Ｗｙｎｅｒ−Ｚｉｖフレーム復号器では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域に変換（ＤＣＴ）し、周波数領域における成分毎に、サイド情報（Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ）としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）に入力する。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器に対して、一時保存しているパリティビットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行う。受信したパリティビットと、上述したサイド情報からＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。十分な復号が行えなかった場合には、再度、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行い、受信したパリティビットと上述したサイド情報からＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。この処理を、十分な復号が行えるまで続ける。

その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の復号値とサイド情報から変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。

上述した図７は、非特許文献１の記載に代表されるＤＶＣ方式の構成を示している。非特許文献１では、縦横の画素数が所定のブロックに対してＤＣＴ変換を行った後（ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ；変換係数領域）の情報（ＤＣＴ係数）に符号化する方式を紹介しているが、符号化対象はこれに限定されるものではなく、ＤＣＴ変換を実行せず、画素領域（ｐｉｘｅｌ−ｄｏｍａｉｎ）の情報の段階で符号化を行うものもある。

ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム（以下、ＷＺフレームと略する）については、動画像符号化装置から動画像復号装置へ誤り訂正を実行するための情報（パリティビット若しくはシンドロームビット）を送信し、動画像復号装置において、キーフレームから予測したＷＺフレームの予測画像を、誤り訂正処理をし得るように変換した情報と、受信した誤り訂正を実行するための情報から、誤り訂正処理することで、動画像符号化装置が送信しようとした変換係数領域若しくは画素領域の情報を復号する。

非特許文献１の記載技術は、動画像符号化装置が、動画像復号装置からの要求があるごとに、誤り訂正を実行するための情報を徐々に送信するフィードバック制御を実行するものであった。従来、動画像復号装置は要求せずに、動画像符号化装置が、動画像復号装置で必要となる誤り訂正を実行するための情報の量（符号量）を決定し、その量に応じた誤り訂正を実行するための情報を送信するＤＶＣ方式も既に提案されている。このようなフィードバック制御をしないＤＶＣ方式については、例えば、非特許文献２に記載されている。

図８は、フィードバック制御をしないＤＶＣ方式に従う従来の動画像符号化装置の構成を示している。フィードバック制御をしないＤＶＣ方式については、例えば、非特許文献２に記載されている。図８は、ＷＺフレームを変換係数領域で符号化する場合でも画素領域で符号化する場合でも適用可能なようにブロックに分けて図示しているが、以下では、画素領域で符号化するとし、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２の処理を説明する。

Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２のサイド情報生成部１０３は、ＷＺフレームの前後の少なくとも一方のキーフレームの符号化データを入力し、キーフレームの符号化データを局部復号してキーフレームに戻した後に、ＷＺフレームの予測画像を生成し、生成されたＷＺフレームの予測画像を、複数画像を集めて画素領域で量子化し、その量子化値をビット列コードに変換した後、同一桁のビット毎にビットを集めたビットプレーンへ分割する。一方、ＷＺフレーム画像が入力された量子化部１０４は、ＷＺフレーム画像を、複数画像を集めて画素領域で量子化し、その量子化値をビット列コードに変換した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割する。符号量制御部１０５は、サイド情報生成部１０３の出力と量子化部１０４の出力とから、送信符号量を計算し、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０６は、量子化部１０４から入力されたビットプレーン毎のデータに対し、Ｔｕｒｂｏ符号やＬＤＰＣ符号といったＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量制御部１０５で計算された符号量に応じた誤り訂正符号（パリティビット若しくはシンドロームビット）を復号側へ送信する。

ＷＺフレーム画像とその予測画像とが類似しているほど、送信符号量は少なくても良い。送信符号量制御部１０５は、ＷＺフレーム画像とその予測画像との類似度合を、量子化値を利用して判断するようにしている。

図８のＷｙｎｅｒ−Ｚｉｖフレーム符号化部１０２に対応するＷｙｎｅｒ−Ｚｉｖ復号部の構成は、図７に示した構成とほぼ同様である。但し、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部が符号化側に誤り訂正符号を要求しない点だけが異なっている。

図９は、従来における画素領域での符号化と復号の流れを示している。図９は、後述する課題を分かりやすくするために、ある画素に注目して示している。

図９（Ａ）に示すように、ある画素の原信号（□）が１３０、符号化側で推定したサイド情報（○）が１２０である場合を考える。また、簡単のために、ビットプレーンの数は、１（量子化サイズ＝１２８）とする。図９（Ｂ１）に示すように、原信号（□）１３０は量子化値「１」に量子化され、サイド情報（○）は量子化値「０」に量子化される。異なる量子化値に量子化されたので、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号がＴｕｒｂｏ符号の場合にはパリティビット、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号がＬＤＰＣ符号化の場合はシンドロームビットが送信される。

一方、復号側ではＳｌｅｐｉａｎ−Ｗｏｌｆ復号で誤り訂正復号がなされて、量子化値「１」が復号される。量子化値「１」は、復号側でのサイド情報と同じであれば、画像再構成によりサイド情報の値を最終的な復号値（画素値）となるが、この場合、サイド情報１２０を量子化した量子化値「０」と異なるため、量子化値「１」が表現できる画素値（ここでは１２８から２５５のいずれかの値）に復号することになる。例えば、最終的な復号値（画素値）として中央値の「１９２」を採用した場合を、図９（Ｂ２）は示している。

Ａｎｎｅ Ａａｒｏｎ、Ｓｈａｎｔａｎｕ Ｒａｎｅ，Ｅｒｉｃ Ｓｅｔｔｏｎ，ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ：Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ．Ｉｎ：Ｐｒｏｃ， ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｎｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｓａｎ Ｊｏｓｅ， ＣＡ（２００４） Ｃ．Ｂｒｉｔｅｓ， Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，" ＩＣＩＰ２００７， ＵＳＡ， Ｓｅｐｔｅｍｂｅｒ， ２００７

しかしながら、原信号（□）が１３０、符号化側で推定したサイド情報（○）が１２０の図９に示す例の場合、原信号とサイド情報が異なる量子化値となるため、実際には、原信号との差が小さい（ここでは１０である）サイド情報を活用することができず、１９２という復号値を得ることになる。この復号値は原信号との差が６２となり、著しくＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）が悪くなっている。

すなわち、従来においては、原信号と、符号化側で推定したサイド情報との差が小さいにも拘らず、ＰＳＮＲが悪くなる（符号化効率が悪くなる）ことも生じるという課題があった。

そのため、原信号と、符号化側で推定したサイド情報との差が小さい場合に符号化効率が悪くなることを防止できる動画像符号化装置、システム及びプログラムが望まれている。

第１の本発明は、量子化部とＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部とを備える動画像符号化装置において、（１）参照フレーム画像から更新候補情報を生成するサイド情報生成部と、（２）上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するために生成された上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部とを備え、上記量子化データ更新制御部は、（３）上記量子化部のデータと上記更新候補情報との差を閾値と比較するデータ比較部と、（４）上記量子化部のデータと上記更新候補情報との差が閾値より小さいときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新部とを備えることを特徴とする。

第２の本発明は、フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化装置と、上記フレーム系列から分離した非キーフレームについて符号化する、量子化部とＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部とを備えるＷｙｎｅｒ−Ｚｉｖフレーム符号化装置とを有する動画像符号化装置において、上記Ｗｙｎｅｒ−Ｚｉｖフレーム符号化装置として、第1の本発明の動画像符号化装置を適用したことを特徴とする。

第３の本発明の動画像符号化システムは、第2の本発明の動画像符号化装置と、キーフレーム及び非キーフレームを復号する動画像復号装置とを備えたことを特徴とする。

第４の本発明の動画像符号化プログラムは、コンピュータを、（１）入力されたデータをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化するＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部と、（２）符号化対象フレーム画像から、上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するためのデータを生成する、量子化を含めた処理を実行する量子化部と、（３）参照フレーム画像から更新候補情報を生成するサイド情報生成部と、（４）上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するために生成された上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部として機能させ、さらに、上記量子化データ更新制御部は、上記コンピュータを、（５）上記量子化部のデータと上記更新候補情報との差を閾値と比較するデータ比較部と、（６）上記量子化部のデータと上記更新候補情報との差が閾値より小さいときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新部として機能させることを特徴とする。

本発明によれば、原信号と、符号化側で推定したサイド情報との差が小さい場合に符号化効率が悪くなることを防止することができる。

実施形態に係る動画像符号化システムの構成を示すブロック図である。 実施形態の動画像符号化装置における量子化データ更新制御部の詳細構成を示すブロック図である。 実施形態の動画像符号化装置の動作を示すフローチャートである。 実施形態の動画像符号化装置における量子化データ更新制御部の動作の詳細を示すフローチャートである。 実施形態の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合における量子化データの更新制御例（その１）の説明図である。 実施形態の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合における量子化データの更新制御例（その２）の説明図である。 非特許文献１の図１をそのまま示した図面である。 従来の予測画像を利用する動画像符号化装置の構成を示すブロック図である。 従来の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合に生じる課題の説明図である。

（Ａ）主たる実施形態
以下、本発明による動画像符号化装置、システム及びプログラムの一実施形態を、図面を参照しながら詳述する。この実施形態に係る動画像符号化方式は上述したＤＶＣ方式である。

（Ａ−１）実施形態の構成
図１は、この実施形態の動画像符号化装置と、動画像復号装置とを有する動画像符号化システムの構成を示すブロック図である。実施形態の動画像符号化装置１５０や動画像復号装置２００は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムや動画像復号プログラムを実行することで動画像符号化装置や動画像復号装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１００や動画像復号装置２００の機能的構成は、図１で表すことができる。

図１において、動画像符号化装置１５０は、キーフレーム符号化部１５１と、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１５２とを有する。なお、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１５２単体でも、ある種の動画像符号化装置になっている。

キーフレーム符号化部１５１は、キーフレーム画像をＭＰＥＧやＪＰＥＧといった所定の符号化方式で符号化を行い、復号側へ符号化データを送信する。

上述したように、ＤＶＣ方式のフレームワークにおいては、入力されたＷＺフレームを符号化する際に、画素領域で処理を行う方法や、ＤＣＴなどの変換による変換係数領域で処理を行う方法があるが、この実施形態は、画素領域で処理を行う方法を適用している。

Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１５２は、サイド情報生成部１５３と、量子化部１５４と、量子化データ更新制御部１５５と、符号化制御部１５６と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１５７とを有する。

サイド情報生成部１５３は、ＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームの符号化データを入力し、ＷＺフレームの予測画像を生成するものである。ＷＺフレームの前、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームのいずれを適用するかは予め定められている。また、サイド情報生成部１５３は、キーフレームの符号化データを局部復号してキーフレームに戻した後に、ＷＺフレームの予測画像を生成し、生成されたＷＺフレームの予測画像の複数の画素を集めて量子化し、その量子化値をビット列コードに変換（２値化）した後、同一桁のビット毎にビットを集めたビットプレーンへ分割するものである。

量子化部１５４は、ＷＺフレーム画像（キーフレームとキーフレームの間に挿入される画像データ）を量子化し、その量子化値をビット列コードに変換（２値化）した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割するものである。

量子化データ更新制御部１５５は、ＷＺフレーム、量子化部１５４の出力、サイド情報生成部１５３の出力に基づいて、量子化部１５４が得た量子化データを更新すべきか否か判断し、更新すべき場合に、その量子化データを更新するものである。

符号量制御部１５６は、サイド情報生成部１５３の出力と量子化データ更新制御部１５５の出力から、送信符号量を計算するものである。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１５７は、量子化データ更新制御部１５５から入力されたビットプレーン毎のデータに対し、Ｔｕｒｂｏ符号やＬＤＰＣ符号といったＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量制御部１５６で計算された符号量に応じた誤り訂正符号を復号側へ送信するものである。

量子化データ更新制御部１５５は、図２に示すように、閾値決定部１６０と、データ比較部１６１と、量子化データ更新部１６２とを有する。

閾値決定部１６０は、量子化部１５４が適用している量子化サイズに基づいて、データ比較部１６１が利用する閾値を決定するものである。

データ比較部１６１は、サイド情報生成部１５３から入力された量子化前の予測画像のデータとＷＺフレーム画像の対応画素値（原信号及びサイド情報）の差を計算し（例えば、絶対値で算出する）、その差と、閾値決定部１６０で決定された閾値と比較するものである。

量子化データ更新部１６２は、データ比較部１６１の比較結果が、原信号とサイド情報の差が閾値以上という結果のときに、量子化部１５４の出力である第１の量子化データを、自己からの出力データ（更新後量子化データ）とすると共に、データ比較部１６１の比較結果が、原信号とサイド情報の差が閾値よりも小さいという結果のときに、サイド情報生成部１５３の出力である第２の量子化データを、自己からの出力データ（更新後量子化データ）とするものである。

一方、動画像復号装置２００は、キーフレーム復号部２０１と、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２０２とを有する。Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２０２は、サイド情報生成部２０３と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０４と、画像再構成部２０５とを有する。

キーフレーム復号部２０１は、動画像符号化装置１５０（キーフレーム符号化部１５１）で符号化されたキーフレームを受信し、復号を行うことで、キーフレームの復号画像を得るものである。

サイド情報生成部２０３は、キーフレームの復号で得られたＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームから、ＷＺフレームの予測画像を生成し、生成されたＷＺフレームの予測画像の複数の画素を集めて量子化し、その量子化値をビット列コードに変換（２値化）した後、同一桁のビット毎にビットを集めたビットプレーンへ分割するものである。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０４は、受信した誤り訂正符号とサイド情報生成部２０３で生成された予測画像の情報（ビットプレーン）とから、Ｓｌｅｐｉａｎ−Ｗｏlｆ復号を行うものである。

画像再構成部２０５は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２０４での各ビットプレーンの復号結果と、サイド情報生成部２０３で生成された予測画像の情報を参照してフレーム単位での情報に再構成した後、再構成されたフレームに逆量子化を行い、ＷＺフレームの復号画像を得るものである。

（Ａ−２）実施形態の動作
次に、実施形態の動画像符号化装置１５０の動作を、図面を参照しながら説明する。なお、動画像復号装置２００の動作は、従来の動画像復号装置の動作と同様であるので、その説明は省略する。

ここで、図３は、動画像符号化装置１５０の動作を示すフローチャートである。図３は、ＷＺフレーム画像を処理する動作に焦点をあてて記載しており、キーフレームの処理については、ＷＺフレーム画像の処理と関係する部分を敢えて書き出している。すなわち、１つのＷＺフレーム画像の処理毎に、キーフレームについての符号化処理が実行されている訳ではないが、図３では、キーフレームについての符号化に係る処理（ステップＳ１０１、Ｓ１０２）も敢えて記載している。

キーフレーム画像は、キーフレーム符号化部１５１に入力し、キーフレーム符号化部１５１によって符号化される（ステップＳ１０１）。

キーフレームの符号化データは、サイド情報生成部１５３に与えられると共に、動画像復号装置２００に向けて送信される（ステップＳ１０２）。

キーフレームの符号化データは、サイド情報生成部１５３によって局部復号され、現在処理対象となっているＷＺフレームに対し、所定の時間関係を有する局部復号のキーフレームが利用されて、ＷＺフレーム画像の予測画像が生成され、この予測画像が量子化前データとして量子化データ更新制御部１５５に入力され、また、予測画像に対し、量子化、２値化、ビットプレーン分割が実行され、処理後のデータが、第２の量子化データとして量子化データ更新制御部１５５及び符号量制御部１５６に与えられる（ステップＳ１０３）。

ＷＺフレーム画像は、量子化部１５４及び量子化データ更新制御部１５５に与えられる（ステップＳ１０４）。

ＷＺフレーム画像は、量子化部１５４において、量子化、２値化、ビットプレーン分割が施され、処理後のデータが、第１の量子化データとして、量子化サイズと共に量子化データ更新制御部１５５に与えられる（ステップＳ１０５）。

第１の量子化データは、量子化データ更新制御部１５５において、妥当か否か判断され、妥当でないという判断のときに更新され、このような判断に基き適宜更新された量子化データ（更新後量子化データ）が符号量制御部１５６及びＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１５７に与えられる（ステップＳ１０６）。このような量子化データ更新制御部１５５における量子化データの更新動作（見直し動作）は、画素ごとの全てのデータについて繰返し実行される（ステップＳ１０７）。

第２の量子化データ及び更新後量子化データが利用されて、符号量制御部１５６において、必要な符号量（送信符号量）が計算される（ステップＳ１０８）。送信符号量の計算方法や制御方法としては、非特許文献１の記載技術のように復号側からのフィードバックによって制御する方法や、非特許文献２の記載技術のようにフィードバックなしで制御する方法などがあるが、いずれの方法を適用しても良く、方法が限定されるものではない。

量子化データ更新制御部１５５から出力されたビットプレーン毎の更新後量子化データは、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０によって、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化され、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化で得られた誤り訂正符号は、送信符号量制御部１５６で計算された符号量分だけ復号側へ送信される（ステップＳ１０９）。

図４は、量子化データ更新制御部１５５が実行する動作（ステップＳ１０６）の詳細を示すフローチャートである。

量子化サイズが量子化部１５４から閾値決定部１６０に与えられ、閾値決定部１６０において、量子化サイズに基づいて、閾値が決定されてデータ比較部１６１に与えられる（ステップＳ１５１）。サイド情報生成部１５３が得た量子化前の予測画像のデータ及びＷＺフレーム画像は、データ比較部１６１に与えられる（ステップＳ１５２）。なお、量子化データ更新制御部１５５が実行する動作（ステップＳ１０６）は、図３に示すように繰返し実行されるが、ステップＳ１５１及びステップＳ１５２の処理は、繰返し処理の１回目だけ実行するようにしても良い。

ＷＺフレーム画像のある画素に係る原信号と予測画像の上記画素に係るサイド情報の差が、データ比較部１６１によって計算され、得られた差と、閾値決定部１６０が決定した閾値とが比較される（ステップＳ１５３）。

量子化部１５４の出力である第１の量子化データ及びサイド情報生成部１５３の出力である第２の量子化データは、量子化データ更新部１６２に入力される（ステップＳ１５４）。

データ比較部１６１における比較結果が原信号とサイド情報の差が閾値よりも小さいという結果の場合には（ステップＳ１５５で肯定結果）、データ更新該当箇所における更新後量子化データの値として、第２の量子化データの値が選択（更新）される（ステップＳ１５６）。これに対して、データ比較部１６１における比較結果が原信号とサイド情報の差が閾値以上という結果の場合には（ステップＳ１５５で否定結果）、データ更新該当箇所における更新後量子化データの値として、第１の量子化データの値が選択される（ステップＳ１５７）。このような更新後量子化データの確定後に、上述した図３のステップＳ１０７に移行する。

以下、量子化データ更新制御部１５５での量子化データの更新処理を具体的な数値を挙げて説明する。

図５（Ａ）に示すように、原信号（□）が１３０、符号化側で推定したサイド情報（○）が１２０である場合を考える。以下では簡単のために、ビットプレーンの数は１（量子化サイズ＝１２８）で説明する。原信号（□）１３０は、図５（Ｂ１）に示すように量子化値「１」に量子化され、サイド情報（○）は量子化値「０」に量子化される。

原信号（□）１３０とサイド情報（○）１２０の差を計算し、閾値と比較する（ステップＳ１５３参照）。図５は、量子化サイズが１２８（０〜２５５の値を０若しくは１で表現することを意味している）の場合の例を示しており、閾値を、量子化サイズの１／２に決定することとしている場合には、閾値は１２８（量子化）／２＝６４となる。従って、この際の比較は、１３０（原信号の値）−１２０（サイド情報の値）＝１０と閾値６４との比較となる。

原信号（□）１３０とサイド情報（○）１２０の差１０は、閾値６４よりも小さいため、サイド情報（○）の量子化値「０」が更新後量子化データとして選択される。言い換えると、原信号（□）の量子化値「１」をサイド情報の量子化値「０」に更新される。

その後、更新された量子化値「０」は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化され、Ｔｕｒｂｏ符号の場合はパリティビット、ＬＤＰＣ符号化の場合はシンドロームビットが復号側に送信される（但し、この例のように、完全にサイド情報と同じになった場合は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化せず、サイド情報と同じであるということを通知するようにし良い）。

一方、復号側ではＳｌｅｐｉａｎ−Ｗｏｌｆ復号で誤り訂正復号された後、量子化値「０」が復号される。この例の場合、量子化値「０」は、受信側でのサイド情報に係る量子化値と同じであるので、図５（Ｂ２）に示すように、画像再構成により、サイド情報の値を最終的な復号値（画素値）とする。

上述した図９に示した従来の場合ように更新処理を実施しないときは、原信号と復号値の差（６２）が大きくなり、大きな劣化が生じたが、実施形態の場合には、量子化値の更新処理を適応的に実施することにより、原信号と復号値の差（１０）が小さくなる。

図６は、ビットプレーンの数が２（量子化サイズ＝６４）を示している。量子化サイズが６４は、０〜２５５の値を４値「００」、「０１」、「１０」、「１１」で表現することを意味している。

図６（Ａ）に示すように、原信号（□）が１３０、符号化側で推定したサイド情報（○）が１２０である場合を考えると、原信号（□）１３０は、図６（Ｂ１）に示すように量子化値「１０」に量子化され、サイド情報（○）は量子化値「０１」に量子化される。

原信号（□）１３０とサイド情報（○）１２０の差を計算し、閾値３２（＝６４／２）と比較すると（ステップＳ１５３参照）、原信号（□）１３０とサイド情報（○）１２０の差１０は、閾値３２よりも小さいという結果が得られ、そのため、サイド情報（○）の量子化値「０１」が更新後量子化データとして選択される。言い換えると、原信号（□）の量子化値「１０」をサイド情報の量子化値「０１」に更新される。その後、更新された量子化値「０１」は、ビットプレーン単位にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化されて、誤り訂正符号が復号側に送信される。

一方、復号側ではＳｌｅｐｉａｎ−Ｗｏｌｆ復号で誤り訂正復号された後、量子化値「０１」が復号される。この例の場合、量子化値「０１」は、受信側でのサイド情報に係る量子化値と同じであるので、図６（Ｂ２）に示すように、画像再構成により、サイド情報の値を最終的な復号値（画素値）とする。

量子化サイズが６４の場合にも、量子化値の更新処理を適応的に実施することにより、原信号と復号値の差（１０）を小さく抑えることができる。

以上から明らかなように、量子化サイズが１２８、６４以外であっても（ビットプレーンの数がより増えても）、動作は同じである。

（Ａ−３）実施形態の効果
以上のように、上記実施形態によれば、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化するデータである量子化データとして、原信号とサイド情報の差が閾値より小さい場合には、サイド情報の量子化値を符号化対象とするようにしたので、送信する符号量を削減できると共に、原信号と復号値との差（歪）を軽減することができる。その結果、符号化効率を向上させることができる。

（Ｂ）他の実施形態
上記実施形態では、画素領域（ｐｉｘｅｌ−ｄｏｍａｉｎ）のデータを処理する場合を示したが、ＤＣＴ変換などの直交変換後の変換係数領域（ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ）のデータを処理する動画像符号化システムに対しても、本発明を適用することができ、同様の効果が得られる。

また、上記実施形態の説明では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化として、Ｔｕｒｂｏ符号、ＬＤＰＣ符号を用いる例で説明したが、これに限定されるものではなく、Ｓｌｅｐｉａｎ−Ｗｏｌｆ理論に基づく符号化方式であれば、本発明を適用することができ、同様の効果が得られる。

さらに、上記実施形態の説明では、閾値を量子化サイズの１／２にする場合を示したが、これに限定されるものではない。１／４、１／８などであっても良く、外部から与えられた閾値を用いるようにしても良い。

上記実施形態の動画像符号化装置から、対向する動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。

１５０…動画像符号化装置、１５１…キーフレーム符号化部、１５２…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１５３…サイド情報生成部、１５４…量子化部、１５５…量子化データ更新制御部、１５６…符号化制御部、１５７…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１６０…閾値決定部、１６１…データ比較部、１６２…量子化データ更新部。

Claims (6)

1. 量子化部とＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部とを備える動画像符号化装置において、
   参照フレーム画像から更新候補情報を生成するサイド情報生成部と、
   上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するために生成された上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部と
   を備え、
   上記量子化データ更新制御部は、
   上記量子化部のデータと上記更新候補情報との差を閾値と比較するデータ比較部と、
   上記量子化部のデータと上記更新候補情報との差が閾値より小さいときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新部とを備える
   ことを特徴とする動画像符号化装置。
2. 上記閾値は量子化サイズを元に決定されたものであることを特徴とする請求項１に記載の動画像符号化装置。
3. 上記閾値は量子化サイズの１／２であることを特徴とする請求項２に記載の動画像符号化装置。
4. フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化装置と、上記フレーム系列から分離した非キーフレームについて符号化する、量子化部とＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部とを備えるＷｙｎｅｒ−Ｚｉｖフレーム符号化装置とを有する動画像符号化装置において、
   上記Ｗｙｎｅｒ−Ｚｉｖフレーム符号化装置として、請求項１〜３のいずれかに記載の動画像符号化装置を適用したことを特徴とする動画像符号化装置。
5. 請求項４に記載の動画像符号化装置と、
   キーフレーム及び非キーフレームを復号する動画像復号装置とを備えたことを特徴とする動画像符号化システム。
6. コンピュータを、
   入力されたデータをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化するＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部と、
   符号化対象フレーム画像から、上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するためのデータを生成する、量子化を含めた処理を実行する量子化部と、
   参照フレーム画像から更新候補情報を生成するサイド情報生成部と、
   上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部で符号化するために生成された上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部と
   して機能させ、
   さらに、上記量子化データ更新制御部は、
   上記コンピュータを、
   上記量子化部のデータと上記更新候補情報との差を閾値と比較するデータ比較部と、
   上記量子化部のデータと上記更新候補情報との差が閾値より小さいときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新部と
   して機能させる
   ことを特徴とする動画像符号化プログラム。

Images