JP5900548B2 - 動画像符号化装置 - Google Patents

Description

本発明は動画像符号化装置に関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、ＤＶＣ方式と呼ぶ）を用いた動画像符号化装置に適用し得るものである。

近年、非特許文献１に記載されるようなＤＶＣ方式という新しい符号化方式が注目されている。

このＤＶＣ方式は、動画像の符号化において、数フレームおき（一定間隔でなくても良い）のキーとなるいくつかのフレームの画像（以下、キーフレーム若しくはキーフレーム画像と呼ぶ）についてはフレーム内符号化を適用し（なお、キーフレームのいくつかに対して、フレーム間符号化方式を適用しても良い）、一方、その他のフレーム（若しくは全て）のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム））については、時間方向の予測誤差信号の誤り訂正符号のみを符号化して伝送するものである。

今日のＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理という２つのキーとなる情報理論に基づいた新しい圧縮方式である。ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖフレームの画像：以下、ＷＺフレーム若しくはＷＺフレーム画像と呼ぶ）に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データとＷｙｎｅｒ−Ｚｉｖフレーム復号器側で得たＷｙｎｅｒ−Ｚｉｖフレーム符号化器側の原画像の予測画像とを基にＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う、新しい符号化方式である。

非特許文献１に記載されるようなＤＶＣ方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献１の図１を参照しながら、ＷＺフレームの符号化、復号の面から説明する。なお、図８は、非特許文献１の図１をそのまま示した図面である。

Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で、符号化するべきＷＺフレームを変換係数領域（周波数領域）に変換（ＤＣＴ）した後、周波数領域における成分毎に、量子化（２^ＭＫ ｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その量子化値（ｑ_ｋ）をビット列コードに変換し、各ビットの情報を、例えば、１フレーム分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ；ビットプレーン）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ Ｅｎｃｏｄｅｒ）を行い、その結果のうち、パリティビットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ビットは捨てられる（非特許文献１の図１には明確に図示されていない）。

Ｗｙｎｅｒ−Ｚｉｖフレーム復号器では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域に変換（ＤＣＴ）し、周波数領域における成分毎に、サイドインフォメーション（Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ；副次情報）としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）に入力する。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器に対して、一時保存しているパリティビットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行う。受信したパリティビットと、上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。十分な復号が行えなかった場合には、再度、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行い、受信したパリティビットと上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。この処理を、十分な復号が行えるまで続ける。

その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の復号値とサイドインフォメーションから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。

このような非特許文献１で提案されているようなＤＶＣ方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器とＷｙｎｅｒ−Ｚｉｖフレーム復号器が単独で動作できないという課題がある。

このような課題に対する解決方法が非特許文献２で記載されている。この記載方法では、誤り訂正符号の再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化器で計算する。すなわち、非特許文献２の記載方法は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器が作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器が作る予測画像の誤りを推定し、訂正するための必要な誤り訂正符号の量を計算することにより、フィードバックを必要としない手法である。

非特許文献２に記載の送信符号量の推定手法は、「予測画像と原画像の係数の差分の分布はラプラス分布で近似できる」というモデルを利用し、この分布モデルを用いて予測画像と原画像の間の予測誤りの起こる確率を推定する。分布モデルを用いて誤り確率を推定し、推定した確率を用いて条件付きエントロピーを計算することによって、推定した誤りを訂正するのに必要な符号量を推定する。

しかしながら、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器とＷｙｎｅｒ−Ｚｉｖフレーム復号器で生成する予測画像が異なることや、誤りの推定に用いる分布モデルは原画像と予測画像の関係を近似したものであること、エントロピーを計算することによって得られる符号量は理論値であり、Ｔｕｒｂｏ復号やＬＤＰＣ復号といったＳｌｅｐｉａｎ−Ｗｏｌｆ復号の性能によっては理論値以上の符号量が必要であることなどの理由から、分布モデルから推定した符号量は、実際にＳｌｅｐｉａｎ−Ｗｏｌｆ復号に必要な符号量は異なることがある。推定した符号量が復号に必要な符号量より少ない場合は、誤り訂正が正しく行われないことがあり、その結果、復号した画像に歪みとして現れることがある、という問題がある。この間題に対し、非特許文献２の記載方法では、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙと呼ばれる補助情報を分布モデルから得られる符号量に加算することで補正し、送信符号量を決定している。

Ａｎｎｅ Ａａｒｏｎ、Ｓｈａｎｔａｎｕ Ｒａｎｅ，Ｅｒｉｃ Ｓｅｔｔｏｎ，ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ：Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ．Ｉｎ：Ｐｒｏｃ， ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｎｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｓａｎ Ｊｏｓｅ， ＣＡ（２００４） Ｃ．Ｂｒｉｔｅｓ， Ｆ．Ｐｅｒｅｉｒａ，"Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，" ＩＣＩＰ２００７， ＵＳＡ， Ｓｅｐｔｅｍｂｅｒ， ２００７

しかしながら、非特許文献２の記載技術では、分布モデルから得られる符号量に常に補助情報を加算しているが、分布モデルから推定した符号量だけで復号に必要な符号量が得られている場合もある。このような場合、分布モデルから推定した符号量だけで予測誤りが訂正できるにも拘わらず補助情報を加算しているが、補助情報分の符号量が増加したとしても、誤り訂正の結果は変わらず、復号画質も変わらない。そのため、補正を行った補助情報分の符号量が冗長となることがあり、符号化効率が悪くなるという課題があった。

また、上述した非特許文献２の記載方法に代えて、各ビットプレーンの情報ビットに対する動き探索、動き補償など処理量の多い仕組みを適用して、サイドインフォメーションを更新し、サイドインフォメーションの精度を向上させることで、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器が作る予測画像の精度を向上させて、訂正するために必要な誤り訂正符号の量を抑える方法を適用することも提案されている。しかしながら、動き探索、動き補償には非常に複雑な計算が必要となり、動画像符号化装置を、ソフトウェアを中心に構成した場合であれば処理ステップ数が多大となり、動画像符号化装置を、ハードウェアを中心に構成した場合であれば規模が大きく、複雑となってしまう。

そこで、復号器側に与える誤り訂正符号の符号量が過剰となることを防止し得るように符号量を制御できる符号量制御装置及びプログラムや、そのような符号量制御装置及びプログラムを適用した動画像符号化装置及びプログラムも望まれている。

動画像符号化装置及びプログラムや符号量制御装置及びプログラムにおいては、上述したように、符号化するべきＷＺフレームや予測画像を変換係数領域（周波数領域）に変換（ＤＣＴ）した後、周波数領域における成分毎に、量子化し、その量子化値をビット列コードに変換するようなことも実行される。この変換の精度が高かったり、変換ミスがあっても正規の変換値との相違が小さかったりすると、復号器側に与える誤り訂正符号の符号量が過剰となることを防止し得るようにできる。

そのため、整数をビット列に正しく変換できる、仮に誤りが生じてもその影響を最小限に留めることができる動画像符号化装置が望まれている。

本発明は、フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化手段と、上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を生成した後、予測画像を所定のデータ形式に従う複数ビットでなる第１のデータに変換する第１の変換手段と、上記非キーフレームを上記所定のデータ形式に従う複数ビットでなる第２のデータに変換する第２の変換手段と、上記非キーフレームの原画像について、与えられた符号量の誤り訂正符号の情報を得て出力するＳｌｅｐｉａｎ−Ｗｏｌｆ符号化手段と、上記非キーフレームの予測画像に係る上記第１のデータと上記非キーフレームの原画像に係る上記第２のデータとから上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化手段に与える符号量を決定する符号量決定手段とを有する動画像符号化装置において、(１)上記第１のデータと上記第２のデータとが異なる領域箇所について、異なる桁より下位桁の上記第１のデータにおけるビットを見直して更新する第１データ更新部と、(２)「０」を中心として正負に亘っている範囲内の整数の変換対象値があり、当該変換対象値が「０」に近いほどビット値「１」(又は「０」)をとるビットが多くなり、かつ、ビット値「１」(又は「０」)をとるビットの数が同じ場合には「０」に近い変換対象値ほど上位桁のビットがビット値「１」(又は「０」)をとるように、変換対象値を複数ビットのコードに変換する整数／ビット列変換部とを有し、上記符号量決定手段は、（３）上記第１のデータと上記第２のデータとが異なる領域箇所を特定する予測誤り箇所特定部と、（４）特定された箇所の情報に基づいて、上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化手段に与える符号量を決定する符号量割当部と、（５）上記第１のデータと上記第２のデータとが異なる領域箇所について、異なる桁より下位桁の上記第１のデータにおけるビットを見直して更新し、上記予測誤り箇所特定部の特定処理に委ねる第１データ更新部とを有し、（６）上記第１のデータは、上記非キーフレームの予測画像を周波数領域に変換し、各周波数成分をそれぞれ量子化し、量子化値を複数ビットのコードに変換したデータであり、（７）上記第２のデータは、上記非キーフレームの原画像を周波数領域に変換し、各周波数成分をそれぞれ量子化し、量子化値を複数ビットのコードに変換したデータであり、（８）上記第１の変換手段は、上記整数／ビット列変換部を用いて、上記非キーフレームの予測画像を周波数領域に変換し、各周波数成分をそれぞれ量子化した、変換対象値である量子化値を複数ビットのコードである上記第１のデータに変換するものであり、（９）上記第２の変換手段は、上記整数／ビット列変換部を用いて上記非キーフレームの原画像を周波数領域に変換し、各周波数成分をそれぞれ量子化した変換対象値である量子化値を複数ビットのコードである上記第２のデータに変換するものであって、（１０）上記第１データ更新部は、上記第１のデータの直流成分については、上記第２のデータと異なるビットの中で最も上位のビットより下位のビットについては、更新後の第１のデータが、更新前の第１のデータに最も近付いた量子化値となるように更新すると共に、上記第１のデータの交流成分については、少なくとも、上記第２のデータと異なるビットの中で最も上位のビットより下位のビットについては、更新後の第１のデータが表す量子化値が、量子化値０に最も近付くように更新することを特徴とする。

本発明によれば、整数をビット列に正しく変換できる、仮に誤りが生じてもその影響を最小限に留めることができる動画像符号化装置を実現できる。

実施形態の動画像符号化装置の構成を示すブロック図である。 実施形態の動画像符号化装置における処理の流れを示すフローチャートである。 実施形態の動画像符号化装置におけるサイドインフォメーションのＤＣ成分についての更新ルールの説明図（１）である。 実施形態の動画像符号化装置におけるサイドインフォメーションのＤＣ成分についての更新ルールの説明図（２）である。 実施形態の動画像符号化装置におけるサイドインフォメーションのＡＣ成分についての更新ルールの説明図である。 実施形態の動画像符号化装置において量子化値を４ビットコードに変換するとした場合のマッピングテーブルを示す説明図である。 実施形態の動画像符号化装置が適用しているマッピングテーブルによる効果の説明図である。 非特許文献１の図１をそのまま示した図面である。

（Ａ）主たる実施形態
以下、本発明による動画像符号化装置の一実施形態を、図面を参照しながら詳述する。

実施形態の整数／ビット列変換装置は、ＤＶＣ方式の動画像符号化装置や、そのような動画像符号化装置に適用されている符号量制御装置に用いられている。以下では、実施形態の整数／ビット列変換装置の有用性を明らかにするため、実施形態の整数／ビット列変換装置を適用している動画像符号化装置についても説明する。以下における「実施形態の動画像符号化装置」や「実施形態の符号量制御装置」は、実施形態の整数／ビット列変換装置を適用している動画像符号化装置や符号量制御装置を表している。

（Ａ−１）実施形態の構成
図１は、この実施形態の動画像符号化装置１００の構成を示すブロック図である。実施形態の動画像符号化装置１００は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１００の機能的構成は、図１で表すことができる。

図１において、動画像符号化装置１００は、キーフレーム符号化部１０１と、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２とを有する。

キーフレーム符号化部１０１は、キーフレーム画像をＭＰＥＧやＪＰＥＧといった所定の符号化方式で符号化を行い、復号側へ符号化データを送信する。

ＤＶＣ方式のフレームワークにおいては、入力されたＷＺフレームを符号化する際に、画素領域で処理を行う方法や、ＤＣＴなどの変換による変換係数領域（周波数領域）で処理を行う方法があるが、この実施形態は、上述した非特許文献１や非特許文献２の記載内容と同様に、変換係数領域（周波数領域）で処理を行う方法を適用している。

Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２は、サイドインフォメーション生成部１０３と、変換・量子化部１０４と、符号量制御部１０９と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０とを有する。

サイドインフォメーション生成部１０３は、ＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームの符号化データを入力し、ＷＺフレームの予測画像を生成するものである。ＷＺフレームの前、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームのいずれを適用するかは予め定められている。また、サイドインフォメーション生成部１０３は、キーフレームの符号化データを局部復号してキーフレームに戻した後に、ＷＺフレームの予測画像を生成し、生成されたＷＺフレームの予測画像を変換係数領域（周波数領域）に変換した後、周波数領域の成分毎に量子化し、その量子化値をビット列コード（後述する図３参照）に変換した後、同一桁のビット毎にビットを集めたビットプレーンへ分割するものである。

変換・量子化部１０４は、ＷＺフレーム画像を変換係数領域（周波数領域）に変換した後、周波数領域における成分毎に量子化し、その量子化値をビット列コード（後述する図３参照）に変換した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割するものである。

サイドインフォメーション生成部１０３が適用している量子化値をビット列コードに変換する構成や、変換・量子化部１０４が適用している量子化値をビット列コードに変換する構成が、整数／ビット列変換装置の実施形態となっている。

符号量制御部１０９は、サイドインフォメーション生成部１０３の出力と変換・量子化部１０４の出力とから、送信符号量を計算するものである。ここで、符号量制御部１０９は、実施形態の符号量制御装置になっており、符号量制御部１０９をＣＰＵとＣＰＵが実行するプログラムで実現した場合、そのプログラムは実施形態の符号量制御プログラムになっている。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０は、変換・量子化部１０４から入力されたビットプレーン毎のデータに対し、Ｔｕｒｂｏ符号やＬＤＰＣ符号といったＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量制御部１０９で計算された符号量に応じた誤り訂正符号を復号側へ送信するものである。

符号量制御部１０９は、サイドインフォメーション更新部１０５と、予測誤り箇所特定部１０６と、符号量割当部１０７とを有する。

サイドインフォメーション更新部１０５は、サイドインフォメーション生成部１０３の出力を、後述する動作の項で説明するようにして見直して適宜更新するものである。

予測誤り箇所特定部１０６は、変換・量子化部１０４の出力とサイドインフォメーション更新部１０５の出力とから、ビットプレーン毎のサイドインフォメーションの予測誤り箇所を、後述する動作の項で説明するようにして特定するものである。

符号量割当部１０７は、予測誤り箇所特定部１０６の出力から、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ出力する、現時点のＷＺフレームについて割り当てる符号量を、後述する動作の項で説明するようにして計算するものである。

（Ａ−２）実施形態の動作
次に、実施形態の動画像符号化装置１００における動作を説明する。なお、動画像符号化装置１００の前段において、入力原データはキーフレームとＷＺフレームに分けられて動画像符号化装置１００に入力され、それぞれの符号化が行われる。キーフレームとＷＺフレームの符号化を並列的に実行しても良く、時間順次に実行しても良いが、以下では、キーフレームとＷＺフレームを交互に符号化する場合を例に説明する。図２は、この場合の処理の流れを示すフローチャートである。図２は、新たなキーフレーム画像が動画像符号化装置１００に入力されたときからの処理を示している。

まず、キーフレーム符号化部１０１において、キーフレーム画像を符号化する（ステップＳ１０１）。この符号化方法として、ＪＰＥＧ、ＭＰＥＧなど任意の符号化方法を適用できる。

キーフレーム符号化部１０１の符号化で得られた符号化データは、サイドインフォメーション生成部１０３へ与えられると共に復号装置側へ送信される（ステップＳ１０２）。

サイドインフォメーション生成部１０３は、キーフレーム符号化部１０１から与えられたキーフレームの符号化データを局部復号してキーフレームに戻し、予め、定められている時間関係のキーフレームの局部復号データを適用して、符号化対象のＷＺフレームについての予測画像を生成し、生成されたＷＺフレームの予測画像を変換係数領域に変換した後、周波数領域の成分毎に量子化し、その量子化値をビット列コードに変換した後、同一ビット位置毎のビットを集めたビットプレーンへ分割する（ステップＳ１０３）。予測画像の生成方法としては、複数のキーフレームの局部復号データを適用し、時間関係を考慮して内挿又は外挿するなど、任意の方法を適用できる。なお、ＷＺフレームの予測画像の生成に、動き推定や動き補償などの手法を適用しても良いが、ＤＶＣ方式は、演算量の少ない符号化方式という特長を有しているので、予測画像の生成に簡易な方法を適用することが好ましい。また、上記では、ＷＺフレームの予測画像の生成に、キーフレームの局部復号データを適用するように説明したが、予測画像の生成に用いる一部又は全てのキーフレームのデータが、動画像符号化装置１００に入力されたキーフレームのデータそのものであっても良い。

キーフレーム画像の次のＷＺフレーム画像が動画像符号化装置１００に入力されると、変換・量子化部１０４は、ＷＺフレーム画像を変換係数領域に変換した後、周波数領域における成分毎に量子化し、その量子化値をビット列コードに変換した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割し、符号量制御部１０９及びＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ入力する（ステップＳ１０４）。

これ以降、分割されたビットプレーン単位での処理が実施される（ステップＳ１０５〜Ｓ１１０）。

新たなビットプレーンが処理対象のビットプレーンになると、処理対象のビットプレーンが最上位ビットプレーンか否か判断される（ステップＳ１０５）。

処理対象のビットプレーンが最上位ビットプレーン以外であると、サイドインフォメーション更新部１０５は、処理対象のビットプレーンのサイドインフォメーションを見直し、適宜更新する（ステップＳ１０６）。この更新方法については、後述する。

処理対象のビットプレーンが最上位ビットプレーンであると判断された場合、若しくは、処理対象のビットプレーンが最上位ビットプレーン以外であってサイドインフォメーションの見直し、更新が実行された場合には、予測誤り箇所特定部１０６は、ビットプレーン毎のサイドインフォメーションの予測誤り箇所を特定すると共に誤り数を計数する（ステップＳ１０７）。予測誤り箇所特定部１０６が予測誤り箇所を特定するサイドインフォメーションは、処理対象のビットプレーンが最上位ビットプレーンの場合には、サイドインフォメーション更新部１０５によって見直し、更新処理がなされないため、サイドインフォメーション生成部１０３の出力であり、処理対象のビットプレーンが最上位ビットプレーン以外のビットプレーンである場合（上位側から数えて２ビット目以降のビットプレーン）は、サイドインフォメーション更新部１０５の出力である。以下では、上位側から数えてＸビット目のビットプレーンを「Ｘビットプレーン目」と呼ぶこととする。

予測誤り箇所特定部１０６は、例えば、サイドインフォメーション生成部１０３若しくはサイドインフォメーション更新部１０５から出力されたＷＺフレームの予測画像についてのビットプレーンを、変換・量子化部１０４から出力されたＷＺフレームの原画像についてのビットプレーンと照合し、両ビットプレーンで値が異なる箇所を予測誤り箇所とし、予測誤り箇所の数を誤り数として計数する。

次に、符号量割当部１０７は、ＷＺフレームの原画像についてのビットプレーンに対する、ＷＺフレームの予測画像についてのビットプレーンの精度を反映させた、必要な符号量を割当て、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ出力する（ステップＳ１０８）。符号量割当部１０７は、例えば、予測誤り箇所特定部１０６で求められた誤り数からエントロピーを求め、求められたエントロピーに見合ったビット数を必要な符号量として割り当てる。ここで、エントロピーを計算するとその結果は何ビット（小数のこともあり得る）という形で得られ、この数より大きいこの数に近い量子化値のビット数を必要な符号量として割り当てる。また例えば、誤り数を符号量に変換する変換テーブルを、ビットプレーンの桁毎に用意しておき、符号量を得るようにしても良い。

必要な符号量が割り当てられると、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０は、変換・量子化部１０４からの出力（処理対象のビットプレーン）に対して符号化を行い、符号量割当部１０７で割り当てられた符号量分の誤り訂正符号を復号装置側へ送信する（ステップＳ１０９）。例えば、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０がターボ符号化部で構成されており、パリティビットがＬＤＰＣ符号で構成されていた場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０は、符号量（ビット数）分のシンドロームビットを送信することとなる。

Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０が誤り訂正符号を送信すると、今まで（直近）の処理対象のビットプレーンが最下位ビットプレーンであるか否かを判別し（ステップＳ１１０）、最下位ビットプレーンでなければ上述したステップＳ１０５に戻り、最下位ビットプレーンであれば、図２に示す一連の処理を終了する。

図２は、キーフレームとＷＺフレームを交互に符号化する場合の例を示しているが、キーフレームの後に、２つのＷＺフレームを順次符号化する場合であれば、前のＷＺフレームの処理が終了したときには（ステップＳ１１０でＹｅｓ）、ステップＳ１０３に戻り、後のＷＺフレームの予測画像の生成などに移行することになり、この後のＷＺフレームの処理が終わったステップＳ１１０の判断でＹｅｓとなったときに一連の処理を終了することとなる。キーフレーム間のＷＺフレームの数が３以上の場合も、同様な処理の流れとなる。逆に、複数のキーフレームを連続させた後に、１つのＷＺフレームを入力させるものであっても良く、この場合には、各キーフレームについてステップＳ１０１及びＳ１０２を繰り返した後に、ＷＺフレームの処理に移行することとなる。

次に、サイドインフォメーション更新部１０５が実行するサイドインフォメーションの見直し、更新方法について説明する。

処理対象のビットプレーンが２ビットプレーン目以降の場合は、それまでに処理された上位のビットプレーン（例えば、処理対象のビットプレーンが２ビットプレーン目の場合は、１ビットプレーン目（最上位ビットプレーン））の処理結果を用いる。具体的には、それまでに処理されたいずれかの上位のビットプレーンに対して、予測誤り箇所特定部１０６で予測誤り箇所だと判定された場合は、処理対象のビットプレーンの該当箇所のビットを見直す。なお、この見直しによって、該当箇所のビットが更新されることもあれば、更新されずに同じ論理値を継続することもある。

例えば、量子化値が３ビットコードに変換される場合において、最上位のビットプレーンについて予測誤り箇所と判定された場合には、その箇所について、２ビットプレーン目及び最下位ビットプレーン（３ビットプレーン目）が処理対象となったときに共に、見直しが実行される。すなわち、最上位のビットプレーンについて予測誤り箇所と判定され、２ビットプレーン目について予測誤り箇所と判定されない場合であっても、最下位ビットプレーン（３ビットプレーン目）が処理対象となったときに、最上位のビットプレーンについて予測誤り箇所と判定された箇所について見直しが実行される。また例えば、最上位のビットプレーンについて予測誤り箇所と判定されていないが、２ビットプレーン目について予測誤り箇所と判定された場合には、その箇所について、最下位ビットプレーン（３ビットプレーン目）が処理対象となったときに見直しが実行される。

サイドインフォメーション更新部１０５は、見直しを実行する箇所の情報を記憶する記憶部を内蔵していることになり、実行する箇所として一旦記憶されると、処理対象のＷＺフレームが次のＷＺフレームに変更されるまで、その記憶は維持されるようになっている。

更新ルールは、予測誤り箇所特定部１０６でビットプレーンにおける予測誤り箇所（予測誤り成分）と判定された成分が、ＤＣ成分（周波数変換した場合の直流成分）であるか、ＡＣ成分（周波数変換した場合の交流成分）であるかで異なっている。

ＤＣ成分についての更新ルールは、「ＤＣ成分≒画素値なので、予測画像が誤っていたとしても、その近辺に正解がある可能性が高い」という考え方に基づいている。ＤＣ成分についての更新ルールは、元のサイドインフォメーション（元の量子化値）に近付けるように更新するというものである。

図３及び図４はそれぞれ、ＤＣ成分についての更新ルールの説明図である。図３及び図４は、サイドインフォメーション生成部１０３が、生成されたＷＺフレームの予測画像を変換係数領域（周波数領域）に変換し、周波数領域の成分毎に量子化し、その量子化値を３ビットコードに変換する場合を示している。ＤＣ成分の３ビットコードは、図３及び図４に示すように、最上位ビット、２ビット目及び最下位ビットからなる。ＤＣ成分の最上位ビットが各ＡＣ成分の最上位ビットと共に最上位ビットプレーンを構成し、ＤＣ成分の２ビット目が各ＡＣ成分の２ビット目と共に２ビット目ビットプレーンを構成し、ＤＣ成分の最下位ビットが各ＡＣ成分の最下位ビットと共に最下位ビットプレーンを構成する。

サイドインフォメーション生成部１０３が得たＤＣ成分の量子化値「−２」を変換して得た３ビットコード（更新前のサイドインフォメーション）が図３に示すように「００１」であったとする。予測誤り箇所特定部１０６が、変換・量子化部１０４からの出力に基づいて、図３に示すように、ＷＺフレームの原信号から得たＤＣ成分の最上位ビットが「１」であり、更新前のサイドインフォメーションの最上位ビット「０」が誤りであると推測したとする。そのため、サイドインフォメーション更新部１０５は、２ビットプレーン目や最下位ビットプレーンが処理対象のビットプレーンとなったときに、ＤＣ成分を見直す。最上位ビットが「１」である３ビットコードの中で、サイドインフォメーション生成部１０３からの「００１」（＝「−２」）に最も近いコードは「１１１」（＝「１」）である。サイドインフォメーション更新部１０５は、２ビットプレーン目が処理対象のビットプレーンとなったときには、ＤＣ成分の２ビット目を「０」から「１」へ更新し、最下位ビットプレーンが処理対象のビットプレーンとなったときには、見直すが、ＤＣ成分の最下位ビットの「１」を維持する。

なお、２ビットプレーン目が処理対象のビットプレーンとなったときには、最下位ビットプレーン（３ビットプレーン目）のビットの値は分からないが、元のサイドインフォメーション（元の量子化値）に近付けるように２ビット目を更新することとなる。

ここで、サイドインフォメーションの誤りであると推測された最上位ビット「０」は更新されない。当該Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２では、ＷＺフレーム画像からの情報との比較で、推測誤りを捉えている。一方、図示しないＷｙｎｅｒ−Ｚｉｖフレーム復号部では、例えば、訂正前の情報（復号部で形成したサイドインフォメーション）と訂正後の情報とで誤りがあったか否か判別することができる。すなわち、復号部では、推測誤りの最上位ビットの「０」が「１」に訂正されると捉えて良い。そのため、当該Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０２においても、推測誤りの最上位ビットが「０」から「１」に訂正されたとして、２ビット目以降のサイドインフォメーションを、元のサイドインフォメーション（元の量子化値）に近付けるように更新する。図３は、このような考え方に従い、訂正されたと仮定した最上位ビット「１」を適用し、２ビット目以降の更新値を示している。

また、サイドインフォメーション生成部１０３が得たＤＣ成分の量子化値「−２」を変換して得た３ビットコード（更新前のサイドインフォメーション）が図４に示すように「００１」であったとする。予測誤り箇所特定部１０６が、変換・量子化部１０４からの出力に基づいて、図４に示すように、ＷＺフレームの原信号から得たＤＣ成分の２ビット目が「１」であり、更新前のサイドインフォメーションの２ビット目「０」が誤りであると推測したとする（但し、最上位ビットの一致は確認済）。そのため、サイドインフォメーション更新部１０５は、最下位ビットプレーンが処理対象のビットプレーンとなったときに、ＤＣ成分を見直す。上位２ビットが「０１」である３ビットコードの中で、サイドインフォメーション生成部１０３からの「００１」（＝「−２」）に最も近いコードは「０１０」（＝「−１」）である。サイドインフォメーション更新部１０５は、最下位ビットプレーンが処理対象のビットプレーンとなったときには、ＤＣ成分の最下位ビットを「１」から「０」へ更新する。

ＡＣ成分についての更新ルールは、「ＡＣ成分は、０（中央値）中心に信号値が分布しているので、サイドインフォメーションの更新は量子化値を「０」に近付けるようにした方が、正しい可能性が高い」という考え方に基づいている。すなわち、ＡＣ成分についての更新ルールは、量子化値を「０」に近付けるように更新するというものである。

図５は、ＡＣ成分についての更新ルールの説明図である。図５も、サイドインフォメーション生成部１０３が、生成されたＷＺフレームの予測画像を変換係数領域（周波数領域）に変換し、周波数領域の成分毎に量子化し、その量子化値をビット列表記に変換した場合において、量子化値を３ビットコードに変換する場合を示している。

サイドインフォメーション生成部１０３が得たＡＣ成分の量子化値「４」を変換して得た３ビットコード（更新前のサイドインフォメーション）が図５に示すように「１００」であったとする。予測誤り箇所特定部１０６が、変換・量子化部１０４からの出力に基づいて、図５に示すように、ＷＺフレームの原信号から得たＡＣ成分の２ビット目が「１」であり、更新前のサイドインフォメーションの２ビット目「０」が誤りであると推測したとする（但し、最上位ビットの一致は確認済）。そのため、サイドインフォメーション更新部１０５は、最下位ビットプレーンが処理対象のビットプレーンとなったときに、ＡＣ成分を見直す。上位２ビットが「１１」である３ビットコードの中で、量子化値が「０」に最も近いコードは「１１１」（＝「１」）である。サイドインフォメーション更新部１０５は、最下位ビットプレーンが処理対象のビットプレーンとなったときには、ＡＣ成分の最下位ビットを「０」から「１」へ更新する。

図３〜図５はそれぞれ、見方を変えれば、量子化値「−３」〜「４」を３ビットコード「０００」〜「１００」へ変換する対応表（以下、マッピングテーブルと呼ぶ）をも表している。この実施形態の場合、新規なマッピングテーブルを適用している。なお、既存のマッピングテーブルとしては、量子化値の最小値にオール０を割当ると共に、最大値にオール１を割当て、その間の量子化値については１大きくなる毎に２進数で次の値になるようなマッピングテーブルや、量子化値が１違うといずれかの１つの桁のビット値だけを変化させるマッピングテーブル（いわゆるグレイコード）などがある。

この実施形態のマッピングテーブルは、量子化値が「０」に近いほど３ビットコードにおいて「１」をとるビットが多くなり、かつ、「１」をとるビットの数が同じ場合には「０」に近い量子化値ほど上位桁のビットが「１」をとるようなマッピングテーブルとなっている。なお、図６は、実施形態の考え方に従っている、量子化値を４ビットコードに変換するとした場合のマッピングテーブルを示す説明図である。図３及び図６から明らかなように、量子化値を３ビットコードや４ビットコードに変換する場合に、上述した考え方に従ったマッピングテーブルを構成でき、図示は省略するが、量子化値を５ビット以上のコードに変換する場合にも、上述した考え方に従ったマッピングテーブルを構成することができる。

このようなマッピングテーブルは、「量子化値を「０」に近付けるように更新する」というサイドインフォメーションのＡＣ成分についての更新ルールを考慮したものである。因みに、ＷＺフレームの予測画像や原画像を変換係数領域に変換すると、ＤＣ成分は１つである一方、ＡＣ成分は多数存在するので、ＡＣ成分についての更新ルールを考慮することは重要である。

図７（Ａ）及び（Ｂ）は、この実施形態のマッピングテーブルを適用することによる効果の説明図である。

図７（Ａ）は、最初に生成したＡＣ成分のサイドインフォメーションが量子化値「−２」（３ビットコード「００１」）である場合を示しており、最上位ビットが本来「１」であることを予測誤り箇所特定部１０６が検出したとする。この場合、最上位ビットが「１」である中で量子化値が最も０に近い値に更新する必要がある。最上位ビットが「１」である中で量子化値が最も０に近い３ビットコードは「１１１」である。すなわち、誤りが判明した最上位ビット以外のビットは全て「１」にすれば良い。図７（Ｂ）は、最初に生成したＡＣ成分のサイドインフォメーションが量子化値「４」（３ビットコード「１００」）である場合を示しており、最上位ビットが本来「０」であることを予測誤り箇所特定部１０６が検出したとする。この場合、最上位ビットが「０」である中で量子化値が最も０に近い値に更新する必要がある。最上位ビットが「０」である中で量子化値が最も０に近い３ビットコードは「０１１」である。すなわち、誤りが判明した最上位ビット以外のビットは全て「１」にすれば良い。仮に、最上位ビットより下位桁のビットで誤りが初めて判明した場合も、サイドインフォメーションの更新では、誤りが判明した桁より下位のビットの値を全て「１」にすれば良い。

上述のようにマッピングテーブルを構成することにより、上位ビットのサイドインフォメーションに予測誤りがあった場合には、それより下位のビット全てを一律に「１」に更新すれば良く、下位ビットの更新処理が容易になる。

なお、図３〜図５、図７に示したマッピングテーブルに代え、そのマッピングテーブルにおける最上位ビットの「１」及び「０」だけをそれぞれ、逆の論理値「０」、「１」に置き換えたマッピングテーブルを適用しても良く、この場合には、上位ビットのサイドインフォメーションに予測誤りがあった場合には、それより下位のビット全てを一律に「１」に更新すれば良く、この場合も、下位ビットの更新処理が容易になるという効果が得られる。

また、図３〜図５、図７に示したマッピングテーブルに代え、そのマッピングテーブルにおける「１」及び「０」をそれぞれ、「０」、「１」に置き換えたマッピングテーブルを適用しても良く、この場合には、上位ビットのサイドインフォメーションに予測誤りがあった場合には、それより下位のビット全てを一律に「０」に更新すれば良く、この場合も、下位ビットの更新処理が容易になるという効果が得られる。

（Ａ−３）実施形態の効果
上記実施形態によれば、量子化値をビット列に正しく変換できる、仮に誤りが生じてもその影響を最小限に留めることができる整数／ビット列変換装置を実現できる。

このような整数／ビット列変換装置を適用していることも相俟って、実施形態の動画像符号化装置や符号量制御装置は、以下のような効果を奏する。

実施形態の装置によれば、サイドインフォメーション更新部１０５を設けて、サイドインフォメーション生成部１０３において形成されたサイドインフォメーションを、ＷＺフレームの予測画像と原画像との一致不一致に応じて更新し、更新後のサイドインフォメーションを適用して、復号器側に与える誤り訂正符号の符号量を定めるようにしたので、復号器側に与える誤り訂正符号の符号量が過剰となることを防止できる。すなわち、圧縮率を高めることができる。

ここで、サイドインフォメーション更新部１０５による処理は、ＤＣ成分であれば、元の量子化値に近付くように更新し、ＡＣ成分であれば、量子化値が０に近付くように更新するという簡単な処理であり、ソフトウェアで実現すればステップ数を少なく抑えることができ、ハードウェアで実現すれば規模を抑えることができる。特に、実施形態のようなマッピングテーブルを適用した場合・BR>ノは、かかる処理の容易化の効果は大きい。

サイドインフォメーション更新部１０５の更新を考慮すると、ＷＺフレームの予測画像に対する要求精度はシビアではなく、ＷＺフレームの予測画像の生成に、動き探索、動き補償など処理量の多い仕組みを適用しないようにすることもできる。

（Ｂ）他の実施形態
上記実施形態の動画像符号化装置から、対向する動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。

また、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化の具体例として、Ｔｕｒｂｏ符号、ＬＤＰＣ符号を用いて説明したが、他の誤り訂正符号を用いても良いことは勿論である。

さらに、上記実施形態では、ＷＺフレームの予測画像や原画像に対して変換係数領域（周波数領域）に変換して処理するものを示したが、周波数領域に変換することなく、画素領域のまま処理する場合にも、本発明の技術思想を適用することができる。例えば、画素値を量子化した後、所定のビット列コードに変換し、ビットプレーンを構成して処理する。この場合におけるサイドインフォメーション更新部の更新ルールとしては、例えば、「予測画像が誤っていたとしても、その近辺に正解がある可能性が高い」という考え方に基づき、元のサイドインフォメーション（元の量子化値）に近付けるように更新するというものを適用できる。

１００…動画像符号化装置、
１０１…キーフレーム符号化部、
１０２…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、
１０３…サイドインフォメーション生成部、
１０４…変換・量子化部１０４、
１０９…符号量制御部、
１０５…サイドインフォメーション更新部、
１０６…予測誤り箇所特定部、
１０７…符号量割当部、
１１０…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部。

Claims (1)

1. フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化手段と、上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を生成した後、予測画像を所定のデータ形式に従う複数ビットでなる第１のデータに変換する第１の変換手段と、上記非キーフレームを上記所定のデータ形式に従う複数ビットでなる第２のデータに変換する第２の変換手段と、上記非キーフレームの原画像について、与えられた符号量の誤り訂正符号の情報を得て出力するＳｌｅｐｉａｎ−Ｗｏｌｆ符号化手段と、上記非キーフレームの予測画像に係る上記第１のデータと上記非キーフレームの原画像に係る上記第２のデータとから上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化手段に与える符号量を決定する符号量決定手段とを有する動画像符号化装置において、
   「０」を中心として正負に亘っている範囲内の整数の変換対象値があり、当該変換対象値が「０」に近いほどビット値「１」(又は「０」)をとるビットが多くなり、かつ、ビット値「１」(又は「０」)をとるビットの数が同じ場合には「０」に近い変換対象値ほど上位桁のビットがビット値「１」(又は「０」)をとるように、変換対象値を複数ビットのコードに変換する整数／ビット列変換部とを有し、
   上記符号量決定手段は、
   上記第１のデータと上記第２のデータとが異なる領域箇所を特定する予測誤り箇所特定部と、
   特定された箇所の情報に基づいて、上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化手段に与える符号量を決定する符号量割当部と、
   上記第１のデータと上記第２のデータとが異なる領域箇所について、異なる桁より下位桁の上記第１のデータにおけるビットを見直して更新し、上記予測誤り箇所特定部の特定処理に委ねる第１データ更新部とを有し、
   上記第１のデータは、上記非キーフレームの予測画像を周波数領域に変換し、各周波数成分をそれぞれ量子化し、量子化値を複数ビットのコードに変換したデータであり、
   上記第２のデータは、上記非キーフレームの原画像を周波数領域に変換し、各周波数成分をそれぞれ量子化し、量子化値を複数ビットのコードに変換したデータであり、
   上記第１の変換手段は、上記整数／ビット列変換部を用いて、上記非キーフレームの予測画像を周波数領域に変換し、各周波数成分をそれぞれ量子化した、変換対象値である量子化値を複数ビットのコードである上記第１のデータに変換するものであり、
   上記第２の変換手段は、上記整数／ビット列変換部を用いて上記非キーフレームの原画像を周波数領域に変換し、各周波数成分をそれぞれ量子化した変換対象値である量子化値を複数ビットのコードである上記第２のデータに変換するものであって、
   上記第１データ更新部は、上記第１のデータの直流成分については、上記第２のデータと異なるビットの中で最も上位のビットより下位のビットについては、更新後の第１のデータが、更新前の第１のデータに最も近付いた量子化値となるように更新すると共に、上記第１のデータの交流成分については、少なくとも、上記第２のデータと異なるビットの中で最も上位のビットより下位のビットについては、更新後の第１のデータが表す量子化値が、量子化値０に最も近付くように更新する
   ことを特徴とする動画像符号化装置。

Images