JP5939884B2 - 誤り訂正符号化装置 - Google Patents

Description

この発明は、テレビ映像や家庭用ビデオカメラ等で撮像した動画像データをインターネットや衛星回線などの通信路を利用して伝送する際に、通信路でビット誤りやデータの欠落などのエラーが発生した場合でも、受信側で高品質な画像が再生できるように、効率良く誤り訂正情報を付加する誤り訂正符号化装置に関するものである。

動画像の圧縮には、Ｈ．２６４やＭＰＥＧ−２などの国際標準方式が存在する。これらの方式では、圧縮率を高める手段として動き補償予測が用いられており、動画像を構成する各ピクチャの符号化時に、過去や未来のピクチャから画像の動きに基づいて生成した予測画像との差分をとることで高い圧縮率を実現している。

一方、圧縮された画像データは通信路で発生するエラーに弱い性質がある。例えば、画像データのある箇所にビット誤りやデータ欠落などのエラーが生じると、受信機ではエラー箇所のピクチャを正常に復号できなくなり、再生画像の画質が乱れたり、ピクチャ全体が欠落するなどの問題が生じる。しかも、その影響は１ピクチャに留まらず、当該ピクチャを参照して動き補償予測を行っているピクチャでも復号ができなかったり画像が乱れたりするといった影響を受け、さらにはその後続ピクチャにまで被害が伝播してしまう。

動き補償予測によりエラーの伝播を断ち切るための対策として、実際の画像伝送システムでは動き補償予測を用いず圧縮するピクチャを定期的に挿入することが多い。Ｈ．２６４やＭＰＥＧ−２では動き補償予測を用いて圧縮するピクチャか否かを表す情報として、ピクチャタイプやスライスタイプといった符号化パラメータが定義されており、動き補償予測を用いないピクチャはＩピクチャと呼ばれる。一方、動き補償予測を用いるピクチャはＰピクチャやＢピクチャと呼ばれる。多くの画像伝送システムでは、０．５〜１秒程度の周期でＩピクチャを挿入するようになっており、あるピクチャでエラーが発生し、画質が乱れるなどの問題が生じた場合でも、次のＩピクチャを復号した時点で正常な再生画像に戻すことができる。なお、動画像シーケンスにおいてＩピクチャから始まるピクチャ群をＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼び、ＧＯＰ構造を利用して符号化することで、エラーの影響範囲をＧＯＰ内に閉じ込めることができる。

ただし、ＧＯＰ構造はエラーの伝播を防ぐために有効であっても、エラーを防ぐ手段ではないため、ＧＯＰ内ではエラーの影響を受ける。エラーによる被害の大きさは、後続ピクチャの動き補償予測でエラー箇所を直接または間接的に参照する頻度によって異なる。例えば、ＧＯＰ先頭のＩピクチャでエラーが発生した場合、多くのケースではＩピクチャを基点として複数のピクチャに渡って動き補償予測が行われているため、被害の範囲は複数のピクチャに及ぶが、他のピクチャから参照されないようなピクチャでエラーが発生した場合は被害の範囲は１ピクチャに留まる。また、エラー箇所の画像が重要な情報を含んでいるか否かによっても被害の大きさが異なる。

エラーの影響を防ぐ手段としては、誤り訂正符号を利用することも有効であり、画像伝送システムでのエラー対策の１つとしてリードソロモン符号や連接符号などが古くから用いられている。ただし、誤り訂正符号を用いる場合、当該符号に相当するデータ量が増えるため、相対的に画像に割り当てるデータ量を低く抑える必要がある。画像のデータ量を抑えるために圧縮率を上げたり、フレームレート（単位時間あたりのピクチャ枚数）を低下させたりした場合には画質の低下が生じる。

そこで、誤り訂正符号を効率よく利用する方法として、例えば、特許文献１に記載された符号化装置では圧縮された画像データをパケット化して伝送する際に、画像パケットの欠落等によって復号画像が受ける影響度に応じて誤り訂正符号の生成方式や挿入周期を変化させるようにしている。この文献によれば、画像データに対して誤り訂正符号を均一に付加するのではなく、Ｉピクチャやヘッダといったエラー発生時の影響が大きいデータを優先的に保護するため、少ない誤り訂正符号で精度良い誤り訂正を実現することができる。

また、これ以外にも、動画像のフレームが損失した場合の画質への影響として、損失があった場合に受信機で再生される画像と損失時の画像との平均二乗誤差を計算し、当該計算結果に基づいて誤り訂正符号を付加する方法があった（例えば、特許文献２参照）。この文献によれば、画質面での重要度が考慮され、ピクチャタイプやデータの種別が同一であっても、重要度に応じて誤り訂正符号が変更されるため、特許文献１の構成よりも冗長度の少ない誤り訂正符号を生成することができる。

特開２００９−１２４３５４号公報 特開２００９−２１２８４２号公報

しかしながら、特許文献１では、影響度の高いものとしてＩピクチャやヘッダを挙げているのみであり、画像がどれだけ重要かといった要素を考慮していないため、例えばＩピクチャ内で画像の前景部分と背景部分とでデータの重要度が異なっているような場合でも、Ｉピクチャに対して均一な誤り訂正符号を付与してしまい、冗長性が残ってしまうという問題点を有していた。

また、特許文献２に示されたような誤り訂正符号を付加する方法においても、平均二乗誤差のようなパラメータは圧縮された画像データからは求めることはできず、一旦復号するか、あるいは画像符号化の段階であらかじめ当該パラメータを算出する必要があるため、装置を実現する場合に実装難易度や処理量の増加、部品点数の増加などを招くという問題点を有していた。

この発明は上記のような課題を解決するためになされたもので、符号生成において複雑な処理や部品を必要とせず、高効率な誤り訂正符号化装置を得ることを目的とする。

この発明に係る誤り訂正符号化装置は、ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、動画像の符号化データにおける所定期間のビットストリームのビット構成比率を測定するビット構成比率測定部と、ビット構成比率に基づいて求めた特定のピクチャタイプのビットの偏り度合からピクチャタイプの重要度を決定し、ピクチャタイプの重要度に応じてパケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えたものである。

この発明の誤り訂正符号化装置は、特定のピクチャタイプのビットの偏り度合に応じて誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定するようにしたので、符号生成において複雑な処理や部品を必要とせず、かつ、効率の高い誤り訂正符号の生成を行うことができる。

この発明の実施の形態１による誤り訂正符号化装置を示す構成図である。 この発明の実施の形態１の誤り訂正符号化装置におけるビットストリーム中のビット構成比率を示す説明図である。 この発明の実施の形態１の誤り訂正符号化装置における重要度から誤り訂正符号の生成方法を決定するための動作を示すフローチャートである。 この発明の実施の形態１の誤り訂正符号化装置における送信バッファの待ち時間から誤り訂正符号の生成方法を決定するための動作を示すフローチャートである。 この発明の実施の形態１の誤り訂正符号化装置における誤り訂正符号用パケットの構成を示す説明図である。 この発明の実施の形態１の誤り訂正符号化装置における誤り訂正符号用パケットに置換可能なフィラーデータやＮＵＬＬパケットを示す説明図である。 この発明の実施の形態１による誤り訂正符号化装置と対となる誤り訂正復号装置を示す構成図である。 この発明の実施の形態２による誤り訂正符号化装置を示す構成図である。

実施の形態１．
図１は、この発明の実施の形態１による誤り訂正符号化装置を示す構成図である。
図において、誤り訂正符号化装置は、画像符号化部１、ストリーム解析部２、ビット構成比率測定部３、送信バッファ４、待ち時間算出部５、誤り訂正方法決定部６、誤り訂正符号生成部７、誤り訂正符号多重部８で構成される。

画像符号化部１は、入力画像（動画像）に対して圧縮符号化を行い、圧縮された画像データ（以下、ビットストリームという）を生成する処理部である。ストリーム解析部２は、画像符号化部１で生成されたビットストリームに基づいて、各パケットの種別を解析する処理部である。ビット構成比率測定部３は、ストリーム解析部２における種別解析結果に基づいて、ビットストリームのビット構成比率を測定する処理部である。送信バッファ４は、ビットストリームを送信する前に一時的に保管するためのデータ蓄積部である。待ち時間算出部５は、送信バッファ４に蓄積されているデータの送出までの待ち時間を算出する演算部である。誤り訂正方法決定部６は、ビット構成比率測定部３で取得したビット構成情報と待ち時間算出部５で算出した待ち時間の情報のうち少なくとも一方を用いて誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する機能を有している。誤り訂正符号生成部７は、誤り訂正方法決定部６で決定された誤り訂正符号化方法で、送信バッファ４に蓄積されている画像パケットに対する誤り訂正符号化を行う処理部である。誤り訂正符号多重部８は、送信バッファ４から取り出された画像パケットと誤り訂正符号生成部７で生成された誤り訂正符号化された誤り訂正符号化用パケットを多重し、ビットストリームとして送出する処理部である。

次に、実施の形態１の誤り訂正符号化装置の動作について説明する。
画像符号化部１では、入力された動画像をＨ．２６４やＭＰＥＧ−２などの方式に基づいて圧縮し、ビットストリームを生成する。当該ビットストリームはＭＰＥＧ−２システム規格（ＩＴＵ−Ｔ Ｈ．２２２）などに基づいて構成され、データはパケット単位で細分化されているものとする。なお、ビットストリームは画像データのみで構成されているとは限らず、ＭＰＥＧ−２システム規格で規定されているＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）などの制御情報を含み、画像符号化部１の仕様によっては音声や補助データなどの画像以外のデータも多重されている場合がある。画像符号化部１で生成したビットストリームは装置外部へ出力される前に送信バッファ４に蓄積される。送信バッファ４は、画像符号化部１からのビットストリームの生成速度と通信路の伝送速度との差を吸収するために設けられており、ビットストリームの生成速度は通常は各ピクチャのピクチャタイプ等によって可変となるため、一旦送信バッファ４に蓄積し、送信バッファ４からは通信路の伝送レートに合わせてデータを引き抜くといった構成を用いている。

ストリーム解析部２は、画像符号化部１で生成されたビットストリームを入力し、ビットストリームを構成する各パケットについてその種別情報を出力する。ＭＰＥＧ−２システム規格に準拠したビットストリームの場合、各パケットにはＩＤ（以下、ＰＩＤという）が付与されており、ＰＩＤによってパケットの種別を識別することができる。ストリーム解析部２ではＰＩＤにより画像パケット、ＮＵＬＬパケット、その他のパケットを分類する。画像パケットの場合はさらにパケットの中のペイロード部分を参照することでピクチャタイプを識別する。ピクチャタイプの識別は、例えばＨ．２６４規格に準拠したビットストリームの場合、ほとんどのビットストリームではＡｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒと呼ばれる情報が含まれており、その中にピクチャタイプの情報が存在する。Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒのデータの先頭４バイトは必ず「００」「００」「０１」「０９」の列となり、当該４バイトに続く１バイトの上位３ビットでピクチャタイプを定義する。ストリーム解析部２では、当該３ビットが０または５であれば、それ以降はＩピクチャ、１または６であればＰピクチャ、２または７であればＢピクチャであると判断する。また、「００」「００」「０１」「０Ｂ」の列が検出された場合は、それ以降で次に「００」「００」「０１」の３バイト列が検出されるまでの間はフィラーデータであると判断できる。フィラーデータはビットストリームの出力速度を固定ビットレート化するために、データ量をかさ上げする目的で挿入される冗長データであり、これがなくても復号処理には影響しない。

同時にストリーム解析部２では、可能であれば「００」「００」「０１」「ＸＹ」（ＸＹの下位５ビットが１または５）の列として識別されるスライスヘッダの検出も行う。スライスヘッダはピクチャを１つ以上のスライスとして符号化するときに、各スライスの先頭に付加される制御情報である。

以上は、Ｈ．２６４のビットストリームに対するストリーム解析部２の動作を示したが、Ｈ．２６４以外の方式であっても検出方法はほとんど類似となる。例えば、ＭＰＥＧ−２の場合、ピクチャタイプは４バイトコード：「００」「００」「０１」「００」に続く１バイトに含まれるＰｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅによって識別可能である。また、Ｈ．２６４のフィラーと同様の目的で挿入されるスタッフィングデータは、「００」「００」「０１」「Ｂ３」または「００」「００」「０１」「Ｂ８」または「００」「００」「０１」「００」の各コードに先立って挿入される１バイト以上の「００」のバイトデータとして検出可能である。スライスヘッダの先頭は「００」「００」「０１」「ＸＹ」（ＸＹ＝０１〜ＡＦ（１６進数））で識別できる。

ビット構成比率測定部３は、ストリーム解析部２から出力される識別情報に基づいてビットストリームの所定期間内でのビット構成比率を測定する。ビット構成比率とは図２のようなものであり、ビットストリーム中の各ピクチャタイプのデータ量（Ｉピクチャ２１、Ｐピクチャ２２、Ｂピクチャ２３）、ＮＵＬＬパケット、フィラー、スタッフィングのデータ量（その他２４）をカウントし、各種別のデータ量がどの程度の比率で存在するかを測定する。なお、フィラーとスタッフィングを含む画像データとＮＵＬＬパケット以外は測定対象とする必要はない。所定期間としては、例えばＧＯＰを当該期間とする方法や、動画像のＮフレーム（Ｎは１以上の整数）を１つの単位とする方法、０．５秒や１秒といった絶対時間を用いる方法などが挙げられるが、測定期間をどのように定義するかは大きな問題ではないため、以下ではＧＯＰ単位でビット構成比率を測定する場合について説明する。また、ストリーム解析部２でスライスヘッダの識別を実施する場合には、所定期間内のデータ構成比率とは別に、ピクチャ内の各スライスへのビット割り当て比率も算出する。

誤り訂正方法決定部６では、ビット構成比率測定部３にて測定したビット構成情報に基づいて誤り訂正符号の生成方法や挿入周期を決定する。一般に画像符号化では重要なデータほど多くのビットを割り当てることが多いため、この性質を利用して画像データの重要度を判断する。例えば、図２の（ａ）と（ｂ）を比較すると、（ａ）のほうがＩピクチャ２１に対してビット割り当てが偏っているが、この場合、（ａ）のＩピクチャ２１をより強固に保護すべき対象であると判断する。例えば、一般的には動きの少ない画像ではＩピクチャにビットが偏りやすくなり、動きの多い画像ではＩピクチャへのビット割り当てが少なくなる傾向があるが、動きの少ない画像では、絵柄の変化が少ないため、エラーが発生した場合でもＩピクチャさえ誤り訂正符号で保護しておけば当該Ｉピクチャからエラー発生前の画像を再現することは比較的容易に可能である。一方、動きの多い画像ではピクチャごとに絵柄が大きく変化するため、Ｉピクチャのみを保護しても元の絵柄を再現することは困難であり、このようなケースではＩピクチャの重要度は相対的に低いものと判断できる。以上のように、重要度の判断をビット構成比率から間接的に行うことが本発明の特徴である。

各ピクチャの重要度は特定ピクチャへのデータ量の偏り度合をもとに決定する。例えば以下のようにビットストリーム中でのＩピクチャの占めるデータ量の割合（％）を当該Ｉピクチャの重要度に設定する。
［重要度の算出式］
Ｉピクチャの重要度＝Ｒｉ
Ｒｉ：ビットストリーム中でのＩピクチャの占めるデータ量の割合（０〜１００％）

なお、この例では重要度を０〜１００の範囲で定義しているが、本発明において数値の単位は重要ではなく、特定ピクチャの占めるデータ量の割合の大きさが重要度の数値に反映されたものであれば単位は変化しても構わない。また、Ｒｉを補正したものを重要度としても構わない。

スライスごとのビット割り当て比率を算出している場合には、スライスごとに重要度を補正することでより効率的な誤り訂正符号の条件選択を実現する。画像符号化では重要な情報に多くのデータ量を割り当てる傾向があり、この性質を利用すれば、多くのデータ量が割り当てられたスライスはより重要な情報が含まれていると判断することができる。以下には、スライスごとに重要度を補正するための演算式の例を示す。
［重要度の補正式］
スライスの重要度＝
Ｃｌｉｐ（０，１００，（Ｉピクチャの重要度）＋α×（Ｒｓ−β））
ただし、
Ｒｓ：Ｉピクチャ内での当該スライスの割合（０〜１００％）
α：係数（０〜１の実数）
β：定数（０〜１００の整数）
Ｃｌｉｐ（ａ，ｂ，ｘ）：ｘがａ以下であればａ、ｘがｂ以上であればｂ、その他はｘを出力する関数

算出した重要度に対してどのような誤り訂正方法を用いるか、その一例を図３のフローチャートに示す。この例では、重要度が高くなるほど段階的に強い誤り訂正符号を用いるようになっており（Ｔｈ＿ａ＞Ｔｈ＿ｂ＞Ｔｈ＿ｃ）、重要度が所定の閾値（Ｔｈ＿ｃ）よりも低いデータについては誤り訂正符号を用いないようにしている。なお、本例では重要度を閾値Ｔｈ＿ａ、Ｔｈ＿ｂ、Ｔｈ＿ｃによって４つに区分しているが、区分の仕方としてはこの限りではない。

以上の例では、ビット構成比率測定部３で測定されたビット構成比率に基づいて誤り訂正方法決定部６が誤り訂正方法を決定したが、図２に示すようなピクチャタイプ別の細かいビット構成比率ではなく、例えば総ビット量に対するＩピクチャのビット比率情報といったものであってもよい。すなわち、この場合はビット構成比率測定部３にて全体のデータ量に対するＩピクチャといった特定のピクチャタイプの偏り度合を測定することになる。

また、以上では、Ｉピクチャの重要度について述べたが、ＰピクチャやＢピクチャも同様に算出することができる。ただし、図３のフローチャート上での閾値や最終的に用いる誤り訂正符号条件についてはピクチャタイプごとに個別に定義できるようにしておく。

誤り訂正符号の強度を切り替える方法としては、符号の種類を変更する方法や符号生成処理の単位を変更することが挙げられる。例えば、弱い強度の符号としては単純なリードソロモン符号を用い、強い強度の符号としてはＢＣＨ符号や連接符号、あるいは複数の誤り訂正符号を併用して用いる。符号生成処理の単位の変更とは、具体的には、Ｎパケット（Ｎは１以上の整数）の組で連接符号を生成する場合にＮを変化させることに相当する。また、誤り訂正符号の種類は同一とし、誤り訂正符号の符号長を変化させる方法も有効である。

ビットストリーム中にフィラーデータ、スタッフィングデータ、ＮＵＬＬパケットが含まれている場合、誤り訂正符号多重部８では、それらのデータに置き換える形で誤り訂正符号を付与することで、ビットストリームにより多くの誤り訂正符号を重畳することができる。そのため、フィラー、スタッフィング、ＮＵＬＬパケットの量に応じて、誤り訂正符号の強度を高くしていくような処理も行う。

待ち時間算出部５では、Ｉピクチャなど誤り訂正符号で保護する対象がビットストリームとして装置外部へと出力されるまでに、送信バッファ４内でどれだけの待ち時間が発生するかを算出する。待ち時間の算出式を以下に示す。実効伝送レートとは通信路のデータ伝送速度である。データ伝送の輻輳状態によって伝送速度が時々変化するような通信路では、回線状態と適宜モニタリングし、その時々の伝送速度を反映することが望ましい。
待ち時間＝（既存バッファ蓄積量＋（ピクチャやスライスのビット量））÷（実効伝送レート）

誤り訂正方法決定部６では、待ち時間算出部５が算出した待ち時間によっても誤り訂正符号の生成方法を切り替える。誤り訂正符号の決定および生成は送信バッファ４での待ち時間を利用して実行するものとする。図４に待ち時間と使用する誤り訂正符号の関係を定義するためのフローチャートを示す。この例では、待ち時間の長さに応じて段階的に高強度の誤り訂正符号を用いるようにしたものである（待ち時間の閾値の関係は、Ｔｈ＿ｄ＞Ｔｈ＿ｅ＞Ｔｈ＿ｆ）。また、高強度の誤り訂正符号を生成する方法としては、上述した誤り訂正符号の強度を切り替える方法と同様、誤り訂正符号の種類を変更したり、連接符号の処理の単位を切り替えることが挙げられる。複数の誤り訂正符号や高度な誤り訂正符号を用いたり、連接符号の処理の単位を大きくしたりすると、一般に符号生成に要する処理時間が増加するが、その分の時間は送信バッファ４での待ち時間として確保されることになる。なお、上述のようにビット構成比率によって重要度を決定した場合には、重要度が高いほど送信バッファ４での待ち時間が長くなるため、当該重要度に基づく誤り訂正符号の決定と、待ち時間を利用した誤り訂正符号の決定とは高い親和性が存在する。

高強度の誤り訂正符号を生成する別の方法としては、データの相関性を利用した誤り訂正符号を用いることも可能である。待ち時間が長いことは送信バッファ４により多くのデータが残っていることを表しており、例えば連接符号での処理の単位を増やす場合でも、処理に必要なデータが送信バッファ４に残っている状態となる。例えば、ビットの偏りが大きいＩピクチャが符号化された直後には単にパケットの数が多く残っているだけでなく、Ｈ．２６４規格で規定されているパラメータセットやスライスヘッダなどの制御情報も複数存在する状態となるため、このような場合には単純に連続するパケット間で連接符号を生成するだけでなく、同種のパラメータセット同士、ヘッダ同士で相関性パラメータｐを計算し、当該パラメータｐを誤り訂正符号とともにビットストリームに多重しておくことで、受信機（誤り訂正復号装置）で当該パラメータｐを利用したより高精度の誤り訂正が実現できる。相関性パラメータｐとしては、データ間での相互相関関数の計算結果などを用いる。

相関性を利用した誤り訂正符号を利用する場合、送信バッファ４での待ち時間が長くなるピクチャについては、画像符号化部１で予め多数のスライスに分割して符号化しておくことも有効となる。スライスと同数のスライスヘッダが挿入されることになるため、データ間に相関性が生まれやすくなり、誤り訂正符号の効果を向上させることが可能となる。なお、画像の符号化・復号の過程で行われる各種処理はスライスを単位として実行するものも多いため、ピクチャを複数のスライスに分割することでエラー発生時の影響範囲を狭める効果も得られる。

誤り訂正符号生成部７では、誤り訂正方法決定部６で決定した誤り訂正符号の生成方法に従い、保護の対象とする画像パケットに対する誤り訂正符号を生成する。誤り訂正符号多重部８では、誤り訂正符号生成部７で生成した誤り訂正符号を送信バッファ４から出力されたビットストリームに多重し、装置外部へと出力する。

図５に誤り訂正符号を多重するためのパケットの構成例を示す。誤り訂正符号用のパケットのペイロード部分に画像データの複数のパケットに相当する誤り訂正符号を格納する構成としている。誤り訂正符号の符号長は重要度や送信バッファ４での待ち時間に応じて可変となるため、符号長などの補助情報も格納しておく必要がある。また、当該パケット自体の信頼性を判断するための情報として、当該パケットのパリティ符号も格納しておく。

誤り訂正符号多重部８は、誤り訂正符号の生成方法に応じて誤り訂正符号用のパケットの挿入周期を変化させられる構成とする。強い誤り訂正符号を用いる場合には符号が多くなるため、挿入周期を短くして誤り訂正符号を格納するエリアを多く確保する必要がある。

また、図６のようにビットストリーム中にフィラーデータやスタッフィングデータのみで構成されたパケットや、ＮＵＬＬパケットが存在する場合には、当該パケットを誤り訂正符号用のパケットに置換することを可能とする。

図７には、実施の形態１の誤り訂正符号化装置で生成したビットストリームを受信し、誤り訂正を行い、圧縮画像の復号をした後、再生画像を出力するための誤り訂正復号装置の構成図を示す。

図において、誤り訂正復号装置は、ビットストリームを一時的に蓄積するための受信バッファ１０、誤り訂正パケットを復号し、画像データの各パケットに適用した誤り訂正符号の条件を判別する誤り訂正パケット処理部１１、誤り訂正パケットに多重された誤り訂正符号を用いて、誤り訂正を行う誤り訂正部１２、誤り訂正後の画像データパケットをＨ．２６４などの規格に基づいて復号する画像復号部１３で構成されている。

誤り訂正符号化装置と同様、受信バッファ１０での待ち時間を利用して誤り訂正パケットの復号処理と誤り訂正処理を実行する構成となっていることが特徴であり、本構成により、誤り訂正処理と画像復号処理を順次実行する場合よりも処理時間が短縮できる。

以上説明したように、実施の形態１の誤り訂正符号化装置によれば、ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、動画像の符号化データにおける所定期間のビットストリームのビット構成比率を測定するビット構成比率測定部と、ビット構成比率に基づいて求めた特定のピクチャタイプのビットの偏り度合に応じてパケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えたので、符号生成において複雑な処理や部品を必要とせず、かつ、効率の高い誤り訂正符号の生成を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、動画像の符号化データのビットストリームを送信前に一時的に保持する送信バッファと、送信バッファにおける誤り訂正で保護するデータの送出までの待ち時間を算出する待ち時間算出部と、待ち時間算出部で算出された待ち時間に応じてパケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備え、誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法の決定と、誤り訂正符号の生成は、誤り訂正符号で保護するデータの送信バッファにおける待ち時間に行うようにしたので、符号生成において複雑な処理や部品を必要とせず、かつ、効率の高い誤り訂正符号の生成を行うことができると共に、装置全体の処理遅延を大きく増加させることなく、高度な誤り訂正符号化処理を実現することができる。

また、実施の形態１の誤り訂正符号化装置によれば、ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、動画像の符号化データにおける所定期間のビットストリームの特定のピクチャタイプのデータ量の偏り度合を測定するビット構成比率測定部と、特定のピクチャタイプのデータ量の偏り度合に応じてパケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えたので、符号生成において複雑な処理や部品を必要とせず、かつ、効率の高い誤り訂正符号の生成を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、動画像の符号化データにおけるピクチャ内に存在するスライスのビット構成比率を測定するビット構成比率測定部と、ビット構成比率に基づいて対象とするスライスの重要度を決定し、重要度に基づいてパケットにおけるスライスに適用する誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、誤り訂正方法決定部で決定された誤り訂正符号で保護するスライスと誤り訂正符号の生成方法とに基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えたので、符号生成において複雑な処理や部品を必要とせず、かつ、効率の高い誤り訂正符号の生成を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、誤り訂正方法決定部は、ビットストリームのビット構成比率において、ＮＵＬＬパケットとフィラーデータとスタッフィングデータのうち少なくともいずれかが占める割合の大きさに応じて誤り訂正符号の生成方法を決定するようにしたので、効率よく誤り訂正符号の生成を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、誤り訂正方法決定部は、誤り訂正符号で保護するデータにおける送信バッファでの待ち時間に応じて、誤り訂正符号として処理単位を切り替えるようにしたので、効率よく誤り訂正符号の生成を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、誤り訂正符号として処理単位を切り替える方法として、連接符号をＮパケットの組として生成するときのＮの数値を変化させるようにしたので、誤り訂正符号の強度を容易に制御することができる。

また、実施の形態１の誤り訂正符号化装置によれば、送信バッファに蓄積されている複数のヘッダまたはパラメータセット間での相関性パラメータを誤り訂正符号と共に生成し、当該相関性パラメータを誤り訂正を行うための補助情報として、送信するビットストリームに多重するようにしたので、符号化データを復号する際に精度の高い誤り訂正を行うことができる。

また、実施の形態１の誤り訂正符号化装置によれば、画像データの相関性を高めるよう、送信バッファでの待ち時間の長さに応じてピクチャ内のスライスの数を変化させるようにしたので、誤り訂正符号の効果を向上させることができる。

また、実施の形態１の誤り訂正符号化装置によれば、誤り訂正符号用のパケットをビットストリームに挿入すると共に、パケットの挿入周期を誤り訂正符号の生成方法に応じて切り替える誤り訂正符号多重部を備えたので、誤り訂正符号の強度の変更に対しても容易に対応することができる。

また、実施の形態１の誤り訂正符号化装置によれば、フィラーデータまたはスタッフィングデータのみで構成されたパケットとＮＵＬＬパケットとのうち少なくともいずれか一方を誤り訂正符号用のパケットに置換し、パケットに誤り訂正符号を重畳して誤り訂正符号を出力するようにしたので、効率よく誤り訂正符号を付加することができる。

実施の形態２．
図８は、この発明の実施の形態２による圧縮画像用の誤り訂正符号化装置の構成図である。実施の形態１に対してストリーム解析部２を省略した構成であり、実施の形態１ではストリーム解析部２から出力していたパケット情報の代わりに、画像符号化部１ａから直接ピクチャタイプ別の符号量情報を出力するようにしたものである。本構成は、画像符号化部１ａが符号量の情報が出力可能な仕様である場合に有効である。また、ビット構成比率測定部３ａは、画像符号化部１ａから出力されたピクチャ別符号化情報に基づいてビット構成比率を測定する。その他の構成については実施の形態１と同様であるため、ここでの説明は省略する。なお、本装置の対となる誤り訂正復号装置については実施の形態１と同様の構成となる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１ａ 画像符号化部、２ ストリーム解析部、３，３ａ ビット構成比率測定部、４ 送信バッファ、５ 待ち時間算出部、６ 誤り訂正方法決定部、７ 誤り訂正符号生成部、８ 誤り訂正符号多重部。

Claims (6)

1. ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、
   動画像の符号化データにおける所定期間のビットストリームのビット構成比率を測定するビット構成比率測定部と、
   前記ビット構成比率に基づいて求めた特定のピクチャタイプのビットの偏り度合からピクチャタイプの重要度を決定し、前記ピクチャタイプの重要度に応じて前記パケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、
   前記誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えた誤り訂正符号化装置。
2. ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、
   動画像の符号化データにおける所定期間のビットストリームの特定のピクチャタイプのデータ量の偏り度合を測定するビット構成比率測定部と、
   前記特定のピクチャタイプのデータ量の偏り度合から前記ピクチャタイプの重要度を決定し、前記ピクチャタイプの重要度に応じて前記パケットにおける誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、
   前記誤り訂正方法決定部で決定された誤り訂正符号で保護するデータの範囲と誤り訂正符号の生成方法に基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えた誤り訂正符号化装置。
3. ビットストリームを構成するパケットの重要度に応じて誤り訂正符号の生成方法を変化させる誤り訂正符号化装置において、
   動画像の符号化データにおけるピクチャ内に存在するスライスのビット割り当て比率を測定するビット構成比率測定部と、
   前記ビット割り当て比率に基づいて対象とするスライスの重要度を決定し、当該重要度に基づいて前記パケットにおけるスライスに適用する誤り訂正符号の生成方法を決定する誤り訂正方法決定部と、
   前記誤り訂正方法決定部で決定された誤り訂正符号で保護するスライスと誤り訂正符号の生成方法とに基づいて誤り訂正符号を生成する誤り訂正符号生成部とを備えた誤り訂正符号化装置。
4. 前記誤り訂正方法決定部は、ビットストリームのビット構成比率において、ＮＵＬＬパケットとフィラーデータとスタッフィングデータのうち少なくともいずれかが占める割合の大きさに応じて誤り訂正符号の生成方法を決定することを特徴とする請求項１または請求項２または請求項３記載の誤り訂正符号化装置。
5. 誤り訂正符号用のパケットをビットストリームに挿入すると共に、当該パケットの挿入周期を誤り訂正符号の生成方法に応じて切り替える誤り訂正符号多重部を備えたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の誤り訂正符号化装置。
6. フィラーデータまたはスタッフィングデータのみで構成されたパケットとＮＵＬＬパケットとのうち少なくともいずれか一方を誤り訂正符号用のパケットに置換し、当該パケットに誤り訂正符号を重畳して誤り訂正符号を出力することを特徴とする請求項１から請求項５のうちのいずれか１項記載の誤り訂正符号化装置。

Images