JP4760902B2 - 情報処理装置および方法 - Google Patents

Description

本発明は、情報処理装置および方法に関し、特に、画像データ伝送において画質劣化を抑制しながら伝送帯域を節約することができるようにした情報処理装置および方法に関する。

デジタルビデオ通信において、帯域幅の制限から画像を圧縮して伝送することは一般的であるが、この際の圧縮方式としては大きく２つに分けることができる。一方は、画像間の関連性を利用するイントラフレーム圧縮であり、他方は、画像間の関連性は利用しないインターフレーム圧縮である。

前者には、例えばMPEG（Moving Picture Experts Group）方式がある。この圧縮方式の場合、画像のうち、変化のある部分だけにデータを割り当てることによって高い圧縮率を期待できる半面、データに誤りがあった場合にはその影響がしばらく継続するといった欠点がある。

後者には、例えばJPEG（Joint Photographic Experts Group）2000方式がある。この圧縮方式の場合、相関を利用しないため、圧縮率に関してはイントラフレームに及ばないが、データに誤りがあった場合の影響は継続せず、該当する画像のみとなる。

ところで、近年、インターネット若しくはその他の伝送路を経由して、マルチメディアデータを低遅延に伝送するという需要が高まっている。例えば、遠隔地２地点の医療拠点をインターネット等で接続し、一方の遠隔手術室から手術風景を動画像伝送し、他方からその映像を見ながら遠隔手術室の手術器具を操作するといった、所謂遠隔手術用アプリケーションがある。このようなアプリケーションでは、数フレーム間隔以下の遅延での動画像伝送が要求される。

このような要求に対して、動画像の各ピクチャの数ライン毎を１つの圧縮符号化ブロックとしてウェーブレット変換による圧縮符号化を行う方式が提案された（例えば、特許文献参照）。この方式の場合、符号化装置は、ピクチャ内のデータ全てが入力される前に圧縮符号化を開始することができる。また、圧縮データをネットワーク経由で伝送し、受信側でその圧縮データを復号する場合、復号装置は、ピクチャ内の全てのデータを受信する前に復号処理を開始することができる。したがって、ネットワーク伝播遅延が十分小さければ、フレーム間隔以下の遅延でのリアルタイム動画像伝送が可能となる。

特開２００７−３１１９２４号公報

しかしながら、インターフレーム方式の場合、上述したように高いエラー耐性を得やすい反面、伝送に必要な帯域幅が大きくなる恐れがあった。また、そのため、一般的な通信回線の場合、その通信回線の利用可能な帯域のほとんどを、画像データ（符号化データ）の転送のために確保する必要があり、例えば、エラー訂正用の冗長符号やその他の制御信号を同時に伝送させることが困難になる恐れがあった。換言すれば、エラー訂正用の冗長符号やその他の制御信号を同時に伝送させるためには、画質を犠牲にする必要があった。

本発明はこのような問題を解決するためのものであり、送信側で送信データの一部を適切に選択して破棄することにより、画像データ伝送において画質劣化を抑制しながら伝送に必要な帯域幅を低減させるものである。

本発明の一側面は、画像データを低域成分と高域成分に分割する処理を再帰的に繰り返すフィルタ処理において最終分割レベルの係数を１ライン生成するために必要なライン数分の画像データであるプレシンクトを処理単位とし、処理対象のプレシンクトの画像データである処理対象画像データと、前記処理対象のプレシンクトに対して所定の相対位置に位置するプレシンクトの画像データであり、前記処理対象画像データより以前に処理される基準画像データとの類似度を求め、前記類似度が所定の閾値に達しているか否かによって、前記処理対象画像データが前記基準画像データと類似しているか否かを求める解析処理を行う解析手段と、前記解析手段により解析された前記処理対象画像データを記憶する記憶手段と、前記処理対象画像データを符号化する符号化手段と、前記解析手段による解析の結果、前記処理対象画像データが前記基準画像データと類似している場合、前記処理対象画像データを破棄する破棄手段と、前記解析手段による解析の結果、前記処理対象画像データが前記基準画像データと類似していない場合、前記符号化手段により前記処理対象画像データが符号化されて生成された符号化データを送信する送信手段とを備え、前記解析手段は、前記記憶手段に記憶されている画像データを取得し、取得した前記画像データを前記基準画像データとして前記解析処理を行う情報処理装置である。

前記相対位置は、前記処理対象のプレシンクトと同じピクチャの、前記処理対象のプレシンクトに隣接し、前記処理対象のプレシンクトの１つ前に処理されるプレシンクトであるようにすることができる。

前記相対位置は、前記処理対象のプレシンクトと同じピクチャの、前記処理対象のプレシンクト近傍の、前記処理対象のプレシンクトより数プレシンクト前に処理されるプレシンクトであるようにすることができる。
前記相対位置は、前記処理対象のプレシンクトのピクチャより時間的に前のピクチャの、前記処理対象のプレシンクトと同じ位置のプレシンクトであるようにすることができる。
前記解析手段は、前記処理対象画像データと、前記相対位置が互いに異なる複数の前記基準画像データとの類似度を求めることができる。
前記記憶手段は、記憶する画像データを削除する場合、前記解析手段により使用される可能性の無い、若しくは、使用される可能性の低い画像データを優先的に削除することができる。

前記破棄手段により前記処理対象画像データが破棄された場合、前記符号化手段は、前記符号化により生成する前記符号化データの符号量を増やすことができる。

前記符号化手段により前記処理対象画像データが符号化されて生成された前記符号化データに対して冗長符号化を行い、冗長データを生成する冗長符号化手段をさらに備えることができる。

前記送信手段は、前記処理対象画像データが前記基準画像データと類似している場合、前記冗長符号化手段により生成された前記冗長データを送信することができる。

本発明の一側面はまた、画像データを処理する情報処理装置の情報処理方法であって、解析手段は、画像データを低域成分と高域成分に分割する処理を再帰的に繰り返すフィルタ処理において最終分割レベルの係数を１ライン生成するために必要なライン数分の画像データであるプレシンクトを処理単位とし、処理対象のプレシンクトの画像データである処理対象画像データと、記憶手段から取得した、前記処理対象のプレシンクトに対して所定の相対位置に位置するプレシンクトの画像データであり、前記処理対象画像データより以前に処理される基準とする基準画像データとの類似度を求め、前記類似度が所定の閾値に達しているか否かによって、前記処理対象画像データが前記基準画像データと類似しているか否かを求める解析処理を行い、前記記憶手段は、解析された前記処理対象画像データを記憶し、符号化手段は、前記処理対象画像データを符号化し、破棄手段は、解析の結果、前記処理対象画像データが前記基準画像データと類似している場合、前記処理対象画像データを破棄し、送信手段は、解析の結果、前記処理対象画像データが前記基準画像データと類似していない場合、前記処理対象画像データが符号化されて生成された符号化データを送信するステップを含む情報処理方法である。

本発明においては、画像データを低域成分と高域成分に分割する処理を再帰的に繰り返すフィルタ処理において最終分割レベルの係数を１ライン生成するために必要なライン数分の画像データであるプレシンクトが処理単位とされ、処理対象のプレシンクトの画像データである処理対象画像データと、記憶手段から取得した、処理対象のプレシンクトに対して所定の相対位置に位置するプレシンクトの画像データであり、処理対象画像データより以前に処理される基準画像データとの類似度が求められ、その類似度が所定の閾値に達しているか否かによって、処理対象画像データが基準画像データと類似しているか否かが求められ、処理対象画像データが符号化され、解析の結果、処理対象画像データが基準画像データと類似している場合、処理対象画像データが破棄され、解析の結果、処理対象画像データが基準画像データと類似していない場合、処理対象画像データが符号化されて生成された符号化データが送信される。

本発明によれば、データ伝送を行うことができる。特に、画像データ伝送において画質劣化を抑制しながら伝送に必要な帯域幅を低減させることができる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ネットワークシステム：送信データを適切に選択して破棄する例）
２．第２の実施の形態（ネットワークシステム：符号量を増加させる例）
３．第３の実施の形態（ネットワークシステム：冗長度を増加させる例）
４．第４の実施の形態（ネットワークシステム：隠蔽用ヘッダを用いる例）

＜１．第１の実施の形態＞
［ネットワークシステムの構成例］
図１は、本発明を適用したネットワークシステムの構成例を示すブロック図である。図１において、ネットワークシステム１００は、撮像装置１０１、送信装置１０２、受信装置１０３、および表示装置１０４を有する。ネットワークシステム１００は、撮像装置１０１から表示装置１０４まで動画像データを低遅延で伝送させるシステムである。ネットワークシステム１００において、撮像装置１０１は、被写体を撮像して動画像データを生成し、送信装置１０２は、撮像装置１０１において得られた動画像データを送信し、受信装置１０３は、その動画像データを、ネットワーク１１０を介して受信し、表示装置１０４は、受信された動画像データの動画像を再生し、表示する。

つまり、表示装置１０４には、撮像装置１０１において撮像された画像が表示される。したがって、撮像装置１０１が撮像を行って動画像データが生成されてから、表示装置１０４がそれを取得して再生し、その動画像を表示するまでの時間（遅延時間）がより短い方が望ましい。

そこで、送信装置１０２および受信装置１０３は、より低遅延に動画像データを符号化・復号し、パケット化して伝送させる。この伝送時においてパケットロスが発生しても、そのパケットを再送させる時間的余裕が無いので、受信装置１０３は、既に受信されたデータで代用することにより、データロスを隠蔽する。

送信装置１０２は、この受信装置１０３のエラー隠蔽機能を期待して、送信データの一部を破棄する。このとき送信装置１０２は、破棄による影響の少ないデータを選択して破棄する。受信装置１０３は、破棄された部分を補間する。

［送信装置・受信装置の主な構成例］
図２は、図１の送信装置１０２および受信装置１０３の内部の主な構成例を示すブロック図である。

図２に示されるように、送信装置１０２は、解析部１２１、記憶部１２２、符号化部１２３、パケタイズ処理部１２４、および送信部１２５を有する。

撮像装置１０１の撮像により得られた動画像データは、送信装置１０２の解析部１２１および符号化部１２３に供給される。動画像データは、生成されたものから順次送信装置１０２に供給される。つまり、動画像データにおいて、各ピクチャはその時系列順に供給される。各ピクチャ内において、各ラインは画像の上から下に向かう順に供給される。各ラインにおいて、各画素は画像の左から右に向かう順に供給される。

送信装置１０２の各部は、このように入力される画像データを、複数ラインからなるプレシンクト（ラインブロックまたはスライスとも称する）単位で処理する。プレシンクトについての詳細は後述する。

解析部１２１は、供給された画像データの、破棄する部分を決定するための判断材料として、その画像データの特徴を解析する。例えば、解析部１２１は、現在処理対象とする、最も新しく入力されたプレシンクトの画像（以下、現画像と称する）を、基準とする所定の画像（基準画像）と比較し、現画像と基準画像の類似度を求める。基準画像としては、例えば、現画像よりも前に入力され、過去に処理対象としたプレシンクトの画像（以下、前画像と称する）がある。以下においては、この前画像を基準画像として説明する。

解析部１２１は、現画像に対応する前画像を、記憶部１２２より読み出して比較を行う。また、解析部１２１は、現画像の解析が終わると、その現画像を記憶部１２２に供給し、今後の現画像に対する前画像として記憶させる。

記憶部１２２は、例えばハードディスクや半導体メモリ等、任意の記憶媒体により構成される記憶領域であり、前画像を記憶する。記憶部１２２の記憶領域が十分に大きければ、全ての前画像を記憶するようにしてもよい。記憶部１２２の記憶領域が有限である場合、記憶部１２２は、解析部１２１により今後使用される可能性の無い、または、使用される可能性の低い画像を優先的に削除する。

解析部１２１は、現画像のプレシンクトを基準とした所定の相対位置のプレシンクトの画像を前画像として記憶部１２２より読み出して使用する。

ある現画像に対する前画像として、例えば、その現画像と同じピクチャの、現画像のプレシンクトに隣接するプレシンクトの画像（つまり、現画像より１つ前のプレシンクトの画像）が考えられる。また、例えば、その現画像のプレシンクトの近傍のプレシンクトの画像（つまり、現画像より数プレシンクト前の画像）が前画像として考えられる。さらに、例えば、その現画像のピクチャより１つ前のピクチャの、現画像と同じ位置のプレシンクトの画像が前画像として考えられる。

もちろん、前画像とする相対位置は任意であり、現画像より前に入力される画像であれば、これら以外のプレシンクトの画像を前画像としても良い。また、前画像は複数存在しても良い。つまり、前画像とする相対位置は複数存在しても良い。いずれにしても、記憶部１２２に保持された画像は、いずれ前画像として使用されなくなる（使用される可能性が低減する）。記憶部１２２は、このようなプレシンクトの画像から優先的に削除するようにしてよい。

解析部１２１は、例えば、求めた類似度を所定の閾値と比較し、その大小関係によって、現画像が前画像に類似しているか否かを決定する。解析部１２１は、このような解析結果をパケタイズ処理部１２４に供給する。

符号化部１２３は、入力された現画像をインターフレーム方式で圧縮符号化する。この符号化方法は、インターフレーム方式であれば任意である。以下においては、符号化部１２３が、画質劣化の少ないウェーブレット変換とエントロピ符号化を用いる方法で圧縮符号化を行うものとして説明する。なお、低遅延データ伝送を実現するために、符号化部１２３は、プレシンクトを処理単位として圧縮符号化を行う。

符号化部１２３は、画像データを圧縮符号化して符号化データを生成し、その符号化データをパケタイズ処理部１２４に供給する。

パケタイズ処理部１２４は、解析部１２１の解析結果に基づいて、供給される符号化データの破棄を行う。例えば、現画像が前画像に類似している場合、パケタイズ処理部１２４は、その現画像に対応する符号化データを破棄する。また、現画像が前画像に類似していない場合、パケタイズ処理部１２４は、その現画像に対応する符号化データをパケット化し、得られたパケットについてエラー訂正用の冗長パケット（冗長データ）を生成する。そして、パケタイズ処理部１２４は、生成した冗長パケットおよび符号化データのパケットを、受信装置１０３に送信するために送信部１２５に供給する。

送信部１２５は、パケタイズ処理部１２４より供給されるパケットを、ネットワーク１１０を介して受信装置１０３に送信する。

以上のように、送信装置１０１は、過去に処理した画像と類似する画像の符号化データを破棄することにより、受信装置１０３に送信するデータを間引き、その伝送データのデータ量を低減させる。

受信装置１０３は、以上のように送信装置１０２より送信されたパケットを受信する。受信装置１０３は、パケットを損失（ロス）したプレシンクトを、前画像の符号化データで補完することにより、パケット損失を隠蔽する機能を有する。図２に示されるように、受信装置１０３は、受信部１３１、デパケタイズ処理部１３２、ロス解析部１３３、記憶部１３４、および復号部１３５を有する。なお、受信装置１０３の各部もプレシンクトを処理単位とする。

受信部１３１は、ネットワーク１１０を介して送信されるパケットを受信し、それをデパケタイズ処理部１３２に供給する。

デパケタイズ処理部１３２は、供給されたパケットをデパケタイズし、符号化データを抽出し、抽出した符号化データをロス解析部１３３に供給する。ただし、処理対象のプレシンクトのパケットが全て揃っていない場合、デパケタイズ処理部１３２は、損失したパケットを復元可能であれば、冗長データを用いて損失したパケットの復元を行う。そして、デパケタイズ処理部１３２は、受信されたパケットと復元されたパケットをデパケタイズし、符号化データを抽出し、抽出した符号化データをロス解析部１３３に供給する。

損失したパケット数（符号化データの損失量）が多く復元不可能であれば、デパケタイズ処理部１３２は、パケットの復元を省略する。デパケタイズ処理部１３２は、受信されたパケットだけデパケタイズし、符号化データを抽出し、抽出した符号化データをロス解析部１３３に供給する。つまり、この場合、デパケタイズ処理部１３２は、一部または全部が欠損した符号化データをロス解析部１３３に供給する。なお、復元不可能なパケットロスが発生した場合、特に、全ての符号化データを損失した場合、デパケタイズ処理部１３２は、ロス解析部１３３にその旨を通知するだけでもよい。

ロス解析部１３３は、処理対象のプレシンクトの符号化データが全て供給された場合、その符号化データを復号部１３５に供給する。

また、処理対象のプレシンクトの符号化データが揃わない場合、ロス解析部１３３は、処理対象のプレシンクトの画像である現画像に対応する前画像の、損失の無い符号化データを記憶部１３４より読み出し、現画像の不十分な符号化データに置き換えて復号部１３５に供給する。つまり、ロス解析部１３３は、前画像のデータを用いてデータ補完を行う。

また、ロス解析部１３３は、データ補完しなかった場合、デパケタイズ処理部１３２より供給された、損失の無い符号化データを記憶部１３４に供給し、記憶させる。

記憶部１３４は、例えばハードディスクや半導体メモリ等、任意の記憶媒体により構成される記憶領域であり、前画像の符号化データを記憶する。記憶部１３４の記憶領域が十分に大きければ、全ての前画像の符号化データを記憶するようにしてもよい。記憶部１３４の記憶領域が有限である場合、記憶部１３４は、ロス解析部１３３により今後使用される可能性の無い、または、使用される可能性の低い符号化データを優先的に削除する。

ロス解析部１３３は、デパケタイズ処理部より供給された符号化データの画像である現画像のプレシンクトを基準とした所定の相対位置のプレシンクトの画像を前画像とし、その前画像の符号化データを記憶部１２２より読み出し、データ補完に使用する。

復号部１３５は、ロス解析部１３３より供給される符号化データを、符号化部１２３に対応する方法で復号し、画像データを生成する。復号部１３５は、生成した画像データを表示装置１０４に供給する。

［送信装置の詳細な構成例］
次に、送信装置１０２について説明する。図３は、送信装置１０２の内部の詳細な構成例を示すブロック図である。

図３に示されるように、解析部１２１は、取得部１５１、比較部１５２、判定部１５３、記憶制御部１５４、および制御部１５５を備える。

取得部１５１は、撮像装置１０１より供給される現画像の画像データを取得する。また、取得部１５１は、記憶部１２２より、現画像に対応する前画像の画像データを取得する。取得部１５１は、それらの画像データを比較部１５２に供給する。

比較部１５２は、取得部１５１より供給された現画像の動画像データ、および、前画像の画像データを比較する。例えば、比較部１５２は、現画像と前画像の互いに同じ位置の画素同士で画素値を比べ、その差分値として例えばPSNR（Peak Signal-to-Noise Ratio）を算出する。そして、比較部１５２は、その差分値を、現画像および前画像の画像データとともに、判定部１５３に供給する。

判定部１５３は、それらのデータを取得すると、差分値を予め用意された所定の閾値と比較し、その大小によって現画像と前画像が類似しているか否かを判定する。判定部１５３は、その判定結果を制御部１５５に供給する。

制御部１５５は、その判定結果を、パケタイズ処理部１２４の破棄部１７１に供給する（Ｃ１０１）。

また、判定部１５３は、現画像の画像データを記憶制御部１５４に供給する。記憶制御部１５４は、判定部１５３より供給されたデータを記憶部１２２に供給し、記憶させる。記憶部１２２に記憶された画像データは、その後の現画像に対する前画像として適宜使用される。

符号化部１２３は、ウェーブレット変換部１６１、量子化部１６２、エントロピ符号化部１６３、およびレート制御部１６４を有する。

ウェーブレット変換部１６１は、処理対象のプレシンクト（現画像）の画像データをウェーブレット変換する。詳細については後述するが、ウェーブレット変換は、入力データを低域成分と高域成分に分割する分析フィルタ処理を画面水平方向および画面垂直方向の両方に対して行う処理である。つまり、ウェーブレット変換処理により入力データは、水平方向および垂直方向に低域な成分（ＬＬ成分）、水平方向に高域で垂直方向に低域な成分（ＨＬ成分）、水平方向に低域で垂直方向に高域な成分（ＬＨ成分）、および、水平方向および垂直方向に高域な成分（ＨＨ成分）の４つの成分（サブバンド）に分割される。

ウェーブレット変換部１６１は、このようなウェーブレット変換処理を、所定回数、分析フィルタ処理により得られる水平方向および垂直方向に低域な成分（ＬＬ成分）に対して再帰的に繰り返す。つまり、現画像の画像データは、階層化された複数のサブバンド（周波数成分）毎のウェーブレット係数（以下、係数と称する）に分割される。ウェーブレット変換部１６１は、生成した係数を量子化部１６２に供給する。

量子化部１６２は、ウェーブレット変換部１６１により生成される各成分の係数を、例えば量子化ステップサイズで除算することにより量子化し、量子化係数を生成する。この際、量子化部１６２は、プレシンクト毎に量子化ステップサイズを設定することができる。このプレシンクトは、ある画像領域のすべての周波数成分の係数を包含しているため、プレシンクト毎に量子化を行えば、ウェーブレット変換の特徴である多重解像度分析の利点を活かすことができる。また、全画面でプレシンクト数だけを決めればよいため、量子化の負荷も小さくて済む。

さらに、画像信号のエネルギは一般的に低域成分に集中しており、また、人間の視覚上、低域成分の劣化が目立ちやすいという特性があるため、量子化に際しては、低域成分のサブバンドでの量子化ステップサイズが結果的に小さな値になるように、重み付けを行うことが有効である。この重み付けにより、低域成分には相対的に多くの情報量が割り当てられるようになり、全体の主観的な画質が向上する。

エントロピ符号化部１６３は、量子化部１６２で生成された量子化係数を情報源符号化し、圧縮された符号化コードストリームを生成する。情報源符号化としては、例えばハフマン符号化や、JPEG2000方式で用いられているさらに高精度な算術符号化を用いることができる。

ここで、エントロピ符号化をどの範囲の係数に対して行うかは、圧縮効率に直接関係する非常に重要な要素になる。例えば、JPEG方式では、８×８のブロックに対してDCT変換を施し、生成された６４個のDCT変換係数に対してハフマン符号化を行うことで、情報を圧縮している。すなわち、６４個のDCT変換係数がエントロピ符号化の範囲になる。

ウェーブレット変換部１６１では、８×８ブロックに対するDCT変換とは異なり、ライン単位でウェーブレット変換を施しているため、エントロピ符号化部１６３では、周波数帯域（サブバンド）毎に独立に、且つ各周波数帯域内をプレシンクト毎に情報源符号化する。エントロピ符号化部１６３は、生成した符号化データをレート制御部１６４に供給する。

レート制御部１６４は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化データをパケタイズ処理部１２４の破棄部１７１に出力する。例えば、このレート制御部１６４は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部１６２に対して制御信号を送信する。

パケタイズ処理部１２４は、破棄部１７１、パケット化部１７２、および冗長符号化部１７３を有する。破棄部１７１は、制御部１５５より供給される比較判定結果を参照し、現画像と前画像が類似する現画像の符号化データを破棄し、それ以外の符号化データをパケット化部１７２に供給する。

パケット化部１７２は、破棄部１７１より供給される符号化データを分割してパケット化し、それを冗長符号化部１７３に供給する。冗長符号化部１７３は、パケット化部１７２より供給される符号化データに対して冗長符号化を行い、冗長パケット（冗長データ）を生成し、符号化データのパケットとともに、送信部１２５に供給し、送信させる。なお、この冗長符号化処理は省略可能である。つまり冗長符号化部１７３を省略し、パケット化部１７２においてパケット化された符号化データをそのまま送信部１２５に供給し、送信させるようにしてもよい。

［ウェーブレット変換の説明］
次に、図３のウェーブレット変換部１６１が行うウェーブレット変換について説明する。

上述したように、ウェーブレット変換は、入力データを低域成分と高域成分に分割する分析フィルタ処理を画面水平方向および画面垂直方向の両方に対して行う処理である。つまり、ウェーブレット変換処理により入力データは、水平方向および垂直方向に低域な成分（ＬＬ成分）、水平方向に高域で垂直方向に低域な成分（ＨＬ成分）、水平方向に低域で垂直方向に高域な成分（ＬＨ成分）、および、水平方向および垂直方向に高域な成分（ＨＨ成分）の４つの成分（サブバンド）に分割される。

ウェーブレット変換部１６１は、このようなウェーブレット変換処理を、所定回数、分析フィルタ処理により得られる水平方向および垂直方向に低域な成分（ＬＬ成分）に対して再帰的に繰り返す。つまり、ウェーブレット変換処理により、動画像データの各ピクチャは、階層化された複数のサブバンド（周波数成分）毎の係数に分割される。

ウェーブレット変換部１６１は、ライン毎に画像左から右に向かう順に１サンプル（１コラム）ずつ入力されるピクチャ毎の画像データに対して、必要なサンプル数のデータを入手次第、画像水平方向に分析フィルタリングを行う。つまり、ウェーブレット変換部１６１は、分析フィルタリングを実行可能なサンプル数のデータを入手する毎に、水平分析フィルタリングを実行する。例えば、ウェーブレット変換部１６１は、図４の左に示されるベースバンドの画像データ２０１に対して、Ｍコラム入力される毎に水平分析フィルタリングを行い、１ラインずつ水平方向に低域な成分（Ｌ）と高域な成分（Ｈ）に分割する。図４の右に示される水平分析フィルタ処理結果２０２の斜線部分は、ウェーブレット変換部１６１により水平方向に低域な成分（Ｌ）と高域な成分（Ｈ）に分割されたＮライン分の係数を示す。

このように所定のライン数（Ｎライン）分の水平分析フィルタ処理結果２０２が生成されると、ウェーブレット変換部１６１は、次に、垂直方向に分析フィルタリング（垂直分析フィルタリング）を行う。なお、ここで、Ｎは、ウェーブレット変換部１６１が垂直分析フィルタリングを実行するのに必要なライン数以上の自然数とする。

ウェーブレット変換部１６１は、生成された、そのＮライン分の水平分析フィルタ処理結果２０２の各成分に対して、コラム毎に垂直分析フィルタリングを行う。垂直分析フィルタリングがＮライン毎に繰り返されると、水平分析フィルタ処理結果２０２の各成分の係数は、図５の左に示されるように、垂直方向に低域な成分の係数と水平方向に高域な成分の係数に、それぞれ分割される。

つまり、水平方向に低域な成分（Ｌ）は、水平方向および垂直方向の両方に低域な成分（ＬＬ成分）と、水平方向に低域で垂直方向に高域な成分（ＬＨ成分）に分割される。また、水平方向に高域な成分は、水平方向に高域で垂直方向に低域な成分（ＨＬ成分）と、水平方向および垂直方向の両方に高域な成分（ＨＨ成分）に分割される。すなわち、水平分析フィルタ処理結果２０２は、４つの成分の係数に分割される（係数２０３）。

ウェーブレット変換部１６１は、以上のような水平分析フィルタリングおよび垂直分析フィルタリングを、ＬＬ成分の係数に対して再帰的に繰り返す。つまり、所定の階層（分割レベル）の係数が得られるまで、得られた分析フィルタリングの結果のうち、ＨＬ成分、ＬＨ成分、ＨＨ成分は処理結果として外部に出力される。残りのＬＬ成分は、ウェーブレット変換部１６１により、再度分析フィルタリングされる。

例えば、図４の左に示される係数２０３は、図４の右に示される係数２０４に変換される。係数２０４では、ＬＬ成分が再度分析フィルタリングされ、ＬＬＬＬ成分、ＬＬＨＬ成分、ＬＬＬＨ成分、およびＬＬＨＨ成分の４つの成分に分割されている。分割レベルが、予め定められた所定の階層に達していない場合、ウェーブレット変換部１６１は、新たに生成されたＬＬＬＬ成分に対して再度分析フィルタリングを行う。

ウェーブレット変換部１６１は、このような分析フィルタリングを所定回数再帰的に行い、動画像データを、所望の分割レベルまで分割する。図６は、分割レベル３（３階層）まで分割した場合の係数の例を示す図である。図６において、分割レベル３まで分割された係数２０５は、３階層に階層化された１０個のサブバンドに分割される。

図６において、１ＨＬ成分、１ＬＨ成分、および１ＨＨ成分の３つのサブバンドは、ベースバンドの画像データが分割された分割レベル１のサブバンドである。また、２ＨＬ成分、２ＬＨ成分、および２ＨＨ成分は、分割レベル１の１ＬＬ成分が分割された分割レベル２のサブバンドである。さらに、３ＬＬ成分、３ＨＬ成分、３ＬＨ成分、および３ＨＨ成分は、分割レベル２の２ＬＬ成分が分割された分割レベル３のサブバンドである。

ウェーブレット変換処理では、フィルタリング処理を繰り返す毎に（階層が１つ下位になる毎に）、生成されるライン数は２のべき乗分の１の大きさで小さくなっていく。例えば、図４および図５の例のように、Ｎラインのベースバンドの画像データは、分析フィルタリングされ、Ｎ／２ずつの４つの成分の係数に分割される（図５左の係数２０３）。そのＬＬ成分は、再度分析フィルタリングされると、図５右の係数２０４のように、Ｎ／４ずつの４つの成分の係数に分割される。

このように、係数のライン数は、分析フィルタリングされる毎に、２のべき乗分の１ずつ少なくなっていく。換言するに、最終分割レベルの係数を１ライン生成するために必要なベースバンドのライン数は、そのフィルタリング処理を何回繰り返すか（最終分割レベルの階層数）によって決まる。通常、この階層数は予め定められているので、最終分割レベルの係数を１ライン生成するために必要なベースバンドのライン数も予め定まる。例えば、図６に示される例のように最終分割レベルが３の場合、最終分割レベルの係数を１ライン生成するためにベースバンドの画像データは８ライン必要である。

このような、最終分割レベルの係数を１ライン生成するために必要なベースバンドの画像データ（複数ライン分の画像データ）、または、各階層の係数をまとめてプレシンクト（またはラインブロック）と称する。

図６において斜線で示される部分が１プレシンクトを構成する係数である。図６の例の場合、プレシンクトは、分割レベル３の各成分の１ライン分の係数、分割レベル２の各成分の２ライン分の係数、並びに、分割レベル３の各成分の４ライン分の係数により構成される。なお、これらに相当する分析フィルタリング前の画像データ、すなわち、この例では８ライン分の画像データのこともプレシンクト（またはラインブロック）と称する。

なお、この分析フィルタリングの演算方法は、任意であり、フィルタのタップ係数に、実際の入力データを畳み込み乗算する畳み込み演算を用いて行うようにしてもよい。ただし、タップ長が長いとその分、計算負荷が増えてしまう恐れがある。そこでこの畳み込み演算の代わりに、演算の負荷を軽減させるために、例えば９×７分析フィルタ等を用いてリフティング演算を行うようにしてもよい。

以上のように複数のサブバンドに分割された係数は、エントロピ符号化部１６３においてサブバンド毎（所定ライン数毎に）に符号化される。

［復号部の構成例］
以上のように符号化された符号化データは、受信装置１０３の復号部１３５において復号される。図７は、その復号部１３５の内部の主な構成例を示すブロック図である。

図７に示されるように、復号部１３５は、エントロピ復号部２２１、逆量子化部２２２、およびウェーブレット逆変換部２２３を有する。

エントロピ復号部２２１は、入力した符号化データを情報源復号し、量子化係数データを生成する。情報源復号としては、エントロピ符号化部１６３の情報源符号化に対応して、ハフマン復号や、高効率な算術復号などを用いることができる。なお、エントロピ符号化部１６３においてＰラインごとに情報源符号化されている場合、エントロピ復号部２２１においても同様に、各サブバンドが独立に、かつ各サブバンド内がＰライン毎に情報源復号される。

逆量子化部２２２は、量子化係数データに量子化ステップサイズを乗算することにより逆量子化し、係数データを生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。なお、量子化部１６２において、ラインブロック毎に量子化ステップサイズが設定されている場合には、逆量子化部２２２においても同様に、ラインブロック毎に逆量子化ステップサイズが設定されて、逆量子化される。

ウェーブレット逆変換部２２３は、ウェーブレット変換部１６１の逆処理を行う。つまり、ウェーブレット逆変換部２２３は、ウェーブレット変換部１６１により複数の周波数帯域に分割された係数データに対して、低域成分と高域成分を合成するフィルタ処理（合成フィルタ処理）を水平方向と垂直方向の両方に対して行う。

上述したリフティング技術を適用したときの分析フィルタリングに対応して、効率的にフィルタリングを実行することができることから、ウェーブレット逆変換の合成フィルタリングにおいても、同様にリフティング技術を用いることが好ましい。

［画像補完の説明］
図２を参照して説明したように、伝送時に符号化データに損失が発生し、復元不可能である場合、ロス解析部１３３は、その不十分な符号化データの代わりに、前画像の符号化データを復号部１３５に復号させる。つまり、ロス解析部１３３は、符号化データに欠損が有る場合、前画像の符号化データで補完する。

この補完処理は、どのような方法であっても良い。以下においては説明を簡略化するために、ロス解析部１３３が、復号処理の処理単位であるプレシンクト単位でデータ補完を行うものとする。つまり、デパケタイズ処理部１３２より取得した、処理対象プレシンクトの符号化データに一部でも欠損がある場合、ロス解析部１３３は、そのプレシンクトの全ての符号化データを破棄し、前画像の（１プレシンクト分の）符号化データを記憶部１３４より読み出して復号部１３５に供給する。

この前画像とするプレシンクトの位置は任意である。例えば現画像のプレシンクトと類似性の高い空間的位置関係にあるプレシンクトを前画像としてもよい。例えば、現画像と同じピクチャの、現画像のプレシンクトに隣接するプレシンクト、または、現画像のプレシンクトの近傍のプレシンクトを、前画像としてもよい。

より具体的には、例えば、現画像と同じピクチャの、現画像のプレシンクトの１つ上のプレシンクトの画像を前画像としてもよい。また、例えば、現画像と同じピクチャの、現画像のプレシンクトから２，３プレシンクト上に位置するプレシンクトの画像を前画像としてもよい。

図８は、複数ピクチャのプレシンクトの様子の例を示す図である。図８において、ピクチャ２５１乃至ピクチャ２５３は、時間軸上において互いに連続するピクチャであり、ピクチャ２５１、ピクチャ２５２、ピクチャ２５３の順に並ぶ。また、各ピクチャは、３つのプレシンクト（ラインブロックまたはスライス）に分割される。なお、実際には、１ピクチャ当たりのプレシンクト数は任意である。

この場合、例えば、プレシンクト２５３−３が処理対象プレシンクトであり、その画像が現画像であるとすると、プレシンクト２５３−２やプレシンクト２５３−１が前画像として設定される。

また、例えば現画像のプレシンクトと類似性の高い時間的位置関係にあるプレシンクトの画像を前画像としてもよい。例えば、現画像より１つ前のピクチャの、現画像のプレシンクトと同じ位置のプレシンクト、または、現画像より複数ピクチャ前のピクチャの、現画像のプレシンクトと同じ位置のプレシンクトの画像を、前画像としてもよい。

つまり、図８の例の場合、現画像のプレシンクト２５３−３に対して、ピクチャ２５２のプレシンクト２５２−３や、ピクチャ２５１のプレシンクト２５１−３画像が前画像として設定される。

もちろん、前画像とするプレシンクトの、現画像のプレシンクトに対する相対位置は任意であり、上述した以外のプレシンクトであっても良い。１つの現画像に対して前画像が複数設定され、その複数の前画像の中から１つが適宜選択されるようにしてもよい。

なお、受信装置１０３における前画像の相対位置は、送信装置１０１とは独立して設定される。つまり、ロス解析部１３３がデータ補完に使用する前画像は、解析部１２１が比較に用いた前画像と一致しなくてもよい。

［処理の流れの説明］
次に、各処理部により実行される処理の流れの例について説明する。最初に、送信装置１０１により実行される送信処理の流れの例について、図９のフローチャートを参照して説明する。

送信装置１０１に画像データが入力され、送信処理が開始されると、解析部１２１は、ステップＳ１０１において、入力された画像データの画像を解析する解析処理を行う。解析処理の詳細については後述する。解析処理が終了すると、符号化部１２３は、ステップＳ１０２において、現画像のデータを符号化し符号化データを生成する。

ステップＳ１０３において、パケタイズ処理部１２４は、ステップＳ１０１において実行される解析処理の結果に基づいて、現画像と前画像が類似しているか否かを判定する。類似していない場合、処理は、ステップＳ１０４に進む。ステップＳ１０４において、パケタイズ処理部１２４は、現画像の符号化データをパケット化する。このとき、生成したパケットを、例えばリードソロモン（RS（Reed-Solomon））符号等の誤り訂正符号を用いて冗長符号化し、冗長データ（冗長パケット）を生成しても良い。

ステップＳ１０５において、送信部１２５は、パケタイズ処理部１２４により生成されたパケットを、ネットワーク１１０を介して受信装置１０３に送信する。パケットが送信されると送信処理が終了する。

なお、ステップＳ１０３において、現画像と前画像が類似していないと判定された場合、処理はステップＳ１０６に進む。ステップＳ１０６において、パケタイズ処理部１２４は、処理対象の（現画像の）符号化データを破棄する。符号化データが破棄されると、送信処理が終了する。

なお、送信装置１０２は、以上のような送信処理を、画像データが１プレシンクト分入力される度に繰り返し実行する。

以上のように、送信装置１０２は、現画像を解析し、前画像に類似する現画像の符号化データを破棄し、前画像に類似していない現画像の符号化データのみを受信装置１０３に送信する。

次に、図９のステップＳ１０１において実行される解析処理の流れの例を図１０のフローチャートを参照して説明する。

解析処理が開始されると、解析部１２１の取得部１５１は、ステップＳ１２１において、撮像装置１０１より供給される現画像に対応する前画像を、記憶部１２２より取得する。ステップＳ１２２において、比較部１５２は、現画像と前画像を比較する。ステップＳ１２３において、判定部１５３は、ステップＳ１２２における比較の結果である、現画像と前画像の差分情報を所定の閾値と比較することにより類似度を判定する。

制御部１５５は、ステップＳ１２４において、ステップＳ１２３の処理により算出された判定結果をパケタイズ処理部１２４の破棄部１７１に通知する。ステップＳ１２５において、記憶制御部１５４は、現画像のデータを、前画像のデータとして記憶部１２２に記憶させる。ステップＳ１２５の処理が終了されると、解析処理が終了し、処理は、図９のステップＳ１０１に戻り、ステップＳ１０２以降の処理が実行される。

送信装置１０２は、以上のような解析処理により、破棄するデータを選択する。次に、このように送信された、一部のデータが損失した符号化データを受信する受信装置１０３による受信処理の流れの例を、図１１のフローチャートを参照して説明する。

受信処理が開始されると、受信装置１０３の受信部１３１は、ステップＳ１４１において、パケットの受信を行う。ステップＳ１４２において、デパケタイズ処理部１３２は、受信されたパケットに対してデパケタイズ処理を行い、復元可能なパケットを復元し、符号化データを抽出する。

ステップＳ１４３において、ロス解析部１３３は、データの損失（ロス）があったか否かを判定する。ロスがあったと判定された場合、処理はステップＳ１４４に進む。ステップＳ１４４において、ロス解析部１３３は、そのロスした現画像の符号化データを、前画像で置き換え可能であるか否かを判定する。

置き換え可能であると判定した場合、処理は、ステップＳ１４５に進む。ステップＳ１４５において、ロス解析部１３３は、記憶部１３４より前画像の符号化データを読み出し置き換える。ステップＳ１４６において、復号部１３５は、符号化データを復号し、画像データを生成する。ステップＳ１４６の処理が終了すると受信処理が終了される。

また、ステップＳ１４４において、前画像で置き換え不可能であると判定された場合、処理は、ステップＳ１４６に進み、それ以降の処理が実行される。さらに、ステップＳ１４３において、ロスが無かったと判定された場合、処理はステップＳ１４７に進む。

ステップＳ１４７において、ロス解析部１３３は、損失の無いプレシンクト単位の符号化データを、記憶部１３４に供給し、記憶させる。ステップＳ１４７の処理が終了すると、処理は、ステップＳ１４６に戻り、それ以降の処理が実行される。

以上のように、受信装置１０３は、復元不可能なパケットの損失に対して、前画像の符号化データを置き換えることによりデータ補完を行う。

低遅延でデータ転送を行う場合、ラインベースで動作するコーデックは有利であるが、低遅延を目的としているが故にデータの再送をする時間が確保できない。しかしながら、実際問題として、伝送時のデータ損失は十分に起こりうる事態であり、このデータの欠損により復元画像の画質が大きく劣化してしまう。

そこで、一般的には、このような低遅延のデータ伝送を行う受信装置１０３には、復号画像の画質向上のために、損失したデータを、冗長データを用いて復元したり、以前に伝送されたデータで代用したりする機能が不可欠になる。

ところで、このような低遅延のデータ伝送を目的としたコーデック方法は、圧縮率を上げることが困難であり、画像データの伝送に通信回線の容量を最大限使用する場合が多い。つまり通信帯域に余裕が無い場合が多い。したがって、画像データ送信中に、例えば冗長データ等のその他のデータを送信することは困難である。つまり、画像データの冗長度を上げることは困難であり、十分な復元性能を得られないことも多い。

したがって、受信装置１０３においては、冗長符号化を用いたエラー訂正よりも、以前に伝送されたデータで代用するエラー隠蔽機能が重要であり、不可欠である。つまり、低遅延データ伝送用の受信装置１０３においては、一般的に、このようなエラー隠蔽機能が搭載されている。

送信装置１０２は、この受信装置１０３のエラー隠蔽機能をより有効活用することにより、データ伝送に必要な帯域幅を低減させる。つまり、上述したように、送信装置１０２は、送信データの一部（一部のプレシンクトの符号化データ）を破棄する。受信装置１０３は、その破棄されたプレシンクトの符号化データを、伝送時に損失したデータと同様に、以前に伝送されたデータで代用し、エラー隠蔽を行う。

したがって、送信装置１０２は、画像データ伝送において復号画像の画質劣化を抑制しながら伝送に必要な帯域幅を低減させることができる。

ここで、１つの特徴として、送信装置１０２によるデータ破棄のアルゴリズムは、受信装置１０３によるエラー隠蔽のアルゴリズムと対応していなくてもよい。つまり、解析部１２１の解析処理のアルゴリズムは任意である。また、ロス解析部１３３によるデータ補完のアルゴリズムも任意である。したがって、受信装置１０３は、データ補完を、送信装置１０２と連携して行うのではなく、受信装置１０３単体で独自に行う。

換言すれば、受信側に特別な機能を追加する必要がなく、また、受信側のアルゴリズムにも依存しないので、送信装置１０２は、高い汎用性を有する。つまり、受信装置１０３は、単独でエラー隠蔽（データ補完）を行うことができればよい。

また、送信装置１０２は、上述したように、符号化データの一部を破棄するのみである。したがって、符号化部１２３に汎用的なエンコーダを用いることができ、新たに特殊なエンコーダを開発する必要がない。従って、送信装置１０２は、容易かつ安価に実現することができる。

また、他の特徴として、上述したように、送信装置１０２は、解析処理を行い現画像と前画像とを比較するので、その類似度が高いデータを選択して破棄することができる。受信装置１０３において損失した画像を他の画像で補完する場合、画質向上の目的からすると、理論的に、損失した画像とより類似する画像を用いるのが望ましい。つまり、どのようなアルゴリズムを採用するにしても、受信装置１０３は、損失した画像とより類似する画像を用いてデータ補完を行うようにするのが一般的である。

したがって、送信装置１０２は、破棄するデータをこのように選択することにより、受信装置１０３が補完しやすいデータを破棄することができる。つまり、送信装置１０２は、例えば、破棄するデータをランダムに選択したり、画像の所定の位置のデータを無条件に破棄したりするよりも、復号画像の画質劣化をより低減させることができる。

もちろん、破棄するデータの選択方法は、これ以外であってもよい。例えば、解析部１２１が現画像の画像データを解析し、その画像データについて任意の特徴を求めるようにしてもよい。そして、その特徴が所定の基準を満たす場合、つまり、現画像の画像データが所定の特徴を有する場合、破棄部１７１が、現画像の符号化データを破棄し、現画像がその特徴を有さない場合、送信部１２５がその符号化データを送信するようにしてもよい。

また、以上においては基準画像（の画像データ）として前画像（の画像データ）を用いるように説明したが、基準画像（の画像データ）は現画像（の画像データ）以外の画像（の画像データ）ならどのような画像（の画像データ）であっても良い。

なお、上述したように、送信装置１０２と受信装置１０３は、互いに独立に処理を行うため、受信装置１０３が全てのデータを補完することが保証されない。しかしながら、仮に受信装置１０３がデータを補完できなくても、そのピクチャのそのプレシンクトの画像が復号されないだけであり、復号処理全体が破綻することはない。したがって、このような事態が頻発しない限り、復号画像に与える影響はそれほど大きくはない。

もちろん、送信装置１０２と受信装置１０３が連携して動作するようにしてもよい。送信装置１０２において破棄するデータを選択するアルゴリズムと、受信装置１０３において損失したデータを補完するアルゴリズムが対応している方が、送信装置１０２におけるデータ破棄の影響をより正確に除去することができ、復号画像の画質向上に寄与することができる。ただし、その場合、送信装置１０２の汎用性が低くなる恐れがある。また、その連携のために、送信装置１０２や受信装置１０３の処理の負荷が増大する恐れもある。さらに、その連携のために、通信帯域の確保が必要になる恐れもある。

以上に説明した、送信装置１０２や受信装置１０３の各種処理の処理単位（例えば、符号化単位等）はいずれも任意であり、例えばピクチャ単位等、上述した以外の処理単位であってもよい。ただし、この処理単位は、遅延時間と関連するので、処理単位が大きくなると低遅延のデータ伝送が実現困難になる恐れもある。

図１において説明した各装置の構成は、上述した以外であってもよい。

例えば、図１においては、撮像装置１０１において撮像されて生成された撮像画像の画像データが、送信装置１０２に入力されるように説明したが、受信装置１０３に伝送する画像データは、どのような画像データであってもよい。例えば、送信装置１０２が記録媒体より画像データを読み出すようにしてもよい。すなわち、撮像装置１０１は省略可能である。

また、受信装置１０３より出力される画像データは、どのように処理されても良く、例えば記録媒体に記録されるようにしてもよい。つまり、表示装置１０４も省略可能である。

さらに、各装置は、上述した以外の構成を有するようにしてもよい。また、各装置が複数設けられるようにしてもよい。例えば、１台の送信装置１０２に対して複数の受信装置１０３が接続されるようにし、送信装置１０２より複数の受信装置１０３に対して画像データがでんそうされるようにしてもよい。その際、各受信装置１０３が有するエラー隠蔽機能のアルゴリズムが互いに異なるようにすることもできる。

＜２．第２の実施の形態＞
［処理の流れの説明］
以上においては、送信装置１０２が伝送データを間引くことにより通信帯域を節約することを説明したが、その帯域を節約した分、符号化データの符号量を増やすようにしてもよい。

この場合、図３において制御部１５５は、破棄部１７１に判定結果を供給した後（Ｃ１０１）、さらに、ビットレートを上げるように（量子化ステップサイズを小さくするように）、量子化部１６２に対して制御信号Ｃ１０２を送信する。量子化部１６２は、この制御に基づいて量子化ステップサイズを調整することにより、符号化データの符号量を増やす。

図１２は、その場合の送信処理の流れの例を説明するフローチャートである。

この場合も、ステップＳ１６１乃至ステップＳ１６６の各処理は、図９のステップＳ１０１乃至ステップＳ１０６の各処理と同様に実行される。ただし、ステップＳ１６６において符号化データが破棄されると、処理はステップＳ１６７に進む。ステップＳ１６７において、量子化部１６２は、制御部１５５の制御に基づいて量子化ステップサイズを小さくし、符号化データの符号量を増やす（ビットレートを上げる）。ステップＳ１６７の処理を終了すると、送信処理は終了する。

このように、送信装置１０２は、データを破棄することにより、データ送信に使用する帯域を節約した分、送信する符号化データのビットレートを上げる。つまり、受信装置１０２が受信する符号化データのビットレートが上がる。送信装置１０２が破棄した符号化データは、理論上、送信済みの符号化データで補完されるので、結局復号される符号化データのビットレートが上がることになる。つまり、送信装置１０２は、復号画像の画質劣化をより低減させることができる。

なお、このとき、解析部１２１による解析処理と符号化部１２３による符号化処理を並行して実行するために、制御部１５５は、現在処理対象のプレシンクトの符号化データではなく、次以降のプレシンクトの符号化データのビットレートを制御する。もちろん、現在処理対象のプレシンクトの符号化データのビットレートを制御することも可能であるが、その場合、符号化処理を解析処理の後に行わなければならないので遅延時間が増大する恐れがある。

＜３．第３の実施の形態＞
［処理の流れの説明］
また、破棄する符号化データの代わりに、他のデータを送信させるようにしてもよい。例えば、節約した通信帯域を利用して、符号化データの冗長データを送信するようにしてもよい。

この場合、図３において、冗長符号化部１７３は、符号化データに対して冗長符号化を行い、冗長データを生成するが、生成した冗長データを送信せずに保持する。若しくは、冗長符号化部１７３は、生成した冗長データを符号化データとともに送信させるが、符号化データの送信を優先させ、ネットワーク１１０の帯域制限等により、送信できなかった冗長データを保持する。

これに対して、制御部１５５は、破棄部１７１に判定結果を供給し（Ｃ１０１）、符号化データを破棄させた後、さらに、その破棄させた符号化データの代わりに、保持している冗長データを送信させるように、冗長符号化部１７３に対して制御信号Ｃ１０３を送信する。冗長符号化部１７３は、この制御に基づいて、保持している冗長データを送信する。

図１３は、その場合の送信処理の流れの例を説明するフローチャートである。

この場合も、ステップＳ１８１乃至ステップＳ１８４の各処理は、図９のステップＳ１０１乃至ステップＳ１０４の各処理と基本的に同様に実行される。ただし、ステップＳ１８４において符号化データがパケット化されてパケットが生成されると、処理はステップＳ１８５に進む。

ステップＳ１８５において、冗長符号化部１７３は、生成したパケットを、例えばリードソロモン（RS（Reed-Solomon））符号等の誤り訂正符号を用いて冗長符号化し、冗長データ（冗長パケット）を生成する。冗長符号化が行われると、送信部１３５は、ステップＳ１８６において、生成されたパケットを、ネットワーク１１０を介して受信装置１０３に送信する。このとき、送信部１３５は、符号化データのパケットを優先的に送信させるか、若しくは、符号化データのパケットのみ送信させる。上述したように、送信されなかった冗長データのパケットは、冗長符号化部１７３において保持される。

ステップＳ１８６の処理が終了すると、送信処理が終了される。

また、ステップＳ１８３において、現画像が前画像と類似していると判定された場合、処理はステップＳ１８７に進む。ステップＳ１８７において、破棄部１７１は、画像が類似するとされた現画像の符号化データを破棄する。ステップＳ１８８において、送信部１２５は、破棄された符号化データのパケットの代わりに、冗長符号化部１７３により保持されている未送信の冗長パケットを送信する。

ステップＳ１８８の処理が終了すると、送信処理が終了される。

このように、送信装置１０２は、データを破棄することにより、データ送信に使用する帯域を節約した分を利用して冗長データを送信する。このようにすることにより、帯域を節約しない場合よりも冗長データを多く送信することができるので、送信装置１０２は、符号化データの冗長度を向上させることができる。つまり、送信装置１０２は、伝送する符号化データの復元性能を向上させ、復号画像の画質劣化をより低減させることができる。

なお、破棄する符号化データの量に応じて冗長度、つまり、冗長符号化部１７３が生成する冗長データのデータ量を調整することができるようにしてもよい。

＜４．第４の実施の形態＞
［送信装置・受信装置の主な構成例］
破棄する符号化データの代わりに送信する他のデータは、冗長データ以外のどのようなデータであってもよい。例えば、受信装置１０３におけるエラー隠蔽処理を制御する情報を送信するようにしてもよい。

例えば、受信装置１０３が現画像に置き換える前画像を複数のプレシンクトの中から選択することができ、その受信装置１０３がその選択において適切な画像を選択することができるように、送信装置１０２から、置き換え可能か否かを示す情報がヘッダ情報（隠蔽用ヘッダ）として供給されるようなシステムが考えられる。

このようなシステムにおいても、送信装置１０２が符号化データを破棄すると、受信装置１０３においてその符号化データについての置き換えが行われる。このとき、上述したような送信装置１０２より供給される隠蔽用ヘッダの情報を利用することにより、受信装置１０３は、より適切なプレシンクトを前画像として選択することができる。つまり、受信装置１０３は、より適切な符号化データで置き換えを行うことができる。すなわち、送信装置１０２は、破棄したデータの代わりにこのような隠蔽用ヘッダを送信することにより、復号画像の画質劣化をより低減させることができる。

換言するに、本発明は、送信装置１０２と受信装置１０３との間で制御情報の授受を行うような、一般的でないシステムにも容易に適用することができる。

図１４は、その場合の送信装置１０２および受信装置１０３の構成例を示すブロック図である。

図１４に示されるように、送信装置１０２は、図２を参照して説明した構成の他に、隠蔽用ヘッダ生成部３０１を有する。

この場合、解析部１２１は、入力される画像データに対して、エラー隠蔽のための解析を行う。なお、エラー隠蔽とは、データ伝送時に発生する伝送誤りを隠蔽することである。解析部１２１は、入力された画像データと、記憶部１２２より読み出した１つ前のピクチャの画像データとを比較する。つまり、解析部１２１は、連続する２つのピクチャ（フレームまたはフィールド）間で、互いに同じ位置のプレシンクトの画像を比較する。解析部１２１は、その比較結果を解析結果として隠蔽用ヘッダ生成部１２３に供給する。

隠蔽用ヘッダ生成部３０１は、その解析結果に基づいて、プレシンクトのエラーの隠蔽方法を示す隠蔽情報である隠蔽用ヘッダを生成する。より具体的に説明すると、隠蔽用ヘッダ生成部３０１は、受信装置１０３によるエラー隠蔽処理の際に、エラーが発生したプレシンクトに置き換え可能なプレシンクトを示す情報（どのピクチャのどのプレシンクトのデータなら置き換え可能かを示す情報）を含むヘッダ情報（隠蔽用ヘッダ）を生成し、それをパケタイズ処理部１２４に供給する。

パケタイズ処理部１２４は、符号化部１２１より供給される符号化データと隠蔽用ヘッダ生成部３０１より供給される隠蔽用ヘッダから伝送用のパケットを作成する（パケット化する）つまり、パケタイズ処理部１２４は、符号化データに隠蔽用ヘッダを付加（多重化）してパケット化する。このように生成されたパケットは、送信部１２５により受信装置１０３に送信される。

なお、解析部１２１は、例えば図１乃至図１３を参照して上述した各場合と同様に、前画像と現画像の類似度判定を行い、その判定結果をパケタイズ処理部１２４や符号化部１２３に供給する。

パケタイズ処理部１２４は、現画像が前画像と類似する場合、符号化データを破棄し、隠蔽用ヘッダ生成部３０１より供給された隠蔽用ヘッダのみをパケット化し、送信部１２５に送信させる。

なお、受信装置１０３の構成は、基本的に図２を参照して説明した場合と同様である。

送信装置１０２より送信されたパケットは、受信部１３１により受信され、デパケタイズ処理部１３２によりデパケタイズされて符号化データが抽出される。抽出された符号化データは、ロス解析部１３３に供給される。また、このとき、デパケタイズ処理部１３２は、符号化データとともに、隠蔽用ヘッダも抽出し、ロス解析部１３３に供給する。

ロス解析部１３３は、隠蔽用ヘッダに基づいて、記憶部１３４に記憶されている符号化データを適宜利用しながら、伝送誤りの発生に対してエラー隠蔽を行う。

ロス解析部１３３は、隠蔽用ヘッダを参照して、データの置き換えに使用可能な過去の符号化データ（つまり、どのピクチャのどのプレシンクトのデータを用いて置き換えるか）を特定する。そして、ロス解析部１３４は、その特定した符号化データを記憶部１３４より読みだし、伝送誤りが発生したプレシンクトを、そのデータで置き換える。

復号部１３５は、ロス解析部１３４より供給されるエラー隠蔽処理後の符号化データを復号し、ベースバンドの画像データを出力する。

［隠蔽用ヘッダの説明］
次に、隠蔽用ヘッダについて説明する。図１５は、隠蔽用ヘッダの構成例を説明する図である。図１５に示されるように、隠蔽用ヘッダ３４０は、３２ビットの情報であり、ピクチャID３４１、プレシンクトID３４２、置き換え先頭ピクチャID３４３、RF（Replacement Flag）３４４、SF（Slide Flag）３４５、および置き換え先頭プレシンクトID３４６を含む。

ピクチャID３４１は、動画像データ全体において現在の（処理対象の）ピクチャを識別する８ビットの識別情報である。プレシンクトID３４２は、ピクチャ内において現在の（処理対象の）プレシンクトを識別する８ビットの識別情報である。

置き換え先頭ピクチャID３４３は、それぞれが現在のプレシンクトに置き換え可能なプレシンクトを有し、現在のピクチャまで時間方向に連続するピクチャ群の先頭のピクチャを示す８ビットの識別情報である。

つまり、置き換え先頭ピクチャID３４３は、現在のプレシンクトを、どのピクチャまで遡って置き換え可能であるかを示す情報である。この置き換え先頭ピクチャID３４３には、動画像データ全体においてピクチャを識別する識別情報（ピクチャID３４１と同種のID）がセットされる。

RF３４４は、１ビットのフラグ情報であり、現在のプレシンクトを、置き換え先頭ピクチャID３４３より後のピクチャのデータで置き換え可能か否かを示す。当然、置き換え先頭ピクチャID３４３を参照することにより、過去のピクチャを用いて置き換え可能であるか否かを判定することも可能であるが、RF３４４を用いる方が、判定が容易になる。

SF３４５は、１ビットのフラグ情報であり、現在のプレシンクトを、同一ピクチャの過去のプレシンクトのデータで置き換えが可能かを示すビットである。置き換え先頭プレシンクトID３４６は、現在のピクチャ内において、現在のプレシンクトまで空間方向に連続する、現在のプレシンクトに置き換え可能なプレシンクト群の先頭のプレシンクトを示す６ビットの識別情報である。

つまり、置き換え先頭プレシンクトID３４６は、現在のプレシンクトを、どのプレシンクトまで遡って置き換え可能であるかを示す情報である。

この置き換え先頭プレシンクトID３４６には、ピクチャ内において現在のプレシンクトを識別する識別情報（プレシンクトID３４２と同種のID）が６ビットに圧縮されてセットされる。

なお、この隠蔽用ヘッダ３４０のビット長は任意である。従って、置き換え先頭プレシンクトID３４６のビット長をプレシンクトID３４２と同じビット長としてもよい。また、上述した各情報のビット長も任意である。

以上のように、隠蔽用ヘッダ３４０には、現在の（処理対象の）プレシンクトを置き換え可能なデータの範囲を示す情報が含まれる。ロス解析部１３３は、この情報に基づいて、その範囲を把握し、記憶部１３４に保持されている、その範囲に含まれる符号化データを用いてデータの置き換えを行う。

再度図８を参照して、隠蔽用ヘッダ３４０の各情報についてより具体的に説明する。なお、プレシンクト２５３−３が現在の（処理対象の）プレシンクトであるとし、このプレシンクト２５３−３において伝送誤りが発生したとする。

このときプレシンクト２５３−３の（全てまたは一部の）パケットに付加された隠蔽用ヘッダ３４０の、RF３４４およびSF３４５の値がオフ（例えば「０」）であれば、プレシンクト２５３−３に置き換え可能なプレシンクトが存在しない。

また、RF３４４の値がオフでSF３４５の値がオン（例えば「１」）であるとき、ピクチャ２５３内において置き換え可能なプレシンクトが存在する。例えば、置き換え先頭プレシンクトID３４６がプレシンクト２５３−２を示す値であれば、プレシンクト２５３−３は、プレシンクト２５３−２により置き換えることができる。

また、例えば、置き換え先頭プレシンクトID３４６がプレシンクト２５３−１を示す値であれば、プレシンクト２５３−３は、プレシンクト２５３−１およびプレシンクト２５３−２のいずれでも置き換え可能である。

実際には、プレシンクトは数ライン程度の画素で構成される場合が多く、一般的な画像の場合、隣接するプレシンクトの類似性が高く、その差分が小さくなることが多い。つまり、同一ピクチャ内の近いプレシンクトほど、置き換えることができる可能性が高い。

そこで隠蔽用ヘッダ３４０においては、置き換え先頭プレシンクトID３４６により、置き換え可能なプレシンクトのうち、現在の（処理対象の）プレシンクトから最も遠い（時間的に最も早い）プレシンクトが示される。換言すれば、置き換え先頭プレシンクトID３４６により示されるプレシンクトよりも後の（現在のプレシンクトまでの間の）プレシンクトは、置き換え可能であることが保証されている。

また、RF３４４の値がオンであれば、他のピクチャに置き換え可能なプレシンクトが存在する。例えば、置き換え先頭ピクチャID３４３がピクチャ２５２を示す値であれば、プレシンクト２５３−３は、ピクチャ２５２の同じ位置のプレシンクト２５２−３により置き換えることができる。

また、例えば、置き換え先頭ピクチャID３４３がピクチャ２５１を示す値であれば、プレシンクト３５３−３は、ピクチャ２５１の同じ位置のプレシンクト２５１−３、および、ピクチャ２５２の同じ位置のプレシンクト２５２−３のいずれでも置き換え可能である。

通常の動画像の場合、シーンチェンジ等の特異点を除き、基本的に連続するピクチャの絵柄は近似し、その差分は小さい。つまり、一般的な画像の場合、時間的に近いピクチャほど、置き換え可能なプレシンクトを有する可能性が高い。

そこで隠蔽用ヘッダ３４０においては、置き換え先頭ピクチャID３４３により、置き換え可能なプレシンクトを有するピクチャのうち、現在の（処理対象の）ピクチャから最も遠い（時間的に最も早い）ピクチャが示される。換言すれば、置き換え先頭ピクチャID３４３により示されるピクチャよりも後の（現在のピクチャまでの間の）ピクチャは、置き換え可能なプレシンクトを有することが保証されている。

ただし、実際には、記憶部６３２がそのデータを保持していなければ、ロス解析部１３３はプレシンクトを置き換えることができない。例えば、置き換え先頭ピクチャID３４３がピクチャ２５１を示す値であり、かつ、記憶部１３４がピクチャ２５２のデータを保持していれば、ロス解析部１３３は、プレシンクト２５３−３を、プレシンクト２５２−３で置き換えることができる。

以上のように、隠蔽用ヘッダ３４０により、置き換え可能なデータが存在する位置（範囲）が示される。つまり、この隠蔽用ヘッダ３４０を生成する送信装置１０２が、この範囲を指定する。より具体的には、解析部１２１は、今回入力されたプレシンクトのデータと、記憶部１２２に保持されている１つ前のプレシンクトのデータとの差分値を算出する。

また、解析部１２１は、今回入力されたプレシンクトのデータと、記憶部１２２に保持されている１つ前のピクチャの同じ位置のプレシンクトのデータとの差分値を算出する。解析部１２１は、これらの演算結果に基づいて、今回入力されたプレシンクトのデータと、同一ピクチャの１つ前のプレシンクト、または、１つ前の同一位置のプレシンクトとの類似性を判定し、置き換え可能か否かを判定する。

隠蔽用ヘッダ生成部３０１は、この判定結果に従い、置き換え不可能である場合、置き換え先頭ピクチャID３４３や置き換え先頭プレシンクトID３４６の情報を適宜更新する。

［処理の流れの説明］
次に、この場合の、送信装置１０１により実行される送信処理の流れの例について、図１６のフローチャートを参照して説明する。

送信装置１０１に画像データが入力され、送信処理が開始されると、解析部１２１は、ステップＳ２０１において、図９のステップＳ１０１の場合と同様に解析処理を行う。解析処理の詳細については後述する。解析処理が終了すると、処理はステップＳ２０２に進む。ステップＳ２０２において、符号化部１２３は、図９のステップＳ１０２の場合と同様に、現画像のデータを符号化し符号化データを生成する。

ステップＳ２０３において、隠蔽用ヘッダ生成部３０１は、隠蔽用ヘッダ生成処理を行う。隠蔽用ヘッダ生成処理の詳細については後述する。隠蔽用ヘッダ生成処理が終了すると、処理は、ステップＳ２０４に進む。

ステップＳ２０４において、パケタイズ処理部１２４は、図９のステップＳ１０３の場合と同様に、ステップＳ２０１において実行される解析処理の結果に基づいて、現画像と前画像が類似しているか否かを判定する。類似していない場合、処理は、ステップＳ２０５に進む。

ステップＳ２０５において、パケタイズ処理部１２４は、現画像の符号化データに、ステップＳ２０３の処理により生成された隠蔽用ヘッダを付加してパケット化する。このとき、生成したパケットが、例えばリードソロモン（RS（Reed-Solomon））符号等の誤り訂正符号を用いて冗長符号化され、冗長データ（冗長パケット）が生成されるようにしても良い。

ステップＳ２０６において、送信部１２５は、図９のステップＳ１０５の場合と同様に、パケタイズ処理部１２４により生成されたパケットを、ネットワーク１１０を介して受信装置１０３に送信する。パケットが送信されると送信処理が終了する。

なお、ステップＳ２０４において、現画像と前画像が類似していないと判定された場合、処理はステップＳ２０７に進む。ステップＳ２０７において、パケタイズ処理部１２４は、処理対象の（現画像の）符号化データを破棄する。パケタイズ処理部１２４は、ステップＳ２０８において、隠蔽用ヘッダのみをパケット化する。ステップＳ２０８の処理が終了すると、処理はステップＳ２０６に戻り、ステップＳ２０８の処理により生成されたパケットが、送信部１２５により送信される。パケットが送信されると送信処理が終了する。

なお、送信装置１０２は、以上のような送信処理を、画像データが１プレシンクト分入力される度に繰り返し実行する。

次に、図１６のステップＳ２０１において実行される解析処理の流れの例を、図１７のフローチャートを参照して説明する。

解析処理が開始されると、解析部１２１は、ステップＳ２２１において、記憶部１２２より前画像の画像データを取得する。ステップＳ２２２において、解析部１２１は、現在の（処理対象の）プレシンクトと、記憶部１２２より読み出した前ピクチャの同じプレシンクト（１つ前のピクチャの同じ位置のプレシンクト）との差分計算を行う。

ステップＳ２２３において、解析部１２１は、その差分が予め定められた所定の閾値以下であるか否かを判定する。差分が閾値以下であると判定した場合、処理はステップＳ２２４に進む。ステップＳ２２４において、解析部１２１は、解析結果として「前ピクチャ置き換え可」を設定し、ステップＳ２２６に処理を進める。また、ステップＳ２２３において、差分が閾値より大きいと判定した場合、解析部１２１は、ステップＳ２２５に処理を進め、解析結果として「前ピクチャ置き換え不可」を設定し、ステップＳ２２５に処理を進める。

解析部１２１は、ステップＳ２２６において、現在のプレシンクトと、記憶部１２２より読み出した前プレシンクト（１つ前のプレシンクト）との差分計算を行う。ステップＳ２２７において、解析部１２１は、その差分が予め定められた所定の閾値以下であるか否かを判定する。

差分が閾値以下であると判定した場合、解析部１２１は、ステップＳ２２８に処理を進め、解析結果として「前プレシンクト置き換え可」を設定する。また、ステップＳ２２７において、差分が閾値より大きいと判定した場合、解析部１２１は、ステップＳ２２９に処理を進め、解析結果として「前プレシンクト置き換え不可」を設定する。

ステップＳ２３０において、解析部１２１は、図１０のステップＳ１２４の場合と同様に、パケタイズ処理部１２４に判定結果を通知する。ステップＳ２３１において、解析部１２１は、図１０のステップＳ１２５の場合と同様に、現画像の画像データを記憶部１２２に供給し、前画像として使用できるように記憶させる。ステップＳ２３１の処理が終了すると、解析処理は終了し、処理は図１６のステップＳ２０１に戻り、ステップＳ２０２以降の処理が実行される。

以上のように、各処理を実行することにより、解析部１２１は、フレーム間の画像の類似性を判定することができ、隠蔽用ヘッダ生成部１２３に、隠蔽用ヘッダ３４０の生成のために必要な情報を提供することができる。

次に、隠蔽用ヘッダ生成部３０１による隠蔽用ヘッダ生成処理の流れの例を図１８のフローチャートを参照して説明する。

隠蔽用ヘッダ生成処理が開始されると、隠蔽用ヘッダ生成部３０１は、ステップＳ２５１において、解析結果として「前ピクチャ置き換え可」がセットされているか否かを判定する。

「前ピクチャ置き換え可」がセットされていると判定した場合、隠蔽用ヘッダ生成部３０１は、ステップＳ２５２に処理を進め、置き換え先頭ピクチャID３４３の値を前回と同じ値にセットする。ステップＳ２５３において、隠蔽用ヘッダ生成部３０１は、前ピクチャ置き換えフラグであるRF３４４の値をオン（例えば、「１」）にし、処理をステップＳ２５６に進める。

また、ステップＳ２５１において、「前ピクチャ置き換え不可」がセットされていると判定した場合、隠蔽用ヘッダ生成部３０１は、ステップＳ２５４に処理を進め、置き換え先頭ピクチャID３４３の値を現在のピクチャの識別情報に更新する。ステップＳ２５５において、隠蔽用ヘッダ生成部３０１は、前ピクチャ置き換えフラグであるRF３４４の値をオフ（例えば、「０」）にし、処理をステップＳ２５６に進める。

ステップＳ２５６において、隠蔽用ヘッダ生成部３０１、解析結果として「前プレシンクト置き換え可」がセットされているか否かを判定する。

「前プレシンクト置き換え可」がセットされていると判定した場合、隠蔽用ヘッダ生成部３０１は、処理をステップＳ２５７に進め、置き換え先頭プレシンクトID３４６の値を前回と同じ値にセットする。ステップＳ２５８において、隠蔽用ヘッダ生成部３０１は、前プレシンクト置き換えフラグであるSF３４５の値をオン（例えば、「１」）にし、隠蔽用ヘッダ生成処理を終了する。

また、ステップＳ２５６において、「前プレシンクト置き換え不可」がセットされていると判定した場合、隠蔽用ヘッダ生成部３０１は、処理をステップＳ２５９に進め、置き換え先頭プレシンクトID３４６の値を現在のプレシンクトの識別情報に更新する。ステップＳ２６０において、隠蔽用ヘッダ生成部３０１は、前プレシンクト置き換えフラグであるSF３４５の値をオフ（例えば、「０」）にし、隠蔽用ヘッダ生成処理を終了する。

以上のように各処理を行うことにより、隠蔽用ヘッダ生成部３０１は、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させるために参照される隠蔽用ヘッダ３４０を生成することができる。この隠蔽用ヘッダ３４０が受信装置１０３に提供されることにより、受信装置１０３は、ピクチャ単位よりも小さいプレシンクト単位で適切にエラー隠蔽処理を行うことができるようになる。

次に、受信装置１０３により実行される受信処理の流れの例を図１９のフローチャートを参照して説明する。

受信処理が開始されると、受信部１３１は、ステップＳ３０１において、ネットワーク１１０を介して送信装置１０２より送信されるパケットを受信する。ステップＳ３０２においてデパケタイズ処理部１３２は、受信されたパケットをデパケタイズし、符号化データを抽出する。

ステップＳ３０３において、ロス解析部１３３は、現在の（処理対象の）プレシンクトの符号化データにおいてロス（エラー）が発生したか否かを判定する。ロスが発生していないと判定した場合、処理は、ステップＳ３０４に進む。ステップＳ３０４において、ロス解析部１３３は、符号化データを記憶部１３４に供給して記憶させ、次回以降、前画像として使用することができるようにする。

ステップＳ３０４の処理が終了すると、処理は、ステップＳ３１２に進む。

また、ステップＳ３０３において、ロスが発生したと判定した場合、処理はステップＳ３０５に進む。ステップＳ３０５において、ロス解析部１３３は、隠蔽用ヘッダ３４０を取得できたか否かを判定する。取得できなかったと判定した場合、正確なエラー隠蔽を行うことが困難であるので、ロス解析部１３３はエラー隠蔽を行わない。つまり、処理はステップＳ３１２に進む。

また、ステップＳ３０５において、隠蔽用ヘッダ３４０を取得したと判定した場合、処理は、ステップＳ３０６に進む。ステップＳ３０６において、ロス解析部１３３は、その隠蔽用ヘッダ３４０の情報に基づいて、前ピクチャの同じプレシンクト（１つ前のピクチャの同じ位置のプレシンクト）で置き換え可能か否かを判定する。RF３４４の値がオン（例えば「１」）であり、置き換え可能と判定した場合、処理は、ステップＳ３０７に進む。

ステップＳ３０７において、ロス解析部１３３は、記憶部１３４より読み出した前ピクチャのピクチャIDの値が、置き換え先頭ピクチャID３４３以上であるか否かを判定する。つまり、ロス解析部１３３は、置き換え先頭ピクチャIDで示されるピクチャの方が、記憶部１３４より読み出した前ピクチャよりも古いか否かを判定する。

記憶部１３４より読み出した前ピクチャが、置き換え先頭ピクチャIDで示されるピクチャよりも後であると判定された場合、処理はステップＳ３０８に進む。ステップＳ３０８において、ロス解析部１３３は、現在の（処理対象）のプレシンクトを、記憶部１３４より読み出した前ピクチャの同じ位置のプレシンクトに置き換える。ステップＳ３０８の処理が終了すると、処理はステップＳ３１２に進む。

また、ステップＳ３０７において、記憶部１３４より読み出した前ピクチャのピクチャIDの値が、置き換え先頭ピクチャIDより小さいと判定された場合、置き換え可能なピクチャのデータが記憶部１３４に保持されていないので、ロス解析部１３３はエラー隠蔽を行わない。つまり、処理はステップＳ３１２に進む。

また、ステップＳ３０６において、記憶部１３４より読み出した前ピクチャの同一の位置のプレシンクトで置き換えることができないと判定された場合、処理はステップＳ３０９に進む。

ステップＳ３０９において、ロス解析部６３１は、記憶部１３４より読み出した同ピクチャの前プレシンクト（同じピクチャの１つ前のプレシンクト）で置き換え可能か否かを判定する。SF３４５の値がオフ（例えば「０」）であり、置き換え可能でないと判定された場合、ロス解析部１３３はエラー隠蔽を行わない。つまり、処理はステップＳ３１２に進む。

また、ステップＳ３０９において、SF３４５の値がオン（例えば「１」）であり、記憶部１３４より読み出した同ピクチャの前プレシンクトで置き換え可能であると判定された場合、処理はステップＳ３１０に進む。ステップＳ３１０において、ロス解析部１３３は、記憶部１３４より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID３４６以上であるか否かを判定する。

記憶部１３４より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID３４６より小さいと判定された場合、記憶部１３４に置き換え可能なプレシンクトが保持されていないので、ロス解析部１３３はエラー隠蔽を行わない。つまり、処理はステップＳ３１２に進む。

つまり、記憶部１３４より読み出された前プレシンクトが、置き換え先頭プレシンクトID３４６により示されるプレシンクトより前のプレシンクトであると判定された場合、記憶部１３４に置き換え可能なプレシンクトが保持されていないので、ロス解析部１３３はエラー隠蔽を行わない。つまり、処理はステップＳ３１２に進む。

また、記憶部１３４より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID３４６以上であると判定された場合、処理はステップＳ３１１に進む。つまり、記憶部１３４より読み出された前プレシンクトが、置き換え先頭プレシンクトID３４６により示されるプレシンクトより後のプレシンクトであると判定された場合、処理はステップＳ３１１に進む。

ステップＳ３１１において、ロス解析部１３３は、現在の（処理対象）のプレシンクトを、記憶部１３４より読み出した同ピクチャの前プレシンクトに置き換える。ステップＳ３１１の処理が終了すると、処理はステップＳ３１２に進む。

ステップＳ３１２において、復号部１３５は、符号化データを復号する。ステップＳ３１２の処理が終了すると、受信処理は終了する。

受信装置３０１は以上のように受信処理を行う。これにより、ロス解析部１３３は、隠蔽用ヘッダ３４０に基づいて、ピクチャ単位よりも小さいプレシンクト単位で適切にエラー隠蔽処理を行うことができる。つまり、ロス解析部１３３は、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させることができる。

なお、置き換え可能か否かを受信装置１０３において判断するようにし、上述したような隠蔽用ヘッダ３４０を用いずに、ピクチャ単位よりも小さい単位で置き換えを行うことができるようにしてもよいが、その場合、受信装置１０３においてバッファ量が増え、遅延時間が増大してしまう恐れがある。また、受信装置１０３側においては、データの欠損の可能性があるため、正確な判定に長時間を必要とする恐れがある。

そこで、上述したように、データが揃っている送信装置１０２において、置き換え可能か否かの判断を行い、隠蔽用ヘッダ３４０を用いてその情報を受信装置１０３に通知するようにすることにより、送信装置１０２は、受信装置１０３に、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させるようにすることができる。

このような場合であっても、送信装置１０２は、上述したように符号化データの一部を敢えて破棄して送信し、受信装置１０３にエラー隠蔽させることにより、画像データ伝送において画質劣化を抑制しながら伝送に必要な帯域幅を低減させることができる。

以上のように、送信装置１０２は、変化の少ないプレシンクトの符号化データを送信しないことによって、伝送帯域を節約することができる。このとき、受信装置側の補完機能を利用するため、送受信間で複雑なやり取りをする必要が無いので、送信装置１０２を容易に実現することができる。つまり、受信装置１０３が補完機能を有していればよく、送信装置１０２の簡単な変更のみで実現することができる。

また、節約した帯域に冗長符号などを挿入すれば、画質のビットレートを下げずに冗長度を増すことができる。さらに、節約した帯域を、次以降のプレシンクトに割り当てることでプレシンクト当たりの平均レートを増加させることもできる。

なお、以上においては符号化データを破棄するように説明したが、破棄するプレシンクトについては、ベースバンドの画像データの状態で破棄し、符号化処理を省略するようにしてもよい。この場合、符号化処理が省略されるので、その分、送信装置１０２の負荷を低減させることができる。ただし、この場合、同一のプレシンクトについて、解析部１２１による解析処理と、符号化部１２３による符号化処理を並行して実行することができない。そのため、データ伝送における遅延時間が増大する恐れがある。例えば、符号化処理の処理対象プレシンクトを、解析処理の処理対象プレシンクトより１つ遅らせることにより、符号化処理と解析処理を並行して実行することができ、遅延時間を多少低減させることは可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２０において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボードやマウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、有機ELディスプレイ（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクやSSD（Solid State Drive）などより構成される記憶部５１３、モデム、LAN（Local Area Network）インタフェース、USB（Universal Serial Bus）インタフェース、IEEE（Institute of Electrical and Electronic Engineers）１３９４インタフェース、ブルートゥースインタフェース、または無線LANインタフェースなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。

なお、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したネットワークシステムの主な構成例を示すブロック図である。 送信装置および受信装置の構成例を示すブロック図である。 送信装置のより詳細な構成例を示すブロック図である。 分析フィルタリングの概要を説明する図である。 分析フィルタリングの概要を説明する図４に続く図である。 分析フィルタリング結果を説明する図である。 復号部の構成例を示すブロック図である。 前画像の例を説明する図である。 送信処理の流れの例を説明するフローチャートである。 解析処理の流れの例を説明するフローチャートである。 受信処理の流れの例を説明するフローチャートである。 送信処理の他の例を説明するフローチャートである。 送信処理のさらに他の例を説明するフローチャートである。 送信装置および受信装置の他の構成例を示すブロック図である。 隠蔽用ヘッダの構成を説明する模式図である。 送信処理のさらに他の例を説明するフローチャートである。 解析処理の他の例を説明するフローチャートである。 隠蔽用ヘッダ生成処理の流れの例を説明するフローチャートである。 受信処理の他の例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

符号の説明

１００ ネットワークシステム， １０２ 送信装置， １０３ 受信装置， １２１ 解析部， １２２ 記憶部， １２３ 符号化部， １２４ パケタイズ処理部， １２５ 送信部， １３１ 受信部， １３２ デパケタイズ処理部， １３３ ロス解析部， １３４ 記憶部， １３５ 復号部， １５１ 取得部， １５２ 比較部， １５３ 判定部， １５４ 記憶制御部， １５５ 制御部， １６１ ウェーブレット変換部， １６２ 量子化部， １６３ エントロピ符号化部， １６４ レート制御部， １７１ 破棄部， １７２ パケット化部， １７３ 冗長符号化部， ３０１ 隠蔽用ヘッダ生成部

Claims (10)

1. 画像データを低域成分と高域成分に分割する処理を再帰的に繰り返すフィルタ処理において最終分割レベルの係数を１ライン生成するために必要なライン数分の画像データであるプレシンクトを処理単位とし、処理対象のプレシンクトの画像データである処理対象画像データと、前記処理対象のプレシンクトに対して所定の相対位置に位置するプレシンクトの画像データであり、前記処理対象画像データより以前に処理される基準画像データとの類似度を求め、前記類似度が所定の閾値に達しているか否かによって、前記処理対象画像データが前記基準画像データと類似しているか否かを求める解析処理を行う解析手段と、
   前記解析手段により解析された前記処理対象画像データを記憶する記憶手段と、
   前記処理対象画像データを符号化する符号化手段と、
   前記解析手段による解析の結果、前記処理対象画像データが前記基準画像データと類似している場合、前記処理対象画像データを破棄する破棄手段と、
   前記解析手段による解析の結果、前記処理対象画像データが前記基準画像データと類似していない場合、前記符号化手段により前記処理対象画像データが符号化されて生成された符号化データを送信する送信手段と
   を備え、
   前記解析手段は、前記記憶手段に記憶されている画像データを取得し、取得した前記画像データを前記基準画像データとして前記解析処理を行う
   情報処理装置。
2. 前記相対位置は、前記処理対象のプレシンクトと同じピクチャの、前記処理対象のプレシンクトに隣接し、前記処理対象のプレシンクトの１つ前に処理されるプレシンクトである
   請求項１に記載の情報処理装置。
3. 前記相対位置は、前記処理対象のプレシンクトと同じピクチャの、前記処理対象のプレシンクト近傍の、前記処理対象のプレシンクトより数プレシンクト前に処理されるプレシンクトである
   請求項１に記載の情報処理装置。
4. 前記相対位置は、前記処理対象のプレシンクトのピクチャより時間的に前のピクチャの、前記処理対象のプレシンクトと同じ位置のプレシンクトである
   請求項１に記載の情報処理装置。
5. 前記解析手段は、前記処理対象画像データと、前記相対位置が互いに異なる複数の前記基準画像データとの類似度を求める
   請求項１に記載の情報処理装置。
6. 前記記憶手段は、記憶する画像データを削除する場合、前記解析手段により使用される可能性の無い、若しくは、使用される可能性の低い画像データを優先的に削除する
   請求項１に記載の情報処理装置。
7. 前記破棄手段により前記処理対象画像データが破棄された場合、前記符号化手段は、前記符号化により生成する前記符号化データの符号量を増やす
   請求項１に記載の情報処理装置。
8. 前記符号化手段により前記処理対象画像データが符号化されて生成された前記符号化データに対して冗長符号化を行い、冗長データを生成する冗長符号化手段をさらに備える
   請求項１に記載の情報処理装置。
9. 前記送信手段は、前記処理対象画像データが前記基準画像データと類似している場合、前記冗長符号化手段により生成された前記冗長データを送信する
   請求項８に記載の情報処理装置。
10. 画像データを処理する情報処理装置の情報処理方法であって、
    解析手段は、画像データを低域成分と高域成分に分割する処理を再帰的に繰り返すフィルタ処理において最終分割レベルの係数を１ライン生成するために必要なライン数分の画像データであるプレシンクトを処理単位とし、処理対象のプレシンクトの画像データである処理対象画像データと、記憶手段から取得した、前記処理対象のプレシンクトに対して所定の相対位置に位置するプレシンクトの画像データであり、前記処理対象画像データより以前に処理される基準画像データとの類似度を求め、前記類似度が所定の閾値に達しているか否かによって、前記処理対象画像データが前記基準画像データと類似しているか否かを求める解析処理を行い、
    前記記憶手段は、解析された前記処理対象画像データを記憶し、
    符号化手段は、前記処理対象画像データを符号化し、
    破棄手段は、解析の結果、前記処理対象画像データが前記基準画像データと類似している場合、前記処理対象画像データを破棄し、
    送信手段は、解析の結果、前記処理対象画像データが前記基準画像データと類似していない場合、前記処理対象画像データが符号化されて生成された符号化データを送信する
    ステップを含む情報処理方法。

Images