JP4135395B2 - 符号化パケット伝送受信方法およびその装置ならびにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化データの伝送技術に関し、特に、動画像符号化パケット送受信方法およびその装置ならびにプログラムに関する。
【０００２】
【従来の技術】
近年、動画像データを少ない伝送帯域で効率良く伝送する方法として、ＭＰＥＧ(Moving Picture Expert Group)−４などの動画像圧縮符号化方式が用いられている。これらの圧縮符号化方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと予測残差画像データに２次元離散コサイン変換(Discrete Cosine Transform：ＤＣＴ）および量子化を施して圧縮した信号データを可変長符号化する。
【０００３】
ところで、可変長符号化されたビット列（ビットストリーム）は、その中の１ビットでも誤りが発生した場合、それ以後のビットストリームが正しく復号できなくなってしまう。そのため、ＭＰＥＧ−４では、誤り耐性技術として、例えば「再同期マーカー符号（Resync Marker）」と呼ばれるユニークワード（符号化データ中に現れない符号列）を符号化データ中に適当な間隔で挿入し、誤りが発生した場合にも、次の再同期マーカー符号によって符号語を正しく認識し、これ以降正しく復号できるようにしている。再同期マーカー符号（Resync Marker）は、マクロブロックの符号化データの切れ目に挿入され、且つ、その挿入位置はバイト境界に合わせられており、再同期マーカー符号とそれに続く任意の数のマクロブロック符号化情報で構成されるビデオパケット（VideoPacket）構造を形成している。すなわち、かかるビデオパケット構造により、ビット誤りが発生した場合でも、その次の再同期マーカー符号から再び復号を開始することが可能である。つまり、誤りの影響を空間的に局所化することが可能になっている。
【０００４】
あるいは、ビットストリームをパケット単位で伝送する場合でも、通常、ビデオパケット単位で伝送するため、パケットロスが発生した場合でも、同様にして、その次の再同期マーカー符号から再び復号を開始することが可能である。
【０００５】
しかしながら、ビット誤りあるいはパケットロスがバースト的に発生することによって、複数のビデオパケットが正しく復号できない場合には、復号画像の劣化は、著しく激しくなる、という問題点がある。
【０００６】
さらに、符号化に、フレーム間予測を用いているため、一度発生した画像の劣化が、後続フレームにも伝播してしまう、という問題点がある。
【０００７】
なお、本発明においては、入力した符号化パケットデータの再符号化を行っている。再符号化に関連する技術を開示した刊行物として、例えば特開平８−１１１８７０号公報等の記載も参照される。同公報には、前段で符号化され情報量圧縮を受けた画像情報を復号し得られた画像情報を再符号化する縦続接続再符号化における再符号化方法として、前段の画像情報の符号化における符号化パラメータを検出し、検出した符号化パラメータに適応するパラメータを決定し、復号された画像情報を該決定した符号化パラメータで再符号化する構成が開示されている。
【０００８】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする主たる課題は、良好な誤り耐性を有し、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して復号画像の画質の著しい劣化を防ぐ、ことができる装置、システム、方法とプログラムを提供することにある。
【０００９】
本発明は、上記課題を解決するとともに、動画像符号化パケットを伝送する際に占有する帯域の増大を抑えることができる装置、システム、方法とプログラムを提供することもその課題としている。
【００１０】
【課題を解決するための手段】
上記課題の少なくとも１つを解決するための手段を提供する本発明の１つのアスペクトに係る符号化データ伝送装置は、圧縮符号化されたデータを入力して変換出力する手段であって、前記圧縮符号化されたデータを復号して得られたデータを再符号化し前記再符号化したデータの全て又は選択したデータ、あるいは、前記圧縮符号化された符号化データのうち選択したデータを、複製データとして出力する手段と、前記圧縮符号化されたデータと、前記複製データとが、互いに予め定められた時間間隔離間して伝送されるように遅延を制御し多重化して出力する手段とを含む。
【００１１】
上記課題の少なくとも１つを解決するための手段を提供する本発明の他のアスペクトに係る符号化データ受信装置は、前記符号化データ伝送装置より送出される多重化データを受信し、前記多重化データから前記圧縮符号化されたデータと前記複製データとに分離する手段と、前記圧縮符号化されたデータの代替として、受信した前記複製データを用いて、符号化データを再構成して出力する手段と、を備えている。
【００１２】
本発明の他のアスペクトに係る符号化データ伝送装置は、所定の圧縮率で圧縮符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットのデータを、前記所定の圧縮率とは異なる圧縮率で圧縮符号化したパケットを作成し、前記作成したパケットを出力する変換部と、前記所定の圧縮率で圧縮符号化されている前記パケット（「第１類のパケット」という）と、前記変換部において再符号化して作成された前記パケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御部と、前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化部と、を含む。
【００１３】
本発明に係る上記符号化データ伝送装置において、前記変換部のかわりに、あるいは、前記変換部の後段に、入力したパケットに対して一定周期ごとに、あるいは、パケットのデータの所定のパラメータに基づき、伝送すべきパケットを決定する伝送判定部を含む構成としてもよい。
【００１４】
本発明に係る上記符号化データ伝送装置において、前記変換部のかわりに、あるいは、前記変換部の後段に、前記パケットに誤りが入っている場合と誤りが入っていない場合とについて復号処理を行い、復号結果の品質の比較を行い、伝送すべきパケットを決定する伝送判定部を含む構成としてもよい。
【００１５】
本発明の他のアスペクトに係る符号化データ受信装置は、互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットを、前記第１類のパケットと前記第２類のパケットとに分離する分離部と、分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するか検出する検出部と、前記第１、第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する生成部と、を含む。
【００１６】
本発明に係る上記符号化データ受信装置において、分離部の代わりに、互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットに対して、パケットの受信回数を解読し、前記受信回数に基づき、前記第１類のパケットと前記第２類のパケットとに分離する解読／分離部を備えた構成としてもよい。
【００１７】
本発明に係る符号化データ伝送／受信装置において、前記パケットは、動画像データを圧縮符号化し、パケット化した動画像パケットである。
【００１８】
上記課題の少なくとも１つを解決するための手段を提供する本発明の他のアスペクトに係る符号化データ伝送方法は、
（ａ）圧縮符号化されたデータを入力して変換出力する手段により、前記圧縮符号化されたデータを復号して得られたデータを再符号化し前記再符号化したデータの全て又は選択したデータ、あるいは、前記圧縮符号化されたデータのうちの選択したデータを、複製データとして出力するステップと、
（ｂ）前記圧縮符号化されたデータと、前記複製データとが互いに予め定められた時間間隔離間して伝送されるように遅延を制御し多重化して出力するステップと、を含む。
【００１９】
上記課題の少なくとも１つを解決するための手段を提供する本発明の他のアスペクトに係る符号化データ受信方法は、
（ａ）上記符号化データ伝送方法にしたがって送出される多重化データを受信し、前記多重化データから前記圧縮符号化されたデータと前記複製データとに分離するステップと、
（ｂ）前記圧縮符号化されたデータの代替として、受信した前記複製データを用いて、符号化データの再構成して出力するステップと、を含む。
【００２０】
上記課題の少なくとも１つを解決するための手段を提供する本発明の他のアスペクトに係るプログラムは、符号化パケット伝送装置を構成するコンピュータに、圧縮符号化されたデータを入力して変換出力する処理であって、
（ａ）前記圧縮符号化されたデータを復号して得られたデータを再符号化し前記再符号化したデータの全て又は選択したデータ、あるいは、前記圧縮符号化されたデータのうちの選択したデータを、複製データとして出力する処理と、
（ｂ）前記圧縮符号化されたデータと、前記複製データとが互いに予め定められた時間間隔離間して伝送されるように遅延を制御し多重化して出力する処理と、を実行させるためのプログラムよりなる。
【００２１】
上記課題の少なくとも１つを解決するための手段を提供する本発明の他のアスペクトに係るプログラムは、上記符号化データ伝送装置から送出される多重化データを伝送路を介して受信する符号化パケット受信装置を構成するコンピュータに、
（ａ）入力した前記多重化データから前記圧縮符号化されたデータと前記複製データとに分離する処理と、
（ｂ）前記圧縮符号化されたデータの代替として、受信した前記複製データを用いて、符号化データの再構成して出力する処理と、
を実行させるためのプログラムよりなる。
【００２２】
【発明の実施の形態】
［発明の概要］
以下、本発明の概要を説明したのち、及び発明を実施した実施例について説明する。
【００２３】
本発明は、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して復号画像の画質の著しい劣化を防ぐ機能を提供している。すなわち、本発明は、動画像符号化パケットを複製して伝送する際に、伝送路でのビット誤りおよびパケットロスのバースト性を考慮して、一定周期の、あるいは、適応的に変化する時間間隔を空けてパケットを伝送している。
【００２４】
さらに、本発明においては、送信する動画像符号化パケット中に含まれる復号画像の画質への影響が大きいパラメータを参照して、複製するパケットを判別する構成としてもよい。
【００２５】
あるいは、本発明においては、送信する動画像符号化パケットを復号化し、誤りが入っている場合と誤りが入っていない場合との画質の比較結果を参照して、複製するパケットを判別する構成としてもよい。
【００２６】
本発明は、動画像符号化パケットを伝送する際に占有する帯域の増大を抑える機能を提供している。動画像符号化パケットを複製して伝送する際、一度復号化処理を行った後、さらに高圧縮率になるように再符号化処理を行う。
【００２７】
さらに、本発明においては、一定周期ごとに、あるいは送信する動画像符号化パケット中に含まれる復号画像の画質への影響が大きいパラメータを参照して、複製するパケットを判別する構成としてもよい。
【００２８】
あるいは、本発明においては、送信する動画像符号化パケットを復号化し、誤りが入っている場合と誤りが入っていない場合との画質の比較結果を参照して、複製するパケットを判別する構成としてもよい。
【００２９】
本発明に係る伝送装置は、その好ましい一実施の形態において、所定の圧縮率で圧縮符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットのデータを、前記所定の圧縮率とは異なる圧縮率で圧縮符号化したパケットを作成し、前記作成したパケットを出力する変換部（例えば図１の１０３）と、前記所定の圧縮率で圧縮符号化されている前記パケット（「第１類のパケット」という）と、前記変換部において再符号化して作成された前記パケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御部（例えば図１の１０５）と、前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化部（例えば図１の１０６）と、を備えている。
【００３０】
本発明に係る受信装置は、その好ましい一実施の形態において、互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットを、前記第１類のパケットと前記第２類のパケットとに分離する分離部（例えば図２の２０１）と、分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するか検出する検出部(例えば図２の２０５、２０７）と、前記第１、第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する生成部（例えば図２の２０８）と、備えている。
【００３１】
本発明に係る伝送装置は、その好ましい一実施の形態において、変換部（図１の１０３）のかわりに、あるいは、前記変換部（図８の８０３）の後段に、入力したパケットに対して一定周期ごとに、あるいは、パケットのデータの所定のパラメータに基づき、伝送すべきパケットを決定する伝送判定部（図４の４０３、あるいは図８の８０４）を備えた構成としてもよい。
【００３２】
本発明に係る伝送装置は、その好ましい一実施の形態において、前記変換部（図１の１０３）のかわりに、あるいは、前記変換部（図９の９０３）の後段に、前記パケットに誤りが入っている場合と誤りが入っていない場合とについて復号処理を行い、復号結果の品質の比較を行い、伝送すべきパケットを決定する伝送判定部（図７の７０３、あるいは図９の９０４）を備えた構成としてもよい。
【００３３】
本発明に係る受信装置は、その好ましい一実施の形態において、第１のパケットと、前記遅延が付加された第２のパケットとが多重化して伝送される多重化伝送パケットを入力し、入力した前記多重化伝送パケットに対して、同じパケットの受信回数を解読し、前記受信回数を参照して、前記第１、第２のパケットに分離する解読／分離部（例えば図５の５０１）を備えた構成としてもよい。上記伝送装置と受信装置の各部の処理は、上記伝送装置と受信装置をそれぞれ構成するコンピュータで実行されるプログラムによりその処理・機能を実現するようにしてもよい。
【００３４】
本発明に係る方法は、好ましい実施の形態において、以下のステップよりなる。
【００３５】
ステップ１：所定の圧縮率で符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットデータを前記所定の圧縮率とは異なる圧縮率で再符号化したパケットを作成し、前記再符号化したパケットを出力する。
【００３６】
ステップ２：前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と、再符号化された前記パケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延の制御を行う。
【００３７】
ステップ３：前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する。これらステップ１〜３の処理及び制御は、コンピュータで実行されるプログラムによって実現してもよいことは勿論である。
【００３８】
本発明に係る方法は、上記方法で伝送された信号を受信する方法であって以下のステップよりなる。
【００３９】
ステップ１：互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットを、前記第１類のパケットと前記第２類のパケットとに分離する。
【００４０】
ステップ２：分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するかを検出する。
【００４１】
ステップ３：前記第１、第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する。これらステップ１〜３の処理及び制御は、コンピュータで実行されるプログラムによって実現してもよいことは勿論である。
【００４２】
【実施例】
上記した実施の形態についてさらに詳細に説明すべく、本発明の実施例について図面を参照して以下に説明する。図１は、本発明の一実施例の符号化パケット伝送装置の構成を示す図である。図２は、本発明の一実施例の符号化パケット受信装置の構成を示す図である。
【００４３】
図１を参照すると、本実施例の符号化パケット伝送装置１は、符号化パケット生成部１０１と、第１の誤り検出符号／パケット識別番号付加部１０２と、符号化パケット変換部１０３と、第２の誤り検出符号／パケット識別番号付加部１０４と、遅延付加部１０５と、伝送パケット多重部１０６と、を備えて構成されている。上記各部は、それぞれ概略次のような機能を有する。
【００４４】
符号化パケット生成部１０１は、圧縮符号化された動画像データ１０７を入力し、所定のパケット単位に分割した符号化パケット１０８を出力する。
【００４５】
第１の誤り検出符号／パケット識別番号付加部１０２は、符号化パケット生成部１０１から出力される符号化パケット１０８を入力し、符号化パケット１０８の伝送路でのビット誤りおよびパケットロスを検出するための誤り検出符号およびパケット識別番号を付加し、伝送パケット１０９を出力する。
【００４６】
符号化パケット変換部１０３は、符号化パケット生成部１０１から出力される符号化パケット１０８を入力し、符号化パケット１０８を、符号化パケット１０８の圧縮率よりも高い圧縮率となるように、再符号化し、高圧縮符号化パケット１１０を出力する。
【００４７】
第２の誤り検出符号／パケット識別番号付加部１０４は、符号化パケット変換部１０３から出力される高圧縮符号化パケット１１０を入力し、高圧縮符号化パケット１１０の伝送路でのビット誤りおよびパケットロスを検出するための誤り検出符号およびパケット識別番号を付加し、高圧縮伝送パケット１１１を出力する。
【００４８】
遅延付加部１０５は、第２の誤り検出符号／パケット識別番号付加部１０４から出力される高圧縮伝送パケット１１１を入力し、高圧縮伝送パケット１１１に対して遅延を付加し、遅延高圧縮伝送パケット１１２を出力する。
【００４９】
伝送パケット多重部１０６は、第１の誤り検出符号／パケット識別番号付加部１０２から出力される伝送パケット１０９と、遅延付加部１０５から出力される遅延高圧縮伝送パケット１１２とを多重化した多重化伝送パケット１１３を伝送路に送出する。
【００５０】
図２を参照すると、本実施例の符号化パケット受信装置２は、伝送パケット分離部２０１と、第１の伝送パケット蓄積部２０２と、第２の伝送パケット蓄積部２０３と、第１の符号化パケット抽出部２０４と、第１の伝送パケットのエラー／パケットロス検出部２０５と、第２の符号化パケット抽出部２０６と、第２の伝送パケットのエラー／パケットロス検出部２０７と、符号化データ生成部２０８と、を備えて構成されている。
【００５１】
上記各部は、それぞれ概略次のような機能を有する。
【００５２】
伝送パケット分離部２０１は、伝送路から多重化伝送パケット２０９を受信し、伝送パケット２１０と遅延高圧縮伝送パケット２１１に分離する。
【００５３】
第１の伝送パケット蓄積部２０２は、伝送パケット分離部２０１から出力される伝送パケット２１０を入力し、入力した伝送パケット２１０を図示されない第１の伝送パケット受信バッファに蓄積する。
【００５４】
第２の伝送パケット蓄積部２０３は、伝送パケット分離部２０１から出力される遅延高圧縮伝送パケット２１１を入力し、入力した遅延高圧縮伝送パケット２１１を図示されない第２の伝送パケット受信バッファに蓄積する。
【００５５】
第１の符号化パケット抽出部２０４は、第１の伝送パケット蓄積部２０２で蓄積された第１の伝送パケット２１２の中から、圧縮符号化された動画像データの部分である第１の符号化パケット２１４を抽出する。
【００５６】
第１の伝送パケットのエラー／パケットロス検出部２０５は、第１の伝送パケット蓄積部２０２で蓄積された第１の伝送パケット２１２中のパケットロスおよびビット誤りを検出し、第１伝送パケット検出結果２１５を出力する。
【００５７】
第２の符号化パケット抽出部２０６は、第２の伝送パケット蓄積部２０３で蓄積された第２の伝送パケット２１３の中から、圧縮符号化された動画像データの部分である第２の符号化パケット２１６を抽出する。
【００５８】
第２の伝送パケットのエラー／パケットロス検出部２０７は、第２の伝送パケット蓄積部２０３で蓄積された第２の伝送パケット２１３中のパケットロスおよびビット誤りを検出し、第２伝送パケット検出結果２１７を出力する。
【００５９】
符号化データ生成部２０８は、第１の符号化パケット２１４、第１伝送パケット検出結果２１５、第２の符号化パケット２１６、および第２伝送パケット検出結果２１７を入力し、再構成符号化データ２１８を出力する。
【００６０】
次に、図１、図２を参照して、本実施例の符号化パケット伝送装置の動作について詳細に説明する。
【００６１】
図１において、符号化パケット生成部１０１は、ＩＴＵ−Ｔ勧告であるＨ．２６１あるいはＨ．２６３、ＩＳＯ／ＩＥＣ勧告であるＭＰＥＧ−４ Ｖｉｓｕａｌなどの方式によって圧縮符号化された動画像データ１０７を入力し、例えばＩＥＴＦ勧告であるＲＦＣ２０３２(RTP Payload for H.261 bit streams)、ＲＦＣ２１９０(RTP Payload for H.263 bit streams)あるいはＲＦＣ３０１６などで規定されたパケット単位に分割する。そして、分割した符号化パケット１０８を出力する。本実施例において、圧縮符号化された動画像データ１０７がすでにパケット単位に分割されている場合には、符号化パケット生成部１０１でパケットに分割する必要はない。
【００６２】
第１の誤り検出符号／パケット識別番号付加部１０２は、入力である符号化パケット１０８の伝送路でのビット誤りおよびパケットロスを符号化パケット受信装置２で検出するために、符号化パケット１０８に誤り検出符号およびパケット識別番号を付加し、伝送パケット１０９として出力する。本実施例において、例えば符号化パケット伝送装置１と符号化パケット受信装置２との間の伝送路でビット誤りを検出する機構が備わっている場合には、第１の誤り検出符号／パケット識別番号付加部１０２で誤り検出符号を付加する必要はない。また符号化パケット１０８の中にパケットを識別できる情報が含まれている場合には、第１の誤り検出符号／パケット識別番号付加部１０２でパケット識別番号を付加する必要はない。
【００６３】
符号化パケット生成部１０１で作成された符号化パケット１０８は、符号化パケット変換部１０３に供給される。符号化パケット変換部１０３では、入力された符号化パケットに対して、一度、復号化処理を行ってから、再符号化処理を行う。再符号化処理の際に、例えば、より大きい量子化パラメータを用いてＤＣＴ係数を量子化する方法や、あるいは高次のＤＣＴ係数を適応的にカットするなどの方法を用いて符号化パケット１０８よりも高圧縮率である高圧縮符号化パケット１１０を生成する。
【００６４】
第２の誤り検出符号／パケット識別番号付加部１０４は、入力である高圧縮符号化パケット１１０の伝送路でのビット誤りおよびパケットロスを符号化パケット受信装置２で検出するために、高圧縮符号化パケット１１０に誤り検出符号およびパケット識別番号を付加し、高圧縮伝送パケット１１１として出力する。高圧縮伝送パケット１１１のパケット識別番号として、もとの伝送パケット１０９に対応したものであることが受信側の符号化パケット受信装置２で判別できるものであれば、任意の識別番号であってよい。もとの伝送パケット１０９に付加されるパケット識別番号に対して、通常生じ得ない大きな番号をオフセット分として加算する、あるいは、パケット識別番号の２進表現において、所定のビットに"１"をたてる等してもよい。なお、ＵＤＰ（User Datagram Protocol）／ＩＰ(Internet Protocol)プロトロルを用いて転送されるＲＴＰパケットの場合、ＲＴＰヘッダのシーケンス番号を、パケット識別番号として用いることができる。
【００６５】
本実施例において、第１の誤り検出符号／パケット識別番号付加部１０２と同様に、伝送路でのビット誤りおよびパケットロスを検出することが可能である場合には、第２の誤り検出符号／パケット識別番号付加部１０４で誤り検出符号／パケット識別番号を付加する必要はない。
【００６６】
遅延付加部１０５は、高圧縮伝送パケット１１１を入力し、一定周期の、あるいは適応的に変化する遅延を付加する。そして、遅延高圧縮伝送パケット１１２を出力する。本実施例において、遅延付加部１０５で高圧縮伝送パケット１１１に付加する遅延は、伝送路でのビット誤りおよびパケットロスのバースト性を考慮に入れた時間であることが好ましい。また、遅延付加部１０５で付加される遅延は、データの転送レート（ビットレート）、符号化データ受信装置２側で受信パケットをバッファリングするためのバッファサイズを考慮して設定される。なお、伝送路でのビット誤りおよびパケットロスのバースト性を考慮に入れた遅延時間は、例えば実測等に基づき決定され、遅延付加部１０５で付加される遅延によって、伝送パケット１０９と、伝送パケット１０９に対応して作成され、且つ遅延が付加された高圧縮伝送パケット１１２とが受信装置側で連続して欠落することがないように、あるいは、これらのパケットが同時に欠落する確率が極めて低くなるように、設定される。
【００６７】
伝送パケット多重部１０６は、第１の誤り検出符号／パケット識別番号付加部１０２から出力される伝送パケット１０９と、遅延付加部１０５から出力される遅延高圧縮伝送パケット１１２とを多重化する。そして、生成した多重化伝送パケット１１３を、図示されない所定の伝送手段を用いて、パケット単位で、図示されない伝送路に送出する。伝送手段は、例えば伝送路に対応する物理層及び物理層の上のネットワーク層等からなる。伝送路としては、無線及び有線のいずれであってもよい。
【００６８】
図３は、本実施例の符号化パケット受信装置２の動作に関するフローチャートである。次に、図２及び図３を参照して、本実施例の符号化パケット受信装置２の動作について説明する。
【００６９】
図３のステップ３０１において、伝送パケット分離部２０１は、伝送路から多重化伝送パケット２０９を受信し、パケット識別番号を参照しながら、伝送パケット２１０と、遅延高圧縮伝送パケット２１１とに分離する。
【００７０】
そして、伝送パケット分離部２０１は、伝送パケット２１０を第１の伝送パケット蓄積部２０２に出力し、遅延高圧縮伝送パケット２１１を第２の伝送パケット蓄積部２０３に出力する。
【００７１】
ステップ３０２において、第１の伝送パケット蓄積部２０２は、第ｎパケットが到着すべき時刻から所定の時間が経過するまで、入力である伝送パケット２１０を図示されない第１の伝送パケット受信バッファに蓄積する。
【００７２】
ステップ３０３において、第１の伝送パケットのエラー／パケットロス検出部２０５は、第ｎパケットが第１の伝送パケット受信バッファ中に存在するか否か判定する。第ｎパケットが第１の伝送パケット受信バッファ中に存在する場合には、ステップ３０４に進む。一方、第ｎパケットが第１の伝送パケット受信バッファ中に存在しない場合には、第ｎパケットはパケットロスであるとみなしてステップ３０６に進む。
【００７３】
ステップ３０４において、第１の伝送パケットのエラー／パケットロス検出部２０５は、符号化パケット送信部１の第１の誤り検出符号／パケット識別番号付加部１０２で付加した誤り検出符号あるいはその他の機構を用いて、第１の伝送パケット受信バッファ中の第ｎパケットにビット誤りがあるか否かを判定する。第１の伝送パケット受信バッファ中の第ｎパケットにビット誤りが無い場合には、ステップ３０５に進む。第１の伝送パケット受信バッファ中の第ｎパケットにビット誤りが存在する場合はステップ３０６に進む。
【００７４】
ステップ３０５では、第１の符号化パケット抽出部２０４で抽出した第１の符号化パケット２１４を、再構成符号化データ２１８として符号化データ生成部２０８から出力する。
【００７５】
ステップ３０６では、第ｎパケットが第２の伝送パケット受信バッファ中に存在するか否か判定する。第ｎパケットが第２の伝送パケット受信バッファ中に存在する場合にはステップ３０７に進む。第ｎパケットが第２の伝送パケット受信バッファ中に存在しない場合には、第２の伝送パケットのエラー／パケットロス検出部２０７は、第ｎパケットはパケットロスであるとみなして再構成符号化データ２１８を出力しない。
【００７６】
ステップ３０７では、第２の伝送パケットのエラー／パケットロス検出部２０７は、符号化パケット伝送装置１の第２の誤り検出符号／パケット識別番号付加部１０４で付加した誤り検出符号あるいはその他の機構を用いて、第２の伝送パケット受信バッファ中の第ｎパケットにビット誤りが無いかどうかを判定する。第２の伝送パケット受信バッファ中の第ｎパケットにビット誤りが無い場合にはステップ３０８に進む。第２の伝送パケット受信バッファ中の第ｎパケットにビット誤りが存在する場合には、第２の伝送パケットのエラー／パケットロス検出部２０７は、再構成符号化データ２１８を出力しない。
【００７７】
ステップ３０８では、第２の符号化パケット抽出部２０６で抽出した第２の符号化パケット２１６を、再構成符号化データ２１８として符号化データ生成部２０８から出力する。
【００７８】
図１０は、本発明の第１の実施例の符号化パケット伝送装置１の伝送パケット多重化部１０６の動作の一例を模式的に説明するための図である。図１１は、符号化パケット受信装置２の伝送パケット分離部２０１の動作の一例を模式的に説明するための図である。
【００７９】
図１０を参照すると、伝送パケット１０９としてパケットＡ、Ｂ、Ｃ、Ｄ、Ｅ、…が伝送パケット多重化部１０６に順次入力されており、パケットデータを再符号化する符号化パケット変換部１０３と第２の誤り検出符号／パケット識別番号付加部１０４と遅延付加部１０５（図１参照）から出力される遅延高圧縮伝送パケット１１２としてパケットＡ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、…が伝送パケット多重化部１０６にこの順で入力される。なお、図１０では、遅延高圧縮伝送パケット１１２に付加されている遅延は例示されていない。
【００８０】
伝送パケット多重化部１０６は、入力した伝送パケット１０９と遅延高圧縮伝送パケット１１２の２つのパケットのストリームを１つのストリームに多重化して、図１０に模式的に示すような多重化伝送パケット１１３を出力する。
【００８１】
すなわち、伝送パケット多重化部１０６は、多重化伝送パケット１１３として、Ａ、Ｂ、Ｃ、Ａ’、Ｂ’、Ｃ’、Ｄ、Ｅ、Ｄ’、Ｅ’…のパケットのストリームを出力する。ここで、例えばパケットＡからパケットＡ’の遅延（図１０の矢線で示す時間）が、遅延付加部１０５で付加される遅延である。なお、図１０では、パケットＡとパケットＡ’の遅延は、簡単のため、間に２つのパケットを間に挟む時間に設定されている例が示されているが、本発明においては、遅延はかかる時間間隔に限定されるものでないことは勿論である。この遅延量は、パケットロスのバースト性、ビットレート、受信側の装置のバッファサイズ等に基づき決定され、パケットＡが欠落し、且つ、パケットＡ’が欠落することがないように、あるいは、パケットＡとＡ’の同時に欠落する発生確率が極めて低くなるように、設定される。なお、遅延付加部１０５で付加される遅延は、環境（例えば伝送路の情報）及び装置のシステム構成情報（例えば受信装置側の特性）等に基づき、動的に可変するようにしてもよいことは勿論である。図１０に示す例では、多重化伝送パケット１１３において、パケットＤとＤ’間の遅延はその間にパケット１つ分とされており、パケットＤとＤ’間の遅延とは相違しており、付加される遅延が動的に可変されることを模式的に例示している。
【００８２】
図１１を参照すると、符号化パケット受信装置２の伝送パケット分離部２０１では、多重化伝送パケット２０９として、Ａ、Ｂ、Ｃ、Ａ’、Ｂ’、Ｃ’、Ｄ、Ｅ、Ｄ’、Ｅ’…を入力し、符号化パケット伝送装置１の伝送パケット１０９と遅延高圧縮伝送パケット１１２とに対応して、それぞれパケット２１０（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、…）とパケット２１１（Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、…）とに分離し、パケット２１０とパケット２１１は、第１の伝送パケット蓄積部２０２と第２の伝送パケット蓄積部２０３とにそれぞれ蓄積される。
【００８３】
本発明の第１の実施例の変形例について図１を参照して説明する。この変形例では、図１の符号化パケット伝送装置１において、遅延付加部１０５を削除し、伝送パケット多重化部１０６内でパケットに遅延を付加して多重化出力する構成としている。すなわち、本発明の第１の実施例の変形例では、図１において、伝送パケット多重化部１０６は、第１の誤り検出符号／パケット識別番号付加部１０２から出力される伝送パケット１０９と、第２の誤り検出符号／パケット識別番号付加部１０４から出力される伝送パケット１１１とを入力し、伝送パケット１１１に遅延を付加するものであり、図１０において、パケット１１２を、高圧縮伝送パケット１１１としたものであり、伝送パケット多重化部１０６が、パケット１１１に遅延を付加した後、入力したパケット１１２と多重化して出力する。
【００８４】
さらに、本発明の第１の実施例の別の変形例について図１と図１２を参照して説明する。この変形例では、前記変形例と同様に、図１の符号化パケット伝送装置１において、遅延付加部１０５を削除したものであり、伝送パケット多重化部１０６において、インタリーブ法などにより、伝送パケット１０９と高圧縮伝送パケット１１１とをそれぞれ伝送する時間間隔を空ける構成とされている。
【００８５】
すなわち、図１２を参照すると、伝送パケット多重化部１０６Ａは、伝送パケット１０９と高圧縮伝送パケット１１１をインタリーブして多重化するインタリーブ部１２０を備えている。
【００８６】
図１０に示す例では、伝送パケット１０９のストリームとして、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、…、高圧縮伝送パケット１１１のストリームとして、Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、…を多重化する場合、多重化伝送パケットは、Ａ、Ｂ、Ｃ、Ａ’、Ｂ’、Ｃ’、Ｄ、Ｅ、Ｄ’、Ｅ’、…となり、伝送パケット多重化部１０６で多重化した後も、多重化前の各ストリーム内でのパケットの順序は保存されている。
【００８７】
これに対して、この変形例では、例えば、３行４列構成の
Ａ， Ｂ， Ｃ， Ｄ，
Ｅ， Ｆ， Ａ’，Ｂ，’
Ｃ’，Ｄ’，Ｅ’，Ｆ，’
というマトリクステーブル（変換テーブル）を用意しておき、このマトリクスを列方向を先に走査することで、
Ａ、Ｅ、Ｃ’、Ｂ、Ｆ、Ｄ’、Ｃ、Ａ’、Ｅ’、Ｄ、Ｂ’、Ｆ’…の順で多重化されたパケットが送信される。
【００８８】
このインタリーブ部１２０による多重化処理では、高圧縮伝送パケット１１１のＣ’とＤ’は、元のパケット１０９のパケットＣ、Ｄよりも、時間的に先に伝送されている。また、例えば、高圧縮伝送パケット１１１のＣ’についてみると、この複製パケットの元となる伝送パケット１０９であるＣのほうに、遅延が付加されたことと等価である。さらに伝送パケット１０９のＦがＣよりも先に伝送されている。高圧縮伝送パケット１１１のＡ’、Ｅ’、Ｂ’、Ｆ’は、対応する伝送パケット１０９のＡ、Ｅ、Ｂ、Ｆのそれぞれに対して遅延が付加されている。このように、インタリーブ法による多重化出力において、パケットの順番は、多重化前のストリーム内、ストリーム間でシャフルされており、多重化前の各ストリーム内での順序は保存されない。かかるインタリーブの場合にも、もとの伝送パケット１０９と高圧縮伝送パケット１１１の各組について、例えばＡとＡ’が同時に欠落しないように遅延が確保されている。
【００８９】
次に、本発明の第２の実施例について説明する。図４は、本発明の第２の実施例における符号化パケット伝送装置４の構成を示す図である。図５は、本発明の第２の実施例における符号化パケット受信装置５の構成を示す図である。図６は、本発明の第２の実施例における符号化パケット受信装置５の動作に関するフローチャートである。
【００９０】
図４を参照すると、この第２の実施例の符号化パケット伝送装置４は、符号化パケット伝送判定部４０３の処理が、図１を参照して説明した前記実施例の符号化パケット伝送装置１の符号化パケット変換部１０３と相違しており、符号化パケット生成部４０１と、第１の誤り検出符号／パケット識別番号付加部４０２と、第２の誤り検出符号／パケット識別番号付加部４０４と、遅延付加部４０５と、伝送パケット多重部４０６の構成、機能は、図１の符号化パケット生成部１０１と、第１の誤り検出符号／パケット識別番号付加部１０２と、第２の誤り検出符号／パケット識別番号付加部１０４と、遅延付加部１０５と、伝送パケット多重部１０６と同様である。なお、図４において、４０８は動画像データ、４０８は符号化パケット、４０９は伝送パケット、４１０は選択符号化パケット、４１１は伝送パケット、４１２は遅延高圧縮伝送パケット、４１３は多重化伝送パケットを表している。以下では、この第２の実施例を、前記実施例との相違点について説明する。
【００９１】
図４を参照すると、符号化パケット伝送判定部４０３は、符号パケット生成部４０１から出力される符号化パケット４０８を入力し、符号化パケット４０８に対して一定周期ごとに（ｎパケットに１回）、選択符号化パケット４１０を出力する。あるいは、符号化パケット４０８中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケット４１０を決定する。例えば、符号化パケット４０８中の特徴パラメータとして、動きベクトルなどビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に伝送すべき選択符号化パケット４１０を決定する。
【００９２】
図５を参照すると、本実施例の符号化パケット受信装置５は、伝送パケット解読／分離部５０１と、第１の伝送パケット蓄積部５０２と、第２の伝送パケット蓄積部５０３と、第１の符号化パケット抽出部５０４と、第１の伝送パケットのエラー／パケットロス検出部５０５と、第２の符号化パケット抽出部５０６と、第２の伝送パケットのエラー／パケットロス検出部５０７と、符号化データ生成部５０８と、を備えて構成されている。この第２の実施例の符号化パケット受信装置５は、伝送パケット解読／分離部５０１の処理が、図２に示した前記実施例の伝送パケット分離部２０１と相違しており、他の各部は、前記実施例のものと同一の構成、機能とされている。伝送パケット解読／分離部５０１は、伝送路から多重化伝送パケット５０９を受信し、そのパケット識別番号を参照し、多重化伝送パケット５０９を初めて受信したものである場合、第１伝送パケット５１０として第１の伝送パケット蓄積部５０２に出力し、当該パケット識別番号をすでに受信したものである場合、第２伝送パケット５１１として、第２の伝送パケット蓄積部５０３に出力する。
【００９３】
次に、図５および図６を参照して、本発明の第２の実施例における符号化パケット受信装置５の動作について説明する。
【００９４】
図６のステップ６０１において、伝送パケット解読／分離部５０１は、伝送路から多重化伝送パケット５０９を受信し、パケットのパケット識別番号を参照しながら多重化伝送パケット５０９を初めて受信したか否かを解読する。多重化伝送パケット５０９を初めて受信した場合には、第１伝送パケット５１０として第１の伝送パケット蓄積部５０２に出力する。同一パケット識別番号のパケットを２回目に受信した場合、第２伝送パケット５１１として、第２の伝送パケット蓄積部５０３に出力する。
【００９５】
図６のステップ６０２から６０８は、図３のステップ３０２から３０８と同一であるため、その説明は省略する。
【００９６】
本発明の第２の実施例による作用効果は、第２の符号化パケットを伝送する際に占有する帯域の増大を抑えることができる、ということである。
【００９７】
その理由は、第２の符号化パケットとして、第１の符号化パケットのすべてを伝送するのではなく、一定周期ごとに（ｎパケットに１回）伝送するためである。あるいは、第１の符号化パケットの特徴パラメータを参照して、適応的に伝送する第２の符号化パケットを決定している、ためである。
【００９８】
本発明の第２の実施例の他の作用効果は、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して復号画像の画質劣化を最小限に抑えることができる。
【００９９】
その理由は、第２の符号化パケットを伝送するか否かを決定する際、復号画像の画質に対する影響が大きいパラメータを特徴量として参照するためである。
【０１００】
なお、この実施例では、伝送パケット解読／分離部５０１は、符号化パケット受信装置５が、前に受信したパケットのパケット識別番号と同一のパケット識別番号の場合に、遅延高圧縮伝送パケット５１１として、第２の伝送パケット蓄積部５０３に出力しており、符号化パケット伝送装置４の構成において、多重化するパケットの順序をシャフリングするインタリーブ法による遅延付加は適用されず、遅延付加部４０５では、図１０に示したように、伝送パケット１０９と、１１２のそれぞれでパケット順序が保たれるように、遅延の付加が行われる。
【０１０１】
図１３は、本発明の第２の実施例の符号化パケット伝送装置４の伝送パケット多重化部４１３の動作を模式的に説明するための図である。図１４は、符号化パケット受信装置５の伝送パケット解読分離部５０１の動作を模式的に説明するための図である。
【０１０２】
図１３を参照すると、伝送パケット４０９として、パケットＡ、Ｂ、Ｃ、Ｄ、Ｅ、…が多重化部１０６に入力され、伝送パケット４１２として、符号化パケット伝送判定部４０３から選択符号化パケット４１０として出力され、第２の誤り検出符号／パケット識別番号付加部４０４、遅延付加部４０５を介してパケットＢ’、Ｅ’、…が多重化部１０６に入力される。なお、図１３では、伝送パケット１１２に付加される遅延は、図示されていない。伝送パケット多重化部４０６は、伝送パケット４０９と伝送パケット４１２を多重化して、図１３に模式的に示すような、多重化伝送パケット１１３として、Ａ、Ｂ、Ｃ、Ｂ’、Ｄ、Ｅ、Ｆ、Ｅ’…のパケットのストリームを出力する。ここで、Ｂ、Ｂ’の時間間隔が遅延付加部１０５で付加された遅延量である。
【０１０３】
図１４を参照すると、符号化パケット受信装置５の伝送パケット解読／分離部５０１では、多重化伝送パケット５０９として、Ａ、Ｂ、Ｃ、Ｂ’、Ｄ、Ｅ、Ｆ、Ｅ’…を入力し、符号化パケット伝送装置１の伝送パケット１０９、伝送パケット１１２に対応して、パケット５１０のＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆと、パケット５１１のＢ’、Ｅ’とに分離し、パケット５１０、５１１は、第１、第２の伝送パケット蓄積部５０２、５０３に蓄積される。すなわち、図１４に示す例では、パケットＢ’（Ｅ’）のパケット識別番号は、パケットＢ（Ｅ）のパケット識別番号と同一であり、パケットを２回目に受信したことになり、伝送パケット解読／分離部５０１では、パケットＢ’、Ｅ’はパケット５１１に分離される。
【０１０４】
次に、本発明の第３の実施例についてに説明する。図７は、本発明の第３の実施例における符号化パケット伝送装置７の構成を示す図である。図７を参照すると、本発明の第３の実施例の符号化パケット伝送装置７において、符号化パケット画質比較／伝送判定部７０３が、図４を参照して説明した符号化パケット伝送判定部４０３と相違している。なお、図７において、符号化パケット生成部７０１と、第１の誤り検出符号／パケット識別番号付加部７０２と、第２の誤り検出符号／パケット識別番号付加部７０４と、遅延付加部７０５と、伝送パケット多重部７０６の構成、機能は、図４の符号化パケット生成部４０１と、第１の誤り検出符号／パケット識別番号付加部４０２と、第２の誤り検出符号／パケット識別番号付加部４０４と、遅延付加部４０５と、伝送パケット多重部４０６と同様である。なお、図７において、７０７は動画像データ、７０８は符号化パケット、７０９は伝送パケット、７１０は選択符号化パケット、７１１は伝送パケット、７１２は遅延高圧縮伝送パケット、７１３は多重化伝送パケットを表している。以下では、この第３の実施例を、前記第２の実施例との相違点をなす符号化パケット画質比較／伝送判定部７０３についてのみ説明する。
【０１０５】
図７において、符号化パケット画質比較／伝送判定部７０３は、入力である符号化パケット７０８に誤りが入っている場合と誤りが入っていない場合とについて、それぞれ、復号処理を行い、画質の比較を行う。そして、画質の比較結果に基づき、伝送すべき選択符号化パケット７１０を決定する。選択符号化パケット７１０は、誤りの入った符号化パケットと置き換えた場合、画質劣化の抑止に有効と判断されるパケットが選択出力され、誤りの入った符号化パケットと置き換えても画質劣化の抑止に貢献しない複製パケットの伝送は行われない。
【０１０６】
本発明の第３の実施例の作用効果は、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して、復号画像の画質劣化を最小限に抑えることができる、ということである。
【０１０７】
その理由は、第２の符号化パケットを伝送するか否かを決定する際、第２の符号化パケットに対して、実際に、復号処理を行って、画質への影響を参照しているためである。この第３の実施例の符号化パケット伝送装置７より出力される多重化伝送パケット７１３を受け取る符号化パケット受信装置は、図５を参照して説明した符号化パケット受信装置５と同一の構成のものが用いられる。
【０１０８】
次に、本発明の第４の実施例について詳細に説明する。図８は、本発明の第４の実施例における符号化パケット伝送装置８の構成を示す図である。本発明の第４の実施例における符号化パケット伝送装置８は、図４に示した前記第２の実施例の符号化パケット伝送判定部４０３の前段に、図１の符号化パケット変換部１０３を備えたものである。すなわち、図８を参照すると、符号化パケット伝送装置８は、符号化パケット生成部８０１と、第１の誤り検出符号／パケット識別番号付加部８０２と、符号化パケット変換部８０３と、符号化パケット伝送判定部８０４と、第２の誤り検出符号／パケット識別番号付加部８０５と、遅延付加部８０６と、伝送パケット多重部８０７を備えて構成されている。図８において、８０８は動画像データ、８０９は符号化パケット、８１０は伝送パケット、８１１は符号化パケット、８１２は選択伝送パケット、８１３は伝送パケット、８１４は遅延高圧縮伝送パケット、８１５は多重化伝送パケットを表している。
【０１０９】
図８の符号化パケット伝送装置８において、符号化パケット伝送判定部８０４以外の各部の機能および動作は、図１に示した前記第１の実施例と同様である。なお、図８の符号化パケット伝送装置８から出力される多重化伝送パケット８１５を受け取る符号化パケット受信装置は、図２に示した前記第１の実施例の符号化パケット受信装置２の構成のものが用いられる。以下では、この実施例と前記実施例との相違点について説明する。
【０１１０】
図８において、符号化パケット生成部８０１は、符号化パケット８０９を一旦復号して高い圧縮率で再符号化し、高圧縮符号化パケット８１１を出力する。符号化パケット生成部８０１からの高圧縮符号化パケット８１１を入力する符号化パケット伝送判定部８０４では、前記第２の実施例と同様に、入力である高圧縮符号化パケット８１１に対して一定周期ごとに（ｎパケットに１回）高圧縮選択符号化パケット８１２を伝送する。
【０１１１】
あるいは、符号化パケット伝送判定部８０４では、高圧縮符号化パケット８１１中の特徴パラメータを参照して適応的に伝送すべき高圧縮選択符号化パケット８１２を決定する。例えば、動きベクトルなどビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して適応的に伝送すべき高圧縮選択符号化パケット８１２を決定する。
【０１１２】
本発明の第４の実施例の作用効果は、第２の符号化パケットを伝送する際に占有する帯域の増大を最小限に抑えることができる、ということである。また、画質の劣化を最小限に抑えることができる、ということである。
【０１１３】
その理由は、第１の符号化パケット８０９に対して、第２の符号化パケット（複製パケット）を伝送するか否かを決定する際、第１の符号化パケットよりも高圧縮率となるように再符号化を行う。そして、一定周期ごと（ｎパケットに１回）、あるいは復号画像の画質に対する影響が大きいパラメータを特徴量として、参照し、復号画像の画質劣化の抑制に貢献するパケットを選別して伝送するように構成したためである。
【０１１４】
次に、本発明の第５の実施例について説明する。図９は、本発明の第５の実施例における符号化パケット伝送装置９の構成を示す図である。この第５の実施例における符号化パケット伝送装置９は、図７に示した前記第３の実施例の符号化パケット画質比較／伝送判定部７０３の前段に、図１の符号化パケット変換部１０３を備えたものである。すなわち、図９を参照すると、符号化パケット伝送装置９は、符号化パケット生成部９０１と、第１の誤り検出符号／パケット識別番号付加部９０２と、符号化パケット変換部９０３と、符号化パケット画質比較／伝送判定部９０４と、第２の誤り検出符号／パケット識別番号付加部９０５と、遅延付加部９０６と、伝送パケット多重部９０７を備えて構成されている。図９において、９０８は動画像データ、９０９は符号化パケット、９１０は伝送パケット、９１１は符号化パケット、９１２は選択伝送パケット、９１３は伝送パケット、９１４は遅延高圧縮伝送パケット、９１５は多重化伝送パケットを表している。
【０１１５】
図９の符号化パケット伝送装置９において、符号化パケット画質比較／伝送判定部９０４以外の各部の機能および動作は、図１に示した前記第１の実施例と同様である。なお、符号化パケット受信装置は、図２に示した前記第１の実施例の構成が用いられる。以下では、この実施例と前記実施例との相違点について説明する。
【０１１６】
図９において、符号化パケット画質比較／伝送判定部９０４は、前記第３の実施例と同様にして、符号化パケット変換部８０３で再符号化された高圧縮符号化パケット９１１を入力し、高圧縮符号化パケット９１１に誤りが入っている場合と誤りが入っていない場合とに対してそれぞれ復号処理を行い、画質の比較を行う。そして、比較結果を参照して、伝送すべき高圧縮選択符号化パケット９１２を決定する。
【０１１７】
本発明の第５の実施例による作用効果は、第２の符号化パケットを伝送する際に占有する帯域の増大を最小限に抑えることができる、ということである。また、画質の劣化を最小限に抑えることができる、ということである。
【０１１８】
その理由は、この実施例では、第１の符号化パケット８０９に対して、第２の符号化パケット（複製パケット）を伝送するか否かを決定する際、第１の符号化パケットよりも高圧縮率となるように再符号化を行い、そして、符号化パケット画質比較／伝送判定部９０４で、実際に、復号処理を行って画質への影響を参照する構成としたためである。
【０１１９】
なお、上記実施例において、圧縮符号化された動画像データ（例えば図１の１０７）の提供源としては、符号化パケット伝送装置（例えば図１の１）に対して圧縮符号化された動画像データを提供するものであれば、ネットワークを介して符号化パケット伝送装置に接続されるサーバ装置等任意の情報提供源から提供してよいことは勿論である。符号化パケット受信装置（例えば図２の２）は、図示されない復号化装置（デコーダ）に接続され、符号化データを復号化装置で復号する構成としてもよい。以上、本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成に限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で、当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【０１２０】
【発明の効果】
以上説明したように、本発明によれば、下記記載の効果を奏する。
【０１２１】
本発明の第１の効果は、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して、復号画像の画質の著しい劣化を防ぐことができる、ということである。
【０１２２】
その理由は、本発明においては、圧縮符号化された動画像パケットを複製して伝送する際、伝送路でのビット誤りおよびパケットロスのバースト性を考慮して、一定または適応的に変化する時間間隔を空けて伝送しており、かかる構成により、送信する動画像パケットと複製パケットの両方にビット誤りが存在する、あるいは両方がパケットロスになる確率が低くなるためである。
【０１２３】
本発明の第２の効果は、圧縮符号化された２種類の動画像パケットを伝送する際に、占有する帯域の増大を抑えることができる、ということである。
【０１２４】
その理由は、本発明においては、入力した第１の符号化パケットから第２の符号化パケットを生成する際、第１の符号化パケットを復号した後に、第１の符号化パケットより高圧縮率になるように、再符号化を行う構成としたためである。
【０１２５】
さらに、本発明によれば、もとのパケットの複製パケット（第２の符号化パケット）を伝送するか否かを決定する際、該パケットに対して、実際に、復号処理を行って、画質への影響を参照しているため、動画像圧縮符号化データの伝送路でのビット誤りおよびパケットロスに対して、復号画像の画質劣化を最小限に抑えることができる、という効果を奏する。
【０１２６】
さらにまた、本発明によれば、もとのパケットを再符号化して生成した複製パケットを、間引いて伝送する構成としたことにより、２種類の動画像パケットを伝送する際に、占有する帯域の増大を抑制することができる。
【図面の簡単な説明】
【図１】本発明の一実施例の符号化パケット伝送装置の構成を示す図である。
【図２】本発明の一実施例の符号化パケット受信装置の構成を示す図である。
【図３】本発明の一実施例の符号化パケット受信装置の処理手順を示す流れ図である。
【図４】本発明の第２の実施例の符号化パケット伝送装置の構成を示す図である。
【図５】本発明の第２の実施例の符号化パケット受信装置の構成を示す図である。
【図６】本発明の第２の実施例の符号化パケット受信装置の処理手順を示す流れ図である。
【図７】本発明の第３の実施例の符号化パケット伝送装置の構成を示す図である。
【図８】本発明の第４の実施例の符号化パケット伝送装置の構成を示す図である。
【図９】本発明の第５の実施例の符号化パケット伝送装置の構成を示す図である。
【図１０】本発明の第１の実施例における符号化パケット伝送装置の符号伝送パケット多重部の多重処理の一例を説明するための模式図である。
【図１１】本発明の第１の実施例における符号化パケット受信装置の伝送パケット分離部の多重処理の一例を説明するための模式図である。
【図１２】本発明の第１の実施例の変形における符号化パケット伝送装置の符号伝送パケット多重部の多重処理の一例を説明するための模式図である。
【図１３】本発明の第２の実施例における符号化パケット伝送装置の符号伝送パケット多重部の多重処理の一例を説明するための模式図である。
【図１４】本発明の第２の実施例における符号化パケット受信装置の伝送パケット分離部の多重処理の一例を説明するための模式図である。
【符号の説明】
１、３、５、７、８、９ 符号化パケット伝送装置
２、４ 符号化パケット受信装置
１０１、４０１、７０１、８０１、９０１ 符号化パケット生成部
１０２、４０２、７０２、８０２、９０２ 第１の誤り検出符号／パケット識別番号付加部
１０３、８０３、９０３ 符号化パケット変換部
１０４、４０４、７０４、８０５、９０５ 第２の誤り検出符号／パケット識別番号付加部
１０５、４０５、７０５、８０６、９０６ 遅延付加部
１０６、１０６Ａ、４０６、７０６、８０７、９０７ 伝送パケット多重部
１０７、４０７、７０７、８０８、９０８ 動画像データ
１０８、４０８、７０８、８０９、９０９ 符号化パケット
１０９、４０９、７０９、７１１、８１０、９１０ 伝送パケット
１１０、８１１、９１１ 高圧縮符号化パケット
１１１、４１１、８１３、９１３ 高圧縮伝送パケット
１１２、４１２、７１２、８１４、９１４ 遅延高圧縮伝送パケット
１１３、４１３、７１３、８１５、９１５ 多重化伝送パケット
１２０ インタリーブ部
２０１ 符号化パケット分離部
２０２、５０２ 第１の伝送パケット蓄積部
２０３、５０３ 第２の伝送パケット蓄積部
２０４、５０４ 第１の符号化パケット抽出部
２０５、５０５ 第１の伝送パケットのエラー／パケットロス検出部
２０６、５０６ 第２の符号化パケット抽出部
２０７、５０７ 第２の伝送パケットのエラー／パケットロス検出部
２０８、５０８ 符号化データ生成部
２０９、５０９ 多重化伝送パケット
２１０ 伝送パケット
２１１ 遅延高圧縮伝送パケット
２１２、５１０、５１２ 第１の伝送パケット
２１３、５１１、５１３ 第２の伝送パケット
２１４、５１４ 第１の符号化パケット
２１５、５１５ 第１伝送パケット検出結果
２１６、５１６ 第２の符号化パケット
２１７、５１７ 第２伝送パケット検出結果
２１８、５１８ 再構成符号化データ
４０３ 符号化パケット伝送判定部
４１０ 選択符号化パケット
５０１ 符号化パケット分離部
７０３ 符号化パケット画質比較／伝送判定部
７１０ 選択符号化パケット
８０４ 符号化パケット伝送判定部
８１２ 選択符号化パケット
９０４ 符号化パケット画質比較／伝送判定部
９１２ 選択符号化パケット

Claims (22)

1. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに対して予め定められた周期ごとに、あるいは、パケットのデータの予め定められた所定のパラメータに基づき、伝送すべきパケットを決定する伝送判定部と、
   前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記伝送判定部で伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御部と、
   前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化部と、
   を含む、ことを特徴とする符号化パケット伝送装置。
2. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに誤りが入っている場合と誤りが入っていない場合とのそれぞれについて復号処理を行い、復号の結果に関する品質の比較を行い、比較結果に基づき、伝送すべきパケットを決定する伝送判定部と、
   前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記伝送判定部で伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御部と、
   前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化部と、
   を含む、ことを特徴とする符号化パケット伝送装置。
3. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットのデータを、前記所定の圧縮率とは異なる圧縮率で圧縮符号化したパケットを作成し、前記作成したパケットを出力する変換部を備え、前記変換部から出力されるパケットが、前記所定の圧縮率で圧縮符号化されているパケットとして前記伝送判定部に入力される、ことを特徴とする、請求項１又は２記載の符号化パケット伝送装置。
4. 請求項１乃至３のいずれか一に記載の符号化パケット伝送装置からの符号化パケットを受信する符号化パケット受信装置であって、
   互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットに対して、パケットの受信回数を解読し、前記受信回数に基づき、前記第１類のパケットと前記第２類のパケットとに分離する解読／分離部と、
   分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するか検出する検出部と、
   前記第１及び第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する生成部と、
   を含む、ことを特徴とする符号化パケット受信装置。
5. 請求項１乃至３記載のいずれか一に記載の符号化パケット伝送装置と、
   請求項４記載の符号化パケット受信装置を備えた符号化パケット伝送システム。
6. 請求項１乃至３のいずれか一に記載の符号化パケット伝送装置から、圧縮符号化された動画像パケットを受信して符号化データを送信する符号化パケット受信装置であって、
   受信した多重化された複数の動画像パケットに対して、同じパケットの受信回数を解読し、前記受信回数を参照して複数の動画像パケットに分離する伝送パケット解読／分離部と、
   正常に受信することのできた符号化データを選択して、符号化データを再構成して出力する符号化データ生成部と、
   を含む、ことを特徴とする符号化パケット受信装置。
7. 請求項１記載の符号化パケット伝送装置において、
   圧縮符号化された動画像データあるいは動画像パケットを受信して動画像パケットを送信し、
   前記伝送判定部が、前記受信した動画像パケット中に含まれる所定の特徴パラメータを用いて、複製する動画像パケットを選択し、
   前記遅延制御部が、前記選択された動画像パケットの伝送する時間間隔を空ける制御を行い、
   前記多重化部が、受信した動画像パケットと前記選択された動画像パケットを多重化して伝送する、ことを特徴とする符号化パケット伝送装置。
8. 請求項２記載の符号化パケット伝送装置において、
   前記伝送判定部が、受信した動画像パケットに誤りが入っている場合と誤りが入っていない場合とで、画質の比較を行い、前記画質の比較結果を用いて、複製する動画像パケットを選択し、
   前記遅延制御部が、前記選択された動画像パケットの伝送する時間間隔を空ける制御を行い、
   前記多重化部が、受信した動画像パケットと前記選択された動画像パケットを多重化して伝送する、ことを特徴とする符号化パケット伝送装置。
9. 圧縮符号化された動画像データあるいは動画像パケットを受信して動画像パケットを送信する、請求項１記載の符号化パケット伝送装置において、
   受信した動画像パケットの圧縮率を変化させた複数の動画像パケットを前記伝送判定部に出力する変換部を備え、
   前記伝送判定部が、前記圧縮率を変化させた複数の動画像パケット中に含まれる特徴パラメータを用いて、複製する動画像パケットを選択し、
   前記遅延制御部が、前記選択された動画像パケットの伝送する時間間隔を空ける制御を行い、
   前記多重化部が、受信した動画像パケットと前記選択された動画像パケットを多重化して伝送する、ことを特徴とする符号化パケット伝送装置。
10. 圧縮符号化された動画像データあるいは動画像パケットを受信して動画像パケットを送信する、請求項２記載の符号化パケット伝送装置において、
    受信した動画像パケットの圧縮率を変化させた複数の動画像パケットを前記伝送判定部に出力する変換部を備え、
    前記伝送判定部が、前記圧縮率を変化させた複数の動画像パケットに誤りが入っている場合と誤りが入っていない場合とで画質の比較を行い、前記画質の比較結果を用いて、複製する動画像パケットを選択し、
    前記遅延制御部が、前記選択された動画像パケットの伝送する時間間隔を空ける制御を行い、
    前記多重化部が、受信した動画像パケットと前記選択された動画像パケットを多重化して伝送する、ことを特徴とする符号化パケット伝送装置。
11. 請求項７乃至１１のいずれか一に記載の符号化パケット伝送装置と、請求項４記載の符号化パケット受信装置を備えた符号化パケット伝送システム。
12. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに対して予め定められた周期ごとに、あるいは、パケットのデータの予め定められた所定のパラメータに基づき、伝送すべきパケットを決定する第１のステップと、
    前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記ステップで伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する第２のステップと、
    前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する第３のステップと、
    を含む、ことを特徴とする符号化パケット伝送方法。
13. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに誤りが入っている場合と誤りが入っていない場合とのそれぞれについて復号処理を行い、復号の結果に関する品質の比較を行い、比較結果に基づき、伝送すべきパケットを決定する第１のステップと、
    前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記ステップで伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する第２のステップと、
    前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する第３のステップと、
    を含む、ことを特徴とする符号化パケット伝送方法。
14. 所定の圧縮率で圧縮符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットのデータを、前記所定の圧縮率とは異なる圧縮率で圧縮符号化したパケットを作成し、前記作成したパケットを出力するステップを含み、前記作成されたパケットが、前記所定の圧縮率で圧縮符号化されているパケットとして前記第１のステップに入力される、ことを特徴とする、請求項１２又は１３記載の符号化パケット伝送方法。
15. 請求項１２乃至１４のいずれか一に記載の符号化パケット伝送方法で伝送された符号化パケットを受信する符号化パケット受信方法であって、
    互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットに対して、パケットの受信回数を解読し、前記受信回数に基づき、前記第１類のパケットと前記第２類のパケットとに分離する第１のステップと、
    分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するか検出する第２のステップと、
    前記第１及び第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する第３のステップと、
    を含む、ことを特徴とする符号化パケット受信方法。
16. 前記パケットが、動画像データを圧縮符号化してパケット化した動画像パケットである、ことを特徴とする請求項１２乃至１４のいずれか一に記載の符号化パケット伝送方法。
17. 前記パケットが、動画像データを圧縮符号化し、パケット化した動画像パケットである、ことを特徴とする請求項１５記載の符号化パケット受信方法。
18. 符号化パケット伝送装置を構成するコンピュータに、
    所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに対して予め定められた周期ごとに、あるいは、パケットのデータの予め定められた所定のパラメータに基づき、伝送すべきパケットを決定する伝送判定処理と、
    前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記伝送判定部で伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御処理と、
    前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化処理と、
    を実行させるプログラム。
19. 符号化パケット伝送装置を構成するコンピュータに、
    所定の圧縮率で圧縮符号化されているパケットを入力し、入力したパケットに誤りが入っている場合と誤りが入っていない場合とのそれぞれについて復号処理を行い、復号の結果に関する品質の比較を行い、比較結果に基づき、伝送すべきパケットを決定する伝送判定処理と、
    前記所定の圧縮率で圧縮符号化されているパケット（「第１類のパケット」という）と前記伝送判定処理で伝送すべきと決定されたパケット（「第２類のパケット」という）とが、予め定められた時間間隔分、互いに離間して伝送されるように、前記第１類のパケット及び／又は前記第２類のパケットに対して付加する遅延を制御する遅延制御処理と、
    前記第１類のパケットと前記第２類のパケットとを多重化してなる多重化伝送パケットを出力する多重化処理と、
    を実行させるプログラム。
20. 請求項１８又は１９記載の符号化パケット伝送装置を構成するコンピュータで実行されるプログラムにおいて、
    所定の圧縮率で圧縮符号化されているパケットを入力し、入力した前記パケットのデータを一旦復号し、前記復号したパケットのデータを、前記所定の圧縮率とは異なる圧縮率で圧縮符号化したパケットを作成し、前記作成したパケットを出力する変換処理を備え、前記変換処理で作成されたパケットが、前記所定の圧縮率で圧縮符号化されているパケットとして前記伝送判定処理に入力される、ことを特徴とする、プログラム。
21. 請求項１８乃至２０のいずれか一に記載の符号化パケット伝送装置から出力された符号化パケットを受信する符号化パケット受信装置を構成するコンピュータに、
    互いに時間間隔をあけて多重化して伝送される第１類のパケットと、前記第１類のパケットに基づき作成された第２類のパケットとを含む多重化伝送パケットをうけとり、前記多重化伝送パケットに対して、パケットの受信回数を解読し、前記受信回数に基づき、前記第１類のパケットと前記第２類のパケットとに分離する第１の処理と、
    分離された前記第１類のパケットと前記第２類のパケットに対して、パケットの抜けや伝送誤りが存在するか検出する第２の処理と、
    前記第１及び第２類のパケットのうち、予め定められた類のパケットが正常に受信された場合には、前記パケットを再構成データとし、前記予め定められた類のパケットが正常に受信されない場合であって、前記予め定められた類の前記パケットに対応する別の類のパケットが正常に受信された場合、前記正常に受信されたパケットを再構成データとして出力する第３の処理と、
    を実行させるプログラム。
22. 前記パケットが、動画像データを圧縮符号化してパケット化した動画像パケットである、請求項１８乃至２０のいずれか一に記載のプログラム。

Images