JP5463733B2 - 動画像データの符号変換伝送システム及び符号伝送方法 - Google Patents

Description

本発明は、符号データの伝送技術に関し、特に、符号化された動画像データを受信し、伝送路でのデータ損失、データ誤りに対する耐性を有する方式のデータへ変換してその変換された動画像データを伝送する方法及び装置と、動画像符号化データを受信し復号する方法及び装置に関する。

近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮を行い、この高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方法では、時間的に前後に配置したフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データとを符号化することで、時間方向の相関が高い動画像データの情報量が削減される。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での動画像データ伝送を可能としている。

その代表例として、ＭＰＥＧ(Moving Picture Expert Group)−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域に分割し、矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと予測残差画像データとに２次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。

しかしながら、従来の動画像伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では、そのエラーが発生したフレームの画像データを正しく復号できない。

このようなエラーに対する受信側での対策として、エラーフレームに対して時間的に前後に存在するとともに正しくデコードできたフレームの画像や、フレーム内でのエラー領域の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法があるが、このエラーコンシールメント手法によっても、復号画像の乱れを除去することは不可能である。さらに、フレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまう、という問題がある。

そして、マルチキャスト／ブロードキャストによる情報配信を用いる場合には、受信したデータにおける誤りや伝送パケットの欠落情報を受信側から送信側へ伝送することができない。また、受信側からエラー情報を折り返し、送信側へ伝送する場合、このフィードバック情報により、通信路の帯域が占有されることにもなる。

本発明の第１の目的は、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。

本発明の第２の目的は、画像データ伝送に使用することのできる伝送帯域と画質とのトレードオフを使用者が設定し得る方法及び装置を提供することにある。

本発明の第３の目的は、圧縮符号化データの復号に要する演算量の増大を防ぐことができる方法及び装置を提供することにある。

本発明の第４の目的は、受信側からのフィードバック情報を送信側に送ることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。

本発明に係る符号変換伝送装置は、圧縮符号化データを入力して変換し伝送路に出力する符号変換伝送装置であって、入力された符号化データ及び／又は、入力された符号化データを再符号化した符号化データよりなる複数の符号化データを少なくとも１つの伝送路に送出する符号変換送信手段を備えており、入力された符号化データと、再符号化した符号化データの少なくとも一部を伝送路に送出する。

本発明に係る符号変換受信装置は、上述した符号変換伝送装置から伝送路に送信された符号化データを受信する符号変換受信装置であって、受信する伝送路を選択する手段と、選択された伝送路から符号化データを受信し、正常に受信された符号化データに基づき、符号化データを再構成する手段と、を備えている。

本発明に係るシステムは、上述した符号変換伝送装置に対して上述した符号変換受信装置を複数備え、符号化データを配信する装置から送信された符号化データを符号変換伝送装置が受け取り、符号変換受信装置で受信されるシステム構成を有してもよい。

本発明の他のアスペクトに係る動画像データの符号変換伝送装置は、
（ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを送出する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、を備えている。

本発明の他のアスペクトに係る動画像データの符号変換受信装置は、上述した符号変換伝送装置からの符号化データを受け取る受信装置であって、
（ｄ）上述した第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
（ｅ）選択手段で選択された伝送路から複数の符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、を備えている。

本発明の他のアスペクトに係る動画像データの符号変換伝送装置は、
（ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットの少なくとも一部を出力する第１の動画像符号変換送信手段と、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段と、を備える。

本発明の他のアスペクトに係る動画像データの符号変換受信装置は、上述した符号変換伝送装置からの符号化データを受け取る受信装置であって、
（ｄ）上述した第１乃至第Ｍの伝送路から符号化データを受信する伝送路を選択する選択手段と、
（ｅ）選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、を備えている。

本発明の他のアスペクトに係る方法は、Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、
（ａ）第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを出力するステップと、
（ｂ）第２乃至第Ｎの動画像符号変換送信手段が、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出するステップと、を含む。

本発明の他のアスペクトに係る受信方法は、Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択するステップと、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、を含む。

本発明の他のアスペクトに係るコンピュータプログラムは、動画像データの符号変換伝送装置を構成するコンピュータを、
（ａ）圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第１の動画像符号変換送信手段、
（ｂ）Ｎを２以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第２乃至第Ｎの動画像符号変換送信手段、
（ｃ）Ｍを１以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第Ｍの伝送路へ送出する手段、
として機能させ、これによってコンピュータに動画像データの符号変換送信処理を実行させるものである。

本発明の他のアスペクトに係るコンピュータプログラムは、動画像データの符号変換受信装置を構成するコンピュータに動画像データの符号変換処理を実行させるプログラムであって、Ｍを１以上の所定の整数として、Ｍ個の伝送路から少なくとも１個の伝送路を選択する処理と、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する処理と、をコンピュータに実行させるためのプログラムである。

本発明においては、動画像圧縮符号化データの伝送エラーによる著しい復号画像の乱れを防ぐため、符号変換伝送装置において、情報提供源をなす動画像符号化装置（サーバ装置）からの符号化データを受信し、伝送路でのデータ損失、データ誤りに耐性を有する方式へとその符号化データを変換し、符号変換受信装置側へ送信する。

本発明において、符号変換伝送装置は、Ｎを２以上の整数、Ｍを１以上の整数として、第１乃至第Ｎの符号変換送信手段と、それらの第１乃至第Ｍの伝送路への送信手段を備え、動画像データをＮ個の符号化データに圧縮符号化して送信する。符号変換受信装置側はＭ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中で、例えば符号化の最も圧縮率が低く画質の良い符号化データを選択して復号する。

本発明において、第１乃至第Ｎの符号変換送信手段で得られたＮ個の符号化データは、一定又は適応的に変化する時間差を設けて送信される。例えばクライアント端末をなす符号変換受信装置側は、Ｍ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く、画質の良い符号化データをフレーム又はパケット単位で選択する。符号変換受信装置からの符号化データは、復号装置（デコーダ）に受け渡されて復号される。

また、本発明では、第１乃至第Ｍの伝送路において使用することのできる伝送帯域にあわせて、第１乃至第Ｎの符号変換送信手段の圧縮率、及び／又は送信符号化データ数を選択することができる。また、第２乃至第Ｎの符号変換送信手段は第１の符号変換送信手段と同等、ないしはそれよりも高い圧縮率で符号化するか、その圧縮率を任意に設定することができる。

本発明において、複数の符号化データ送信に伴う受信側での演算量増大を防ぐため、符号変換伝送装置側は同一のフレーム又は同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中から少なくとも１個のフレーム又はパケット単位で選択して復号する。

より具体的には、本発明に係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて制御する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第２のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信パケットデータと同一画像領域を含む１個のパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第３のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データを所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第４のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように、当該パケットデータと同一画像領域を含む１個のパケットデータに符号化し、得られた符号化パケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第５のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換手段が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第６のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換送信手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように、当該パケットデータと同一画像領域を含む１個のパケットデータに符号化し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第７のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）第１の動画像符号変換送信手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば、圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第８のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第９のアスペクトに係る装置において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信手段と、
ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信パケットデータと同一画像領域を含む１個のパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信手段と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

本発明においては、Ｍを１以上の整数として、それぞれが、第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、第１乃至第Ｍの符号変換送信処理部の第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力は、それぞれ、第１乃至第Ｍの伝送路に送出される構成としてもよい。

あるいは、本発明においては、Ｍを１以上の整数として、それぞれが、第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、第１乃至第Ｍの符号変換送信処理部が、それぞれ、第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力を、時間間隔差を設けて多重化して出力する手段を備えた構成としてもよい。

また、本発明に係るシステムにおいては、動画像データの符号化装置と、上述の各アスペクトに係る変換伝送装置と、上述の各アスペクトに係る複数の符号変換受信装置と、符号変換受信装置に対応する複数の復号装置（デコーダ）とを備え、符号化装置からの符号化データを符号変換伝送装置が入力し、複数の符号変換受信装置が符号変換伝送装置からの出力を入力し、複数の復号装置が複数の符号変換受信装置からそれぞれ符号化データを入力して復号する構成としてもよい。

本発明は、バースト性の高い伝送エラーやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、もとのパケットと複製パケットの複数個の符号化データとの全てが、誤って伝送される確率は小さくなり、パケットロス発生時等にも、復号画像の劣化を、効率よく防止することができる、という効果を奏する。その理由は次の通りである。

本発明において、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対し、符号変換伝送装置側は、第１乃至第Ｍの伝送路上で、第１乃至第Ｎの動画像符号変換送信手段を備えており、第１の動画像符号変換送信手段は、動画像データのフレーム又はパケットを、伝送レートにあわせて少なくとも一部を伝送するか、復号後、動画像データをＮ個の符号化データに圧縮符号化して、一定又は適応的に変化する時間差を設けて送信し、第２乃至第Ｎの動画像符号変換送信手段は、入力されたフレームを、第１の動画像符号変換送信手段による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方、もしくは第１の符号変換送信手段で利用した参照フレーム画像を利用して符号化しており、符号変換受信装置側は、Ｍ個の伝送路の少なくとも１個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く画質の良い符号化データをフレーム又はパケット単位で選択して復号する構成としているためである。

本発明によれば、第１乃至第Ｍの伝送路により、伝送路で動画像データの伝送に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は送信符号化データ数を選択することができ、伝送路の状態もしくは動画像データ送信者の意図に沿った送信が可能である。

また、本発明によれば、第２乃至第Ｎの動画像符号変換送信手段は第１の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率で符号化し、また、第２乃至第Ｎの動画像符号変換送信手段による符号化データの送信制御においては、第１の動画像符号変換送信手段が符号化したフレーム又は画像領域の一部に対してだけ行うことが可能であるため、複数の符号化データ送信による伝送レートの増大を抑止することができる。

さらに、本発明によれば、符号変換伝送装置側は、同一のフレーム又は同一画像領域を含む符号化データを生成し、符号変換受信装置側は受信した複数の符号化データの中から１個だけをフレーム又はパケット単位で選択して復号するため、受信側は同一フレーム又は同一画像領域の復号のために、受信した２個の符号化データの中から少なくとも１個のデータを復号すればよいことから、受信側に要求される演算量の増大を抑えることができる。

その上、本発明によれば、符号変換伝送装置は、符号変換受信装置側からのフィードバック情報を用いることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができるため、フィードバック情報に要するトラヒックの増加が発生せず、また符号変換伝送装置及び符号変換受信装置の構造を簡単にすることができる。

図１は、本発明の第１及び第２の実施の形態における符号変換伝送システムの構成を示すブロック図である。 図２は、図１に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。 図３は、本発明に基づく動画像符号変換受信装置の構成の一例を示すブロック図である。 図４は、第１の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。 図５は、本発明に基づく動画像符号化データパケット伝送システムの構成の一例を示すブロック図である。 図６は、第２の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。 図７は、本発明の第３乃至第６の実施の形態における符号変換伝送システムの構成を示すブロック図である。 図８は、第３及び第４の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。 図９は、第３、第５及び第８の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。 図１０は、第４、第６及び第９の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。 図１１は、第５及び第６の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。 図１２は、本発明の第７の実施の形態の符号変換伝送システムの構成を示すブロック図である。 図１３は、図１２に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。 図１４は、本発明の第８及び第９の実施の形態の符号変換伝送システムの構成を示すブロック図である。 図１５は、図１４に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。 図１６は、本発明の第１０の実施の形態でのシステム構成の一例を示すブロック図である。

（１）第１の実施の形態：
本発明の第１の実施の形態では、図１に示すように、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置１００は、
ａ）圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送出する制御を行う第１の動画像符号変換送信部１０２と、
ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信部１０２と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第１の動画像符号変換送信部１０２と同一又は異なる伝送手段を用いて、一定又は適応的に変化する時間差を設けて送出する制御を行う第２乃至第Ｎの動画像符号変換送信部１０４〜１０６と、
ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

また符号変換受信装置１２０は、Ｍ個の伝送路から少なくとも１個の伝送路を選択する受信伝送路選択部１０７と、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出する符号化データ受信部１０８〜１１１と、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する符号化データ再構成部１１２と、を備えている。符号変換伝送装置１００、符号変換受信装置１２０それぞれの各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理・機能が実現されてもよい。

以下、第１の実施形態についてさらに詳しく説明する。

（１．Ａ）概要：
図１は、本発明の第１の実施形態の構成を示す図である。図１に示すように、動画像データの符号変換伝送装置１００と、符号変換受信装置１２０、及び符号化データを伝送するための伝送路１３０から構成される。整数Ｎは、符号変換伝送装置１００が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。なお、符号変換伝送装置１００と、符号変換受信装置１２０は、それぞれ、動画像符号変換伝送装置、動画像符号変換受信装置ともいう。

符号変換伝送装置１００は、例えば符号化装置（図１では図示されない、例えば図１６の符号化装置４０参照）より動画像データを入力し、入力された動画像データを、Ｎ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍ（Ｍは１以上の整数）の伝送路１３０へ送出する。図１に示すように、この符号変換伝送部装置１００は、第１乃至第Ｍの伝送路１３０に対応して、Ｍ個の符号変換送信処理部１〜Ｍを備えている。符号変換送信処理部１〜Ｍは、それぞれに対応する第１乃至第ＭのＭ個の伝送路１３０へ符号化データを送出する。

符号変換送信処理部１〜Ｍは、いずれも、第１乃至第ＮのＮ個の動画像符号変換送信部１０２、１０４〜１０６を備えており、第１乃至第Ｎの符号化データを出力する。符号変換送信処理部２〜Ｍは、符号変換送信処理部１で一旦受信された符号化データを共通に入力しているほかは、符号変換送信処理部１と同一の構成とされている。図１には、簡単のため、符号変換送信処理部１の構成のみが示されている。以下では、符号変換送信処理部１について説明し、符号変換送信処理部２〜Ｍの説明は省略する。

符号変換送信処理部１の動画像データ受信部１０１は、動画像符号化データを受信する。符号変換送信処理部１の動画像データ受信部１０１で受信された動画像符号化データは、符号変換送信処理部２〜Ｍへも供給される。

第１の動画像符号変換送信部１０２は、入力された動画像データのフレームの少なくとも一部を、動画像符号変換受信装置１２０に送出する。入力された動画像データは、動画像データ復号部１０３で復号される。

第２の動画像符号変換送信部１０４は、動画像データ復号部１０３で得られた動画像を、第１の動画像符号化データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置１２０へ送出する。

Ｎが３以上の場合、第３乃至第Ｎの動画像符号変換送信部１０５，１０６は、第１の動画像変換送信部１０２で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第２の動画像符号化送信部１０４のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第２の動画像符号化送信部１０４と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、動画像符号変換受信装置１２０へ送出する。

符号変換送信処理部１〜Ｍからの第１乃至第Ｎの動画像符号化データは、第１乃至第Ｍの伝送路１３０上へ送出される。第１〜第Ｍの伝送路１３０に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路１３０へ送出する制御を行うようにしてもよい。符号変換送信処理部１〜Ｍを複数並設する代わりに、１つの符号変換送信処理部１の第１乃至第Ｎの動画像符号変換送信部の出力を、第１乃至第Ｍの伝送路１３０へ分配するようにしてよい。さらに、符号変換送信処理部１〜Ｍの出力方路を切替え、第１乃至第Ｍの伝送路１３０の接続の切替えを行ってもよい。

動画像符号変換受信装置１２０は、受信伝送路選択部１０７で、符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。

図１に示すように、受信伝送路選択部１０７で選択された伝送路からの符号化データを符号変換受信部が受信する。符号変換受信部は、符号変換伝送装置の備える第１乃至第Ｎの動画像符号変換送信部によって送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１０８〜１１１を備えている。

符号変換受信部の第１乃至第Ｎの符号化データ受信部１０８〜１１１からの出力を入力する符号化データ再構成部１１２を備える。

符号化データ再構成部１１２は、符号化データ受信部１０８〜１１１で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。あるいは、符号化データ再構成部１１２は、受信される最大Ｎ個の符号化データの中から、例えば最初に正常に受信された符号化データ等、圧縮率とは異なる所定の判定基準にしたがって、符号化データを選択して動画像符号データの再構成を行うようにしてもよい。符号化データ再構成部１１２で再構成された符号化データは、図示されない復号装置に入力されて、復号装置は、符号化データの復号処理を行う。

（１．Ｂ）符号変換伝送装置：
図２は、本発明の第１の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを３とし、符号化データを伝送する伝送路の個数Ｍを２としている。

図２において、第１の動画像符号化送信部２００は、第１の送信フレーム／パケット選択部２０１と、第１の第１の誤り検出符号・フレーム／パケット識別番号付加部２０２を備えている。なお、この第１の動画像符号化送信部２００は、図１の第１の動画像符号変換送信部１０２に対応している。

第１の送信フレーム／パケット選択部２０１は、入力された動画像フレームを入力動画像のうち、画像の性質や伝送路の状況に従い、適応的に、伝送路に送出するフレームを選択する。選択にあたり、例えば一定周期（ｎパケットに１回）ごとにパケットを選択して出力してもよい。あるいは、動画像フレームのパケット中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化パケット中の特徴パラメータとして、例えば動きベクトルなど、ビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定する。あるいは、符号化がＭＰＥＧ方式の場合、ビクチャタイプにしたがって、例えば、Ｉピクチャは必ず選択する等の規則を設けておいてもよいし、この選択用の規則を動的に可変させるようにしてもよい。

第１の誤り検出符号・フレーム／パケット識別番号付加部２０２は、第１の送信フレーム／パケット選択部２０１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。

同じく図２において、第２の動画像符号変換送信部２２０は、復号部２０３、フレーム間予測部２０４、予測残差算出部２０５、第２の予測誤差圧縮符号化部２０６、第２の符号化パケット生成部２０７、第２の誤り検出符号・フレーム／パケット識別番号付加部２０８、予測残差復号部２０９、参照フレーム格納メモリ２１１、復号画像算出部２１０を備えている。なお、この第２の動画像符号変換送信部２２０は、図１の第２の動画像符号変換送信部１０４に対応しており、復号部２０３は、図１の動画像データ復号部１０３に対応する。

図２において、復号部２０３は、入力された動画像符号化データの少なくとも一部を復号する。

フレーム間予測部２０４は、参照フレーム格納メモリ２１１に格納された少なくとも１つの復号画像から、入力された画像へのフレーム間予測を行う。

予測残差算出部２０５は入力フレーム画像から、フレーム間予測部２０４で得られた予測画像を減算することで予測残差を算出する。

第２の予測残差圧縮符号化部２０６は予測残差算出部２０５で得られた予測残差画像を所定の方法で圧縮符号化する。

第２の符号化パケット生成部２０７はフレーム間予測部２０４で得られたフレーム間予測パラメータと第２の予測誤差圧縮符号化部２０６で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。

第２の誤り検出符号・フレーム／パケット識別番号付加部２０８は、第２の符号化パケット生成部２０７が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。

予測残差復号部２０９は、第２の誤り検出符号・フレーム／パケット識別番号付加部２０８で符号化された予測残差の復号データを求める。

復号画像算出部２１０はフレーム間予測部２０４で生成された予測画像と、予測残差復号部２０９で復号された予測残差の和により復号画像を求める。

参照フレーム格納メモリ２１１は、次のフレームの符号化に備え復号画像を格納する。

図２において、第３の動画像符号変換送信部２３０は、第３の予測残差圧縮符号化部２１２、第３の符号化パケット生成部２１３、第３の誤り検出符号・フレーム／パケット識別番号付加部２１４を備えている。第３の動画像符号変換送信部は、図１の第３の動画像符号変換送信部１０５に対応する。

第３の予測残差圧縮符号化部２１２は、予測残差算出部２０５で得られた予測残差画像を、第１（第２）の予測残差圧縮符号化部２０６と同等もしくはそれよりも高い圧縮率で符号化する。

第３の符号化パケット生成部２１３は、フレーム間予測部２０４で得られたフレーム間予測パラメータと第３の予測残差圧縮符号化部２１２で得られた予測残差の圧縮データを、ビット列に可変長符号化し、所定のパケット単位で出力する。

第３の誤り検出符号・フレーム／パケット識別番号付加部２１４は、第３の符号化パケット生成部２１３が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。

以上の処理部の動作により第３の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。

本実施形態では、Ｍを２、Ｎを３としているため、２個の伝送路それぞれに、以上の第１乃至第３の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。図１において、２つの符号変換送信処理部１、符号変換送信処理部２を備え、符号変換送信処理部１、２は、各々３本の伝送路のそれぞれに送出する。

本実施形態において、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２を設け、第１の送信フレーム／パケット選択部２０１から出力された第１の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、入力された動画像パケットデータに、既にこのような情報が付加されていれば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２は設けなくてもよい。また、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２で誤り検出符号化を付加する必要は無い。別の例として、第１の送信フレーム／パケット選択部２０１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２でフレーム／パケット識別番号を付加する必要は無い。

同様に、第２の誤り検出符号付加・フレーム／パケット識別番号付加部２０８を設け、第２の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化データの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。

同様に、第３の誤り検出符号付加・フレーム／パケット識別番号付加部２１４を設け、第３の符号化データに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化データの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。

以上で説明した本実施形態を更に好ましく具体化した例では、動画像符号変換伝送装置は、インターネット通信網に接続され、例えばＣＣＤ(charge coupled device)カメラなどを介して撮像・入力された動画像をＭＰＥＧ−４ビジュアル(Visual)方式に従った符号化データに圧縮し、ＵＤＰ(User Datagram Protocol)／ＩＰ（Internet Protocol）プロトコルを用いて伝送されるデータを入力する。

図２において、フレーム間予測部２０４は動き補償によるフレーム間予測を行う。第１の予測残差圧縮符号化部２０６と第３の予測残差圧縮符号化部２１２は２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。第２の予測残差圧縮符号化部２１２は、第１の予測残差圧縮符号化部２０６よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴ係数を適応的に除去するなどの方法で、第３の符号化データの圧縮率が第１の符号化データの圧縮率と同等もしくはそれよりも高くなるように圧縮する。予測残差復号部２０９は逆量子化と逆２次元離散コサイン変換（２Ｄ−ＩＤＣＴ）を行う。

第２の符号化パケット生成部２０７は第２の予測残差圧縮符号化部２０６から出力される量子化ＤＣＴ係数とフレーム間予測部２０４から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。同様に、第３の符号化パケット生成部２１３は、第３の予測残差圧縮符号化部２１２から出力される量子化ＤＣＴ係数と、フレーム間予測部２０４から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１の誤り検出符号付加・フレーム／パケット識別番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット識別番号付加部２０８と、第３の誤り検出符号付加・フレーム／パケット識別番号付加部２１４は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された符号変換受信装置に送出する。

（１．Ｃ）符号変換受信装置：
図３は、本発明の第１の実施形態における動画像符号変換受信装置１２０（図１参照）の詳細な構成を示している。図３において、動画像符号変換受信装置は、伝送路選択部３００と、第１乃至第３の符号化データ受信部３２０、３３０、３４０と、符号化データ再構成部３１０と、を備えている。

第１の符号化データ受信部３２０は、第１のパケット受信バッファ３０１と、第１の符号化データ抽出部３０２と、第１のエラー／パケットロス検出部３０３を備えている。第２、第３の符号化データ受信部も第１の符号化データ受信部と同様の構成とされている。

図１では受信伝送路選択部１０７として示されている受信伝送路選択部３００は、符号化変換受信装置１２０（図１参照）が動画像データを受信する伝送路１３０（図１参照）を選択する。第１のパケット受信バッファ３０１は、符号変換伝送装置１００（図１参照）から送信された第１の符号化パケットデータを受信する。第１の符号化データ抽出部３０２は、第１のパケット受信バッファ３０１で受信されたパケットデータから、動画像符号化データを抽出する。第１のエラー／パケットロス検出部３０３は、第１の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。

また第２の符号化データ受信部３３０において、第２のパケット受信バッファ３０４は、符号変換伝送装置１００（図１参照）から送信された第２の符号化パケットデータを受信する。第２の符号化データ抽出部３０５は、第２のパケット受信バッファ３０４で受信されたパケットデータから、動画像符号化データを抽出する。第２のエラー検出／パケットロス検出部３０６は、第２の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。

第３の符号化データ受信部３４０において、第３のパケット受信バッファ３０７は、符号変換伝送装置１００（図１参照）から送信された第３の符号化パケットデータを受信する。第３の符号化データ抽出部３０８は、第３のパケット受信バッファ３０７で受信されたパケットデータから、動画像符号化データを抽出する。第３のエラー検出／パケットロス検出部３０９は、第３の符号化パケットデータの伝送時に発生したビットエラー及び／又はパケットロスを検出する。

符号化データ再構成部３１０は、第１乃至第３のエラー検出・パケットロス検出部３０３、３０６、３０９においてビットエラー及び／又はパケットロスを検出した結果に従って、符号変換伝送装置より送信された２つの符号化データを１つの符号化データに再構成する。

本実施形態における、符号化データ再構成部３１０での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し、第ｎフレームの符号化データ再構成処理を示している。

ステップＳ４０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。

ステップＳ４０２では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中の第ｎフレームデータにパケットロス、ビット誤りがないどうかを判定する。

第１の受信パケットバッファ３０１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に分岐する。それ以外の場合には、ステップＳ４０４に進む。

ステップＳ４０３に分岐した場合には、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを出力し、符号化データ再構成処理を終了する。

ステップＳ４０２の判定の結果、ステップＳ４０４に進んだ場合、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中の第ｎフレームデータにパケットロス、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップＳ４０５に分岐する。それ以外の場合は、ステップＳ４０６に進む。

ステップＳ４０６に進んだ場合は、第３の誤り検出・パケットロス検出部３０９における誤りとパケットロスの検出結果に従い、第３の受信パケットバッファ３０７中の第ｎフレームデータにパケットロス、ビット誤りがないかどうかを判定する。第３の受信パケットバッファ３０７に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップＳ４０７に進む。それ以外の場合は、ステップＳ４０３に分岐する。

ステップＳ４０７では、第３の符号化データ抽出部３０８が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、符号化データ再構成処理を終了する。

本実施形態において、第１のエラー検出・パケットロス検出部３０３における第１の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法は、いかなる方法でも構わない。例えば、本実施形態の符号変換伝送装置で付加された誤り検出符号とフレーム／パケット番号により検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合には、符号化データに含まれる情報を利用しても良い。

同様に、第２のエラー検出・パケットロス検出部３０６において第２の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法は、いかなる方法でも構わない。第３のエラー検出・パケットロス検出部３０９において第３の符号化データの伝送誤り及び／又は誤りパケットロスを検出する方法も、いかなる方法でも構わない。

符号化データ再構成部３１０における符号化データの再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。

符号化データ再構成部３１０における符号化データ再構成手順において、ステップＳ４０６で第３の受信パケットバッファで受信した符号化データに伝送エラーかパケットロスが検出された場合、すなわち第１乃至第３の符号化データ全てに伝送エラーかパケットロスが発生した場合に関しては、符号化データ再構成部３１０は、他のいかなる対応を行っても構わない。

本実施形態では、図４のステップＳ４０３に進み、第１の符号化データを復号する符号化データとして出力しているが、例えば第ｎフレームの出力を取り止め、一つ前に出力された第（ｎ−１）フレームの画像データを第ｎフレームの出力とするなど、他の方法で対応しても構わない。

本実施形態を実施した具体例では、符号変換受信装置は、インターネット通信網に接続され、別地点でインターネット通信網に接続された符号変換伝送装置からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを変換して復号装置に出力する。動画像符号化データはＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従っている。第１のエラー検出／パケットロス検出部３０３と、第２のエラー検出／パケットロス検出部３０６と、第３のエラー検出／パケットロス検出部３０９とは、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。

（１．Ｄ）符号化パケットデータの伝送形態：
本発明では、第１ないし第２の符号化パケットデータを符号変換伝送装置１００（図１参照）から符号変換受信装置１２０（図１参照）へいかなる方法で伝送しても構わない。ただし、本発明の効果を高めるには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が好ましい。

図５は、このような好ましい符号化パケットデータ伝送方法の一例を示している。図５において、符号変換伝送装置５０１は、図２を参照して説明した符号変換伝送装置である。遅延付加部５０２乃至５０３は、符号変換伝送装置５０１から出力される第２乃至第３の符号化パケットデータに、一定又は適応的に変化する遅延時間を加えて出力する。

多重化部５０４は、図１においては符号変換伝送装置１００として示されている符号変換伝送装置５０１から出力される第１の符号化データと、遅延付加部５０２から出力される第２の符号化データと、遅延付加部５０３から出力される第３の符号化データとを多重化して、伝送路５０５に送出する。

伝送路５０５は、多重化部５０４で多重化されたデータを、送信装置から受信装置へ伝送する。同様に、遅延付加部５０６、５０７と多重化部５０８は、第２の伝送路５０９へ同様のデータを送出する処理を行う。

伝送路選択部５１０は、伝送路５０５又は伝送路５０９の少なくとも一方の伝送路を選択する。分離部５１１は、伝送路選択部５１０からデータを受信し、第１の符号化データと第２の符号化データに分離する。動画像受信復号装置５１２は、図３を参照して説明した動画像符号変換受信装置よりなる。

ここで、遅延付加部５０２、５０３で、第２乃至第３の符号化データに加えられる遅延は、伝送路５０５で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路５０５でバーストエラーが発生しても、同一フレームを符号化した第１乃至第３の符号化データのいずれもがエラーの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部で設定される遅延は、受信装置のバッファサイズや、伝送路の転送レート（ビットレート）に基づき設定される。

同様に、遅延付加部５０６、５０７で第２乃至第３の符号化データに加えられる遅延時間は、伝送路５０９で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路５０９でバーストエラーが発生しても、同一フレームを符号化した第１乃至第３の符号化データのいずれもがエラーの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部、あるいは遅延付加部と多重化部を、符号変換伝送装置５０１内に設ける構成としてもよい。

（１．Ｅ）効果：
この第１の実施形態によれば、動画像符号変換伝送装置１００は、同一の動画像データを、３個の符号化データに変換して、一定又は適応的に変化する時間差を設けて伝送路１３０に送出する。

第１の符号変換送信部１０２は、入力された動画像データのフレームを動画像の性質又は予め定められた規則に従い適応的に選択して出力する。第２の符号変換送信部１０４は、入力された動画像データの少なくとも一部を復号し、入力データと同等もしくはそれより高い圧縮率で符号化し、送信する。第３の符号変換送信部１０５は、第２の符号変換送信部１０４で符号化されたフレームを、第２の符号変換送信部１０４による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置１２０側は、Ｍ個の伝送路のうち少なくとも１個の伝送路からのデータを受信し、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データを、フレーム単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、３個の符号化データのいずれもが誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２乃至第３の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第１乃至第３の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。また、動画像符号変換受信装置で、受信した３個の符号化データの中から少なくとも１個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、インタリーブ法等により、パケット順序をシャフルして多重化してもよい。インタリーブ法によれば、時間的に変化する回線等の伝送路の影響を平均化することができる。

（２）第２の実施の形態：
本発明の第２の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部、を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第２の実施形態についてさらに詳しく説明する。

（２．Ａ）概要：
本実施形態のシステムの構成及び動作は第１の実施形態とほぼ同じであり、図１に示されるように、動画像符号変換伝送装置１００と符号変換受信装置１２０及び符号化データを伝送するための伝送路１３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。

動画像符号変換伝送装置１００の構成は、第１の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態での動作と第１の実施形態での動作との相違点についてのみ説明する。

第１の動画像符号化送信部（第１の動画像符号変換送信部）１０２で符号化される入力フレーム画像の符号化データは、少なくとも一個のパケットデータから構成されており、各パケットデータには、入力フレーム画像に含まれる画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。第１の動画像符号化送信部１０２は、入力された動画像データのパケットの少なくとも一部を、動画像符号変換受信装置に送信する。

第２の動画変換送信部（第２の動画像符号変換送信部）１０４は、入力された動画像データの少なくとも一部を復号し、得られた画像を第１の動画像符号化データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置へ送信する。

また、第３乃至第Ｎの動画像符号化送信部（第３乃至第Ｎの動画像符号変換送信部）１０５は、第２の動画像符号変換化送信部で符号化されたパケットの全て又はパケットが含む画像領域を、当該画像領域に対する第２の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像の少なくとも一方のデータを利用して、第２の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータの少なくとも一部を動画像符号変換受信装置へ送信する。これ以外の他の動作は、第１の実施形態と実質的に同一である。

動画像符号変換受信装置の構成も第１の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態における動作が、第１の実施形態での動作と相違する点について説明する。

符号化データ再構成部１１２は、第１の実施形態と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤り又は欠落がなく受信され同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。これ以外の他の動作は、第１の実施形態と実質的に同一である。

（２．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図２に示した第１の実施形態における動画像符号変換伝送装置とほぼ同じである。ただし、図２における第１の符号化パケット選択部２０１と、第２の符号化パケット生成部２０７と、第３の符号化パケット生成部２１３と、第１の誤り検出符号付加・フレーム／パケット番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット番号付加部２０８と、第３の誤り検出符号付加・フレーム／パケット番号付加部２１４の動作が、第１の実施形態と相違する。以下相違点について説明し、同一部分の説明は省略する。

本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット選択部２０１と第２の符号化パケット生成部２０７と第３の符号化パケット生成部２１３は、第１の符号化パケット選択部２０１で選択される符号化パケットデータが含む画像領域と、第２の符号化パケット生成部２０７で生成する符号化パケットデータが含む画像領域と、第３の符号化パケット生成部２１３で生成する符号化パケットデータが含む画像領域とが一致するように、符号化パケットデータを生成する。

第１の誤り検出符号付加・フレーム／パケット番号付加部２０２と、第２の誤り検出符号付加・フレーム／パケット番号付加部２０７と、第３の誤り検出符号付加・フレーム／パケット番号付加部２１３とは、同一フレームの同一画像領域に対応する符号化パケットデータに、同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第３の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。

本実施形態を具体化した例では、動画像の圧縮符号化にＭＰＥＧ−４ ビジュアル(Visual)方式を利用している。この方式では、入力画像フレームを、「マクロブロック」と呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号可能である。第１の符号化パケット選択部２０１と第２の符号化パケット生成部２０７と第３の符号化パケット生成部２１３は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部２０７で符号化されたビデオパケットと、第３の符号化パケット生成部２１３で符号化されたビデオパケットは、第１の符号化パケット選択部２０１で選択されたビデオパケットと同一領域のマクロブロックを含むように生成される。

（２．Ｃ）符号変換受信装置：
本実施形態における動画像符号変換受信装置の構成及び動作は、図３に示した第１の実施形態における動画像符号変換受信装置とほぼ同じであり、図３における符号化データ再構成部３１０の動作のみが相違する。以下相違点について説明し、同一部分の説明は省略する。

本実施形態における、符号化データ再構成部３１０での符号化データ再構成の手順を、図６のフローチャートをもとに説明する。図６の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。

ステップＳ６０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４と第３の受信パケットバッファ３０７に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ６０２に進む。

ステップＳ６０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。

ステップＳ６０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ６０４からの繰り返し処理を開始する。

ステップＳ６０４では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０８に進む。それ以外の場合は、ステップＳ６０５に進む。

ステップＳ６０８に進んだ場合には、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、ステップＳ６１０に進む。

ステップＳ６０５に進んだ場合には、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０７に進む。それ以外の場合は、ステップＳ６０６に進む。

ステップＳ６０７では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして出力し、ステップＳ６１０に進む。

ステップＳ６０６に進んだ場合は、第３の誤り検出・パケットロス検出部３０９における誤りとパケットロスの検出結果に従い、第３の受信パケットバッファ３０７中に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうかを判定する。第３の受信パケットバッファ３０７に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ６０９に進む。それ以外の場合は、ステップＳ６１０に進む。

ステップＳ６１０では、変数ｉを１増加させる。続くステップＳ６１１では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ６０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。

なお、本実施形態の符号化データ再構成部３１０での符号化データ再構成手順における、ステップＳ６０１での第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。

（２．Ｄ）効果：
この第２の実施形態によれば、動画像符号変換伝送装置は、同一の動画像データを３個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。第２乃至第３の動画像符号変換送信部は、第１の動画像符号変換送信部で変換されたパケットが含む画像領域を符号化する。第３の符号化送信部は、第２の符号化送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

動画像符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、３個の符号化データのいずれもが誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２乃至第３の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

さらに、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第１乃至第３の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した３個の符号化データの中から少なくとも１個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。

（３）第３の実施の形態：
本発明の第３の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データを第１の動画像符号変換送信部と同一又は異なる伝送路を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第３の実施形態について、さらに詳しく説明する。

（３．Ａ）概要：
図７は、本発明の第３の実施形態でのシステム構成を示す図である。図７に示すように、動画像データの符号変換伝送装置７００と、符号変換受信装置７２０及び符号化データを伝送するための伝送路７３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表す。Ｎは２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路７３０の個数を表し、１以上とする。

動画像符号変換伝送装置７００は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置７２０へ送信する。入力された動画像データをＮ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍの伝送路７３０に送信する。

図７に示すように、この装置は、第１乃至第ＮのＮ個の動画像符号化送信部（第１乃至第Ｎの動画像符号変換送信部）７０３〜７０５を備える。

動画像データ受信部７０１は、動画像データを受信する。動画像復号部７０２は、入力された動画像符号化データの少なくとも一部を復号する。

第１の動画像符号化送信部（第１の動画像符号変換送信部）７０３は、符号変換伝送装置（符号化変換伝送部）に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う。第２乃至第Ｎの動画像符号化送信部（動画像符号変換送信部）７０４，７０５は、第１の動画像符号化送信部７０３で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第１の動画像符号化送信部７０３と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、伝送路７３０を介して動画像符号変換受信装置７２０へ送信する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データは、第１乃至第Ｍの伝送路上へ送出される。

動画像符号変換受信装置７２０は、受信伝送路選択部７０６で、動画像符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。

図７に示すように、動画像符号変換受信装置７２０は、符号変換伝送装置７００の備える第１乃至第Ｎの動画像符号変換送信部７０３〜７０５によって伝送路７３０上に送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部７０７〜７０９と、符号化データ再構成部７１０を備える。符号化データ再構成部７１０は、符号化データ受信部７０７乃至７０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。

（３．Ｂ）符号変換伝送装置：
図８は、図７に示した第３の実施形態における動画像符号変換伝送装置の詳細な構成を示している。図８では、簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。

図８において、復号部８０１は、入力された動画像データの少なくとも一部を復号する。フレーム間予測部８０２は参照フレーム格納メモリ８０９に格納された少なくとも１つの復号画像から、復号部８０１より出力された画像へのフレーム間予測を行う。予測残差算出部８０３は入力フレーム画像から、フレーム間予測部８０２で得られた予測画像を減算することで予測残差を算出する。第１の予測残差圧縮符号化部８０４は予測残差算出部８０３で得られた予測残差画像を所定の方法で圧縮符号化する。第１の符号化パケット生成部８０５は、フレーム間予測部８０２で得られたフレーム間予測パラメータと、第１の予測残差圧縮符号化部８０４で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第１の誤り検出符号・フレーム／パケット識別番号付加部８０６は、第１の符号化パケット生成部８０５が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。予測残差復号部８０７は第１の誤り検出符号・フレーム／パケット識別番号付加部８０６で符号化された予測残差の復号データを求める。復号画像算出部８０８はフレーム間予測部８０２で生成された予測画像と予測残差復号部８０７で復号された予測残差の和により復号画像を求める。参照フレーム格納メモリ８０９は次のフレームの符号化に備え復号画像を格納する。

図８において、第２の予測残差圧縮符号化部８１０は、予測残差算出部８０３で得られた予測残差画像を第１の予測残差圧縮符号化部と同等もしくはそれよりも高い圧縮率で符号化する。第２の符号化パケット生成部８１１は、フレーム間予測部８０２で得られたフレーム間予測パラメータと、第２の予測残差圧縮符号化部８１０で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２の誤り検出符号付加・フレーム／パケット識別番号付加部８１２は、第２の符号化パケット生成部８１１が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって、第２の動画像符号化データが得られ、所定の送信機構によってパケット単位で送信される。

本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。

本実施形態において、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６を設け、第１の符号化パケット生成部８０５から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６で誤り検出符号化を付加する必要は無い。別の例として、第１の符号化パケット生成部８０５から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１の誤り検出符号付加・フレーム／パケット識別番号付加部８０６でフレーム／パケット識別番号を付加する必要は無い。

同様に、第２の誤り検出符号付加・フレーム／パケット識別番号付加部８１２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。

以上で説明した本実施形態を更に好ましく具体化した例は、上述の第１の実施形態と同様である。

（３．Ｃ）符号変換受信装置：
本発明の第３の実施形態における動画像符号変換受信装置は、図３に示す構成と同様である。ただし図３に示すものでは、伝送路の個数Ｍを３としているが、本実施形態では２であるため、第３の符号化受信部は本実施形態では存在しない。また、符号化データ再構成部３１０の動作は、Ｍが２であるため、手順が異なる。

本実施形態における、符号化データ再構成部３１０での動作手順を、図９のフローチャートをもとに説明する。図９の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。

ステップＳ９０１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ９０２に進む。

ステップＳ９０２では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１中に第ｎフレームデータが存在し、ビット誤りがないかどうかを判定する。第１の受信パケットバッファ３０１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ９０３に進む。それ以外の場合は、ステップＳ９０４に進む。

ステップＳ９０３に進んだ場合は、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして、可変長復号部（図示されていないが、例えば図１６に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。

ステップＳ９０４に進んだ場合は、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４中に第ｎフレームデータが存在し、ビット誤りがないかどうかを判定する。第２の受信パケットバッファ３０４に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ９０５に進む。それ以外の場合は、ステップＳ９０３に進む。

ステップＳ９０５では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部（図示されていないが、例えば図１６に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。

本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第１の実施形態の場合と同様である。

（３．Ｄ）効果：
第３の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたフレームを、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（４）第４の実施の形態：
本発明の第４の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、その画像領域に対する第１の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるような１個のパケットデータに符号化し、得られた符号化パケットデータを第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する手段と、を備えている。

受信側の装置は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置、符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理・機能が実現されてもよい。

以下、第４の実施形態についてさらに詳しく説明する。

（４．Ａ）概要：
本実施形態の構成及び動作は第３実施形態とほぼ同じであり、図７に示されるように、動画像符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。

動画像符号変換伝送装置の構成は、第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、少なくとも１個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第３の実施形態と同じである。

動画像符号変換受信装置の構成も第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

図７を参照すると、この実施形態において、符号化データ再構成部７１０は、第３の実施形態と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットの少なくとも一部を復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第３の実施形態と同じである。

（４．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図８に示した第３の実施形態における動画像データ符号変換伝送装置とほぼ同じであり、図８における第１の符号化パケット生成部８０５と、第２の符号化パケット生成部８１１と、第１の誤り検出符号付加・フレーム／パケット番号付加部８０６と、第２の誤り検出符号付加・フレーム／パケット番号付加部８１２の動作のみが相違する。

本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部８０５と第２の符号化パケット生成部８１１は、第１の符号化パケット生成部８０５で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部８１１で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。

第１の誤り検出符号付加・フレーム／パケット番号付加部８０６と第２の誤り検出符号付加・フレーム／パケット番号付加部８１２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。

上記以外の処理部の動作は、第３の実施形態と同様である。以上で説明した本実施形態を更に好ましく具体化した例は、第２の実施形態の場合と同様である。

（４．Ｃ）符号変換受信装置：
本実施形態における動画像符号変換受信装置の構成及び動作は、図３に示した第２の実施形態における動画像符号変換受信装置とほぼ同じである。図３に示す例では、伝送路の個数Ｍを３としているが、本実施形態ではＭを２としているため、第３の符号化データ受信部は存在しない。また、符号化データの再構成３１０の動作は、Ｍが２であるため、手順が異なる。

本実施形態における、符号化データ再構成部３１０での動作手順を、図１０のフローチャートをもとに説明する。図１０の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データ再構成処理を示している。

ステップＳ１００１では、第ｎフレームの全ての符号化データが第１の受信パケットバッファ３０１と第２の受信パケットバッファ３０４に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ１００２に進む。

ステップＳ１００２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。

ステップＳ１００３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ１００４からの繰り返し処理を開始する。

ステップＳ１００４では、第１の誤り検出・パケットロス検出部３０３における誤りとパケットロスの検出結果に従い、第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうか判定する。第１の受信パケットバッファ３０１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ１００５に進む。それ以外の場合は、ステップＳ１００６に進む。

ステップＳ１００５に進んだ場合は、第１の符号化データ抽出部３０２が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部３０８に受け渡し、ステップＳ１００８に進む。

ステップＳ１００６に進んだ場合は、第２の誤り検出・パケットロス検出部３０６における誤りとパケットロスの検出結果に従い、第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが存在し、ビット誤りがないかどうか判定する。第２の受信パケットバッファ３０４に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ１００７に進む。それ以外の場合は、ステップＳ１００８に進む。

ステップＳ１００７では、第２の符号化データ抽出部３０５が出力する第ｎフレームの符号化データを復号する符号化データとして可変長復号部３０８に受け渡し、ステップＳ１００８に進む。

ステップＳ１００８では、変数ｉを１増加させる。続くステップＳ１００９では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ１００４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。

本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第３の実施形態の場合と同様である。

（４．Ｄ）効果：
本発明の第４の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。

第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低い、及び／又は、画質の良い符号化データをパケット単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（５）第５の実施の形態：
本発明の第５の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第１の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第５の実施形態について、さらに詳しく説明する。

（５−Ａ）概要：
本実施形態のシステムの構成及び動作は第３の実施形態の場合とほぼ同じであり、図７に示されるように、動画像データの符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。

動画像符号変換伝送装置の構成は第３の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う第２乃至第Ｎの動画像符号化送信部における入力フレーム画像の符号化は、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で用いた参照フレーム画像を用いて行われる。第１の動画像符号化送信部と異なる制御によりフレーム間予測を行って得られた、第１の動画像符号化送信部と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第３の実施形態と同じである。

動画像符号変換受信装置の構成は第３の実施形態の場合と同じである。

（５．Ｂ）符号変換伝送装置：
図１１は、第５の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを２としている。図１１において、参照符号１１０１〜１１０９は、本実施形態における動画像符号変換伝送装置が備える第１の動画像符号化送信部を構成する処理部を示しており、これらの処理部は、図８における第１の動画像符号変換送信部の処理部と同様に動作する。同じく図１１において、フレーム間予測部１１１０、予測残差算出部１１１１、第２の予測残差圧縮符号化部１１１２、第２の符号化パケット生成部１１１３、１１１４は、本実施形態における動画像符号変換伝送装置が備える第２の動画像符号化送信部を構成する処理部である。ただし、第１の実施形態における動画像符号化送信部とは異なる動作をする。

フレーム間予測部１１１０は、参照フレーム格納メモリ１１０９に格納された少なくとも１つの復号画像から、復号部１１０１より入力された画像へのフレーム間予測を行う。予測残差算出部１１１１は入力フレーム画像から、フレーム間予測部１１１０で得られた予測画像を減算することで予測残差を算出する。第２の予測残差圧縮符号化部１１１２は、予測残差算出部１１１１で得られた予測残差画像を第１の予測残差圧縮符号化部１１０４と同等もしくはそれよりも高い圧縮率で符号化する。第２の符号化パケット生成部１１１３はフレーム間予測部１１１０で得られたフレーム間予測パラメータと１１１２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２の誤り検出符号付加・フレーム／パケット識別番号付加部１１１４は、第２の符号化パケット生成部１１１３が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。以上の処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。

（５．Ｃ）効果：
本発明の第５の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。

第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたフレームを、第１の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。

符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、かつ２個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（６）第６の実施の形態：
本発明の第６の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第１の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号変換送信部と同等もしくはそれよりも高い圧縮率となるようなパケットデータに符号化し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。

これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第６の実施形態について、さらに詳しく説明する。

（６．Ａ）概要：
本実施形態のシステムの構成は第５の実施形態におけるものとほぼ同じであり、図７に示されるように、動画像データの符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。

動画像符号変換伝送装置の構成は第５の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では相違点について説明する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で符号化する第１の動画像符号化送信部で符号化される入力フレーム画像の符号化データは、少なくとも一個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部のフレーム間予測で用いた参照フレーム画像を利用して、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータの少なくとも一部を動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第５の実施形態と同じである。

本発明の第６の実施形態での動画像符号変換受信装置の構成及び動作は、第４の実施形態の場合と同じであり、第５の実施形態とは異なっている。

（６．Ｂ）符号変換伝送装置：
本実施形態における動画像符号変換伝送装置の構成及び動作は、図９に示した第５の実施形態における動画像符号変換伝送装置とほぼ同じであり、図１１における第１の符号化パケット生成１１０５と、第２の符号化パケット生成部１１１３と、第１の誤り検出符号付加・フレーム／パケット番号付加部１１０６と、第２の誤り検出符号付加・フレーム／パケット番号付加部１１１４の動作のみが相違する。第５の実施形態との相違点について以下に説明する。

本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部１１０５と第２の符号化パケット生成部１１１３は、第１の符号化パケット生成部１１０５で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１１３で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。

第１の誤り検出符号付加・フレーム／パケット番号付加部１１０６と第２の誤り検出符号付加・フレーム／パケット番号付加部１１１４は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。

（６．Ｃ）効果：
以上で説明した第６の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。

第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を、第１の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択し、かつ２個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（７）第７の実施の形態：
本発明の第７の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置は、
（ａ）符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）第１の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば最初に正常に受信した符号化パケットデータを選択して出力する選択部、を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第７の実施形態について、さらに詳しく説明する。

（７．Ａ）概要：
図１２は、本発明の第７の実施形態におけるシステムの構成を示す図である。図１２に示すように、第７の実施形態のシステムは、動画像データの符号変換伝送装置１２００、符号変換受信装置１２２０及び符号化データを伝送するための伝送路１２３０から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路１２３０の個数を表し、１以上とする。

符号変換伝送装置１２００は、動画像パケットデータを入力し、その少なくとも一部を選択し、第１乃至第Ｍの伝送路１２３０へ送出する。

図１２に示すように、この装置１２００は、動画像符号化パケットデータを、第１乃至第ＭのＭ個の伝送路へ送出する制御を行う第１乃至第ＮのＮ個の動画像符号変換送信部１２０２〜１２０５を備える。動画像データ受信部１２０１は、動画像パケットデータを受信する。第１の動画像符号変換送信部１２０２は、入力された動画像パケットデータの少なくとも一部のパケットを、動画像符号変換受信装置１２２０に送出する処理を行う。動画像データ複製部１２０３は、受信したパケットを複製し、第２乃至第Ｎの動画像符号変換送信部１２０４乃至１２０５へ出力する。第２の動画像符号変換送信部１２０４乃至１２０５は、複製されたパケットの少なくとも一部を、動画像符号変換受信装置１２２０へ送出する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第１乃至第Ｍの伝送路１２３０上へ送出される。

動画像符号変換受信装置１２２０は、受信伝送路選択部１２０６で、符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。

図１２に示すように、動画像符号変換受信装置１２２０は、符号変換伝送装置１２００が備える第１乃至第Ｎの動画像符号変換送信部１２０２乃至１２０５によって送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１２０７乃至１２０９と、符号化データ再構成部１２１０を備える。

符号化データ再構成部１２１０は、符号化データ受信部１２０７〜１２０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、データを選択して出力する。最大Ｎ個の符号化データの圧縮率は同じであるため、例えば最初に、正常に受信した符号化データを出力する等の選択が行われる。

（７．Ｂ）符号化変換伝送装置：
図１３は、本発明の第７の実施形態における動画像符号変換伝送装置１２００（図７参照）の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。

図１３において、第１の動画像符号変換送信部１３００の第１の送信パケット選択部１３０１は、入力された動画像パケットデータのうち、画像の性質や伝送路の状況に従い、適応的に送信するパケットを選択する。選択にあたり、例えば一定周期（ｎパケットに１回）ごとにパケットを選択して送信してもよい。あるいは、動画像フレームのパケット中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化パケット中の特徴パラメータとして、動きベクトルなどビット誤りあるいはパケットロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定するようにしてもよい。あるいは、符号化がＭＰＥＧの場合、例えばＩピクチャは、必ず選択する等の規則（動的に可変させる場合も含む）にしたがって選択するようにしてもよい。

第１の誤り検出符号・フレーム／パケット識別番号付加部１３０２は、出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。

図１３において、第２の動画像符号変換送信部１３１０のパケット複製部１３０３は、入力された動画像符号化パケットデータを複製する。

第２の送信パケット選択部１３０４は、複製された動画像パケットデータのうち、第１の動画像符号変換送信部と同じ、もしくは異なった個数で、画像の性質や伝送路の状況に従って適応的に送信するパケットを選択する。異なった個数で選択する場合、上記したように、動きベクトルなど特徴パラメータとその閾値の関係（規則）に基づき、選択するようにしてもよいし、符号化がＭＰＥＧの場合、例えばＩピクチャは必ず選択する等の規則にしたがって選択するようにしてもよい。

第２の誤り検出符号・フレーム／パケット識別番号付加部１３０５は、選択部１３０４が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とパケット識別番号を付加する。

本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。

上記以外の処理部の動作は、第４の実施形態と同様である。

本実施形態を更に好ましくした具体化した例は、第２の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第４の実施形態の場合と同じである。

（７．Ｃ）効果：
以上で説明した第７の実施形態によれば、動画像符号変換伝送装置は同一の動画像パケットデータを２個の符号化データに変換して、一定又は適応的に変化する時間差を設けて送信する。

第１の動画像符号変換送信部は、入力された動画像パケットデータを、動画像の性質又は予め定められた規則に従い適応的に選択して送信する。第２の動画像符号変換送信部は、入力された動画像パケットデータを複製し、少なくともその一部を選択し、送信する。

符号変換受信装置側は正常に受信できた符号化パケットデータの中から誤りもしくは欠落のないデータを、パケット単位で選択し、かつ２個の伝送路から受信したデータのうち、例えば最初に到着したデータを選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化パケットデータの選択個数を小さくすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（８）第８の実施の形態：
本発明の第８の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化データの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第１の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第８の実施形態についてさらに詳しく説明する。

（８．Ａ）概要：
図１４は、本発明の第８の実施形態でのシステムの構成を示す図である。図１４に示すように、このシステムは、動画像データの符号変換伝送装置１４００、符号変換受信装置１４２０及び符号化データを伝送するための伝送路１４３０から構成されている。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表す。Ｎは２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路１４３０の個数を表し、１以上とする。

動画像符号変換伝送装置１４００は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する。動画像符号変換伝送装置１４００は、入力された動画像データをＮ個の符号化データに符号化し、第１乃至第Ｎの動画像符号化データとして第１乃至第Ｍの伝送路に送信する。図１４に示すように、この装置は第１乃至第Ｎの動画像符号変換送信部１４０３〜１４０５を備える。

動画像データ受信部１４０１は、動画像データを受信する。動画像復号部１４０２は、入力された動画像符号化データの少なくとも一部を復号する。第１の動画像符号変換送信部１４０３は、符号変換伝送装置に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置１４２０へ送信する。第２乃至第Ｎの動画像符号変換送信部１４０３〜１４０５は、第１の動画像符号変換送信部１４０３と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を動画像符号変換受信装置１４２０へ送出する。第１乃至第Ｎの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第１乃至第Ｍの伝送路１４３０上へ送出される。

動画像符号変換受信装置１４３０は、受信伝送路選択部１４０６で、動画像符号変換伝送装置が送信したＭ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からのＮ個の符号化データを受信し、復号変換を行う。

図１４に示すように、動画像符号変換受信装置１４３０は、符号変換伝送装置１４００が備える第１乃至第Ｎの動画像符号変換送信部１４０３〜１４０５により送信された符号化データを受信する第１乃至第Ｎの符号化データ受信部１４０７乃至１４０９と、符号化データ再構成部１４１０とを備える。

符号化データ再構成部１４１０は、符号化データ受信部１４０７〜１４０９で伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。

（８．Ｂ）符号変換伝送装置：
図１５は、本発明の第８の実施形態における動画像符号変換伝送装置１４００（図１４参照）の詳細な構成を示す図である。簡単のため、この装置が出力する符号化データの個数Ｎを２、符号化データを送信する伝送路の個数Ｍを２としている。

図１５において、復号部１５０１は、入力された動画像データの少なくとも一部を復号する。図１４においては第１の動画像符号変換送信部１４０３と示されている第１の動画像符号変換送信部１５００の第１の送信フレーム／パケット生成部１５０２は、復号された動画像データを、入力されたデータと同等、もしくはそれより高い圧縮率で符号化し、第１の誤り検出符号・フレーム／パケット識別番号付加部１５０３へ出力する。第１の誤り検出符号・フレーム／パケット識別番号付加部１５０３は、第１の送信フレーム／パケット生成部１５０２が出力した符号化データの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって、第１の動画像符号化データが得られ、所定の送信手段によって送信される。同じく図１５において、図１４においては第２の動画像符号変換送信部１４０４と記載されている第２の動画像符号変換送信部１５１０の第２の送信フレーム／パケット生成部１５０４は、第１の動画像符号変換送信部１５００と同等、もしくはそれより高い圧縮率で符号化し、第２の誤り検出符号・フレーム／パケット識別番号付加部１５０５へ出力する。第２の誤り検出符号・フレーム／パケット識別番号付加部１５０５は、第２の送信フレーム／パケット生成部１５０４が出力した符号化データの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する。これによって第２の動画像符号化データが得られ、所定の送信手段によって送信される。

本実施形態では、Ｍを２、Ｎを２としているため、２個の伝送路それぞれに、以上の第１乃至第２の動画像符号変換送信データが送信される。

上記以外の処理部の動作は、第３の実施形態と同様である。

本実施形態を更に好ましく具体化した例は、本発明の第１の実施形態の場合と同様である。また動画像符号変換受信装置の構成及び動作は、第３の実施形態の場合と同じである。

（８．Ｃ）効果：
本実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。

符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１乃至第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外によるインタリーブでも構わない。

（９）第９の実施の形態：
本発明の第９の実施の形態では、任意の２以上の整数Ｎ、任意の１以上の整数Ｍに対して、符号変換伝送装置側は、
（ａ）圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットを、所定の伝送手段を用いて送信する制御を行う第１の動画像符号変換送信部と、
（ｂ）入力された符号化パケットデータの少なくとも一部を復号し、第１の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたパケットデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間差を設けて送信する制御を行う第２乃至第Ｎの動画像符号変換送信部と、
（ｃ）第１乃至第Ｍの伝送路に使用できる帯域にあわせて、第１乃至第Ｎの動画像符号変換送信部の圧縮率、及び／又は、送信符号化データ数を選択し、第１乃至第Ｍの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、Ｍ個の伝送路から少なくとも１個の伝送路を選択し、選択された伝送路からＮ個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理・機能が実現されてもよい。

以下、第９の実施形態について、さらに詳しく説明する。

（９．Ａ）概要：
本実施形態の構成及び動作は第８実施形態とほぼ同じであり、図１４に示されるように、システムは、動画像符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数Ｎは、符号変換伝送装置が送信する符号化データの個数を表し、２以上とする。整数Ｍは、Ｎ個の符号化データが送出される伝送路の個数を表し、１以上とする。

動画像符号変換伝送装置の構成は第８の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第８の実施形態との相違点についてのみ説明する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、１個又は複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第２乃至第Ｎの動画像符号化送信部は、第１の動画像符号化送信部で符号化されたパケットの少なくとも一部のパケットが含む画像領域を、第１の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像符号変換受信装置へ送信する。

動画像符号変換受信装置の構成も第８の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第８の実施形態との相違点についてのみ説明する。

符号化データ再構成部１４１０は、第８の実施形態の場合と同様に、第１乃至第Ｎの符号化データ受信部で伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。

（９．Ｂ）符号変換伝送装置：
本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図１５に示した第８の実施形態における動画像データ符号変換伝送装置とほぼ同じであり、図１５における第１の符号化パケット生成部１５０２と、第２の符号化パケット生成部１５０４と、第１の誤り検出符号付加・フレーム／パケット番号付加部１５０３と、第２の誤り検出符号付加・フレーム／パケット番号付加部１５０５の動作のみが相違する。以下では、動作の相違点についてのみ説明する。

本実施形態における動画像データ符号変換伝送装置において、第１の符号化パケット生成部１５０２と第２の符号化パケット生成部１５０４は、第１の符号化パケット生成部１５０２で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１５０４で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。

以上で説明した本実施形態を更に好ましく具体化した例は、第２の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第４の実施形態と同じである。

（９．Ｃ）効果：
第９の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを２個の符号化データに符号化して、一定又は適応的に変化する時間差を設けて送信する。

第２の動画像符号変換送信部は、第１の動画像符号変換送信部で符号化されたパケットが含む画像領域を符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第１、第２の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した２個の符号化データの中から少なくとも１個のデータが選択され、動画像符号変換受信装置で、受信した２個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第１乃至第Ｎの符号変換データは、時間間隔以外による、インタリーブ法で送信しても構わない。第１乃至第Ｎの符号変換データの送信順序は、インタリーブ法によってシャフルされて出力され、第ｍの符号化データが、第ｎの符号化データ（ただし、ｍ＜ｎ）よりも後に送信されるようにしてもよい。第１乃至第Ｎの符号変換データは、多重装置で多重化して送信するようにしてもよいし、また並列伝送してもよい。

上記各実施形態の変形例として、動画像符号変換伝送装置の第２乃至第Ｎの動画像符号変換送信部からの第２乃至第Ｎの動画像符号化データを遅延させる図５に示した遅延付加部５０２、５０３あるいは遅延付加部５０６、５０７と、第１の動画像符号変換送信部からの第１の動画像符号化データ出力と遅延が付加された第２乃至第Ｎの動画像符号化データを多重化させる図５に示した多重化部５０４、５０８を、動画像符号変換伝送装置内に設ける構成としてもよい。あるいは遅延付加部を備える変わりに、多重化部５０４、５０８が、動画像符号変換伝送装置の第１乃至第Ｎの動画像符号変換送信部からの第１乃至第Ｎの動画像符号化データをインタリーブして多重化出力する構成を、動画像符号変換伝送装置内に設ける構成としてもよい。またＭ個の伝送路１３０（図１参照）のそれぞれは同一の通信媒体であっても、無線と有線等のように異なる媒体を含むものであってもよい。

（１０）第１０の実施の形態：
さらに本発明の別の実施の形態について説明する。図１６は、本発明の第１０の実施の形態のシステム構成を示している。図１６を参照すると、符号化データを出力する符号化装置４０と、動画像データの符号変換伝送装置１０と、複数（Ｋ個）の動画像データの符号変換受信装置２０₁〜２０_Kと、符号変換受信装置２０₁〜２０_Kに接続される複数（Ｋ個）の復号装置３０₁〜３０_Kとを備えている。符号化装置４０は、符号化データを配信する情報提供源をなし、公知のサーバ装置が用いられる。符号変換伝送装置１０は、第１乃至第９の実施形態を参照して説明した本発明の符号変換伝送装置、例えば図１に示した符号変換伝送装置１００からなる。

複数の動画像データの符号変換受信装置２０は、第１乃至第９の実施形態を参照して説明した本発明の符号変換受信装置、例えば図１に示した符号変換受信装置１２０からなる。復号装置３０は、符号変換受信装置２０からの符号化データを復号して表示する装置（デコーダ）であり、既製品がそのまま利用される。

図１６に示す例では、符号変換伝送装置１０と各符号変換受信装置２０₁〜２０_Kとのそれぞれの情報転送に用いられる伝送路１３は、各符号変換受信装置につき１本とされている。すなわち、図１に示した実施形態でのＭ個の伝送路１３０のＭは１個とされており、図１の符号変換受信装置１２０を複数個備えた構成としたものである。符号変換伝送装置１０は、図示されないＮ個の動画像符号変換送信部を備えておりＮ本の符号化データを出力することは、上述の各実施形態と同じである。

この実施形態の具体例をなす一例として、符号変換伝送装置１０は、インターネット通信網（あるいはイントラネット）に接続され、符号化装置４０から、符号化データを例えばＵＤＰ／ＩＰプロトコルを用いて伝送される符号化データを入力する。符号変換伝送装置１０の図示されない動画像符号変換送信部の処理は、ＲＴＰ(Real-time Transport Protocol)に対応する処理を行う。符号変換受信装置２０は、例えばインターネット通信網に接続されるクライアント端末とする。

この実施形態で、伝送路が、無線の場合、符号変換伝送装置１０からの符号変換出力（Ｎ本の符号化データ）はＵＤＰ／ＩＰプロトコル、物理層を介して出力され、ルータ及びゲートウエイ等を介して移動体パケット通信システム網内の基地局を介し宛先の符号変換受信装置２０に送信され、符号変換受信装置２０では、符号化装置４０と復号装置３０との間の符号変換伝送装置１０で符号変換されたデータを、符号化装置４０のもとの符号化に対応した符号化データに再構成して出力し、復号装置３０は符号化装置４０の符号化と対応する復号処理を行うことで、図示されない表示装置に動画像等を表示する。符号変換受信装置２０に接続される復号装置（デコーダ）３０は、符号変換受信装置２０と一体化した端末として構成してもよいし、あるいは、符号変換受信装置２０を構成する端末と通信接続する端末（パーソナルコンピュータ）等に備えた構成としてもよい。

この実施形態において、符号変換受信装置２０は、符号変換伝送装置１０に制御信号（リクエスト信号）を出力する構成とされ、符号変換伝送装置１０は、この制御信号を受けて、符号化データを符号変換受信装置２０に送信する。図１６には、制御信号が、符号変換伝送装置１０からの符号化データ出力とは異なるものであることを表している。

また、符号変換受信装置２０側から符号変換伝送装置１０に送信される制御信号を使って、符号変換受信装置２０のシステム情報、例えばＩＰアドレス、装置情報、復号装置３０で対応可能な符号化方式（例えばＩＴＵ−Ｔ勧告であるＨ．２６１あるいはＨ．２６３、ＩＳＯ／ＩＥＣ勧告であるＭＰＥＧ−４ Ｖｉｓｕａｌ）等の情報を、符号変換伝送装置１０を通知することで、リクエスト信号を受けた符号変換伝送装置１０では、符号変換受信装置２０、復号装置３０に適合した符号変換を行うようにしてもよい。なお、本発明において、伝送路が有線の場合にも適用できることはもちろんである。

図１６に示す構成において、符号変換伝送装置１０から各伝送路１３にそれぞれ出力される複数本（Ｎ本）の符号化データを、図５のように、遅延付加部により、時間間隔を設けて多重化部で多重してもよいし、Ｎ本の符号化データを多重化部でインタリーブして送信順序をシャフルし、時間差を設けて多重化出力を伝送路に送出するようにしてもよい。符号変換伝送装置１０内に、図５に示した遅延付加部、及び、多重化部を設ける構成としてもよい。この場合、符号変換受信装置２０は、図５の分離部５１１を備える。受信伝送路選択部で選択された伝送路から受信された多重化伝送パケットは、各符号化データのパケットに分離されて、符号化データの抽出処理、再構成処理が行われる。この実施例によれば、情報提供源をなす符号化装置４０からの符号化データを符号変換伝送装置１０で受信し、符号変換伝送装置１０は伝送路１３でのデータ損失、データ誤りに耐性を有する方式へと変換し、符号変換受信装置２０側へ送信し、伝送路１３上での伝送に適した効率的な符号伝送を行うことができる。復号装置３０は符号化装置４０の符号化方式に対応して復号処理を行う。

以上本発明を上記実施形態に即して説明したが、本発明は、上記実施形態の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは、もちろんのことである。

Claims (39)

1. 動画像データの符号変換伝送システムであって、
   動画像データの符号変換伝送装置と、
   動画像データの符号変換受信装置と、
   を備え、
   前記符号変換伝送装置は、（ａ）圧縮された符号化データを入力し、入力した符号化データを復号して得られた動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段と、（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて異なるビットレートで再符号化し、得られた符号化データを出力する第２乃至第Ｎの動画像符号変換送信手段と、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出する手段と、を備え、
   前記符号変換受信装置は、（ｄ）Ｍを１以上の所定の整数として、第１乃至第ＭのＩＰ
   伝送路から符号化データを受信する伝送路を選択する選択手段と、（ｅ）前記選択手段で
   選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符
   号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力
   する手段と、を備える、
   動画像データの符号変換伝送システム。
2. 動画像データの符号変換伝送システムであって、
   動画像データの符号変換伝送装置と、
   動画像データの符号変換受信装置と、
   を備え、
   前記符号変換伝送装置は、（ａ）入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段と、（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換送信手段が符号化したパケットデータの少なくとも一部に対し、各前記パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて異なるビットレートで符号化し、得られた符号化パケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出する手段と、を備え、
   前記符号変換受信装置は、（ｄ）Ｍを１以上の所定の整数として、第１乃至第ＭのＩＰ伝送路から符号化データを受信する伝送路を選択する選択手段と、（ｅ）前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、備える、
   動画像データの符号変換伝送システム。
3. 動画像データの符号変換伝送システムであって、
   動画像データの符号変換伝送装置と、
   動画像データの符号変換受信装置と、
   を備え、
   前記符号変換伝送装置は、（ａ）圧縮された符号化データを入力し、入力した符号化データを復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第１の動画像符号変換送信手段と、（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて異なるビットレートで符号化し、得られた符号化データの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出する手段と、を備え、
   前記符号変換受信装置は、（ｄ）Ｍを１以上の所定の整数として、第１乃至第ＭのＩＰ伝送路から符号化データを受信する伝送路を選択する選択手段と、（ｅ）前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、を備える、
   動画像データの符号変換伝送システム。
4. 動画像データの符号変換伝送システムであって、
   動画像データの符号変換伝送装置と、
   動画像データの符号変換受信装置と、
   を備え、
   前記符号変換伝送装置は、（ａ）圧縮された符号化パケットデータを入力して復号し、復号して得られたデータの少なくとも一部を符号化し、得られた符号化パケットデータの少なくとも一部を出力する第１の動画像符号変換送信手段と、（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のパケットデータに対し、前記各パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して異なるビットレートで符号化し、得られたパケットデータの少なくとも一部を出力する第２乃至第Ｎの動画像符号変換送信手段と、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出する手段と、を備え、
   前記符号変換受信装置は、（ｄ）Ｍを１以上の所定の整数として、第１乃至第ＭのＩＰ伝送路から符号化データを受信する伝送路を選択する選択手段と、（ｅ）前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、備える、
   動画像データの符号変換伝送システム。
5. 動画像データの符号変換伝送システムであって、
   動画像データの符号変換伝送装置と、
   動画像データの符号変換受信装置と、
   を備え、
   前記符号変換伝送装置は、（ａ）圧縮された符号化パケットデータを入力し、入力したパケットの少なくとも一部を出力する第１の動画像符号変換送信手段と、（ｂ）Ｎを２以上の所定の整数として、前記第１の動画像符号変換送信手段が入力するパケットデータの少なくとも一部のパケットに対して当該パケットを複製し、得られたパケットデータの少なくとも一部を、時間差を設けて出力する第２乃至第Ｎの動画像符号変換送信手段と、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出する手段と、を備え、
   前記符号変換受信装置は、（ｄ）Ｍを１以上の所定の整数として、第１乃至第ＭのＩＰ伝送路から符号化データを受信する伝送路を選択する選択手段と、（ｅ）前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力する手段と、備える、
   動画像データの符号変換伝送システム。
6. 前記第１乃至第Ｎの動画像符号変換送信手段の少なくとも１つが、一部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従ってフレームを選択する、請求項１または３に記載の符号変換伝送システム。
7. 前記第１乃至第Ｎの動画像符号変換送信手段の少なくとも１つが、一部のパケットを選択するにあたり、動画像の性質又は予め定められた規則に従ってパケットを選択する、請求項２、４、５のいずれか１項に記載の符号変換伝送システム。
8. 前記第１の動画像符号変換送信手段において前記入力した符号化データを復号し、復号して得られたデータを符号化するにあたり、前記入力した符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項１または３に記載の符号変換伝送システム。
9. 前記第２乃至第Ｎの動画像符号変換送信手段において前記入力した符号化データを復号し、復号して得られたデータを符号化するにあたり、前記第１の動画像符号変換送信手段の圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項１または３に記載の符号変換伝送システム。
10. 前記符号変換伝送装置は、前記第２乃至第Ｎの動画像符号変換送信手段の出力と、前記第１の動画像符号変換送信手段からの出力とを、時間差を設けて出力されるように制御する、もしくは前記第１乃至第Ｎの動画像符号変換送信手段のそれぞれに時間差を設けて出力されるように制御する手段を備える、請求項１乃至５のいずれか１項に記載の符号変換伝送システム。
11. 前記第１乃至第Ｎの動画像符号変換送信手段の、出力の時間差を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項１０に記載の符号変換伝送システム。
12. 前記符号変換伝送装置は、前記第１乃至第ＭのＩＰ伝送路に使用できる帯域にあわせて、前記第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、前記第１乃至第ＭのＩＰ伝送路へ送出する手段を備える、請求項１乃至５のいずれか１項に記載の符号変換伝送システム。
13. 前記符号変換伝送装置は、それぞれが、前記第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部を備え、
    前記第１乃至第Ｍの符号変換送信処理部の出力が、それぞれ、前記第１乃至第ＭのＩＰ伝送路に送出される、請求項１乃至５のいずれか１項に記載の符号変換伝送システム。
14. 前記符号変換伝送装置は、それぞれが、前記第１乃至第Ｎの動画像符号変換送信手段を備えた第１乃至第Ｍの符号変換送信処理部と、
    前記第１乃至第Ｍの符号変換送信処理部の前記第１乃至第Ｎの動画像符号変換送信手段の第１乃至第Ｎの符号化データ出力を、時間差を設けて多重化して出力する手段と、
    を備え、
    第１乃至第Ｍの符号変換送信処理部の多重化出力が、前記第１乃至第ＭのＩＰ伝送路に送出される、請求項１乃至５のいずれか１項に記載の符号変換伝送システム。
15. 前記第１乃至第Ｎの動画像符号変換送信手段の出力を多重化する際に設ける時間差を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項１４に記載の符号変換伝送システム。
16. 前記符号変換伝送装置は、前記第１乃至第Ｎの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力した符号化データを復号して出力する動画像復号手段を備え、
    前記複数の動画像符号変換送信手段は、符号化データを符号化する場合に、前記動画像復号手段から出力される復号されたデータを符号化する、請求項１または３に記載の符号変換伝送システム。
17. 前記符号変換伝送装置は、前記第１乃至第Ｎの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力された符号化パケットデータを復号して出力する動画像復号手段を備え、
    前記複数の動画像符号変換送信手段のそれぞれは、パケットデータを符号化する場合に、前記動画像復号手段から出力される復号されたパケットデータを符号化する、請求項２に記載の符号変換伝送システム。
18. 前記符号変換受信装置は、前記選択された伝送路より受信した同一フレームの符号化データの中から、圧縮率、及び／又は、画質に基づき、１つを選択する手段を備える、請求項１または３に記載の符号変換伝送システム。
19. 前記符号変換受信装置は、前記選択された伝送路より受信した同一フレームの同一領域の画像を符号化したパケットデータの中から圧縮率、及び／又は、画質に基づき１つを選択する手段を備える、請求項２，４，５のいずれか１項に記載の符号変換伝送システム。
20. 符号化データを出力する符号化装置と複数の復号装置とをさらに備えるとともに前記符号変換受信装置を複数備え、
    前記符号化装置からの符号化データを前記符号変換伝送装置が入力し、
    前記複数の符号変換受信装置が前記符号変換伝送装置からの出力を入力し、
    前記複数の復号装置が前記複数の符号変換受信装置から符号化データを入力して復号する、請求項１または３に記載の符号変換伝送システム。
21. 前記各符号変換受信装置は、前記選択された伝送路より受信した同一フレームの符号化データの中から、圧縮率、及び／又は、画質に基づき、１つを選択する手段を備える、請求項２０に記載の符号変換伝送システム。
22. 符号化データを出力する符号化装置と複数の復号装置とをさらに備えるとともに前記符号変換受信装置を複数備え、
    前記符号化装置からの符号化データを前記符号変換伝送装置が入力し、
    前記複数の符号変換受信装置が前記符号変換伝送装置からの出力を入力し、
    前記複数の復号装置が前記複数の符号変換受信装置から符号化データを入力して復号する、請求項２，４，５のいずれか１項に記載の符号変換伝送システム。
23. 前記各符号変換受信装置は、前記選択された伝送路より受信した同一フレームの同一領域の画像を符号化したパケットデータの中から圧縮率、及び／又は、画質に基づき１つを選択する手段を備える、請求項２２に記載の符号変換伝送システム。
24. 前記符号変換伝送装置は、前記複数の符号変換受信装置のそれぞれからの制御信号を受けて符号化データを前記複数の符号変換受信装置のそれぞれに送出する、請求項２０乃至２３のいずれか１項に記載の符号変換伝送システム。
25. 動画像データの符号伝送方法であって、
    Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送処理と、
    前記符号変換伝送処理によって送信された符号化データを受信する、動画像データの符号変換受信処理と、
    を有し、
    前記符号変換伝送処理は、（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力した符号化データを復号した動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて異なるビットレートで再符号化し、得られた符号化データの少なくとも一部を出力するステップと、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出するステップと、を含み、
    前記符号変換受信処理は、（ｄ）Ｍを１以上の所定の整数として、前記第１乃至第ＭのＩＰ伝送路から少なくとも１個の伝送路を選択するステップと、（ｅ）前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、を含む、
    符号伝送方法。
26. 動画像データの符号伝送方法であって、
    Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送処理と、
    前記符号変換伝送処理によって送信された符号化データを受信する、動画像データの符号変換受信処理と、
    を有し、
    前記符号変換伝送処理は、（ａ）前記第１の動画像符号変換送信手段が、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換送信手段が符号化したパケットデータの少なくとも一部に対し、各前記パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて異なるビットレートで符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力の少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出するステップと、を含み、
    前記符号変換受信処理は、（ｄ）Ｍを１以上の所定の整数として、前記第１乃至第ＭのＩＰ伝送路から少なくとも１個の伝送路を選択するステップと、（ｅ）前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力するステップと、を含む、
    符号伝送方法。
27. 動画像データの符号伝送方法であって、
    Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送処理と、
    前記符号変換伝送処理によって送信された符号化データを受信する、動画像データの符号変換受信処理と、
    を有し、
    前記符号変換伝送処理は、（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力した符号化データを復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて異なるビットレートで符号化し、得られた符号化データの少なくとも一部を出力するステップと、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出するステップと、を含み、
    前記符号変換受信処理は、（ｄ）Ｍを１以上の所定の整数として、前記第１乃至第ＭのＩＰ伝送路から少なくとも１個の伝送路を選択するステップと、（ｅ）前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、を含む、
    符号伝送方法。
28. 動画像データの符号伝送方法であって、
    Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送処理と、
    前記符号変換伝送処理によって送信された符号化データを受信する、動画像データの符号変換受信処理と、
    を有し、
    前記符号変換伝送処理は、（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力して復号し、復号して得られたデータを符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換送信手段が符号化した少なくとも一部のパケットデータに対し、前記各パケットデータが符号化した画像領域を、該画像領域に対する前記第１の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して異なるビットレートで符号化し、得られたパケットデータの少なくとも一部を出力するステップと、ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出するステップと、を含み、
    前記符号変換受信処理は、（ｄ）Ｍを１以上の所定の整数として、前記第１乃至第ＭのＩＰ伝送路から少なくとも１個の伝送路を選択するステップと、（ｅ）前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力するステップと、を含む、
    符号伝送方法。
29. 動画像データの符号伝送方法であって、
    Ｎを２以上の所定の整数として、第１乃至第Ｎの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送処理と、
    前記符号変換伝送処理によって送信された符号化データを受信する、動画像データの符号変換受信処理と、
    を有し、
    前記符号変換伝送処理は、（ａ）前記第１の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力したパケットの少なくとも一部を出力するステップと、（ｂ）前記第２乃至第Ｎの動画像符号変換送信手段が、それぞれ、前記第１の動画像符号変換送信手段が入力するパケットデータの少なくとも一部のパケットに対して該パケットを複製し、得られたパケットデータの少なくとも一部を、時間差を設けて出力するステップと、（ｃ）Ｍを１以上の所定の整数として、前記第１乃至第Ｎの動画像符号変換送信手段の出力のうち少なくとも１つを、第１乃至第ＭのＩＰ伝送路へ送出するステップと、を含み、
    前記符号変換受信処理は、（ｄ）Ｍを１以上の所定の整数として、前記第１乃至第ＭのＩＰ伝送路から少なくとも１個の伝送路を選択するステップと、（ｅ）前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化パケットデータに基づき、符号化パケットデータを再構成して出力するステップと、を含む、
    符号伝送方法。
30. 前記符号変換伝送処理において一部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従ってフレームを選択する、請求項２５または２７に記載の符号伝送方法。
31. 前記符号変換伝送処理において一部のパケットを選択する際に、動画像の性質又は予め定められた規則に従ってパケットを選択する、請求項２６，２８，２９のいずれか１項に記載の符号伝送方法。
32. 前記ステップ（ａ）において、前記第１の動画像符号変換送信手段は、前記入力した符号化データを復号し、復号して得られたデータを符号化するにあたり、前記入力した符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項２５または２７に記載の符号伝送方法。
33. 前記ステップ（ｂ）において、前記第２乃至第Ｎの動画像符号変換送信手段は、前記入力した符号化データを復号し、復号して得られたデータを符号化するにあたり、前記第１の動画像符号変換送信手段での圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項２５または２７に記載の符号伝送方法。
34. 前記ステップ（ｂ）での前記第２乃至第Ｎの動画像符号変換送信手段のそれぞれの出力は、前記ステップ（ａ）での出力と時間差を設けて出力される、及び／又は、前記ステップ（ｂ）での出力のそれぞれが、時間差を設けて出力される、請求項２５乃至２９のいずれか１項に記載の符号伝送方法。
35. 前記動画像符号変換送信手段の、出力の時間差を、伝送路の状態、及び／又は、予め定められた規則にしたがって設定する、請求項３４に記載の符号伝送方法。
36. 前記第１乃至第ＭのＩＰ伝送路に使用できる帯域にあわせて、前記第１乃至第Ｎの動画像符号変換送信手段の圧縮率、及び／又は、送信符号化データ数を選択し、前記第１乃至第ＭのＩＰ伝送路へ送出する、請求項２５乃至２９のいずれか１項に記載の符号伝送方法。
37. 前記第１乃至第Ｎの動画像符号変換送信手段のうち、動画像データを復号して得られたデータを符号化する複数の動画像符号変換送信手段に対して、共通の動画像復号手段で復号して得られたデータが供給される、請求項２５乃至２９のいずれか１項に記載の符号伝送方法。
38. 前記符号変換受信処理において、同一フレームの符号化データが複数受信された場合、圧縮率、及び／または、画質に基づき、１つを選択する、請求項２５または２７に記載の符号伝送方法。
39. 前記符号変換受信処理において、同一フレームの同一領域の画像を符号化したパケットデータが複数受信された場合、圧縮率、及び／または、画質に基づき、１つを選択する、請求項２６，２８，２９のいずれか１項に記載の符号伝送方法。

Images