WO2003092296A1

WO2003092296A1 - Moving picture data code conversion/transmission method and device, code conversion/reception method and device

Info

Publication number: WO2003092296A1
Application number: PCT/JP2003/005455
Authority: WO
Inventors: Hiroaki Dei; Atsushi Hatabu; Kazunori Ozawa
Original assignee: Nec Corporation
Priority date: 2002-04-26
Filing date: 2003-04-28
Publication date: 2003-11-06
Also published as: EP1501310A1; CA2483516A1; US7957465B2; JP2009189058A; CA2483516C; KR100752287B1; HK1075779A1; JPWO2003092296A1; US20110194604A1; EP1501310A4; CN1663282A; CN100380976C; JP4803343B2; US20050226325A1; KR20040106388A; JP5463733B2

Description

明細書

動画像データの符号変換伝送方法及び装置と符号変換受信方法及び装置技術分野

本発明は、符号データの伝送技術に関し、特に、符号化された動画像データを受信し、伝送路でのデータ損失、データ誤りに対する耐性を有する方式のデータへ変換してその変換された動画像データを伝送する方法及び装置と、動画像符号化データを受信し復号する方法及び装置に関する。

背景技術

近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づいた高能率圧縮を行い、この高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方法では、時間的に前後に配置したフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データとを符号化することで、時間方向の相関が高い動画像データの情報量が削減される。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での動画像データ伝送を可能としている。

その代表例として、 M P E G (Mov i ng P i cture Expert Group)— 1、 M P E G— 2、 M P E G— 4などの圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブ口ックとよばれる一定サイズの矩形領域に分割し、矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きべクトルと予測残差画像データとに 2次元離散コサイン変換及び量子化を施して圧縮した信号データを可変長符号化する。

しかしながら、従来の動画像伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送バケツ卜の欠落が発生すると、受信側では、そのエラーが発生したフレームの画像データを正しく復号できない。

このようなエラーに対する受信側での対策として、エラーフレームに対して時間的に前後に存在するとともに正しくデコードできたフレームの画像や、フレーム内でのエラー領域の周囲の画像データから、誤りをなるベく目立たなくするような画像データを生成するエラーコンシールメント手法があるが、このエラーコンシールメント手法によっても、復号画像の乱れを除去することは不可能であるさらに、フレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまう、という問題がある。

そして、マルチキャス卜ブロードキャス卜による情報配信を用いる場合には, 受信したデータにおける誤リや伝送バケツ卜の欠落情報を受信側から送信側へ伝送することができない。また、受信側からエラー情報を折り返し、送信側へ伝送する場合、このフィードバック情報により、通信路の帯域が占有されることにもなる。

発明の開示

本発明の第 1の目的は、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。

本発明の第 2の目的は、画像データ伝送に使用することのできる伝送帯域と画質とのトレードオフを使用者が設定し得る方法及び装置を提供することにある。本発明の第 3の目的は、圧縮符号化データの復号に要する演算量の増大を防ぐことができる方法及び装置を提供することにある。

本発明の第 4の目的は、受信側からのフィードバック情報を送信側に送ることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができる画像データの伝送方法及び装置を提供することにある。

本発明に係る符号変換伝送装置は、圧縮符号化データを入力して変換し伝送路に出力する符号変換伝送装置であって、入力された符号化データ及び又は、入力された符号化データを再符号化した符号化データよリなる複数の符号化データを少なくとも 1つの伝送路に送出する符号変換送信手段を備えており、入力された符号化データと、再符号化した符号化データの少なくとも一部を伝送路に送出する。

本発明に係る符号変換受信装置は、上述した符号変換伝送装置から伝送路に送信された符号化データを受信する符号変換受信装置であって、受信する伝送路を選択する手段と、選択された伝送路から符号化データを受信し、正常に受信された符号化データに基づき、符号化データを再構成する手段と、を備えている。本発明に係るシステムは、上述した符号変換伝送装置に対して上述した符号変換受信装置を複数備え、符号化データを配信する装置から送信された符号化データを符号変換伝送装置が受け取り、符号変換受信装置で受信されるシステム構成を有してもよい。

本発明の他のァスぺク卜に係る動画像データの符号変換伝送装置は、

( a ) 圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを送出する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、入力された符号化データの少なくとも —部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段と、

( c ) Mを 1以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段と、を備えている。

本発明の他のァスぺク卜に係る動画像データの符号変換受信装置は、上述した符号変換伝送装置からの符号化データを受け取る受信装置であって、

( d ) 上述した第 1乃至第 Mの伝送路から符号化データを受信する伝送路を選択する選択手段と、

( e ) 選択手段で選択された伝送路から複数の符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、を備えている。

( a ) 圧縮された符号化パケットデータを入力し、入力された符号化パケットの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段と、

( c ) Mを 1以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段と、を備える。

( e ) 選択手段で選択された伝送路から符号化データを受信し、伝送誤りがなし、、又は欠落がなく受信された符号化したパケットデータを抽出し、抽出された符号化バケツトデータに基づき、符号化バケツ卜データを再構成して出力する手段と、を備えている。

本発明の他のアスペクトに係る方法は、 Nを 2以上の所定の整数として、第 1 乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 第 1の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを出力するステップと、

( b ) 第 2乃至第 Nの動画像符号変換送信手段が、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、

( c ) Mを 1以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出するステップと、を含む。

本発明の他のァスぺク卜に係る受信方法は、 Mを 1以上の所定の整数として、 M個の伝送路から少なくとも 1個の伝送路を選択するステップと、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、を含む。

本発明の他のァスぺク卜に係るコンピュータプログラムは、動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第 1の動画像符号変換送信手段、 ( b ) Nを 2以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、として機能させ、これによつてコンピュータに動画像データの符号変換送信処理を実行さ甘るものである。

本発明の他のァスぺク卜に係るコンピュータプログラムは、動画像データの符号変換受信装置を構成するコンピュータに動画像データの符号変換処理を実行させるプログラムであって、 Mを 1以上の所定の整数として、 M個の伝送路から少なくとも 1個の伝送路を選択する処理と、選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する処理と、をコンピュータに実行させるためのプログラムである。

本発明においては、動画像圧縮符号化データの伝送エラーによる著しい復号画像の乱れを防ぐため、符号変換伝送装置において、情報提供源をなす動画像符号化装置（サーバ装置）からの符号化データを受信し、伝送路でのデータ損失、デ一タ誤リに耐性を有する方式へとその符号化データを変換し、符号変換受信装置側へ送信する。

本発明において、符号変換伝送装置は、 Nを 2以上の整数、 Mを 1以上の整数として、第 1乃至第 Nの符号変換送信手段と、それらの第 1乃至第 Mの伝送路への送信手段を備え、動画像データを N個の符号化データに圧縮符号化して送信する。符号変換受信装置側は M個の伝送路の少なくとも 1個の伝送路から正常に受信できた符号化データの中で、例えば符号化の最も圧縮率が低く画質の良い符号化データを選択して復号する。

本発明において、第 1乃至第 Nの符号変換送信手段で得られた N個の符号化データは、一定又は適応的に変化する時間間隔を離間させて送信される。例えばクライアン卜端末をなす符号変換受信装置側は、 M個の伝送路の少なくとも 1個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く、画質の良い符号化データをフレーム又はバケツト単位で選択する。符号変換受信装置からの符号化データは、復号装置（デコーダ）に受け渡されて復号される。また、本発明では、第 1乃至第 Mの伝送路において使用することのできる伝送帯域にあわせて、第 1乃至第 Nの符号変換送信手段の圧縮率、及び又は送信符号化データ数を選択することができる。また、第 2乃至第 Nの符号変換送信手段は第 1の符号変換送信手段と同等、ないしはそれよりも高い圧縮率で符号化するか、その圧縮率を任意に設定することができる。

本発明において、複数の符号化データ送信に伴う受信側での演算量増大を防ぐため、符号変換伝送装置側は同一のフレーム又は同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中から少なくとも 1個のフレーム又はバケツト単位で選択して復号する。

より具体的には、本発明に係る装置において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 入力された符号化データの少なくとも一部を復号し、第 1の動画像符号変換送信手段と同等もしくはそれよリ高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて制御する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第 2のアスペクトに係る装置において、任意の 2以上の整数 N , 任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトを、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、 b ) 入力された符号化パケットデータの少なくとも一部を復号し、第 1の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信バケツ卜データと同一画像領域を含む 1個のバケツ卜データに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば圧縮率が最も低い、画質の良い符号化バケツトデータを選択して出力する選択手段を備えている。

また、本発明の第 3のアスペクトに係る装置において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置側は、

a ) 圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよリも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 第 1の動画像符号変換手段が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第 1の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第 1の動画像符号変換送信手段と同等もしくはそれよリも高い圧縮率となるように符号化し、得られた符号化データを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び/又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

また、本発明の第 4のァスぺク卜に係る装置において、任意の 2以上の整数 N , 任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化バケツトデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 第 1の動画像符号変換手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第 1の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第 1の動画像符号変換送信手段と同等もしくはそれよリも高い圧縮率となるように、当該パケットデータと同一画像領域を含む 1個のバケツ卜データに符号化し、得られた符号化バケツ卜データの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信る制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び/又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、 fe送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツ卜データの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第 5のァスぺク卜に係る装置において、任意の 2以上の整数 N , 任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化データを入力し、復号した動画像データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 第 1の動画像符号変換手段が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び Z又は ·、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第 6のアスペクトに係る装置において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像データと同等もしくはそれよリも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 第 1の動画像符号化手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号変換送信手段と同等もしくはそれよリも高い圧縮率となるように、当該パケットデータと同一画像領域を含む 1個のバケツ卜データに符号化し、得られたバケツトデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツ卜データの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第 7のァスぺク卜に係る装置において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 第 1の動画像符号化手段が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の送信符号化データ数を選択し、第 1乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば、圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

また、本発明の第 8のァスぺク卜に係る装置において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれよリ高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 入力された符号化データの少なくとも一部を復号し、第 1の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から, 例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択手段を備えている。

また、本発明の第 9のァスぺク卜に係る装置において、任意の 2以上の整数 N , 任意の 1以上の整数 Mに対して、符号変換伝送装置は、

a ) 圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれよリ高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信手段と、

b ) 入力された符号化パケットデータの少なくとも一部を復号し、第 1の動画像符号変換送信手段と同等もしくはそれより高い圧縮率となるよう、受信バケツ卜データと同一画像領域を含む 1個のバケツ卜データに圧縮符号化し、得られた全てのバケツトデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信手段と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び Z又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択手段を備えている。

本発明においては、 Mを 1以上の整数として、それぞれが、第 1乃至第 Nの動画像符号変換送信手段を備えた第 1乃至第 Mの符号変換送信処理部を備え、第 1 乃至第 Mの符号変換送信処理部の第 1乃至第 Nの動画像符号変換送信手段の第 1 乃至第 Nの符号化データ出力は、それぞれ、第 1乃至第 Mの伝送路に送出される構成としてもよい。

あるいは、本発明においては、 Mを 1以上の整数として、それぞれが、第 1乃至第 Nの動画像符号変換送信手段を備えた第 1乃至第 Mの符号変換送信処理部を備え、第 1乃至第 Mの符号変換送信処理部が、それぞれ、第 1乃至第 Nの動画像符号変換送信手段の第 1乃至第 Nの符号化データ出力を、時間間隔を離間させて多重化して出力する手段を備えた構成としてもよい。

また、本発明に係るシステムにおいては、動画像データの符号化装置と、上述の各ァスぺク卜に係る変換伝送装置と、上述の各ァスぺク卜に係る複数の符号変換受信装置と、符号変換受信装置に対応する複数の復号装置（デコーダ）とを備え、符号化装置からの符号化データを符号変換伝送装置が入力し、複数の符号変換受信装置が符号変換伝送装置からの出力を入力し、複数の復号装置が複数の符号変換受信装置からそれぞれ符号化データを入力して復号する構成としてもよい。本発明は、バースト性の高い伝送エラーやバケツ卜ロスが発生する信頼性の低い伝送路を用いた場合でも、もとのバケツ卜と複製バケツ卜の複数個の符号化デ一夕との全てが、誤って伝送される確率は小さくなリ、パケットロス発生時等にも、復号画像の劣化を、効率よく防止することができる、という効果を奏する。その理由は次の通りである。

本発明において、任意の 2以上の整数 N、任意の 1以上の整数 Mに対し、符号変換伝送装置側は、第 1乃至第 Mの伝送路上で、第 1乃至第 Nの動画像符号変換送信手段を備えており、第 1の動画像符号変換送信手段は、動画像データのフレーム又はパケットを、伝送レートにあわせて少なくとも一部を伝送するか、復号後、動画像データを N個の符号化データに圧縮符号化して、一定又は適応的に変化する時間間隔を離間させて送信し、第 2乃至第 Nの動画像符号変換送信手段は、入力されたフレームを、第 1の動画像符号変換送信手段による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方、もしくは第 1の符号変換送信手段で利用した参照フレーム画像を利用して符号化しており、符号変換受信装置側は、 M個の伝送路の少なくとも 1個の伝送路から正常に受信できた符号化データの中から、例えば最も圧縮率が低く画質の良い符号化データをフレーム又はバケツト単位で選択して復号する構成としているためである。

本発明によれば、第 1乃至第 Mの伝送路により、伝送路で動画像データの伝送に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び又は送信符号化データ数を選択することができ、伝送路の状態もしくは動画像データ送信者の意図に沿つた送信が可能である。

また、本発明によれば、第 2乃至第 Nの動画像符号変換送信手段は第 1の動画像符号変換送信手段と同等もしくはそれよりも高い圧縮率で符号化し、また、第 2乃至第 Nの動画像符号変換送信手段による符号化データの送信制御においては、第 1の動画像符号変換送信手段が符号化したフレーム又は画像領域の一部に対してだけ行うことが可能であるため、複数の符号化データ送信による伝送レー卜の増大を抑止することができる。

さらに、本発明によれば、符号変換伝送装置側は、同一のフレーム又は同一画像領域を含む符号化データを生成し、符号変換受信装置側は受信した複数の符号化データの中から 1個だけをフレーム又はバケツト単位で選択して復号するため、受信側は同一フレーム又は同一画像領域の復号のために、受信した 2個の符号化データの中から少なくとも 1個のデータを復号すればよいことから、受信側に要求される演算量の増大を抑えることができる。

その上、本発明によれば、符号変換伝送装置は、符号変換受信装置側からのフイードバック情報を用いることなく、符号化データの伝送エラーにより生じる受信側復号画像の著しい乱れを、目立たない程度まで抑えることができるため、フイードバック情報に要するトラヒックの増加が発生せず、また符号変換伝送装置及び符号変換受信装置の構造を簡単にすることができる。

図面の簡単な説明

図 1は、本発明の第 1及び第 2の実施の形態における符号変換伝送システムの構成を示すブロック図である。

図 2は、図 1に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。

図 3は、本発明に基づく動画像符号変換受信装置の構成の一例を示すブロック図である。

図 4は、第 1の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチヤ一卜である。

図 5は、本発明に基づく動画像符号化データバケツ卜伝送システムの構成の一例を示すブロック図である。

図 6は、第 2の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチヤ一卜である。

図 7は、本発明の第 3乃至第 6の実施の形態における符号変換伝送システムの構成を示すブロック図である。

図 8は、第 3及び第 4の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。

図 9は、第 3、第 5及び第 8の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチヤ一トである。

図 1 0は、第 4、第 6及び第 9の実施の形態における動画像符号変換受信装置での符号化データ再構成手順を示すフローチャートである。

図 1 1は、第 5及び第 6の実施の形態における動画像符号変換伝送装置の構成を示すブロック図である。

図 1 2は、本発明の第 7の実施の形態の符号変換伝送システムの構成を示すブロック図である。

図 1 3は、図 1 2に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。

図 1 4は、本発明の第 8及び第 9の実施の形態の符号変換伝送システムの構成を示すブロック図である。

図 1 5は、図 1 4に示すシステムにおける動画像符号変換伝送装置の構成を示すブロック図である。

図 1 6は、本発明の第 1 0の実施の形態でのシステム構成の一例を示すブロック図である。発明を実施するための最良の形態

( 1 ) 第 1の実施の形態：

本発明の第 1の実施の形態では、図 1に示すように、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置 1 0 0は、

a ) 圧縮された符号化データを入力し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送出する制御を行う第 1の動画像符号変換送信部 1 0 2と、

b ) 入力された符号化データの少なくとも一部を復号し、第 1の動画像符号変換送信部 1 0 2と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第 1の動画像符号変換送信部 1 0 2と同一又は異なる伝送手段を用いて、一定又は適応的に変化する時間間隔を離間させて送出する制御を行う第 2乃至第 Nの動画像符号変換送信部 1 0 4〜 1 0 6と、

c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の圧縮率、及び又は、送信符号化データ数を選択し、第 1乃至第 Mの伝送路へ符号化データを送出する機構と、を備えている。

また符号変換受信装置 1 2 0は、 M個の伝送路から少なくとも 1個の伝送路を選択する受信伝送路選択部 1 0 7と、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出する符号化データ受信部 1 0 8〜 1 1 1と、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する符号化データ再構成部 1 1 2と、を備えている。符号変換伝送装置 1 0 0、符号変換受信装置 1 2 0それぞれの各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理■機能が実現されてもよい。

以下、第 1の実施形態についてさらに詳しく説明する。

( 1 . A ) 概要：

図 1は、本発明の第 1の実施形態の構成を示す図である。図 1に示すように、動画像データの符号変換伝送装置 1 0 0と、符号変換受信装置 1 2 0、及び符号化データを伝送するための伝送路 1 3 0から構成される。整数 Nは、符号変換伝送装置 1 0 0が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路の個数を表し、 1以上とする。なお、符号変換伝送装置 1 0 0と、符号変換受信装置 1 2 0は、それぞれ、動画像符号変換伝送装置、動画像符号変換受信装置ともいう。

符号変換伝送装置 1 0 0は、例えば符号化装置（図 1では図示されない、例えば図 1 6の符号化装置 4 0参照）より動画像データを入力し、入力された動画像データを、 N個の符号化データに符号化し、第 1乃至第 Nの動画像符号化データとして第 1乃至第 M ( Mは 1以上の整数）の伝送路 1 3 0へ送出する。図 1に示すように、この符号変換伝送部装置 1 0 0は、第 1乃至第 Mの伝送路 1 3 0に対応して、 M個の符号変換送信処理部 1〜Mを備えている。符号変換送信処理部 1 ~ Mは、それぞれに対応する第 1乃至第 Mの M個の伝送路 1 3 0へ符号化データ ¾：;^出する。

符号変換送信処理部 1〜Mは、いずれも、第 1乃至第 Nの N個の動画像符号変換送信部 1 0 2、 1 0 4 - 1 0 6を備えており、第 1乃至第 Nの符号化データを出力する。符号変換送信処理部 2〜Mは、符号変換送信処理部 1で一旦受信された符号化データを共通に入力しているほかは、符号変換送信処理部 1と同一の構成とされている。図 1には、簡単のため、符号変換送信処理部 1の構成のみが示されている。以下では、符号変換送信処理部 1について説明し、符号変換送信処理部 2 ~ Mの説明は省略する。

符号変換送信処理部 1の動画像データ受信部 1 0 1は、動画像符号化データを受信する。符号変換送信処理部 1の動画像データ受信部 1 0 1で受信された動画像符号化データは、符号変換送信処理部 2 ~Mへも供給される。

第 1の動画像符号変換送信部 1 0 2は、入力された動画像データのフレームの少なくとも一部を、動画像符号変換受信装置 1 2 0に送出する。入力された動画像データは、動画像データ復号部 1 0 3で復号される。

第 2の動画像符号変換送信部 1 0 4は、動画像データ復号部 1 0 3で得られた動画像を、第 1の動画像符号化データと同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置

1 2 0へ送出する。

Nが 3以上の場合、第 3乃至第 Nの動画像符号変換送信部 1 0 5， 1 0 6は、第 1の動画像変換送信部 1 0 2で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第 2の動画像符号化送信部 1 0 4のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第 2の動画像符号化送信部 1 0 4と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、動画像符号変換受信装置 1 2 0へ送出する。

符号変換送信処理部 1〜Mからの第 1乃至第 Nの動画像符号化データは、第 1 乃至第 Mの伝送路 1 3 0上へ送出される。第 1〜第 Mの伝送路 1 3 0に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の圧縮率、及び又は, 送信符号化データ数を選択し、第 1乃至第 Mの伝送路 1 3 0へ送出する制御を行うようにしてもよい。符号変換送信処理部 1〜Mを複数並設する代わりに、 1つの符号変換送信処理部 1の第 1乃至第 Nの動画像符号変換送信部の出力を、第 1 乃至第 Mの伝送路 1 3 0へ分配するようにしてよい。さらに、符号変換送信処理部 1〜Mの出力方路を切替え、第 1乃至第 Mの伝送路 1 3 0の接続の切替えを行つてもよい。

動画像符号変換受信装置 1 2 0は、受信伝送路選択部 1 0 7で、符号変換伝送装置が送信した M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路からの N個の符号化データを受信し、復号変換を行う。

図 1に示すように、受信伝送路選択部 1 0 7で選択された伝送路からの符号化データを符号変換受信部が受信する。符号変換受信部は、符号変換伝送装置の備える第 1乃至第 Nの動画像符号変換送信部によって送信された符号化データを受信する第 1乃至第 Nの符号化データ受信部 1 0 8〜 1 1 1を備えている。

符号変換受信部の第 1乃至第 Nの符号化データ受信部 1 0 8〜 1 1 1からの出力を入力する符号化データ再構成部 1 1 2を備える。

符号化データ再構成部 1 1 2は、符号化データ受信部 1 0 8〜 1 1 1で伝送誤リも欠落もなく受信された最大 N個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。あるいは、符号化データ再構成部 1 1 2は、受信される最大 N個の符号化データの中から、例えば最初に正常に受信された符号化データ等、圧縮率とは異なる所定の判定基準にしたがって、符号化データを選択して動画像符号データの再構成を行うようにしてもよい。符号化データ再構成部 1 1 2で再構成された符号化データは、図示されない復号装置に入力されて、復号装置は、符号化データの復号処理を行う。

( 1 . B ) 符号変換伝送装置：

図 2は、本発明の第 1の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数 Nを 3とし、符号化データを伝送する伝送路の個数 Mを 2としている。

図 2において、第 1の動画像符号化送信部 2 0 0は、第 1の送信フレームバケット選択部 2 0 1と、第 1の第 1の誤り検出符号■ フレームバケツト識別番号付加部 2 0 2を備えている。なお、この第 1の動画像符号化送信部 2 0 0は、図 1の第 1の動画像符号変換送信部 1 0 2に対応している。

第 1の送信フレームバケツ小選択部 2 0 1は、入力された動画像フレームを入力動画像のうち、画像の性質や伝送路の状況に従い、適応的に、伝送路に送出するフレームを選択する。選択にあたり、例えば一定周期（nパケットに 1回）ごとにパケットを選択して出力してもよい。あるいは、動画像フレームのバケツト中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化バケツト中の特徴パラメータとして、例えば動きべクトルなど、ビット誤リあるいはバケツトロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定する。あるいは、符号化が M P E G方式の場合、ビクチャタイプにしたがって、例えば、 I ピクチャは必ず選択する等の規則を設けておいてもよいし、この選択用の規則を動的に可変させるようにしてもよい。

第 1の誤り検出符号■フレームバケツト識別番号付加部 2 0 2は、第 1の送信フレームバケツト選択部 2 0 1が出力した符号化バケツ卜データの伝送誤りとバケツ卜ロスを受信装置で検出するための、誤り検出符号とフレームバケツト識別番号を付加する。同じく図 2において、第 2の動画像符号変換送信部 2 2 0は、復号部 2 0 3、フレーム間予測部 2 0 4、予測残差算出部 2 0 5、第 2の予測誤差圧縮符号化部 2 0 6、第 2の符号化バケツト生成部 2 0 7、第 2の誤り検出符号■フレームパケッ卜識別番号付加部 2 0 8、予測残差復号部 2 0 9、参照フレーム格納メモリ 2 1 1、復号画像算出部 2 1 0を備えている。なお、この第 2の動画像符号変換送信部 2 2 0は、図 1の第 2の動画像符号変換送信部 1 0 4に対応しておリ、復号部 2 0 3は、図 1の動画像データ復号部 1 0 3に対応する。

図 2において、復号部 2 0 3は、入力された動画像符号化データの少なくとも一部を復号する。

フレーム間予測部 2 0 4は、参照フレーム格納メモリ 2 1 1に格納された少なくとも 1つの復号画像から、入力された画像へのフレーム間予測を行う。

予測残差算出部 2 0 5は入カフレーム画像から、フレーム間予測部 2 0 4で得られた予測画像を減算することで予測残差を算出する。

第 2の予測残差圧縮符号化部 2 0 6は予測残差算出部 2 0 5で得られた予測残差画像を所定の方法で圧縮符号化する。

第 2の符号化バケツト生成部 2 0 7はフレーム間予測部 2 0 4で得られたフレーム間予測パラメータと第 2の予測誤差圧縮符号化部 2 0 6で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のバケツ卜単位で出力する _c 第 2の誤り検出符号■フレームパケット識別番号付加部 2 0 8は、第 2の符号化バケツト生成部 2 0 7が出力した符号化バケツ卜データの伝送誤りとバケツ卜ロスを受信装置で検出するための、誤り検出符号とフレームバケツ卜識別番号を付加する。

予測残差復号部 2 0 9は、第 2の誤り検出符号 ' フレームバケツト識別番号付加部 2 0 8で符号化された予測残差の復号データを求める。

復号画像算出部 2 1 0はフレーム間予測部 2 0 4で生成された予測画像と、予測残差復号部 2 0 9で復号された予測残差の和によリ復号画像を求める。

参照フレーム格納メモリ 2 1 1は、次のフレームの符号化に備え復号画像を格納する。

図 2において、第 3の動画像符号変換送信部 2 3 0は、第 3の予測残差圧縮符号化部 2 1 2、第 3の符号化バケツト生成部 2 1 3、第 3の誤り検出符号■フレームバケツト識別番号付加部 2 1 4を備えている。第 3の動画像符号変換送信部は、図 1の第 3の動画像符号変換送信部 1 0 5に対応する。

第 3の予測残差圧縮符号化部 2 1 2は、予測残差算出部 2 0 5で得られた予測残差画像を、第 1 (第 2 ) の予測残差圧縮符号化部 2 0 6と同等もしくはそれよリも高い圧縮率で符号化する。

第 3の符号化バケツ卜生成部 2 1 3は、フレーム間予測部 2 0 4で得られたフレーム間予測パラメータと第 3の予測残差圧縮符号化部 2 1 2で得られた予測残差の圧縮データを、ビット列に可変長符号化し、所定のパケット単位で出力する第 3の誤り検出符号'フレームノバケット識別番号付加部 2 1 4は、第 3の符号化バケツト生成部 2 1 3が出力した圧縮バケツトデータの伝送誤りとバケツ卜ロスを受信装置で検出するための、誤り検出符号とフレームバケツ卜識別番号を付加する。

以上の処理部の動作によリ第 3の動画像符号化データが得られ、所定の送信手段によってバケツト単位で送信される。

本実施形態では、 Mを 2、 Nを 3としているため、 2個の伝送路それぞれに、以上の第 1乃至第 3の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。図 1において、 2つの符号変換送信処理部 1、符号変換送信処理部 2を備え、符号変換送信処理部 1、 2は、各々 3本の伝送路のそれぞれに送出する。

本実施形態において、第 1の誤り検出符号付加■フレーム Zバケツ卜識別番号付加部 2 0 2を設け、第 1の送信フレームバケツト選択部 2 0 1から出力された第 1の符号化データに誤リ検出符号とフレームパケット識別番号を付加しているが、入力された動画像パケットデータに、既にこのような情報が付加されていれば、第 1の誤り検出符号付加■フレームバケツト識別番号付加部 2 0 2は設けなくてもよい。また、送信された符号化パケットデータの伝送誤りとバケツ卜ロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第 1の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第 1の誤り検出符号付加■ フレームバケツト識別番号付加部 202で誤り検出符号化を付加する必要は無し、。別の例として、第 1の送信フレームノパケット選択部 201から出力された符号化データにフレームやバケツトを識別できる情報が含まれているならば、第 1の誤り検出符号付加■フレームバケツト識別番号付加部 202でフレーム Z バケツト識別番号を付加する必要は無い。

同様に、第 2の誤り検出符号付加■フレームバケツト識別番号付加部 208 を設け、第 2の符号化データに誤り検出符号とフレームバケツ卜識別番号を付加しているが、送信された符号化データの伝送誤りとバケツ卜ロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であつても構わない。

同様に、第 3の誤り検出符号付加■フレームバケツト識別番号付加部 21 を設け、第 3の符号化データに誤り検出符号とフレーム/バケツ卜識別番号を付加しているが、送信された符号化データの伝送誤りとパケットロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であつても構わない。

以上で説明した本実施形態を更に好ましく具体化した例では、動画像符号変換伝送装置は、インターネット通信網に接続され、例えば CCD (charge coupled device)カメラなどを介して撮像■入力された動画像を M P E G— 4ビジュアル (Visual)方式に従った符号化データに圧縮し、 U D P (User Datagram Protocol) ZI P (Internet Protocol) プロトコルを用いて伝送されるデータを入力する。図 2において、フレーム間予測部 204は動き補償によるフレーム間予測を行う。第 1の予測残差圧縮符号化部 206と第 3の予測残差圧縮符号化部 21 2は 2次元離散コサイン変換（2D— DCT) と量子化による圧縮処理を行う。第 2 の予測残差圧縮符号化部 21 2は、第 1の予測残差圧縮符号化部 206よりも大きい量子化パラメータを用いて 2 D— DCT係数を量子化する方法や、高次の 2 D-D C T係数を適応的に除去するなどの方法で、第 3の符号化データの圧縮率が第 1の符号化データの圧縮率と同等もしくはそれよリも高くなるように圧縮する。予測残差復号部 209は逆量子化と逆 2次元離散コサイン変換（2D— I D CT) を行う。第 2の符号化パケット生成部 2 0 7は第 2の予測残差圧縮符号化部 2 0 6から出力される量子化 D C T係数とフレーム間予測部 2 0 4から出力される動きべクトルなどを、 M P E G— 4 V i s u a Iで規定されたシンタックスに従って符号化する。同様に、第 3の符号化バケツト生成部 2 1 3は、第 3の予測残差圧縮符号化部 2 1 2から出力される量子化 D C T係数と、フレーム間予測部 2 0 4から出力される動きべクトルなどを、 M P E G— 4 V i s u a lで規定されたシンタックスに従って符号化する。第 1の誤り検出符号付加■フレーム/バケツト識別番号付加部 2 0 2と、第 2の誤り検出符号付加 ' フレームパケット識別番号付加部 2 0 8と、第 3の誤り検出符号付加■フレーム Zバケツ卜識別番号付加部 2 1 4は、誤り検出のためのチェックサムを含んだ U D Pデータグラムを作成し、インターネッ卜に接続された符号変換受信装置に送出する。

( 1 . C ) 符号変換受信装置：

図 3は、本発明の第 1の実施形態における動画像符号変換受信装置 1 2 0 (図 1参照）の詳細な構成を示している。図 3において、動画像符号変換受信装置は、伝送路選択部 3 0 0と、第 1乃至第 3の符号化データ受信部 3 2 0、 3 3 0、 3 4 0と、符号化データ再構成部 3 1 0と、を備えている。

第 1の符号化データ受信部 3 2 0は、第 1のバケツト受信バッファ 3 0 1と、第 1の符号化データ抽出部 3 0 2と、第 1のエラーバケツトロス検出部 3 0 3 を備えている。第 2、第 3の符号化データ受信部も第 1の符号化データ受信部と同様の構成とされている。

図 1では受信伝送路選択部 1 0 7として示されている受信伝送路選択部 3 0 0 は、符号化変換受信装置 1 2 0 (図 1参照）が動画像データを受信する伝送路 1 3 0 (図 1参照）を選択する。第 1のパケット受信バッファ 3 0 1は、符号変換伝送装置 1 0 0 (図 1参照）から送信された第 1の符号化パケットデータを受信する。第 1の符号化データ抽出部 3 0 2は、第 1のバケツト受信バッファ 3 0 1 で受信されたパケットデータから、動画像符号化データを抽出する。第 1のエラ一 Zバケツトロス検出部 3 0 3は、第 1の符号化バケツトデータの伝送時に発生したビッ卜エラー及び Z又はバケツトロスを検出する。

また第 2の符号化データ受信部 3 3 0において、第 2のバケツ卜受信バッファ 3 0 4は、符号変換伝送装置 1 0 0 (図 1参照）から送信された第 2の符号化パケットデータを受信する。第 2の符号化データ抽出部 3 0 5は、第 2のパケット受信バッファ 3 0 4で受信されたバケツトデータから、動画像符号化データを抽出する。第 2のエラー検出パケットロス検出部 3 0 6は、第 2の符号化バケツトデータの伝送時に発生したビットエラ一及び又はバケツトロスを検出する。第 3の符号化データ受信部 3 4 0において、第 3のバケツ卜受信バッファ 3 0 7は、符号変換伝送装置 1 0 0 (図 1参照）から送信された第 3の符号化バケツ卜データを受信する。第 3の符号化データ抽出部 3 0 8は、第 3のパケット受信バッファ 3 0 7で受信されたバケツトデータから、動画像符号化データを抽出する。第 3のエラー検出パケットロス検出部 3 0 9は、第 3の符号化パケットデータの伝送時に発生したビットエラー及び又はバケツトロスを検出する。

符号化データ再構成部 3 1 0は、第 1乃至第 3のエラー検出■バケツトロス検出部 3 0 3、 3 0 6、 3 0 9においてビットエラ一及び又はパケットロスを検出した結果に従って、符号変換伝送装置よリ送信された 2つの符号化データを 1 つの符号化データに再構成する。

本実施形態における、符号化データ再構成部 3 1 0での符号化データ再構成手順を、図 4のフローチャートをもとに説明する。図 4の一連の手順は、ある整数 nに対し、第 nフレームの符号化データ再構成処理を示している。

ステップ S 4 0 1では、第 nフレームの全ての符号化データが第 1の受信パケットバッファ 3 0 1と第 2の受信バケツ卜バッファ 3 0 4に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 4 0 2 に進む。

ステップ S 4 0 2では、第 1の誤り検出■バケツ卜ロス検出部 3 0 3における誤りとバケツトロスの検出結果に従い、第 1の受信バケツトバッファ 3 0 1中の第 nフレームデータにパケットロス、ピット誤りがないどうかを判定する。

第 1の受信バケツ卜バッファ 3 0 1に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップ S 4 0 3に分岐する。それ以外の場合には、ステップ S 4 0 4に進む。

ステップ S 4 0 3に分岐した場合には、第 1の符号化データ抽出部 3 0 2が出力する第 nフレームの符号化データを出力し、符号化データ再構成処理を終了する。

ステップ S 4 0 2の判定の結果、ステップ S 4 0 4に進んだ場合、第 2の誤り検出 'バケツトロス検出部 3 0 6における誤りとバケツトロスの検出結果に従い，第 2の受信パケットバッファ 3 0 4中の第 nフレームデータにパケットロス、ビット誤りがないかどうかを判定する。第 2の受信バケツトバッファ 3 0 4に第 n フレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップ S 4 0 5に分岐する。それ以外の場合は、ステップ S 4 0 6に進む。

ステップ S 4 0 6に進んだ場合は、第 3の誤り検出 'パケットロス検出部 3 0 9における誤りとバケツ卜ロスの検出結果に従い、第 3の受信バケツトバッファ 3 0 7中の第 nフレームデータにバケツ卜ロス、ビッ卜誤りがないかどうかを判定する。第 3の受信バケツトバッファ 3 0 7に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合には、ステップ S 4 0 7に進む。それ以外の場合は、ステップ S 4 0 3に分岐する。

ステップ S 4 0 7では、第 3の符号化データ抽出部 3ひ 8が出力する第 nフレー厶の符号化データを復号する符号化データとして出力し、符号化データ再構成処理を終了する。

本実施形態において、第 1のエラー検出■バケツ卜ロス検出部 3 0 3における第 1の符号化データの伝送誤り及び Z又は誤りバケツトロスを検出する方法は、いかなる方法でも構わない。例えば、本実施形態の符号変換伝送装置で付加された誤り検出符号とフレームノバケツト番号により検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合には、符号化データに含まれる情報を利用しても良い。

同様に、第 2のエラー検出■バケツトロス検出部 3 0 6において第 2の符号化データの伝送誤り及び又は誤りバケツトロスを検出する方法は、いかなる方法でも構わない。第 3のエラ一検出■バケツトロス検出部 3 0 9において第 3の符号化データの伝送誤り及び Z又は誤りバケツトロスを検出する方法も、いかなる方法でも構わない。

符号化データ再構成部 3 1 0における符号化データの再構成手順において、ステツプ S 4 0 1で第 nフレーム符号化データ受信を待機する方法は、バケツト伝送遅延を所定の範囲内に抑えながらバケツトロスを検出できる方法であれば、他のいかなる方法でも構わない。

符号化データ再構成部 3 1 0における符号化データ再構成手順において、ステップ S 4 0 6で第 3の受信パケットバッファで受信した符号化データに伝送エラ一かバケツ卜ロスが検出された場合、すなわち第 1乃至第 3の符号化データ全てに伝送エラーかバケツ卜ロスが発生した場合に関しては、符号化データ再構成部 3 1 0は、他のいかなる対応を行っても構わない。

本実施形態では、図 4のステップ S 4 0 3に進み、第 1の符号化データを復号する符号化データとして出力しているが、例えば第 nフレームの出力を取り止め, —つ前に出力された第（n— 1 ) フレームの画像データを第 nフレームの出力とするなど、他の方法で対応しても構わない。

本実施形態を実施した具体例では、符号変換受信装置は、インターネット通信網に接続され、別地点でインタ一ネッ卜通信網に接続された符号変換伝送装置から U D P Z I Pプロ卜コルを用いて送信されるバケツ卜データを受信し、受信した U D Pデータグラムに含まれる動画像符号化データを変換して復号装置に出力する。動画像符号化データは M P E G— 4 V i s u a l方式に従っている。第 1のエラ一検出 Zバケツトロス検出部 3 0 3と、第 2のエラー検出 Ζバケツトロス検出部 3 0 6と、第 3のエラー検出バケツトロス検出部 3 0 9とは、 U D P データグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。

( 1 . D ) 符号化パケットデータの伝送形態：

本発明では、第 1ないし第 2の符号化バケツ卜データを符号変換伝送装置 1 0 0 (図 1参照）から符号変換受信装置 1 2 0 (図 1参照）へいかなる方法で伝送しても構わない。ただし、本発明の効果を高めるには、第 1の符号化バケツ卜デ一夕に発生するビッ卜誤りやバケツトロスと、同一フレーム画像を符号化した第 2の符号化バケツ卜データに発生するビット誤リやバケツトロスとの相関が小さくなる方法が好ましい。図 5は、このような好ましい符号化バケツトデータ伝送方法の一例を示している。図 5において、符号変換伝送装置 5 0 1は、図 2を参照して説明した符号変換伝送装置である。遅延付加部 5 0 2乃至 5 0 3は、符号変換伝送装置 5 0 1から出力される第 2乃至第 3の符号化バケツ卜データに、一定又は適応的に変化する遅延時間を加えて出力する。

多重化部 5 0 4は、図 1においては符号変換伝送装置 1 0 0として示されている符号変換伝送装置 5 0 1から出力される第 1の符号化データと、遅延付加部 5 0 2から出力される第 2の符号化データと、遅延付加部 5 0 3から出力される第 3の符号化データとを多重化して、伝送路 5 0 5に送出する。

伝送路 5 0 5は、多重化部 5 0 4で多重化されたデータを、送信装置から受信装置へ伝送する。同様に、遅延付加部 5 0 6、 5 0 7と多重化部 5 0 8は、第 2 の伝送路 5 0 9へ同様のデータを送出する処理を行う。

伝送路選択部 5 1 0は、伝送路 5 0 5又は伝送路 5 0 9の少なくとも一方の伝送路を選択する。分離部 5 1 1は、伝送路選択部 5 1 0からデータを受信し、第 1の符号化データと第 2の符号化データに分離する。動画像受信復号装置 5 1 2 は、図 3を参照して説明した動画像符号変換受信装置よりなる。

ここで、遅延付加部 5 0 2、 5 0 3で、第 2乃至第 3の符号化データに加えられる遅延は、伝送路 5 0 5で発生するビット誤リやバケツトロスの最大バースト時間により決定される。これにより、伝送路 5 0 5でバーストエラーが発生しても、同一フレームを符号化した第 1乃至第 3の符号化データのいずれもがエラーの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部で設定される遅延は、受信装置のバッファサイズや、伝送路の転送レート（ビットレート）に基づき設定される。

同様に、遅延付加部 5 0 6、 5 0 7で第 2乃至第 3の符号化データに加えられる遅延時間は、伝送路 5 0 9で発生するビット誤リやバケツトロスの最大バース卜時間により決定される。これにより、伝送路 5 0 9でバーストエラーが発生しても、同一フレームを符号化した第 1乃至第 3の符号化データのいずれもがエラ一の影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。遅延付加部、あるいは遅延付加部と多重化部を、符号変換伝送装置 5 0 1内に設ける構成としてもよい。

( 1 . E ) 効果：

この第 1の実施形態によれば、動画像符号変換伝送装置 1 0 0は、同一の動画像データを、 3個の符号化データに変換して、一定又は適応的に変化する時間間隔を離間させて伝送路 1 3 0に送出する。

第 1の符号変換送信部 1 0 2は、入力された動画像データのフレームを動画像の性質又は予め定められた規則に従い適応的に選択して出力する。第 2の符号変換送信部 1 0 4は、入力された動画像データの少なくとも一部を復号し、入力データと同等もしくはそれより高い圧縮率で符号化し、送信する。第 3の符号変換送信部 1 0 5は、第 2の符号変換送信部 1 0 4で符号化されたフレームを、第 2 の符号変換送信部 1 0 4による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置 1 2 0側は、 M個の伝送路のうち少なくとも 1個の伝送路からのデータを受信し、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データを、フレーム単位で選択し、出力する。

その結果、バースト性の高い伝送エラ一やバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 3個の符号化データのいずれもが誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第 2乃至第 3の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第 1乃至第 3の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。また、動画像符号変換受信装置で、受信した 3個の符号化データの中から少なくとも 1 個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第 1乃至第 Nの符号変換データは、インタリーブ法等により、パケット順序をシャフルして多重化してもよい。インタリーブ法によれば、時間的に変化する回線等の伝送路の影響を平均化することができる。

( 2 ) 第 2の実施の形態：

本発明の第 2の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

( a ) 圧縮された符号化パケットデータを入力し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 入力された符号化パケットデータの少なくとも一部を復号し、第 1の動画像符号変換送信部と同等もしくはそれよリ高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜データを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

( c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の圧縮率、及び又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部、を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理■機能が実現されてもよい。

以下、第 2の実施形態についてさらに詳しく説明する。

( 2 . A ) 概要：

本実施形態のシステムの構成及び動作は第 1の実施形態とほぼ同じであり、図 1に示されるように、動画像符号変換伝送装置 1 0 0と符号変換受信装置 1 2 0 及び符号化データを伝送するための伝送路 1 3 0から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは, N個の符号化データが送出される伝送路の個数を表し、 1以上とする。

動画像符号変換伝送装置 1 0 0の構成は、第 1の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態での動作と第 1の実施形態での動作との相違点についてのみ説明する。

第 1の動画像符号化送信部（第 1の動画像符号変換送信部） 1 0 2で符号化される入力フレーム画像の符号化データは、少なくとも一個のバケツ卜データから構成されており、各バケツトデータには、入力フレーム画像に含まれる画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている第 1の動画像符号化送信部 1 0 2は、入力された動画像データのバケツ卜の少なくとも一部を、動画像符号変換受信装置に送信する。

第 2の動画変換送信部（第 2の動画像符号変換送信部） 1 0 4は、入力された動画像データの少なくとも一部を復号し、得られた画像を第 1の動画像符号化デ一夕と同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号化データの少なくとも一部を動画像符号変換受信装置へ送信する。

また、第 3乃至第 Nの動画像符号化送信部（第 3乃至第 Nの動画像符号変換送信部） 1 0 5は、第 2の動画像符号変換化送信部で符号化されたバケツ卜の全て又はバケツ卜が含む画像領域を、当該画像領域に対する第 2の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像の少なくとも一方のデータを利用して、第 2の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化バケツ卜データの少なくとも一部を動画像符号変換受信装置へ送信する。これ以外の他の動作は、第 1の実施形態と実質的に同一である。

動画像符号変換受信装置の構成も第 1の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では、この実施形態における動作が, 第 1の実施形態での動作と相違する点について説明する。

符号化データ再構成部 1 1 2は、第 1の実施形態と同様に、第 1乃至第 Nの符号化データ受信部で伝送誤り又は欠落がなく受信され同一フレームの同一領域の圧縮データを含む最大 N個の符号化バケツ卜データの中から、例えば圧縮率が最も低い、画質の良いパケットを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するバケツ卜データ単位で行う。これ以外の他の動作は、第 1の実施形態と実質的に同一である。

( 2 . B) 符号変換伝送装置：

本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図 2に示した第 1の実施形態における動画像符号変換伝送装置とほぼ同じである。ただし、図 2における第 1の符号化パケット選択部 2 0 1と、第 2の符号化パケット生成部 2 0 7と、第 3の符号化パケット生成部 2 1 3と、第 1の誤り検出符号付加 ' フレームバケツト番号付加部 2 0 2と、第 2の誤り検出符号付加 ' フレームバケツト番号付加部 2 0 8と、第 3の誤り検出符号付加■フレーム Zバケツ卜番号付加部 2 1 4の動作が、第 1の実施形態と相違する。以下相違点について説明し、同一部分の説明は省略する。

本実施形態における動画像データ符号変換伝送装置において、第 1の符号化パケッ卜選択部 2 0 1と第 2の符号化バケツ卜生成部 2 0 7と第 3の符号化バケツト生成部 2 1 3は、第 1の符号化バケツト選択部 2 0 1で選択される符号化パケッ卜データが含む画像領域と、第 2の符号化バケツト生成部 2 0 7で生成する符号化バケツトデータが含む画像領域と、第 3の符号化バケツト生成部 2 1 3で生成する符号化バケツ卜データが含む画像領域とがー致するように、符号化バケツ卜データを生成する。

第 1の誤り検出符号付加 ' フレーム/バケツト番号付加部 2 0 2と、第 2の誤リ検出符号付加■フレームバケツト番号付加部 2 0 7と、第 3の誤り検出符号付加■フレームバケツト番号付加部 2 1 3とは、同一フレームの同一画像領域に対応する符号化バケツ卜データに、同一のパケット識別番号が付加されるように動作する。ただし、第 1乃至第 3の符号化パケット生成部が符号化するバケツトデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレームバケツト識別番号を付加しなくても良い。本実施形態を具体化した例では、動画像の圧縮符号化に M P E G— 4 ビジュアル（V i s u a I ) 方式を利用している。この方式では、入力画像フレームを、「マクロブロック」と呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオバケツ卜と呼ばれるバケツ卜単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオバケツ卜単位で復号可能である。第 1の符号化バケツ卜選択部 2 0 1と第 2の符号化パケット生成部 2 0 7と第 3の符号化パケット生成部 2 1 3は、符号化データをビデオバケツト単位で出力する。第 2の符号化バケツ卜生成部 2 0 7 で符号化されたビデオバケツ卜と、第 3の符号化バケツ卜生成部 2 1 3で符号化されたビデオバケツトは、第 1の符号化バケツ卜選択部 2 0 1で選択されたビデォパケッ卜と同一領域のマクロブロックを含むように生成される。

( 2 . C ) 符号変換受信装置：

本実施形態における動画像符号変換受信装置の構成及び動作は、図 3に示した第 1の実施形態における動画像符号変換受信装置とほぼ同じであり、図 3における符号化データ再構成部 3 1 0の動作のみが相違する。以下相違点について説明し、同一部分の説明は省略する。

本実施形態における、符号化データ再構成部 3 1 0での符号化データ再構成の手順を、図 6のフローチャートをもとに説明する。図 6の一連の手順は、ある整数 nに対し第 nフレームの符号化データ再構成処理を示している。

ステップ S 6 0 1では、第 nフレームの全ての符号化データが第 1の受信パケットバッファ 3 0 1と第 2の受信バケツトバッファ 3 0 4と第 3の受信バケツトバッファ 3 0 7に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 6 0 2に進む。

ステップ S 6 0 2では、パケット番号を記憶する変数 aに第 nフレームのパケッ卜番号の最小値を格納し、変数 bに第 nフレームのバケツ卜番号の最大値を格納する。

ステップ S 6 0 3では、バケツト番号を記憶する変数 iに変数 aの値を代入し、ステップ S 6 0 4からの繰り返し処理を開始する。ステップ S 6 0 4では、第 1の誤り検出 'バケツトロス検出部 3 0 3における誤りとバケツトロスの検出結果に従い、第 1の受信バケツトバッファ 3 0 1中に第 nフレームの第 iバケツ卜が存在し、ビッ卜誤りがないかどうかを判定する。第 1の受信バケツトバッファ 3 0 1に第 nフレームの第 iバケツ卜が受信され、かつデータに誤りが検出されない場合は、ステップ S 6 0 8に進む。それ以外の場合は、ステップ S 6 0 5に進む。

ステップ S 6 0 8に進んだ場合には、第 1の符号化データ抽出部 3 0 2が出力する第 nフレームの符号化データを復号する符号化データとして出力し、ステツプ S 6 1 0に進む。

ステップ S 6 0 5に進んだ場合には、第 2の誤り検出■パケットロス検出部 3 0 6における誤りとバケツトロスの検出結果に従い、第 2の受信バケツトバッファ 3 0 4中に第 nフレームの第 ίバケツ卜が存在し、ビット誤リがないかどうかを判定する。第 2の受信バケツトバッファ 3 0 4に第 ηフレームの第 iバケツトが受信され、かつデータに誤りが検出されない場合は、ステップ S 6 0 7に進む _c それ以外の場合は、ステップ S 6 0 6に進む。

ステップ S 6 0 7では、第 2の符号化データ抽出部 3 0 5が出力する第 nフレームの符号化データを復号する符号化データとして出力し、ステップ S 6 1 0に進む。

ステップ S 6 0 6に進んだ場合は、第 3の誤り検出■バケツトロス検出部 3 0 9における誤りとバケツトロスの検出結果に従い、第 3の受信バケツトバッファ 3 0 7中に第 nフレームの第 ίバケツ卜が存在し、ビッ卜誤りがないかどうかを判定する。第 3の受信バケツトバッファ 3 0 7に第 ηフレームの第 ίバケツ卜が受信され、かつデータに誤りが検出されない場合は、ステップ S 6 0 9に進む。それ以外の場合は、ステップ S 6 1 0に進む。

ステップ S 6 1 0では、変数 ίを 1増加させる。続くステップ S 6 1 1では、変数 ίが変数 bの値を超えていないか判定し、超えていない場合はステップ S 6 0 4からの処理を繰り返す。変数 iが変数 bの値を超えた場合は、一連の繰り返し処理を終え、第 nフレーム符号化データの再構成処理を終了する。

なお、本実施形態の符号化データ再構成部 3 1 0での符号化データ再構成手順における、ステップ S 6 0 1での第 nフレーム符号化データの受信を待機する方法は、バケツ卜伝送遅延を所定の範囲内に抑えながらバケツトロスを検出できる方法であれば、他のいかなる方法でも構わない。

( 2 . D ) 効果：

この第 2の実施形態によれば、動画像符号変換伝送装置は、同一の動画像データを 3個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。第 2乃至第 3の動画像符号変換送信部は、第 1の動画像符号変換送信部で変換されたバケツ卜が含む画像領域を符号化する。第 3の符号化送信部は、第 2の符号化送信部で符号化されたパケットが含む画像領域を、第 1の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

動画像符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをバケツト単位で選択して復号する。

その結果、バースト性の高い伝送エラーやバケツ卜ロスが頻発する信頼性の低い伝送路を用いる場合でも、 3個の符号化データのいずれもが誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。

さらに、第 2乃至第 3の符号化データの圧縮率を高くすることで、これらの符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

さらに、使用できる帯域にあわせて、帯域の異なった複数の伝送路へ第 1乃至第 3の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

また、動画像符号変換受信装置で、受信した 3個の符号化データの中から少なくとも 1個のデータが選択され、動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。

( 3 ) 第 3の実施の形態：本発明の第 3の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

( a ) 圧縮された符号化データを入力し、復号した動画像データの全てのフレ —ム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、入力した動画像データと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 第 1の動画像符号変換送信部が符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第 1の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第 1の動画像符号変換送信部と同等もしくはそれよリも高い圧縮率となるように符号化し、得られた符号化データを第 1の動画像符号変換送信部と同一又は異なる伝送路を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

( c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び又は、送信符号化データ数を選択し、第 1乃至第 Mの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理，機能が実現されてもよい。

以下、第 3の実施形態について、さらに詳しく説明する。

( 3 . A) 概要：

図 7は、本発明の第 3の実施形態でのシステム構成を示す図である。図 7に示すように、動画像データの符号変換伝送部（符号変換送信装置） 7 0 0と、符号変換受信装置 7 2 0及び符号化データを伝送するための伝送路 7 3 0から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表す。 Nは 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路 7 3 0の個数を表し、 1以上とする。

動画像符号変換伝送装置 7 0 0は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれより高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置 7 2 0へ送信する。入力された動画像データを N個の符号化データに符号化し、第 1乃至第 Nの動画像符号化データとして第 1乃至第 Mの伝送路 7 3 0に送信する c 図 7に示すように、この装置は、第 1乃至第 Nの N個の動画像符号化送信部 (第 1乃至第 Nの動画像符号変換送信部） 7 0 3〜 7 0 5を備える。

動画像データ受信部 7 0 1は、動画像データを受信する。動画像復号部 7 0 2 は、入力された動画像符号化データの少なくとも一部を復号する。

第 1の動画像符号化送信部（第 1の動画像符号変換送信部） 7 0 3は、符号変換伝送装置（符号化変換伝送部）に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う。第 2乃至第 Nの動画像符号化送信部（動画像符号変換送信部） 7 0 4 , 7 0 5は、第 1の動画像符号化送信部 7 0 3で符号化されたフレームの少なくとも一部のフレームを、当該フレームに対する第 1の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第 1の動画像符号化送信部 7 0 3と同等もしくはそれよリも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を、伝送路 7 3 0を介して動画像符号変換受信装置 7 2 0へ送信する。第 1乃至第 Nの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データは、第 1乃至第 Mの伝送路上へ送出される。

動画像符号変換受信装置 7 2 0は、受信伝送路選択部 7 0 6で、動画像符号変換伝送装置が送信した M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路からの N個の符号化デ一タを受信し、復号変換を行う。図 7に示すように、動画像符号変換受信装置 7 2 0は、符号変換伝送装置 7 0 0の備える第 1乃至第 Nの動画像符号変換送信部 7 0 3 ~ 7 0 5によつて伝送路 7 3 0上に送信された符号化データを受信する第 1乃至第 Nの符号化データ受信部7 0 7〜7 0 9と、符号化データ再構成部 7 1 0を備える。符号化データ再構成部 7 1 0は、符号化データ受信部 7 0 7乃至 7 0 9で伝送誤りも欠落もなく受信された最大 N個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。

( 3 . B) 符号変換伝送装置：

図 8は、図 7に示した第 3の実施形態における動画像符号変換伝送装置の詳細な構成を示している。図 8では、簡単のため、この装置が出力する符号化データの個数 Nを 2、符号化データを送信する伝送路の個数 Mを 2としている。

図 8において、復号部 8 0 1は、入力された動画像データの少なくとも一部を復号する。フレーム間予測部 8 0 2は参照フレーム格納メモリ 8 0 9に格納された少なくとも 1つの復号画像から、復号部 8 0 1よリ出力された画像へのフレーム間予測を行う。予測残差算出部 8 0 3は入力フレーム画像から、フレーム間予測部 8 0 2で得られた予測画像を減算することで予測残差を算出する。第 1の予測残差圧縮符号化部 8 0 4は予測残差算出部 8 0 3で得られた予測残差画像を所定の方法で圧縮符号化する。第 1の符号化パケット生成部 8 0 5ほ、フレーム間予測部 8 0 2で得られたフレーム間予測パラメータと、第 1の予測残差圧縮符号化部 8 0 4で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のバケツト単位で出力する。第 1の誤り検出符号■フレーム Zバケツト識別番号付加部 8 0 6は、第 1の符号化バケツ卜生成部 8 0 5が出力した符号化パケットデータの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレームバケツト識別番号を付加する。予測残差復号部 8 0 7は第 1の誤リ検出符号■フレームバケツ卜識別番号付加部 8 0 6で符号化された予測残差の復号データを求める。復号画像算出部 8 0 8はフレーム間予測部 8 0 2で生成された予測画像と予測残差復号部 8 0 7で復号された予測残差の和によリ復号画像を求める。参照フレーム格納メモリ 8 0 9は次のフレームの符号化に備え復号画像を格納する。図 8において、第 2の予測残差圧縮符号化部 8 1 0は、予測残差算出部 8 0 3 で得られた予測残差画像を第 1の予測残差圧縮符号化部と同等もしくはそれよリも高い圧縮率で符号化する。第 2の符号化バケツト生成部 8 1 1は、フレーム間予測部 8 0 2で得られたフレーム間予測パラメータと、第 2の予測残差圧縮符号化部 8 1 0で得られた予測残差の圧縮データをビッ卜列に可変長符号化し、所定のバケツト単位で出力する。第 2の誤り検出符号付加■フレームバケツ卜識別番号付加部 8 1 2は、第 2の符号化バケツ卜生成部 8 1 1が出力した圧縮バケツ卜データの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレーム/パケット識別番号を付加する。これによつて、第 2の動画像符号化データが得られ、所定の送信機構によってパケット単位で送信される。

本実施形態では、 Mを 2、 Nを 2としているため、 2個の伝送路それぞれに、以上の第 1乃至第 2の動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された動画像符号化データが送信される。

本実施形態において、第 1の誤り検出符号付加■フレームバケツ卜識別番号付加部 8 0 6を設け、第 1の符号化パケット生成部 8 0 5から出力された第 1の符号化バケツトデータに誤り検出符号とフレーム Zバケツト識別番号を付加しているが、送信された符号化バケツ卜データの伝送誤りとバケツトロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であつても構わない。例えば、第 1の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第 1の誤り検出符号付加■フレーム Zバケツト識別番号付加部 8 0 6で誤り検出符号化を付加する必要は無い。別の例として、第 1の符号化パケッ卜生成部 8 0 5から出力された符号化データにフレームゃパケットを識別できる情報が含まれているならば、第 1の誤り検出符号付加 'フレームバケツ卜識別番号付加部 8 0 6でフレーム Zバケツト識別番号を付加する必要は無い。

同様に、第 2の誤り検出符号付加■フレームノバケツト識別番号付加部 8 1 2 を設け、第 2の符号化バケツ卜データに誤り検出符号とフレーム/バケツ卜識別番号を付加しているが、送信された符号化バケツトデータの伝送誤りとバケツトロスを符号変換受信装置で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。

以上で説明した本実施形態を更に好ましく具体化した例は、上述の第 1の実施形態と同様である。

( 3 . C ) 符号変換受信装置：

本発明の第 3の実施形態における動画像符号変換受信装置は、図 3に示す構成と同様である。ただし図 3に示すものでは、伝送路の個数 Mを 3としているが、本実施形態では 2であるため、第 3の符号化受信部は本実施形態では存在しない c また、符号化データ再構成部 3 1 0の動作は、 Mが 2であるため、手順が異なる c 本実施形態における、符号化データ再構成部 3 1 0での動作手順を、図 9のフローチャー卜をもとに説明する。図 9の一連の手順は、ある整数 nに対し第 nフレームの符号化データ再構成処理を示している。

ステップ S 9 0 1では、第 nフレームの全ての符号化データが第 1の受信パケッ卜バッファ 3 0 1と第 2の受信バケツ卜バッファ 3 0 4に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 9 0 2に進む。

ステップ S 9 0 2では、第 1の誤り検出■バケツトロス検出部 3 0 3における誤りとバケツ卜ロスの検出結果に従い、第 1の受信バケツトバッファ 3 0 1中に第 nフレームデータが存在し、ビット誤りがないかどうかを判定する。第 1の受信バケツトバッファ 3 0 1に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップ S 9 0 3に進む。それ以外の場合は、ステップ S 9 0 4に進む。

ステップ S 9 0 3に進んだ場合は、第 1の符号化データ抽出部 3 0 2が出力する第 nフレームの符号化データを復号する符号化データとして、可変長復号部 (図示されていないが、例えば図 1 6に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。

ステップ S 9 0 4に進んだ場合は、第 2の誤り検出■バケツトロス検出部 3 0 6における誤りとバケツトロスの検出結果に従い、第 2の受信バケツトバッファ 3 0 4中に第 nフレームデータが存在し、ビッ卜誤りがないかどうかを判定する c 第 2の受信バケツトバッファ 3 0 4に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップ S 9 0 5に進む。それ以外の場合は、ステップ S 9 0 3に進む。

ステップ S 9 0 5では、第 2の符号化データ抽出部 3 0 5が出力する第 nフレームの符号化データを復号する符号化データとして可変長復号部（図示されていないが、例えば図 1 6に示す復号装置に含まれる）に受け渡し、符号化データ再構成処理を終了する。

本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第 1の実施形態の場合と同様である。

( 3 . D ) 効果：

第 3の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。第 2 の動画像符号変換送信部は、第 1の動画像符号変換送信部で符号化されたフレームを、第 1の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、出力する。

その結果、バース卜性の高い伝送エラーやバケツ卜ロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第 1乃至第 2の符号化データを送信することができ、さらに伝送路での誤リの影響を低減できる。

また、動画像符号変換受信装置で、受信した 2個の符号化データの中から少なくとも 1個のデータが選択され、動画像符号変換受信装置で、受信した 2個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第 1乃至第 Nの符号変換データは、時間間隔以外によるインタリーブでも構わない。

( 4 ) 第 4の実施の形態：

本発明の第 4の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

( a ) 入力された符号化パケットデータの少なくとも一部を復号し、入力された動画像データと同等もしくはそれよリも高い圧縮率となるよう圧縮符号化し、得られた符号化バケツ卜データの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 第 1の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜データに対し、各々のパケットデータが符号化した画像領域を、その画像領域に対する第 1の動画像符号変換送信部によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を再利用して、第 1の動画像符号変換送信部と同等もしくはそれよリも高い圧縮率となるような 1個のパケットデータに符号化し得られた符号化バケツ卜データを第 1の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

( c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の圧縮率、及び又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する手段と、を備えている。

受信側の装置は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置、符号変換受信装置を構成するコンピュータで実行されるプログラムによりその処理，機能が実現されてもよい。

以下、第 4の実施形態についてさらに詳しく説明する。

( 4. A ) 概要：

本実施形態の構成及び動作は第 3実施形態とほぼ同じであり、図 7に示されるように、動画像符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路の個数を表し、 1以上とする。

動画像符号変換伝送装置の構成は、第 3の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、少なくとも 1個のバケツトデータから構成されており、各バケツトデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第 2乃至第 Nの動画像符号化送信部は、第 1の動画像符号化送信部で符号化されたバケツ卜の少なくとも一部のバケツ卜が含む画像領域を, 当該画像領域に対する第 1の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータ又は予測差分画像データの少なくとも一方を利用して、第 1の動画像符号化送信部と同等もしくはそれよリも高い圧縮率で符号化し、得られた符号化バケツトデータを動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第 3の実施形態と同じである。

動画像符号変換受信装置の構成も第 3の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

図 7を参照すると、この実施形態において、符号化データ再構成部⁷ 1 0は、第 3の実施形態と同様に、第 1乃至第 Nの符号化データ受信部で伝送誤リも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大 N個の符号化パケットデータの中から、例えば圧縮率が最も低い、画質の良いパケットの少なくとも一部を復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するバケツトデータ単位で行う。上記以外の動作に関しては、基本的に第 3の実施形態と同じである。

( 4 . B ) 符号変換伝送装置：

本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図 8に示した第 3の実施形態における動画像データ符号変換伝送装置とほぼ同じであり、図 8における第 1の符号化パケット生成部 8 0 5と、第 2の符号化パケット生成部 8 1 1と、第 1の誤り検出符号付加 ' フレームバケツ卜番号付加部 8 0 6と, 第 2の誤り検出符号付加■フレーム Zバケツ卜番号付加部 8 1 2の動作のみが相違する。

本実施形態における動画像データ符号変換伝送装置において、第 1の符号化パケット生成部 8 0 5と第 2の符号化パケット生成部 8 1 1は、第 1の符号化パケッ卜生成部 8 0 5で生成する符号化バケツ卜データが含む画像領域と、第 2の符号化バケツト生成部 8 1 1で生成する符号化バケツトデータが含む画像領域が一致するように、符号化パケットデータを生成する。

第 1の誤り検出符号付加 'フレームバケツト番号付加部 8 0 6と第 2の誤り検出符号付加■フレームバケツト番号付加部 8 1 2は、同一フレームの同一画像領域に対応する符号化バケツトデータに同一のバケツト識別番号が付加されるように動作する。ただし、第 1乃至第 2の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレームバケツ卜識別番号を付加しなくても良い。

上記以外の処理部の動作は、第 3の実施形態と同様である。以上で説明した本実施形態を更に好ましく具体化した例は、第 2の実施形態の場合と同様である。

( 4 . C ) 符号変換受信装置：

本実施形態における動画像符号変換受信装置の構成及び動作は、図 3に示した第 2の実施形態における動画像符号変換受信装置とほぼ同じである。図 3に示す例では、伝送路の個数 Mを 3としているが、本実施形態では Mを 2としているため、第 3の符号化データ受信部は存在しない。また、符号化データの再構成 3 1 0の動作は、 Mが 2であるため、手順が異なる。

本実施形態における、符号化データ再構成部 3 1 0での動作手順を、図 1 0のフローチャートをもとに説明する。図 1 0の一連の手順は、ある整数 nに対し第 nフレームの符号化データ再構成処理を示している。

ステップ S 1 0 0 1では、第 nフレームの全ての符号化データが第 1の受信パケットバッファ 3 0 1と第 2の受信バケツ卜バッファ 3 0 4に到着すべき時刻に所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 1 0 0 2に進む。

ステップ S 1 0 0 2では、バケツト番号を記憶する変数 aに第 nフレームのパケッ卜番号の最小値を格納し、変数 bに第 nフレームのバケツト番号の最大値を格納する。

ステップ S 1 0 0 3では、バケツト番号を記憶する変数 iに変数 aの値を代入し、ステップ S 1 0 0 4からの繰り返し処理を開始する。

ステップ S 1 0 0 4では、第 1の誤り検出■バケツ卜ロス検出部 3 0 3における誤りとバケツ卜ロスの検出結果に従い、第 1の受信バケツ卜バッファ 3 0 1に第 _nフレームの第 ίバケツ卜が存在し、ビット誤りがないかどうか判定する。第 1の受信パケットバッファ 3 0 1に第 ηフレームの第 iパケットが受信され、かつデータに誤りが検出されない場合は、ステップ S 1 0 0 5に進む。それ以外の場合は、ステップ S 1 0 0 6に進む。

ステップ S 1 0 0 5に進んだ場合は、第 1の符号化データ抽出部 3 0 2が出力する第 nフレームの符号化データを復号する符号化データとして可変長復号部 3 0 8に受け渡し、ステップ S 1 0 0 8に進む。

ステップ S 1 0 0 6に進んだ場合は、第 2の誤り検出■バケツ卜ロス検出部 3 0 6における誤りとバケツトロスの検出結果に従い、第 2の受信バケツ卜バッファ 3 0 4に第 nフレームの第 iバケツ卜が存在し、ビット誤りがないかどうか判定する。第 2の受信バケツ卜バッファ 3 0 4に第 nフレームの第 iバケツトが受信され、かつデータに誤りが検出されない場合は、ステップ S 1 0 0 7に進む。それ以外の場合は、ステップ S 1 0 0 8に進む。

ステップ S 1 0 0 7では、第 2の符号化データ抽出部 3 0 5が出力する第 nフレームの符号化データを復号する符号化データとして可変長復号部 3 0 8に受け渡し、ステップ S 1 0 0 8に進む。

ステップ S 1 0 0 8では、変数 ίを 1増加させる。続くステップ S 1 0 0 9では、変数 ίが変数 bの値を超えていないか判定し、超えていない場合はステップ S 1 0 0 4からの処理を繰り返す。変数 iが変数 bの値を超えた場合は、一連の繰り返し処理を終え、第 nフレーム符号化データの再構成処理を終了する。

本実施形態におけるこれ以外の各部の動作、好ましい具体例は、第 3の実施形態の場合と同様である。

( 4 . D ) 効果：

本発明の第 4の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する c 第 2の動画像符号変換送信部は、第 1の動画像符号変換送信部で符号化されたバケツ卜が含む画像領域を、第 1の動画像符号変換送信部による当該フレームの符号化で得られたフレーム間予測パラメータ又は予測残差画像データの少なくとも一方を利用して符号化する。

符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低い、及ぴ又は、画質の良い符号化データをパケット単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第 1乃至第 2の符号化データを送信することができ、さらに伝送路での誤リの影響を低減できる。また、動画像符号変換受信装置で、受信した 2個の符号化データの中から少なくとも 1個のデータが選択され、動画像符号変換受信装置で、受信した 2個の符号化データの中から動画像復号装置へ出力されるので、動画像復号装置は、通常の動画像復号装置と比べて必要な演算量が大きく増大することはない。

( 5 ) 第 5の実施の形態：

本発明の第 5の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置側は、

( a ) 圧縮された符号化データを入力し、復号した動画像データの全てのフレ —ム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、受信した動画像データと同等もしくはそれよリも高い圧縮率となるよう圧縮符号化し、得られた符号化データの少なくとも一部を所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 第 1の動画像符号変換送信部が再符号化した全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、当該フレームに対する第 1の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号変換送信部と同等もしくはそれよリも高い圧縮率となるように符号化し、得られた符号化データの少なくとも一部を第 1の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第

Nの動画像符号変換送信部と、

( c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の圧縮率、及び Z又は、送信符号化データ数を選択し、第 1 乃至第 Mの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から, 例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理■機能が実現されてもよい。

以下、第 5の実施形態について、さらに詳しく説明する。

( 5 - A ) 概要：

本実施形態のシステムの構成及び動作は第 3の実施形態の場合とほぼ同じであリ、図 7に示されるように、動画像データの符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N 個の符号化データが送出される伝送路の個数を表し、 1以上とする。

動画像符号変換伝送装置の構成は第 3の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下相違点についてのみ説明し、同一部分の説明は省略する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する制御を行う第 2乃至第 Nの動画像符号化送信部における入力フレーム画像の符号化は、当該フレームに対する第 1の動画像符号化送信部のフレーム間予測で用いた参照フレー厶画像を用いて行われる。第 1の動画像符号化送信部と異なる制御によリフレーム間予測を行って得られた、第 1の動画像符号化送信部と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第 3の実施形態と同じである。

動画像符号変換受信装置の構成は第 3の実施形態の場合と同じである。

( 5 . B ) 符号変換伝送装置：

図 1 1は、第 5の実施形態における動画像符号変換伝送装置の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数 Nを 2としている。図 1 1において、参照符号 1 1 0 1〜 1 1 0 9は、本実施形態における動画像符号変換伝送装置が備える第 1の動画像符号化送信部を構成する処理部を示しており、これらの処理部は、図 8における第 1の動画像符号変換送信部の処理部と同様に動作する。同じく図 1 1において、フレーム間予測部 1 1 1 0、予測残差算出部 1 1 1 1、第 2の予測残差圧縮符号化部 1 1 1 2、第 2の符号化バケツ卜生成部 1 1 1 3、 1 1 1 4は、本実施形態における動画像符号変換伝送装置が備える第 2の動画像符号化送信部を構成する処理部である。ただし、第 1の実施形態における動画像符号化送信部とは異なる動作をする。

フレーム間予測部 1 1 1 0は、参照フレーム格納メモリ 1 1 0 9に格納された少なくとも 1つの復号画像から、復号部 1 1 0 1より入力された画像へのフレーム間予測を行う。予測残差算出部 1 1 1 1は入力フレーム画像から、フレーム間予測部 1 1 1 0で得られた予測画像を減算することで予測残差を算出する。第 2 の予測残差圧縮符号化部 1 1 1 2は、予測残差算出部 1 1 1 1で得られた予測残差画像を第 1の予測残差圧縮符号化部 1 1 0 4と同等もしくはそれよリも高い圧縮率で符号化する。第 2の符号化バケツ卜生成部 1 1 1 3はフレーム間予測部 1 1 1 0で得られたフレーム間予測パラメータと 1 1 1 2で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第 2の誤り検出符号付加■フレーム/バケツト識別番号付加部 1 1 1 4は、第 2の符号化パケット生成部 1 1 1 3が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレームバケツ卜識別番号を付加する。以上の処理部の動作により第 2の動画像符号化データが得られ、所定の送信手段によってバケツ卜単位で送信される。

( 5 . C ) 効果：

本発明の第 5の実施形態によれば、動画像符号変換伝送装置は、入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。

第 2の動画像符号変換送信部は、第 1の動画像符号変換送信部で符号化されたフレームを、第 1の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。符号変換受信装置側は、正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択し、かつ 2個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。

その結果、バース卜性の高い伝送エラ一やバケツ卜ロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なった複数の伝送路へ第 1、第 2の符号化データを送信することができ、さらに伝送路での誤リの影響を低減できる。

( 6 ) 第 6の実施の形態：

本発明の第 6の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置側は、

( a ) 圧縮された符号化パケットデータを入力し、復号した動画像データを入力された動画像デ一タと同等もしくはそれよりも高い圧縮率となるよう圧縮符号化し、得られた符号化パケットデータの少なくとも一部を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 第 1の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータに対し、各々のパケットデータが符号化した画像領域を、当該画像領域に対する第 1の動画像符号変換送信部によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号変換送信部と同等もしくはそれよリも高い圧縮率となるようなバケツトデータに符号化し、得られたバケツトデータの少なくとも一部を所定の伝送手段を用い、定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したパケットデータの中から、例えば圧縮率が最も低い、画質の良い符号化バケツ卜データを選択して出力する選択部を備えている。

これら符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理 "機能が実現されてもよい。

以下、第 6の実施形態について、さらに詳しく説明する。

( 6 . A ) 概要：

本実施形態のシステムの構成は第 5の実施形態におけるものとほぼ同じであり、図 7に示されるように、動画像データの符号変換伝送装置、符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路の個数を表し、 1以上とする。

動画像符号変換伝送装置の構成は第 5の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では相違点について説明する。入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれよリ高い圧縮率で符号化する第 1の動画像符号化送信部で符号化される入力フレーム画像の符号化データは、少なくとも一個のバケツ卜データから構成されており、各バケツ卜データには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮デ —タが符号化されている。また、第 2乃至第 Nの動画像符号化送信部は、第 1の動画像符号化送信部で符号化されたバケツ卜の少なくとも一部のバケツ卜が含む画像領域を、当該画像領域に対する第 1の動画像符号化送信部のフレーム間予測で用いた参照フレーム画像を利用して、第 1の動画像符号化送信部と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化パケットデータの少なくとも一部を動画像符号変換受信装置へ送信する。上記以外の動作に関しては、基本的に第 5の実施形態と同じである。

本発明の第 6の実施形態での動画像符号変換受信装置の構成及び動作は、第 4 の実施形態の場合と同じであり、第 5の実施形態とは異なっている。

( 6 . B ) 符号変換伝送装置：

本実施形態における動画像符号変換伝送装置の構成及び動作は、図 9に示した第 5の実施形態における動画像符号変換伝送装置とほぼ同じであり、図 1 1における第 1の符号化バケツト生成 1 1 0 5と、第 2の符号化バケツ卜生成部 1 1 1 3と、第 1の誤り検出符号付加 ' フレー厶パケット番号付加部 1 1 0 6と、第 2の誤り検出符号付加■フレームバケツ卜番号付加部 1 1 1 4の動作のみが相違する。第 5の実施形態との相違点について以下に説明する。

本実施形態における動画像データ符号変換伝送装置において、第 1の符号化パケット生成部 1 1 0 5と第 2の符号化バケツト生成部 1 1 1 3は、第 1の符号化バケツト生成部 1 1 0 5で生成する符号化バケツ卜データが含む画像領域と、第 2の符号化バケツト生成部 1 1 1 3で生成する符号化バケツトデータが含む画像領域が一致するように、符号化バケツトデータを生成する。

第 1の誤り検出符号付加■フレームバケット番号付加部 1 1 0 6と第 2の誤リ検出符号付加■フレームノバケツ卜番号付加部 1 1 1 4は、同一フレームの同一画像領域に対応する符号化バケツ卜データに同一のバケツト識別番号が付加されるように動作する。ただし、第 1乃至第 2の符号化バケツト生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域を特定するための情報が含まれる場合は、フレームパケッ卜識別番号を付加しなくても良い。

( 6 . C ) 効果：以上で説明した第 6の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。

第 2の動画像符号変換送信部は、第 1の動画像符号変換送信部で符号化されたバケツ卜が含む画像領域を、第 1の動画像符号変換送信部による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択し、かつ 2個の伝送路から受信したデータのうち、品質の高いデータを選択し、出力する。

その結果、バースト性の高い伝送エラーやバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。加えて、伝送路の状況、動画像送信者又は動画像受信者の意図によリ、帯域の異なった複数の伝送路へ第 1、第 2の符号化データを送信することができ、さらに伝送路での誤りの影響を低減できる。

( 7 ) 第 7の実施の形態：

本発明の第 7の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置は、

( a ) 符号化パケットデータを入力し、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 第 1の動画像符号変換送信部が符号化した全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツトデータに対し、パケットを複製し、得られたパケットデータの少なくとも一部を第 1の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

( c ) 第 1乃至第 Mの伝送路に使用できる帯域にあわせて、第 1乃至第 Nの動画像符号変換送信部の送信符号化データ数を選択し、第 1乃至第 Mの伝送路へ符号化データを送出する機構と、を備えている。

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツ卜データの中から、例えば最初に正常に受信した符号化バケツトデータを選択して出力する選択部、を備えている。

以下、第 7の実施形態について、さらに詳しく説明する。

( 7 . A ) 概要：

図 1 2は、本発明の第 7の実施形態におけるシステムの構成を示す図である。図 1 2に示すように、第 7の実施形態のシステムは、動画像データの符号変換伝送装置 1 2 0 0、符号変換受信装置 1 2 2 0及び符号化データを伝送するための伝送路 1 2 3 0から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路 1 2 3 0の個数を表し、 1以上とする。

符号変換伝送装置 1 2 0 0は、動画像パケットデータを入力し、その少なくとも一部を選択し、第 1乃至第 Mの伝送路 1 2 3 0へ送出する。

図 1 2に示すように、この装置 1 2 0 0は、動画像符号化パケットデータを、第 1乃至第 Mの M個の伝送路へ送出する制御を行う第 1乃至第 Nの N個の動画像符号変換送信部 1 2 0 2〜 1 2 0 5を備える。動画像データ受信部 1 2 0 1は、動画像バケツトデータを受信する。第 1の動画像符号変換送信部 1 2 0 2は、入力された動画像バケツトデータの少なくとも一部のバケツトを、動画像符号変換受信装置 1 2 2 0に送出する処理を行う。動画像データ複製部 1 2 0 3は、受信したバケツ卜を複製し、第 2乃至第 Nの動画像符号変換送信部 1 2 0 4乃至 1 2 0 5へ出力する。第 2の動画像符号変換送信部 1 2 0 4乃至 1 2 0 5は、複製されたパケットの少なくとも一部を、動画像符号変換受信装置 1 2 2 0へ送出する _c 第 1乃至第 Nの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第 1乃至第 Mの伝送路 1 2 3 0上へ送出される。

動画像符号変換受信装置 1 2 2 0は、受信伝送路選択部 1 2 0 6で、符号変換伝送装置が送信した M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路からの N個の符号化データを受信し、復号変換を行う。

図 1 2に示すように、動画像符号変換受信装置 1 2 2 0は、符号変換伝送装置 1 2 0 0が備える第 1乃至第 Nの動画像符号変換送信部 1 2 0 2乃至 1 2 0 5によって送信された符号化データを受信する第 1乃至第 Nの符号化データ受信部 1 2 0 7乃至 1 2 0 9と、符号化データ再構成部 1 2 1 0を備える。

符号化データ再構成部 1 2 1 0は、符号化データ受信部 1 2 0 7〜 1 2 0 9で伝送誤りも欠落もなく受信された最大 N個の符号化データの中から、データを選択して出力する。最大 N個の符号化データの圧縮率は同じであるため、例えば最初に、正常に受信した符号化データを出力する等の選択が行われる。

( 7 . B ) 符号化変換伝送装置：

図 1 3は、本発明の第 7の実施形態における動画像符号変換伝送装置 1 2 0 0 (図 7参照）の詳細な構成を示している。簡単のため、この装置が出力する符号化データの個数 Nを 2、符号化データを送信する伝送路の個数 Mを 2としている。図 1 3において、第 1の動画像符号変換送信部 1 3 0 0の第 1の送信パケット選択部 1 3 0 1は、入力された動画像バケツトデータのうち、画像の性質や伝送路の状況に従い、適応的に送信するパケットを選択する。選択にあたり、例えば一定周期（nパケットに 1回）ごとにパケットを選択して送信してもよい。あるし、は、動画像フレームのパケット中の特徴パラメータを参照して、適応的に、伝送すべき選択符号化パケットを決定する。例えば、符号化パケット中の特徴パラメータとして、動きべクトルなどビット誤リあるいはバケツトロスによる復号画像の画質への影響が大きいパラメータを参照して、適応的に、伝送すべき符号化パケットを決定するようにしてもよい。あるいは、符号化が M P E Gの場合、例えば I ピクチャは、必ず選択する等の規則（動的に可変させる場合も含む）にしたがって選択するようにしてもよい。

第 1の誤り検出符号■ フレーム/パケット識別番号付加部 1 3 0 2は、出力した符号化バケツ卜データの伝送誤りとバケツ卜ロスを受信装置で検出するための、誤り検出符号とフレームノバケツ卜識別番号を付加する。

図 1 3において、第 2の動画像符号変換送信部 1 3 1 0のバケツ卜複製部 1 3 0 3は、入力された動画像符号化バケツトデータを複製する。

第 2の送信パケット選択部 1 3 0 4は、複製された動画像パケットデータのうち、第 1の動画像符号変換送信部と同じ、もしくは異なった個数で、画像の性質や伝送路の状況に従って適応的に送信するバケツトを選択する。異なった個数で選択する場合、上記したように、動きベクトルなど特徴パラメータとその閾値の関係（規則）に基づき、選択するようにしてもよいし、符号化が M P E Gの場合、例えば I ピクチャは必ず選択する等の規則にしたがって選択するようにしてもよい。

第 2の誤り検出符号 ' フレーム Zバケツト識別番号付加部 1 3 0 5は、選択部 1 3 0 4が出力した符号化バケツ卜データの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とバケツト識別番号を付加する。

上記以外の処理部の動作は、第 4の実施形態と同様である。

本実施形態を更に好ましくした具体化した例は、第 2の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第 4の実施形態の場合と同じである。 ( 7 . C ) 効果：

以上で説明した第 7の実施形態によれば、動画像符号変換伝送装置は同一の動画像バケツ卜データを 2個の符号化データに変換して、一定又は適応的に変化する時間間隔を離間させて送信する。

第 1の動画像符号変換送信部は、入力された動画像バケツ卜データを、動画像の性質又は予め定められた規則に従い適応的に選択して送信する。第 2の動画像符号変換送信部は、入力された動画像パケットデータを複製し、少なくともその一部を選択し、送信する。

符号変換受信装置側は正常に受信できた符号化バケツトデータの中から誤りもしくは欠落のないデータを、バケツト単位で選択し、かつ 2個の伝送路から受信したデータのうち、例えば最初に到着したデータを選択し、出力する。

その結果、バースト性の高い伝送エラーやバケツ卜ロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化パケットデータの選択個数を小さくすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

( 8 ) 第 8の実施の形態：

本発明の第 8の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置側は、 ( a ) 圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、入力された符号化データと同等もしくはそれよリ高い圧縮率となるよう圧縮符号化し、全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、

( b ) 入力された符号化データの少なくとも一部を復号し、第 1の動画像符号変換送信部と同等もしくはそれより高い圧縮率となるよう圧縮符号化し、得られた符号化データの全てのフレーム、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたフレームを、第 1の動画像符号変換送信部と同一又は異なる伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化データを抽出し、同一フレームの符号化データの中から、例えば圧縮率が最も低い、画質の良い動画像符号化データを選択して出力する選択部を備えている。

これらの符号変換伝送装置、符号変換受信装置の各構成要素は、符号変換伝送装置あるいは符号変換受信装置を構成するコンピュータで実行されるプログラムにより、その処理機能が実現されてもよい。

以下、第 8の実施形態についてさらに詳しく説明する。

( 8 . A ) 概要：

図 1 4は、本発明の第 8の実施形態でのシステムの構成を示す図である。図 1 4に示すように、このシステムは、動画像データの符号変換伝送装置 1 4 0 0、符号変換受信装置 1 4 2 0及び符号化データを伝送するための伝送路 1 4 3 0から構成されている。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表す。 Nは 2以上とする。整数 Mは、 N個の符号化データが送出される伝送路 1 4 3 0の個数を表し、 1以上とする。

動画像符号変換伝送装置 1 4 0 0は、入力された符号化された動画像データの少なくとも一部を復号し、得られた画像を入力データと同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号変換データの少なくとも一部を動画像符号変換受信装置へ送信する。動画像符号変換伝送装置 1 4 0 0は、入力された動画像データを N個の符号化データに符号化し、第 1乃至第 Nの動画像符号化データとして第 1乃至第 Mの伝送路に送信する。図 1 4に示すように、この装置は第 1乃至第 Nの動画像符号変換送信部 1 4 0 3〜 1 4 0 5を備える。

動画像データ受信部 1 4 0 1は、動画像データを受信する。動画像復号部 1 4 0 2は、入力された動画像符号化データの少なくとも一部を復号する。第 1の動画像符号変換送信部 1 4 0 3は、符号変換伝送装置に入力されたフレームに対し所定の圧縮符号化を行い、得られた符号化データの少なくとも一部を動画像符号変換受信装置 1 4 2 0へ送信する。第 2乃至第 Nの動画像符号変換送信部 1 4 0 3〜 1 4 0 5は、第 1の動画像符号変換送信部 1 4 0 3と同等もしくはそれよりも高い圧縮率で符号化し、得られた符号化データの少なくとも一部を動画像符号変換受信装置 1 4 2 0へ送出する。第 1乃至第 Nの動画像符号化データのうち、伝送路に使用できる帯域にあわせて選択された符号化データは、第 1乃至第 Mの伝送路 1 4 3 0上へ送出される。

動画像符号変換受信装置 1 4 3 0は、受信伝送路選択部 1 4 0 6で、動画像符号変換伝送装置が送信した M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路からの N個の符号化データを受信し、復号変換を行う。

図 1 4に示すように、動画像符号変換受信装置 1 4 3 0は、符号変換伝送装置 1 4 0 0が備える第 1乃至第 Nの動画像符号変換送信部 1 4 0 3〜 1 4 0 5にょリ送信された符号化データを受信する第 1乃至第 Nの符号化データ受信部 1 4 0 7乃至 1 4 0 9と、符号化データ再構成部 1 4 1 0とを備える。

符号化データ再構成部 1 4 1 0は、符号化データ受信部 1 4 0 7〜 1 4 0 9で伝送誤リも欠落もなく受信された最大 N個の符号化データの中から、例えば圧縮率が最も低い、画質の良いデータを選択して出力する。

( 8 . B ) 符号変換伝送装置：図 1 5は、本発明の第 8の実施形態における動画像符号変換伝送装置 1 4 0 0 (図 1 4参照）の詳細な構成を示す図である。簡単のため、この装置が出力する符号化データの個数 Nを 2、符号化データを送信する伝送路の個数 Mを 2としている。

図 1 5において、復号部 1 5 0 1は、入力された動画像データの少なくとも一部を復号する。図 1 4においては第 1の動画像符号変換送信部 1 4 0 3と示されている第 1の動画像符号変換送信部 1 5 0 0の第 1の送信フレームバケツト生成部 1 5 0 2は、復号された動画像データを、入力されたデータと同等、もしくはそれより高い圧縮率で符号化し、第 1の誤り検出符号 ' フレーム Zバケツト識別番号付加部 1 5 0 3へ出力する。第 1の誤り検出符号 ' フレーム Zパケット識別番号付加部 1 5 0 3は、第 1の送信フレー厶バケツト生成部 1 5 0 2が出力した符号化データの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレームパケット識別番号を付加する。これによつて、第 1の動画像符号化データが得られ、所定の送信手段によって送信される。同じく図 1 5において、図 1 4においては第 2の動画像符号変換送信部 1 4 0 4と記載されている第 2の動画像符号変換送信部 1 5 1 0の第 2の送信フレームバケツ卜生成部 1 5 0 4は、第 1の動画像符号変換送信部 1 5 0 0と同等、もしくはそれよリ高い圧縮率で符号化し、第 2の誤り検出符号■フレーム Zパケット識別番号付加部 1 5 0 5へ出力する。第 2の誤り検出符号■フレームパケット識別番号付加部 1 5 0 5は、第 2の送信フレームパケット生成部 1 5 0 4が出力した符号化データの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレーム Zバケツ卜識別番号を付加する。これによつて第 2の動画像符号化データが得られ、所定の送信手段によって送信される。

本実施形態では、 Mを 2、 Nを 2としているため、 2個の伝送路それぞれに、以上の第 1乃至第 2の動画像符号変換送信データが送信される。

上記以外の処理部の動作は、第 3の実施形態と同様である。

本実施形態を更に好ましく具体化した例は、本発明の第 1の実施形態の場合と同様である。また動画像符号変換受信装置の構成及び動作は、第 3の実施形態の場合と同じである。 ( 8 . C ) 効果：

本実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。

加えて、伝送路の状況、動画像送信者又は動画像受信者の意図により、帯域の異なつた複数の伝送路へ第 1乃至第 2の符号化データを送信することができ、さらに伝送路での誤リの影響を低減できる。

( 9 ) 第 9の実施の形態：

本発明の第 9の実施の形態では、任意の 2以上の整数 N、任意の 1以上の整数 Mに対して、符号変換伝送装置側は、

( a ) 圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、入力された符号化データと同等もしくはそれより高い圧縮率となるよう圧縮符号化し、全てのパケット、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜を、所定の伝送手段を用いて送信する制御を行う第 1の動画像符号変換送信部と、 ( b ) 入力された符号化パケットデータの少なくとも一部を復号し、第 1の動画像符号変換送信部と同等もしくはそれよリ高い圧縮率となるようなパケットデータに圧縮符号化し、得られた全てのパケットデータ、もしくは入力動画像の性質又は予め定められた規則に従い適応的に選択されたバケツ卜データを所定の伝送手段を用い、一定又は適応的に変化する送信時間間隔を離間させて送信する制御を行う第 2乃至第 Nの動画像符号変換送信部と、

符号変換受信装置側は、 M個の伝送路から少なくとも 1個の伝送路を選択し、選択された伝送路から N個の符号化データを受信し、伝送誤りがない、又は欠落がなく受信された、同一フレームの同一領域の画像を符号化したバケツトデータの中から、例えば圧縮率が最も低い、画質の良い符号化パケットデータを選択して出力する選択部を備えている。

以下、第 9の実施形態について、さらに詳しく説明する。

( 9 . A ) 概要：

本実施形態の構成及び動作は第 8実施形態とほぼ同じであり、図 1 4に示されるように、システムは、動画像符号変換伝送装置と符号変換受信装置及び符号化データを伝送するための伝送路から構成される。整数 Nは、符号変換伝送装置が送信する符号化データの個数を表し、 2以上とする。整数 Mは、 N個の符号化デ一夕が送出される伝送路の個数を表し、 1以上とする。

動画像符号変換伝送装置の構成は第 8の実施形態の場合とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第 8の実施形態との相違点についてのみ説明する。

入力された動画像符号化データの少なくとも一部を復号し、得られた画像を入力画像データと同等もしくはそれよリ高い圧縮率で所定の圧縮符号化を行い、符号変換データを動画像符号変換受信装置へ送信する動画像符号変換送信処理部で符号化される入力フレーム画像の符号化データは、 1個又は複数個のバケツトデータから構成されており、各バケツトデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び差分画像圧縮データが符号化されている。また、第 2乃至第 Nの動画像符号化送信部は、第 1の動画像符号化送信部で符号化されたバケツ卜の少なくとも一部のバケツ卜が含む画像領域を, 第 1の動画像符号化送信部と同等もしくはそれよリも高い圧縮率で符号化し、得られた符号化バケツトデータを動画像符号変換受信装置へ送信する。

動画像符号変換受信装置の構成も第 8の実施形態とほぼ同じであるが、この装置を構成する各部の動作が若干異なる。以下では第 8の実施形態との相違点についてのみ説明する。

符号化データ再構成部 1 4 1 0は、第 8の実施形態の場合と同様に、第 1乃至第 Nの符号化データ受信部で伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大 N個の符号化バケツ卜データの中から、例えば圧縮率が最も低い、画質の良いバケツトを復号される符号化データとして選択し、この選択を符号変換伝送装置が送信するパケットデータ単位で行う。

( 9 . B ) 符号変換伝送装置：

本実施形態における動画像データ符号変換伝送装置の構成及び動作は、図 1 5 に示した第 8の実施形態における動画像データ符号変換伝送装置とほぼ同じであリ、図 1 5における第 1の符号化パケット生成部 1 5 0 2と、第 2の符号化パケッ卜生成部 1 5 0 4と、第 1の誤り検出符号付加■フレームノバケツ卜番号付加部 1 5 0 3と、第 2の誤り検出符号付加■フレームパケット番号付加部 1 5 0 5の動作のみが相違する。以下では、動作の相違点についてのみ説明する。

本実施形態における動画像データ符号変換伝送装置において、第 1の符号化パケット生成部 1 5 0 2と第 2の符号化バケツト生成部 1 5 0 4は、第 1の符号化バケツト生成部 1 5 0 2で生成する符号化バケツトデータが含む画像領域と、第 2の符号化バケツト生成部 1 5 0 4で生成する符号化バケツトデータが含む画像領域が一致するように、符号化バケツトデータを生成する。

以上で説明した本実施形態を更に好ましく具体化した例は、第 2の実施形態の場合と同様である。動画像符号変換受信装置の構成及び動作は、第 4の実施形態と同じである。

( 9 . C ) 効果：

第 9の実施形態によれば、動画像符号変換伝送装置は入力された動画像データの少なくとも一部を復号し、これを同一の動画像データを 2個の符号化データに符号化して、一定又は適応的に変化する時間間隔を離間させて送信する。

第 2の動画像符号変換送信部は、第 1の動画像符号変換送信部で符号化されたバケツ卜が含む画像領域を符号化する。符号変換受信装置側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをバケツト単位で選択し、出力する。

その結果、バースト性の高い伝送エラーやバケツ卜ロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなリ、伝送後の復号画像に著しい乱れが生じるのを防ぐことができる。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

本実施形態では、符号変換伝送装置及び符号変換受信装置を組み合わせて使用しているが、それぞれ独立して使用しても問題ない。また、第 1乃至第 Nの符号変換データは、時間間隔以外による、インタリーブ法で送信しても構わない。第 1乃至第 Nの符号変換データの送信順序は、インタリーブ法によってシャフルされて出力され、第 mの符号化データが、第 nの符号化データ（ただし、 m < n ) よりも後に送信されるようにしてもよい。第 1乃至第 Nの符号変換データは、多重装置で多重化して送信するようにしてもよいし、また並列伝送してもよい。上記各実施形態の変形例として、動画像符号変換伝送装置の第 2乃至第 Nの動画像符号変換送信部からの第 2乃至第 Nの動画像符号化データを遅延させる図 5 に示した遅延付加部 5 0 2、 5 0 3あるいは遅延付加部 5 0 6、 5 0 7と、第 1 の動画像符号変換送信部からの第 1の動画像符号化データ出力と遅延が付加された第 2乃至第 Nの動画像符号化データを多重化させる図 5に示した多重化部 5 0 4、 5 0 8を、動画像符号変換伝送装置内に設ける構成としてもよい。あるいは遅延付加部を備える変わりに、多重化部 5 0 4、 5 0 8が、動画像符号変換伝送装置の第 1乃至第 Nの動画像符号変換送信部からの第 1乃至第 Nの動画像符号化データをインタリーブして多重化出力する構成を、動画像符号変換伝送装置内に設ける構成としてもよい。また M個の伝送路 1 3 0 (図 1参照）のそれぞれは同一の通信媒体であっても、無線と有線等のように異なる媒体を含むものであってもよい。

( 1 0 ) 第 1 0の実施の形態：

さらに本発明の別の実施の形態について説明する。図 1 6は、本発明の第 1 0 の実施の形態のシステム構成を示している。図 1 6を参照すると、符号化データを出力する符号化装置 4 0と、動画像データの符号変換伝送装置 1 0と、複数 ( K個）の動画像データの符号変換受信装置 2 (^〜 Ο_κと、符号変換受信装置 2 0广2 0 _Κ 接続される複数（Κ個）の復号装置 3 0广 3 Ο _κとを備えている。符号化装置 4 0は、符号化データを配信する情報提供源をなし、公知のサーバ装置が用いられる。符号変換伝送装置 1 0は、第 1乃至第 9の実施形態を参照して説明した本発明の符号変換伝送装置、例えば図 1に示した符号変換伝送装置 1 0 0 からなる。

複数の動画像データの符号変換受信装置 2 0は、第 1乃至第 9の実施形態を参照して説明した本発明の符号変換受信装置、例えば図 1に示した符号変換受信装置 1 2 0からなる。復号装置 3 0は、符号変換受信装置 2 0からの符号化データを復号して表示する装置（デコーダ）であり、既製品がそのまま利用される。図 1 6に示す例では、符号変換伝送装置 1 0と各符号変換受信装置 2 0广 2 Ο _κ とのそれぞれの情報転送に用いられる伝送路 1 3は、各符号変換受信装置にっき 1本とされている。すなわち、図 1に示した実施形態での Μ個の伝送路 1 3 0の Mは 1個とされており、図 1の符号変換受信装置 1 2 0を複数個備えた構成としたものである。符号変換伝送装置 1 0は、図示されない N個の動画像符号変換送信部を備えており N本の符号化データを出力することは、上述の各実施形態と同じである。

この実施形態の具体例をなす一例として、符号変換伝送装置 1 0は、インタ一ネット通信網（あるいはイントラネット）に接続され、符号化装置 4 0から、符号化データを例えば U D P Z I Pプロトコルを用いて伝送される符号化データを入力する。符号変換伝送装置 1 0の図示されない動画像符号変換送信部の処理は, R T P (Rea l-t ime Transport Protoco l)に対応する処理を行う。符号変換受信装置 2 0は、例えばインタ一ネット通信網に接続されるクライアント端末とする。

この実施形態で、伝送路が、無線の場合、符号変換伝送装置 1 0からの符号変換出力（N本の符号化データ）は U D P Z I Pプロトコル、物理層を介して出力され、ルータ及びゲートウェイ等を介して移動体バケツト通信システム網内の基地局を介し宛先の符号変換受信装置 2 0に送信され、符号変換受信装置 2 0では, 符号化装置 4 0と復号装置 3 0との間の符号変換伝送装置 1 0で符号変換されたデータを、符号化装置 4 0のもとの符号化に対応した符号化データに再構成して出力し、復号装置 3 0は符号化装置 4 0の符号化と対応する復号処理を行うことで、図示されない表示装置に動画像等を表示する。符号変換受信装置 2 0に接続される復号装置（デコーダ） 3 0は、符号変換受信装置 2 0と一体化した端末として構成してもよいし、あるいは、符号変換受信装置 2 0を構成する端末と通信接続する端末（パーソナルコンピュータ）等に備えた構成としてもよい。

この実施形態において、符号変換受信装置 2 0は、符号変換伝送装置 1 0に制御信号（リクエスト信号）を出力する構成とされ、符号変換伝送装置 1 0は、この制御信号を受けて、符号化データを符号変換受信装置 2 0に送信する。図 1 6 には、制御信号が、符号変換伝送装置 1 0からの符号化データ出力とは異なるものであることを表している。

また、符号変換受信装置 2 0側から符号変換伝送装置 1 0に送信される制御信号を使って、符号変換受信装置 2 0のシステム情報、例えば I Pアドレス、装置情報、復号装置 3 0で対応可能な符号化方式（例えば I T U— T勧告である H . 2 6 1あるし、は H . 2 6 3、 I S O Z I E C勧告である M P E G— 4 V i s u a I ) 等の情報を、符号変換伝送装置 1 0を通知することで、リクエスト信号を受けた符号変換伝送装置 1 0では、符号変換受信装置 2 0、復号装置 3 0に適合した符号変換を行うようにしてもよい。なお、本発明において、伝送路が有線の場合にも適用できることはもちろんである。

図 1 6に示す構成において、符号変換伝送装置 1 0から各伝送路 1 3にそれぞれ出力される複数本（N本）の符号化データを、図 5のように、遅延付加部によリ、時間間隔を設けて多重化部で多重してもよいし、 N本の符号化データを多重化部でインタリーブして送信順序をシャフルし、時間間隔を離間させて多重化出力を伝送路に送出するようにしてもよい。符号変換伝送装置 1 0内に、図 5に示した遅延付加部、及び、多重化部を設ける構成としてもよい。この場合、符号変換受信装置 2 0は、図 5の分離部 5 1 1を備える。受信伝送路選択部で選択された伝送路から受信された多重化伝送バケツトは、各符号化データのバケツ卜に分離されて、符号化データの抽出処理、再構成処理が行われる。この実施例によれば、情報提供源をなす符号化装置 4 0からの符号化データを符号変換伝送装置 1 0で受信し、符号変換伝送装置 1 0は伝送路 1 3でのデータ損失、データ誤りに耐性を有する方式へと変換し、符号変換受信装置 2 0側へ送信し、伝送路 1 3上での伝送に適した効率的な符号伝送を行うことができる。復号装置 3 0は符号化装置 4 0の符号化方式に対応して復号処理を行う。

以上本発明を上記実施形態に即して説明したが、本発明は、上記実施形態の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは、もちろんのことで

Claims

請求の範囲

1. (a) 圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第 1の動画像符号変換送信手段と、

(b) Nを 2以上の所定の整数として、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段と、

(c) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段と、を備える、動画像データの符号変換伝送装置。

2. (a) 圧縮された符号化バケツトデータを入力し、前記入力された符号化バケツ卜の少なくとも一部を出力する第 1の動画像符号変換送信手段と、

(b) Nを 2以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段と、 (c) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段と、を備える、動画像データの符号変換伝送装置。

3. (a) 圧縮された符号化データを入力し、前記入力した符号化データを復号して得られた動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

(b) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データを出力する第 2乃至第 Nの動画像符号変換送信手段と、

4. (a) 入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化したバケツトデータの少なくとも一部に対し、各前記バケツ卜データが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段と、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段と、を備える、動画像データの符号変換伝送装置。

5 . ( a ) 圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、当該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段と、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの前記伝送路へ送出する手段と、

を備える、動画像データの符号変換伝送装置。

6 . ( a ) 圧縮された符号化パケットデータを入力して復号し、復号して得られたデータの少なくとも一部を符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号化手段が符号化した少なくとも一部のバケツトデータに対し、前記各バケツトデータが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段

7 . ( a ) 圧縮された符号化バケツ卜データを入力し、入力したバケツトの少なくとも一部を出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号化手段が入力するバケツトデータの少なくとも一部のバケツ卜に対して当該バケツ卜を複製し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段と、

8 . ( a ) 圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段と、

9 . ( a ) 圧縮された符号化パケットデータを入力し、入力された符号化バケツトデータの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のバケツトを出力する第 1の動画像符号変換送信手段と、

( b ) Nを 2以上の所定の整数として、入力された符号化バケツトデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた少なくとも一部のパケットデータを出力する第 2乃至第 Nの動画像符号変換送信手段と、

1 0 . 前記第 1乃至第 Nの動画像符号変換送信手段の少なくとも 1つが、一部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従つてフレームを選択する、請求項 1、 3、 5、 8のいずれか 1項に記載の符号変換伝达装瀘。

1 1 . 前記第 1乃至第 Nの動画像符号変換送信手段の少なくとも 1つが、一部のバケツ卜を選択するにあたり、動画像の性質又は予め定められた規則に従つてパケットを選択する、請求項 2、 4、 6、 7、 9のいずれか 1項に記載の符号

1 2 . 前記第 1の動画像符号変換送信手段において前記入力された符号化デ —タを復号し前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれよリ高い圧縮率で圧縮する、請求項 3乃至 6、 8、 9のいずれか 1項に記載の符号変換伝送装置。

1 3 . 前記第 2乃至第 Nの動画像符号変換送信手段において前記入力された符号化データを復号し前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれはより高い圧縮率で圧縮する、請求項 1又は 2に記載の符号変換伝送装置。

1 . 前記第 2乃至第 Nの動画像符号変換送信手段において前記入力された符号化データを復号し前記復号して得られたデータを符号化するにあたリ、前記第 1の動画像符号変換送信手段の圧縮率と同等もしくはそれよリ高い圧縮率で圧縮する、請求項 3乃至 6、 8、 9のいずれか 1項に記載の符号変換伝送装置。

1 5 . 前記第 2乃至第 Nの動画像符号変換送信手段の出力と、前記第 1の動画像符号変換送信手段からの出力とが、時間的に離間した状態で出力されるように制御する手段を備える、請求項 1乃至 9のいずれか 1項に記載の符号変換伝送

6 . 前期第 1乃至第 Nの動画像符号変換送信手段の、出力の離間時間を, 伝送路の状態、及び Z又は、予め定められた規則にしたがって設定する、請求項 1 5に記載の符号変換伝送装置。

1 7 . 前記第 1乃至第 Mの伝送路に使用できる帯域にあわせて、前記第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び Z又は、送信符号化データ数を選択し、前記第 1乃至第 Mの伝送路へ送出する手段を備える、請求項 1乃至 9のいずれか 1項に記載の符号変換伝送装置。

1 8 · それぞれが、前記第 1乃至第 Nの動画像符号変換送信手段を備えた第 1乃至第 Mの符号変換送信処理部を備え、

前記第 1乃至第 Mの符号変換送信処理部の出力が、それぞれ、前記第 1乃至第 Mの伝送路に送出される、請求項 1乃至 9のいずれか 1項に記載の符号変換伝送

1 9 . それぞれが、前記第 1乃至第 Nの動画像符号変換送信手段を備えた第 1乃至第 Mの符号変換送信処理部と、

前記第 1乃至第 Mの符号変換送信処理部の前記第 1乃至第 Nの動画像符号変換送信手段の第 1乃至第 Nの符号化データ出力を、時間的に離間した状態で、多重化して出力する手段と、

を備え、第 1乃至第 Mの符号変換送信処理部の多重化出力が、前記第 1乃至第 Mの伝送路に送出される、請求項 1乃至 9のいずれか 1項に記載の符号変換伝送

2 0 . 前期第 1乃至第 Nの動画像符号変換送信手段の出力を多重^する際に、離間させる時間を、伝送路の状態、及びノ又は、予め定められた規則にしたがつて設定する、請求項 1 9に記載の符号変換伝送装置。

2 1 . 前記第 1乃至第 Nの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力された符号化データを復号して出力する動画像復号手段を備え、

前記複数の動画像符号変換送信手段は、符号化データを符号化する場合に、前記動画像復号手段から出力される復号されたデータを符号化する、請求項 1、 3、 5、 8のいずれか 1項に記載の符号変換伝送装置。

2 2 . 前記第 1乃至第 Nの動画像符号変換送信手段のうちの複数の動画像符号変換送信手段に対して共通に設けられた、前記入力された符号化データを復号して出力する動画像復号手段を備え、

前記複数の動画像符号変換送信手段のそれぞれは、バケツトデータを符号化する場合に、前記動画像復号手段から出力される復号されたバケツ卜データを符号化する、請求項 2、 4、 6、 9のいずれか 1項に記載の符号変換伝送装置。

2 3 . Mを 1以上の所定の整数として、第 1乃至第 Mの伝送路から符号化データを受信する伝送路を選択する選択手段と、

前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する手段と、

を備える、動画像データの符号変換受信装置。

2 4. Mを 1以上の所定の整数として、第 1乃至第 Mの伝送路から符号化データを受信する伝送路を選択する選択手段と、

前記選択手段で選択された伝送路から符号化データを受信し、伝送誤りがない、又は欠落がなく受信された符号化したバケツトデータを抽出し、抽出された符号化バケツトデータに基づき、符号化バケツトデータを再構成して出力する手段と、を備える、動画像データの符号変換受信装置。

2 5 . 前記選択された伝送路より受信した同一フレームの符号化データの中から、圧縮率、及び又は、画質に基づき、 1つを選択する手段を備える、請求項 2 3に記載の符号変換受信装置。

2 6 . 前記選択された伝送路よリ受信した同一フレームの同一領域の画像を符号化したパケットデータの中から圧縮率、及び Z又は、画質に基づき 1つを選択する手段を備える、請求項 2 4に記載の符号変換受信装置。

2 7 . 請求項 1、 3、 5、 8のいずれか 1項に記載の符号変換伝送装置と、請求項 2 3又は 2 5に記載の符号変換受信装置と、を備える、動画像データの符号変換伝送システム。

2 8 . 請求項 2、 4、 6、 7、 9のいずれか 1項に記載の符号変換伝送装置と、請求項 2 4又は 2 6に記載の符号変換受信装置と、を備える、動画像データの符号変換伝送シス亍ム。

2 9 . 前記動画像データの符号変換伝送装置の前記第 1乃至第 Nの前記動画像符号変換送信手段の出力が時間的に離間した状態で伝送されるように、遅延を制御し、前記各データを多重化して出力する手段を備え、多重化されたデータが伝送路に送信される、請求項 2 7に記載の符号変換伝送システム。

3 0. 前記動画像データの符号変換伝送装置の前記第 1乃至第 Nの前記動画像符号変換送信手段の出力が時間的に離間した状態で伝送されるように、遅延を制御し、前記各データを多重化して出力する手段を備え、多重化されたデータが伝送路に送信される、請求項 2 8に記載の符号変換伝送システム。

3 1 . 前期動画像データ符号変換伝送装置の第 1乃至第 Nの動画像符号変換送信手段の、出力の離間時間を、伝送路の状態、及び Z又は、予め定められた規則にしたがって設定する、請求項 2 9又は 3 0に記載の符号変換伝送システム。

3 2 . 符号化データを出力する符号化装置と、請求項 1、 3、 5、 8のいずれか 1項に記載の符号変換伝送装置と、請求項 2 3又は 2 5に記載の複数の符号変換受信装置と、複数の復号装置と、を備え、

前記符号化装置からの符号化データを前記動画像データの符号変換伝送装置が入力し、

前記複数の動画像データの符号変換受信装置が前記動画像データの符号変換伝送装置からの出力を入力し、

前記複数の復号装置が前記複数の動画像データの符号変換受信装置から符号化データを入力して復号する、動画像データの符号変換伝送システム。

3 3 . 符号化データを出力する符号化装置と、請求項 2、 4、 6、つ、 9のいずれか 1項に記載の符号変換伝送装置と、請求項 2 4又は 2 6に記載の複数の符号変換受信装置と、複数の復号装置と、を備え、

3 4 . 前記動画像データの符号変換伝送装置は、前記複数の動画像データの符号変換受信装置のそれぞれからの制御信号を受けて符号化データを前記複数の動画像データの符号変換受信装置のそれぞれに送出する、請求項 3 2に記載の符号変換伝送システム。

3 5 . 前記動画像データの符号変換伝送装置ば、前記複数の動画像データの符号変換受信装置のそれぞれからの制御信号を受けて符号化データを前記複数の動画像データの符号変換受信装置のそれぞれに送出する、請求項 3 3に記載の符号変換伝送システム。

3 6 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部のフレームを出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出するステツプと、

を含む、符号変換伝送方法。

3 7 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力されたバケツ卜の少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、入力された符号化バケツトデータの少なくとも一部を復号して得られたデータを符号化し、得られたバケツトデータの少なくとも一部を出力するステップと、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの前記伝送路へ送出するス亍ップと、を含む、符号変換伝送方法。

3 8 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力した符号化データを復号した動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られた、フレ —ム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データの少なくとも一部を出力するステップと、

を含む、符号変換伝送方法。

3 9 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化バケツトデータの少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、前記第 1の動画像符号変換手段が符号化したバケツ卜データの少なくとも一部に対し、各前記バケツトデータが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化バケツ卜データの少なくとも一部を出力するステップと、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力の少なくとも 1つを、第 1乃至第 Mの伝送路へ送出するステップと、を含む、符号変換伝送方法。

4 0 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力するステップと、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの前記動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出するステツプと、

を含む、符号変換伝送方法。

4 1 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、 ( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化パケットデ一タを入力して復号し、復号して得られたデータを符号化し、得られた符号化パケットデータの少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、前記第 1の動画像符号化手段が符号化した少なくとも一部のバケツ卜データに対し、前記各バケツ卜データが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたバケツ卜データの少なくとも一部を出力するステップと、 ( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの前記動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出するステツプと、

を含む、符号変換伝送方法。

4 2 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力したバケツ卜の少なくとも一部を出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、前記第 1の動画像符号化手段が入力するバケツ卜データの少なくとも一部のバケツ卜に対して該バケツトを複製し、得られたバケツ卜データの少なくとも一部を出力するステツプと、

を含む、符号変換伝送方法。

4 3 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手段を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、.

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力するステップと、

( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力するステップと、

を含む、ことを特徴とする動画像データの符号変換伝送方法。

4 4 . Nを 2以上の所定の整数として、第 1乃至第 Nの動画像符号変換送信手を備える符号変換伝送装置による動画像データの符号変換伝送方法であって、

( a ) 前記第 1の動画像符号変換送信手段が、圧縮された符号化パケットデータを入力し、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のバケツトを出力するステップと、 ( b ) 前記第 2乃至第 Nの動画像符号変換送信手段が、それぞれ、入力された符号化バケツトデータの少なくとも一部を復号して得られたデータを符号化し、得られた少なくとも一部のバケツトデータを出力するステップと、

4 5 . —部のフレームを選択するにあたり、動画像の性質又は予め定められた規則に従ってフレームを選択する、請求項 3 6、 3 8、 4 0、 4 3のいずれか 1 項に記載の符号変換伝送方法。

4 6 . 一部のバケツトを選択する際に、動画像の性質又は予め定められた規則に従ってパケットを選択する、請求項 3 7、 3 9、 4 1、 4 2、 4 4のいずれか 1項に記載の符号変換伝送方法。

4 7 . 前記ステップ（a ) において、前記第 1の前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれよリ高い圧縮率で圧縮する、請求項 3 8乃至 4 4のいずれか 1項に記載の符号変換伝送方法。

4 8 . 前記ステップ（b ) において、前記第 2乃至第 Nの前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記入力された符号化データの圧縮率と同等もしくはそれより高い圧縮率で圧縮する、請求項 3 6又は 3 7に記載の符号変換伝送方法。

4 9 . 前記ステップ（b ) において、前記第 2乃至第 Nの前記動画像符号変換送信手段は、前記入力された符号化データを復号し、前記復号して得られたデータを符号化するにあたり、前記第 2乃至第 Nの前記動画像符号変換送信手段での圧縮率と同等もしくはそれよリ高い圧縮率で圧縮する、請求項 3 8乃至 4 2のいずれか 1項に記載の符号変換伝送方法。

5 0 . 前記ステップ（b ) での前記第 2乃至第 Nの前記動画像符号変換送信手段のそれぞれの出力は、前記ステップ（a ) での出力と、時間的に離散した状態で出力される、請求項 3 4乃至 4 2のいずれか 1項に記載の符号変換伝送方法 _c

5 1 . 前期動画像符号変換送信手段の、出力の離間時間を、伝送路の状態、及び又は、予め定められた規則にしたがって設定する、請求項 5 0に記載の符号変換伝送装置。

5 2 . 前記第 1乃至第 Mの伝送路に使用できる帯域にあわせて、前記第 1乃至第 Nの動画像符号変換送信手段の圧縮率、及び Z又は、送信符号化データ数を選択し、前記第 1乃至第 Mの伝送路へ送出する、請求項 3 4乃至 4 2のいずれか 1項に記載の符号変換伝送方法。

5 3 . 前記第 1乃至第 Nの動画像符号変換送信手段のうち、動画像データを復号して得られたデータを符号化する複数の動画像符号変換送信手段に対して、共通の動画像復号手段で復号して得られたデータが供給される、請求項 3 6乃至 4 1、 4 3、 4 4のいずれか 1項に記載の符号変換伝送方法。

5 4 . Mを 1以上の所定の整数として、 M個の伝送路から少なくとも 1個の伝送路を選択するステップと、

前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力するステップと、

を含む動画像データの符号変換受信方法。

5 5 . Mを 1以上の所定の整数として、 M個の伝送路から少なくとも 1個の伝送路を選択するステップと、

前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化したバケツトデータを抽出し、抽出された符号化バケツトデータに基づき、符号化バケツトデータを再構成して出力するステップと、

を含む動画像データの符号変換受信方法。

5 6 . 同一フレームの符号化データが複数受信された場合、圧縮率、及びまたは、画質に基づき、 1つを選択する、請求項 5 4に記載の符号変換受信方法 _c 5 7 . 同一フレームの同一領域の画像を符号化したバケツトデータが複数受信された場合、圧縮率、及び/または、画質に基づき、 1つを選択する、請求項 5 5に記載の符号変換受信方法。

5 8 . 請求項 3 6、 3 8、 4 0、 4 3のいずれか 1項に記載の符号変換伝送方法で送信された符号化データを、請求項 5 4又は 5 6に記載の符号変換受信方法で受信する、動画像データの符号伝送方法。

5 9 . 請求項 3 7、 3 9、 4 1、 4 2、 4 4のいずれか 1項に記載の符号変換伝送方法で送信された符号化データを、請求項 5 5又は 5 7に記載の符号変換受信方法で受信する、動画像データの符号伝送方法。

6 0. 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化データが入力され、入力された符号化データの少なくとも一部のフレームを出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、入力された符号化データの少なくとも —部を復号し、復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、して機能させるプログラム。

6 1 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化パケットデータを入力し、前記入力された符号化パケッ卜の少なくとも一部を出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力の少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、として機能させるプログラム。

6 2. 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化データを入力し、前記入力した符号化データを復号して得られた動画像データの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第 1の動画像符号変換送信手段、 ( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られた、フレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて再符号化し、得られた符号化データの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、として機能させるプログラム。

6 3 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを再符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化したバケツトデータの少なくとも一部に対し、各前記バケツトデータが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で得られたフレーム間予測パラメータ又は予測差分データの少なくとも一方を用いて符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段、

6 4 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化データを入力して復号し、復号して得られたデータの少なくとも一部のフレームを符号化し、得られた符号化データの少なくとも一部を出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号変換手段が符号化した少なくとも一部のフレームを、該フレームに対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を用いて符号化し、得られた符号化データの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの前記伝送路へ送出する手段、

5 として機能させるプログラム。

6 5 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化パケットデータを入力して復号し、復号して得られたデータの少なくとも一部を符号化し、得られた符号化バケツトデータの少なくとも一部を出力する第 1の動画像符号変換送信手段、

0 ( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号化手段が符号化した少なくとも一部のバケツ卜データに対し、前記各バケツ卜データが符号化した画像領域を、該画像領域に対する前記第 1の動画像符号変換送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して符号化し、得られたパケットデータの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段， '5 ( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、として機能させるプログラム。

6 6 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化パケットデータを入力し、入力したパケットの少なく0 とも一部を出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、前記第 1の動画像符号化手段が入力するバケツ卜データの少なくとも一部のバケツトに対して該バケツ卜を複製し、得られたバケツ卜データの少なくとも一部を出力する第 2乃至第 Nの動画像符号変換送信手段、

5 ( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力のうち少なくとも 1つを、第 1乃至第 Mの伝送路へ送出する手段、として機能させるプログラム。

6 7 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化データを入力し、入力された符号化データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のフレームを出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、入力された符号化データの少なくとも一部を復号して得られたデータを符号化し、得られた符号化データの少なくとも一部のフレームを出力する第 2乃至第 Nの動画像符号変換送信手段、

6 8 . 動画像データの符号変換伝送装置を構成するコンピュータを、

( a ) 圧縮された符号化バケツ卜データを入力し、入力された符号化バケツ卜データの少なくとも一部を復号し、復号して得られたデータを符号化した少なくとも一部のバケツトを出力する第 1の動画像符号変換送信手段、

( b ) Nを 2以上の所定の整数として、入力された符号化パケットデータの少なくとも一部を復号し、復号して得られたデータを符号化し、得られた少なくとも一部のバケツ卜データを出力する第 2乃至第 Nの動画像符号変換送信手段、

( c ) Mを 1以上の所定の整数として、前記第 1乃至第 Nの動画像符号変換送信手段の出力をのうち少なくとも 1つ、第 1乃至第 Mの伝送路へ送出する手段、として機能させるプログラム。

6 9 . 前記コンピュータを、さらに、前記第 1乃至第 Nの動画像符号変換送信手段のうち、動画像データを復号して得られたデータを符号化する複数の動画像符号変換送信手段に対して共通に設けられ、入力された動画像符号化データを復号し、得られた復号データを、前記複数の動画像符号変換送信手段に供給する動画像復号手段として機能させる、請求項 5 8乃至 6 5、 6 7、 6 8のいずれか 1項に記載のプログラム。

7 0 . 動画像データの符号変換受信装置を構成するコンピュータに、

Mを 1以上の所定の整数として、 M個の伝送路から少なくとも 1個の伝送路を選択する処理と、

選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信された符号化データを抽出し、抽出された符号化データに基づき、符号化データを再構成して出力する処理と、

を実行させるためのプログラム。

7 1 . 動画像データの符号変換受信装置を構成するコンピュータに、

前記選択された伝送路から符号化データを受信し、伝送誤りがなく、欠落がなく受信されたパケットデータを抽出し、抽出されたパケットデータに基づき、符号化データを再構成して出力する処理と、

を実行させるプログラム。

7 2 . 前記選択された伝送路から受信した同一フレームの符号化データが複数存在する場合、圧縮率、及び Zまたは、画質に基づき、符号化データを選択し, 選択された符号化データを出力する処理をさらに前記コンピュータに実行させる, 請求項 7 0に記載のプログラム。

7 3 . 前記選択された伝送路から受信した同一フレームの同一領域の画像を符号化したバケツトデータが複数存在する場合、圧縮率、及び又は、画質に基づき、符号化パケットデータを選択し、符号化データを再構成して出力する処理をさらに前記コンピュータに実行させる、請求項 7 1に記載のプログラム。

7 4 . 符号化データを入力して変換し伝送路に出力する符号変換伝送装置であって、

前記入力された符号化データと前記入力された符号化データを再符号化した符号化データをそれぞれ出力するか、又は、前記入力された符号化データをそれぞれ再符号化した符号化データよリなる複数の符号化データをそれぞれ出力する、複数の符号変換送信手段を備え、

前記複数の符号変換送信手段は、前記入力された符号化データ及び Z又は前記再符号化した符号化データの少なくとも一部を出力し、前記複数の符号化データは、 1つの伝送路又は複数の伝送路上に送出される、符号変換伝送装置。

7 5 . 前記複数の符号変換送信手段の 1つは、他の符号変換送信手段の圧縮符号化と同等もしくはそれより高い圧縮率で符号化する、請求項 7 4に記載の符号変換伝送装置。

7 6 . 請求項 7 4又は 7 5に記載の符号変換伝送装置から伝送路に送信された符号化データを受信する符号変換受信装置であって、

前記 1又は複数の伝送路のうち、受信する伝送路を選択する手段と、

前記選択された伝送路から符号化データを受信し、正常に受信された符号化データに基づき、符号化データを再構成する手段と、

を備える、符号変換受信装置。

7 7 . 請求項 7 4又は 7 5に記載の符号変換伝送装置に対して、請求項 7 6 に記載の符号変換受信装置を少なくとも 1つ備え、

前記符号変換伝送装置は、符号化データを配信する装置から送信された符号化データを受け取リ符号変換した符号化データを出力し、

前記符号変換受信装置が、前記符号変換伝送装置から出力された符号化データを受信する、符号伝送システム。