JP4280927B2 - 動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法 - Google Patents
動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法 Download PDFInfo
- Publication number
- JP4280927B2 JP4280927B2 JP2004501963A JP2004501963A JP4280927B2 JP 4280927 B2 JP4280927 B2 JP 4280927B2 JP 2004501963 A JP2004501963 A JP 2004501963A JP 2004501963 A JP2004501963 A JP 2004501963A JP 4280927 B2 JP4280927 B2 JP 4280927B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoded
- frame
- moving image
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【技術分野】
本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法に関する。
【０００２】
【背景技術】
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。
【０００３】
これらの方式では、時間的に前後のフレームから動き補償などの手法により+符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている。
【０００４】
しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく復号化できないという問題があった。
【０００５】
また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である。さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。
【０００６】
【発明の開示】
本発明は上記の事情を考慮してなされたものであり、その第１の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００７】
また、本発明の第２の目的は、必要な伝送帯域の増大を小さく抑えながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００８】
本発明の第３の目的は、圧縮符号化データの復号化に要する演算量の増大を防ぎながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００９】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、送信側は、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、フレームを、第１の符号化データよりも高い圧縮率で、第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信すると共に、受信側は、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する。
【００１０】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、送信側は、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータよりも高い圧縮率で、第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信すると共に、受信側は、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００１１】
また、送信側は、第１の符号化データの圧縮符号化において参照された参照フレーム画像を、第２の符号化データの圧縮符号化のフレーム間予測において参照してもよい。
【００１２】
また、送信側は、第１の符号化データの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、第２の符号化データの圧縮符号化で再利用してもよい。
【００１３】
また、送信側は、第１のパケットデータの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、第２のパケットデータの圧縮符号化で再利用してもよい。
【００１４】
また、送信側は、第1のパケットデータの圧縮符号化において参照された参照フレーム画像を、第２のパケットデータの圧縮符号化において参照してもよい。
【００１５】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する。
【００１６】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、第１の動画像符号化送信手段は、入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた一個または複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、各々の画像領域を、当該画像領域に対する第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像をフレーム間予測で利用しながら、第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える。
【００１７】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像復号化手段とを備える。
【００１８】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた１個又は複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、各々の画像領域を、当該画像領域に対する前記第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える。
【００１９】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する。
【００２０】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する。
【００２１】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する。
【００２２】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する。
【００２３】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。
【００２４】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、受信したパケットデータのうち、ビット誤り又はパケットロスの無いパケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００２５】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。
【００２６】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、受信したパケットデータのうち、ビット誤り又はパケットロスの無いパケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００２７】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００２８】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００２９】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システムである。
【００３０】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００３１】
上記目的を達成するため、本発明の動画像伝送方法は、
送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、動画像符号化ステップでは、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、フレームを、第１の符号化データよりも高い圧縮率で、第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信し、動画像復号化ステップでは、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する。
【００３２】
上記目的を達成するため、本発明の動画像伝送方法は、
送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、動画像符号化ステップでは、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータよりも高い圧縮率で、第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信し、動画像復号化ステップでは、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００３３】
以上説明したように本発明によれば、送信側で動画像データを所定の符号化データに圧縮符号化し、さらに符号化されたフレームを、当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データもしくは参照フレーム画像を利用して符号化することで複数の符号化データを送信し、受信側で正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化するようにしたので、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、符号化データ全てが誤って伝送される確率が小さくなり、復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００３４】
さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはパケット単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。
【００３５】
【発明を実施するための最良の形態】
以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。
【００３６】
（第１の実施の形態）
本発明の第１の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図１に、第１の実施の形態による動画像伝送システムの全体構成を示す。
【００３７】
図１に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置１００と、動画像復号化装置２００及び動画像データの動画像符号化装置１００から動画像復号化装置２００に対して符号化データを伝送するための伝送路３００から構成される。図１において、Ｎは２以上の整数であり、動画像符号化装置１００が送信する符号化データの個数を表す。
【００３８】
動画像符号化装置１００は、動画像データをフレーム単位で入力し、入力された動画像データをＮ個の符号化データに符号化し、第１から第Ｎの動画像符号化パケットデータとして伝送路３００に送信する。
【００３９】
この動画像符号化装置１００は、図１に示すように、第１から第ＮのＮ個の動画像符号化送信部１０１−１〜１０１−Ｎを備える。第１の動画像符号化送信部１０１−１は、動画像符号化装置１００に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像復号化装置２００へ送信する。
【００４０】
第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたフレームの全てまたは一部のフレームを、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化データを動画像復号化装置２００へ送信する。
【００４１】
上記のように、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎによる、フレームの符号化における圧縮率は、第１の動画像符号化送信部１０１−１のそれよりも高く設定する。また、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよい。
【００４２】
動画像復号化装置２００は、動画像符号化装置１００から送信されたＮ個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置２００は、図１に示すように、動画像符号化装置１００の備える第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎにより送信された符号化データを受信する第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎと、符号化データ再構成部２０２と、動画像データ復号化部２０３とを備える。
【００４３】
符号化データ再構成部２０２は、第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎにおいて伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、圧縮率が最も低い１つの符号化データを復号化する符号化データとして選択する。
【００４４】
動画像データ復号化部２０３は、符号化データ再構成部２０２から出力された符号化データを復号化し、動画像データを得る。
【００４５】
動画像符号化装置１００の動画像符号化送信部の詳細な構成を図２に示す。図２においては、簡単のため、装置が出力する符号化データの個数Ｎを「２」として示している。
【００４６】
図２の第１の動画像符号化送信部１０１−１において、１１１は入力された動画像データのフレームを符号化順に並び替えるフレーム走査部、１１２は参照フレーム格納メモリ１１９に格納された１つまたは複数の復号画像から、フレーム走査部１１１より入力された画像へのフレーム間予測を行うフレーム間予測部、１１３は入力されたフレーム画像から、フレーム間予測部１１２で得られた予測画像を減算することで予測残差を算出する予測残差算出部、１１４−１は予測残差算出部１１３で得られた予測残差画像を所定の方法で圧縮符号化する第１の予測残差圧縮符号化部、１１５−１はフレーム間予測部１１２で得られたフレーム間予測パラメータと第１の予測残差圧縮符号化部１１４−１で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第１の符号化パケット生成部である。
【００４７】
１１６−１は、第１の符号化パケット生成部１１５−１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第１のパケット誤り検出符号・フレーム／パケット識別番号付加部、１１７は第１の予測残差圧縮符号化部１１４−１で符号化された予測残差の復号化データを求める予測残差復号化部、１１８はフレーム間予測部１１２で生成された予測画像と予測残差復号化部１１７で復号化された予測残差の和により復号化画像を求める復号化画像算出部、１１９は次のフレームの符号化に備え復号化画像を格納する参照フレーム格納メモリである。
【００４８】
本実施の形態における第１の動画像符号化送信部１０１−１は、以上の各処理部により動作する。
【００４９】
図２の第２の動画像符号化送信部１０１−２において、１１４−２は予測残差算出部１１３で得られた予測残差画像を第１の予測残差圧縮符号化部１１４−１よりも高い圧縮率で符号化する第２の予測残差圧縮符号化部、１１５−２はフレーム間予測部１１２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第２の符号化パケット生成部である。１１６−２は、第２の符号化パケット生成部１１５−２が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム/パケット識別番号を付加する第２のパケット誤り検出符号・フレーム／パケット識別番号付加部である。
【００５０】
以上の各処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。本実施の形態における動画像符号化装置１００が備える第２の動画像符号化送信部１０１−２は、以上の各処理部により動作する。
【００５１】
なお、図２においては、第２の動画像符号化送信部１０１−２についてのみ示したが、図１の第３〜第Ｎの動画像符号化送信部１０１−３〜１０１−Ｎについても、上記第２の動画像符号化送信部１０１−２と同様の構成である。
【００５２】
以上が、本実施の形態における動画像符号化装置１００の構成及び動作である。
【００５３】
本実施の形態において、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１を設けることにより、第１の符号化パケット生成部１１５−１から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１で誤り検出符号を付加する必要は無い。別の例として、第１の符号化パケット生成部１１５−１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１でフレーム／パケット識別番号を付加する必要は無い。
【００５４】
同様に、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
【００５５】
以上で説明した第１の実施の形態の好ましい具体例では、例えば、動画像符号化装置はインターネット通信網に接続され、カメラなどで入力された動画像をＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従った符号化データに圧縮し、ＵＤＰ／ＩＰプロトコルを用いて伝送する。フレーム間予測部１１２は動き補償によるフレーム間予測を行う。第１の予測残差圧縮符号化部１１４−１と第２の予測残差圧縮符号化部１１４−２は２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。
【００５６】
また、第２の予測残差圧縮符号化部１１４−２は、第１の予測残差圧縮符号化
部１１４−１よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴを適応的にカットするなどの方法で、第２の符号化データの圧縮率が第１の符号化データの圧縮率よりも高くなるように圧縮する。
【００５７】
予測残差復号化部１１７は、逆量子化と逆２次元離散コサイン変換（２Ｄ−Ｉ
ＤＣＴ）を行う。第１の符号化パケット生成部１１５−１は、第１の予測残差圧縮符号化部１１４−１から出力される量子化ＤＣＴ係数とフレーム間予測部１１２から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。
【００５８】
同様に、第２の符号化パケット生成部１１５−２は、第２の予測残差圧縮符号化部１１４−２から出力される量子化ＤＣＴ係数と、フレーム間予測部１１２から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された動画像復号化装置に送出する。
【００５９】
図３は、第１の実施の形態による動画像復号化装置２００の詳細な構成を示している。
【００６０】
図３に示す第１の符号化データ受信部２０１−１において、２１１−１は符号化装置から送信された第１の符号化パケットデータを受信するための第１のパケット受信バッファ、２１２−１は第１のパケット受信バッファ２１１−１で受信されたパケットデータから動画像符号化データを抽出する第１の符号化データ抽出部、２１３−１は第１の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第１のパケット誤り検出・パケットロス検出部である。
【００６１】
以上の各構成要素の処理部により、第１の符号化データ受信部２０１−１が動作する。
【００６２】
同じく図３に示す第２の符号化データ受信部２０１−２において、２１１−２は符号化装置から送信された第２の符号化パケットデータを受信するための第２のパケット受信バッファ、２１２−２は２１１−２で受信されたパケットデータから動画像符号化データを抽出する第２の符号化データ抽出部、２１３−２は第２の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第２のパケット誤り検出・パケットロス検出部である。
【００６３】
以上の各構成要素の処理部により、第２の符号化データ受信部２０１−２が動作する。
【００６４】
符号化データ再構成部２０２は、第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２で誤り及びパケットロスを検出した結果に従って、符号化装置より送信された２つの符号化データを１つの符号化データに再構成する。
【００６５】
図３に示す動画像データ復号化部２０３において、２５１は符号化データ再構成部２０２で再構成された符号化データを可変長復号化する可変長復号化部、２５２は予測残差復号化部、２５３はフレーム間予測画像生成部、２５４は予測残差復号化部２５２で得られた予測残差とフレーム間予測画像生成部２５３で得られた予測画像を加算して復号化画像を求める復号化画像算出部、２５５は後続のフレームの復号化で利用するために復号化画像算出部２５４で得られた復号化画像データを格納する参照フレーム格納メモリ、２５６は復号化画像を再生順に並び替えて出力するフレーム走査部である。
【００６６】
以上の各構成要素の処理部により、動画像復号化装置２００が備える動画像データ復号化部２０３が動作し、動画像符号化装置１００より伝送された動画像データが得られる。
【００６７】
本実施の形態における、符号化データ再構成部２０２での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【００６８】
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
【００６９】
ステップＳ４０２では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に進む。それ以外の場合は、ステップＳ４０４に進む。
【００７０】
ステップＳ４０３に進んだ場合、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００７１】
ステップＳ４０４に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０５に進む。それ以外の場合は、ステップＳ４０６に進む。
【００７２】
ステップＳ４０５では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００７３】
ステップＳ４０６に進むのは、第１及び第２のパケット受信バッファ２１１−１、２１１−２のいずれにおいても、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。
【００７４】
このため、ステップＳ４０６では、受信エラーによる復号化画像の乱れをなるべく目立たなくするためのコンシールメントを適切な方法で施すための処理を行う。
【００７５】
例えば、一つ前の第（ｎ−１）フレームの復号化画像を第ｎフレームの復号化画像として利用するように動画像データ復号化部２０３に指令を送るのが、その一つの方法である。
【００７６】
あるいは、以下に述べるような方法が利用できる。
【００７７】
第１のパケット受信バッファ２１１−１に第ｎフレームの一部の符号化データが受信されているならば、この一部の符号化データを第ｎフレームの復号化に利用する。第１のパケット受信バッファ２１１−１に符号化データが全く受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの一部の符号化データが受信された場合は、第２のパケット受信バッファで得られた一部の符号化データを第ｎフレームの復号化に利用する。そして、第１及び第２のパケット受信バッファ双方で第ｎフレームの符号化データが全く受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を出力するようにする。
【００７８】
本ステップ４０６では、このようなコンシールメントのための処理を行った後、第ｎフレームの符号化データ再構成処理を終了する。
【００７９】
以上が、符号化データ再構成部２０２での符号化データ再構成手順である。
【００８０】
なお、図４に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【００８１】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図５のフローチャートのように動作する。
【００８２】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【００８３】
図５において、図４と同じステップ番号を付したステップは、図４と同じ処理であり、ここでは、ステップＳ５０１とＳ５０２が追加されている。すなわち、第２のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在する場合には、ステップＳ５０１で第３のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在するかどうかが判別され、存在しない場合には、ステップＳ５０２で、第３のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００８４】
何れのパケット受信バッファにも、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合には、上述したステップＳ４０６のコンシールメントのための処理を行う。
【００８５】
上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとパケットロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００８６】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【００８７】
また、動画像符号化装置１００の第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像復号化装置２００の符号化データ再構成部２０２で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。
【００８８】
本実施の形態において、第１のパケット誤り検出・パケットロス検出部２１３−１で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置１００で付加された誤り検出符号とフレーム／パケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良い。
【００８９】
同様に、第２のパケット誤り検出・パケットロス検出部２１３−２で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。
【００９０】
符号化データ再構成部２０２での符号化データ再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
【００９１】
本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置２００はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置１００からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを復号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えばＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従ったデータである。第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２は、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部２５１、予測残差復号化部２５２、フレーム間予測画像生成部２５３、復号化画像算出部２５４、参照フレーム格納メモリ２５５及びフレーム走査部２５６から構成される動画像データ復号化部２０３は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式に対応した通常の復号化装置である。
【００９２】
可変長復号化部２５１は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式で符号化されたデータを可変長復号化してＤＣＴ量子化係数や動きベクトル等の圧縮情報を取り出す。予測残差復号化部２５２は逆量子化処理と逆２次元離散コサイン変換を行う。フレーム間予測画像生成部２５３は、復号化された動きベクトルに従って動き補償画像を生成する。
【００９３】
（第２の実施の形態）
上述した第１の実施の形態では、第１ないし第２の符号化パケットデータを動画像符号化装置１００から動画像復号化装置２００へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が望ましい。
【００９４】
図６は、このような好ましい符号化パケットデータ伝送方法を実現する第２の実施の形態を示している。
【００９５】
図６の第２の実施の形態において、６０１は図２に示した第１の実施の形態による動画像符号化装置１００から出力される第２の符号化パケットデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、６０２は動画像符号化装置１００から出力される第１の符号化パケットデータと遅延付加部６０１から出力される第２の符号化パケットデータを多重化して伝送路に送信する多重化部である。６０３は多重化部６０２で多重化されたデータを送信装置から受信装置へ伝送する伝送路、６０４は伝送路６０３からパケットデータを受信し、第１の符号化パケットデータと第２の符号化パケットデータに分離して第１の実施の形態による動画像復号化装置２００に出力する分離部である。
【００９６】
ここで、遅延付加部６０１で第２の符号化パケットデータに加えられる遅延時間は、伝送路６０３で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路６０３でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【００９７】
以上で説明した第２の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の符号化送信部１０１−２は、第１の符号化送信部１０１−１で符号化されたフレームを、第１の符号化送信部１０１−１による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側である動画像復号化装置２００は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００９８】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【００９９】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。
【０１００】
第２の実施の形態では、第１の実施の形態の効果に加えて、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【０１０１】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【０１０２】
第３の実施の形態の構成及び動作は、第１の実施の形態とほぼ同じであり、図１に示されるように、動画像符号化装置１００と動画像復号化装置２００及び符号化データを伝送するための伝送路３００から構成される。整数Ｎは、動画像符号化装置１００が送信する符号化データの個数である。
【０１０３】
動画像符号化装置１００の構成は第１の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第１の実施の形態の場合と相違する。
【０１０４】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び予測差分画像圧縮データが符号化されている。
【０１０５】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部で符号化されたパケットの全てまたは一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１０６】
動画像復号化装置２００の構成も第１の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第１の実施の形態と相違する。
【０１０７】
符号化データ再構成部２０２は、第１の実施の形態と同様に、第１乃至第Ｎの符号化データ受信部２０１−１〜２０１−Ｎで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、圧縮率が最も低い１個のパケットを復号化される符号化データとして選択し、この選択を動画像符号化装置１００が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１０８】
本第３の実施の形態における動画像符号化送信部の構成及び動作は、図２に示した第１の実施の形態における動画像符号化送信部とほぼ同じであり、図２における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作においてのみ相違する。
【０１０９】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５−２で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【０１１０】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部１１５−１、１１５−２が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【０１１１】
上記以外の処理部の動作は、第１の実施の形態と同様である。
【０１１２】
本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化にＭＰＥＧ−４ Ｖｉｓｕａｌ方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号化可能である。
【０１１３】
第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部１１５−２で符号化されたビデオパケットは、第１の符号化パケット生成部１１５−１で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。
【０１１４】
本実施の形態における動画像復号化装置２００の構成及び動作は、図３に示した第１の実施の形態の動画像復号化装置とほぼ同じであり、図３における符号化データ再構成部２０２の動作のみが相違する。
【０１１５】
この第３の実施の形態における、符号化データ再構成部２０２での符号化データ再構成の手順を、図７のフローチャートをもとに説明する。図７の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【０１１６】
ステップＳ７０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ７０２に進む。
【０１１７】
ステップＳ７０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
【０１１８】
ステップＳ７０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ７０４からの繰り返し処理を開始する。
【０１１９】
ステップＳ７０４では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ７０５に進む。それ以外の場合は、ステップＳ７０６に進む。
【０１２０】
ステップＳ７０５に進んだ場合は、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１２１】
ステップＳ７０６に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合は、ステップＳ７０７に進む。それ以外の場合は、ステップＳ７０８に進む。
【０１２２】
ステップＳ７０７では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１２３】
ステップＳ７０８に進むのは、第１及び第２のパケット受信バッファのいずれにおいても、第ｎフレームの第ｉパケットデータをビット誤りやパケットロスなく受信できなかった場合である。このため、ステップＳ７０８では、第ｉパケットデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。
【０１２４】
例えば、第ｎフレームの第ｉパケットデータが含む復号化画像として、一つ前の第（ｎ−１）フレームの復号化画像を利用するように動画像復号化部に指令を送るのが、その一つの方法である。あるいは、第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットデータが不完全ながらも受信されているならば、このパケットデータを第ｎフレームの復号化に利用し、第１のパケット受信バッファ２１１−１に当該パケットデータが受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットデータが不完全ながらも受信された場合は、第２のパケット受信バッファで得られたパケットデータを第ｎフレームの復号化に利用し、第１及び第２のパケット受信バッファ双方で第ｎフレーム第ｉパケットデータが受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を表示するのも一つの方法である。
【０１２５】
本ステップでは、このようなコンシールメントのための処理を行った後、ステップＳ７０９に進む。
【０１２６】
ステップＳ７０９では、変数ｉを１増加させる。続くステップＳ７１０では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ７０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
【０１２７】
以上が、第３の実施の形態における符号化データ再構成部２０２の動作である。
【０１２８】
なお、図７に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【０１２９】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図８のフローチャートのように動作する。
【０１３０】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【０１３１】
図８において、図７と同じステップ番号を付したステップは、図７と同じ処理であり、ここでは、ステップＳ８０１とＳ８０２が追加されている。すなわち、第２のパケット受信バッファ中に第ｉパケットが存在しないかまたは存在してもビット誤りがある場合には、ステップＳ８０１で第３のパケット受信バッファ中第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合には、ステップＳ８０２で第３の符号化データ抽出部２１２−３が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【０１３２】
何れのパケット受信バッファにも第ｎフレームの第ｉパケットが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップＳ７０８のコンシールメントのための処理を行う。
【０１３３】
上述したように、フレーム符号化における圧縮率が低いパケットデータを優先して、符号化データとして可変長復号化部２５１に受け渡す。
【０１３４】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【０１３５】
なお、本実施の形態の符号化データ再構成部２０２での符号化データ再構成手順における、ステップＳ７０１で第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば他のいかなる方法でも構わない。
【０１３６】
以上で説明した第３の実施の形態によれば、動画像符号化装置１００は、同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたパケットが含む画像領域を、第１の動画像符号化送信部１０１−１による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１３７】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１３８】
（第４の実施の形態）
次に、本発明の第４の実施の形態による動画像伝送システムについて説明する。
【０１３９】
本実施の形態の構成および動作は第１の実施の形態とほぼ同じであり、図１に示されるように、動画像データの動画像符号化装置１００と動画像復号化装置２００および符号化データを伝送するための伝送路３００から構成される。
【０１４０】
この実施の形態においては、動画像符号化装置１００を構成する各部の動作において第１の実施の形態と相違する。
【０１４１】
第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎにおける入力フレーム画像の符号化は、当該フレームに対する第１の動画像符号化送信部１０１−１のフレーム間予測で用いた参照フレーム画像を用いて行われる。
【０１４２】
第１の動画像符号化送信部１０１−１と異なる制御によりフレーム間予測を行って得られた、第１の動画像符号化送信部１０１−１と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１４３】
動画像復号化装置２００の構成は第１の実施の形態と全く同じである。
【０１４４】
図９は、本発明の第４の実施の形態における動画像符号化装置１００の詳細な構成を示している。ここでは、簡単のためこの装置が出力する符号化データの個数Ｎを「２」としている。
【０１４５】
図９において、第４の実施の形態における動画像符号化装置１００の第１の動画像符号化送信部１０１−１の構成は、図２に示した第１の実施の形態と同じであり、その動作も同様である。
【０１４６】
本実施の形態における第２の動画像符号化送信部１０１−２は、第１の実施の形態とはその構成及び動作において相違する。第２の動画像符号化送信部１０１−２は、第２のフレーム間予測部１１２−２と、第２の予測残差算出部１１３−２と、第２の予測残差圧縮符号化部１１４−２、第２の符号化パケット生成部１１５−２、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２により構成される。
【０１４７】
第２のフレーム間予測部１１２−２は、参照フレーム格納メモリ１１９に格納された１つまたは複数の復号画像から、フレーム走査部１１１より入力された画像へのフレーム間予測を行う。第２の予測残差算出部１１３−２は、入力フレーム画像から、第２のフレーム間予測部１１２−２で得られた予測画像を減算することで予測残差を算出する。第２の予測残差圧縮符号化部１１４−２は、第２の予測残差算出部１１３−２で得られた予測残差画像を第１の予測残差圧縮符号化部１１４−１よりも高い圧縮率で符号化する。
【０１４８】
また、第２の符号化パケット生成部１１５−２は、第２のフレーム間予測部１１２−２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、第２の符号化パケット生成部１１５−２が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム/パケット識別番号を付加する。以上の処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。
【０１４９】
なお、第２のフレーム間予測部１１２−２は、第１のフレーム間予測部１１２−１と同一の入力フレーム画像および参照フレーム画像を利用してフレーム間予測を行うが、その結果、第１のフレーム間予測部１１２−１とは異なるフレーム間予測パラメータおよび予測画像が得られても構わない。このため、例えば、第２のフレーム間予測部１１２−２が、第１のフレーム間予測部１１２−１よりもフレーム間予測パラメータの符号化長を重視して予測パラメータを決定することで、本発明の効果を高めることが可能である。
【０１５０】
以上で説明した第４の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。
【０１５１】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【０１５２】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置で２００は、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１５３】
（第５の実施の形態）
次に、本発明の第５の実施の形態による動画像伝送システムについて説明する。
【０１５４】
本実施の形態の全体構成は、第４の実施の形態と同じであり、図１に示される
ように、動画像データの動画像符号化装置１００と動画像復号化装置２００および符号化データを伝送するための伝送路３００から構成される。
【０１５５】
動画像符号化装置１００の構成は第４の実施の形態と同じであるが、この装置を構成する各部の動作において第４の実施の形態と相違する。
【０１５６】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータおよび差分画像圧縮データが符号化されている。
【０１５７】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたパケットの全てまたは一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で用いた参照フレーム画像を利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第４の実施の形態と同じである。
【０１５８】
動画像復号化装置２００の構成は第３の実施の形態と全く同じである。
【０１５９】
本実施の形態における動画像符号化装置１００の構成および動作は、図９に示した第４の実施の形態における動画像符号化装置とほぼ同じであり、図３における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作のみが相違する。
【０１６０】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５−２で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【０１６１】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【０１６２】
上記以外の処理部の動作は第３の実施の形態と同様である。
【０１６３】
以上で説明した第５の実施の形態によれば、動画像符号化装置１００の第１の動画像符号化送信部１０１−１は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。
【０１６４】
第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたパケットが含む画像領域を、第１の動画像符号化送信部１０１−１による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１６５】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【０１６６】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【０１６７】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１６８】
なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像復号化装置の各機能をハードウェア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム８００及び動画像復号化プログラム９００からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム８００及び動画像復号化プログラム９００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１６９】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図２は、本発明の第１の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
図３は、本発明の第１の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
図４は、本発明の第１の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図５は、第１の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図６は、本発明の第２の実施の形態に係る動画像符号化データパケット伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図７は、本発明の第３の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図８は、第３の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図９は、本発明の第４の実施の形態に係る動画像符号化装置の構成を示す図である。
【技術分野】
本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法に関する。
【０００２】
【背景技術】
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。
【０００３】
これらの方式では、時間的に前後のフレームから動き補償などの手法により+符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている。
【０００４】
しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく復号化できないという問題があった。
【０００５】
また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である。さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。
【０００６】
【発明の開示】
本発明は上記の事情を考慮してなされたものであり、その第１の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００７】
また、本発明の第２の目的は、必要な伝送帯域の増大を小さく抑えながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００８】
本発明の第３の目的は、圧縮符号化データの復号化に要する演算量の増大を防ぎながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００９】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、送信側は、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、フレームを、第１の符号化データよりも高い圧縮率で、第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信すると共に、受信側は、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する。
【００１０】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、送信側は、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータよりも高い圧縮率で、第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信すると共に、受信側は、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００１１】
また、送信側は、第１の符号化データの圧縮符号化において参照された参照フレーム画像を、第２の符号化データの圧縮符号化のフレーム間予測において参照してもよい。
【００１２】
また、送信側は、第１の符号化データの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、第２の符号化データの圧縮符号化で再利用してもよい。
【００１３】
また、送信側は、第１のパケットデータの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、第２のパケットデータの圧縮符号化で再利用してもよい。
【００１４】
また、送信側は、第1のパケットデータの圧縮符号化において参照された参照フレーム画像を、第２のパケットデータの圧縮符号化において参照してもよい。
【００１５】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する。
【００１６】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、第１の動画像符号化送信手段は、入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた一個または複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、各々の画像領域を、当該画像領域に対する第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像をフレーム間予測で利用しながら、第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える。
【００１７】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像復号化手段とを備える。
【００１８】
上記目的を達成するため、本発明の動画像伝送システムは、
送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、任意の２以上の整数Ｎに対して、送信側が、入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた１個又は複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、各々の画像領域を、当該画像領域に対する前記第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、受信側が、受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、Ｎ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える。
【００１９】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する。
【００２０】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する。
【００２１】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する。
【００２２】
上記目的を達成するため、本発明の動画像符号化装置は、
動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する。
【００２３】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。
【００２４】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、受信したパケットデータのうち、ビット誤り又はパケットロスの無いパケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００２５】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。
【００２６】
上記目的を達成するため、本発明の動画像復号化装置は、
動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、受信したパケットデータのうち、ビット誤り又はパケットロスの無いパケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００２７】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、符号化されたフレームを第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００２８】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００２９】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、符号化されたフレームの少なくとも一部を第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システムである。
【００３０】
上記目的を達成するため、本発明の動画像伝送プログラムは、
送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００３１】
上記目的を達成するため、本発明の動画像伝送方法は、
送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、動画像符号化ステップでは、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、フレームを、第１の符号化データよりも高い圧縮率で、第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信し、動画像復号化ステップでは、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する。
【００３２】
上記目的を達成するため、本発明の動画像伝送方法は、
送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、動画像符号化ステップでは、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、画像領域を、第１のパケットデータよりも高い圧縮率で、第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信し、動画像復号化ステップでは、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する。
【００３３】
以上説明したように本発明によれば、送信側で動画像データを所定の符号化データに圧縮符号化し、さらに符号化されたフレームを、当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データもしくは参照フレーム画像を利用して符号化することで複数の符号化データを送信し、受信側で正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化するようにしたので、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、符号化データ全てが誤って伝送される確率が小さくなり、復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００３４】
さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはパケット単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。
【００３５】
【発明を実施するための最良の形態】
以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。
【００３６】
（第１の実施の形態）
本発明の第１の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図１に、第１の実施の形態による動画像伝送システムの全体構成を示す。
【００３７】
図１に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置１００と、動画像復号化装置２００及び動画像データの動画像符号化装置１００から動画像復号化装置２００に対して符号化データを伝送するための伝送路３００から構成される。図１において、Ｎは２以上の整数であり、動画像符号化装置１００が送信する符号化データの個数を表す。
【００３８】
動画像符号化装置１００は、動画像データをフレーム単位で入力し、入力された動画像データをＮ個の符号化データに符号化し、第１から第Ｎの動画像符号化パケットデータとして伝送路３００に送信する。
【００３９】
この動画像符号化装置１００は、図１に示すように、第１から第ＮのＮ個の動画像符号化送信部１０１−１〜１０１−Ｎを備える。第１の動画像符号化送信部１０１−１は、動画像符号化装置１００に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像復号化装置２００へ送信する。
【００４０】
第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたフレームの全てまたは一部のフレームを、当該フレームに対する第１の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化データを動画像復号化装置２００へ送信する。
【００４１】
上記のように、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎによる、フレームの符号化における圧縮率は、第１の動画像符号化送信部１０１−１のそれよりも高く設定する。また、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよい。
【００４２】
動画像復号化装置２００は、動画像符号化装置１００から送信されたＮ個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置２００は、図１に示すように、動画像符号化装置１００の備える第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎにより送信された符号化データを受信する第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎと、符号化データ再構成部２０２と、動画像データ復号化部２０３とを備える。
【００４３】
符号化データ再構成部２０２は、第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎにおいて伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、圧縮率が最も低い１つの符号化データを復号化する符号化データとして選択する。
【００４４】
動画像データ復号化部２０３は、符号化データ再構成部２０２から出力された符号化データを復号化し、動画像データを得る。
【００４５】
動画像符号化装置１００の動画像符号化送信部の詳細な構成を図２に示す。図２においては、簡単のため、装置が出力する符号化データの個数Ｎを「２」として示している。
【００４６】
図２の第１の動画像符号化送信部１０１−１において、１１１は入力された動画像データのフレームを符号化順に並び替えるフレーム走査部、１１２は参照フレーム格納メモリ１１９に格納された１つまたは複数の復号画像から、フレーム走査部１１１より入力された画像へのフレーム間予測を行うフレーム間予測部、１１３は入力されたフレーム画像から、フレーム間予測部１１２で得られた予測画像を減算することで予測残差を算出する予測残差算出部、１１４−１は予測残差算出部１１３で得られた予測残差画像を所定の方法で圧縮符号化する第１の予測残差圧縮符号化部、１１５−１はフレーム間予測部１１２で得られたフレーム間予測パラメータと第１の予測残差圧縮符号化部１１４−１で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第１の符号化パケット生成部である。
【００４７】
１１６−１は、第１の符号化パケット生成部１１５−１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第１のパケット誤り検出符号・フレーム／パケット識別番号付加部、１１７は第１の予測残差圧縮符号化部１１４−１で符号化された予測残差の復号化データを求める予測残差復号化部、１１８はフレーム間予測部１１２で生成された予測画像と予測残差復号化部１１７で復号化された予測残差の和により復号化画像を求める復号化画像算出部、１１９は次のフレームの符号化に備え復号化画像を格納する参照フレーム格納メモリである。
【００４８】
本実施の形態における第１の動画像符号化送信部１０１−１は、以上の各処理部により動作する。
【００４９】
図２の第２の動画像符号化送信部１０１−２において、１１４−２は予測残差算出部１１３で得られた予測残差画像を第１の予測残差圧縮符号化部１１４−１よりも高い圧縮率で符号化する第２の予測残差圧縮符号化部、１１５−２はフレーム間予測部１１２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第２の符号化パケット生成部である。１１６−２は、第２の符号化パケット生成部１１５−２が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム/パケット識別番号を付加する第２のパケット誤り検出符号・フレーム／パケット識別番号付加部である。
【００５０】
以上の各処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。本実施の形態における動画像符号化装置１００が備える第２の動画像符号化送信部１０１−２は、以上の各処理部により動作する。
【００５１】
なお、図２においては、第２の動画像符号化送信部１０１−２についてのみ示したが、図１の第３〜第Ｎの動画像符号化送信部１０１−３〜１０１−Ｎについても、上記第２の動画像符号化送信部１０１−２と同様の構成である。
【００５２】
以上が、本実施の形態における動画像符号化装置１００の構成及び動作である。
【００５３】
本実施の形態において、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１を設けることにより、第１の符号化パケット生成部１１５−１から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１で誤り検出符号を付加する必要は無い。別の例として、第１の符号化パケット生成部１１５−１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１でフレーム／パケット識別番号を付加する必要は無い。
【００５４】
同様に、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
【００５５】
以上で説明した第１の実施の形態の好ましい具体例では、例えば、動画像符号化装置はインターネット通信網に接続され、カメラなどで入力された動画像をＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従った符号化データに圧縮し、ＵＤＰ／ＩＰプロトコルを用いて伝送する。フレーム間予測部１１２は動き補償によるフレーム間予測を行う。第１の予測残差圧縮符号化部１１４−１と第２の予測残差圧縮符号化部１１４−２は２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。
【００５６】
また、第２の予測残差圧縮符号化部１１４−２は、第１の予測残差圧縮符号化
部１１４−１よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴを適応的にカットするなどの方法で、第２の符号化データの圧縮率が第１の符号化データの圧縮率よりも高くなるように圧縮する。
【００５７】
予測残差復号化部１１７は、逆量子化と逆２次元離散コサイン変換（２Ｄ−Ｉ
ＤＣＴ）を行う。第１の符号化パケット生成部１１５−１は、第１の予測残差圧縮符号化部１１４−１から出力される量子化ＤＣＴ係数とフレーム間予測部１１２から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。
【００５８】
同様に、第２の符号化パケット生成部１１５−２は、第２の予測残差圧縮符号化部１１４−２から出力される量子化ＤＣＴ係数と、フレーム間予測部１１２から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された動画像復号化装置に送出する。
【００５９】
図３は、第１の実施の形態による動画像復号化装置２００の詳細な構成を示している。
【００６０】
図３に示す第１の符号化データ受信部２０１−１において、２１１−１は符号化装置から送信された第１の符号化パケットデータを受信するための第１のパケット受信バッファ、２１２−１は第１のパケット受信バッファ２１１−１で受信されたパケットデータから動画像符号化データを抽出する第１の符号化データ抽出部、２１３−１は第１の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第１のパケット誤り検出・パケットロス検出部である。
【００６１】
以上の各構成要素の処理部により、第１の符号化データ受信部２０１−１が動作する。
【００６２】
同じく図３に示す第２の符号化データ受信部２０１−２において、２１１−２は符号化装置から送信された第２の符号化パケットデータを受信するための第２のパケット受信バッファ、２１２−２は２１１−２で受信されたパケットデータから動画像符号化データを抽出する第２の符号化データ抽出部、２１３−２は第２の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第２のパケット誤り検出・パケットロス検出部である。
【００６３】
以上の各構成要素の処理部により、第２の符号化データ受信部２０１−２が動作する。
【００６４】
符号化データ再構成部２０２は、第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２で誤り及びパケットロスを検出した結果に従って、符号化装置より送信された２つの符号化データを１つの符号化データに再構成する。
【００６５】
図３に示す動画像データ復号化部２０３において、２５１は符号化データ再構成部２０２で再構成された符号化データを可変長復号化する可変長復号化部、２５２は予測残差復号化部、２５３はフレーム間予測画像生成部、２５４は予測残差復号化部２５２で得られた予測残差とフレーム間予測画像生成部２５３で得られた予測画像を加算して復号化画像を求める復号化画像算出部、２５５は後続のフレームの復号化で利用するために復号化画像算出部２５４で得られた復号化画像データを格納する参照フレーム格納メモリ、２５６は復号化画像を再生順に並び替えて出力するフレーム走査部である。
【００６６】
以上の各構成要素の処理部により、動画像復号化装置２００が備える動画像データ復号化部２０３が動作し、動画像符号化装置１００より伝送された動画像データが得られる。
【００６７】
本実施の形態における、符号化データ再構成部２０２での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【００６８】
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
【００６９】
ステップＳ４０２では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に進む。それ以外の場合は、ステップＳ４０４に進む。
【００７０】
ステップＳ４０３に進んだ場合、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００７１】
ステップＳ４０４に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０５に進む。それ以外の場合は、ステップＳ４０６に進む。
【００７２】
ステップＳ４０５では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００７３】
ステップＳ４０６に進むのは、第１及び第２のパケット受信バッファ２１１−１、２１１−２のいずれにおいても、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。
【００７４】
このため、ステップＳ４０６では、受信エラーによる復号化画像の乱れをなるべく目立たなくするためのコンシールメントを適切な方法で施すための処理を行う。
【００７５】
例えば、一つ前の第（ｎ−１）フレームの復号化画像を第ｎフレームの復号化画像として利用するように動画像データ復号化部２０３に指令を送るのが、その一つの方法である。
【００７６】
あるいは、以下に述べるような方法が利用できる。
【００７７】
第１のパケット受信バッファ２１１−１に第ｎフレームの一部の符号化データが受信されているならば、この一部の符号化データを第ｎフレームの復号化に利用する。第１のパケット受信バッファ２１１−１に符号化データが全く受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの一部の符号化データが受信された場合は、第２のパケット受信バッファで得られた一部の符号化データを第ｎフレームの復号化に利用する。そして、第１及び第２のパケット受信バッファ双方で第ｎフレームの符号化データが全く受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を出力するようにする。
【００７８】
本ステップ４０６では、このようなコンシールメントのための処理を行った後、第ｎフレームの符号化データ再構成処理を終了する。
【００７９】
以上が、符号化データ再構成部２０２での符号化データ再構成手順である。
【００８０】
なお、図４に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【００８１】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図５のフローチャートのように動作する。
【００８２】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【００８３】
図５において、図４と同じステップ番号を付したステップは、図４と同じ処理であり、ここでは、ステップＳ５０１とＳ５０２が追加されている。すなわち、第２のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在する場合には、ステップＳ５０１で第３のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在するかどうかが判別され、存在しない場合には、ステップＳ５０２で、第３のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００８４】
何れのパケット受信バッファにも、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合には、上述したステップＳ４０６のコンシールメントのための処理を行う。
【００８５】
上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとパケットロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００８６】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【００８７】
また、動画像符号化装置１００の第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像復号化装置２００の符号化データ再構成部２０２で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。
【００８８】
本実施の形態において、第１のパケット誤り検出・パケットロス検出部２１３−１で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置１００で付加された誤り検出符号とフレーム／パケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良い。
【００８９】
同様に、第２のパケット誤り検出・パケットロス検出部２１３−２で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。
【００９０】
符号化データ再構成部２０２での符号化データ再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
【００９１】
本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置２００はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置１００からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを復号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えばＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従ったデータである。第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２は、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部２５１、予測残差復号化部２５２、フレーム間予測画像生成部２５３、復号化画像算出部２５４、参照フレーム格納メモリ２５５及びフレーム走査部２５６から構成される動画像データ復号化部２０３は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式に対応した通常の復号化装置である。
【００９２】
可変長復号化部２５１は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式で符号化されたデータを可変長復号化してＤＣＴ量子化係数や動きベクトル等の圧縮情報を取り出す。予測残差復号化部２５２は逆量子化処理と逆２次元離散コサイン変換を行う。フレーム間予測画像生成部２５３は、復号化された動きベクトルに従って動き補償画像を生成する。
【００９３】
（第２の実施の形態）
上述した第１の実施の形態では、第１ないし第２の符号化パケットデータを動画像符号化装置１００から動画像復号化装置２００へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が望ましい。
【００９４】
図６は、このような好ましい符号化パケットデータ伝送方法を実現する第２の実施の形態を示している。
【００９５】
図６の第２の実施の形態において、６０１は図２に示した第１の実施の形態による動画像符号化装置１００から出力される第２の符号化パケットデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、６０２は動画像符号化装置１００から出力される第１の符号化パケットデータと遅延付加部６０１から出力される第２の符号化パケットデータを多重化して伝送路に送信する多重化部である。６０３は多重化部６０２で多重化されたデータを送信装置から受信装置へ伝送する伝送路、６０４は伝送路６０３からパケットデータを受信し、第１の符号化パケットデータと第２の符号化パケットデータに分離して第１の実施の形態による動画像復号化装置２００に出力する分離部である。
【００９６】
ここで、遅延付加部６０１で第２の符号化パケットデータに加えられる遅延時間は、伝送路６０３で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路６０３でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【００９７】
以上で説明した第２の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の符号化送信部１０１−２は、第１の符号化送信部１０１−１で符号化されたフレームを、第１の符号化送信部１０１−１による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側である動画像復号化装置２００は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００９８】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【００９９】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。
【０１００】
第２の実施の形態では、第１の実施の形態の効果に加えて、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【０１０１】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【０１０２】
第３の実施の形態の構成及び動作は、第１の実施の形態とほぼ同じであり、図１に示されるように、動画像符号化装置１００と動画像復号化装置２００及び符号化データを伝送するための伝送路３００から構成される。整数Ｎは、動画像符号化装置１００が送信する符号化データの個数である。
【０１０３】
動画像符号化装置１００の構成は第１の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第１の実施の形態の場合と相違する。
【０１０４】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び予測差分画像圧縮データが符号化されている。
【０１０５】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部で符号化されたパケットの全てまたは一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１０６】
動画像復号化装置２００の構成も第１の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第１の実施の形態と相違する。
【０１０７】
符号化データ再構成部２０２は、第１の実施の形態と同様に、第１乃至第Ｎの符号化データ受信部２０１−１〜２０１−Ｎで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、圧縮率が最も低い１個のパケットを復号化される符号化データとして選択し、この選択を動画像符号化装置１００が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１０８】
本第３の実施の形態における動画像符号化送信部の構成及び動作は、図２に示した第１の実施の形態における動画像符号化送信部とほぼ同じであり、図２における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作においてのみ相違する。
【０１０９】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５−２で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【０１１０】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部１１５−１、１１５−２が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【０１１１】
上記以外の処理部の動作は、第１の実施の形態と同様である。
【０１１２】
本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化にＭＰＥＧ−４ Ｖｉｓｕａｌ方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号化可能である。
【０１１３】
第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部１１５−２で符号化されたビデオパケットは、第１の符号化パケット生成部１１５−１で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。
【０１１４】
本実施の形態における動画像復号化装置２００の構成及び動作は、図３に示した第１の実施の形態の動画像復号化装置とほぼ同じであり、図３における符号化データ再構成部２０２の動作のみが相違する。
【０１１５】
この第３の実施の形態における、符号化データ再構成部２０２での符号化データ再構成の手順を、図７のフローチャートをもとに説明する。図７の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【０１１６】
ステップＳ７０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ７０２に進む。
【０１１７】
ステップＳ７０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
【０１１８】
ステップＳ７０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ７０４からの繰り返し処理を開始する。
【０１１９】
ステップＳ７０４では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ７０５に進む。それ以外の場合は、ステップＳ７０６に進む。
【０１２０】
ステップＳ７０５に進んだ場合は、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１２１】
ステップＳ７０６に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合は、ステップＳ７０７に進む。それ以外の場合は、ステップＳ７０８に進む。
【０１２２】
ステップＳ７０７では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１２３】
ステップＳ７０８に進むのは、第１及び第２のパケット受信バッファのいずれにおいても、第ｎフレームの第ｉパケットデータをビット誤りやパケットロスなく受信できなかった場合である。このため、ステップＳ７０８では、第ｉパケットデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。
【０１２４】
例えば、第ｎフレームの第ｉパケットデータが含む復号化画像として、一つ前の第（ｎ−１）フレームの復号化画像を利用するように動画像復号化部に指令を送るのが、その一つの方法である。あるいは、第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットデータが不完全ながらも受信されているならば、このパケットデータを第ｎフレームの復号化に利用し、第１のパケット受信バッファ２１１−１に当該パケットデータが受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットデータが不完全ながらも受信された場合は、第２のパケット受信バッファで得られたパケットデータを第ｎフレームの復号化に利用し、第１及び第２のパケット受信バッファ双方で第ｎフレーム第ｉパケットデータが受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を表示するのも一つの方法である。
【０１２５】
本ステップでは、このようなコンシールメントのための処理を行った後、ステップＳ７０９に進む。
【０１２６】
ステップＳ７０９では、変数ｉを１増加させる。続くステップＳ７１０では、変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ７０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
【０１２７】
以上が、第３の実施の形態における符号化データ再構成部２０２の動作である。
【０１２８】
なお、図７に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【０１２９】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図８のフローチャートのように動作する。
【０１３０】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【０１３１】
図８において、図７と同じステップ番号を付したステップは、図７と同じ処理であり、ここでは、ステップＳ８０１とＳ８０２が追加されている。すなわち、第２のパケット受信バッファ中に第ｉパケットが存在しないかまたは存在してもビット誤りがある場合には、ステップＳ８０１で第３のパケット受信バッファ中第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合には、ステップＳ８０２で第３の符号化データ抽出部２１２−３が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【０１３２】
何れのパケット受信バッファにも第ｎフレームの第ｉパケットが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップＳ７０８のコンシールメントのための処理を行う。
【０１３３】
上述したように、フレーム符号化における圧縮率が低いパケットデータを優先して、符号化データとして可変長復号化部２５１に受け渡す。
【０１３４】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【０１３５】
なお、本実施の形態の符号化データ再構成部２０２での符号化データ再構成手順における、ステップＳ７０１で第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば他のいかなる方法でも構わない。
【０１３６】
以上で説明した第３の実施の形態によれば、動画像符号化装置１００は、同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたパケットが含む画像領域を、第１の動画像符号化送信部１０１−１による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１３７】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１３８】
（第４の実施の形態）
次に、本発明の第４の実施の形態による動画像伝送システムについて説明する。
【０１３９】
本実施の形態の構成および動作は第１の実施の形態とほぼ同じであり、図１に示されるように、動画像データの動画像符号化装置１００と動画像復号化装置２００および符号化データを伝送するための伝送路３００から構成される。
【０１４０】
この実施の形態においては、動画像符号化装置１００を構成する各部の動作において第１の実施の形態と相違する。
【０１４１】
第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎにおける入力フレーム画像の符号化は、当該フレームに対する第１の動画像符号化送信部１０１−１のフレーム間予測で用いた参照フレーム画像を用いて行われる。
【０１４２】
第１の動画像符号化送信部１０１−１と異なる制御によりフレーム間予測を行って得られた、第１の動画像符号化送信部１０１−１と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【０１４３】
動画像復号化装置２００の構成は第１の実施の形態と全く同じである。
【０１４４】
図９は、本発明の第４の実施の形態における動画像符号化装置１００の詳細な構成を示している。ここでは、簡単のためこの装置が出力する符号化データの個数Ｎを「２」としている。
【０１４５】
図９において、第４の実施の形態における動画像符号化装置１００の第１の動画像符号化送信部１０１−１の構成は、図２に示した第１の実施の形態と同じであり、その動作も同様である。
【０１４６】
本実施の形態における第２の動画像符号化送信部１０１−２は、第１の実施の形態とはその構成及び動作において相違する。第２の動画像符号化送信部１０１−２は、第２のフレーム間予測部１１２−２と、第２の予測残差算出部１１３−２と、第２の予測残差圧縮符号化部１１４−２、第２の符号化パケット生成部１１５−２、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２により構成される。
【０１４７】
第２のフレーム間予測部１１２−２は、参照フレーム格納メモリ１１９に格納された１つまたは複数の復号画像から、フレーム走査部１１１より入力された画像へのフレーム間予測を行う。第２の予測残差算出部１１３−２は、入力フレーム画像から、第２のフレーム間予測部１１２−２で得られた予測画像を減算することで予測残差を算出する。第２の予測残差圧縮符号化部１１４−２は、第２の予測残差算出部１１３−２で得られた予測残差画像を第１の予測残差圧縮符号化部１１４−１よりも高い圧縮率で符号化する。
【０１４８】
また、第２の符号化パケット生成部１１５−２は、第２のフレーム間予測部１１２−２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する。第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、第２の符号化パケット生成部１１５−２が出力した圧縮パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム/パケット識別番号を付加する。以上の処理部の動作により第２の動画像符号化データが得られ、所定の送信手段によってパケット単位で送信される。
【０１４９】
なお、第２のフレーム間予測部１１２−２は、第１のフレーム間予測部１１２−１と同一の入力フレーム画像および参照フレーム画像を利用してフレーム間予測を行うが、その結果、第１のフレーム間予測部１１２−１とは異なるフレーム間予測パラメータおよび予測画像が得られても構わない。このため、例えば、第２のフレーム間予測部１１２−２が、第１のフレーム間予測部１１２−１よりもフレーム間予測パラメータの符号化長を重視して予測パラメータを決定することで、本発明の効果を高めることが可能である。
【０１５０】
以上で説明した第４の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。
【０１５１】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【０１５２】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置で２００は、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１５３】
（第５の実施の形態）
次に、本発明の第５の実施の形態による動画像伝送システムについて説明する。
【０１５４】
本実施の形態の全体構成は、第４の実施の形態と同じであり、図１に示される
ように、動画像データの動画像符号化装置１００と動画像復号化装置２００および符号化データを伝送するための伝送路３００から構成される。
【０１５５】
動画像符号化装置１００の構成は第４の実施の形態と同じであるが、この装置を構成する各部の動作において第４の実施の形態と相違する。
【０１５６】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータおよび差分画像圧縮データが符号化されている。
【０１５７】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたパケットの全てまたは一部のパケットが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で用いた参照フレーム画像を利用して、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第４の実施の形態と同じである。
【０１５８】
動画像復号化装置２００の構成は第３の実施の形態と全く同じである。
【０１５９】
本実施の形態における動画像符号化装置１００の構成および動作は、図９に示した第４の実施の形態における動画像符号化装置とほぼ同じであり、図３における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作のみが相違する。
【０１６０】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５−２で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【０１６１】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【０１６２】
上記以外の処理部の動作は第３の実施の形態と同様である。
【０１６３】
以上で説明した第５の実施の形態によれば、動画像符号化装置１００の第１の動画像符号化送信部１０１−１は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。
【０１６４】
第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたパケットが含む画像領域を、第１の動画像符号化送信部１０１−１による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１６５】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【０１６６】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【０１６７】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１６８】
なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像復号化装置の各機能をハードウェア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム８００及び動画像復号化プログラム９００からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム８００及び動画像復号化プログラム９００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１６９】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図２は、本発明の第１の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
図３は、本発明の第１の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
図４は、本発明の第１の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図５は、第１の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図６は、本発明の第２の実施の形態に係る動画像符号化データパケット伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図７は、本発明の第３の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図８は、第３の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図９は、本発明の第４の実施の形態に係る動画像符号化装置の構成を示す図である。
Claims (24)
- 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
前記送信側は、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、前記フレームを、前記第１の符号化データよりも高い圧縮率で、前記第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信すると共に、
前記受信側は、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する動画像伝送システム。 - 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、
前記送信側は、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータよりも高い圧縮率で、前記第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信すると共に、
前記受信側は、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像伝送システム。 - 前記送信側は、前記第１の符号化データの圧縮符号化において参照された参照フレーム画像を、前記第２の符号化データの圧縮符号化のフレーム間予測において参照する請求項１に記載の動画像伝送システム。
- 前記送信側は、前記第１の符号化データの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、前記第２の符号化データの圧縮符号化で再利用する請求項１に記載の動画像伝送システム。
- 前記送信側は、前記第１のパケットデータの圧縮符号化におけるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを、前記第２のパケットデータの圧縮符号化で再利用する請求項２に記載の動画像伝送システム。
- 前記送信側は、前記第1のパケットデータの圧縮符号化において参照された参照フレーム画像を、前記第２のパケットデータの圧縮符号化において参照する請求項２に記載の動画像伝送システム。
- 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、
任意の２以上の整数Ｎに対して、
送信側が、
入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、
前記第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する前記第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、前記第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、
受信側が、
受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、
前記のＮ個の符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像復号化手段とを備える動画像伝送システム。 - 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、
任意の２以上の整数Ｎに対して、送信側が、前記第１の動画像符号化送信手段は、入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた一個または複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、
前記各々の画像領域を、当該画像領域に対する前記第１の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像をフレーム間予測で利用しながら、前記第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、
受信側が、受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、
前記のＮ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える動画像伝送システム。 - 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、
任意の２以上の整数Ｎに対して、
送信側が、
入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを送信する第１の動画像符号化送信手段と、
前記第１の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する前記第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、前記第１の動画像符号化送信手段よりも高い圧縮率となるように符号化し、得られた符号化データを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、
受信側が、
受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能なＮ個の符号化データ受信手段と、
前記符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像復号化手段とを備える動画像伝送システム。 - 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、
任意の２以上の整数Ｎに対して、
送信側が、
入力された動画像フレームを１個又は複数個の画像領域に分割して、分割された各々の画像領域をフレーム間予測により圧縮符号化して、得られた１個又は複数個の第１のパケットデータを送信する第１の動画像符号化送信手段と、
前記各々の画像領域を、当該画像領域に対する前記第１の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、前記第１の動画像符号化送信手段よりも高い圧縮率で圧縮符号化し、得られた一個または複数個の第２のパケットデータを送信する第２乃至第Ｎの（Ｎ−１）個の動画像符号化送信手段とを備え、
受信側が、
受信したパケットデータの誤りもしくは欠落をパケットデータ単位で検出可能なＮ個の符号化データ受信手段と、
前記のＮ個の符号化データ受信手段で伝送誤りも欠落もなく受信されたパケットデータの中から、圧縮率が最も低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化手段とを備える動画像伝送システム。 - 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを前記第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する動画像符号化装置。 - 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する動画像符号化装置。 - 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームの少なくとも一部を前記第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する動画像符号化装置。 - 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、
入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する動画像符号化装置。 - 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームを前記第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、
受信した前記符号化データのうち、ビット誤り又はパケットロスの無い前記符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する動画像復号化装置。 - 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、
前記画像領域を、前記第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、
受信した前記パケットデータのうち、ビット誤り又はパケットロスの無い前記パケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化装置。 - 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力された動画像データのフレームをフレーム間予測により圧縮符号化した第１の符号化データと、前記符号化されたフレームの少なくとも一部を前記第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを受信し、
受信した前記符号化データのうち、ビット誤り又はパケットロスの無い前記符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する動画像復号化装置。 - 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、
前記動画像符号化装置から送信された、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、
前記画像領域を、前記第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを受信し、
受信した前記パケットデータのうち、ビット誤り又はパケットロスの無い前記パケットデータから、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像復号化装置。 - 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、前記符号化されたフレームを前記第１の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、
前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラム。 - 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、
前記受信側で、コンピュータ処理装置に、受信した前記複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラム。 - 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、前記符号化されたフレームの少なくとも一部を前記第１の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１の符号化データより高い圧縮率となるように圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信する処理を実行させ、
前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。 - 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記送信側で、コンピュータ処理装置に、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記第１のパケットデータより高い圧縮率で圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信する処理を実行させ、
前記受信側で、コンピュータ処理装置に、受信した前記複数のパケットデータであって正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラム。 - 送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記動画像符号化ステップでは、入力された動画像データのフレームをフレーム間予測符号化により圧縮符号化した第１の符号化データと、前記フレームを、前記第１の符号化データよりも高い圧縮率で、前記第１の符号化データを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した第２の符号化データとからなる、複数の符号化データを送信し、
前記動画像復号化ステップでは、正常に受信された符号化データのうち、最も圧縮率の低い符号化データを、フレーム毎に選択して復号化する動画像伝送方法。 - 送信側で動画像データを圧縮符号化して送信する動画像符号化ステップと、受信側で復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記動画像符号化ステップでは、入力された動画像データのフレームを１個又は複数個の画像領域に分割して、各々の画像領域をフレーム間予測符号化により圧縮符号化した１個又は複数個の第１のパケットデータと、前記画像領域を、前記第１のパケットデータよりも高い圧縮率で、前記第１のパケットデータを復号化して得られた参照フレーム画像を参照するフレーム間予測により、圧縮符号化した１個又は複数個の第２のパケットデータとからなる、複数のパケットデータを送信し、
前記動画像復号化ステップでは、正常に受信されたパケットデータのうち、最も圧縮率の低いパケットデータを、同一の画像領域が符号化されたパケットデータ毎に選択して復号化する動画像伝送方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002126894 | 2002-04-26 | ||
| JP2002126894 | 2002-04-26 | ||
| PCT/JP2003/005321 WO2003092302A1 (en) | 2002-04-26 | 2003-04-25 | Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003092302A1 JPWO2003092302A1 (ja) | 2005-09-08 |
| JP4280927B2 true JP4280927B2 (ja) | 2009-06-17 |
Family
ID=29267620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004501963A Expired - Fee Related JP4280927B2 (ja) | 2002-04-26 | 2003-04-25 | 動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20050117643A1 (ja) |
| EP (1) | EP1501314A4 (ja) |
| JP (1) | JP4280927B2 (ja) |
| WO (1) | WO2003092302A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2714150C1 (ru) * | 2019-09-03 | 2020-02-12 | Акционерное общество "Выксунский металлургический завод" | Способ изготовления стальных двухслойных горячекатаных листов |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4475235B2 (ja) * | 2004-01-28 | 2010-06-09 | 日本電気株式会社 | コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム |
| EP1714491A2 (en) * | 2004-02-09 | 2006-10-25 | Matsushita Electric Industrial Co Ltd | Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit |
| CN101543082B (zh) * | 2007-05-22 | 2011-07-20 | 松下电器产业株式会社 | 运动图像解码装置以及运动图像解码方法 |
| EP2559166B1 (en) * | 2010-04-13 | 2017-11-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Probability interval partioning encoder and decoder |
| JP6439414B2 (ja) * | 2014-12-01 | 2018-12-19 | 富士通株式会社 | 通信装置 |
| JP6649212B2 (ja) * | 2016-09-06 | 2020-02-19 | 株式会社東芝 | 符号化装置、復号装置、および画像処理システム |
| FR3135085A1 (fr) | 2022-04-28 | 2023-11-03 | Arkema France | Compositions de polyamide ignifuge ductile et leur utilisation notamment pour application ferroviaire |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59167143A (ja) * | 1983-03-11 | 1984-09-20 | Nec Corp | 信号伝送方式 |
| JPH0748711B2 (ja) * | 1987-02-20 | 1995-05-24 | 日本電信電話株式会社 | 信号伝送方式 |
| DE69132063T2 (de) * | 1990-12-28 | 2000-09-14 | Canon K.K., Tokio/Tokyo | Bildcodierung mit Optimierung der erzeugten Codemenge |
| US5111292A (en) * | 1991-02-27 | 1992-05-05 | General Electric Company | Priority selection apparatus as for a video signal processor |
| US5481543A (en) * | 1993-03-16 | 1996-01-02 | Sony Corporation | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems |
| JPH10224746A (ja) * | 1997-02-05 | 1998-08-21 | Kokusai Electric Co Ltd | 画像伝送システム |
| JPH10276365A (ja) * | 1997-03-31 | 1998-10-13 | Hitachi Ltd | 映像データ圧縮装置、映像記録再生装置および映像データの圧縮符号化方法 |
| US5847760A (en) * | 1997-05-22 | 1998-12-08 | Optibase Ltd. | Method for managing video broadcast |
| US6014694A (en) * | 1997-06-26 | 2000-01-11 | Citrix Systems, Inc. | System for adaptive video/audio transport over a network |
| JP3495922B2 (ja) * | 1997-09-26 | 2004-02-09 | フーリエ有限会社 | 映像データの伝送方法 |
| JPH11225161A (ja) * | 1998-02-05 | 1999-08-17 | Matsushita Electric Ind Co Ltd | データ処理方法およびデータ処理装置 |
| JP3646853B2 (ja) * | 1999-02-12 | 2005-05-11 | Ｋｄｄｉ株式会社 | 複数経路画像伝送装置 |
| JP2001007786A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | データ通信方法およびシステム |
| US6611530B1 (en) * | 1999-09-21 | 2003-08-26 | Hewlett-Packard Development Company, L.P. | Video communication using multiple streams |
| US6829303B1 (en) * | 1999-11-17 | 2004-12-07 | Hitachi America, Ltd. | Methods and apparatus for decoding images using dedicated hardware circuitry and a programmable processor |
| US6510177B1 (en) * | 2000-03-24 | 2003-01-21 | Microsoft Corporation | System and method for layered video coding enhancement |
| GB2366464A (en) * | 2000-08-14 | 2002-03-06 | Nokia Mobile Phones Ltd | Video coding using intra and inter coding on the same data |
| US9143546B2 (en) * | 2000-10-03 | 2015-09-22 | Realtime Data Llc | System and method for data feed acceleration and encryption |
-
2003
- 2003-04-25 JP JP2004501963A patent/JP4280927B2/ja not_active Expired - Fee Related
- 2003-04-25 WO PCT/JP2003/005321 patent/WO2003092302A1/ja active Application Filing
- 2003-04-25 EP EP03727985A patent/EP1501314A4/en not_active Withdrawn
- 2003-04-25 US US10/505,668 patent/US20050117643A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2714150C1 (ru) * | 2019-09-03 | 2020-02-12 | Акционерное общество "Выксунский металлургический завод" | Способ изготовления стальных двухслойных горячекатаных листов |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1501314A4 (en) | 2010-03-17 |
| US20050117643A1 (en) | 2005-06-02 |
| EP1501314A1 (en) | 2005-01-26 |
| WO2003092302A1 (en) | 2003-11-06 |
| JPWO2003092302A1 (ja) | 2005-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7957465B2 (en) | Moving picture data code conversion/transmission method and device, code conversion/reception method and device | |
| US9445114B2 (en) | Method and device for determining slice boundaries based on multiple video encoding processes | |
| JP4889231B2 (ja) | 画像符号化方法および装置、画像復号方法 | |
| US20090147856A1 (en) | Variable color format based video encoding and decoding methods and apparatuses | |
| US20070009039A1 (en) | Video encoding and decoding methods and apparatuses | |
| EP1793613A2 (en) | Picture encoding method and apparatus and picture decoding method and apparatus | |
| US10542265B2 (en) | Self-adaptive prediction method for multi-layer codec | |
| US10484688B2 (en) | Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme | |
| JP4280927B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法 | |
| JP4321454B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法 | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| US6356661B1 (en) | Method and device for robust decoding of header information in macroblock-based compressed video data | |
| US20060120290A1 (en) | Method for adapting the bitrate of a digital signal dynamically to the available bandwidth, corresponding devices, and corresponding computer-program product | |
| Carreira et al. | Selective motion vector redundancies for improved error resilience in HEVC | |
| KR101772472B1 (ko) | 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법 | |
| WO2002019709A1 (en) | Dual priority video transmission for mobile applications | |
| KR20060043120A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| JP3948442B2 (ja) | 動き補償復号化装置 | |
| KR100564967B1 (ko) | 동영상 디코더 및 이를 이용한 디코딩 방법 | |
| KR101307469B1 (ko) | 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법 | |
| KR101082542B1 (ko) | 분산 비디오 코딩을 위한 비트스트림의 재구성 방법 및 장치 | |
| WO2001015458A2 (en) | Dual priority video transmission for mobile applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090218 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4280927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |