JP4321454B2 - Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method - Google Patents

Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method Download PDF

Info

Publication number
JP4321454B2
JP4321454B2 JP2004500512A JP2004500512A JP4321454B2 JP 4321454 B2 JP4321454 B2 JP 4321454B2 JP 2004500512 A JP2004500512 A JP 2004500512A JP 2004500512 A JP2004500512 A JP 2004500512A JP 4321454 B2 JP4321454 B2 JP 4321454B2
Authority
JP
Japan
Prior art keywords
moving image
encoded data
encoding
data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004500512A
Other languages
Japanese (ja)
Other versions
JPWO2003092295A1 (en
Inventor
敦史 幡生
一範 小澤
洋明 出井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2003092295A1 publication Critical patent/JPWO2003092295A1/en
Application granted granted Critical
Publication of JP4321454B2 publication Critical patent/JP4321454B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

【０００１】
【技術分野】
本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムに関する。
【０００２】
【背景技術】
近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。
【０００３】
これらの方式では、時間的に前後のフレームから動き補償などの手法により+符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている。
【０００４】
しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送パケットの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく復号化できないという問題があった。
【０００５】
また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから、誤りをなるべく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である。さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。
【０００６】
【発明の開示】
本発明は上記の事情を考慮してなされたものであり、その第１の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００７】
また、本発明の第２の目的は、必要な伝送帯域の増大を小さく抑えながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００８】
本発明の第３の目的は、圧縮符号化データの復号化に要する演算量の増大を防ぎながら第１の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法を提供することにある。
【０００９】
上記目的を達成するため、本発明の動画像伝送システムは、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００１０】
上記目的を達成するため、本発明の動画像伝送システムは、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００１１】
また、複数の符号化手段は、フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、符号化データ量を削減する符号化手段であって、量子化における量子化ステップサイズを制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成してもよい。
【００１２】
また、複数の符号化手段は、フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、高次の量子化係数を０に打ち切ることによって、符号化データ量を削減する符号化手段であって、０に打ち切る量子化係数の個数を制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成してもよい。
【００１３】
上記目的を達成するため、本発明の動画像符号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを動画像復号化装置に送信する複数の符号化手段を有する動画像符号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する。
【００１４】
上記目的を達成するため、本発明の動画像符号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを動画像復号化装置に送信する複数の符号化手段を有する動画像符号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する。
【００１５】
上記目的を達成するため、本発明の動画像復号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、符号化データを受信して復号化する動画像復号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００１６】
上記目的を達成するため、本発明の動画像復号化装置は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、符号化データを受信して復号化する動画像復号化装置であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００１７】
上記目的を達成するため、本発明の動画像伝送プログラムは、
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理を実行させ、動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００１８】
上記目的を達成するため、本発明の動画像伝送プログラムは、
動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理とともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する処理を実行させ、動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムである。
【００１９】
上記目的を達成するため、本発明の動画像伝送方法は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、動画像復号化ステップは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する。
【００２０】
上記目的を達成するため、本発明の動画像伝送方法は、
入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、前記動画像符号化ステップでは、前記複数の符号化手段を用いて、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、動画像復号化ステップでは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する。
【００２１】
以上説明したように、本発明によれば、動画像データを複数の圧縮率の異なる符号化データに圧縮符号化して送信し、正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化するため、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低い伝送路を用いた場合でも、複数の符号化データ全てが誤って伝送される確率を小さく抑えることができ、復号化画像に著しい乱れが生じるのを防ぐことが可能となる。
【００２２】
さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む
符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはパケット単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。
【００２３】
【発明を実施するための最良の形態】
以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
本発明の第１の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図１に、第１の実施の形態による動画像伝送システムの全体構成を示す。
【００２４】
図１に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置１００と、動画像復号化装置２００及び動画像データの動画像符号化装置１００から動画像復号化装置２００に対して符号化データを伝送するための伝送路３００から構成される。図１において、Ｎは２以上の整数であり、動画像符号化装置１００が送信する符号化データの個数を表す。
【００２５】
動画像符号化装置１００は、動画像データをフレーム単位で入力し、入力された動画像データをＮ個の符号化データに符号化し、第１から第Ｎの動画像符号化パケットデータとして伝送路３００に送信する。
【００２６】
この動画像符号化装置１００は、図１に示すように、第１から第ＮのＮ個の動画像符号化送信部１０１−１〜１０１−Ｎを備える。第１の動画像符号化送信部１０１−１は、動画像符号化装置１００に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像復号化装置２００へ送信する。
【００２７】
第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１によるフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照したフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化データを動画像復号化装置２００へ送信する。
【００２８】
上記のように、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎによる、フレームの符号化における圧縮率は、第１の動画像符号化送信部１０１−１のそれよりも高く設定する。また、第２から第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよい。
【００２９】
動画像復号化装置２００は、動画像符号化装置１００から送信されたＮ個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置２００は、図１に示すように、動画像符号化装置１００の備える第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎにより送信された符号化データを受信する第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎと、符号化データ再構成部２０２と、動画像データ復号化部２０３とを備える。
【００３０】
符号化データ再構成部２０２は、第１から第Ｎの符号化データ受信部２０１−１〜２０１−Ｎにおいて伝送誤りも欠落もなく受信された最大Ｎ個の符号化データの中から、圧縮率が最も低い１つの符号化データを復号化する符号化データとして選択する。
【００３１】
動画像データ復号化部２０３は、符号化データ再構成部２０２から出力された符号化データを復号化し、動画像データを得る。
【００３２】
動画像符号化装置１００の動画像符号化送信部の詳細な構成を図２に示す。図２においては、簡単のため、装置が出力する符号化データの個数Ｎを「２」として示している。
【００３３】
図２の第１の動画像符号化送信部１０１−１において、１１１−１は入力された動画像データのフレームを符号化順に並び替える第１のフレーム走査部、１１２−１は第１の参照フレーム格納メモリ１１９−１に格納された１つまたは複数の復号画像から、第１のフレーム走査部１１１−１より入力された画像へのフレーム間予測を行う第１のフレーム間予測部、１１３−１は入力されたフレーム画像から、第１のフレーム間予測部１１２−１で得られた予測画像を減算することで予測残差を算出する第１の予測残差算出部、１１４−１は第１の予測残差算出部１１３−１で得られた予測残差画像を所定の方法で圧縮符号化する第１の予測残差圧縮符号化部、１１５−１は第１のフレーム間予測部１１２−１で得られたフレーム間予測パラメータと第１の予測残差圧縮符号化部１１４−１で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第１の符号化パケット生成部である。
【００３４】
１１６−１は、第１の符号化パケット生成部１１５−１が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第１のパケット誤り検出符号・フレーム／パケット識別番号付加部、１１７−１は第１の予測残差圧縮符号化部１１４−１で符号化された予測残差の復号化データを求める第１の予測残差復号化部、１１８−１は第１のフレーム間予測部１１２−１で生成された予測画像と第１の予測残差復号化部１１７−１で復号化された予測残差の和により復号化画像を求める第１の復号化画像算出部、１１９−１は次のフレームの符号化に備え復号化画像を格納する第１の参照フレーム格納メモリである。
【００３５】
本実施の形態における第１の動画像符号化送信部１０１−１は、以上の各処理部により動作する。
【００３６】
図２の第２の動画像符号化送信部１０１−２において、１１１−２は入力された動画像フレームを符号化順に並び替える第２のフレーム走査部、１１２−２は第２の２の参照フレーム格納メモリ１１９−２に格納された１つまたは複数の復号画像から、第２のフレーム走査部１１１−２より入力された画像へのフレーム間予測を行う第２のフレーム間予測部、１１３−２は入力フレーム画像から、第２のフレーム走査部１１２−２で得られた予測画像を減算することで予測残差を算出する第２の予測残差算出部、１１４−２は第２の予測残差算出部１１３−２で得られた予測残差画像を所定の方法で圧縮符号化する第２の予測残差圧縮符号化部、１１５−２は第２のフレーム間予測部１１２−２で得られたフレーム間予測パラメータと第２の予測残差圧縮符号化部１１４−２で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のパケット単位で出力する第２の符号化パケット生成部である。１１６−２は、第２の符号化パケット生成部１１５−２が出力した符号化パケットデータの伝送誤りとパケットロスを受信装置で検出するための、誤り検出符号とフレーム／パケット識別番号を付加する第２のパケット誤り検出符号・フレーム／パケット識別番号付加部である。１１７−２は第２の予測残差圧縮符号化部１１４−２で符号化された予測残差の復号化データを求める第２の予測残差復号化部である。１１８−２は第２のフレーム間予測部１１２−２で生成された予測画像と第２の予測残差復号化部１１７−２で復号化された予測残差の和により復号化画像を求める第２の復号化画像算出部である。１１９−２は次のフレームの符号化に備え復号化画像を格納する第２の参照フレーム格納メモリである。
【００３７】
本実施の形態における第２の動画像符号化送信部１０１−２は、以上の各処理部により動作する。
【００３８】
ここで、第２のフレーム走査部１１１−２及び第２のフレーム間予測部１１２−２は、第１のフレーム間予測部１１２−１によるフレーム間予測と同じ時刻に位置する一つまたは複数のフレームを参照して、フレーム間予測が行われるように制御される。また、第２の動画像符号化送信部１０１−２が出力する符号化データの圧縮率が第１の動画像符号化送信部１０１−１よりも高くなるように、第２の予測残差圧縮符号化部１１４−２が制御される。
【００３９】
なお、図２においては、第２の動画像符号化送信部１０１−２についてのみ示したが、図１の第３〜第Ｎの動画像符号化送信部１０１−３〜１０１−Ｎについても、上記第２の動画像符号化送信部１０１−２と同様の構成である。
【００４０】
以上が、本実施の形態における動画像符号化装置の構成及び動作である。
【００４１】
本実施の形態において、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１を設けることにより、第１の符号化パケット生成部１１５−１から出力された第１の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第１の符号化パケットの伝送路において伝送誤り検出を行う機構が備わっている場合は、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１で誤り検出符号を付加する必要は無い。別の例として、第１の符号化パケット生成部１１５−１から出力された符号化データにフレームやパケットを識別できる情報が含まれているならば、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１でフレーム／パケット識別番号を付加する必要は無い。
【００４２】
同様に、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２を設け、第２の符号化パケットデータに誤り検出符号とフレーム／パケット識別番号を付加しているが、送信された符号化パケットデータの伝送誤りとパケットロスを動画像復号化装置２００で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。
【００４３】
以上で説明した第１の実施の形態の好ましい具体例では、例えば、動画像符号化装置１００は、インターネット通信網に接続され、カメラなどで入力された動画像をＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従った符号化データに圧縮し、ＵＤＰ／ＩＰプロトコルを用いて伝送する。また、第１及び第２のフレーム間予測部１１２−１、１１２−２は、動き補償によるフレーム間予測を行う。第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２は、２次元離散コサイン変換（２Ｄ−ＤＣＴ）と量子化による圧縮処理を行う。
【００４４】
また、第２の予測残差圧縮符号化部１１４−２は、第１の予測残差圧縮符号化部１１４−１よりも大きい量子化パラメータを用いて２Ｄ−ＤＣＴ係数を量子化する方法や、高次の２Ｄ−ＤＣＴを適応的にカットするなどの方法により、第２の動画像符号化送信部１０１−２の符号化データの圧縮率が第１の動画像符号化送信部１０１−１の符号化データの圧縮率よりも高くなるように圧縮する。
【００４５】
第１及び第２の予測残差復号化部１１７−１、１１７−２は、逆量子化と逆２次元離散コサイン変換（２Ｄ−ＩＤＣＴ）を行う。第１及び第２の符号化パケット生成部１１５−１、１１５−２は、第１及び第２の予測残差圧縮符号化部１１４−１、１１４−２から出力される量子化ＤＣＴ係数と第１及び第２のフレーム間予測部１１２−１、１１２−２から出力される動きベクトルなどを、ＭＰＥＧ−４ Ｖｉｓｕａｌで規定されたシンタックスに従って符号化する。第１及び第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１、１１６−２は、誤り検出のためのチェックサムを含んだＵＤＰデータグラムを作成し、インターネットに接続された動画像復号化装置２００に送出する。
【００４６】
図３は、第１の実施の形態による動画像復号化装置２００の詳細な構成を示している。
【００４７】
図３に示す第１の符号化データ受信部２０１−１において、２１１−１は符号化装置から送信された第１の符号化パケットデータを受信するための第１のパケット受信バッファ、２１２−１は第１のパケット受信バッファ２１１−１で受信されたパケットデータから動画像符号化データを抽出する第１の符号化データ抽出部、２１３−１は第１の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第１のパケット誤り検出・パケットロス検出部である。
【００４８】
以上の各構成要素の処理部により、第１の符号化データ受信部２０１−１が動作する。
【００４９】
同じく図３に示す第２の符号化データ受信部２０１−２において、２１１−２は符号化装置から送信された第２の符号化パケットデータを受信するための第２のパケット受信バッファ、２１２−２は２１１−２で受信されたパケットデータから動画像符号化データを抽出する第２の符号化データ抽出部、２１３−２は第２の符号化パケットデータの伝送時に発生したビット誤りとパケットロスを検出する第２のパケット誤り検出・パケットロス検出部である。
【００５０】
以上の各構成要素の処理部により、第２の符号化データ受信部２０１−２が動作する。
【００５１】
符号化データ再構成部２０２は、第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２で誤り及びパケットロスを検出した結果に従って、符号化装置より送信された２つの符号化データを１つの符号化データに再構成する。
【００５２】
図３に示す動画像データ復号化部２０３において、２５１は符号化データ再構成部２０２で再構成された符号化データを可変長復号化する可変長復号化部、２５２は予測残差復号化部、２５３はフレーム間予測画像生成部、２５４は予測残差復号化部２５２で得られた予測残差とフレーム間予測画像生成部２５３で得られた予測画像を加算して復号化画像を求める復号化画像算出部、２５５は後続のフレームの復号化で利用するために復号化画像算出部２５４で得られた復号化画像データを格納する参照フレーム格納メモリ、２５６は復号化画像を再生順に並び替えて出力するフレーム走査部である。
【００５３】
以上の各構成要素の処理部により、動画像復号化装置２００が備える動画像データ復号化部２０３が動作し、動画像符号化装置１００より伝送された動画像データが得られる。
【００５４】
本実施の形態における、符号化データ再構成部２０２での符号化データ再構成手順を、図４のフローチャートをもとに説明する。図４の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【００５５】
ステップＳ４０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ４０２に進む。
【００５６】
ステップＳ４０２では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０３に進む。それ以外の場合は、ステップＳ４０４に進む。
【００５７】
ステップＳ４０３に進んだ場合、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００５８】
ステップＳ４０４に進んだ場合は、第２のパケット誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップＳ４０５に進む。それ以外の場合は、ステップＳ４０６に進む。
【００５９】
ステップＳ４０５では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの符号化データを、復号化する符号化データとして可変長復号化部２５１に受け渡し、符号化データ再構成処理を終了する。
【００６０】
ステップＳ４０６に進むのは、第１及び第２のパケット受信バッファ２１１−１、２１１−２のいずれにおいても、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。
【００６１】
このため、ステップＳ４０６では、受信エラーによる復号化画像の乱れをなるべく目立たなくするためのコンシールメントを適切な方法で施すための処理を行う。
【００６２】
例えば、一つ前の第（ｎ−１）フレームの復号化画像を第ｎフレームの復号化画像として利用するように動画像データ復号化部２０３に指令を送るのが、その一つの方法である。
【００６３】
あるいは、以下に述べるような方法が利用できる。
【００６４】
第１のパケット受信バッファ２１１−１に第ｎフレームの一部の符号化データが受信されているならば、この一部の符号化データを第ｎフレームの復号化に利用する。第１のパケット受信バッファ２１１−１に符号化データが全く受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの一部の符号化データが受信された場合は、第２のパケット受信バッファで得られた一部の符号化データを第ｎフレームの復号化に利用する。そして、第１及び第２のパケット受信バッファ双方で第ｎフレームの符号化データが全く受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を出力するようにする。
【００６５】
本ステップ４０６では、このようなコンシールメントのための処理を行った後、第ｎフレームの符号化データ再構成処理を終了する。
【００６６】
以上が、符号化データ再構成部２０２での符号化データ再構成手順である。
【００６７】
なお、図４に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【００６８】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図５のフローチャートのように動作する。
【００６９】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【００７０】
図５において、図４と同じステップ番号を付したステップは、図４と同じ処理であり、ここでは、ステップＳ５０１とＳ５０２が追加されている。すなわち、第２のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在する場合には、ステップＳ５０１で第３のパケット受信バッファ中の符号化データにビット誤りとパケットロスが存在するかどうかが判別され、存在しない場合には、ステップＳ５０２で、第３のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００７１】
何れのパケット受信バッファにも、第ｎフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合には、上述したステップＳ４０６のコンシールメントのための処理を行う。
【００７２】
上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとパケットロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【００７３】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【００７４】
また、動画像符号化装置１００の第１から第Ｎの動画像符号化送信部１０１−１〜１０１−Ｎから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像復号化装置２００の符号化データ再構成部２０２で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。
【００７５】
本実施の形態において、第１のパケット誤り検出・パケットロス検出部２１３−１で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置１００で付加された誤り検出符号とフレーム／パケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良い。
【００７６】
同様に、第２のパケット誤り検出・パケットロス検出部２１３−２で第１の符号化パケットデータの伝送誤りと誤りパケットロスを検出する方法はいかなる方法でも構わない。
【００７７】
符号化データ再構成部２０２での符号化データ再構成手順において、ステップＳ４０１で第ｎフレーム符号化データ受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば、他のいかなる方法でも構わない。
【００７８】
本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置２００はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置１００からＵＤＰ／ＩＰプロトコルを用いて送信されるパケットデータを受信し、受信したＵＤＰデータグラムに含まれる動画像符号化データを復号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えばＭＰＥＧ−４ Ｖｉｓｕａｌ方式に従ったデータである。第１のパケット誤り検出・パケットロス検出部２１３−１と第２のパケット誤り検出・パケットロス検出部２１３−２は、ＵＤＰデータグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部２５１、予測残差復号化部２５２、フレーム間予測画像生成部２５３、復号化画像算出部２５４、参照フレーム格納メモリ２５５及びフレーム走査部２５６から構成される動画像データ復号化部２０３は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式に対応した通常の復号化装置である。
【００７９】
可変長復号化部２５１は、ＭＰＥＧ−４ Ｖｉｓｕａｌ方式で符号化されたデータを可変長復号化してＤＣＴ量子化係数や動きベクトル等の圧縮情報を取り出す。予測残差復号化部２５２は逆量子化処理と逆２次元離散コサイン変換を行う。フレーム間予測画像生成部２５３は、復号化された動きベクトルに従って動き補償画像を生成する。
（第２の実施の形態）
上述した第１の実施の形態では、第１ないし第２の符号化パケットデータを動画像符号化装置１００から動画像復号化装置２００へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第１の符号化パケットデータに発生するビット誤りやパケットロスと、同一フレーム画像を符号化した第２の符号化パケットデータに発生するビット誤りやパケットロスとの相関が小さくなる方法が望ましい。
【００８０】
図６は、このような好ましい符号化パケットデータ伝送方法を実現する第２の実施の形態を示している。
【００８１】
図６の第２の実施の形態において、６０１は図２に示した第１の実施の形態による動画像符号化装置１００から出力される第２の符号化パケットデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、６０２は動画像符号化装置１００から出力される第１の符号化パケットデータと遅延付加部６０１から出力される第２の符号化パケットデータを多重化して伝送路に送信する多重化部である。６０３は多重化部６０２で多重化されたデータを送信装置から受信装置へ伝送する伝送路、６０４は伝送路６０３からパケットデータを受信し、第１の符号化パケットデータと第２の符号化パケットデータに分離して第１の実施の形態による動画像復号化装置２００に出力する分離部である。
【００８２】
ここで、遅延付加部６０１で第２の符号化パケットデータに加えられる遅延時間は、伝送路６０３で発生するビット誤りやパケットロスの最大バースト時間により決定される。これにより、伝送路６０３でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
【００８３】
なお、上記第２の実施の形態において、遅延付加部６０１と多重化部６０２を動画像符号化装置１００に含めて構成してもよいし、分離部６０４を動画像復号化装置２００に含めて構成してもよい。
【００８４】
以上で説明した第２の実施の形態によれば、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して送信する。第２の符号化送信部１０１−２は、第１の符号化送信部１０１−１で符号化されたフレームを、第１の符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側である動画像復号化装置２００は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。
【００８５】
さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。
【００８６】
また、動画像復号化装置２００では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。
【００８７】
第２の実施の形態では、第１の実施の形態の効果に加えて、動画像符号化装置１００は同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第１と第２の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００８８】
第３の実施の形態の構成及び動作は、第１の実施の形態とほぼ同じであり、図１に示されるように、動画像符号化装置１００と動画像復号化装置２００及び符号化データを伝送するための伝送路３００から構成される。整数Ｎは、動画像符号化装置１００が送信する符号化データの個数である。
【００８９】
動画像符号化装置１００の構成は第１の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第１の実施の形態の場合と相違する。
【００９０】
第１の動画像符号化送信部１０１−１で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各パケットデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメータ及び予測差分画像圧縮データが符号化されている。
【００９１】
また、第２乃至第Ｎの動画像符号化送信部１０１−２〜１０１−Ｎは、第１の動画像符号化送信部１０１−１で符号化されたパケットデータが含む画像領域を、当該画像領域に対する第１の動画像符号化送信部１０１−１のフレーム間予測で利用した参照フレームと同じ時刻に位置する一つまたは複数のフレームを参照してのフレーム間予測により、第１の動画像符号化送信部１０１−１よりも高い圧縮率で符号化し、得られた符号化パケットデータを動画像復号化装置２００へ送信する。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【００９２】
動画像復号化装置２００の構成も第１の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第１の実施の形態と相違する。
【００９３】
符号化データ再構成部２０２は、第１の実施の形態と同様に、第１乃至第Ｎの符号化データ受信部２０１−１〜２０１−Ｎで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大Ｎ個の符号化パケットデータの中から、圧縮率が最も低い１個のパケットを復号化される符号化データとして選択し、この選択を動画像符号化装置１００が送信するパケットデータ単位で行う。上記以外の動作に関しては、基本的に第１の実施の形態と同じである。
【００９４】
本第３の実施の形態における動画像符号化送信部の構成及び動作は、図２に示した第１の実施の形態における動画像符号化送信部とほぼ同じであり、図２における第１の符号化パケット生成部１１５−１と、第２の符号化パケット生成部１１５−２と、第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と、第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２の動作においてのみ相違する。
【００９５】
本実施の形態における動画像符号化装置１００において、第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、第１の符号化パケット生成部１１５−１で生成する符号化パケットデータが含む画像領域と、第２の符号化パケット生成部１１５で生成する符号化パケットデータが含む画像領域が一致するように、符号化パケットデータを生成する。
【００９６】
第１のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−１と第２のパケット誤り検出符号・フレーム／パケット識別番号付加部１１６−２は、同一フレームの同一画像領域に対応する符号化パケットデータに同一のパケット識別番号が付加されるように動作する。ただし、第１乃至第２の符号化パケット生成部１１５−１，１１５−２が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム／パケット識別番号を付加しなくても良い。
【００９７】
上記以外の処理部の動作は、第１の実施の形態と同様である。
【００９８】
本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化にＭＰＥＧ−４ Ｖｉｓｕａｌ方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオパケットと呼ばれるパケット単位でビット列に符号化する。ビデオパケットは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で復号化可能である。
【００９９】
第１の符号化パケット生成部１１５−１と第２の符号化パケット生成部１１５−２は、符号化データをビデオパケット単位で出力する。第２の符号化パケット生成部１１５−２で符号化されたビデオパケットは、第１の符号化パケット生成部１１５−１で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。
【０１００】
本実施の形態における動画像復号化装置２００の構成及び動作は、図３に示した第１の実施の形態の動画像復号化装置とほぼ同じであり、図３における符号化データ再構成部２０２の動作のみが相違する。
【０１０１】
この第３の実施の形態における、符号化データ再構成部２０２での符号化データ再構成の手順を、図７のフローチャートをもとに説明する。図７の一連の手順は、ある整数ｎに対し第ｎフレームの符号化データの再構成処理を示している。
【０１０２】
ステップＳ７０１では、第ｎフレームの全ての符号化データが第１のパケット受信バッファ２１１−１と第２のパケット受信バッファ２１１−２に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップＳ７０２に進む。
【０１０３】
ステップＳ７０２では、パケット番号を記憶する変数ａに第ｎフレームのパケット番号の最小値を格納し、変数ｂに第ｎフレームのパケット番号の最大値を格納する。
【０１０４】
ステップＳ７０３では、パケット番号を記憶する変数ｉに変数ａの値を代入し、ステップＳ７０４からの繰り返し処理を開始する。
【０１０５】
ステップＳ７０４では、第１のパケット誤り検出・パケットロス検出部２１３−１における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットが受信され、かつデータに誤りが検出されない場合は、ステップＳ７０５に進む。それ以外の場合は、ステップＳ７０６に進む。
【０１０６】
ステップＳ７０５に進んだ場合は、第１の符号化データ抽出部２１２−１が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１０７】
ステップＳ７０６に進んだ場合は、第２の誤り検出・パケットロス検出部２１３−２における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合は、ステップＳ７０７に進む。それ以外の場合は、ステップＳ７０８に進む。
【０１０８】
ステップＳ７０７では、第２の符号化データ抽出部２１２−２が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡し、ステップＳ７０９に進む。
【０１０９】
ステップＳ７０８に進むのは、第１及び第２のパケット受信バッファのいずれにおいても、第ｎフレームの第ｉパケットデータをビット誤りやパケットロスなく受信できなかった場合である。このため、ステップＳ７０８では、第ｉパケットデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。
【０１１０】
例えば、第ｎフレームの第ｉパケットデータが含む復号化画像として、一つ前の第（ｎ−１）フレームの復号化画像を利用するように動画像復号化部に指令を送るのが、その一つの方法である。あるいは、第１のパケット受信バッファ２１１−１に第ｎフレームの第ｉパケットデータが不完全ながらも受信されているならば、このパケットデータを第ｎフレームの復号化に利用し、第１のパケット受信バッファ２１１−１に当該パケットデータが受信されず、かつ第２のパケット受信バッファ２１１−２に第ｎフレームの第ｉパケットデータが不完全ながらも受信された場合は、第２のパケット受信バッファで得られたパケットデータを第ｎフレームの復号化に利用し、第１及び第２のパケット受信バッファ双方で第ｎフレーム第ｉパケットデータが受信されない場合は、一つ前の（ｎ−１）フレームの復号化画像を表示するのも一つの方法である。
【０１１１】
本ステップでは、このようなコンシールメントのための処理を行った後、ステップＳ７０９に進む。
【０１１２】
ステップＳ７０９では、変数ｉを１増加させる。続くステップＳ７１０では、
変数ｉが変数ｂの値を超えていないか判定し、超えていない場合はステップＳ７０４からの処理を繰り返す。変数ｉが変数ｂの値を超えた場合は、一連の繰り返し処理を終え、第ｎフレーム符号化データの再構成処理を終了する。
【０１１３】
以上が、第３の実施の形態における符号化データ再構成部２０２の動作である。
【０１１４】
なお、図７に示す符号化データ再構成部２０２の動作においては、図２及び図３に示すように、図１のＮが「２」の場合であって、動画像符号化装置１００が第１の動画像符号化送信部１０１−１と第２の動画像符号化送信部１０１−２を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１と第２の符号化データ受信部２０１−２を備えている場合の動作を示した。
【０１１５】
図１のＮが「３」以上で、動画像符号化装置１００から３つ以上の符号化パケットデータが動画像復号化装置２００に伝送される場合には、符号化データ再構成部２０２は図８のフローチャートのように動作する。
【０１１６】
ここでは、Ｎが「３」の場合で、動画像符号化装置１００が第１の動画像符号化送信部１０１−１〜第３の動画像符号化送信部１０１−３を備え、動画像復号化装置２００が第１の符号化データ受信部２０１−１〜第３の符号化データ受信部２０１−３を備えている場合であり、かつフレーム符号化における圧縮率が第１の動画像符号化送信部１０１−１から第３の動画像符号化送信部１０１−３の順に高くなっている場合である。
【０１１７】
図８において、図７と同じステップ番号を付したステップは、図７と同じ処理であり、ここでは、ステップＳ８０１とＳ８０２が追加されている。すなわち、第２のパケット受信バッファ中に第ｉパケットが存在しないかまたは存在してもビット誤りがある場合には、ステップＳ８０１で第３のパケット受信バッファ中第ｎフレームの第ｉパケットが受信され、かつ受信データに誤りが検出されない場合には、ステップＳ８０２で第３の符号化データ抽出部２１２−３が出力する第ｎフレームの第ｉパケットデータを、復号化する符号化データとして可変長復号化部２５１に受け渡す。
【０１１８】
何れのパケット受信バッファにも第ｎフレームの第ｉパケットが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップＳ７０８のコンシールメントのための処理を行う。
【０１１９】
上述したように、フレーム符号化における圧縮率が低いパケットデータを優先して、符号化データとして可変長復号化部２５１に受け渡す。
【０１２０】
なお、第２の動画像符号化送信部１０１−２と第３の動画像符号化送信部１０１−３のレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。
【０１２１】
なお、本実施の形態の符号化データ再構成部２０２での符号化データ再構成手順における、ステップＳ７０１で第ｎフレーム符号化データの受信を待機する方法は、パケット伝送遅延を所定の範囲内に抑えながらパケットロスを検出できる方法であれば他のいかなる方法でも構わない。
【０１２２】
以上で説明した第３の実施の形態によれば、動画像符号化装置１００は、同一の動画像データを２個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第２の動画像符号化送信部１０１−２は、第１の動画像符号化送信部１０１−１で符号化されたフレームを、第１の動画像符号化送信部１０１−１で行われたフレーム間予測と同一時刻のフレームを参照するフレーム間予測により圧縮符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して復号化する。
【０１２３】
その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低い伝送路を用いる場合でも、２個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第２の符号化データの圧縮率を高くすることで、第２の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、復号化装置では、受信した２個の符号化データの中から１個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。
【０１２４】
なお、上記第３の実施の形態を、第２の実施の形態と組み合わせて構成することも可能である。この場合も、上記第２の実施の形態と同様の効果が得られる。
【０１２５】
なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像復号化装置の各機能をハードウェア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム６００及び動画像復号化プログラム７００からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム６００及び動画像復号化プログラム７００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１２６】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図２は、本発明の第１の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
図３は、本発明の第１の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
図４は、本発明の第１の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図５は、第１の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。
図６は、本発明の第２の実施の形態に係る動画像符号化データパケット伝送方法を実現する動画像伝送システムの構成を示すブロック図である。
図７は、本発明の第３の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチャートである。
図８は、第３の実施の形態において、３つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチャートである。[0001]
【Technical field】
  The present invention relates to a moving image transmission system that encodes and transmits moving image data, and receives and decodes the transmitted encoded data. The present invention relates to a moving image transmission system, a moving image encoding device, a moving image decoding device, and a moving image transmission program.
[0002]
[Background]
  In recent years, as a method for efficiently transmitting moving image data, a method of performing high-efficiency compression encoding based on inter-frame prediction has been used in many cases. As a representative example of such a moving image compression encoding method, MPEG (Moving Picture Expert Group) -1, MPEG-2, MPEG-4, and the like.
[0003]
  In these methods, a coded image is predicted from a temporally preceding / following frame by a method such as motion compensation, and the obtained inter-frame prediction parameter and the prediction residual image data are coded, so that The amount of information of moving image data having a high correlation is reduced. Furthermore, by efficiently compressing the prediction residual image data by transform coding or quantization, it is possible to transmit moving image data with good image quality in a small transmission band.
[0004]
  However, in the conventional moving image data transmission method, when there is an error in transmission data having a long burst property that cannot be restored even if an error correction code is used or a transmission packet is lost, an error or loss occurs on the receiving side. There is a problem that the image data of the frame that has been processed cannot be correctly decoded.
[0005]
  Also, as a countermeasure on the receiving side for such a problem, image data that makes an error as inconspicuous as possible is generated from images of previous and subsequent frames that have been correctly decoded and surrounding image data in the same frame. Although an error concealment method is used, it is impossible to remove the disturbance of the decoded image. Furthermore, since this method uses inter-frame prediction, there is also a problem that image disturbance once generated propagates to subsequent frames.
[0006]
DISCLOSURE OF THE INVENTION
  The present invention has been made in consideration of the above-described circumstances, and a first object thereof is a moving image transmission system capable of suppressing the disturbance of a decoded image on the receiving side caused by transmission error of encoded data as much as possible. , Video encoding device, video decoding device,Video transmission programAnd moving picture transmission methodIs to provide.
[0007]
  A second object of the present invention is to provide a moving image transmission system, a moving image encoding device, and a moving image decoding device that achieve the first object while suppressing an increase in necessary transmission band.,Video transmission programAnd moving picture transmission methodIs to provide.
[0008]
  A third object of the present invention is to provide a moving image transmission system, a moving image encoding device, and a moving image decoding device that achieve the first object while preventing an increase in the amount of computation required for decoding compressed encoded data.,Video transmission programAnd moving picture transmission methodIs to provide.
[0009]
  In order to achieve the above object, the moving image transmission system of the present invention provides:
  inputIsMoving image dataDifferent from each otherCompression ratesoSend encoded data after compression encodingA moving picture transmission system comprising a moving picture encoding apparatus having a plurality of encoding means and a moving picture decoding apparatus for receiving and decoding encoded data, wherein the plurality of encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameCompress and encode frames of video dataThe moving picture decoding apparatus selects and decodes the encoded data with the lowest compression rate for each frame from the normally received encoded data..
[0010]
  In order to achieve the above object, the moving image transmission system of the present invention provides:
  inputIsMoving image dataDifferent from each otherCompression ratesoSend encoded data after compression encodingA moving picture transmission system comprising a moving picture encoding apparatus having a plurality of encoding means and a moving picture decoding apparatus for receiving and decoding encoded data, wherein the plurality of encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameCompress and encode frames of video dataIn addition, according to equal frame division, one or more encoded data of frames included in the moving image data isPacket dataWhile dividing intoSendThe video decoding apparatus selects and decodes the encoded data having the lowest compression rate from the normally received encoded data for each packet data including the same divided region..
[0011]
  Also,The plurality of encoding means are:Interframe predictionThe two-dimensional discrete cosine transform and quantization are applied to the difference betweenEncoded dataEncoding means that reduces the amount of data, and controls the quantization step size in the quantization to generate encoded data with a different compression rate from other encoding meansMay be.
[0012]
  Also,The plurality of encoding means are:Interframe predictionBy applying a two-dimensional discrete cosine transform and quantization to the difference of, and truncating higher-order quantization coefficients to zero,Encoded dataEncoding means for reducing the amount, and by controlling the number of quantization coefficients that are truncated to 0, it generates encoded data with a different compression rate from other encoding meansMay be.
[0013]
  In order to achieve the above object, the moving picture encoding apparatus of the present invention includes:
  inputIsMoving image dataDifferent from each otherCompression ratesoCompressed encoded dataFor video decoding deviceSendA video encoding apparatus having a plurality of encoding means, wherein the plurality of encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameA frame of moving image data is compression encoded.
[0014]
  In order to achieve the above object, the moving picture encoding apparatus of the present invention includes:
  inputIsMoving image dataDifferent from each otherCompression ratesoCompressed encoded dataFor video decoding deviceSendA video encoding apparatus having a plurality of encoding means, wherein the plurality of encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameCompress and encode frames of video dataIn addition, according to equal frame division, one or more encoded data of frames included in the moving image data isPacket dataWhile dividing intoSend.
[0015]
  In order to achieve the above object, the video decoding device of the present invention provides:
  inputIsMoving image dataDifferent from each otherCompression ratesoCompressed encoded dataHaving a plurality of encoding means for transmittingFrom a video encoding device,A video decoding device that receives and decodes encoded data,Multiple encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameCompress and encode frames of video data,NormallyReceiveIsEncoded dataFrom insideThe encoded data with the lowest compression rate is selected and decoded for each frame.
[0016]
  In order to achieve the above object, the video decoding device of the present invention provides:
  inputIsMoving image dataDifferent from each otherCompression ratesoCompressed encoded dataHaving a plurality of encoding means for transmittingFrom a video encoding device,A video decoding device that receives and decodes encoded data,Multiple encoding means are equal to each otherTimes of DayofSee frameDoBy inter-frame prediction,SameCompress and encode frames of video dataIn addition, according to equal frame division, the encoded data of the frame included in the moving image data is one or morePacket dataWhile dividing intoSendNormallyReceiveIsEncoded dataFrom insideThe encoded data with the lowest compression rate,SameSplitEach packet data including a region is selected and decoded.
[0017]
  In order to achieve the above object, the moving image transmission program of the present invention.Is,
  Video codingEquipmentEnteredMoving image dataWith different compression ratiosCompression encodingEncoded dataExecute the process to send,Video decodingEquipment,SignBA video transmission program for executing a process of receiving and decoding data,Video codingTo the device,Equal timeFrameIdentical by inter-frame predictionExecute the process of compressing and encoding frames of moving image data,Video decodingEncoded data successfully received by the deviceinFromLowest compression ratioA moving image transmission program for executing a process of selecting and decoding encoded data for each frameIs.
[0018]
  In order to achieve the above object, the moving image transmission program of the present invention.Is,
  Video codingEquipmentEnteredMoving image dataDifferent from each otherCompression ratesoCompression encodingEncoded dataExecute the process to send,Video decodingEquipment,SignBA video transmission program for executing a process of receiving and decoding data,Video codingTo the device,Equal timeFrameIdentical by inter-frame predictionCompress and encode frames of video dataIn accordance with equal frame division, the encoded data of the frames included in the moving image data isPacket dataWhile dividing intoExecute the process to send,Video decodingEncoded data successfully received by the deviceinFromLowest compression ratioEncoded data,SameSplitA moving image transmission program for executing a process of selecting and decoding each packet data including a regionIs.
[0019]
  In order to achieve the above object, the moving image transmission method of the present invention comprises:
  A video encoding step by a plurality of encoding means for transmitting encoded data obtained by compressing and encoding the input video data at different compression rates, and video decoding for receiving and decoding the encoded data A plurality of encoding means compressing and encoding frames of the same moving image data by inter-frame prediction referring to frames at the same time, and the moving image decoding step includes: Then, the encoded data having the lowest compression rate is selected for each frame from the normally received encoded data and decoded.
[0020]
  In order to achieve the above object, the moving image transmission method of the present invention comprises:
  A video encoding step by a plurality of encoding means for transmitting encoded data obtained by compressing and encoding the input video data at different compression rates, and video decoding for receiving and decoding the encoded data A video transmission method comprising: a plurality of encoding means, and using the plurality of encoding means, inter-frame prediction that refers to frames at the same time each other, The encoded data of the frame included in the moving image data is transmitted while being divided into one or more packet data according to equal frame division, and the normally received code is transmitted in the moving image decoding step. The encoded data having the lowest compression rate is selected from the encoded data for each packet data including the same divided area and decoded.
[0021]
  As described above, according to the present invention, moving image data is compression-encoded into a plurality of pieces of encoded data having different compression rates and transmitted, and the image quality having the lowest compression rate among the encoded data that can be normally received. Therefore, even when using a low-reliability transmission path in which transmission errors and packet loss with high burstiness occur, all of the plurality of encoded data are stored. The probability of erroneous transmission can be reduced, and it is possible to prevent a significant disturbance in the decoded image.
[0022]
  Furthermore, according to the present invention, the transmission side includes the same frame or the same image area.
Generates encoded data, and the receiving side selects and decodes the received encoded data in units of frames or packets, and the receiving side receives data for decoding the same frame or the same image area. Therefore, it is not necessary to decode the plurality of encoded data, and it is possible to suppress an increase in the amount of calculation required on the receiving side.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
  DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.
(First embodiment)
  A moving image transmission system according to a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 shows an overall configuration of a moving image transmission system according to the first embodiment.
[0024]
  As shown in FIG. 1, the moving picture transmission system according to the present embodiment includes a moving picture encoding apparatus 100 that encodes moving picture data, a moving picture decoding apparatus 200, and a moving picture data encoding apparatus. The transmission path 300 is configured to transmit encoded data from 100 to the moving picture decoding apparatus 200. In FIG. 1, N is an integer of 2 or more, and represents the number of encoded data transmitted by the moving image encoding apparatus 100.
[0025]
  The moving image encoding apparatus 100 inputs moving image data in units of frames, encodes the input moving image data into N encoded data, and transmits a transmission path as first to Nth moving image encoded packet data. To 300.
[0026]
  As illustrated in FIG. 1, the moving image encoding apparatus 100 includes first to N-th N encoded moving image encoding transmission units 101-1 to 101-N. The first moving image encoding transmission unit 101-1 performs predetermined compression encoding on the frame of moving image data input to the moving image encoding apparatus 100 by inter-frame prediction, and obtains encoded data obtained Is transmitted to the moving picture decoding apparatus 200.
[0027]
  The second to N-th moving image encoding / transmitting units 101-2 to 101-N use the first moving image encoded / transmitting unit as the first moving image encoding / transmitting unit 101-1, respectively. With the inter-frame prediction with reference to one or a plurality of frames located at the same time as the reference frame used in the inter-frame prediction according to 101-1, the compression rate is higher than that of the first moving image encoding transmission unit 101-1. The encoded data obtained by encoding is transmitted to the moving picture decoding apparatus 200.
[0028]
  As described above, the compression rate in the frame encoding by the second to Nth moving image encoding transmission units 101-2 to 101-N is higher than that of the first moving image encoding transmission unit 101-1. Set too high. In addition, the compression rates of the second to Nth moving image encoding transmission units 101-2 to 101-N may be different or the same.
[0029]
  The moving picture decoding apparatus 200 receives the N pieces of encoded data transmitted from the moving picture encoding apparatus 100 and decodes them to obtain moving picture data. As illustrated in FIG. 1, the moving image decoding apparatus 200 includes encoded data transmitted by first to Nth moving image encoding transmission units 101-1 to 101-N included in the moving image encoding apparatus 100. 1 to Nth encoded data receiving units 201-1 to 201-N, an encoded data reconstruction unit 202, and a moving image data decoding unit 203.
[0030]
  The encoded data reconstruction unit 202 selects a compression rate from among the maximum N encoded data received by the first to Nth encoded data receiving units 201-1 to 201-N without transmission errors or omissions. Is selected as encoded data to be decoded.
[0031]
  The moving image data decoding unit 203 decodes the encoded data output from the encoded data reconstruction unit 202 to obtain moving image data.
[0032]
  A detailed configuration of the moving image encoding transmission unit of the moving image encoding device 100 is shown in FIG. In FIG. 2, for simplicity, the number N of encoded data output by the apparatus is shown as “2”.
[0033]
  In the first moving image encoding / transmission unit 101-1 in FIG. 2, 111-1 is a first frame scanning unit that rearranges frames of input moving image data in the encoding order, and 112-1 is a first reference. A first inter-frame prediction unit that performs inter-frame prediction from one or more decoded images stored in the frame storage memory 119-1 to an image input from the first frame scanning unit 111-1, 1 is a first prediction residual calculation unit that calculates a prediction residual by subtracting the prediction image obtained by the first inter-frame prediction unit 112-1 from the input frame image; A first prediction residual compression encoding unit that compresses and encodes a prediction residual image obtained by one prediction residual calculation unit 113-1 by a predetermined method; 115-1, a first inter-frame prediction unit 112; -1 obtained in -1 A first encoded packet generation unit that performs variable length encoding on the compressed data of the prediction residual image obtained by the data and the first prediction residual compression encoding unit 114-1, and outputs the data in a predetermined packet unit. is there.
[0034]
  116-1 adds an error detection code and a frame / packet identification number for detecting a transmission error and a packet loss of the encoded packet data output from the first encoded packet generation unit 115-1 by the receiving device. The first packet error detection code / frame / packet identification number adding unit 117-1 is a first unit for obtaining decoded data of the prediction residual encoded by the first prediction residual compression encoding unit 114-1. The prediction residual decoding unit 118-1 is the sum of the prediction image generated by the first inter-frame prediction unit 112-1 and the prediction residual decoded by the first prediction residual decoding unit 117-1. The first decoded image calculation unit 119-1 for obtaining the decoded image by the above is a first reference frame storage memory for storing the decoded image in preparation for the encoding of the next frame.
[0035]
  The first moving image encoding transmission unit 101-1 in the present embodiment is operated by each of the above processing units.
[0036]
  In the second moving image encoding transmission unit 101-2 in FIG. 2, 111-2 is a second frame scanning unit that rearranges the input moving image frames in the encoding order, and 112-2 is the second reference 2. A second inter-frame prediction unit that performs inter-frame prediction from one or a plurality of decoded images stored in the frame storage memory 119-2 to an image input from the second frame scanning unit 111-2, 113- 2 is a second prediction residual calculation unit that calculates a prediction residual by subtracting the prediction image obtained by the second frame scanning unit 112-2 from the input frame image, and 114-2 is a second prediction prediction unit. A second prediction residual compression encoding unit 115-2 that compresses and encodes the prediction residual image obtained by the residual calculation unit 113-2 by a predetermined method, and 115-2 is a second inter-frame prediction unit 112-2. The obtained inter-frame prediction parameter and the second The compressed data of the obtained prediction residual image Hakazan difference compression encoding unit 114-2 performs variable length coding on the bit sequence, a second encoder packet generating section for outputting a predetermined packet unit. 116-2 adds an error detection code and a frame / packet identification number for detecting a transmission error and a packet loss of the encoded packet data output from the second encoded packet generation unit 115-2 at the receiving device. A second packet error detection code / frame / packet identification number adding unit. Reference numeral 117-2 denotes a second prediction residual decoding unit that obtains decoded data of the prediction residual encoded by the second prediction residual compression encoding unit 114-2. Reference numeral 118-2 denotes a first method for obtaining a decoded image based on the sum of the prediction image generated by the second inter-frame prediction unit 112-2 and the prediction residual decoded by the second prediction residual decoding unit 117-2. 2 is a decoded image calculation unit. Reference numeral 119-2 denotes a second reference frame storage memory for storing a decoded image in preparation for encoding of the next frame.
[0037]
  The second moving image encoding transmission unit 101-2 in the present embodiment is operated by each of the above processing units.
[0038]
  Here, the second frame scanning unit 111-2 and the second inter-frame prediction unit 112-2 have one or a plurality of positions located at the same time as the inter-frame prediction performed by the first inter-frame prediction unit 112-1. Control is performed so that inter-frame prediction is performed with reference to the frame. In addition, the second prediction residual compression is performed so that the compression rate of the encoded data output from the second video encoding / transmission unit 101-2 is higher than that of the first video encoding / transmission unit 101-1. The encoding unit 114-2 is controlled.
[0039]
  2 shows only the second moving image encoding transmission unit 101-2, but the third to Nth moving image encoding transmission units 101-3 to 101-N in FIG. The configuration is the same as that of the second moving image encoding transmission unit 101-2.
[0040]
  The above is the configuration and operation of the moving image encoding apparatus in the present embodiment.
[0041]
  In the present embodiment, the first encoded packet output from the first encoded packet generation unit 115-1 is provided by providing the first packet error detection code / frame / packet identification number adding unit 116-1. Although an error detection code and a frame / packet identification number are added to data, any method can be used as long as the moving picture decoding apparatus 200 can detect transmission errors and packet losses of transmitted encoded packet data. Any other realization method may be used. For example, when a transmission error detection mechanism is provided in the transmission path of the first encoded packet, the error detection code is added by the first packet error detection code / frame / packet identification number adding unit 116-1. There is no need. As another example, if the encoded data output from the first encoded packet generation unit 115-1 includes information that can identify a frame or a packet, the first packet error detection code / frame / packet There is no need to add a frame / packet identification number by the identification number adding unit 116-1.
[0042]
  Similarly, a second packet error detection code / frame / packet identification number adding unit 116-2 is provided to add an error detection code and a frame / packet identification number to the second encoded packet data. Any other realization method may be used as long as the transmission error and packet loss of the encoded packet data can be detected by the moving picture decoding apparatus 200.
[0043]
  In the preferred specific example of the first embodiment described above, for example, the moving image encoding apparatus 100 is connected to the Internet communication network, and the moving image input by a camera or the like conforms to the MPEG-4 Visual system. It is compressed into encoded data and transmitted using the UDP / IP protocol. Further, the first and second inter-frame prediction units 112-1 and 112-2 perform inter-frame prediction by motion compensation. The first and second prediction residual compression encoding units 114-1 and 114-2 perform compression processing by two-dimensional discrete cosine transform (2D-DCT) and quantization.
[0044]
  In addition, the second prediction residual compression encoding unit 114-2 quantizes the 2D-DCT coefficient using a larger quantization parameter than the first prediction residual compression encoding unit 114-1, The compression rate of the encoded data of the second moving image encoding / transmission unit 101-2 is adjusted by the first moving image encoding / transmission unit 101-1 by a method such as adaptively cutting higher-order 2D-DCT. The compression is performed so as to be higher than the compression rate of the encoded data.
[0045]
  The first and second prediction residual decoding units 117-1 and 117-2 perform inverse quantization and inverse two-dimensional discrete cosine transform (2D-IDCT). The first and second encoded packet generators 115-1 and 115-2 output the quantized DCT coefficients output from the first and second prediction residual compression encoders 114-1 and 114-2. The motion vectors and the like output from the first and second inter-frame prediction units 112-1 and 112-2 are encoded according to the syntax defined by MPEG-4 Visual. First and second packet error detection code / frame / packet identification number adding sections 116-1 and 116-2 create UDP datagrams including checksums for error detection, and are connected to the Internet. The image is sent to the image decoding apparatus 200.
[0046]
  FIG. 3 shows a detailed configuration of the moving picture decoding apparatus 200 according to the first embodiment.
[0047]
  In the first encoded data reception unit 201-1 shown in FIG. 3, 211-1 is a first packet reception buffer for receiving first encoded packet data transmitted from the encoding device, 212-1. Is a first encoded data extraction unit that extracts moving image encoded data from the packet data received by the first packet reception buffer 211-1, and 213-1 occurred during transmission of the first encoded packet data The first packet error detection / packet loss detection unit detects a bit error and a packet loss.
[0048]
  The first encoded data receiving unit 201-1 is operated by the processing unit of each component described above.
[0049]
  Similarly, in the second encoded data receiving unit 201-2 shown in FIG. 3, 211-2 is a second packet reception buffer for receiving the second encoded packet data transmitted from the encoding device, 212- Reference numeral 2 denotes a second encoded data extraction unit that extracts moving image encoded data from the packet data received in 211-2. Reference numeral 213-2 denotes a bit error and a packet loss that occur during transmission of the second encoded packet data. 2 is a second packet error detection / packet loss detection unit.
[0050]
  The second encoded data receiving unit 201-2 operates by the processing unit of each component described above.
[0051]
  The encoded data reconstruction unit 202 performs coding according to the result of detecting errors and packet loss by the first packet error detection / packet loss detection unit 213-1 and the second packet error detection / packet loss detection unit 213-2. The two encoded data transmitted from the encoding device are reconstructed into one encoded data.
[0052]
  In the moving image data decoding unit 203 shown in FIG. 3, 251 is a variable length decoding unit that performs variable length decoding on the encoded data reconstructed by the encoded data reconstruction unit 202, and 252 is a prediction residual decoding unit. 253 is an inter-frame prediction image generation unit, and 254 is a decoding that obtains a decoded image by adding the prediction residual obtained by the prediction residual decoding unit 252 and the prediction image obtained by the inter-frame prediction image generation unit 253 The reference image storage unit 255 stores reference image storage memory for storing the decoded image data obtained by the decoded image calculation unit 254 for use in decoding subsequent frames, and 256 rearranges the decoded images in the order of reproduction. And a frame scanning unit for outputting.
[0053]
  The moving image data decoding unit 203 included in the moving image decoding apparatus 200 operates by the processing units of the above constituent elements, and moving image data transmitted from the moving image encoding apparatus 100 is obtained.
[0054]
  The encoded data reconstruction procedure in the encoded data reconstruction unit 202 in the present embodiment will be described with reference to the flowchart of FIG. A series of procedures in FIG. 4 shows a process of reconstructing encoded data of the nth frame for a certain integer n.
[0055]
  In step S401, a predetermined allowable maximum delay time is added to the time when all encoded data of the nth frame should arrive at the first packet reception buffer 211-1 and the second packet reception buffer 211-2. Then, the process proceeds to step S402.
[0056]
  In step S402, the following branch processing is performed according to the detection result of the error and packet loss in the first packet error detection / packet loss detection unit 213-1. When all the encoded data of the nth frame are received by the first packet reception buffer 211-1, and no error is detected in the data, the process proceeds to step S403. Otherwise, the process proceeds to step S404.
[0057]
  When the process proceeds to step S403, the encoded data of the nth frame output from the first encoded data extraction unit 212-1 is transferred to the variable length decoding unit 251 as encoded data to be decoded, and the encoded data is re-executed. The configuration process ends.
[0058]
  When the processing proceeds to step S404, the following branch processing is performed according to the error and packet loss detection results in the second packet error detection / packet loss detection unit 213-2. If all the encoded data of the nth frame are received by the second packet reception buffer 211-2 and no error is detected in the data, the process proceeds to step S405. Otherwise, the process proceeds to step S406.
[0059]
  In step S405, the encoded data of the nth frame output from the second encoded data extraction unit 212-2 is transferred to the variable length decoding unit 251 as encoded data to be decoded, and encoded data reconstruction processing is performed. finish.
[0060]
  The process proceeds to step S406 when the encoded data of the nth frame cannot be received without bit error or packet loss in any of the first and second packet reception buffers 211-1, 211-2. It is.
[0061]
  For this reason, in step S406, a process is performed for applying a concealment by an appropriate method for making the decoded image disturbed by a reception error as inconspicuous as possible.
[0062]
  For example, one method is to send a command to the moving image data decoding unit 203 to use the decoded image of the previous (n−1) -th frame as the decoded image of the n-th frame. .
[0063]
  Alternatively, the following method can be used.
[0064]
  If a part of the encoded data of the nth frame is received in the first packet reception buffer 211-1, this part of the encoded data is used for decoding the nth frame. When no encoded data is received by the first packet reception buffer 211-1 and a part of the encoded data of the nth frame is received by the second packet reception buffer 211-2, the second Part of the encoded data obtained in the packet reception buffer is used for decoding the nth frame. When the encoded data of the nth frame is not received at all by both the first and second packet reception buffers, the decoded image of the previous (n−1) frame is output.
[0065]
  In step 406, after performing the process for such concealment, the encoded data reconstruction process for the nth frame is terminated.
[0066]
  The encoded data reconstruction procedure in the encoded data reconstruction unit 202 has been described above.
[0067]
  In the operation of the encoded data reconstruction unit 202 shown in FIG. 4, as shown in FIGS. 2 and 3, N in FIG. 1 is “2”, and the moving picture encoding apparatus 100 performs the first operation. 1 moving image encoding transmission unit 101-1 and second moving image encoding transmission unit 101-2, and moving image decoding apparatus 200 includes first encoded data receiving unit 201-1 and second code. The operation in the case where the data reception unit 201-2 is provided has been shown.
[0068]
  When N in FIG. 1 is “3” or more and three or more pieces of encoded packet data are transmitted from the moving picture encoding apparatus 100 to the moving picture decoding apparatus 200, the encoded data reconstruction unit 202 The operation is as shown in the flowchart of FIG.
[0069]
  Here, in the case where N is “3”, the moving image encoding apparatus 100 includes the first moving image encoding transmission unit 101-1 to the third moving image encoding transmission unit 101-3, and the moving image decoding Encoding apparatus 200 includes first encoded data receiving section 201-1 to third encoded data receiving section 201-3, and the compression rate in frame encoding is the first moving picture encoding This is a case where the transmission unit 101-1 increases in order from the third moving image encoding transmission unit 101-3.
[0070]
  5, steps with the same step numbers as in FIG. 4 are the same processes as in FIG. 4, and steps S501 and S502 are added here. That is, if there is a bit error and packet loss in the encoded data in the second packet reception buffer, whether there is a bit error and packet loss in the encoded data in the third packet reception buffer in step S501. If it does not exist, the encoded data in the third packet reception buffer is transferred to the variable length decoding unit 251 as encoded data for decoding in step S502.
[0071]
  If the encoded data of the nth frame cannot be received without any bit error or packet loss in any packet reception buffer, the process for concealment in step S406 described above is performed.
[0072]
  As described above, encoded data with a low compression rate is determined by determining whether there is no bit error or packet loss in the encoded data of the frame in the packet reception buffer in the order of the low compression rate in frame encoding. Is given to the variable length decoding unit 251 as encoded data to be decoded.
[0073]
  In addition, when the compression rate in the frame coding of the second moving image coding / transmission unit 101-2 and the third moving image coding / transmission unit 101-3 is the same, either may be prioritized.
[0074]
  Further, for example, data with a low compression rate is given priority to encoded data transmitted from the first to Nth moving image encoding transmission units 101-1 to 101-N of the moving image encoding device 100. Predetermined ordering is performed, and the encoded data reconstruction unit 202 of the video decoding device 200 obtains the encoded data with the highest ordering from the received encoded data that is a plurality of encoded data and is normally received. You may make it select for every flame | frame.
[0075]
  In the present embodiment, the first packet error detection / packet loss detection unit 213-1 may detect any transmission error and error packet loss of the first encoded packet data by any method. For example, the detection may be performed based on the error detection code and the frame / packet number added by the moving image encoding apparatus 100. Alternatively, when the transmission path of encoded data has an error detection function, the detection result may be used. When the information specifying the encoded frame is included in the encoded data, the information included in the encoded data may be used.
[0076]
  Similarly, the second packet error detection / packet loss detection unit 213-2 may detect any transmission error and error packet loss of the first encoded packet data by any method.
[0077]
  In the encoded data reconstruction procedure in the encoded data reconstruction unit 202, the method of waiting for reception of the nth frame encoded data in step S401 is a method capable of detecting a packet loss while suppressing the packet transmission delay within a predetermined range. Any other method can be used.
[0078]
  In a more preferable specific example of the present embodiment, for example, the moving picture decoding apparatus 200 is connected to the Internet communication network, and the UDP / IP protocol is used from the moving picture encoding apparatus 100 connected to the Internet communication network at another point. The received packet data is received, the moving image encoded data included in the received UDP datagram is decoded, and the obtained moving image is displayed on the display. The moving image encoded data is, for example, data according to the MPEG-4 Visual system. The first packet error detection / packet loss detection unit 213-1 and the second packet error detection / packet loss detection unit 213-2 detect a transmission error by calculating a checksum included in the UDP datagram. . A moving image data decoding unit including a variable length decoding unit 251, a prediction residual decoding unit 252, an inter-frame prediction image generation unit 253, a decoded image calculation unit 254, a reference frame storage memory 255, and a frame scanning unit 256. Reference numeral 203 denotes a normal decoding device compatible with the MPEG-4 Visual system.
[0079]
  The variable length decoding unit 251 performs variable length decoding on data encoded by the MPEG-4 Visual method, and extracts compressed information such as DCT quantization coefficients and motion vectors. The prediction residual decoding unit 252 performs inverse quantization processing and inverse two-dimensional discrete cosine transform. The inter-frame prediction image generation unit 253 generates a motion compensated image according to the decoded motion vector.
(Second Embodiment)
  In the first embodiment described above, the first and second encoded packet data may be transmitted from the video encoding device 100 to the video decoding device 200 by any method, but the effect of the present invention. In order to reduce the occurrence of significant disturbance in the decoded image, bit errors and packet loss that occur in the first encoded packet data, and the second encoded packet data that encodes the same frame image A method that reduces the correlation with the generated bit errors and packet loss is desirable.
[0080]
  FIG. 6 shows a second embodiment for realizing such a preferable encoded packet data transmission method.
[0081]
  In the second embodiment of FIG. 6, 601 changes constant or adaptively to the second encoded packet data output from the moving picture encoding apparatus 100 according to the first embodiment shown in FIG. A delay adding unit 602 that adds the delay time to be transmitted, and 602 multiplexes the first encoded packet data output from the moving image encoding apparatus 100 and the second encoded packet data output from the delay adding unit 601. And a multiplexing unit that transmits the transmission path. Reference numeral 603 denotes a transmission path for transmitting the data multiplexed by the multiplexing unit 602 from the transmission apparatus to the reception apparatus, and reference numeral 604 receives packet data from the transmission path 603 to receive the first encoded packet data and the second encoded packet. It is a separation unit that separates data and outputs the data to the moving picture decoding apparatus 200 according to the first embodiment.
[0082]
  Here, the delay time added to the second encoded packet data by the delay adding unit 601 is determined by the maximum burst time of bit errors and packet loss that occur in the transmission path 603. As a result, even if a burst error occurs in the transmission path 603, since the probability that both the first and second encoded data encoded in the same frame are affected by the error is reduced, loss of frame encoded data is lost. It is possible to reduce the occurrence of significant image quality degradation due to.
[0083]
  In the second embodiment, the delay adding unit 601 and the multiplexing unit 602 may be included in the video encoding device 100, or the separation unit 604 may be included in the video decoding device 200. It may be configured.
[0084]
  According to the second embodiment described above, the moving picture encoding apparatus 100 encodes the same moving picture data into two pieces of encoded data and transmits them. The second encoded transmission unit 101-2 sets the frame encoded by the first encoded transmission unit 101-1 at the same time as the inter-frame prediction performed by the first encoded transmission unit 101-1. Compression encoding is performed by inter-frame prediction with reference to this frame. The moving picture decoding apparatus 200 on the receiving side selects and decodes encoded data with a low compression rate and good image quality from encoded data that can be normally received. As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and decoding after transmission is performed. It is possible to prevent the image from being significantly disturbed.
[0085]
  Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data.
[0086]
  In addition, since the moving picture decoding apparatus 200 only needs to decode one of the received two pieces of encoded data, the amount of calculation required is greatly increased as compared with a normal moving picture decoding apparatus. There is nothing.
[0087]
  In the second embodiment, in addition to the effects of the first embodiment, the moving image encoding apparatus 100 encodes the same moving image data into two encoded data, and changes constant or adaptively. Therefore, even if a burst error occurs in the transmission path, both the first and second encoded data encoded in the same frame are less likely to be affected by the error. It is possible to reduce the occurrence of significant image quality degradation due to loss of frame encoded data.
(Third embodiment)
  Next, a third embodiment of the present invention will be described.
[0088]
  The configuration and operation of the third embodiment are almost the same as those of the first embodiment. As shown in FIG. 1, the moving image encoding device 100, the moving image decoding device 200, and the encoded data are stored. It consists of a transmission line 300 for transmission. The integer N is the number of encoded data that the moving image encoding apparatus 100 transmits.
[0089]
  The configuration of the moving image encoding apparatus 100 is substantially the same as that of the first embodiment, but the operation of each component constituting the apparatus is different from that of the first embodiment.
[0090]
  The encoded data of the input frame image encoded by the first moving image encoding transmission unit 101-1 is composed of one or a plurality of packet data, and each packet data is included in the input frame image. Interframe prediction parameters and prediction difference image compression data for some image regions are encoded.
[0091]
  In addition, the second to Nth moving image encoding transmission units 101-2 to 101-N determine the image area included in the packet data encoded by the first moving image encoding transmission unit 101-1 as the image. The first moving image is obtained by inter-frame prediction with reference to one or a plurality of frames located at the same time as the reference frame used in the inter-frame prediction of the first moving image encoding transmission unit 101-1 for the region. Encoding is performed at a higher compression rate than that of the encoding transmission unit 101-1, and the obtained encoded packet data is transmitted to the moving picture decoding apparatus 200. Operations other than those described above are basically the same as those in the first embodiment.
[0092]
  The configuration of the moving picture decoding apparatus 200 is almost the same as that of the first embodiment, but the operation of each part constituting this apparatus is different from that of the first embodiment.
[0093]
  Similar to the first embodiment, the encoded data reconstruction unit 202 is received by the first to Nth encoded data receiving units 201-1 to 201-N without transmission errors or omissions, and One packet having the lowest compression rate is selected as encoded data to be decoded from a maximum of N encoded packet data including compressed data of the same region, and the moving image encoding apparatus 100 selects this selection. This is performed in units of packet data to be transmitted. Operations other than those described above are basically the same as those in the first embodiment.
[0094]
  The configuration and operation of the moving image encoding / transmission unit in the third embodiment are substantially the same as those of the moving image encoding / transmission unit in the first embodiment shown in FIG. Encoded packet generation unit 115-1, second encoded packet generation unit 115-2, first packet error detection code / frame / packet identification number adding unit 116-1, and second packet error detection code Only the operation of the frame / packet identification number adding unit 116-2 is different.
[0095]
  In the moving picture encoding apparatus 100 according to the present embodiment, the first encoded packet generation unit 115-1 and the second encoded packet generation unit 115-2 are the first encoded packet generation unit 115-1. The encoded packet data is generated so that the image area included in the encoded packet data to be generated matches the image area included in the encoded packet data generated by the second encoded packet generation unit 115.
[0096]
  The first packet error detection code / frame / packet identification number adding unit 116-1 and the second packet error detection code / frame / packet identification number adding unit 116-2 are encoded corresponding to the same image area of the same frame. It operates so that the same packet identification number is added to the packet data. However, the packet data encoded by the first and second encoded packet generation units 115-1 and 115-2 includes information for specifying the frame number and the position of the image area included in the packet data. In such a case, it is not necessary to add a frame / packet identification number.
[0097]
  The operations of the processing units other than those described above are the same as those in the first embodiment.
[0098]
  In a more preferable specific example of the present embodiment, the MPEG-4 Visual system is used for compression encoding of moving images. In this method, an input image frame is divided into rectangular regions of a certain size called macroblocks and compressed, and image information compressed in units of macroblocks is encoded into a bit string in units of packets called video packets. A video packet includes compressed data related to an arbitrary number of macroblocks in the same frame, and bit string data encoded by the same method can be decoded in units of video packets.
[0099]
  The first encoded packet generation unit 115-1 and the second encoded packet generation unit 115-2 output encoded data in units of video packets. The video packet encoded by the second encoded packet generation unit 115-2 is generated so as to include a macroblock in the same area as the video packet encoded by the first encoded packet generation unit 115-1. The
[0100]
  The configuration and operation of the moving picture decoding apparatus 200 according to the present embodiment are almost the same as those of the moving picture decoding apparatus according to the first embodiment shown in FIG. 3, and the encoded data reconstruction unit 202 shown in FIG. Only the operation is different.
[0101]
  The procedure of the encoded data reconstruction in the encoded data reconstruction unit 202 in the third embodiment will be described based on the flowchart of FIG. A series of procedures in FIG. 7 shows a process of reconstructing encoded data of the nth frame for a certain integer n.
[0102]
  In step S701, a predetermined maximum allowable delay time is added to the time at which all the encoded data of the nth frame should arrive at the first packet reception buffer 211-1 and the second packet reception buffer 211-2. Then, the process proceeds to step S702.
[0103]
  In step S702, the minimum value of the packet number of the nth frame is stored in the variable a that stores the packet number, and the maximum value of the packet number of the nth frame is stored in the variable b.
[0104]
  In step S703, the value of the variable a is substituted for the variable i that stores the packet number, and the iterative process from step S704 is started.
[0105]
  In step S704, the following branch processing is performed according to the error and packet loss detection results in the first packet error detection / packet loss detection unit 213-1. If the i-th packet of the n-th frame is received by the first packet reception buffer 211-1, and no error is detected in the data, the process proceeds to step S705. Otherwise, the process proceeds to step S706.
[0106]
  When the process proceeds to step S705, the i-th packet data of the nth frame output from the first encoded data extraction unit 212-1 is transferred to the variable length decoding unit 251 as encoded data to be decoded, and step S709 is performed. Proceed to
[0107]
  When the processing proceeds to step S706, the following branch processing is performed according to the detection result of the error and packet loss in the second error detection / packet loss detection unit 213-2. If the i-th packet of the n-th frame is received by the second packet reception buffer 211-2 and no error is detected in the received data, the process proceeds to step S707. Otherwise, the process proceeds to step S708.
[0108]
  In step S707, the i-th packet data of the nth frame output from the second encoded data extraction unit 212-2 is transferred to the variable length decoding unit 251 as encoded data to be decoded, and the process proceeds to step S709.
[0109]
  The process proceeds to step S708 when neither the first packet reception buffer nor the second packet reception buffer has received the i-th packet data of the n-th frame without bit error or packet loss. For this reason, in step S708, a process is performed for applying a concealment that makes the decoded image region included in the i-th packet data as inconspicuous as possible by an appropriate method.
[0110]
  For example, as a decoded image included in the i-th packet data of the n-th frame, a command is sent to the moving image decoding unit so as to use the decoded image of the previous (n-1) -th frame. This is one way. Alternatively, if the i-th packet data of the nth frame is received incompletely in the first packet reception buffer 211-1, this packet data is used for decoding the nth frame, and the first packet If the packet data is not received by the reception buffer 211-1 and the i-th packet data of the n-th frame is received by the second packet reception buffer 211-2 incompletely, the second packet reception buffer If the packet data obtained in step (b) is used for decoding the n-th frame, and the n-th frame i-th packet data is not received by both the first and second packet reception buffers, the previous (n-1) One method is to display the decoded image of the frame.
[0111]
  In this step, after processing for such concealment is performed, the process proceeds to step S709.
[0112]
  In step S709, the variable i is incremented by one. In the subsequent step S710,
It is determined whether the variable i does not exceed the value of the variable b. If not, the processing from step S704 is repeated. When the variable i exceeds the value of the variable b, a series of repetitive processes are finished, and the reconstruction process of the nth frame encoded data is finished.
[0113]
  The above is the operation of the encoded data reconstruction unit 202 in the third embodiment.
[0114]
  In the operation of the encoded data reconstruction unit 202 shown in FIG. 7, as shown in FIGS. 2 and 3, N in FIG. 1 is “2”, and the moving picture encoding apparatus 100 performs the first operation. 1 moving image encoding transmission unit 101-1 and second moving image encoding transmission unit 101-2, and moving image decoding apparatus 200 includes first encoded data receiving unit 201-1 and second code. The operation in the case where the data reception unit 201-2 is provided has been shown.
[0115]
  When N in FIG. 1 is “3” or more and three or more pieces of encoded packet data are transmitted from the moving picture encoding apparatus 100 to the moving picture decoding apparatus 200, the encoded data reconstruction unit 202 The operation is as shown in the flowchart of FIG.
[0116]
  Here, in the case where N is “3”, the moving image encoding apparatus 100 includes the first moving image encoding transmission unit 101-1 to the third moving image encoding transmission unit 101-3, and the moving image decoding Encoding apparatus 200 includes first encoded data receiving section 201-1 to third encoded data receiving section 201-3, and the compression rate in frame encoding is the first moving picture encoding This is a case where the transmission unit 101-1 increases in order from the third moving image encoding transmission unit 101-3.
[0117]
  In FIG. 8, steps with the same step numbers as in FIG. 7 are the same processes as in FIG. 7, and steps S801 and S802 are added here. That is, if there is no i-th packet in the second packet reception buffer or there is a bit error even if it exists, the i-th packet of the n-th frame is received in the third packet reception buffer in step S801. If no error is detected in the received data, variable length decoding is performed on the i-th packet data of the nth frame output from the third encoded data extraction unit 212-3 in step S802 as encoded data to be decoded. To the conversion unit 251.
[0118]
  If there is no i-th packet in the n-th frame in any packet reception buffer, or if any bit error is detected even if it exists, the process for concealment in step S708 described above is performed. .
[0119]
  As described above, packet data having a low compression rate in frame encoding is given priority and transferred to the variable length decoding unit 251 as encoded data.
[0120]
  In addition, when the compression rate in the frame encoding of the 2nd moving image encoding transmission part 101-2 and the 3rd moving image encoding transmission part 101-3 is made the same, either may be prioritized.
[0121]
  In the method of waiting for reception of the nth frame encoded data in step S701 in the encoded data reconstruction procedure in the encoded data reconstruction unit 202 of the present embodiment, the packet transmission delay falls within a predetermined range. Any other method may be used as long as packet loss can be detected while suppressing.
[0122]
  According to the third embodiment described above, the moving image encoding apparatus 100 encodes the same moving image data into two encoded data, and sets a fixed or adaptively changing time interval. While sending. The second moving image encoding / transmission unit 101-2 performed the frame encoded by the first moving image encoding / transmission unit 101-1 by the first moving image encoding / transmission unit 101-1. Compression encoding is performed by inter-frame prediction that refers to a frame at the same time as inter-frame prediction. The receiving side selects and decodes encoded data with a low compression rate and good image quality from the encoded data that can be normally received.
[0123]
  As a result, even when using a low-reliability transmission path with frequent burst errors and packet loss, the probability that both of the two encoded data are erroneously transmitted is reduced, and decoding after transmission is performed. It is possible to prevent the image from being significantly disturbed. Furthermore, by increasing the compression rate of the second encoded data, it is possible to suppress an increase in the transmission band accompanying the transmission of the second encoded data. Further, since the decoding device only needs to decode one of the two received encoded data, the amount of computation required does not increase significantly compared to a normal moving image decoding device. .
[0124]
  The third embodiment can be configured in combination with the second embodiment. In this case, the same effect as that of the second embodiment can be obtained.
[0125]
  Note that the moving image transmission system of each of the embodiments described above realizes the functions of the moving image encoding device and the moving image decoding device in hardware, as well as the moving image encoding device and the moving image described above. It can be realized by loading a moving image transmission program comprising a moving image encoding program 600 having a function of a decoding device and a moving image decoding program 700 into a memory of a computer processing device and executing it. The moving image encoding program 600 and the moving image decoding program 700 are stored in a magnetic disk, a semiconductor memory, or other recording medium, loaded from the recording medium to a computer processing device, and controlled by the operation of the computer processing device. Each function described above is realized.
[0126]
  Although the present invention has been described with reference to the preferred embodiments and examples, the present invention is not necessarily limited to the above-described embodiments and examples, and various modifications can be made within the scope of the technical idea. Can be implemented.
[Brief description of the drawings]
  FIG. 1 is a block diagram showing a configuration of a moving picture transmission system that realizes a moving picture data transmission method according to the first embodiment of the present invention.
  FIG. 2 is a block diagram showing the configuration of the moving picture coding apparatus according to the first embodiment of the present invention.
  FIG. 3 is a block diagram showing the configuration of the video decoding apparatus according to the first embodiment of the present invention.
  FIG. 4 is a flowchart showing the encoded data reconstruction procedure in the moving picture decoding apparatus according to the first embodiment of the present invention.
  FIG. 5 is a flowchart illustrating a procedure for reconstructing encoded data when three pieces of encoded packet data are transmitted to the moving picture decoding apparatus in the first embodiment.
  FIG. 6 is a block diagram showing a configuration of a moving picture transmission system for realizing a moving picture coded data packet transmission method according to the second embodiment of the present invention.
  FIG. 7 is a flowchart showing the encoded data reconstruction procedure in the moving picture decoding apparatus according to the third embodiment of the present invention.
  FIG. 8 is a flowchart illustrating a coded data reconstruction procedure when three coded packet data are transmitted to the moving picture decoding apparatus in the third embodiment.

Claims (10)

入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、前記符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
前記動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像伝送システム。A moving image encoding apparatus having a plurality of encoding means for transmitting encoded data obtained by compressing and encoding input moving image data at different compression rates, and a moving image for receiving and decoding the encoded data A video transmission system comprising a decoding device,
The plurality of encoding means compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time,
The moving picture decoding apparatus is a moving picture transmission system that selects and decodes encoded data having the lowest compression rate for each frame from normally received encoded data. 入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置と、前記符号化データを受信して復号化する動画像復号化装置とを備える動画像伝送システムであって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
前記動画像復号化装置は、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像伝送システム。A moving image encoding apparatus having a plurality of encoding means for transmitting encoded data obtained by compressing and encoding input moving image data at different compression rates, and a moving image for receiving and decoding the encoded data A video transmission system comprising a decoding device,
The plurality of encoding means compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time, and code the frames included in the moving image data according to equal frame division. Divide the data into one or more packet data,
The moving image decoding apparatus selects and decodes encoded data having the lowest compression rate for each packet data including the same divided region from normally received encoded data. . 前記複数の符号化手段は、
フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、符号化データ量を削減する符号化手段であって、
前記量子化における量子化ステップサイズを制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成する、
請求項１または２に記載の動画像伝送システム。The plurality of encoding means include
Encoding means for reducing the amount of encoded data by performing two-dimensional discrete cosine transform and quantization on a difference of inter-frame prediction;
By controlling the quantization step size in the quantization, it generates encoded data having a compression rate different from that of other encoding means.
The moving image transmission system according to claim 1 or 2. 前記複数の符号化手段は、
フレーム間予測の差分に２次元離散コサイン変換と量子化を施して、高次の量子化係数を０に打ち切ることによって、符号化データ量を削減する符号化手段であって、
０に打ち切る量子化係数の個数を制御することにより、他の符号化手段と異なる圧縮率の符号化データを生成する、
請求項１または２に記載の動画像伝送システム。The plurality of encoding means include
Encoding means for reducing the amount of encoded data by performing two-dimensional discrete cosine transform and quantization on the difference of inter-frame prediction and truncating higher-order quantization coefficients to zero,
By controlling the number of quantized coefficients that are truncated to 0, it generates encoded data with a different compression rate from other encoding means.
The moving image transmission system according to claim 1 or 2. 入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、前記符号化データを受信して復号化する動画像復号化装置であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像復号化装置。A moving image that receives and decodes the encoded data from a moving image encoding device having a plurality of encoding units that transmit encoded data obtained by compressing and encoding the input moving image data at different compression rates. A decryption device comprising:
The plurality of encoding means compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time,
A moving picture decoding apparatus that selects and decodes encoded data having the lowest compression rate for each frame from normally received encoded data. 入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段を有する動画像符号化装置から、前記符号化データを受信して復号化する動画像復号化装置であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像復号化装置。A moving image that receives and decodes the encoded data from a moving image encoding device having a plurality of encoding units that transmit encoded data obtained by compressing and encoding the input moving image data at different compression rates. A decryption device comprising:
The plurality of encoding means compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time, and code the frames included in the moving image data according to equal frame division. Divide the data into one or more packet data,
A moving picture decoding apparatus that selects and decodes encoded data having the lowest compression rate from encoded data received normally for each packet data including the same divided region. 動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、前記符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理を実行させ、
前記動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラム。The moving image encoding device executes a process of transmitting encoded data obtained by compressing and encoding the input moving image data at different compression rates, and the moving image decoding device receives the encoded data. A moving image transmission program for executing a decoding process,
Causing the video encoding device to execute a process of compressing and encoding frames of the same video data by inter-frame prediction referring to frames at the same time,
A moving picture transmission program for causing the moving picture decoding apparatus to execute a process of selecting and decoding encoded data having the lowest compression rate for each frame from the normally received encoded data. 動画像符号化装置に、入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する処理を実行させ、動画像復号化装置に、前記符号化データを受信して復号化する処理を実行させるための動画像伝送プログラムであって、
前記動画像符号化装置に、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化する処理とともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信する処理を実行させ、
前記動画像復号化装置に、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラム。The moving image encoding device executes a process of transmitting encoded data obtained by compressing and encoding the input moving image data at different compression rates, and the moving image decoding device receives the encoded data. A moving image transmission program for executing a decoding process,
In addition to the process of compressing and encoding the frames of the same moving image data by inter-frame prediction that refers to the frames at the same time, the moving image encoding device performs the encoding of the frames included in the moving image data according to equal frame division The process of transmitting the encoded data while dividing it into one or more packet data is executed,
Let the moving picture decoding apparatus perform a process of selecting and decoding encoded data having the lowest compression rate for each packet data including the same divided area from the normally received encoded data. Video transmission program. 入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、前記符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記複数の符号化手段は、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化し、
前記動画像復号化ステップは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データをフレーム毎に選択して復号化する動画像伝送方法。A video encoding step by a plurality of encoding means for transmitting encoded data obtained by compressing and encoding the input video data at different compression rates, and video decoding for receiving and decoding the encoded data A moving image transmission method comprising:
The plurality of encoding means compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time,
The moving picture decoding step is a moving picture transmission method in which encoded data having the lowest compression rate is selected and decoded for each frame from the normally received encoded data. 入力された動画像データを、互いに異なる圧縮率で圧縮符号化した符号化データを送信する複数の符号化手段による動画像符号化ステップと、前記符号化データを受信して復号化する動画像復号化ステップとを有する動画像伝送方法であって、
前記動画像符号化ステップでは、前記複数の符号化手段を用いて、互いに等しい時刻のフレームを参照するフレーム間予測により、同一の動画像データのフレームを圧縮符号化するとともに、等しいフレーム分割に従って、前記動画像データに含まれるフレームの符号化データを1個以上のパケットデータに分割しながら送信し、
前記動画像復号化ステップでは、正常に受信された符号化データの中から、圧縮率の最も低い符号化データを、同一の分割領域を含むパケットデータ毎に選択して復号化する動画像伝送方法。A video encoding step by a plurality of encoding means for transmitting encoded data obtained by compressing and encoding the input video data at different compression rates, and video decoding for receiving and decoding the encoded data A moving image transmission method comprising:
In the moving image encoding step, the plurality of encoding units are used to compress and encode frames of the same moving image data by inter-frame prediction referring to frames at the same time, and according to equal frame division, Transmitting the encoded data of the frame included in the moving image data while dividing it into one or more packet data,
In the moving picture decoding step, a moving picture transmission method for selecting and decoding encoded data having the lowest compression rate from the normally received encoded data for each packet data including the same divided region .
JP2004500512A 2002-04-26 2003-04-18 Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method Expired - Fee Related JP4321454B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002126533 2002-04-26
JP2002126533 2002-04-26
PCT/JP2003/004939 WO2003092295A1 (en) 2002-04-26 2003-04-18 Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program

Publications (2)

Publication Number Publication Date
JPWO2003092295A1 JPWO2003092295A1 (en) 2005-09-08
JP4321454B2 true JP4321454B2 (en) 2009-08-26

Family

ID=29267598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004500512A Expired - Fee Related JP4321454B2 (en) 2002-04-26 2003-04-18 Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method

Country Status (4)

Country Link
US (1) US20050111541A1 (en)
EP (1) EP1501311A4 (en)
JP (1) JP4321454B2 (en)
WO (1) WO2003092295A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503538B2 (en) 2004-01-28 2013-08-06 Nec Corporation Method, apparatus, system, and program for content encoding, content distribution, and content reception
WO2006028330A1 (en) * 2004-09-07 2006-03-16 Samsung Electronics Co., Ltd. Multi-layer video coding and decoding methods and multi-layer video encoder and decoder
KR100679018B1 (en) 2004-09-07 2007-02-05 삼성전자주식회사 Method for multi-layer video coding and decoding, multi-layer video encoder and decoder
JP5844991B2 (en) * 2011-04-14 2016-01-20 キヤノン株式会社 Source node and its transmission method
US20160165230A9 (en) * 2012-04-16 2016-06-09 Texas Instruments Incorporated Color Component Checksum Computation in Video Coding
JP2017228903A (en) 2016-06-21 2017-12-28 富士通株式会社 Encoding program, encoding method, encoder, decoding program, decoding method and decoder
JP2018093412A (en) * 2016-12-06 2018-06-14 株式会社日立製作所 Processor, transmission program, transmission method
WO2021005349A1 (en) * 2019-07-05 2021-01-14 V-Nova International Ltd Quantization of residuals in video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59167143A (en) * 1983-03-11 1984-09-20 Nec Corp Signal transmitting system
JPH0748711B2 (en) * 1987-02-20 1995-05-24 日本電信電話株式会社 Signal transmission method
US5111292A (en) * 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH10224746A (en) * 1997-02-05 1998-08-21 Kokusai Electric Co Ltd Image transmission system
JPH10276365A (en) * 1997-03-31 1998-10-13 Hitachi Ltd Video data compressor, video recording and reproducing device, and video data compression coding method
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
JP3495922B2 (en) * 1997-09-26 2004-02-09 フーリエ有限会社 Video data transmission method
JPH11225161A (en) * 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd Data processing method and its device
JP3974712B2 (en) * 1998-08-31 2007-09-12 富士通株式会社 Digital broadcast transmission / reception reproduction method, digital broadcast transmission / reception reproduction system, digital broadcast transmission apparatus, and digital broadcast reception / reproduction apparatus
JP2001007786A (en) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd Data communication method and system
US9143546B2 (en) * 2000-10-03 2015-09-22 Realtime Data Llc System and method for data feed acceleration and encryption

Also Published As

Publication number Publication date
EP1501311A1 (en) 2005-01-26
EP1501311A4 (en) 2013-04-03
JPWO2003092295A1 (en) 2005-09-08
WO2003092295A1 (en) 2003-11-06
US20050111541A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
US10321138B2 (en) Adaptive video processing of an interactive environment
US9445114B2 (en) Method and device for determining slice boundaries based on multiple video encoding processes
US7957465B2 (en) Moving picture data code conversion/transmission method and device, code conversion/reception method and device
JP4889231B2 (en) Image encoding method and apparatus, and image decoding method
US20070009039A1 (en) Video encoding and decoding methods and apparatuses
US20080259796A1 (en) Method and apparatus for network-adaptive video coding
US20060188025A1 (en) Error concealment
WO2008125523A1 (en) Adaptive, scalable packet loss recovery
US7133455B2 (en) Providing error resilience and concealment for video data
CN106162199B (en) Method and system for video processing with back channel message management
JP4135395B2 (en) Encoded packet transmission receiving method and apparatus and program thereof
US10484688B2 (en) Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme
JP4321454B2 (en) Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method
JP4732428B2 (en) Transcoding node and transcoding method for multiple description transcoding
JP4280927B2 (en) Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture transmission program, and moving picture transmission method
US20060120290A1 (en) Method for adapting the bitrate of a digital signal dynamically to the available bandwidth, corresponding devices, and corresponding computer-program product
US8634467B2 (en) Flexible Wyner-Ziv video frame coding
JP2002534920A (en) Robust decoding method and apparatus for header information in macroblock-based compressed video data
WO2007125574A1 (en) Video transferring apparatus
WO2002019709A1 (en) Dual priority video transmission for mobile applications
US20060133488A1 (en) Method for encoding and decoding video signal
KR100564967B1 (en) Moving picture decoder and method for decoding using the same
Song Toward connected personal healthcare: Keynote address
KR100669621B1 (en) Reference frame control method of video codec
WO2001015458A2 (en) Dual priority video transmission for mobile applications

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

R150 Certificate of patent or registration of utility model

Ref document number: 4321454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees