JP3591712B2 - 動画送信装置及び動画受信装置 - Google Patents

動画送信装置及び動画受信装置 Download PDF

Info

Publication number
JP3591712B2
JP3591712B2 JP2000091890A JP2000091890A JP3591712B2 JP 3591712 B2 JP3591712 B2 JP 3591712B2 JP 2000091890 A JP2000091890 A JP 2000091890A JP 2000091890 A JP2000091890 A JP 2000091890A JP 3591712 B2 JP3591712 B2 JP 3591712B2
Authority
JP
Japan
Prior art keywords
picture
data
moving image
unit
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000091890A
Other languages
English (en)
Other versions
JP2000350217A (ja
Inventor
利匡 高木
あきの 井上
敏夫 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2000091890A priority Critical patent/JP3591712B2/ja
Publication of JP2000350217A publication Critical patent/JP2000350217A/ja
Application granted granted Critical
Publication of JP3591712B2 publication Critical patent/JP3591712B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はエラーが無視できないパケットネットワークにおいて、動画伝送時のエラー回復に関するものである。
【0002】
【従来の技術】
従来、動画送信装置に蓄積された動画データを伝送路を通して動画受信装置に転送する際のエラー回復方法として、動画送信装置があらかじめエラー回復のための冗長データを用意し、動画受信装置においてエラーが発生した際は、その冗長データを用いてエラーを回復する方法などが知られている。
【0003】
一般に、動画データは、時間的に連続した複数の静止画像から構成されていると見なすことができ、MPEG画像圧縮方式では、Iピクチャ(フレーム内符号化画像)とPピクチャ(フレーム間順方向予測符号化画像)とBピクチャ(双方向予測符号化画像)とで構成されていて、動画データの時間方向における冗長性の削減が行われている。また、ランダムジャンプを実現するために周期的にIピクチャが現れるような構成となっている。このような構成は、VOD(ビデオオンデマンド)システムのような装置に有効である。
【0004】
従来の動画伝送におけるエラー回復方法を用いた装置の一例を図10に示す。動画送信装置1001は、ネットワーク・インタフェース手段1004と、データ送信手段1005と、データ受信手段1006と、動画を供給する動画データ供給手段1007と、目的のデータを取得する動画データ取得手段1008と、冗長データを付加する冗長データ付加手段1016とを備え、動画受信装置1002は、ネットワークインタフェース手段1009と、データ送信手段1011と、データ受信手段1012と、動画の再生状態の要求をする入力手段1010と、エラーを判定するエラー判定手段1013と、動画データを表示できる形式に復号する復号手段1014と、動画を表示する表示手段1015とを備える動画受信装置とから構成される。
【0005】
この装置では、利用者が動画受信装置1002の入力手段1010を用いて命令を入力し、その命令は、データ送信手段1011、ネットワークインタフェース手段1009、伝送路1003、動画送信装置1001のネットワークインタフェース手段1004、データ受信手段1006を通して動画データ取得手段1008に送られ、命令に従って動画データ供給手段1007より目的の動画データを取得する。そして取得された動画データは、冗長データ付加手段1016によって、全てのフレーム、又はIピクチャを2重に送るように冗長データを付加し、データ送信手段1005、ネットワークインタフェース手段1004、伝送路1003、動画受信装置1002のネットワークインタフェース手段1009、データ受信手段1012を通してエラー判定手段1013に送られ、伝送途中のエラーを検出する。エラーが発生しなかった場合は、動画データを復号手段1014へ送り、冗長動画データを破棄する。エラーが発生した場合は、冗長データを復号手段1014へ送る。復号手段1014では、符号化されている動画データを表示できるように復号し、表示手段1015に送り、表示手段1015で動画を表示する。
【0006】
この装置を用い、全てのフレームを2重に送るように冗長データを付加した場合、伝送するデータ量は2倍になり、Iピクチャを2重に送るように冗長データを付加した場合、Iピクチャから次のIピクチャまでの間で、Iピクチャが占める割合は約2分の1なので、伝送するデータ量は約1.5倍になる。
【0007】
【発明が解決しようとする課題】
従来の動画伝送におけるエラー回復方法において、狭帯域の伝送路で動画を伝送する場合、冗長データのため、さらに実効的な帯域が狭められ、動画の画質やフレームレートが下がるという課題がある。
【0008】
本発明では、このような動画伝送におけるエラー回復方法において、伝送路の帯域を有効に利用するため、より冗長度が小さい付加データを使用してエラー回復を実現することを目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、本発明は、
第1に、直前のピクチャとIピクチャ(フレーム内符号化画像)との順方向予測符号化画像であるP’ピクチャを、前記Iピクチャの前または後に配置した動画データ構造である。
これにより、伝送途中でIピクチャにエラーが発生した際、P’ピクチャを用いることによってIピクチャのエラー回復を行うことができる。
【0010】
第2に、直前のIピクチャと現在のIピクチャとの順方向予測符号化画像であるP”ピクチャを、現在のIピクチャの前または後に配置した動画データ構造である。
これにより、伝送途中でIピクチャやIピクチャの直前のピクチャにエラーが発生した際、直前のIピクチャと、P”ピクチャを用いることによってIピクチャのエラー回復を行うことができる。
【0011】
第3に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータを別帯域で送信するための差分データ送信手段を備えたものである。
これにより、データ送信手段を変更することなく、差分データを送信することができる。
【0012】
第4に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータに動画データと同じ時間情報を付加するための時間情報付加手段を備えたものである。
これにより、動画データ受信装置で、動画データとエラー訂正のためのデータとの振り分ることができる。
【0013】
第5に、動画送信装置において、動画データを伝送路へ送信する際、動画受信装置から冗長度制御データを受信するための冗長度制御データ受信手段を備えたものである。
これにより、エラー訂正のためのデータを最適化して送信することができる。
【0014】
第6に、動画受信装置において、動画データを伝送路より受信する際、エラー訂正のためのデータを別帯域で受信するための差分データ受信手段を備えたものである。
これにより、データ受信手段を変更することなく、差分データを受信することができる。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態について図1から図9を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、様々なる態様で実施し得る。
【0016】
(実施の形態1)
図1は、動画データ構造を示し、図1において、IはIピクチャ(フレーム内符号化画像)、PはPピクチャ(フレーム間順方向予測符号化画像)、P’はP’ピクチャ(「あるIピクチャ[T]の直前のピクチャ[S]」と「当該Iピクチャ[T]」との順方向予測符号化画像)である。
【0017】
図2は、エラー訂正装置の構成を示すブロック図を示し、図2において、201は動画送信装置、202は動画受信装置であり、これらは203の伝送路によって接続されている。
【0018】
動画送信装置201は、204のネットワークインタフェース手段、205のデータ送信手段、206のデータ受信手段、動画を供給する207の動画データ供給手段を持ち、データ受信部206より得られた命令データより、208の動画データ取得手段は動画データ供給手段207より、命令データに則した動画データを取得し、216の差分データ計算手段で、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、217の時間情報付加手段で時間情報を付加し、218の差分データ付加手段でIピクチャの後に付加する。
【0019】
動画受信装置202は、209のネットワークインタフェース手段、211のデータ送信手段、212のデータ受信手段、命令を入力する210の入力手段、動画を表示する215の表示手段を持ち、データ受信手段212で得られたデータは、219の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、213のエラー判定手段によって伝送途中でエラー発生の有無を調べ、220のエラー回復手段によって、エラー回復を行い、そのデータは214の復号手段によって復号され、表示手段215によって表示される。
【0020】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置202の入力手段210は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段211へ送る。データ送信手段211へ送られた命令は、ネットワークインタフェース手段209、伝送路203、ネットワークインタフェース手段204を通して、動画送信装置201のデータ受信手段206が受信する。データ受信手段206によって受信された命令は動画データ取得手段208に送られ、動画データ取得手段208は動画データ供給手段207から命令された動画データを取得する。
【0021】
動画データ取得手段208によって得られた動画データは、差分データ計算手段216に送られ、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、作成する。作成されたP’ピクチャは、時間情報付加手段217によって、Iピクチャと同一の時間情報を付加する。そして差分データ付加手段218によってIピクチャの後に挿入され、データ送信手段205によってネットワーク情報を付加され、ネットワークインタフェース手段204を通して伝送路203へ送られる。
【0022】
P’ピクチャを挿入された動画データは、伝送路203、ネットワークインタフェース手段209を通してデータ受信手段212が受信し、冗長データ選別手段219によって、動画データと冗長データ(P’ピクチャ)に選別され、エラー判定手段213へ送られる。エラー判定手段213では、時間情報付加手段217によって付加された時間情報と、データ送信手段205によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段220へ送る。エラー回復手段220では、Iピクチャ読み込み時にエラーが発生した場合は、次に送られてくるP’ピクチャをエラーを起こしたIピクチャの代わりに使用し、復号手段214へ送る。Iピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のIピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、P’ピクチャを廃棄し、復号手段214では、動画データを表示手段215が表示できる形式に復号し、表示手段215によって動画を表示する。
【0023】
以上のように、本実施の形態では、
従来のような、全てのフレームを2重に送るように冗長データを付加した場合、伝送するデータ量は2倍になり、Iピクチャを2重に送るように冗長データを付加した場合、Iピクチャから次のIピクチャまでの間で、Iピクチャが占める割合は約2分の1なので、伝送するデータ量は約1.5倍になるといったものに対して、
伝送途中でIピクチャにエラーが発生した際、後から送られてくるP’ピクチャ(直前のピクチャとIピクチャとの順方向予測符号化画像)を用いるので、Iピクチャから次のIピクチャまでの間で、P’ピクチャの占める割合は約7分の1(秒2フレーム時)となり、より少ないデータ量で動画エラー回復を行うことができ、その実用的効果は大きい。
【0024】
(実施の形態2)
図3は、動画データ構造を示し、図3において、IはIピクチャ(フレーム内符号化画像)、PはPピクチャ(フレーム間順方向予測符号化画像)、P”はP”ピクチャ(「あるIピクチャ[Y]の直前のIピクチャ[X]」と「当該現在のIピクチャ[Y]」との順方向予測符号化画像)である。
【0025】
図4は、エラー訂正装置の構成を示すブロック図を示し、図4において、401は動画送信装置、402は動画受信装置であり、これらは403の伝送路によって接続されている。
【0026】
動画送信装置401は、404のネットワークインタフェース手段、405のデータ送信手段、406のデータ受信手段、動画を供給する407の動画データ供給手段を持ち、データ受信部406より得られた命令データより、408の動画データ取得手段は動画データ供給手段407より、命令データに則した動画データを取得し、Iピクチャを421の基本画像保持手段に一時保持する。416の差分データ計算手段では、直前IピクチャとIピクチャとの順方向予測符号化画像であるP”ピクチャを計算し、417の時間情報付加手段で時間情報を付加し、418の差分データ付加手段でIピクチャの後に付加する。
【0027】
動画受信装置402は、409のネットワークインタフェース手段、407のデータ送信手段、412のデータ受信手段、命令を入力する410の入力手段、動画を表示する415の表示手段を持ち、データ受信手段412で得られたデータは、419の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、413のエラー判定手段によって伝送途中でエラー発生の有無を調べ、Iピクチャは422の基本画像保持手段に一時保持する。420のエラー回復手段では、エラー回復を行い、そのデータは414の復号手段によって復号され、表示手段415によって表示される。
【0028】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置402の入力手段410は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段411へ送る。データ送信手段411へ送られた命令は、ネットワークインタフェース手段409、伝送路403、ネットワークインタフェース手段404を通して、動画送信装置401のデータ受信手段406が受信する。データ受信手段406によって受信された命令は動画データ取得手段408に送られ、動画データ取得手段408は動画データ供給手段407から命令された動画データを取得する。
【0029】
動画データ取得手段408によって得られた動画データは、Iピクチャは基本画像保持手段421に一時保持し、他は差分データ計算手段416に送られ、直前のIピクチャとIピクチャとの順方向予測符号化画像であるP”ピクチャを計算し、作成する。作成されたP”ピクチャは、時間情報付加手段417によって、Iピクチャと同一の時間情報を付加する。そして差分データ付加手段417によってIピクチャの後に挿入され、データ送信手段405によってネットワーク情報を付加され、ネットワークインタフェース手段404を通して伝送路403へ送られる。
【0030】
P”ピクチャを挿入された動画データは、伝送路403、ネットワークインタフェース手段409を通してデータ受信手段412が受信し、冗長データ選別手段419によって、動画データと冗長データ(P”ピクチャ)に選別され、エラー判定手段413へ送られる。エラー判定手段413では、時間情報付加手段417によって付加された時間情報と、データ送信手段405によって付加されたネットワーク情報とをもとにエラーを判定し、Iピクチャは基本画像保持手段422へ送り、他はエラー回復手段420へ送る。エラー回復手段420では、Iピクチャ読み込み時にエラーが発生した場合は、P”ピクチャと保持しているIピクチャとを使用し、エラーを起こしたIピクチャの代わりに復号手段414へ送る。Iピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のIピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、P”ピクチャを廃棄し、復号手段414では、動画データを表示手段415が表示できる形式に復号し、表示手段415によって動画を表示する。
【0031】
以上のように、本実施の形態では、
伝送途中でIピクチャや直前のピクチャにエラーが発生した際にも、後から送られてくるP”ピクチャ(直前のIピクチャとIピクチャとの順方向予測符号化画像)を用いることによって、実施の形態1と同様、従来方式のようなムダのない動画エラー回復を行うことができ、その実用的効果は大きい。
【0032】
なお、P’ピクチャ(実施の形態1)と、P”ピクチャ(実施の形態2)とをそれぞれ比較してみると、P’ピクチャを用いた場合は、基本画像保存手段を持たなくてもエラー訂正が可能であり、より少ないコストでその効果を発揮する。一方、P”ピクチャを用いた場合は、基本画像保存手段を持つことにより、Iピクチャの直前のフレームにエラーが発生した場合にも、その効果を発揮する。
【0033】
(実施の形態3)
図5は、動画データ構造を示し、図5において、IはIピクチャ(フレーム内符号化画像)、PはPピクチャ(フレーム間順方向予測符号化画像)、P’はP’ピクチャ(「あるIピクチャ[T]の直前のピクチャ[S]」と「当該Iピクチャ[T]」との順方向予測符号化画像)であり、P’ピクチャは通常の動画データとは異なる帯域を用いている。
【0034】
図6は、エラー訂正装置の構成を示すブロック図を示し、図6において、601は動画送信装置、602は動画受信装置であり、これらは603の伝送路によって接続されている。
【0035】
動画送信装置601は、604のネットワークインタフェース手段、605のデータ送信手段、606のデータ受信手段、動画を供給する607の動画データ供給手段を持ち、データ受信部606より得られた命令データより、608の動画データ取得手段は動画データ供給手段607より、命令データに則した動画データを取得し、616の差分データ計算手段で、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、617の時間情報付加手段で時間情報を付加し、618の差分データ送信手段でネットワークインタフェース手段604を通して伝送路603へ送信する。
【0036】
動画受信装置602は、609のネットワークインタフェース手段、611のデータ送信手段、612のデータ受信手段、命令を入力する610の入力手段、動画を表示する615の表示手段を持ち、データ受信手段612、差分データ受信手段619で得られたデータは、613のエラー判定手段によって伝送途中でエラー発生の有無を調べ、620のエラー回復手段によって、エラー回復を行い、そのデータは614の復号手段によって復号され、表示手段615によって表示される。
【0037】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置602の入力手段610は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段611へ送る。データ送信手段611へ送られた命令は、ネットワークインタフェース手段609、伝送路603、ネットワークインタフェース手段604を通して、動画送信装置601のデータ受信手段606が受信する。データ受信手段606によって受信された命令は動画データ取得手段608に送られ、動画データ取得手段608は動画データ供給手段607から命令された動画データを取得する。
【0038】
動画データ取得手段608によって得られた動画データは、差分データ計算手段616に送られ、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、作成する。作成されたP’ピクチャは、時間情報付加手段617によって、Iピクチャと同一の時間情報を付加する。そしてP’ピクチャは差分データ送信手段618、他はデータ送信手段605によってネットワークインタフェース手段604を通して伝送路603へ送られる。
【0039】
P’ピクチャと動画データは、伝送路603、ネットワークインタフェース手段609を通してデータ受信手段612、差分データ受信手段619が受信し、エラー判定手段613へ送られる。エラー判定手段613では、時間情報付加手段617によって付加された時間情報と、データ送信手段605によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段620へ送る。エラー回復手段620では、Iピクチャ読み込み時にエラーが発生した場合は、P’ピクチャをエラーを起こしたIピクチャの代わりに使用し、復号手段614へ送る。Iピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のIピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、P’ピクチャを廃棄し、復号手段614では、動画データを表示手段615が表示できる形式に復号し、表示手段615によって動画を表示する。
【0040】
以上のように、本実施の形態では、
動画データ送受信手段は従来のまま、伝送途中でIピクチャにエラーが発生した際、別帯域から送られてくる、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを用いることによって動画エラー回復を行うことができ、その実用的効果は大きい。
【0041】
なお、P’ピクチャを動画データに挿入する場合(実施の形態1)と、別帯域にて送信する場合(実施の形態3)とを比較すると、P’ピクチャを動画データに挿入する方式は、冗長データ付加手段、冗長データ選別手段にてエラー訂正処理を行うため、送信手段、受信手段を新たに備えずにその効果を発揮する。一方、P’ピクチャを別帯域で送信する方式は、冗長データ選別手段に替えP’ピクチャ用の送信装置、受信装置を備えることによって、送信手段、受信手段は従来のまま、その効果を発揮する。
【0042】
(実施の形態4)
図7は、動画データ構造を示し、図7において、IはIピクチャ(フレーム内符号化画像)、PはPピクチャ(フレーム間順方向予測符号化画像)、P”はP”ピクチャ(「あるIピクチャ[Y]の直前のIピクチャ[X]」と「当該現在のIピクチャ[Y]」との順方向予測符号化画像)であり、P”ピクチャは従来の動画データとは異なる帯域を用いている。
【0043】
図8は、エラー訂正装置の構成を示すブロック図を示し、図8において、801は動画送信装置、802は動画受信装置であり、これらは803の伝送路によって接続されている。
【0044】
動画送信装置801は、804のネットワークインタフェース手段、805のデータ送信手段、806のデータ受信手段、動画を供給する807の動画データ供給手段を持ち、データ受信部806より得られた命令データより、808の動画データ取得手段は動画データ供給手段807より、命令データに則した動画データを取得し、Iピクチャを821の基本画像保持手段に一時保持する。816の差分データ計算手段では、直前IのピクチャとIピクチャとの順方向予測符号化画像であるP”ピクチャを計算し、817の時間情報付加手段で時間情報を付加し、818の差分データ送信手段でネットワークインタフェース手段804を通して伝送路803へ送信する。
【0045】
動画受信装置802は、809のネットワークインタフェース手段、811のデータ送信手段、812のデータ受信手段、命令を入力する810の入力手段、動画を表示する815の表示手段を持ち、データ受信手段812、差分データ受信手段819で得られたデータは、813のエラー判定手段によって伝送途中でエラー発生の有無を調べ、Iピクチャは822の基本画像保持手段一時保持する。820のエラー回復手段では、エラー回復を行い、そのデータは814の復号手段によって復号され、表示手段815によって表示される。
【0046】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置802の入力手段810は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段811へ送る。データ送信手段811へ送られた命令は、ネットワークインタフェース手段809、伝送路803、ネットワークインタフェース手段804を通して、動画送信装置801のデータ受信手段806が受信する。データ受信手段806によって受信された命令は動画データ取得手段808に送られ、動画データ取得手段808は動画データ供給手段807から命令された動画データを取得する。
【0047】
動画データ取得手段808によって得られた動画データは、Iピクチャは基本画像手段821に一時保持し、他は差分データ計算手段816に送られ、直前のIピクチャとIピクチャとの順方向予測符号化画像であるP”ピクチャを計算し、作成する。作成されたP”ピクチャは、時間情報付加手段817によって、Iピクチャと同一の時間情報を付加する。そしてP”ピクチャは差分データ送信手段818、他はデータ送信手段805によってネットワークインタフェース手段804を通して伝送路803へ送られる。
【0048】
P”ピクチャと動画データは、伝送路803、ネットワークインタフェース手段809を通してデータ受信手段812、差分データ受信手段819が受信し、エラー判定手段813へ送られる。エラー判定手段813では、時間情報付加手段817によって付加された時間情報と、データ送信手段805によって付加されたネットワーク情報とをもとにエラーを判定し、Iピクチャは基本画像保持手段822へ送り、他はエラー回復手段820へ送る。エラー回復手段820では、Iピクチャ読み込み時にエラーが発生した場合は、P”ピクチャと保持しているIピクチャとを使用し、エラーを起こしたIピクチャの代わりに復号手段814へ送る。Iピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のIピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、P”ピクチャを廃棄し、復号手段814では、動画データを表示手段815が表示できる形式に復号し、表示手段815によって動画を表示する。
【0049】
以上のように、本実施の形態では、
動画データ送受信手段は従来のまま、伝送途中でIピクチャにエラーが発生した際、別帯域から送られてくる、直前のIピクチャとIピクチャとの順方向予測符号化画像であるP”ピクチャを用いることによって動画エラー回復を行うことができ、その実用的効果は大きい。
【0050】
なお、P”ピクチャを動画データに挿入する場合(実施の形態2)と、別帯域にて送信する場合(実施の形態4)とを比較すると、P”ピクチャを動画データに挿入する方式は、冗長データ付加手段、冗長データ選別手段にてエラー訂正処理を行うため、送信手段、受信手段を新たに備えずにその効果を発揮する。一方、P”ピクチャを別帯域で送信する方式は、冗長データ選別手段に替えP”ピクチャ用の送信装置、受信装置を備えることによって、送信手段、受信手段は従来のまま、その効果を発揮する。
【0051】
(実施の形態5)
図9は、エラー訂正装置の構成を示すブロック図を示し、図9において、901は動画送信装置、902は動画受信装置であり、これらは903の伝送路によって接続されている。
【0052】
動画送信装置901は、904のネットワークインタフェース手段、905のデータ送信手段、906のデータ受信手段、動画を供給する907の動画データ供給手段を持ち、データ受信部906より得られた命令データより、908の動画データ取得手段は動画データ供給手段907より、命令データに則した動画データを取得し、916の差分データ計算手段で、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、917の時間情報付加手段で時間情報を付加し、918の差分データ付加手段では921の冗長度データ受信手段によって得られた冗長度データによりIピクチャの後に付加する頻度を決定する。
【0053】
動画受信装置902は、909のネットワークインタフェース手段、911のデータ送信手段、912のデータ受信手段、命令を入力する910の入力手段、動画を表示する915の表示手段を持ち、データ受信手段912で得られたデータは、919の冗長データ選別手段によって時間情報を用いて動画データと冗長データに選別し、913のエラー判定手段によって伝送途中でエラー発生の有無を調べ、そのエラー発生の頻度は922の冗長度データ送信手段によって動画送信装置901へ送られ、動画データは920のエラー回復手段によって、エラー回復を行い、そのデータは914の復号手段によって復号され、表示手段915によって表示される。
【0054】
以上のように構成された動画伝送装置について、以下その動作を説明する。
動画受信装置902の入力手段910は、再生・停止・早送り・巻き戻し・頭出しといった、動画に対する命令を操作者が入力し、データ送信手段911へ送る。データ送信手段911へ送られた命令は、ネットワークインタフェース手段909、伝送路903、ネットワークインタフェース手段904を通して、動画送信装置901のデータ受信手段906が受信する。データ受信手段906によって受信された命令は動画データ取得手段908に送られ、動画データ取得手段908は動画データ供給手段907から命令された動画データを取得する。
【0055】
動画データ取得手段908によって得られた動画データは、差分データ計算手段916に送られ、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを計算し、作成する。作成されたP’ピクチャは、時間情報付加手段917によって、Iピクチャと同一の時間情報を付加する。そして差分データ付加手段918にでは、冗長度データ受信手段921によって得られた動画受信装置902でのエラー発生の頻度情報を得て、エラーがほとんど発生しない場合は、P’ピクチャの挿入を中止し、エラーが頻繁に発生する場合は、P’ピクチャをIピクチャの後に挿入する。そしてその動画データはデータ送信手段905によってネットワーク情報を付加され、ネットワークインタフェース手段904を通して伝送路903へ送られる。
【0056】
P’ピクチャを挿入された動画データは、伝送路903、ネットワークインタフェース手段909を通してデータ受信手段912が受信し、冗長データ選別手段919によって、動画データと冗長データ(P’ピクチャ)に選別され、エラー判定手段913へ送られる。エラー判定手段913では、時間情報付加手段917によって付加された時間情報と、データ送信手段905によって付加されたネットワーク情報とをもとにエラーを判定し、動画データをエラー回復手段920へ送り、エラー発生の頻度は冗長度データ送信手段922を通して、動画送信装置901へ送られる。エラー回復手段920では、Iピクチャ読み込み時にエラーが発生した場合は、次に送られてくるP’ピクチャをエラーを起こしたIピクチャの代わりに使用し、復号手段914へ送る。Iピクチャ以外のフレーム読み込み時にエラーが発生した場合は、次のIピクチャが送られてくるまで、データを廃棄する。エラーが発生しなかった場合は、P’ピクチャを廃棄し、復号手段914では、動画データを表示手段915が表示できる形式に復号し、表示手段915によって動画を表示する。
【0057】
以上のように、本実施の形態では、
伝送途中でIピクチャにエラーが発生した際、後から送られてくる、直前のピクチャとIピクチャとの順方向予測符号化画像であるP’ピクチャを用いることと、冗長度データを送信することによって動画エラー回復を最適に行うことができ、その実用的効果は大きい。
なお、本実施の形態は、P’ピクチャ挿入方式だけではなく、P”ピクチャ挿入方式(実施の形態2)、P’及びP”冗長データ別帯域送受信方式(実施の形態3、4)でも実装が可能である。
【0058】
なお、本発明において、P’及びP”ピクチャをIピクチャの直後に挿入する例を説明したが、Iピクチャの直前でも構わない。また、ピクチャの欠落が例えば、連続してnフレーム分生じるような傾向がある場合には、直前・直後ではなく、Iピクチャから前または後n+1フレーム目に挿入するなどの方式も考えられる。
【0059】
以上の説明では、本発明の動画送信装置と本発明の動画受信装置とによって本発明のデータ構造の動画データを送受信する場合を説明した。しかしながら、本発明の動画送信装置と標準の動画受信装置との間の画像データの送受信、あるいは、標準の動画送信手段と本発明の動画受信装置との間の画像データの送受信も可能である。
【0060】
本発明の動画送信装置から送信された画像データを標準の動画受信装置で受信し、再生する場合、冗長/差分データの分再生フレームが増加するが、人の目の能力では増加した1フレーム分の冗長再生はほとんど認識できず、再生画像の品質にほとんど影響しない。
【0061】
また、冗長再生避けるために、各フレーム毎の再生識別子(たとえばタイムスタンプ)を付加することによって、I(イントラ)フレームと、それに続くP’およびP”(Iフレームの前後に近傍の、Iフレームと同帯域にて送信される)のいずれかのみを再生することができる。
【0062】
一方、標準の動画送信装置から送信された画像データを本発明の動画受信装置が受信する場合、本発明の冗長データを除去する受信装置は、冗長データが存在しないことも当然判定可能であるので、通常の画像データ(MPEGデータ)も再生できる。
【0063】
【発明の効果】
以上のように本発明によれば、
第1に、直前のピクチャとIピクチャ(フレーム内符号化画像)との順方向予測符号化画像であるP’ピクチャを、当該Iピクチャの前または後に配置した動画データ構造を備えたことにより、伝送途中でIピクチャにエラーが発生した際、P’ピクチャを用いることによってIピクチャのエラー回復を行うことができる。
【0064】
第2に、直前のIピクチャと現在のIピクチャとの順方向予測符号化画像であるP”ピクチャを、当該現在のIピクチャの前または後に配置した動画データ構造を備えたことにより、伝送途中でIピクチャやIピクチャの直前のピクチャにエラーが発生した際、直前のIピクチャと、P”ピクチャを用いることによってIピクチャのエラー回復を行うことができる。
【0065】
第3に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータを別帯域で送信するための差分データ送信手段を備えたことにより、データ送信手段を変更することなく、差分データを送信することができる。
【0066】
第4に、動画送信装置において、動画データを伝送路へ送信する際、エラー訂正のためのデータに動画データと同じ時間情報を付加するための時間情報付加手段を備えたことにより、動画データ受信装置で、動画データとエラー訂正のためのデータとの振り分ることができる。
【0067】
第5に、動画送信装置において、動画データを伝送路へ送信する際、動画受信装置から冗長度制御データを受信するための冗長度制御データ受信手段を備えたことにより、エラー訂正のためのデータを最適化して送信することができる。
【0068】
第6に、動画受信装置において、動画データを伝送路より受信する際、エラー訂正のためのデータを別帯域で受信するための差分データ受信手段を備えたことにより、データ受信手段を変更することなく、差分データを受信することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における動画データ構造図
【図2】本発明の第1の実施形態における動画伝送装置の構成を示すブロック図
【図3】本発明の第2の実施形態における動画データ構造図
【図4】本発明の第2の実施形態における動画伝送装置の構成を示すブロック図
【図5】本発明の第3の実施形態における動画データ構造図
【図6】本発明の第3の実施形態における動画伝送装置の構成を示すブロック図
【図7】本発明の第4の実施形態における動画データ構造図
【図8】本発明の第4の実施形態における動画伝送装置の構成を示すブロック図
【図9】本発明の第5の実施形態における動画伝送装置の構成を示すブロック図
【図10】従来の動画伝送装置の構成を示すブロック図
【符号の説明】
201 動画送信装置
202 動画受信装置
203 伝送路
204 ネットワーク・インタフェース手段
205 データ送信手段
206 データ受信手段
207 動画データ供給手段
208 動画データ取得手段
209 ネットワーク・インタフェース手段
210 入力手段
211 データ送信手段
212 データ受信手段
213 エラー判定手段
214 復号手段
215 表示手段
216 差分データ計算手段
217 時間情報付加手段
218 差分データ付加手段
219 冗長データ選別手段
220 エラー回復手段
401 動画送信装置
402 動画受信装置
403 伝送路
404 ネットワーク・インタフェース手段
405 データ送信手段
406 データ受信手段
407 動画データ供給手段
408 動画データ取得手段
409 ネットワーク・インタフェース手段
410 入力手段
411 データ送信手段
412 データ受信手段
413 エラー判定手段
414 復号手段
415 表示手段
416 差分データ計算手段
417 時間情報付加手段
418 差分データ付加手段
419 冗長データ選別手段
420 エラー回復手段
421 基本画像保持手段
422 基本画像保持手段
601 動画送信装置
602 動画受信装置
603 伝送路
604 ネットワーク・インタフェース手段
605 データ送信手段
606 データ受信手段
607 動画データ供給手段
608 動画データ取得手段
609 ネットワーク・インタフェース手段
610 入力手段
611 データ送信手段
612 データ受信手段
613 エラー判定手段
614 復号手段
615 表示手段
616 差分データ計算手段
617 時間情報付加手段
618 差分データ送信手段
619 差分データ受信手段
620 エラー回復手段
801 動画送信装置
802 動画受信装置
803 伝送路
804 ネットワーク・インタフェース手段
805 データ送信手段
806 データ受信手段
807 動画データ供給手段
808 動画データ取得手段
809 ネットワーク・インタフェース手段
810 入力手段
811 データ送信手段
812 データ受信手段
813 エラー判定手段
814 復号手段
815 表示手段
816 差分データ計算手段
817 時間情報付加手段
818 差分データ送信手段
819 差分データ受信手段
820 エラー回復手段
821 基本画像保持手段
822 基本画像保持手段
901 動画送信装置
902 動画受信装置
903 伝送路
904 ネットワーク・インタフェース手段
905 データ送信手段
906 データ受信手段
907 動画データ供給手段
908 動画データ取得手段
909 ネットワーク・インタフェース手段
910 入力手段
911 データ送信手段
912 データ受信手段
913 エラー判定手段
914 復号手段
915 表示手段
916 差分データ計算手段
917 時間情報付加手段
918 差分データ付加手段
919 冗長データ選別手段
920 エラー回復手段
921 冗長度データ受信手段
922 冗長度データ送信手段
1001 動画送信装置
1002 動画受信装置
1003 伝送路
1004 ネットワーク・インタフェース手段
1005 データ送信手段
1006 データ受信手段
1007 動画データ供給手段
1008 動画データ取得手段
1009 ネットワーク・インタフェース手段
1010 入力手段
1011 データ送信手段
1012 データ受信手段
1013 エラー判定手段
1014 復号手段
1015 表示手段
1016 冗長データ付加手段

Claims (11)

  1. フレーム内符号化画像であるIピクチャとフレーム間順方向予測符号化画像であるPピクチャとを有する動画データを供給する動画データ供給手段と、前記動画データ供給手段から目的の動画データを取り出す動画データ取得手段と、前記Iピクチャと前記Iピクチャ以前の他のピクチャとの順方向予測符号化画像であるエラー訂正ピクチャを計算する差分データ計算手段と、前記Iピクチャ、前記Pピクチャ及び前記エラー訂正ピクチャを伝送路に送信するデータ送信手段と、前記エラー訂正ピクチャに前記Iピクチャと同じ時間情報を付加するための時間情報付加手段とを備える動画送信装置。
  2. 前記エラー訂正ピクチャは、前記Iピクチャの直前の前記Pピクチャと前記Iピクチャとの順方向予測符号化画像である請求項1記載の動画送信装置。
  3. 前記エラー訂正ピクチャは、現在のIピクチャの直前のIピクチャと前記現在のIピクチャとの順方向予測符号化画像である請求項1記載の動画送信装置。
  4. 前記データ送信手段は、エラー訂正ピクチャを、前記Iピクチャの前または後に配置して送信するものである請求項2又は3記載の動画送信装置。
  5. 前記エラー訂正ピクチャを送信するための差分データ送信手段を更に備える請求項1ないし4のいずれか記載の動画送信装置。
  6. 冗長度制御データを受信する冗長度制御データ受信手段を更に備え、前記データ送信手段は、前記冗長度制御データを用いてエラー訂正ピクチャの送信の有無の判断をする請求項1ないしのいずれか記載の動画送信装置。
  7. 伝送路からフレーム内符号化画像であるIピクチャとフレーム間順方向予測符号化画像であるPピクチャと前記Iピクチャと前記Iピクチャより以前の他のピクチャとの順方向予測符号化画像であるエラー訂正ピクチャとを有する動画データを受信するデータ受信手段と、エラー訂正ピクチャを用いてエラーを回復するエラー回復手段と、前記データ受信手段によって受信された動画データから画像を復号する復号手段と、前記復号手段によって復号された画像を表示する表示手段と、前記エラー訂正ピクチャに時間情報が含まれる場合は、前記時間情報によって前記エラー訂正ピクチャを選別する冗長データ選別手段とを備えることを特徴とする動画受信装置。
  8. 前記エラー訂正ピクチャは、前記Iピクチャの直前の前記Pピクチャと前記Iピクチャとの順方向予測符号化画像である請求項記載の動画受信装置。
  9. 前記エラー訂正ピクチャは、現在のIピクチャの直前のIピクチャと前記現在のIピクチャとの順方向予測符号化画像である請求項記載の動画受信装置。
  10. 前記エラー訂正ピクチャを受信するための差分データ受信手段を更に備える請求項ないしのいずれか記載の動画受信装置。
  11. 冗長度制御データを送信するための冗長度制御データ送信手段を更に備える請求項ないし10のいずれか記載の動画受信装置。
JP2000091890A 1999-04-02 2000-03-29 動画送信装置及び動画受信装置 Expired - Fee Related JP3591712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000091890A JP3591712B2 (ja) 1999-04-02 2000-03-29 動画送信装置及び動画受信装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-96326 1999-04-02
JP9632699 1999-04-02
JP2000091890A JP3591712B2 (ja) 1999-04-02 2000-03-29 動画送信装置及び動画受信装置

Publications (2)

Publication Number Publication Date
JP2000350217A JP2000350217A (ja) 2000-12-15
JP3591712B2 true JP3591712B2 (ja) 2004-11-24

Family

ID=26437545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000091890A Expired - Fee Related JP3591712B2 (ja) 1999-04-02 2000-03-29 動画送信装置及び動画受信装置

Country Status (1)

Country Link
JP (1) JP3591712B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
AU2006223416A1 (en) 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP4952636B2 (ja) * 2008-03-31 2012-06-13 サクサ株式会社 映像通信装置および映像通信方法
JP5409032B2 (ja) * 2009-02-06 2014-02-05 キヤノン株式会社 送信装置、及び、方法、プログラム
JP2012253822A (ja) * 2012-09-24 2012-12-20 Meidensha Corp Mpegデータの送受信方法

Also Published As

Publication number Publication date
JP2000350217A (ja) 2000-12-15

Similar Documents

Publication Publication Date Title
KR100960282B1 (ko) 비디오 부호화
JP3507766B2 (ja) 転送セルに圧縮されたビデオデータをフォーマットする方法
EP0798929B1 (en) MPEG coded picture decoding apparatus with error correction
JP3434653B2 (ja) マルチメディアデータ蓄積伝送方法及び装置
CN1751518B (zh) 图像编码方法
KR101075860B1 (ko) 비디오 시퀀스에서 오류 은폐 방법
US10075726B2 (en) Video decoding method/device of detecting a missing video frame
JP3591712B2 (ja) 動画送信装置及び動画受信装置
EP1041827B1 (en) Moving picture transmission apparatus, reception apparatus and recording medium
CN102326403B (zh) 利用外部图片属性标记来加快频道改变时间
WO2002087232A1 (en) Method and device for generating a video signal
JP2001025007A (ja) Mpegストリーム切替方法
JP4613860B2 (ja) Mpeg符号化ストリーム復号装置
JP2001086153A (ja) データ通信装置、データ通信システム、データ通信方法及び記憶媒体
JPH08191451A (ja) 動画像送信装置
JPH11177986A (ja) Mpeg映像情報提供方法
KR20050010043A (ko) 암호화된 정보를 포함하는 스트림을 처리하는 방법 및 장치
JPH1155660A (ja) デジタル・ビットストリームの修正における又はデジタル・ビットストリームの修正に関する改良
JPH1070727A (ja) 動画像伝送方法および動画像伝送装置
JPH10336674A (ja) デジタル放送受信機
JPH10112852A (ja) 映像データ伝送装置及び映像データ伝送方法
US10250889B1 (en) System, method and computer readable medium for providing visual content to a user
JP2004187075A (ja) 動画像通信装置、動画像通信方法、動画像通信プログラム及びプログラム記録媒体
JP2001352516A (ja) 動画情報蓄積再生方法及び装置
KR20050019876A (ko) 비디오 시퀀스에서 오류 은폐 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040819

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees