JPH099262A

JPH099262A - 蓄積映像符号化情報の送受信方法

Info

Publication number: JPH099262A
Application number: JP7153296A
Authority: JP
Inventors: Tomoaki Tanaka; 知明田中; Hiroshi Kodera; 博小寺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1995-06-20
Filing date: 1995-06-20
Publication date: 1997-01-10

Abstract

(57)【要約】【目的】通信路のビットレートの変動に対する融通性
に富み、かつ、フレーム間予測符号化などの圧縮率の高
い映像符号化を用いて符号化しておくことが可能な蓄積
映像符号化情報の送受信方法を実現する【構成】蓄積した映像符号化情報を部分に分けて管理
し、各部分を送信すべき時間、送信時間遅延の許容範
囲、ならびに、該部分が復号化が可能な条件を管理し、
通信路に情報送出を行う際に、該蓄積符号化情報の遅延
の許容範囲内で、かつ、該部分が復号化が可能な条件を
満たす場合にのみ送信する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】ＬＡＮなど送信可能なビットレー
トが時間とともに変動する通信路を用いた、映像情報の
検索や、ビデオオンデマンドなどに適用可能である。

【０００２】

【従来の技術】本発明に類似した従来技術として以下の
２種の方法が知られている。（１）どれだけの情報が失われるか保証できない通信路
を用いる場合。（２）時間とともに使用可能なビットレートが変動する
ことは無いが、場合によって使用可能なビットレートが
異なる通信路を用いる場合。

【０００３】以下、上記２種の方法とその欠点について
説明する。

【０００４】まず最初に、通信路内でどれだけの情報が
失われるか保証できない（１）の場合ヘ対処する従来技
術について説明する。このような事態は、例えば、イン
ターネットにおいて、ＵＤＰ／ＩＰとして知られている
非確認型伝送手順を用いた場合に生じる。

【０００５】図６は、全映像フレームをフレーム内予測
符号化した場合の従来技術の説明図である。全ての映像
フレームごとの映像情報１０１を、フレーム内予測符号
化した映像符号化情報１０２として送信する。図６の例
では、通信路内で使用可能なビットレートが変動して、
一部の映像符号化情報が廃棄され、受信側では映像フレ
ーム２、４、５、６に対応する映像符号化情報１０２’
が受信されない。しかしながら、正しく届いた映像フレ
ーム１、３、７に対応する映像符号化情報は、全て、単
独で復号化が可能なフレーム内予測符号化情報であるた
め、映像フレーム１、３、７の映像情報は正しく復号化
され、復号化された映像情報１０１’となる。復号化さ
れた映像情報１０１’をもとに、表示すべき映像フレー
ムが足りない場合には、前の映像フレームの映像情報を
繰り返すことにより表示する。

【０００６】この技術では、もとの映像情報に比ベ、時
間方向の解像度（時間当たりの映像フレーム数）は低下
するが、通信路のどの様なビットレート変動にも対応可
能でビットレートに対する融通性に富んでいる。しかし
ながら、フレーム内予測映像符号化は、フレーム間予測
符号化に比ベ情報の圧縮率が悪いため、蓄積に多くの容
量を必要とし、通信路の有効利用と言う点でも好ましく
ない。

【０００７】次に、時間とともに使用可能なビットレー
トが変動することは無いが、場合によって使用可能なビ
ットレートが異なる通信路を用いる（２）の場合につい
て従来の技術を説明する。

【０００８】この様な場合に対処する方法として、階層
符号化という手法が知られている。階層符号化では、映
像符号化情報を、その層があればとりあえずの映像情報
を復号化可能な基本層と呼ばれる第１層と、基本層を含
む自層以下の情報に付加することによって、より高品質
な映像情報を復号化することが可能な１つ以上の付加層
に分割し、通信路のビットレートに応じて、第何層まで
送受するかを決定する。

【０００９】図７は、２層を用いた時間軸方向の階層符
号化と呼ばれる蓄積映像符号化情報の送信方式の例であ
る。図７では、それ自身で復号化が可能な、フレーム内
予測符号化の映像符号化情報１０２が基本層（図中の無
地の四角の部分）である。一方、前に送ったフレーム内
予測符号化情報をもとに符号化／復号化を行う必要があ
る、すなわち、基本層がある場合にのみ復号化が可能な
フレーム間予測符号化の映像符号化情報が付加層（図中
の斜線の四角の部分）である。

【００１０】あらかじめ、通信路の使用可能なビットレ
ートが分かっている場合、例えば、充分なビットレート
が使用可能な場合には、基本層と付加層の両方を送るこ
とにより、映像フレーム１〜７の全ての映像情報を表示
することができる。一方、使用可能なビットレートが少
ない場合には、付加層である映像フレーム２、３、５、
６の映像符号化情報を送信しない。この場合、映像フレ
ームの１、４、７のみが、動きの悪い映像として表示さ
れる。

【００１１】この技術では、フレーム間予測符号化を用
いるため、（１）の技術に比ベて映像の圧縮効率が向上
し、通信路の有効利用という点で好ましいが、図８に示
すように、低品質映像用の情報である基本層と、高品質
映像を得るために必要な付加層が固定的に割り当てられ
ているために、使用可能なビットレートが途中で変動す
る場合や、使用可能なビットレートが基本層以下の場合
には対処できなかった。

【００１２】

【発明が解決しようとする課題】本発明は、通信路のビ
ットレートの変動に対する融通性に富み、かつ、フレー
ム間予測符号化などの圧縮率の高い映像符号化を用いて
符号化しておくことが可能な蓄積映像符号化情報の送受
信方法を実現することを目的とする。

【００１３】

【課題を解決するための手段】符号化された各映像フレ
ームの映像符号化情報について、現在の時間が、本来、
映像符号化情報を送信すべき時間と等しくなるか越えた
場合、以下の方針で送信を行う。（１）映像符号化情報がフレーム内予測符号化の場合、
次のフレーム内符号化情報を送信すべき時間より前であ
れば送信する。（２）順方向フレーム間予測符号化の場合には、ひとつ
前のフレーム内予測符号化あるいは順方向フレーム間予
測符号化された映像符号化情報がすでに送信済みで、か
つ、次のフレーム内符号化あるいは順方向フレーム間予
測符号化された映像符号化情報を送信すべき時間より前
であれば送信する。（３）両方向フレーム内予測符号化の場合には、ひとつ
前およびひとつ後のフレーム内予測符号化あるいは順方
向フレーム間予測符号化された映像符号化情報がすでに
送信済みで、送信すべき時間と等しければ送信する。遅
れていれば送らない。

【００１４】また、複数の映像フレームを組みで管理す
る場合には、・組みの中にフレーム内予測符号化が含まれている場合
にはフレーム内予測符号化として、・フレーム内予測符号化が含まれず、かつ、順方向フレ
ーム間予測符号化が含まれる場合には、順方向フレーム
間予測符号化として、また、・両方向フレーム間予測符号化のみしか含まれない場合
には両方向フレーム間予測符号化として、上記（１）〜（３）のルールで取り扱う。

【００１５】

【作用】蓄積した映像符号化情報を部分に分けて管理
し、各部分を送信すべき時間、送信時間遅延の許容範
囲、ならびに、該部分が復号化が可能な条件を管理し、
通信路に情報送出を行う際に、該蓄積符号化情報の遅延
の許容範囲内で、かつ、該部分が復号化が可能な条件を
満たす場合にのみ送信することにより、フレーム間予測
符号化などの高い圧縮率で符号化された映像情報を、通
信路が提供可能な任意のビットレートに対応して、選択
的に、かつ、受信側で復号化が可能なように送信するこ
とが可能である。また、スロー再生、早送り再生も可能
とする。

【００１６】

【実施例】

（第１実施例）まず、ＩＴＵ−ＴとＩＳ０／ＩＥＣが共
通の勧告として文書を作成した通称ＭＰＥＧ２ビデオ
（ＩＴＵ−Ｔ勧告Ｈ。２６２、ＩＳＯ／ＩＥＣ勧告 138
18-2）をもとに本発明の第１実施例について説明する。
ＭＰＥＧ２ビデオでは、フレーム内予測符号化、時間的
に前の映像フレームの映像符号化情報を参照してフレー
ム間予測する順方向フレーム間予測符号化、時間的に前
および後ろの映像フレームの映像符号化情報を参照して
フレーム間予測する両方向フレーム間予測符号化の３種
の符号化を行うことができる。図１に、これら３種の符
号化を用いた符号化の様子を示す。

【００１７】図１（ａ）に示すように、第１映像フレー
ムでは、前の映像フレームが存在しないためフレーム内
予測符号化を行う。次に第１フレームの映像符号化情報
を参照して、第４フレームは順方向フレーム間予測符号
化を行う。第２、第３映像フレームは、第１および第４
映像フレームの映像符号化情報を参照して、両方向フレ
ーム間予測を行う。次に、第７映像フレームは、第４映
像フレームの映像符号化情報を参照して順方向フレーム
間予測符号化を行う。第５、第６映像フレームは、第４
および第７映像フレームの映像符号化情報を参照して、
両方向フレーム間予測を行う。

【００１８】図１（ａ）からも明らかなように、必ずし
も時間的に前の映像フレームが先に符号化されるわけで
は無く、映像符号化情報の蓄積、送受信ならびに復号化
の順番は図１（ｂ）のようになる。さらに、図１（ｃ）
に示すように、例えば復号化が終了した第４映像フレー
ムをすぐに表示するのでは無く、一時受信側で蓄積した
後、第２、３映像フレームが表示されるのを待った後に
表示される。なお、フレーム内予測符号化、順方向フレ
ーム間予測符号化、両方向フレーム間予測は、映像の圧
縮率が異なるため、１映像フレーム当たりの情報量が異
なり、一般に送信間隔が一定では無いが図１（ｂ）およ
び、この後の本発明の説明では、説明を分かり易くする
ため一定間隔で送受することを前提とする。

【００１９】図１を見ると次のことが分かる。

【００２０】フレーム内予測符号化を行っている第１映
像フレームの映像符号化情報は、他の映像フレームの映
像符号化情報が届いていなくとも復号化可能である。

【００２１】また、第１映像フレームと次のフレーム内
予測符号化を行っている第１０フレームとの間に挟まれ
た第２〜９映像フレームを復号化するのに必須の情報で
もある。すなわち、第１映像フレームの送信が本来送信
すべき時間０に遅れたとしても、第１映像フレームを受
信するまで、第２〜９映像フレームを復号化できないの
で、第１０映像フレームを送るより早い時間６までに送
信することができれば意味を持つ。

【００２２】順方向フレーム間予測符号化を行っている
第４映像フレームの場合には、第１映像フレームの映像
符号化情報を参照しなければ、復号化することができな
い。また、次のフレーム内予測符号化を行っている第１
０フレームとの間に挟まれた第２、３、５〜９映像フレ
ームを復号化するのに必須の情報である。すなわち、第
４映像フレームの送信が本来送信すべき時間１に遅れた
としても、第４映像フレームを受信するまで、第２、
３、５〜９映像フレームを復号化できないので、第１０
映像フレームを送るより早い時間６までに送信すること
ができれば意味を持つ。

【００２３】両方向フレーム間予測符号化を行っている
第２映像フレームの場合には、第１映像フレームおよび
第４映像フレームの映像符号化情報を参照しなければ、
復号化することができない。また、他の映像フレームを
復号化するのに必須の情報ではない。すなわち、第２映
像フレームの場合、本来送信すべき時間２に遅れた場合
には、受信側で表示するタイミングを失っており送る必
要は無い。

【００２４】上記を第１表にまとめる。

【００２５】

【表１】第１表なお、上記に示す送信すべき時間０〜９は、順序を示し
ており必ずしも時間的に等間隔であることを意味するも
のではない。

【００２６】第１表の結果を、各映像符号化情報の送信
条件として、より一般的に表現すると以下のようにな
る。

【００２７】符号化された各映像フレームの映像符号化
情報について、現在の時間が、本来、映像符号化情報を
送信すべき時間と等しくなるか越えた場合、以下の方針
で送信を行う。（１）映像符号化情報がフレーム内予測符号化の場合、
次のフレーム内符号化情報を送信すべき時間より前であ
れば送信する。（２）順方向フレーム間予測符号化の場合には、ひとつ
前のフレーム内予測符号化あるいは順方向フレーム間予
測符号化された映像符号化情報がすでに送信済みで、か
つ、次のフレーム内符号化あるいは順方向フレーム間予
測符号化された映像符号化情報を送信すべき時間より前
であれば送信する。（３）両方向フレーム内予測符号化の場合には、ひとつ
前およびひとつ後のフレーム内予測符号化あるいは順方
向フレーム間予測符号化された映像符号化情報がすでに
送信済みで、送信すべき時間と等しければ送信する。遅
れていれば送らない。

【００２８】つぎに、第１実施例を実現するための蓄積
情報の管理形式の一例を図２および図３を用いて説明す
る。

【００２９】蓄積媒体上に、図２（ａ）に太線で示すへ
ッダ、すなわち、送信すべき時問、許容送信時間、参照
する映像フレーム番号（参照１および参照２）ならびに
映像フレーム番号を付与して映像符号化情報を蓄積す
る。該ヘッダは、必ずしも映像符号化情報と一緒に蓄積
する必要は無く、論理的なリンクを設けて、別領域に蓄
積しておいても良い。また、実施例では、参照する映像
フレームが無い場合には”ＦＦ”を記述している。前述
のようにフレーム内符号化された情報は参照すべき映像
フレームが無いため、参照１、２ともに”ＦＦ”となっ
ており、順方向フレーム間符号化された情報は、フレー
ム内符号化あるいは順方向フレーム間予測符号化された
映像フレームを１つだけ参照する必要があるため、参照
１には実際に参照すべき映像フレームの番号が記述され
ているが、参照２には”ＦＦ”が記述される。また、両
方向フレーム内予測符号化の場合には、２つの映像フレ
ームを参照する必要があるため、参照１、２ともに実際
に参照すべき映像フレームの番号が記述されている。こ
れを使用するための送信システムは図２（ｂ）に示すよ
うな送信管理テーブルを持つ。送信管理テーブルでは、
フレーム内予測符号化あるいは順方向フレーム間符号化
された映像フレームのうち、最も近い時期に送信した映
像フレーム番号；送信１およびその一つ前に送信した映
像フレーム番号；送信２を保持する。なお、送信１、２
の初期値は”ＦＦ”とする。

【００３０】図３は図２に示す管理情報を使用する際の
フローチャートである。送信が終了した次の蓄積情報の
へッダを読み込み、網が送信可能になるまで待つ。送信
可能になった時点で、現在の時間と、送信すべき時間な
らびに許容送信時問を比較する。

【００３１】送信すべき時問≦現在の時間が偽の場合に
は、まだ送るには早すぎると判断して、送信すべき時間
≦現在の時間が真になるまで待つ。現在の時間≦許容送
信時間が偽の場合には、送るには手遅れと判断して次の
蓄積情報のへッダを読む。

【００３２】送信すべき時間≦現在の時間≦許容送信時
間が真の場合、以下の２式が真である場合には、本映像
フレームを復号化する際に参照しなければならない映像
フレームが既に送信されていることを示すことになるた
め、送信すべきと判断して情報を送信する。（送信１）ａｎｄ（参照１）＝（送信１）（送信２）ａｎｄ（参照２）＝（送信２）なお、フレーム内符号化の場合には（参照１）（参照
２）ともに”ＦＦ”であるため上の２式は常に真とな
る。また、順方向フレーム間予測符号化の場合には、同
様に第２式は常に真となる。

【００３３】さらに、送信した情報がフレーム内符号化
あるいは順方向フレーム間符号化の場合には、下式を実
行することにより、情報を送ったことを送信管理テーブ
ルに記録し、次の情報を送る際の参考情報（送信１、
２）とし、次の蓄積情報のへッダを読み込む状態に戻
る。

【００３４】（送信２）＝（送信１）（送信１）＝（映像フレーム番号）第１実施例においては、復号化に必要な参照すべき映像
フレームは必ず送信されているため、受信側では無判断
で復号化を行うことができる。

【００３５】（第２実施例）次に、複数の映像フレーム
を組みで管理する場合の第２実施例について、図４およ
び図５を用いて説明する。

【００３６】・組みの中にフレーム内予測符号化が含ま
れている場合にはフレーム内予測符号化として、・フレーム内予測符号化が含まれず、かつ、順方向フレ
ーム間予測符号化が含まれる場合には、順方向フレーム
間予測符号化として、また、・両方向フレーム間予測符号化のみしか含まれない場合
には両方向フレーム間予測符号化として、第１実施例で示した（１）〜（３）のルールで取り扱
う。

【００３７】蓄積媒体上に、図４（ａ）に太線で示すへ
ッダ、すなわち、送信すべき時間、許容送信時問、参照
する映像フレーム番号（参照１および参照２）ならびに
映像フレーム番号を付与して映像符号化情報を蓄積する
こと、および、これを使用するために図４（ｂ）に示す
ように、フレーム内予測符号化あるいは順方向フレーム
間符号化された映像フレームのうち、最も近い時期に送
信した映像フレーム番号；送信１およびその一つ前に送
信した映像フレーム番号；送信２を保持することは第１
実施例と同じであるが、例えば、第１の蓄積情報は、フ
レーム内符号化された映像フレーム１と順方向フレーム
間予測された映像フレーム４を組みにして蓄積している
ため、蓄積情報の組みとしては、フレーム内符号化され
た映像フレーム１を優先し、参照１、２ともに”ＦＦ”
とし、参照すべき映像フレームは無いとしている。ま
た、許容送信時間も映像フレーム４の許容送信時間３で
なく、映像フレーム１の許容送信時間６を記述する。さ
らに、蓄積用ヘッダとして、あらたに、その組みに含ま
れるフレーム内符号化あるいは順方向フレーム間符号化
された映像フレームの番号のうち時間的に最も遅いもの
から２つを、内蔵１、内蔵２に記述する。

【００３８】図５は図４に示す管理情報を使用する際の
フローチャートである。送信するかしないかの判断は、
第１実施例で示した図３と全く同じであるが、送信管理
テーブルの送信１、２の書き換えを内蔵１、２の情報を
用いて行う点が異なる。

【００３９】また、第２実施例においては、複数の映像
フレームを組みにして送信するため、例えば、図４の最
下段に示す両方向フレーム間予測符号化された映像フレ
ーム６およびフレーム内符号化された映像フレーム１０
を含む情報は、フレーム内符号化が優先されるため参照
１、２ともに”ＦＦ”となって事前に送信した映像フレ
ームに関わらず送信することになるが、両方向フレーム
間予測符号化された映像フレーム６については、映像フ
レーム４および７が事前に送信されていなければ復号化
できない。従って、第２実施例においては、受信した符
号化情報を全て復号するのではなく、既に到着している
映像フレームの番号を認識し、復号不可能な情報は廃棄
する。

【００４０】（第３実施例）次に第３実施例の説明をす
る。第１および第２の実施例において、通信に使用でき
るビツトレートがどのようなものであっても許容できる
遅延時間の範囲で最大限送信可能な情報を送受信する方
法について述ベたが、図３および図５のフローチャート
において現在の時間を刻むタイマーを、実際のタイマー
の１／ｎ、あるいは、ｎ倍することにより、符号化情報
を実際に再生すべき時間よりもゆっくり、あるいは、高
速に送受信することができる。これにより、受信側で
は、スロー再生、高速再生が可能になる。

【００４１】

【発明の効果】本発明の蓄積映像符号化情報の送受信方
法を用いれば、フレーム内符号化のみを行う従来の技術
と異なり、順方向、両方向フレーム間予測符号化など、
圧縮効率の高い符号化を用いることができるとともに、
従来の階層符号化を用いた従来の技術と異なり、通信路
が提供できるビツトレートが時間とともに変動する場合
にも柔軟に対応できる。

【００４２】また、本発明の蓄積映像符号化情報の送受
信方法を用いることにより、映像フレーム１枚１枚の情
報の大きさに縛られずに、蓄積情報の管理単位に融通を
持たせることができる。

【００４３】また、本発明の蓄積映像符号化情報の送受
信方法を用いることにより、蓄積媒体からの情報を受信
しながらスロー再生、高速再生が可能になる。

【図面の簡単な説明】

【図１】ＭＰＥＧ２ビデオにおける映像符号化／復号化
技術の説明図で、（ａ）ＭＰＥＧ２ビデオにおける映像
符号化例を示す図、（ｂ）映像符号化情報の蓄積、送受
信および復号化の順番を示す図、（ｃ）映像符号化情報
の復号化後の表示の順番を示す図

【図２】第１実施例で用いる管理情報を示す図で、
（ａ）蓄積用ヘッドの様子を示す図（ｂ）送信管理テーブルの例を示す図

【図３】第１実施例におけるフローチャート

【図４】第２実施例で用いる管理情報を示す図で、
（ａ）蓄積用ヘッドの様子を示す図（ｂ）送信管理テーブルの例を示す図

【図５】第２実施例におけるフローチャート

【図６】全映像フレームをフレーム内予測符号化した場
合の従来技術の説明図

【図７】階層符号化による従来技術のための説明図

【図８】階層符号化を用いた従来技術の説明図

【符号の説明】

１０１映像信号１０１′ 送信側映像符号化情報１０２復号化された映像情報１０２′ 受信側映像符号化情報５０１蓄積媒体

Claims

【特許請求の範囲】

【請求項１】符号化映像信号を蓄積し、該符号化映像
信号を通信路を介して送信する蓄積符号化映像信号の送
信システムにおいて、蓄積符号化映像信号の送信すべき時刻を映像フレーム毎
に管理し、通信路が送信可能な状態になった時点で、現
在時刻が送信対象の蓄積符号化映像フレームの送信すべ
き時問以降で、かつ、該送信対象の蓄積符号化映像信号がフレーム内予測符号
化信号の場合は、次のフレーム内符号化信号を送信すべ
き時間より前であれば送信し、該送信対象の蓄積符号化映像信号が順方向フレーム間予
測符号化の場合は、ひとつ前のフレーム内予測符号化あ
るいは順方向フレーム間予測符号化映像フレーム信号が
既に送信済みで、かつ、現在時刻が次のフレーム内符号
化あるいは順方向フレーム間予測符号化された映像フレ
ーム信号を送信すべき時間より前であれば送信し、該送信対象の蓄積符号化映像信号が両方向フレーム内予
測符号化の場合は、ひとつ前のフレーム内予測符号化あ
るいは順方向フレーム間予測符号化された映像フレーム
信号、および、ひとつ後のフレーム内予測符号化あるい
は順方向フレーム間予測符号化された映像フレーム信号
が既に送出済みで、送信すべき時間と等しければ送信
し、通信路が提供できるビットレートが、どの様な場合
にも、また、時間とともに変化しても柔軟に符号化デー
タを送受信可能とすることを特徴とする蓄積符号化映像
信号の送受信方法
【請求項２】符号化映像信号を蓄積し、該符号化映像
信号を通信路を介して送信する蓄積符号化映像信号の送
信システムにおいて、蓄積符号化映像信号の送信すべき時刻を単独の映像フレ
ーム、あるいは、複数の映像フレームを組み毎に管理
し、複数の映像フレームが組みで管理されている場合、組み
の中にフレーム内予測符号化が含まれている場合にはフ
レーム内予測符号化として、フレーム内予測符号化が含
まれず、かつ、順方向フレーム間予測符号化が含まれる
場合には、順方向フレーム間予測符号化として、また、
両方向フレーム間予測符号化のみしか含まれない場合に
は両方向フレーム間予測符号化として、請求項１記載の
送信方法に従うとともに、受信側では、映像フレームに
付与されているフレーム番号により、送られなかった映
像フレームがあることを検知し、参照すべき、フレーム
内符号化あるいは順方向フレーム間符号化された映像フ
レームが欠落している場合には復号不可能と判断して、
復号化を省略することにより、通信路が提供できるビッ
トレートが時問とともに変化しても柔軟に符号化データ
を送受信可能とすることを特徴とする蓄積符号化映像信
号の送受信方法。
【請求項３】請求項１乃至請求項２記載の蓄積符号化
映像信号の送受信方法において、送信すべき時刻を１／
ｎあるいはｎ倍することにより、通信路が提供できるビ
ットレートが時間とともに変化しても柔軟に符号化デー
タを送受信し、スロー再生、早送り再生を可能とするこ
とを特徴とする蓄積符号化映像信号の送受信方法。