JP4373283B2

JP4373283B2 - 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4373283B2
Application number: JP2004168796A
Authority: JP
Inventors: 裕江岩崎; 次郎長沼
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-06-07
Filing date: 2004-06-07
Publication date: 2009-11-25
Anticipated expiration: 2024-06-07
Also published as: JP2005348347A

Description

本発明は、ＩＰネットワークなどの伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法及びその装置と、その映像音声復号方法の実現に用いられる映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようにする映像音声復号方法及びその装置と、その映像音声復号方法の実現に用いられる映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

映像と音声とを伝送するシステムにおいて、従来では、ＭＰＥＧ−２で規定されているＰＣＲ再生を用いて、映像と音声の同期再生を実現するようにしている（例えば、非特許文献１参照）。

このＭＰＥＧ−２で規定されているＰＣＲ再生では、映像と音声のビットストリームを時刻情報のタイムスタンプを付加したトランスポートストリームに構成して、その映像音声のビットストリームを伝送し、そのタイムスタンプに従って、映像と音声の同期再生を確立するようにしている。
Information Technology-Generic Coding of Moving Pictures and Associated Audio: Systems-, ISO/IEC 13818-1 International Standard, November 1994.

ＭＰＥＧ−２の規格はハードウェア処理を想定しており、これから、計算機上のソフトウェアにより映像音声の同期再生を行う場合に、次のような問題が生じる。

すなわち、ＭＰＥＧ−２の規格では、２７ＭＨｚという非常に細かい精度での制御が要求されるものであり、従って、ＩＰネットワークなどによる映像音声伝送における映像／音声の同期制御については、通常の計算機上のアプリケーションレベルでの制御は困難である。

これから、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上でＰＣＲ再生を用いて映像と音声の同期制御を行うことができないというのが実情である。

このようなことを背景にして、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上で映像音声の符号化復号処理を扱うときの映像と音声の新たな同期技術の提供が求められている。

本発明はかかる事情に鑑みてなされたものであって、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上で映像音声の符号化復号処理を扱うときの映像と音声の新たな同期技術の提供を目的とする。

上記の目的を達成するために、本発明では、本発明の映像音声復号装置に対して伝送路を介して映像音声の符号化データのビットストリームを送信してくる装置が、映像と音声のフレームが入力されると、その映像と音声のフレームをキャプチャすると同時に符号化して、タイムスタンプを付加することなく、その符号化データのビットストリームを送信してくるという構成を採ることを前提としている。

上記の目的を達成するために、上記の前提の下、本発明の映像音声復号装置は、（１）規定のフレーム数分の映像を格納する映像用バッファと、（２）規定のフレーム数分の音声を格納する音声用バッファと、（３）映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する受信手段と、（４）映像用バッファに格納される映像のフレーム数が映像用バッファを満杯にするフレーム数より小さい数に設定される規定の閾値を超えていない場合には、受信手段の受信した映像を映像用バッファに格納し、超えている場合には、その受信した映像のピクチャ種別に応じて、その受信した映像を映像用バッファに格納するか破棄し、一方、映像用バッファに空きがない場合には、その受信した映像を破棄するとともに、その破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄する映像格納破棄実行手段と、（５）音声用バッファに空きがある場合には、受信手段の受信した音声を音声用バッファに格納し、音声用バッファに空きがない場合には、その受信した音声を破棄する音声格納破棄実行手段と、（６）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファから映像を連続的に読み出して復号する映像復号手段と、（７）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化に要する時間とその時間よりも小さい時間となる音声の符号化に要する時間との差に相当する時間分だけ遅らせる形で、音声用バッファから音声を連続的に読み出して復号する音声復号手段と、（８）映像復号手段の復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける映像出力手段と、（９）音声復号手段の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する音声出力手段とを備えるように構成する。

この構成を採るときにあって、映像格納破棄実行手段は、映像用バッファに格納される映像のフレーム数が上記の閾値を超えている場合にあって、受信手段の受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄するように処理することがある。

また、映像格納破棄実行手段は、閾値が複数設定される場合には、映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、受信手段の受信した映像のピクチャ種別とに応じて、その受信した映像を映像用バッファに格納するか破棄するのかを決定するように処理することがある。このとき、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど映像用バッファに格納されることになるようにと、その受信した映像を映像用バッファに格納するか破棄するのかを決定するように処理することがある。

また、映像格納破棄実行手段は、破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄するように処理することがある。

以上の各処理手段が動作することで実現される本発明の映像音声復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像音声復号装置では、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像を映像用バッファに格納していくとともに、その受信した音声を音声用バッファに格納していく。

このとき、映像については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファから映像を連続的に読み出して復号していく。従って、通常の場合には、映像用バッファにはほとんど映像が格納されることなく、映像の復号が実行されることになる。

一方、音声については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファから音声を連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファから音声を連続的に読み出して復号していく。従って、通常の場合には、音声については、符号化遅延分のフレーム数にほぼ一致する音声が音声用バッファに格納されて、音声の復号が実行されることになる。

このような処理を行うときに、一時的に映像及び音声の受信量が急激に増加することがあり、これにより、映像用バッファや音声用バッファが満杯に近づいていくことが起こる。

このような場合、音声については、音声同士の間で優先度が付けられないので、音声用バッファに入りきれない音声については破棄することになる。

一方、映像については、１つ又は複数の閾値を設けて、その閾値を超える場合にあって、フレーム内予測のピクチャのような優先度の高いピクチャを受信した場合には、それを映像用バッファに格納し、優先度の低いピクチャを受信した場合には、それを破棄することで、優先度の高いピクチャについてはできる限り破棄しないようにすることになる。

そして、そのような制御を行っても映像用バッファが満杯になるときには、映像用バッファに入りきれない映像については破棄することになる。このとき、破棄した映像が後続の映像に影響を与えるものである場合には、その破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄することになる。

また、このような処理を行うときに、一時的に映像及び音声の受信量が急激に減少することがあり、これにより、映像用バッファが空の状態になったり、音声用バッファに格納される音声が符号化遅延分のフレーム数を超えない状態になったりすることが起こる。

このような場合には、新たな映像が復号されない状態になったり、新たな音声が復号されない状態になるので、新たな映像が復号されない状態になることで、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声が復号されない状態になることで、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。

このようにして、本発明の映像音声復号装置によれば、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。

以上に説明したように、本発明によれば、時刻情報を用いずに、映像と音声の同期再生を実現できるようになる。

このようにして、本発明によれば、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、ＭＰＥＧ−２で規定されているＰＣＲ再生を用いずに、映像と音声の同期再生を実現できるようになるので、計算機上のソフトウェアを使って映像と音声の同期再生を実現できるようになる。

さらに、本発明によれば、ビットストリームに時刻情報を付加することを要求しないので、時刻情報の付加されたビットストリームについては意味のある再生ができなくなり、これにより、不正なビットストリーム（時刻情報が付加されている）の入り込む余地がなくなるという利点も得られる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明の適用される映像音声伝送システムの一例を図示する。

図中、１は映像音声符号化送信装置であって、映像と音声とを符号化して、その符号化データのビットストリームを送信するもの、２は本発明を具備する映像音声受信復号装置であって、映像音声符号化送信装置１から送信されてくる映像及び音声の符号化データのビットストリームを受信して復号するもの、３はＩＰネットワークなどのようなネットワークであって、映像音声符号化送信装置１と本発明の映像音声受信復号装置２との間を接続するものである。

本発明を実現する場合、映像音声符号化送信装置１は、映像と音声のフレームが入力されると、その映像と音声のフレームをキャプチャすると同時に符号化して（例えば、１秒間に３０フレームというようなフレームレートでキャプチャする）、タイムスタンプを付加することなく、その符号化データのビットストリームを本発明の映像音声受信復号装置２に送信するように動作する。

なお、一般的に符号化データを伝送する場合、ピクチャによっては符号化の順番を変えて伝送することが行われており、同時にキャプチャして符号化して送信するということは、厳密な意味で順番を保持するということを意味しておらず、一般的に行われているそのような順序の変更を含むものである。

この符号化にあたって、映像の符号化に要する時間（ΔＴ１）は音声の符号化に要する時間（ΔＴ２）よりも大きいことから、図中に示すように、映像の符号化データは音声の符号化データよりもΔＴの時間分だけ遅延されて、本発明の映像音声受信復号装置２に送信されてくることになる。

本発明の映像音声受信復号装置２は、このような形態で送られてくる映像及び音声の符号化データのビットストリームを受信して、タイムスタンプを用いることもなく、映像と音声の同期再生を実現するように処理する。

図２に、本発明の映像音声受信復号装置２の一実施形態例を図示する。

この図に示すように、本発明の映像音声受信復号装置２は、パケット受信破棄手段２０と、映像用バッファ２１と、音声用バッファ２２と、映像復号手段２３と、音声復号手段２４と、映像出力手段２５と、音声出力手段２６とを備える。

このパケット受信破棄手段２０は、映像音声符号化送信装置１から伝送されてくる映像及び音声の符号化データを受信して、その受信した映像や音声の符号化データを破棄したり、その受信した映像や音声の符号化データを映像用バッファ２１や音声用バッファ２２に格納する。

映像用バッファ２１は、初期設定で指定されるフレーム数のバッファで構成されて、映像音声符号化送信装置１から伝送されてくる映像符号化データを格納する。

音声用バッファ２２は、初期設定で指定されるフレーム数のバッファで構成されて（映像用バッファ２１のフレーム数と同一である必要はない）、映像音声符号化送信装置１から伝送されてくる音声符号化データを格納する。

映像復号手段２３は、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファ２１から映像符号化データを連続的に読み出して復号する。

音声復号手段２４は、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で音声用バッファ２２から音声符号化データを連続的に読み出して復号する。

映像出力手段２５は、映像復号手段２３の復号した映像を出力するとともに（図示しない出力用メモリに映像を書き込むことで出力する）、出力した映像に続く映像が復号されない場合には、その出力用メモリに新たな映像を書き込まないことで、その出力した映像を出力し続けるように制御する。

音声出力手段２６は、音声復号手段２４の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力するように制御する。

〔１〕本発明に関連する発明
図３ないし図６に、このように構成される本発明の映像音声受信復号装置２が本発明に関連する発明を実現するときに実行する処理フローの一例を図示する。

ここで、図３は映像音声符号化送信装置１から映像符号化コードを受信したときに実行する処理フローの一例を示し、図４は映像音声符号化送信装置１から音声符号化コードを受信したときに実行する処理フローの一例を示し、図５は映像用バッファ２１に格納される映像符号化データの復号処理の処理フローの一例を示し、図６は音声用バッファ２２に格納される音声符号化データの復号処理の処理フローの一例を示す。

次に、これらの処理フローに従って、このように構成される本発明の映像音声受信復号装置２が本発明に関連する発明を実現するときに実行する処理について詳細に説明する。

〔１−１〕映像符号化コードの受信時の処理
先ず最初に、図３の処理フローに従って、映像符号化コードの受信時の処理について説明する。

本発明の映像音声受信復号装置２は、本発明に関連する発明を実現する場合には、映像音声符号化送信装置１から映像符号化コードを受信すると、図３の処理フローに示すように、先ず最初に、ステップ１０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがあることを判断するときには、ステップ１１に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。

一方、ステップ１０の判断処理に従って、映像用バッファ２１に空きがないことを判断するときには、ステップ１２に進んで、受信した映像符号化コードを破棄する。すなわち、映像用バッファ２１に格納することができないので破棄するのである。

続いて、ステップ１３で、破棄した映像符号化コードがＩピクチャであるのか否かを判断して、Ｉピクチャであることを判断するときには、ステップ１４に進んで、次に受信するＩピクチャまでの後続のＰ，Ｂピクチャの映像符号化コードを破棄して、処理を終了する。すなわち、後続のＰ，Ｂピクチャが破棄したＩピクチャの影響を受けるので、それらを破棄するのである。

一方、ステップ１３の判断処理に従って、破棄した映像符号化コードがＩピクチャでないことを判断するときには、ステップ１５に進んで、破棄した映像符号化コードがＰピクチャであるのか否かを判断して、Ｐピクチャであることを判断するときには、ステップ１６に進んで、次に受信するＩピクチャまでの後続のＢピクチャの映像符号化コードを破棄して、処理を終了する。すなわち、後続のＢピクチャが破棄したＰピクチャの影響を受けるので、それらを破棄するのである。

一方、ステップ１５の判断処理に従って、破棄した映像符号化コードがＰピクチャでないことを判断するとき、すなわち、破棄した映像符号化コードがＢピクチャであることを判断するときには、そのまま処理を終了する。すなわち、破棄の影響を受けるピクチャが存在しないので、そのまま処理を終了するのである。

〔１−２〕音声符号化コードの受信時の処理
次に、図４の処理フローに従って、音声符号化コードの受信時の処理について説明する。

本発明の映像音声受信復号装置２は、本発明に関連する発明を実現する場合には、映像音声符号化送信装置１から音声符号化コードを受信すると、図４の処理フローに示すように、先ず最初に、ステップ２０で、音声用バッファ２２に空きがあるのか否かを判断して、音声用バッファ２２に空きがあることを判断するときには、ステップ２１に進んで、受信した音声符号化コードを音声用バッファ２２に格納して、処理を終了する。

一方、ステップ２０の判断処理に従って、音声用バッファ２２に空きがないことを判断するときには、ステップ２２に進んで、受信した音声符号化コードを破棄して、処理を終了する。すなわち、音声用バッファ２２に格納することができないので破棄するのである。

〔１−３〕映像符号化データの復号処理
次に、図５の処理フローに従って、映像符号化データの復号処理について説明する。

本発明の映像音声受信復号装置２は、本発明に関連する発明を実現する場合には、映像音声符号化送信装置１から送られてくる映像符号化データの復号要求があると、図５の処理フローに示すように、先ず最初に、ステップ３０で、映像用バッファ２１が空となったのか否かを判断して、映像用バッファ２１が空となっていないことを判断するときには、ステップ３１に進んで、映像用バッファ２１から映像符号化データを読み出す。

続いて、ステップ３２で、その読み出した映像符号化データを復号し、続くステップ３３で、その復号した映像を出力してから、ステップ３０に戻る。

一方、ステップ３０の判断処理に従って、映像用バッファ２１が空となったことを判断するときには、ステップ３４に進んで、直前の映像を出力し続けるように制御してから、ステップ３０に戻る。

〔１−４〕音声符号化データの復号処理
次に、図６の処理フローに従って、音声符号化データの復号処理について説明する。

本発明の映像音声受信復号装置２は、本発明に関連する発明を実現する場合には、映像音声符号化送信装置１から送られてくる音声符号化データの復号要求があると、図６の処理フローに示すように、先ず最初に、ステップ４０で、音声用バッファ２２に格納される音声符号化データが規定の閾値（図１に示した符号化遅延ΔＴに相当するフレーム数で設定される）を超えているのか否かを判断して、閾値を超えていることを判断するときには、ステップ４１に進んで、音声用バッファ２２から音声符号化データを読み出す。

続いて、ステップ４２で、その読み出した音声符号化データを復号し、続くステップ４３で、その復号した音声を出力し、続くステップ４４で、変数ｉに“０”をセットしてから、ステップ４０に戻る。

一方、ステップ４０の判断処理に従って、音声用バッファ２２に格納される音声符号化データが規定の閾値を超えていないということを判断するときには、ステップ４５に進んで、変数ｉの値が“０”であるのか否かを判断する。

この判断処理に従って、変数ｉの値が“０”であることを判断するとき、すなわち、ステップ４０〜ステップ４４のループを始めて抜けてきたことを判断するときには、ステップ４６に進んで、変数ｉに“１”をセットし、続くステップ４７で、直前に出力した音声を出力してから、ステップ４０に戻る。

一方、ステップ４５の判断処理に従って、変数ｉの値が“０”でないことを判断するときには、ステップ４８に進んで、変数ｉの値が予め設定される最大値ｉmax を超えたのか否かを判断する。

この判断処理に従って、変数ｉの値が最大値ｉmax を超えていないことを判断するときは、ステップ４９に進んで、変数ｉの値を１つインクリメントし、続くステップ５０で、直前に出力した音声を出力してから、ステップ４０に戻る。

一方、ステップ４８の判断処理に従って、変数ｉの値が最大値ｉmax を超えたことを判断するときには、ステップ５１に進んで、無音を出力してから、ステップ４０に戻る。

〔１−５〕本発明に関連する発明の処理のまとめ
このようにして、本発明に関連する発明を実現する場合、本発明の映像音声受信復号装置２は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ２１に格納していくとともに、その受信した音声符号化データを音声用バッファ２２に格納していく。

このとき、映像符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファ２１から映像符号化データを連続的に読み出して復号していく。従って、通常の場合には、映像用バッファ２１にはほとんど映像符号化データが格納されることなく、映像符号化データの復号が実行されることになる。

一方、音声符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファ２２から音声符号化データを連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファ２２から音声符号化データを連続的に読み出して復号していく。従って、通常の場合には、音声符号化データについては、符号化遅延分のフレーム数にほぼ一致する音声符号化データが音声用バッファ２２に格納されて、音声符号化データの復号が実行されることになる。

このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に増加することがあり、これにより、映像用バッファ２１や音声用バッファ２２が満杯となることが起こる。

このような場合には、映像用バッファ２１に入りきれない映像符号化データについては破棄するとともに、音声用バッファ２２に入りきれない音声符号化データについては破棄することになる。このとき、破棄した映像符号化データが後続の映像符号化データに影響を与えるものである場合には、その破棄した映像符号化データにより影響を受ける後続の映像符号化データについては、映像用バッファ２１の格納状態に依らずに破棄することになる。

また、このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に減少することがあり、これにより、映像用バッファ２１が空の状態になったり、音声用バッファ２２に格納される音声符号化データが符号化遅延分のフレーム数を超えない状態になったりすることが起こる。

このような場合には、新たな映像符号化データが復号されない状態になったり、新たな音声符号化データが復号されない状態になるので、新たな映像符号化データが復号されない状態になることで、出力した映像に続く映像符号化データが復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声符号化データが復号されない状態になることで、出力した音声に続く音声符号化データが復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。

このようにして、本発明の映像音声受信復号装置２により実現される本発明に関連する発明によれば、ＩＰネットワークなどのネットワークを用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。

〔２〕第１の実施形態例
本発明に関連する発明では、映像用バッファ２１が満杯になるときに、映像音声符号化送信装置１から送られてくる映像符号化データを破棄するようにした。

これに対して、本実施形態例では、図７に示すように、映像用バッファ２１に対して閾値Ｔｈを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていない場合には、映像音声符号化送信装置１から送られてくる映像符号化データを無条件に映像用バッファ２１に格納し、（ii）閾値Ｔｈを超えた場合には、特定のピクチャ（以下、蓄積対象ピクチャと称する）の映像符号化データのみを映像用バッファ２１に格納し、それ以外のピクチャの映像符号化データについては破棄するという構成を採る。

この構成に従うと、一律に映像符号化データを破棄するのではなくて、他のフレームに大きな影響を与える蓄積対象ピクチャに対して優先的な復号処理を行えるようになる。

本実施形態例に従う場合、本発明の映像音声受信復号装置２は、図３の処理フローに代えて図８及び図９の処理フローを実行し、それ以外の図４〜図６の処理フローについては上述した本発明に関連する発明と同様に実行することになる。

〔２−１〕図８及び図９の処理フローの説明
本発明の映像音声受信復号装置２は、本実施形態例に従う場合には、映像音声符号化送信装置１から映像符号化コードを受信すると、図８及び図９の処理フローに示すように、先ず最初に、ステップ６０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがないことを判断するときには、ステップ６１に進んで、受信した映像符号化コードを破棄する。

続いて、ステップ６２で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。

一方、ステップ６０の判断処理に従って、映像用バッファ２１に空きがあることを判断するときには、ステップ６３に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えているのか否かを判断して、閾値Ｔｈを超えていないことを判断するときには、ステップ６４に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。

一方、ステップ６３の判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていることを判断するときには、ステップ６５に進んで、受信した映像符号化コードのピクチャ種別を判断する。

続いて、ステップ６６で、この判断処理に従って、受信した映像符号化コードのピクチャ種別が蓄積対象のピクチャ種別であることが得られたのか否かを判断して、蓄積対象ピクチャであることを判断するときは、ステップ６７に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。

一方、ステップ６６の判断処理に従って、受信した映像符号化コードのピクチャ種別が蓄積対象のピクチャ種別でないことを判断するときには、ステップ６８に進んで、受信した映像符号化コードを破棄し、続くステップ６９で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。

〔２−２〕第１の実施形態例の処理のまとめ
このようにして、本実施形態例に従う場合、本発明の映像音声受信復号装置２は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ２１に格納していくとともに、その受信した音声符号化データを音声用バッファ２２に格納していく。

このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に増加することがあり、これにより、映像用バッファ２１や音声用バッファ２２が満杯に近づいていくことが起こる。

このような場合、音声については、音声同士の間で優先度が付けられないので、音声用バッファ２２に入りきれない音声符号化データについては破棄することになる。

一方、映像については、ある１つの閾値を設けて、その閾値を超える場合にあって、フレーム内予測のピクチャのような優先度の高いピクチャの符号化データを受信した場合には、それを映像用バッファ２１に格納し、優先度の低いピクチャの符号化データを受信した場合には、それを破棄することで、優先度の高いピクチャの符号化データについてはできる限り破棄しないようにすることになる。

そして、そのような制御を行っても映像用バッファ２１が満杯になるときには、映像用バッファ２１に入りきれない映像符号化データについては破棄することになる。このとき、破棄した映像符号化データが後続の映像符号化データに影響を与えるものである場合には、その破棄した映像符号化データにより影響を受ける後続の映像符号化データについては、映像用バッファ２１の格納状態に依らずに破棄することになる。

このようにして、本発明の映像音声受信復号装置２によれば、ＩＰネットワークなどのネットワークを用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声との同期再生を実現できるようになる。

図８及び図９の処理フローでは、どのようなピクチャを蓄積対象ピクチャとするのかについて記載しなかったが、蓄積対象ピクチャとしては、例えば、ＭＰＥＧ−２やＭＰＥＧ−４で用いるＩピクチャやＩ−ＶＯＰピクチャなどのフレーム内予測のピクチャを用いることになる。

このようなフレーム内予測のピクチャは他のフレームに対する影響が大きいので、なるべく破棄されないようにすることが好ましいからである。

本発明の映像音声受信復号装置２は、蓄積対象ピクチャとしてフレーム内予測のピクチャを用いる場合には、図８及び図９の処理フローに代えて、蓄積対象ピクチャがフレーム内予測のピクチャであることを明記した図１０及び図１１の処理フローを実行することになる。

〔３〕第２の実施形態例
第１の実施形態例では、図７に示したように、映像用バッファ２１に対して閾値Ｔｈを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていない場合には、映像音声符号化送信装置１から送られてくる映像符号化データを無条件に映像用バッファ２１に格納し、（ii）閾値Ｔｈを超えた場合には、蓄積対象ピクチャの映像符号化データのみを映像用バッファ２１に格納し、それ以外のピクチャの映像符号化データについては破棄するようにした。

これに対して、第２の実施形態例では、図１２に示すように、映像用バッファ２１に対して２つの閾値Ｔｈ１とＴｈ２（Ｔｈ１＜Ｔｈ２）とを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えていない場合には、映像音声符号化送信装置１から送られてくるＩ，Ｐ，Ｂピクチャの映像符号化データを無条件に映像用バッファ２１に格納し、（ii）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１と閾値Ｔｈ２との間にある場合には、映像音声符号化送信装置１から送られてくるＩ，Ｐピクチャの映像符号化データについては映像用バッファ２１に格納し、映像音声符号化送信装置１から送られてくるＢピクチャの映像符号化データについては破棄し、(iii）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えた場合には、映像音声符号化送信装置１から送られてくるＩピクチャの映像符号化データについては映像用バッファ２１に格納し、映像音声符号化送信装置１から送られてくるＰ，Ｂピクチャの映像符号化データについては破棄するという構成を採る。

この構成に従うと、第１の実施形態例に従うときよりも、きめ細やかな優先的な復号処理を行えるようになる。

第２の実施形態例に従う場合、本発明の映像音声受信復号装置２は、図３の処理フローに代えて図１３及び図１４の処理フローを実行し、それ以外の図４〜図６の処理フローについては上述した本発明に関連する発明と同様に実行することになる。

〔３−１〕図１３及び図１４の処理フローの説明
本発明の映像音声受信復号装置２は、第２の実施形態例に従う場合には、映像音声符号化送信装置１から映像符号化コードを受信すると、図１３及び図１４の処理フローに示すように、先ず最初に、ステップ８０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがないことを判断するときには、ステップ８１に進んで、受信した映像符号化コードを破棄する。

続いて、ステップ８２で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。

一方、ステップ８０の判断処理に従って、映像用バッファ２１に空きがあることを判断するときには、ステップ８３に進んで、受信した映像符号化コードのピクチャ種別を判断する。

続いて、ステップ８４で、この判断処理に従って、受信した映像符号化コードのピクチャ種別がＢピクチャであることが得られたのか否かを判断して、Ｂピクチャであることを判断するときには、ステップ８５に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えているのか否かを判断する。

この判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えていないことを判断するときには、ステップ８６に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。そして、閾値Ｔｈ１を超えていることを判断するときには、ステップ８７に進んで、受信した映像符号化コードを破棄して、処理を終了する。

一方、ステップ８４の判断処理に従って、受信した映像符号化コードのピクチャ種別がＢピクチャでないことを判断するときには、ステップ８８に進んで、受信した映像符号化コードのピクチャ種別がＰピクチャであるのか否かを判断して、Ｐピクチャであることを判断するときには、ステップ８９に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えているのか否かを判断する。

この判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えていないことを判断するときには、ステップ９０に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。そして、閾値Ｔｈ２を超えていることを判断するときには、ステップ９１に進んで、受信した映像符号化コードを破棄し、続くステップ９２で、その破棄した映像符号化コードにより影響を受ける後続の映像符号化コード（具体的にはＢピクチャの映像符号化コード）を破棄して、処理を終了する。

一方、ステップ８８の判断処理に従って、受信した映像符号化コードのピクチャ種別がＰピクチャでないことを判断するとき、すなわち、受信した映像符号化コードのピクチャ種別がＩピクチャであることを判断するときには、ステップ９３に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。

〔３−２〕第２の実施形態例のまとめ
第２の実施形態例の基本的な処理の流れは、第１の実施形態例と同様である。異なる点は、第１の実施形態例では、図７に示すような形態で映像符号化データの格納破棄を制御するのに対して、第２の実施形態例では、図１２に示すような形態で映像符号化データの格納破棄を制御するという点である。

この構成に従って、第２の実施形態例によれば、第１の実施形態例に従うよりも、きめ細やかな優先的な復号処理を行えるようになる。

本発明の適用される映像音声伝送システムの説明図である。本発明の映像音声受信復号装置の一実施形態例である。本発明に関連する発明で実行する処理フローの一例である。本発明に関連する発明で実行する処理フローの一例である。本発明に関連する発明で実行する処理フローの一例である。本発明に関連する発明で実行する処理フローの一例である。第１の実施形態例における映像符号化データの格納破棄の説明図である。第１の実施形態例で実行する処理フローの一例である。第１の実施形態例で実行する処理フローの一例である。第１の実施形態例で実行する処理フローの一例である。第１の実施形態例で実行する処理フローの一例である。第２の実施形態例における映像符号化データの格納破棄の説明図である。第２の実施形態例で実行する処理フローの一例である。第２の実施形態例で実行する処理フローの一例である。

符号の説明

１映像音声符号化送信装置
２映像音声受信復号装置
３ネットワーク
２０パケット受信破棄手段
２１映像用バッファ
２２音声用バッファ
２３映像復号手段
２４音声復号手段
２５映像出力手段
２６音声出力手段

Claims

伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法であって、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する過程と、
映像用バッファに格納される映像のフレーム数が該映像用バッファを満杯にするフレーム数より小さい数に設定される規定の閾値を超えていない場合には、上記受信した映像を該映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を該映像用バッファに格納するか破棄し、一方、該映像用バッファに空きがない場合には、該映像を破棄するとともに、その破棄した映像により影響を受ける後続の映像については、該映像用バッファの格納状態に依らずに破棄する過程と、
音声用バッファに空きがある場合には、上記受信した音声を該音声用バッファに格納し、該音声用バッファに空きがない場合には、該音声を破棄する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化に要する時間とその時間よりも小さい時間となる音声の符号化に要する時間との差に相当する時間分だけ遅らせる形で、上記音声用バッファから音声を連続的に読み出して復号する過程とを備えることを、
特徴とする映像音声復号方法。
請求項１に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記映像用バッファに格納される映像のフレーム数が上記閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号方法。
請求項１に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。
請求項３に記載の映像音声復号方法において、
上記映像を破棄する過程では、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。
請求項１ないし４のいずれか１項に記載の映像音声復号方法において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける過程と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する過程とを備えることを、
特徴とする映像音声復号方法。
伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号装置であって、
規定のフレーム数分の映像を格納する映像用バッファと、
規定のフレーム数分の音声を格納する音声用バッファと、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する手段と、
上記映像用バッファに格納される映像のフレーム数が上記映像用バッファを満杯にするフレーム数より小さい数に設定される規定の閾値を超えていない場合には、上記受信した映像を上記映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を上記映像用バッファに格納するか破棄し、一方、上記映像用バッファに空きがない場合には、該映像を破棄するとともに、その破棄した映像により影響を受ける後続の映像については、該映像用バッファの格納状態に依らずに破棄する手段と、
上記音声用バッファに空きがある場合には、上記受信した音声を上記音声用バッファに格納し、上記音声用バッファに空きがない場合には、該音声を破棄する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化に要する時間とその時間よりも小さい時間となる音声の符号化に要する時間との差に相当する時間分だけ遅らせる形で、上記音声用バッファから音声を連続的に読み出して復号する手段とを備えることを、
特徴とする映像音声復号装置。
請求項６に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記映像用バッファに格納される映像のフレーム数が上記閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号装置。
請求項６に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。
請求項８に記載の映像音声復号装置において、
上記映像を破棄する手段は、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。
請求項６ないし９のいずれか１項に記載の映像音声復号装置において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける手段と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する手段とを備えることを、
特徴とする映像音声復号装置。
請求項１ないし５のいずれか１項に記載の映像音声復号方法をコンピュータに実行させるための映像音声復号プログラム。
請求項１ないし５のいずれか１項に記載の映像音声復号方法をコンピュータに実行させるための映像音声復号プログラムを記録したコンピュータ読み取り可能な記録媒体。