JP5171459B2

JP5171459B2 - ストリームデータ処理装置、ストリームデータ処理方法、及びストリームデータ処理プログラム

Info

Publication number: JP5171459B2
Application number: JP2008195435A
Authority: JP
Inventors: 博康伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-29
Filing date: 2008-07-29
Publication date: 2013-03-27
Anticipated expiration: 2028-07-29
Also published as: JP2010034899A

Description

本発明はストリームデータ処理装置、ストリームデータ処理方法、及びストリームデータ処理プログラムに関する。特に、ネットワークを介して受信した複数のＡＶストリームデータを処理するために用いて好適な技術に関する。

従来、ネットワークを介してＡＶストリームをリアルタイム視聴する場合、ストリームに割り当てられるジッタ吸収のためのバッファ量は、ストリームのデータレートとネットワークジッタを基に調整されていた。

例えば、１フレームを構成するデータ量と遅延フレーム数とを基に、ＡＶストリーム受信時のバッファ量を弾力的に調整する方法が考案されている（特許文献１参照）。
また、ネットワークジッタの分布がほぼ正規分布になると仮定して再生遅延を算出し、バッファ量を調整する方法が知られている（非特許文献１参照）。

特開２００６−０５０６０４号公報 Colin Perkins著，小川晃通監訳，「マスタリングＴＣＰ／ＩＰＲＴＰ編」，オーム社，２００４年４月１５日発行，ＩＳＢＮ４−２７４−０６５６１−８，ｐ．１６０〜１６１

しかしながら、特許文献１、非特許文献１に記載されているＡＶストリーム受信時のバッファ量を弾力的に調整する方法は、一つのＡＶストリームのバッファ量を調整する方法である。したがって、複数のＡＶストリームを同時にリアルタイム視聴する場合の、それぞれのストリームの提示形態に関しては考慮されていなかった。

そのため、例えばそれぞれのストリームのデータレートとネットワークジッタが同等の場合、提示形態に関わらずそれぞれのストリームで同等のデータ欠落が発生するという課題があった。データ欠落を抑えるためにはバッファ容量を複数のストリームについて一律に増やすことになり、ジッタ吸収バッファ全体として大きな容量が必要になるという課題があった。

例えば、従来の方法により一つのＡＶストリームのバッファ量が６Ｍバイトと決定された場合、同時に視聴する他のＡＶストリームのデータレートとネットワークジッタが同等であれば、他のＡＶストリームのバッファ量も６Ｍバイトと決定される。仮に、６Ｍバイトではバッファ量が十分で無くデータ欠落が発生する場合は、ストリームの区別無く全てのＡＶストリームで同等のデータ欠落が発生する。

また、データ欠落を抑えるためには９Ｍバイトのバッファが必要という場合は、ストリームの区別無く全てのＡＶストリームに９Ｍバイトのバッファが必要となり、２ストリームの場合にはトータルで１８Ｍバイトという容量が必要となる課題があった。

本発明は前述の問題点に鑑み、ジッタ吸収バッファ全体の容量を抑えることができるようにするとともに、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示を行うことができるようにすることを目的としている。

本発明のストリームデータ処理装置は、ネットワークを介して複数のＡＶストリームを受信する受信手段と、前記受信手段によって受信したＡＶストリームのデータレートを検知するデータレート検知手段と、前記受信手段によって受信したＡＶストリームのネットワークジッタを検知するジッタ検知手段と、前記受信手段を介して受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整手段と、前記バッファ部に一時蓄積されたＡＶストリームを提示する提示手段と、前記提示手段によって提示されたＡＶストリームの表示サイズ情報を取得する取得手段とを備え、前記バッファ調整手段は、前記取得手段によって取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知手段によって検知されたデータレートと、前記ジッタ検知手段によって検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知手段によって検知されたデータレートと、前記ジッタ検知手段によって検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出することを特徴とする。

本発明のストリームデータ処理方法は、ネットワークを介して複数のＡＶストリームを受信する受信工程と、前記受信工程において受信したＡＶストリームのデータレートを検知するデータレート検知工程と、前記受信工程において受信したＡＶストリームのネットワークジッタを検知するジッタ検知工程と、前記受信工程において受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整工程と、前記バッファ部に一時蓄積されたＡＶストリームを提示する提示工程と、前記提示工程において提示されたＡＶストリームの表示サイズ情報を取得する取得工程とを備え、前記バッファ調整工程は、前記取得工程において取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出することを特徴とする。

本発明のストリームデータ処理プログラムは、ネットワークを介して複数のＡＶストリームを受信する受信工程と、前記受信工程において受信したＡＶストリームのデータレートを検知するデータレート検知工程と、前記受信工程において受信したＡＶストリームのネットワークジッタを検知するジッタ検知工程と、前記受信工程において受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整工程と、前記バッファ部に一時蓄積されたＡＶストリームを提示する提示工程と、前記提示工程において提示されたＡＶストリームの表示サイズ情報を取得する取得工程とをコンピュータに実行させ、前記バッファ調整工程は、前記取得工程において取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出するようコンピュータを制御することを特徴とする。

本発明によれば、画面表示サイズに合わせて、親画面表示を行っている注目度の高いストリームのバッファ量を大きく、子画面表示を行っている注目度の低いストリームのバッファ量を小さく設定することが可能となる。これにより、バッファ部に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示を行うことができる。

（第１の実施形態）
本実施形態の受信装置の構成について、図１のブロック図を参照して説明する。
１０１は、ＡＶストリームデータを処理するためのストリームデータ処理装置であり、ネットワークインタフェース１０７を介して受信したストリームを、ＡＶ出力インタフェース１１１を介して提示出力する。

１０２はネットワーク制御部であり、ネットワークインタフェース１０７を介してネットワークプロトコルのやり取りを行う。また、ネットワークインタフェース１０７を介して受信したデータを、データバス１０８を介してバッファ部１０３に出力する。

１０３は、受信したデータを一時蓄積するためのバッファ部であり、バッファ部１０３に一時蓄積したデータを、データバス１０９を介してデコード部１０４に出力する。記憶するデータ量は、制御バス１１２を介して接続されているバッファ調整部１０６によって調整される。

１０４は、ＭＰＥＧ方式などで圧縮されたＡＶストリームをデコードするためのデコード部であり、デコードしたデータを、データバス１１０を介して提示処理部１０５に出力する。バッファ部１０３からのデータ読み出しタイミングは、制御バス１１３を介して接続されているバッファ調整部１０６によって調整される。

１０５は、複数の映像を１つのビデオ信号としてまとめたり、ＡＶ出力インタフェース１１１を介してビデオ信号とオーディオ信号とを出力したりするための提示処理部である。また、提示処理部１０５は、出力するビデオ及びオーディオの提示形態を、データバス１１４を介してバッファ調整部１０６に通知する。

１０６は、バッファ部１０３に一時蓄積するデータ量と、デコード部１０４によるバッファ部１０３からのデータ読み出しタイミングとを調整するためのバッファ調整部である。バッファ調整部１０６は、制御バス１１２を介してバッファ部１０３を制御してバッファ調整を行い、制御バス１１３を介してデコード部１０４を制御し読み出しタイミングの調整を行う。これらの調整は、提示処理部１０５から通知される提示形態を基に行う。バッファ調整部１０６における調整処理の詳細は図２を参照して後述する。

ここで、１０２〜１０６の各処理ブロックは、それぞれを独立したハードウェアまたはソフトウェアで構成することも可能である。また、任意の複数の処理ブロックを１つのハードウェアまたは１つのソフトウェアで構成することも可能である。

図２は、図１で示したストリームデータ処理装置１０１に、外部装置であるストリームサーバ、ネットワーク、ディスプレイ、スピーカを加えたストリームデータ送受信システムの全体構成の一例を説明するブロック図である。本実施形態では、ストリームデータ処理装置１０１が２つのストリームサーバからそれぞれＡＶストリームを受信し、２つの映像を１つのディスプレイに親子画面出力する場合を例に説明する。

図２において、図１と同一の処理ブロックについては図１と同一の符号を付しており、説明は省略する。また、ネットワークインタフェース１０７、１１１及びデータバス１０８〜１１０を流れるデータについては、各ストリームサーバからのデータの流れを明確に表すため、それぞれ別の矢印線で示している。

ストリームサーバ（Ａ）２０１、ストリームサーバ（Ｂ）２０２は、ネットワークを介してＡＶストリームを配信するストリームサーバであり、ネットワーク２０３に接続されている。ネットワーク２０３は、インターネットやＬＡＮなどで構成されるネットワークである。

ストリームサーバ（Ａ）２０１から配信されるＡＶストリーム（以下、ストリームＡと称す）は、ネットワーク２０３及びネットワークインタフェース１０７を介し、データフロー２０４〜２０５の流れでストリームデータ処理装置１０１に入力される。ストリームデータ処理装置１０１に入力されたストリームＡは、データバス１０８〜１１０を介して、第１のデータフロー２０６〜２０８の流れで提示処理部１０５に出力される。提示処理部１０５で処理されたストリームＡの映像は、ＡＶ出力インタフェース１１１を介してデータフロー２０９の流れで、ディスプレイ２１６の表示面に親画面（Ａ）２１７として表示される。

同様に、ストリームサーバ（Ｂ）２０２から配信されるＡＶストリーム（以下、ストリームＢと称す）は、ネットワーク２０３及びネットワークインタフェース１０７を介して、データフロー２１０〜２１１の流れでストリームデータ処理装置１０１に入力される。ストリームデータ処理装置１０１に入力されたストリームＢは、データバス１０８〜１１０を介し、第２のデータフロー２１２〜２１４の流れで提示処理部１０５に出力される。提示処理部１０５で処理されたストリームＢの映像は、ＡＶ出力インタフェース１１１を介してデータフロー２１５の流れで、ディスプレイ２１６の表示面に子画面（Ｂ）２１８として表示される。

２２０は音声出力を行うためのスピーカであって、データフロー２１９を介してストリームＡまたはストリームＢの音声出力を行う。

次に、本実施形態のストリームデータ処理装置１０１における、提示処理部１０５の処理について説明する。
提示処理部１０５では、受信したＡＶストリームの提示属性をバッファ調整部１０６に通知する。具体的には、ビデオ出力している各ストリームの表示映像のサイズ比を、データバス１１４を介してバッファ調整部１０６に通知する。例えば、親画面（Ａ）２１７と子画面（Ｂ）２１８の表示サイズ比が８：１の場合、「ストリームＡとストリームＢの表示サイズ比＝８：１」という情報をバッファ調整部１０６に通知する。

次に、バッファ調整部１０６における処理の一例について説明する。バッファ調整部１０６では、提示処理部１０５から通知された表示サイズ比情報を使用し、それぞれのストリームに割り当てるバッファ部１０３のバッファ量を所定のアルゴリズムに基づき決定する。

例えば、バッファ量決定のためのアルゴリズムが、「バッファ量＝基本バッファ量＋拡張バッファ量」、「子画面の拡張バッファ量は、親画面の拡張バッファ量に表示サイズ比を乗じた値」、である場合について説明する。

既定値が、「基本バッファ量＝６Ｍバイト」、「親画面の拡張バッファ量＝３Ｍバイト」、である場合、親画面表示を行っているストリームＡに割り当てるバッファ量は、次式で求められる。

ストリームＡに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量
＝６Ｍバイト＋３Ｍバイト
＝９Ｍバイト
となる。

一方、子画面表示を行っているストリームＢの、ストリームＡに対する表示画面比率は１／８であるため、割り当てるバッファ量は次式で求められる。
ストリームＢに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量×表示サイズ比
＝６Ｍバイト＋３Ｍバイト×（１／８）
＝６．３７５Ｍバイト
となる。

したがって、表示サイズ比情報を使用せず、ストリームＢにストリームＡと同等の９Ｍバイトのバッファを割り当てた場合に比べ、２．６２５Ｍバイトの省メモリ化が可能となる。

上記説明では、ディスプレイ２１６に親画面表示するストリームＡに割り当てるバッファ量を既定値から算出し、表示サイズ比に応じてストリームＢに割り当てるバッファ量を算出する場合について説明した。これ以外にも、ストリームＢに割り当てるバッファ量を既定値とし、表示サイズ比に応じてストリームＡに割り当てるバッファ量を算出することも可能である。また、ストリームＡ、Ｂに割り当て可能な総バッファ量が先に決まっている場合、拡張バッファ量のサイズ比が表示サイズ比になるようにストリームＡ、Ｂに割り当てるバッファ量を算出することも可能である。

次に、ストリームＡを子画面表示にし、ストリームＢを親画面表示にする、親子画面を切り替える場合の処理の一例について説明する。
提示処理部１０５は、表示切り替え後の表示サイズ比をバッファ調整部１０６に通知する。親画面２１７と子画面２１８の表示サイズ比が８：１の場合、「ストリームＡとストリームＢの表示サイズ比＝１：８」という情報を通知する。

バッファ調整部１０６は、前述のアルゴリズムにより表示切り替え後のバッファ量を算出する。ストリームＡとストリームＢの表示サイズ比が１：８の場合、
ストリームＡに割り当てるバッファ量＝６．３７５Ｍバイト
ストリームＢに割り当てるバッファ量＝９Ｍバイト
と算出される。

このとき、親子画面表示切り替えに伴い、ストリームＡに割り当てるバッファ量を９Ｍバイトから６．３７５Ｍバイトに減少させることによりバッファから溢れてしまうデータは、到着時刻の古い順に破棄する。

ストリームＢについては、提示処理部１０５での提示切り替えに要する期間、デコード部１０４によるデータ読み出しを停止し、その間に受信したデータをバッファ部１０３に蓄積する。これにより、親子画面表示切り替えに伴い、割り当て量を６．３７５Ｍバイトから９Ｍバイトに増加させたストリームＢのバッファの充足率を満たすことができる。

したがって、親子画面切り替え等、ストリームの提示形態を変更した場合も、変更後の提示形態に合わせてバッファを調整することが可能となる。なお、図２では、説明のため、２つのストリームサーバ２０１，２０２からＡＶストリームが配信される構成となっているが、本発明においてストリームサーバの数はこれに限定されるものではない。

本実施形態によれば、画面表示サイズに合わせて、親画面表示を行っている注目度の高いストリームのバッファ量を大きく、子画面表示を行っている注目度の低いストリームのバッファ量を小さく設定することが可能となる。これにより、バッファ部１０３に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示を行うことが可能となる。

＜第２の実施形態＞
前述した第１の実施形態では、基本バッファ量及び拡張バッファ量を既定値として与えていた。本実施形態におけるストリームデータ処理装置１０１の構成を示すブロック図を図３に示す。図１と同等の機能ブロックには図１と同一の符号を付しており説明は省略する。本実施形態においては、受信したＡＶストリームのデータレートを検知するデータレート検知部３０１ａと、受信したＡＶストリームのネットワークジッタを検知するジッタ検知部３０１ｂとをネットワーク制御部３０１が備えている。そして、データレート検知部３０１ａ及びジッタ検知部３０１ｂによって検知されたＡＶストリームのデータレートとネットワークジッタを基に算出する場合について説明する。

３０１はネットワーク制御部であり、ネットワークインタフェース１０７を介してネットワークプロトコルのやり取りを行う。また、ネットワークインタフェース１０７を介して受信したデータを、データバス１０８を介してバッファ部１０３に出力する。さらに、ネットワークインタフェース１０７を介して受信したデータのデータレートの算出と、ネットワークジッタの算出を行う。ネットワーク制御部３０１で算出したデータレートとネットワークジッタは、データバス３０３を介してバッファ調整部３０２に通知する。

ネットワーク制御部３０１で行うデータレートの算出は、単位時間あたりに受信したデータ量を基に行う。ネットワークジッタの算出は、受信したデータパケットのタイムスタンプと、当該データパケットの到着時刻を基に行う。例えば、ネットワークプロトコルにＲＴＰを用いる場合、データパケットのタイムスタンプとしてＲＴＰタイムスタンプを用いる。

バッファ調整部３０２は、バッファ部１０３に一時蓄積するデータ量と、デコード部１０４によるバッファ部１０３からのデータ読み出しタイミングを調整する。また、バッファ調整部３０２は、制御バス１１２を介してバッファ部１０３を制御しバッファ調整を行い、制御バス１１３を介してデコード部１０４を制御し読み出しタイミングの調整を行う。これらの調整は、ネットワーク制御部３０１から通知されるデータレートとネットワークジッタ、及び提示処理部１０５から通知される提示形態を基に行う。バッファ調整部３０２における調整処理の詳細は図４を参照して後述する。

図４は、図３で示した受信装置に、外部装置であるストリームサーバ、ネットワーク、ディスプレイ、スピーカを加えたストリームデータ送受信システムの全体構成の一例を説明するブロック図である。図４において、図２及び図３と同一の処理ブロックについては図２及び図３と同一の符号を付しており、説明は省略する。

次に、本実施形態における、バッファ調整部３０２の処理について図５のフローチャートを参照して詳細に説明する。
まず、ステップＳ５０１において、提示処理部１０５から通知される表示サイズ比情報を基に、バッファ量算出対象となるストリームが表示サイズ最大のストリームであるか否かの判別を行う。この判別の結果、表示サイズ最大のストリームであればステップＳ５０２に分岐し、表示サイズ最大のストリームでなければステップＳ５０３に分岐する。

ステップＳ５０２においては、ネットワーク制御部３０１から通知されるデータレート及びネットワークジッタ情報を基にバッファ量の算出を行う。本実施形態では、表示サイズが最大のストリームについて、ジッタが最大の場合にもデータ欠落を起こすことが無いよう、「データレート×ジッタ最大値」、を求めるバッファ量としている。

一方、ステップＳ５０３においては、ネットワーク制御部３０１から通知されるデータレート及びとネットワークジッタ情報と、提示処理部１０５から通知される表示サイズ比情報から算出する重み付け値Ｚ（Ｚオーダー）とを基にバッファ量の算出を行う。本実施形態では、重み付け値Ｚの算出式として、「Ｚ＝（２／３）＋（１／３）×（当該ストリームの表示サイズ／表示サイズが最大のストリームの表示サイズ）」、を用いた場合について説明する。

ステップＳ５０２またはステップＳ５０３の処理を終了したらステップＳ５０４に進む。ステップＳ５０４においては、ステップＳ５０２及びステップＳ５０３で算出したバッファ量を基に、バッファ部１０３のバッファ調整を行う。

以下、バッファ調整部３０２の処理について、データレート、ネットワークジッタ、及び表示サイズ比が一例として下記の場合について説明する。
ストリームＡのデータレート＝２４Ｍｂｐｓ、ジッタ最大値＝３秒。
ストリームＢのデータレート＝１２Ｍｂｐｓ、ジッタ最大値＝２秒。
ストリームＡとストリームＢの表示サイズ比＝８：１。

まず、ストリームＡのバッファ量算出の処理について説明する。
ストリームＡとストリームＢの表示サイズ比が８：１であることから、対象であるストリームＡが表示サイズ最大のストリームであることが分かる（ステップＳ５０１）。
表示サイズ最大のストリームの場合、「バッファ量＝データレート×ジッタ最大値」であることから、ストリームＡのバッファ量は、「２４Ｍｂｐｓ×３秒＝７２Ｍビット＝９Ｍバイト」と求めることができる（ステップＳ５０２）。
ストリームＡのバッファ量として、９Ｍバイトをバッファ部１０３に確保する（ステップＳ５０４）。

次に、ストリームＢのバッファ量算出の処理について説明する。
ストリームＡとストリームＢの表示サイズ比が８：１であることから、対象であるストリームＢが表示サイズ最大のストリームではないことが分かる（ステップＳ５０１）。
表示サイズが最大でないストリームの場合、「バッファ量＝データレート×ジッタ最大値×Ｚ」であることから、まず値Ｚを求める。
Ｚ＝（２／３）＋（１／３）×（当該ストリームの表示サイズ／表示サイズが最大のストリームの表示サイズ）
＝（２／３）＋（１／３）×（１／８）
＝（１７／２４）
と、値Ｚが求められる。

したがって、バッファ量は、
バッファ量＝１２Ｍｂｐｓ×２秒×（１７／２４）＝１７Ｍビット
＝２．１２５Ｍバイト
と求めることができる。

一方、表示サイズ比情報を使用せず、従来の方法によりストリームＢにバッファを割り当てた場合に必要なバッファ量は、
バッファ量＝１２Ｍｂｐｓ×２秒＝２４Ｍビット＝３Ｍバイト
である。したがって、従来に比べ０．８７５Ｍバイトの省メモリ化が可能となる。

本実施形態によれば、画面表示サイズに合わせて、親画面表示を行っている注目度の高いストリームのバッファ量を大きく、子画面表示を行っている注目度の低いストリームのバッファ量を小さく設定することが可能となる。これにより、バッファ部１０３に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示が可能となる。

＜第３の実施形態＞
前述した第１及び第２の実施形態では、バッファ量算出のための提示形態として表示サイズを使用する場合を例に説明した。本発明に適用可能な提示形態はこれに限らず、表示映像数、ウインドウ表示の上下順、表示形状、表示位置、提示音声有無、をバッファ量算出のためのパラメータとして使用することも可能である。

表示映像数をパラメータとした場合の実施形態を、図６の画面表示例を参照して説明する。図６では、ストリームＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆをそれぞれ符号６０１〜６０６に表示することを示している。なお、受信装置を構成するブロック図については、図１または図３と同様であるため、ここでの説明は省略する。

提示処理部１０５は、ストリームＡを親画面表示、ストリームＢ、Ｃ、Ｄ、Ｅ、Ｆの５つを子画面表示する表示映像数情報を、バッファ調整部３０２に通知する。
バッファ調整部３０２は、ストリームＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに割り当てるバッファ量を、提示処理部１０５より通知された表示映像数情報を基に算出する。

例えば、バッファ量決定のためのアルゴリズムが、「バッファ量＝基本バッファ量＋拡張バッファ量」、「子画面ストリームの拡張バッファ量は、親画面ストリームの拡張バッファ量を表示映像数で除した値」、である場合について説明する。

既定値が、「基本バッファ量＝６Ｍバイト」、「親画面ストリームの拡張バッファ量＝３Ｍバイト」、である場合、親画面表示を行っているストリームＡに割り当てるバッファ量は、次式で求められる。
ストリームＡに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量
＝６Ｍバイト＋３Ｍバイト＝９Ｍバイト。

また、子画面表示を行っているストリームＢ、Ｃ、Ｄ、Ｅ、Ｆに割り当てるバッファ量は、表示映像数が６であるため、次式で求められる。
ストリームＢ、Ｃ、Ｄ、Ｅ、Ｆに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量÷表示映像数
＝６Ｍバイト＋３Ｍバイト÷６
＝６．５Ｍバイト。

一方、表示映像数情報を使用せず、従来の方法によりストリームＢ、Ｃ、Ｄ、Ｅ、Ｆにバッファを割り当てた場合それぞれのストリームに９ＭＢのバッファが必要となる。したがって、子画面表示を行っているストリーム一つあたり従来に比べ２．５Ｍバイトの省メモリ化が可能となる。また、５つの子画面表示ストリームの合計では、１２．５Ｍバイトの省メモリ化が可能となる。

本実施形態によれば、表示映像数に合わせて、親画面表示を行っている注目度の高いストリームのバッファ量を大きく、子画面表示を行っている注目度の低いストリームのバッファ量を小さく設定することが可能となる。これにより、バッファ部１０３に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示が可能となる。

＜第４の実施形態＞
ウインドウ表示の上下順をパラメータとした場合の実施形態を、図７の画面表示例を参照して説明する。
図７では、ストリームＡ、Ｂをそれぞれ７０１〜７０２に表示することを示している。なお、受信装置の構成を説明するブロック図については、図３と同様であるため、ここでの説明は省略する。

提示処理部１０５は、ストリームＡを前面表示し、ストリームＢを背面表示することを、バッファ調整部３０２に通知する。
バッファ調整部３０２では、ストリームＡ、Ｂに割り当てるバッファ量を、下記アルゴリズムにより算出する。

例えば、バッファ量決定のためのアルゴリズムが、「バッファ量＝基本バッファ量＋拡張バッファ量」、「背面表示ストリームの拡張バッファ量は、前面表示ストリームの拡張バッファ量の２分の１」、である場合について説明する。

既定値が、「基本バッファ量＝６Ｍバイト」、「前面表示ストリームの拡張バッファ量＝３Ｍバイト」、である場合、前面表示を行っているストリームＡに割り当てるバッファ量は、次式で求められる。
ストリームＡに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量
＝６Ｍバイト＋３Ｍバイト＝９Ｍバイト。

また、背面表示を行っているストリームＢに割り当てるバッファ量は、次式で求められる。
ストリームＢに割り当てるバッファ量
＝基本バッファ量＋拡張バッファ量÷２
＝６Ｍバイト＋３Ｍバイト÷２
＝７．５Ｍバイト。

一方、ウインドウ表示の上下順を考慮せず、従来の方法によりストリームＢにバッファを割り当てた場合９Ｍバイトのバッファが必要となる。したがって、背面表示を行っているストリームについては従来に比べ１．５Ｍバイトの省メモリ化が可能となる。

本実施形態によれば、ウインドウ表示の上下順に合わせて、前面表示を行っている注目度の高いストリームのバッファ量を大きく、背面表示を行っている注目度の低いストリームのバッファ量を小さく設定することが可能となる。これにより、バッファ部１０３に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示が可能となる。

＜第５の実施形態＞
表示形状、表示位置、音声出力有無、をバッファ量算出のためのパラメータとして使用した場合の実施形態について説明する。
複数のＡＶストリームの表示形状（変形の無い長方形表示か、長方形を変形した台形表示や平行四辺形表示か）を提示処理部１０５からバッファ調整部３０２に通知する。バッファ調整部３０２は、通知された表示形状を基にバッファ量を算出し、表示変形度の高いストリームには小さなバッファ割り当てる。

または、複数のＡＶストリームの表示位置（ディスプレイの中心からの距離）を提示処理部１０５からバッファ調整部３０２に通知する。バッファ調整部３０２は、通知された表示位置を基にバッファ量を算出し、ディスプレイの中止からの距離に応じてバッファ割り当て量を決定する。

または、複数のＡＶストリームの音声出力有無を提示処理部１０５からバッファ調整部３０２に通知する。バッファ調整部３０２は、音声出力を伴ったストリームには大きなバッファを割り当て、音声出力を伴わないストリームには小さなバッファを割り当てる。
上記手段により、バッファ部１０３に割り当てる容量を抑えつつ、注目度の高いストリームについてはデータ欠落を抑えた高品位な提示が可能となる。

また、前述した実施形態では、バッファ量算出のための表示形態として、表示サイズ、表示映像数、ウインドウ表示の上下順、表示形状、表示位置、音声出力有無を個別に使用する場合について説明した。本発明の目的はこれに限らず、前述した表示形態のうち任意の複数の組み合わせからバッファ量の算出を行うことによっても達成される。
＜第６の実施形態＞
前述した本発明の実施の形態におけるストリームデータ処理装置を構成する手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述したストリームデータ処理方法における各工程を実行するソフトウェアのプログラム（実施の形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

第１の実施形態を示し、ＡＶストリームデータを処理するためのストリームデータ処理装置の構成例を示すブロック図である。第１の実施形態を示し、バッファ調整部における調整処理の詳細を説明する図である。第２の実施形態を示し、ＡＶストリームデータを処理するためのストリームデータ処理装置の構成例を示すブロック図である。第２の実施形態を示し、ストリームサーバ、ネットワーク、ディスプレイ、スピーカを加えたストリームデータ送受信システムの全体構成の一例を説明するブロック図である。第２の実施形態を示し、バッファ調整部で行われる処理手順の一例を説明するフローチャートである。第３の実施形態を示し、表示映像数をパラメータとした場合の画面表示例を示す図である。第４の実施形態を示し、ウインドウ表示の上下順をパラメータとした場合の画面表示例を示す図である。

符号の説明

１０１ストリームデータ処理装置
１０２ネットワーク制御部
１０３バッファ部
１０４デコード部
１０５提示処理部
１０６バッファ調整部
２０１ストリームサーバ（Ａ）
２０２ストリームサーバ（Ｂ）
２０３ネットワーク
２１６ディスプレイ
２１７親画面（Ａ）
２１８子画面（Ｂ）
２２０スピーカ

Claims

ネットワークを介して複数のＡＶストリームを受信する受信手段と、
前記受信手段によって受信したＡＶストリームのデータレートを検知するデータレート検知手段と、
前記受信手段によって受信したＡＶストリームのネットワークジッタを検知するジッタ検知手段と、
前記受信手段を介して受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整手段と、
前記バッファ部に一時蓄積されたＡＶストリームを提示する提示手段と、
前記提示手段によって提示されたＡＶストリームの表示サイズ情報を取得する取得手段とを備え、
前記バッファ調整手段は、前記取得手段によって取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知手段によって検知されたデータレートと、前記ジッタ検知手段によって検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知手段によって検知されたデータレートと、前記ジッタ検知手段によって検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出することを特徴とするストリームデータ処理装置。
ネットワークを介して複数のＡＶストリームを受信する受信工程と、
前記受信工程において受信したＡＶストリームのデータレートを検知するデータレート検知工程と、
前記受信工程において受信したＡＶストリームのネットワークジッタを検知するジッタ検知工程と、
前記受信工程において受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整工程と、
前記バッファ部に一時蓄積されたＡＶストリームを提示する提示工程と、
前記提示工程において提示されたＡＶストリームの表示サイズ情報を取得する取得工程とを備え、
前記バッファ調整工程は、前記取得工程において取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出することを特徴とするストリームデータ処理方法。
ネットワークを介して複数のＡＶストリームを受信する受信工程と、
前記受信工程において受信したＡＶストリームのデータレートを検知するデータレート検知工程と、
前記受信工程において受信したＡＶストリームのネットワークジッタを検知するジッタ検知工程と、
前記受信工程において受信した複数のＡＶストリームをバッファ部に一時蓄積するバッファ調整工程と、
前記バッファ部に一時蓄積されたＡＶストリームを提示する提示工程と、
前記提示工程において提示されたＡＶストリームの表示サイズ情報を取得する取得工程とをコンピュータに実行させ、
前記バッファ調整工程は、前記取得工程において取得された表示サイズ情報に基づいて、提示されている複数のＡＶストリームのうち、バッファ量算出対象のＡＶストリームが表示サイズ最大のストリームであるかを判別し、最大のストリームである場合は、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタから前記バッファ量算出対象のＡＶストリームのバッファ量を算出し、最大のストリームでない場合には、前記検知工程において検知されたデータレートと、前記ジッタ検知工程において検知されたネットワークジッタと、前記表示サイズ情報に基づいて算出される重み付け情報とから前記バッファ量算出対象のＡＶストリームのバッファ量を算出するようコンピュータを制御することを特徴とするストリームデータ処理プログラム。
請求項３に記載のストリームデータ処理プログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。