JP5234719B2

JP5234719B2 - 映像サーバ装置

Info

Publication number: JP5234719B2
Application number: JP2007091232A
Authority: JP
Inventors: 健次綱島
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2013-07-10
Anticipated expiration: 2027-03-30
Also published as: JP2008252525A

Description

この発明は、ネットワークを介して映像ストリームをクライアント機器に供給する映像サーバ装置に関するものである。

MPEG(Moving Picture Experts Group)-2などの映像圧縮技術を用いた映像ソースの普及
に伴い、イーサネット（登録商標）などのコンピュータ用ネットワークを介して映像信号の伝送が行われるようになった。しかし、イーサネット（登録商標）などでのIPパケット伝送では、サービス品質（QoS(Quality of Service)）の保証はなく、特にインターネットや無線LAN等では元の映像ストリームのビットレートに対応するに十分な伝送帯域を確保出来ないことが頻繁にあり、その場合は全く映像を見られないという問題点があった。

この問題点の改善策として、受信装置が、受信ビットレートと情報送信装置側における情報符号化速度とを用いて情報の伝送遅延を推定し、推定された伝送遅延が目標範囲外となった時に適切な符号化速度を計算し、符号化速度の変更を情報送信装置側に要求することにより、伝送を維持しようとする改善技術がある。上記技術として、例えば、特許文献１に開示された技術（通信速度制御方式）がある。

また、ネットワークの輻輳状態を、例えば、映像情報の受信状況をモニタすることにより判定し、この判定結果に基づいて送信側における映像情報の送出を制御することにより、QoSの保証されないネットワークでも実時間映像ストリーミングを可能としようとしている改善技術がある。上記技術として、例えば、特許文献２に開示された技術（映像情報伝送方式）がある。

特開平９−３２１７９８号公報（図１）特開２００３−２４４６９５号公報（図１）

上記改善技術によって、ネットワークの伝送可能帯域が元の映像ストリームのビットレートを下回る場合にも、ネットワークに送出するストリームのビットレートを低減することにより、受信装置がデコード・表示が可能なストリームをネットワーク経由で送り届けることが可能になる。しかし、上記改善技術は、基本的に受信装置側でのストリームの状況をモニタした結果をサーバ装置側に返すなどの処理が必要で、受信装置もサーバ装置に適合したものを用いる等、受信装置側に負担を強いてしまうという問題点があった。

この発明は上記問題点を解決するためになされたもので、受信装置側の負担を強いることなく、ネットワークの伝送可能帯域が元の映像ストリームのビットレートを下回る場合においても、連続的に実時間ストリーミングを継続することの出来る映像サーバ装置を得ることを目的とする。

この発明に係る請求項１記載の映像サーバ装置は、ネットワーク経由で接続された受信装置とHTTPによる通信を行い、受信装置からのコマンドを受けてストリーミングを開始し、受信装置に映像信号含むデータパケットをネットワーク経由で受信装置に送出する映像サーバ装置であって、映像ストリームを含む読み出し用ストリームを蓄積する蓄積手段と、前記蓄積手段から前記読み出し用ストリームを読み出し、前記映像ストリームを分離してトランスコード手段に供給する読み出し制御手段と、前記映像ストリームを設定変換ビットレートでビットレート変換して、低いビットレートに変換した映像ストリームを得るトランスコード手段と、前記ビットレート変換後の映像ストリームをネットワークに送出するストリームの位置情報を含んだ送出用パケットを生成するストリーム生成手段と、前記送出用パケットを所定のネットワークに送出するネットワークインターフェス部と、前記ネットワークインターフェス部から出力される前記送出用パケットをモニタし、前記位置情報が挿入された前記送出用パケットの送出時間に基づき、複数の前記送出用パケットについてそれぞれに含まれた前記位置情報とそれぞれの前記送出用パケットが送出された時間差とから前記受信装置に対して送出しているストリームの伝送ビットレートである平均ビットレートを算出する送出用パケットモニタ手段と、前記送出用パケットモニタ手段で得られた前記平均ビットレートが、前記設定変換ビットレートを下回る際には、前記平均ビットレート以下になるように前記トランスコード手段の前記設定変換ビットレートを制御する変換制御手段とを備える。

この発明における請求項１記載の映像サーバ装置は、ストリーム生成手段より位置情報を送出用パケットに含め、送出用パケットモニタ手段及び変換制御手段によって、上記位置情報が挿入された前記送出用パケットの送出時間に基づき、複数の送出用パケットについてそれぞれに含まれた上記位置情報とそれぞれの送出用パケットが送出された時間差とから算出された平均ビットレートに基づき、トランスコード手段の設定変換ビットレートを可変制御している。

このため、請求項１記載の映像サーバ装置は、所定のネットワークに接続される受信装置に特段の仕組みを組み込む必要や装置を追加することなく、ネットワークの伝送可能帯域に応じた設定変換ビットレートで得られた映像ストリームに基づく送出用パケットを供給することができる。その結果、ネットワークの伝送可能帯域が元の映像ストリームのビットレートを下回る場合においても、連続的に実時間ストリーミングを継続することができる効果を奏する。

＜発明の原理＞
映像サーバ装置からネットワーク経由で映像ストリームをクライアントとなるＴＶ受信機等に供給する際、クライアント機器からネットワーク上のサーバの存在を認識して通信を確立し、取得したい映像コンテンツを選択するプロセスを規定する必要がある。メーカを問わずＰＣ(パーソナルコンピュータ)や家電機器の相互接続性を実現するため、ユニバーサルプラグアンドプレイ(UPnP)やデジタルリビングネットワークアライアンス（DLNA(Digital Living Network Alliance)）などの標準化活動が進められている。DLNAでは映像ストリームを供給するサーバ装置をデジタルメディアサーバ（DMS）、ストリームを受けてデコード／表示するクライアント機器をデジタルメディアプレイヤ（DMP）と名付け、ストリーム伝送のベースラインとしてHTTP(HyperText Transport Protocol)を用いることを規定している。

本願発明の映像サーバ装置は、ストリーム伝送のベースラインとしてHTTPを用いること等を規定した規格に準拠した受信装置であれば、受信装置等映像サーバ以外の機器を追加、あるいは改造することなくネットワークの伝送可能帯域に合わせたビットレートにストリームを供給可能にしたものである。

具体的には、本願発明波の映像サーバ装置は、ネットワークに送出するMPEG-2トランスポートストリームにストリームの先頭からの位置情報を挿入した上でTCP/IPパケットとしてネットワークに送出し、位置情報を含むパケットが送出される時間と当該位置情報からネットワークで伝送可能なストリームのビットレートを推定する。そして、推定した伝送可能ビットレートに基づき映像ストリームのビットレートを変換して送出することにより、変換前の元のストリームでは伝送出来ない受信装置に対しても受信可能なストリームを供給することを可能としている。

＜実施の形態１＞
図１はこの発明の実施の形態１である映像サーバ装置の構成を示すブロック図である。同図に示すように、蓄積手段であるハードディスクドライブ（ＨＤＤ）１は送信対象となる読み出し用ストリームが蓄えている。読み出し制御手段２はＨＤＤ１に蓄積された読み出し用ストリームを読み出してビデオ（映像）ストリーム（ビデオ信号データ列）を抽出してトランスコーダ３（トランスコード手段）に供給する。この際、読み出し制御手段２は読み出し用ストリームに含まれる時間情報に基づき適切な速度で読み出す。

トランスコーダ３はビデオストリームのビットレートを、変換制御手段７の指示する設定変換ビットレートで変換する。ストリーム生成手段４はトランスコーダ３を介して得られるストリームから送出用パケット（送出用ストリーム）を生成する。

ＨＴＴＰサーバ５はクライアント機器とイーサネット（登録商標）経由でTCP/IPによる通信を確立し、HTTPによるストリーム送出要求に基づき読出制御手段２に対し、ストリーム読出開始の指示を出すと共に、ストリーム生成手段４の生成した送出用パケットをイーサネット（登録商標）用のネットワークインターフェース（Ｉ／Ｆ）６に送り出す。ネットワークＩ／Ｆ６によって送出用パケットを出力することにより図示しないイーサネット（登録商標）に接続することができる。その結果、ネットワークＩ／Ｆ６に接続された種々の受信装置（クライアント機器）への送出用パケットによってストリーミング送信が可能となる。

送出用パケットモニタ手段８はネットワークＩ／Ｆ６から送出されるパケットを監視する。変換制御手段７は送出用パケットモニタ手段８から得られるモニタ情報Ｓ８に基づきトランスコーダ３の出力ビットレートを制御する。

以下、実施の形態１の映像サーバ装置の動作について説明する。なお、ここでは伝送されるストリームはMPEG-2システム規格に規定されるトランスポートストリームの形態を取るものとする。また、本映像サーバ装置はイーサネット（登録商標）で接続されたクライアント機器にTCP/IPプロトコルを用いてストリームを供給する場合を想定している。

また、ここでは前述のユニバーサルプラグアンドプレイ(UPnP)やデジタルリビングネットワークアライアンス（DLNA）などで標準化された規格に基づいて設計された機器などで、HTTPによるMPEG-2トランスポートストリーム伝送をサポートするクライアント機器（デジタルメディアプレイヤ（DMP）等）が接続されることを前提とする。

実施の形態１の映像サーバ装置からの送出されるストリーミングは、イーサネット（登録商標）接続されたクライアント機器がＨＴＴＰサーバ５に対しTCP/IP接続を確立し、HTTP-GETコマンドを送ることによって開始する。ＨＴＴＰサーバ５は、HTTP-GETで指定された映像コンテンツファイルをＨＤＤ１から読み出すよう読出制御手段２に指示する。読出制御手段２では指定されたファイル（MPEG-2ストリーム，読み出し用ストリーム）をＨＤＤ１から読み出す。読出制御手段２で読み出したMPEG-2ストリームはトランスコーダ３およびストリーム生成手段４を経てＨＴＴＰサーバ５に送られる。

トランスコーダ３では読出制御手段２で読み出したMPEG-2ストリーム（プログラムストリームまたはトランスポートストリーム）は、まず、ビデオとオーディオの各ストリームに分離された後、ビデオストリームについては、変換制御手段７が指定する設定変換ビットレートに変換される。変換後のビデオストリーム（ビットレート変換後ビデオストリーム）と元のオーディオストリーム（ビットレート変換されることなくトランスコーダ３をスルーする）は何れもストリーム生成手段４に送られる。

ここでトランスコーダ３の有するトランスコード機能は、上記設定変換ビットレートに基づき、入力されたビデオストリームのビットレートを低減する機能を有する。この機能を実現するには、専用の集積回路を用いるか、またはMPEG-2ビデオデコーダとMPEG-2ビデオエンコーダを組み合わせ、一旦デコードしたビデオストリームを所望のビットレートで再エンコードすることによって実装する等が考えられる。

ストリーム生成手段４では、トランスコーダ３から送られてくるオーディオストリームとビットレート変換が施された変換後のビデオストリームとを多重化し、MPEG-2トランスポートストリーム（送出用パケット）に纏める。MPEG-2トランスポートストリームは、ビデオデータ、オーディオデータやストリーム構成を示すシステム情報（PAT,PMT）等をそれぞれ１８８バイト単位のヘッダ付パケットのペイロードに分割して挿入することによって生成される。各パケットのヘッダにはID番号（PID）が付けられており、PIDによって各パケットのデータの種別を特定する。データ種別とPIDの関連づけはプログラムアソシエイションテーブル（PAT）およびプログラムマップテーブル（PMT）を用いて行われる。PATはPIDが“０”に固定されておりトランスポートストリームに含まれるすべてのプログラムについて、各プログラムに含まれるデータのPIDへのマッピング情報を保持するPMTのPID情報を含んでいる。

ストリーム生成手段４では、予めMPEG-2システム規格に沿って定めたPIDに基づき上記テーブル類とビデオ、オーディオデータをそれぞれTSパケット化すると共に、予め定めた周期毎に先頭からのパケット数をペイロードに入れた伝送レート測定用パケットを送出用パケット中に挿入する。

上記伝送レート測定用パケットのPIDはMPEG-2システム規格で特定の目的に割り当てられたPIDやビデオ、オーディオ等の実データを含むパケットのPIDと重ならない値を選ぶ。ストリーム生成手段４で作成された、上記伝送レート測定用パケットを含む送出用パケットはＨＴＴＰサーバ５に供給され、ネットワークＩ／Ｆ６を介してネットワークに送出される。

一方、ネットワークＩ／Ｆ６から送り出されるIPパケット（送出用パケット）は送出用パケットモニタ８がネットワーク送出時に読み込み、ストリーム生成手段４で挿入した伝送レート測定用パケットのみをPIDによりフィルタリングしてデータ送出開始から送り出されたパケット数を読み出し、当該伝送レート測定用パケットが読み込んだ時間と共に記憶する。

送出用パケットモニタ手段８ではこれらの値（読み込み時間、その間のパケット数）からネットワークの伝送可能帯域を推測する。一例として、先頭からｎ番目となる伝送レート測定用パケットが時刻Ｔnで読み込まれ、先頭からｍ番目となる伝送レート測定用パケットパケットが時刻Ｔmで読み込まれた場合、以下の式(1)が成立する。

Ｂr = (ｍ−ｎ)・１８８／(Ｔm-Ｔn)…(1)
送出用パケットモニタ手段８は、上記式(1)で算出される平均ビットレートＢrをモニタし、ストリームが流れているものと見なし、平均ビットレートＢrを規定したモニタ情報Ｓ８を変換制御手段７に伝える。すなわち、送出用パケットモニタ手段８は、伝送レート測定用パケットの送出時間に基づき、伝送可能なストリームのビットレートである平均ビットレートＢrを求めることができる。

ところで、この様なストリーム伝送を行う場合、一般に受信側ではデコード処理の前段に一時的に受信ストリームを蓄積するバッファが設けられる。このため、伝送帯域がある程度確保されている場合、受信バッファに蓄えられたデータ量が少ない場合は、伝送されるストリームのビットレートより高いビットレートでストリームが送り出されたり、逆に受信バッファに既に十分なデータが蓄積されている場合には、送出されるデータ量が少なくなったりする。しかし、ビットレートを十分長い期間、例えば、（Ｔm−Ｔn）が１秒以上になるように観測することにより、精度の高い平均ビットレートＢrを得ることができる。

このとき、受信側で用いられるMPEG-2デコーダでは、一般的に送られてきたトランスポートストリームのMPEG-2システム規格で規定されたタイムスタンプ（プログラムクロックリファレンス：PCR）に同期するか、あるいは受信側の持つ内部クロックに従って動作し、ストリームのビットレートに等しいレートでデータを取得しようとする。このため、こうして求めた平均ビットレートは、伝送帯域幅が十分広ければストリームのビットレートにほぼ等しくなる。

しかし、伝送帯域幅が十分に確保出来ずストリームのビットレートを下回る場合には、伝送開始時に受信側がデータをバッファに蓄える期間を含めた時間間隔で観測した平均ビットレートＢrは、映像サーバ装置が送信可能なストリームのビットレートより低く、受信側で受信可能なビットレートの最大値を示す指標となる。

したがって、破綻なく受信側のデコーダがデコード動作を継続出来るようにストリームを伝送し続けるには、式(1)で求めた平均ビットレートＢr以下に伝送ストリームのビットレートを低減する必要がある。

このため、送出用パケットモニタ８では、読み込んだパケットから上記式(1)で算出した平均ビットレートＢrをモニタし、平均ビットレートＢrを指示するモニタ情報Ｓ８を変換制御手段７に伝える。

変換制御手段７では、送出用パケットモニタ手段８から受け取ったモニタ情報Ｓ８によって指示される平均ビットレートＢrに基づき、伝送可能なビットレートのストリームに変換するようにトランスコーダ３を制御する。すなわち、パケットモニタ手段８でモニタされた平均ビットレートＢrが伝送ビットレートＲb（設定変換ビットレート）より小さくなった場合、すなわち、「Ｂr＜Ｒb」のとき、変換制御手段７は、設定変換ビットレートが平均ビットレートＢr以下になるようにトランスコーダ３を制御する。

なお、トランスコーダ３でビデオビットレート変換する場合、画像フォーマットは入出力同じとしても良いし、ビットレートが予め定めた閾値を下回った場合には、低解像度画面に変更しても良い。

例えば、トランスコーダ３への入力ストリームの映像がHDTVで１９２０ｘ１０８０画素のフォーマットでビットレートが２０Mbpsであった場合、ビットレートが１０Mbpsをこえている場合には、HDTVの画像フォーマットそのままで、また、１０Mbps以下に下がった場合には７２０ｘ４８０画素のSDTVフォーマットに変更することにより、低ビットレートにおいても画質改善を効果的に発揮することが期待できる。

このように、トランスコーダ３に解像度変換機能を持たせることにより、設定変換ビットレートに適した解像度の画像フォーマットに適宜変換することにより、低ビットレートにおいてもビットレートに適した比較的良好な画質を維持することができる効果を奏する。

また、上述のビットレート決定の方法では何らかの原因で一時的に平均ビットレートＢrが低減した場合にも反応して設定変換ビットレートを変更してしまう可能性がある。そこで、所定時間間隔毎に連続してパケットモニタ手段８から得られるモニタ情報Ｓ８の指示する複数個の平均ビットレートＢrのうち、最大値に基づき設定変換ビットレートの制御に用いることにより、より安定なビットレート変換動作を行うことができる。

＜実施の形態２＞
図２はこの発明の実施の形態２である映像サーバ装置の構成を示すブロック図である。同図に示すように、図１で示した実施の形態１の構成に加えて、ストリーム生成手段４の出力ストリームを一時的に蓄積するストリームバッファ９を、ストリーム生成手段４とＨＴＴＰサーバ５と間に挿入した構成を有することを特徴としている。

実施の形態１で説明したように、帯域幅が十分な場合は平均としてストリームのビットレートに等しいレートでデータが送出されることになる。ここでトランスコーダ３はデコーダ・エンコーダの組合せで構成する場合にはハードウェアデコーダ・エンコーダを用いることにより、ストリームは実時間で、すなわち、本来のMPEG-2ストリームの伝送速度で、また、専用のトランスコーダを用いる場合には本来のMPEG-2ストリームの伝送速度に等しいか、より速い速度で処理が行われるものとする。

このため、読出制御手段２では、ＨＤＤ１に蓄積されたMPEG-2ストリームを読み出す際、ストリームに含まれるタイムスタンプ等の時間情報に基づき、ストリームの読み出し速度を調整してストリームビットレートに合わせる。これにより、トランスコーダ３の入出力でストリームのビットレートに従った平均データレートでの転送が行われる。このため、イーサネット（登録商標）による伝送の帯域幅がストリームのビットレートより高ければ、ストリームバッファ９に書き込まれるストリームの平均ビットレートはここから読み出されるレートに等しくなる。

もし、伝送帯域幅が十分でなく余分な遅延が生じた場合にはストリームバッファ９に入力されるデータ量が、出力されるデータ量よりも大きくなり、ストリームバッファ９に蓄積されるデータ量（蓄積データ量Ｂｉ）が増加する。したがって、ストリームバッファ９の蓄積データ量Ｂｉが増加し続ける場合は、伝送するストリームのビットレートを低減する必要があると判断することができる。

そこで、ストリームバッファ９の蓄積データ量Ｂｉを規定した蓄積データ情報Ｓ９を変換制御手段７に送ることにより、変換制御手段７はストリームバッファ９の蓄積データ量Ｂｉの変化を常時認識可能となる。

そして、変換制御手段７は、実施の形態１と同様にして送出用パケットモニタ手段８から得られるモニタ情報Ｓ８で規定される平均ビットレートＢrを認識すると共に、さらに、ストリームバッファ９から得られる蓄積データ情報Ｓ９で規定される蓄積データ量Ｂｉを認識することができる。したがたって、変換制御手段７は、平均ビットレートＢr及び蓄積データ量Ｂｉとの組み合わせで、設定変換ビットレートをトランスコーダ３に対し与えることにより、トランスコーダ３に対する伝送ビットレート変換制御を行うことができる。

例えば、あらかじめ定めた閾値Ｂthをストリームバッファ９の蓄積データ量Ｂｉが上回った場合で、かつ、パケットモニタ手段８で算出された平均ビットレートＢrが伝送ビットレートＲbより小さくなった場合、すなわち、「Ｂi＞Ｂth かつＢr＜Ｒb」となった場合にのみ設定反感ビットレートを低減制御を実行する制御が可能となる。

このように、実施の形態２の映像サーバ装置は、送出用パケットモニタ手段８からモニタ情報Ｓ８に加え、ストリームバッファ９からの蓄積データ情報Ｓ９に基づき、トランスコーダ３による設定変換ビットレートを制御することにより、実施の形態１に比べ、より精度の高い設定変換ビットレートの制御が可能となる効果を奏する。

実施の形態２においても、実施の形態１の場合と同様、トランスコーダ３でビデオビットレート変換する場合、画像フォーマットは入出力同じとしても良いし、ビットレートが予め定めた閾値を下回った場合には、低解像度画面に変更しても良い。

また、実施の形態１と同様、複数個の平均ビットレートＢrの内の最大値に基づき設定変換ビットレートによりトランスコーダ３を制御することにより、より安定な動作を期待できる効果を奏する。

本発明の活用例として、種々のネットワークを介して受信装置に映像を含むストリームを供給する映像サーバ装置に適用できる。

この発明の実施の形態１である映像サーバ装置の構成を示すブロック図である。この発明の実施の形態２である映像サーバ装置の構成を示すブロック図である。

符号の説明

１ハードディスクドライブ（ＨＤＤ）、２読み出し制御手段、３トランスコーダ、４ストリーム生成手段、５ＨＴＴＰサーバ、６ネットワークインターフェース（Ｉ／Ｆ）、７変換制御手段、８送出用パケットモニタ手段、９ストリームバッファ。

Claims

ネットワーク経由で接続された受信装置とHTTPによる通信を行い、受信装置からのコマンドを受けてストリーミングを開始し、受信装置に映像信号含むデータパケットをネットワーク経由で受信装置に送出する映像サーバ装置であって、
映像ストリームを含む読み出し用ストリームを蓄積する蓄積手段と、
前記蓄積手段から前記読み出し用ストリームを読み出し、前記映像ストリームを分離してトランスコード手段に供給する読み出し制御手段と、
前記映像ストリームを設定変換ビットレートでビットレート変換して、低いビットレートに変換した映像ストリームを得るトランスコード手段と、
前記ビットレート変換後の映像ストリームをネットワークに送出するストリームの位置情報を含んだ送出用パケットを生成するストリーム生成手段と、
前記送出用パケットを所定のネットワークに送出するネットワークインターフェス部と、
前記ネットワークインターフェス部から出力される前記送出用パケットをモニタし、前記位置情報が挿入された前記送出用パケットの送出時間に基づき、複数の前記送出用パケットについてそれぞれに含まれた前記位置情報とそれぞれの前記送出用パケットが送出された時間差とから前記受信装置に対して送出しているストリームの伝送ビットレートである平均ビットレートを算出する送出用パケットモニタ手段と、
前記送出用パケットモニタ手段で得られた前記平均ビットレートが、前記設定変換ビットレートを下回る際には、前記平均ビットレート以下になるように前記トランスコード手段の前記設定変換ビットレートを制御する変換制御手段と、
を備えた映像サーバ装置。
請求項１記載の映像サーバ装置であって、
前記ストリーム生成手段と前記ネットワークインターフェス部との間に介挿され、前記送出用パケットを一時的に格納するストリームバッファをさらに備え、前記ストリームバッファは蓄積データ量を規定した蓄積データ情報を前記変換制御手段に出力し、
前記変換制御手段は、前記蓄積データ情報から前記蓄積データ量を認識し、前記平均ビットレート及び前記蓄積データ量の組合せに基づき、前記トランスコード手段の前記設定変換ビットレートを制御する、
映像サーバ装置。
請求項１あるいは請求項２記載の映像サーバ装置であって、
前記トランスコード手段は、
前記設定変換ビットレートが予め定めた基準値より小さくなった場合には、前記映像ストリームの画像フォーマットを解像度の低いものに変換する解像度変換機能を有する、
映像サーバ装置。