JP4991661B2

JP4991661B2 - 映像データ変換装置

Info

Publication number: JP4991661B2
Application number: JP2008220784A
Authority: JP
Inventors: 剛志柴田; 健二藤平
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-08-29
Filing date: 2008-08-29
Publication date: 2012-08-01
Anticipated expiration: 2028-08-29
Also published as: JP2010056987A

Description

本発明は、データ中継装置に関わり、特に、映像データを送信装置から受信し、受信装置の状況に合わせて変換し送信する、データ中継装置に関する。

近年、インターネットを利用した映像配信サービスが増加している。インターネットを利用した映像配信では、通信品質や映像表示装置の特性が受信者の環境によって大きく異なるため、受信者の環境に応じて映像配信を制御する必要がある。

受信者環境を把握する方法としては、受信者側で情報を取得する方法や、送信者側で受信者側の状況を推定する方法が考えられる。例えば、特許文献１や特許文献２には受信者側で受信端末のバッファ量を取得する方法が、特許文献３には受信者側で通信速度や受信端末の仕様を取得する方法が、特許文献４には送信者側で受信者側の受信端末のバッファ量を推定する方法が、開示されている。

映像配信を制御する方法としては、受信者側からの要求により制御する方法や、受信者側からの要求なしに制御する方法が考えられる。例えば、特許文献１には受信者側から送信者側に映像のビットレート変更を要求する方法が、特許文献２には受信者側から送信者側に映像の配信速度変更を要求する方法が、特許文献３には受信者側から取得した通信速度や受信端末の仕様に基づき送信者側で映像のビットレートを設定する方法が、特許文献４には送信者側で推定した受信者側のバッファ量に基づき送信者側で映像のビットレートを変更する方法が、開示されている。

映像配信を制御する頻度としては、映像配信中に常時制御を行う方法や、映像配信開始時に限り制御を行う方法が考えられる。例えば、特許文献１や特許文献２、特許文献４には映像配信中に常時制御を行う方法が、特許文献３には映像配信開始時に制御を行う方法が、開示されている。

映像配信を制御する対象としては、配信映像に対して制御を行う方法や、配信方法に対して制御を行う方法が考えられる。例えば、特許文献１や特許文献３、特許文献４には配信映像のビットレートに対して制御を行う方法が、特許文献２には配信速度に対して制御を行う方法が、開示されている。

特開平10-336626号公報特開2003-319012号公報特開2005-26976号公報特開2006-279283号公報

映像配信を送信者側で制御する場合には、送信者側から各受信者に対して個別に映像を配信する必要がある。そのため、例えば、放送型の映像配信で配信効率を向上させるために用いられる、複数の受信者に対して同一の映像データを配信するマルチキャストのような技術は、各受信者に対する映像配信の制御と同時には利用できない。

有線通信におけるアクセスネットワークとコアネットワークや、無線通信における無線ネットワークと有線ネットワークのように、送信者側と受信者側を結ぶ通信においては通信特性が異なるネットワークが含まれる場合がある。例えば、アクセスネットワークでは通信品質が不良で映像配信の遅延や損失が多く生じ、コアネットワークでは通信品質が良好で映像配信の遅延や損失がほとんど生じない場合が考えられる。また、有線ネットワークではある一定の通信速度を維持できるが、無線ネットワークでは電波強度の変動により通信速度が大きく変動する場合が考えられる。このような場合に、映像配信を送信者側で制御して送信者側から受信者側までを単一の制御にし、TCPのような再送制御のある通信方式により映像配信を行うと、アクセスネットワークや無線ネットワークでの映像配信不良のために、安定して映像配信しているコアネットワークや有線ネットワークにも繰り返し配信を行うことになる。

これらのような映像配信の制御により生じる問題を解決することが本発明が解決する課題である。

本発明では送信者と受信者の間に位置する映像変換装置において映像配信の制御を行う。これにより、送信者から映像変換装置まではマルチキャストを利用し映像変換装置からは各受信者に対して個別に映像配信を制御することが可能となる。また、送信者から映像変換装置までと映像変換装置から受信者までに制御範囲を分けて映像配信を行うことが可能となる。

映像変換装置で映像配信を制御するために、送信者からの配信映像を映像変換装置のバッファに蓄積する。送信者から受信者への映像配信の遅延を抑えるためには映像変換装置のバッファへの蓄積量をできるだけ少なくする必要がある。映像変換装置から受信者側への映像配信制御においては、映像変換装置のバッファに蓄積している配信映像の量を考慮しながら、受信者側への映像配信制御を行う。

また、送信者側から配信される映像に固定ビットレートであることを示す符号が含まれている場合には、映像変換装置において可変ビットレートを示す符号に書き換えて映像配信を行う。

インターネットでの映像配信において、異なる複数の配信制御を行うことが可能となる。これにより、映像配信の制御と同時に、マルチキャスト配信や、再配信の抑制が可能となる。

図１は、本発明を実施する形態の基本的な構成を示す。映像データ送信装置（１０１）に映像データ変換装置（１０２）が接続されており、映像データ変換装置（１０２）は無線基地局やルータ/スイッチなどの映像データ中継装置（１０３）を介して無線端末やパソコン、テレビなどの映像データ受信装置（１０４）と接続されている。

まず、本発明を実施する第１の形態を示す。

図２は、本発明を実施する第１の形態のシステム構成を示す。映像データ送信装置（２０１）と映像データ変換装置（２０２）が接続されており、映像データ変換装置（２０２）はさらに映像データ受信装置（２０３）と接続されている。

図３は、図２の映像データ変換装置（２０２）の内部構成を示す。映像データ変換装置（３０１）は、記憶部（３０２）、映像変換部（３０３）、制御部（３０４）、映像データ蓄積部（３０５）、データ送受信部（３０６）、インタフェース（３０７、３０８）を備える。記憶部（３０２）には、送信映像着信情報記憶部（３０９）、送信映像送信情報記憶部（３１０）、受信装置情報記憶部（３１１）、受信映像受信情報記憶部（３１２）を備える。映像変換部（３０３）には、メモリ（３２０）に記憶された映像変換用プログラム（３１３）と、映像変換用プロセッサ（３１４）を備える。制御部（３０４）には、メモリ（３２１）に記憶された制御用プログラム（３１５）と、制御用プロセッサ（３１６）を備える。データ送受信部（３０６）には、データ送受信プロセッサ（３２３）とメモリ（３２２）を備え、このメモリ（３２２）には映像データ送信プログラム（３１７）、映像データ受信プログラム（３１８）、制御データ受信プログラム（３１９）が記憶されている。制御用プログラム（３１５）は記憶部（３０２）に記憶されている各種情報（３０９〜３１２）および映像データ蓄積部（３０５）の状態により、映像データの変換方法と送信方法を定める。映像変換用プログラム（３１３）は制御用プログラム（３１５）により定められた映像データの変換方法に従い映像データを変換し、映像データ送信プログラム（３１７）は制御用プログラム（３１５）により定められた映像データの送信方法に従い変換された映像データをインタフェース（３０７、３０８）経由で送信する。

送信映像着信情報記憶部（３０９）には、映像データ変換装置（２０２）と映像データ受信装置（２０３）の間の通信速度の情報を保持する。通信速度の情報は、映像データ受信装置（２０３）から直接通知される他に、映像データ変換装置（２０２）からの映像データ送信情報と映像データ受信装置（２０３）での着信情報から計算することが可能である。送信映像送信情報記憶部（３１０）には、映像データ変換装置（２０２）から送信する映像データのビットレート、送信速度、フレームレート、画素数、エンコード方式などの情報を保持する。受信装置情報記憶部（３１１）には、映像データ受信装置（２０３）の表示可能画素数、デコード対応種別、デコード処理能力、映像データの蓄積可能容量などの情報を保持する。受信映像受信情報記憶部（３１２）には、映像データ送信装置（２０１）から映像データ変換装置（２０２）が受信する映像データのビットレート、受信速度、フレームレート、画素数、エンコード方式などの情報を保持する。

映像データ受信装置（２０３）が蓄積する映像データの容量は送信映像着信情報記憶部（３０９）に保持する映像データ受信装置（２０３）の通信速度の積算値、再生により消去する映像データの容量は送信映像送信情報記憶部（３１０）に保持する映像データの送信ビットレートの積算値であり、この２つの差により映像データ受信装置（２０３）が蓄積する映像データの容量が計算でき、受信装置情報記憶部（３１１）に保持する映像データの蓄積可能容量と組合せて制御用プログラム（３１５）での制御方式の判定に用いる。

制御用プログラム（３１５）では、受信装置情報記憶部（３１１）に保持する情報に示される受信装置の表示可能な映像データの範囲内で、映像データの変換方法を定める。映像データの変換方法としては、フレームレート、画素数、エンコード方式を変更せずにビットレートを変更する方法の他に、フレームレート、画素数、エンコード方式を変更しビットレートを変更する方法も含む。

図４は、図２のシステムでの処理シーケンスを示す。映像データ変換装置（２０２）は、映像データ受信装置（２０３）から映像データ送信装置（２０１）宛に送信される映像データ要求と受信装置情報を受信し、受信装置情報を取得する。映像データ送信装置（２０１）は、映像データ受信装置（２０３）からの映像データ要求と受信装置情報を受信し、映像データ受信装置（２０３）宛に映像データを送信する。映像データ変換装置（２０２）は、映像データ送信装置（２０１）から映像データ受信装置（２０３）への映像データを受信し、映像データに固定ビットレートを示すフラグがある場合には可変ビットレートを示すフラグに書き換え、映像データを映像データ受信装置（２０３）宛に送信する。映像データが固定ビットレートであることを示すフラグは、例えば、MPEG-1システムのシステムヘッダにある。フラグが固定ビットレートを示す場合には、映像データ受信装置（２０３）において映像データは固定ビットレートとして扱われるため、映像データ変換装置（２０２）において映像データのビットレートを可変に変換すると、映像データ受信装置（２０３）において問題が生じる。可変ビットレートを示すフラグに書き換えることにより、映像データ変換装置（２０２）においてビットレートを変換した映像データを、映像データ受信装置（２０３）において問題なく取り扱うことが可能となる。映像データ受信装置（２０３）は映像データを受信し、映像データの受信を示す制御データを映像データ変換装置（２０２）に送信する。映像データ変換装置（２０２）は、映像データ受信装置（２０３）からの映像データ受信を示す制御データを受信し、送信映像のビットレートを計算する。映像データ変換装置（２０２）は、映像データ送信装置（２０１）からの映像データを受信すると、計算したビットレートに映像データを変換し、映像データ受信装置（２０３）に送信する。

図５は、図２のシステムでの配信制御処理および状態遷移を示す。図２の映像データ受信装置（２０３）の状態は、映像データ受信バッファの変化傾向によって５０１、５０２、５０３の３状態に分類できる。状態５０１〜５０３の通信速度は、図２の映像データ変換装置（２０２）と映像データ受信装置（２０３）の間の通信速度であり、ビットレートは映像データ変換装置（２０２）から映像データ受信装置（２０３）に送信される映像データのビットレートである。バッファ時間は映像データ受信装置（２０３）の映像データ受信バッファに蓄積されている映像データを再生するのに要する時間であり、通信速度がビットレートよりも小さい５０１の場合はバッファ時間は時間の経過とともに減少し、通信速度とビットレートが等しい５０２の場合はバッファ時間は時間の経過において不変であり、通信速度がビットレートよりも大きい５０３の場合はバッファ時間は時間の経過とともに増加する。映像データ受信装置（２０３）と映像データ変換装置（２０２）のバッファ時間には制御内容を判定するための閾値としての上限および下限を設定する。５０１の状態において、映像データ受信装置（２０３）のバッファ時間が下限以下である場合には、映像データ変換装置（２０２）は映像データ受信装置（２０３）に送信する映像データのビットレートを減少させる（５０４）。ビットレートを減少させることにより通信速度とビットレートは等しくなり、５０２の状態に遷移する。映像データ受信装置（２０３）のバッファ時間が下限以下ではない場合に、映像データ変換装置（２０２）のバッファ時間が上限以上である場合においても、映像データ変換装置（２０２）は映像データ受信装置（２０３）に送信する映像データのビットレートを減少させ（５０５）、５０２の状態に遷移する。同様に、映像データ変換装置（２０２）が５０６〜５０９の制御を行うことにより、状態は５０１〜５０３の状態を遷移する。

次に、本発明を実施する第２の形態を示す。

第２の形態のシステム構成は、第１の形態に等しく、図２で示す。

図６は、本発明を実施する第２の形態における、図２の映像データ変換装置の内部構成を示す。映像データ変換装置は、図３の内部構成に加えて、データ送受信部のメモリ（３２２）内に制御データ送信プログラム（６０１）が記憶されている。制御データ送信プログラム（６０１）は、図２の映像データ変換装置（２０２）から映像データ送信装置（２０１）に対して、映像データ送信装置（２０１）が送信する映像データを制御するために必要な制御データを送信する。

図７は、第２の形態での処理シーケンスを示す。図４の処理シーケンスに加えて映像データ変換装置（２０２）から映像データ送信装置（２０１）に映像データのビットレートの変更を要求する制御データを送信するシーケンス（７０１）が追加されており、映像データ送信装置（２０１）は制御データの受信により映像データのビットレートを変更して送信する。

第２の形態において，映像データ変換装置（２０２）により映像データ送信装置（２０１）が送信する映像データを制御する一例としては，映像データ変換装置（２０２）から映像データ受信装置（２０３）に送信する映像データのビットレートがほぼ固定値である場合に，映像データ送信装置（２０１）から映像データ変換装置（２０２）に送信する映像データのビットレートを映像データ変換装置（２０２）から映像データ受信装置（２０３）に送信する映像データのビットレートに合わせることが考えられる。この場合，映像データ変換装置（２０２）におけるビットレートの変換処理を抑制することが可能となる。

次に、本発明を実施する第３の形態を示す。

図８は、本発明を実施する第３の形態のシステム構成を示す。図８は、第１、第２の形態のシステム構成である図２と比較して、映像データ変換装置（２０２）と映像データ受信装置（２０３）の間に映像データ中継装置（８０１）が接続されている。

図９は、第３の形態での処理シーケンスを示す。図４の処理シーケンスと比較して映像データ変換装置（２０２）と映像データ受信装置（２０３）の間に接続されている映像データ中継装置（８０１）が映像データ変換装置（２０２）と映像データ受信装置（２０３）の通信を仲介していることが異なる。

第３の形態は、映像データ変換装置（２０２）と映像データ受信装置（２０１）の間に映像データ中継装置（８０１）がある場合であり、一例としては、携帯電話システムにおいて、携帯電話端末を映像データ受信装置（２０３）、基地局を映像データ中継装置（８０１）とする場合を考えられる。携帯電話端末と基地局の間では無線としてデータ送受信を確認するやり取りが行われている。その送受信確認をもとに映像データ中継装置（８０１）である基地局から映像データ変換装置（２０２）に映像データ受信を示す制御データを送信することにより、第１の形態と同様の処理を行うことが可能である。

本発明は、例えば、インターネットを利用した映像配信システムにおける配信制御に利用可能である。

本発明の基本構成を示す図第１の形態のシステム構成を示す図第１の形態の映像データ変換装置の内部構成を示す図第１の形態の処理シーケンスを示す図第１の形態の配信制御処理および状態遷移を示す図第２の形態の映像データ変換装置の内部構成を示す図第２の形態の処理シーケンスを示す図第３の形態のシステム構成を示す図第３の形態の処理シーケンスを示す図

符号の説明

１０１、２０１映像データ送信装置
１０２、２０２、３０１映像データ変換装置
１０３、８０１映像データ中継装置
１０４、２０３映像データ受信装置
３０２記憶部
３０３映像変換部
３０４制御部
３０５映像データ蓄積部
３０６データ送受信部
３０７、３０８インタフェース
３０９送信映像着信情報記憶部
３１０送信映像送信情報記憶部
３１１受信装置情報記憶部
３１２受信映像受信情報記憶部
３１３映像変換用プログラム
３１４映像変換用プロセッサ
３１５制御用プログラム
３１６制御用プロセッサ
３１７映像データ送信プログラム
３１８映像データ受信プログラム
３１９制御データ受信プログラム
６０１制御データ送信プログラム

Claims

映像データ送信装置から送信された映像データを受信し、受信した前記映像データを変換して映像データ受信装置に送信する映像データ変換装置であって、
前記映像データ送信装置とデータを送受信する送信装置側インタフェースと、前記映像データ受信装置とデータを送受信する受信装置側インタフェースと、映像データの受信、映像データの送信、前記映像データ受信装置に関する情報を示す制御データの受信とを行うデータ送受信部と、受信した映像データを蓄積する映像データ蓄積部と、映像データの送受信に関する情報と前記制御データの示す情報を保持する記憶部と、映像データの変換方法と送信方法を定める制御部と、該映像データを変換する変換部を備え、
前記映像データの送受信に関する情報は、前記映像データ受信装置に送信している前記映像データのビットレートに関する情報を少なくとも含み、前記制御データの示す情報は、少なくとも前記映像データ変換装置と前記映像データ受信装置との間の通信速度に関する情報を少なくとも含み、
前記記憶部に保持している前記映像データの送受信に関する情報と前記制御データの示す情報とから求められる前記映像データ受信装置が蓄積する前記映像データの容量から、前記制御部で前記映像データの変換方法と送信方法を定め、前記変換部で映像データを変換し、前記データ送受信部で送信制御を行い、前記受信装置側インタフェースから前記映像データ受信装置に変換した前記映像データの送信を行う映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記記憶部に保持する前記映像データの送受信に関する情報は、
前記映像データ受信装置に送信している前記映像データのビットレート、および、前記映像データの送信速度、を含むことを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記記憶部に保持する前記制御データの示す情報は、
前記映像データ受信装置の前記映像データの蓄積可能容量、および、前記映像データ受信装置との間の通信速度、を含むことを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記記憶部に保持する前記制御データの示す情報は、
前記映像データ受信装置の前記映像データの表示可能画素数、前記映像データのデコード対応種別、および、前記映像データのデコード処理性能、を含むことを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記制御部は、前記映像データのビットレート、フレームレート、画素数、及びエンコード方式の変換方法を定めることを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記制御部は、前記映像データに固定ビットレートを示すフラグが存在する場合には、該フラグを可変ビットレートを示すフラグに変換することを定めることを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記制御部は、前記映像データの送信速度を、前記映像データのビットレートよりも早い速度で送信する、または、前記映像データのビットレートと等しい速度で送信する、または、前記映像データのビットレートよりも遅い速度で送信することを定めることを特徴とする映像データ変換装置。
請求項1に記載の映像データ変換装置であって、
前記データ送受信部は、前記映像データ送信装置からの映像データ受信に関する情報を示す制御データを前記送信装置側インタフェースから送信することを特徴とする映像データ変換装置。
請求項８に記載の映像データ変換装置であって、
前記映像データ送信装置からの映像データ受信に関する情報は、該映像データ変換装置の前記映像データの蓄積可能容量、および、該映像データ変換装置の前記映像データの蓄積容量、前記映像データ送信装置との間の通信速度、前記映像データ送信装置への要求通信速度、前記映像データ送信装置から受信する映像データの要求ビットレート、を含むことを特徴とする映像データ変換装置。
請求項１に記載の映像データ変換装置であって、
前記制御部は、前記映像データ受信装置に蓄積されている前記映像データを再生するのに要する時間であるバッファ時間に基づいて、前記映像データの変換方法と送信方法を定めることを特徴とする映像データ変換装置。