JP3852267B2 - 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 - Google Patents
動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3852267B2 JP3852267B2 JP2000132276A JP2000132276A JP3852267B2 JP 3852267 B2 JP3852267 B2 JP 3852267B2 JP 2000132276 A JP2000132276 A JP 2000132276A JP 2000132276 A JP2000132276 A JP 2000132276A JP 3852267 B2 JP3852267 B2 JP 3852267B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- moving image
- value
- user
- communication quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体に関する。特に、利用者がインターネット又はイントラネット等のネットワーク上に配置されているコンテンツを閲覧する際に、利用者が使用している端末及び通信路の特性に応じてコンテンツの変換を行うものである。
【０００２】
【従来の技術】
インターネットにおいて標準の記述言語であるハイパーテキスト記述言語に加えて、携帯電話型の端末においてもコンテンツが閲覧可能となるようにワイアレス記述言語と呼ばれる記述言語がある。しかし、インターネット上のコンテンツの多くはハイパーテキスト記述言語で記述されている。従って、ワイアレス記述言語で記述されたコンテンツのみを閲覧可能な携帯電話型の端末がハイパーテキスト記述言語で記述されたコンテンツを閲覧するのを可能にするために、ハイパーテキスト記述言語をワイアレス記述言語に変換するゲートウェイが、実用化に向けて開発されている。
【０００３】
また、通信時間の短縮を目的とし、インターネット上のコンテンツの中でも情報量が大きい画像コンテンツに関して、画像サイズの縮小変換を行うことや、画像の圧縮率を高くすることで画像の情報量を減らす変換処理をゲートウェイで行うコンテンツ変換システムが研究されてきた（「"モバイル用基盤ソフトウェアMobilenet",NEC技報 Vol52 NO.4,p70〜p75」）。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、現行のＰＤＣ(Personal Digital Cellular)又はＰＨＳ(Personal Handy phone System)システムで実現されている低速な通信速度を想定しているために、コンテンツ変換の対象は記述言語や画像に限定されていた。しかし、今後のＩＭＴ−２０００(International Mobile Telecommunication-2000)又はＭＭＡＣ(Multimedia Mobile Access Communication)等の広帯域移動体通信システムの実用化とともに、移動通信環境下においてもより高品質な動画像の利用が可能となる。そのため、記述言語や画像と同様に、動画像コンテンツの変換を行うゲートウェイの開発が望まれるが、その際に、変換処理に必要となる符号化パラメータの導出方法が考案される必要がある。
【０００５】
また、移動通信環境下において長時間に渡る動画像の視聴を行う場合には、フェージング等の影響により無線通信状態が変動するため、安定した動画像の伝送及び再生が行えない。
【０００６】
更に、提供された動画像の復号処理に要する処理能力をユーザ端末が有していない場合には、ユーザ端末においてリアルタイムでの復号処理が行えず、動画像が連続的に再生されない等の現象が生じ、利用者は快適に動画像を視聴することができない。
【０００７】
そこで、本発明は、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる、動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の動画像変換を制御するシステムは、動画像データを連続して送信するサーバと、該サーバから受信した該動画像データを、端末との間の通信品質及び端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換するゲートウェイと、該ゲートウェイから動画像データを受信する端末とを有する。特に、端末は、携帯電話機であることが好ましい。これにより、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる。従って、各端末毎に、適切且つ快適な動画像利用環境を提供することができる。また、動画像データの変換処理は、最新の特性に基づいて符号化パラメータの再導出を定期的に行い、再導出された符号化パラメータを変換処理に反映させるので、動画像データの変換処理中に通信状態が変動した場合でも、安定した動画像の伝送及び視聴が可能となる。
【０００９】
また、本発明によれば、量子化値をＱ、動画像変換に対して指定可能な最大の量子化値をＱｍａｘ、動画像変換に対して指定可能な最小の量子化値をＱｍｉｎ、前記プリファレンス値をＰ、利用者が指定可能なプリファレンス値の最大値をＰｍａｘ、利用者が指定可能なプリファレンス値の最小値をＰｍｉｎ、とすると、量子化値が、Ｑ＝（Ｑｍａｘ−Ｑｍｉｎ）×（Ｐ−Ｐｍｉｎ）／（Ｐｍａｘ−Ｐｍｉｎ）＋Ｑｍｉｎから導出されることが好ましい。
この量子化値の導出処理が２度目以降である場合は、前回量子化値の導出処理において指定されていたプリファレンス値と今回指定されているプリファレンス値との相違を判断し、両者が異なる場合には今回指定されたプリファレンス値に基づき量子化値の導出処理を行い、両者が同一である場合には前記端末で処理可能な最大フレームレートの導出を行い、変換後の動画像のフレームレートが導出された最大フレームレートを上回る場合にこのフレームレートを下げるように量子化値を制御することも好ましい。
実効スループット値が通信品質管理手段によって取得され、符号化方式、ディスプレイサイズ及びプリファレンス値がユーザ情報管理手段によって取得されることも好ましい。また、量子化値は、端末の処理能力によって該フレームレートと該フレーム品質との限界が決定されるものであってもよい。
【００１０】
本発明の第１の実施形態によれば、ゲートウェイが通信品質管理手段とユーザ情報管理手段とを有するものであってもよい。これは、本発明の特徴となる要素をゲートウェイのみで提供できるので、最も実現が容易なシステムである。
【００１１】
本発明の第２の実施形態によれば、ゲートウェイが通信品質管理手段を有し、端末がユーザ情報管理手段を有しており、該端末は、該ユーザ情報管理手段で取得されたユーザ情報をゲートウェイへ送信することも好ましい。これにより、ユーザ情報管理手段は、利用者による細かい制御情報を取得することが可能となる。
【００１２】
本発明の第３の実施形態によれば、ゲートウェイがユーザ情報管理手段を有し、端末が通信品質管理手段を有しており、該端末は、該通信品質管理手段で取得された通信品質情報をゲートウェイへ送信することも好ましい。これにより、通信品質管理手段は、ユーザにより近いところで測定を行うことができるので、より正確な通信品質情報を取得することが可能となる。
【００１３】
本発明の第４の実施形態によれば、端末が通信品質管理手段及びユーザ情報管理手段とを有しており、該端末は、該通信品質管理手段及び該ユーザ情報管理手段で取得された通信品質情報及びユーザ情報をゲートウェイへ送信することも好ましい。
【００１４】
本発明の動画像変換を制御するゲートウェイは、サーバから受信している連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する。
【００１５】
本発明の動画像変換を制御するサーバは、送信すべき連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する。
【００１６】
本発明の動画像変換を制御する制御プログラムを記録した記録媒体は、受信している連続する動画像データを、送信すべき端末との間の通信品質及び端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する制御プログラムを有する。
【００１７】
【発明の実施の形態】
以下では、図面を用いて、本発明の実施形態を詳細に説明する。
【００１８】
図１は、前述の第１の実施形態による動画像変換を制御するシステムの構成図である。利用者はユーザ端末１に実装されている汎用的なアプリケーション１０を用いて、ゲートウェイ２を介して、コンテンツ提供者がサーバ３に配置した動画像コンテンツ５０を閲覧することを想定している。図１では、ユーザ端末１がアプリケーション１０を有し、ゲートウェイ２が通信品質管理手段及びユーザ情報管理手段を有し、サーバ３が動画像コンテンツ５０を有する。これは、既存のシステムに本発明のゲートウェイを設けるだけで、本発明の特徴とするサービスを提供することができる。
【００１９】
図２は、前述の第２の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０及びユーザ情報管理機能２０を有し、ゲートウェイ２が通信品質管理機能３０及び動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。これは、ユーザ情報管理手段が、利用者による細かい制御情報を取得することができる。
【００２０】
図３は、前述の第３の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０及び通信品質管理機能３０を有し、ゲートウェイ２がユーザ情報管理機能２０及び動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。これは、通信品質管理手段が、ユーザにより近いところで測定を行うことができるので、より正確な通信品質情報を取得することが可能となる。
【００２１】
図４は、前述の第４の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０、ユーザ情報管理機能２０及び通信品質管理機能３０を有し、ゲートウェイ２が動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。
【００２２】
図５は、第５の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０、ユーザ情報管理機能２０及び通信品質管理機能３０を有し、サーバ３が動画像変換機能４０及び動画像コンテンツ５０を有する。これは、ゲートウェイの機能をサーバに取り込んだものである。
【００２３】
図６は、第６の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０を有し、該ユーザ端末に接続される通信端末がユーザ情報管理機能２０及び通信品質管理機能３０を有し、ゲートウェイ２が動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。
【００２４】
ユーザ情報管理機能２０は、ユーザ端末のハードウェア及びソフトウェアに関する端末情報を収集する手段と、利用者からの制御を可能とするプリファレンス情報を収集する手段と、収集した情報を第１のインターフェースを介して動画像変換機能４０に提供する手段とを有している。ユーザが直接指定するのはプリファレンス情報であり、該情報を基に変換制御手段において量子化値が決定される。これにより、ユーザは量子化値と言う難解な値を意識する必要が無くなる。また、通信品質管理機能３０は、利用者が使用する通信路の状態に関する情報として、実効スループット等の通信品質情報を収集する手段と、収集した情報を第２のインターフェースを介して動画像変換機能４０に提供する手段とを有している。
【００２５】
該動画像変換機能４０は、ユーザ情報管理機能２０から通知される情報と、通信品質管理機能３０から通知される情報とを受信し、受信した情報に基づいて変換処理に必要となる４つの符号化パラメータを導出する変換制御手段４２と、導出された符号化パラメータに基づき動画像の変換処理を実行する動画像変換手段４１とを有する。
【００２６】
本発明によるシステムは、前述の機能を実行するため、次のようなインターフェースを有する。
【００２７】
第１のインターフェース１１０は、ユーザ情報管理機能２０から変換制御手段４２に端末情報とプリファレンス情報を通知する際に用いられる論理的なインターフェースである。
第２のインターフェース１２０は、通信品質管理機能３０から変換制御手段４２に通信品質情報を通知する際に用いられる論理的なインターフェースである。
第３のインターフェース１３０は、ユーザ端末１に提供されるコンテンツの授受のために用いられる論理的なインターフェースである。
第４のインターフェース１４０は、サーバ３から提供されるコンテンツの授受のために用いられる論理的なインターフェースである。
第５のインターフェース１５０は、利用者がアプリケーション１０を用いて指定したプリファレンス情報を、ユーザ情報管理機能２０に通知する際に用いられる論理的なインターフェースである。
第６のインターフェース１６０は、動画像変換手段４１が変換処理を行う際に必要となる４つの符号化パラメータを、変換制御手段４２から取得する際に用いられる論理的なインターフェースである。
【００２８】
図７は、本発明によるシステムのシーケンス図である。最初に、利用者がアプリケーション１０を用いてプリファレンス情報を指定した場合に、アプリケーション１０から第５のインターフェース１５０を介してユーザ情報管理機能２０に通知される（Ｓ１）。更に、ユーザ情報管理機能２０は、予め管理していた端末情報と通知されたプリファレンス情報を、第１のインターフェース１１０を介して変換制御手段４２に通知する（Ｓ２）。また、通信品質管理機能３０は、管理している通信品質情報を、第２のインターフェースを介して定期的に変換制御機能４２に通知する（Ｓ３）。変換制御手段４２は、通知された情報を利用者毎に管理する。
【００２９】
次に、アプリケーション１０は、利用者からの要求若しくは自主的な判断により、第３のインターフェース１３０を介して動画像変換手段４１に対して動画像コンテンツの要求を行う（Ｓ４）。動画像変換手段４１は、利用者からの要求に基づいて、動画像コンテンツが配置されているサーバ３に対して動画像コンテンツの要求を行う（Ｓ５）。サーバ３は、動画像変換手段４１から要求された動画像コンテンツを検索し、要求された動画像コンテンツが存在した場合、第４のインターフェース１４０を介して、動画像変換手段４１に動画像コンテンツを提供する（Ｓ６）。
【００３０】
次に、動画像変換手段４１は、サーバ３から動画像コンテンツを受信し始めた段階で、変換処理に必要となる符号化パラメータを、第６のインターフェースを介して変換制御手段４２に要求する（Ｓ７）。また、この際に、動画像変換手４１は、受信した動画像コンテンツを解析することで動画像コンテンツのフレームサイズ等を取得し、第６のインターフェースを介して変換制御手段４２に提供しても良い。
【００３１】
次に、変換制御手段４２は、図８に示す符号化パラメータ導出アルゴリズムに基づき符号化パラメータを導出し（Ｓ８）、導出した符号化パラメータを動画像変換手段４１に提供する（Ｓ９）。
【００３２】
動画像変換手段４１はサーバ３から受信している動画像コンテンツの変換処理を開始し（Ｓ１０）、変換後の動画像コンテンツを第４のインターフェースを介してアプリケーション１０に提供する。ただし、この際に、アプリケーション１０に送信されるデータを通信品質管理機能３０が監視しており、実効スループットの計測を行った後に、アプリケーションにデータを送信する（Ｓ１１、Ｓ１２、Ｓ１３）。また、動画像変換手段は変換処理中に、変換後の動画像のフレームレートを動画像制御手段４２に通知しても良い（Ｓ１４）。前述した符号化パラメータを導出する段階（Ｓ８）からの一連のシーケンスは、一定周期で反復処理される。
【００３３】
利用者からアプリケーション１０に動画像再生終了の指定があった場合には、その旨を動画像変換手段４１に通知し（Ｓ１５）、動画像変換手段４１は変換処理を終了する（Ｓ１６）。また、サーバ３に対して動画像の配信を止めるように通知し（Ｓ１７）、更に変換制御手段４２に対して符号化パラメータ導出処理を終了するよう通知する（Ｓ１８）。
【００３４】
図８は、変換制御手段４２での符号化パラメータ導出アルゴリズムの一例を示すフローチャートである。
Ｓ２１：端末情報からユーザ端末に搭載されているデコーダ種別を識別し、予めデコーダ種別と符号化方式の対応表を保持しておくことで、ユーザ端末で動画像の再生処理が可能となる符号化方式を導出する。
Ｓ２２：通信品質情報から利用者が使用している通信路の実効スループット値を取得し、該実効スループット値を符号化ビットレートとする。
Ｓ２３：端末情報からユーザ端末のディスプレイサイズを取得し、動画像フレームの高さ及び幅の両方のサイズがディスプレイサイズ内に収まるフレームサイズを導出する。具体的な導出処理の例を図９及び図１０に示す。
Ｓ２４：プリファレンス情報から、フレームレートを重視した制御を行うか、フレーム品質を重視した制御を行うかを判断し、フレームレートを重視した制御を行う場合には量子化値として大きな値を導出し、フレーム品質を重視した制御を行う場合には量子化値として小さな値を導出する。具体的な導出処理の例を図１１及び図１２に示す。
【００３５】
図９は、フレームサイズ導出処理の第１の実施形態のフローチャートである。
Ｓ３１：ディスプレイの縦サイズをフレームの縦サイズとする。
Ｓ３２：ディスプレイの横サイズをフレームの横サイズとする。
【００３６】
図１０は、フレームサイズ導出処理の第２の実施形態のフローチャートである。このフロー処理を実施することで、変換前動画像の縦サイズと横サイズの比率を保つよう、変換処理の際の所望フレームサイズが導出される。
Ｓ４１：ディスプレイサイズが変換前の動画像のサイズに対して縦長であるか、横長であるかを判定する。
Ｓ４２：Ｓ４１において、ディスプレイサイズが横長であると判断された場合は、ディスプレイの縦サイズが制約となるため、ディスプレイの縦サイズをフレームの縦サイズとする。
Ｓ４３：Ｓ４２において縦サイズが拡大縮小された比率に、変換前動画像のフレームの横サイズを乗算することで、フレームの横サイズを導出する。
Ｓ４４：Ｓ４１において、ディスプレイサイズが縦長であると判断された場合は、ディスプレイの横サイズが制約となるため、ディスプレイの横サイズをフレームの横サイズとする。
Ｓ４５：Ｓ４４において横サイズが拡大縮小された比率に、変換前動画像のフレームの縦サイズを乗算することで、フレームの縦サイズを導出する。
【００３７】
図１１は、量子化値の導出処理の第１の実施形態のフローチャートである。このフロー処理は、利用者がプリファレンスとしてフレームレートを重視するか、フレーム品質を重視するかの２つの選択が行える場合の処理の一例である。
Ｓ５１：プリファレンス情報を参照することで、フレームレート重視の制御を行うか、フレーム品質重視の制御を行うか判断する。
Ｓ５２：Ｓ５１において、フレームレート重視の制御を行うことが判断された場合には、動画像変換手段４１に対して指定可能な最大の量子化値を使用する。
Ｓ５３：Ｓ５１において、フレーム品質重視の制御を行うことが判断された場合には、動画像変換手段４１に対して指定可能な最小の量子化値を使用する。
【００３８】
図１２は、量子化値の導出処理の第２の実施形態のフローチャートである。このフロー処理は、利用者がスライドバー等を用いて、フレームレートを重視するか、フレーム品質を重視するかを複数の段階で指定可能な場合の処理の一例である。
Ｓ６１：プリファレンス情報として指定可能なプリファレンス値の範囲と利用者が実際に指定したプリファレンス値の関係を保つよう、量子化値を導出する。
【００３９】
図１３は、量子化値の導出処理の第３の実施形態のフローチャートである。
Ｓ１１１：量子化値の導出処理が行われた回数を判定する。
Ｓ１１２：Ｓ１１１において、今回の量子化値の導出処理が２度目以降の処理であると判定された場合には、前回量子化値の導出処理において指定されていたプリファレンス値を参照し、今回指定されているプリファレンス値との相違を判断する。
Ｓ１１３：Ｓ１１１において今回の量子化値の導出処理が初回であると判定された場合と、Ｓ１１２において前回指定されていたプリファレンス値と、今回指定されているプリファレンス値が異なると判断された場合には、今回指定されたプリファレンス値に基づき量子化値の導出処理を行う。具体的な導出処理は、前述した図９及び図１０のフローである。
Ｓ１１４：Ｓ１１２において前回指定されていたプリファレンス値と、今回指定されているプリファレンス値が同一であると判断された場合には、ユーザ端末で処理可能な最大のフレームレートの導出を行う。具体的には、予め変換制御手段４２は処理能力と、フレームサイズと、最大フレームレートの対応表を保持しており、端末情報に含まれるユーザ端末の処理能力と、Ｓ２３において導出されたフレームサイズを参照することで、該対応表を用いて最大フレームレートを導出する。
Ｓ１１５：動画像変換手段４１から通知される変換後の動画像のフレームレートと、Ｓ１１４において導出される最大フレームレートを比較する。
Ｓ１１６：Ｓ１１５において、動画像変換手段４１から通知される変換後の動画像のフレームレートが、Ｓ１１４において導出される最大フレームレートを上回る場合には、前回の量子化値の導出処理で導出された量子化値が、動画像変換手段４１に対して指定可能な最小の量子化値であるか判定を行う。
Ｓ１１７：Ｓ１１５において、動画像変換手段４１から通知される変換後の動画像のフレームレートが、Ｓ１１４において導出される最大フレームレート以下である場合と、Ｓ１１６において、前回の量子化値の導出処理で導出された量子化値が、動画像変換手段４１に対して指定可能な最小の量子化値であった場合には、前回の量子化値の導出処理で導出された量子化値を使用する。
Ｓ１１８：Ｓ１１６において、前回の量子化値の導出処理で導出された量子化値が動画像変換手段４１に対して指定可能な最小の量子化値より大きい場合には、前回の量子化値の導出処理で導出された量子化値以下の値を設定する。
Ｓ１１９：今回指定されているプリファレンス値と、今回導出された量子化値を保存する。
【００４０】
前述した本発明の動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体の種々の実施形態は、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【００４１】
【発明の効果】
以上、詳細に説明したように、本発明によれば、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる。通信路の実効スループットに基づき符号化ビットレートを導出するので、通信路の能力に応じた動画像の提供が可能となる。従って、各端末毎に、適切且つ快適な動画像利用環境を提供することができる。また、動画像データの変換処理は、最新の特性に基づいて符号化パラメータの再導出を定期的に行い、再導出された符号化パラメータを変換処理に反映させるので、動画像データの変換処理中に通信状態が変動した場合でも、安定した動画像の伝送及び視聴が可能となる。
【００４２】
また、ユーザ端末に搭載されている復号化種別に基づき符号化方式を導出することで、デコーダの多様性に対応でき、ユーザ端末のディスプレイサイズに基づきフレームサイズを導出することで、動画像全体がディスプレイ内に表示可能となり、利用者からの視認性が向上する。更に、量子化値を利用者からの指示に基づき導出することで、個々の利用者の好みを反映した動画像配信が可能となる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態のシステム構成図である。
【図２】本発明による第２の実施形態のシステム構成図である。
【図３】本発明による第３の実施形態のシステム構成図である。
【図４】本発明による第４の実施形態のシステム構成図である。
【図５】本発明による第５の実施形態のシステム構成図である。
【図６】本発明による第６の実施形態のシステム構成図である。
【図７】本発明によるシステムのシーケンス図である。
【図８】図７の符号化パラメータ導出アルゴリズムのフローチャートである。
【図９】図８のフレームサイズの導出処理の第１の実施形態のフローチャートである。
【図１０】図８のフレームサイズの導出処理の第２の実施形態のフローチャートである。
【図１１】図８の量子化値の導出処理の第１の実施形態のフローチャートである。
【図１２】図８の量子化値の導出処理の第２の実施形態のフローチャートである。
【図１３】図８の量子化値の導出処理の第３の実施形態のフローチャートである。
【符号の説明】
１ ユーザ端末
２ ゲートウェイ
３ サーバ
４ 通信端末
１０ アプリケーション
２０ ユーザ情報管理機能
３０ 通信品質管理機能
４０ 動画像変換機能
４１ 動画像変換手段
４２ 変換制御手段
５０ コンテンツ
１１０、１２０、１３０、１４０、１５０、１６０ インターフェース
【発明の属する技術分野】
本発明は、動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体に関する。特に、利用者がインターネット又はイントラネット等のネットワーク上に配置されているコンテンツを閲覧する際に、利用者が使用している端末及び通信路の特性に応じてコンテンツの変換を行うものである。
【０００２】
【従来の技術】
インターネットにおいて標準の記述言語であるハイパーテキスト記述言語に加えて、携帯電話型の端末においてもコンテンツが閲覧可能となるようにワイアレス記述言語と呼ばれる記述言語がある。しかし、インターネット上のコンテンツの多くはハイパーテキスト記述言語で記述されている。従って、ワイアレス記述言語で記述されたコンテンツのみを閲覧可能な携帯電話型の端末がハイパーテキスト記述言語で記述されたコンテンツを閲覧するのを可能にするために、ハイパーテキスト記述言語をワイアレス記述言語に変換するゲートウェイが、実用化に向けて開発されている。
【０００３】
また、通信時間の短縮を目的とし、インターネット上のコンテンツの中でも情報量が大きい画像コンテンツに関して、画像サイズの縮小変換を行うことや、画像の圧縮率を高くすることで画像の情報量を減らす変換処理をゲートウェイで行うコンテンツ変換システムが研究されてきた（「"モバイル用基盤ソフトウェアMobilenet",NEC技報 Vol52 NO.4,p70〜p75」）。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、現行のＰＤＣ(Personal Digital Cellular)又はＰＨＳ(Personal Handy phone System)システムで実現されている低速な通信速度を想定しているために、コンテンツ変換の対象は記述言語や画像に限定されていた。しかし、今後のＩＭＴ−２０００(International Mobile Telecommunication-2000)又はＭＭＡＣ(Multimedia Mobile Access Communication)等の広帯域移動体通信システムの実用化とともに、移動通信環境下においてもより高品質な動画像の利用が可能となる。そのため、記述言語や画像と同様に、動画像コンテンツの変換を行うゲートウェイの開発が望まれるが、その際に、変換処理に必要となる符号化パラメータの導出方法が考案される必要がある。
【０００５】
また、移動通信環境下において長時間に渡る動画像の視聴を行う場合には、フェージング等の影響により無線通信状態が変動するため、安定した動画像の伝送及び再生が行えない。
【０００６】
更に、提供された動画像の復号処理に要する処理能力をユーザ端末が有していない場合には、ユーザ端末においてリアルタイムでの復号処理が行えず、動画像が連続的に再生されない等の現象が生じ、利用者は快適に動画像を視聴することができない。
【０００７】
そこで、本発明は、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる、動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の動画像変換を制御するシステムは、動画像データを連続して送信するサーバと、該サーバから受信した該動画像データを、端末との間の通信品質及び端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換するゲートウェイと、該ゲートウェイから動画像データを受信する端末とを有する。特に、端末は、携帯電話機であることが好ましい。これにより、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる。従って、各端末毎に、適切且つ快適な動画像利用環境を提供することができる。また、動画像データの変換処理は、最新の特性に基づいて符号化パラメータの再導出を定期的に行い、再導出された符号化パラメータを変換処理に反映させるので、動画像データの変換処理中に通信状態が変動した場合でも、安定した動画像の伝送及び視聴が可能となる。
【０００９】
また、本発明によれば、量子化値をＱ、動画像変換に対して指定可能な最大の量子化値をＱｍａｘ、動画像変換に対して指定可能な最小の量子化値をＱｍｉｎ、前記プリファレンス値をＰ、利用者が指定可能なプリファレンス値の最大値をＰｍａｘ、利用者が指定可能なプリファレンス値の最小値をＰｍｉｎ、とすると、量子化値が、Ｑ＝（Ｑｍａｘ−Ｑｍｉｎ）×（Ｐ−Ｐｍｉｎ）／（Ｐｍａｘ−Ｐｍｉｎ）＋Ｑｍｉｎから導出されることが好ましい。
この量子化値の導出処理が２度目以降である場合は、前回量子化値の導出処理において指定されていたプリファレンス値と今回指定されているプリファレンス値との相違を判断し、両者が異なる場合には今回指定されたプリファレンス値に基づき量子化値の導出処理を行い、両者が同一である場合には前記端末で処理可能な最大フレームレートの導出を行い、変換後の動画像のフレームレートが導出された最大フレームレートを上回る場合にこのフレームレートを下げるように量子化値を制御することも好ましい。
実効スループット値が通信品質管理手段によって取得され、符号化方式、ディスプレイサイズ及びプリファレンス値がユーザ情報管理手段によって取得されることも好ましい。また、量子化値は、端末の処理能力によって該フレームレートと該フレーム品質との限界が決定されるものであってもよい。
【００１０】
本発明の第１の実施形態によれば、ゲートウェイが通信品質管理手段とユーザ情報管理手段とを有するものであってもよい。これは、本発明の特徴となる要素をゲートウェイのみで提供できるので、最も実現が容易なシステムである。
【００１１】
本発明の第２の実施形態によれば、ゲートウェイが通信品質管理手段を有し、端末がユーザ情報管理手段を有しており、該端末は、該ユーザ情報管理手段で取得されたユーザ情報をゲートウェイへ送信することも好ましい。これにより、ユーザ情報管理手段は、利用者による細かい制御情報を取得することが可能となる。
【００１２】
本発明の第３の実施形態によれば、ゲートウェイがユーザ情報管理手段を有し、端末が通信品質管理手段を有しており、該端末は、該通信品質管理手段で取得された通信品質情報をゲートウェイへ送信することも好ましい。これにより、通信品質管理手段は、ユーザにより近いところで測定を行うことができるので、より正確な通信品質情報を取得することが可能となる。
【００１３】
本発明の第４の実施形態によれば、端末が通信品質管理手段及びユーザ情報管理手段とを有しており、該端末は、該通信品質管理手段及び該ユーザ情報管理手段で取得された通信品質情報及びユーザ情報をゲートウェイへ送信することも好ましい。
【００１４】
本発明の動画像変換を制御するゲートウェイは、サーバから受信している連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する。
【００１５】
本発明の動画像変換を制御するサーバは、送信すべき連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する。
【００１６】
本発明の動画像変換を制御する制御プログラムを記録した記録媒体は、受信している連続する動画像データを、送信すべき端末との間の通信品質及び端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、端末が有する復号化方式に基づく符号化方式と、端末のディスプレイサイズに基づくフレームサイズと、端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する制御プログラムを有する。
【００１７】
【発明の実施の形態】
以下では、図面を用いて、本発明の実施形態を詳細に説明する。
【００１８】
図１は、前述の第１の実施形態による動画像変換を制御するシステムの構成図である。利用者はユーザ端末１に実装されている汎用的なアプリケーション１０を用いて、ゲートウェイ２を介して、コンテンツ提供者がサーバ３に配置した動画像コンテンツ５０を閲覧することを想定している。図１では、ユーザ端末１がアプリケーション１０を有し、ゲートウェイ２が通信品質管理手段及びユーザ情報管理手段を有し、サーバ３が動画像コンテンツ５０を有する。これは、既存のシステムに本発明のゲートウェイを設けるだけで、本発明の特徴とするサービスを提供することができる。
【００１９】
図２は、前述の第２の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０及びユーザ情報管理機能２０を有し、ゲートウェイ２が通信品質管理機能３０及び動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。これは、ユーザ情報管理手段が、利用者による細かい制御情報を取得することができる。
【００２０】
図３は、前述の第３の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０及び通信品質管理機能３０を有し、ゲートウェイ２がユーザ情報管理機能２０及び動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。これは、通信品質管理手段が、ユーザにより近いところで測定を行うことができるので、より正確な通信品質情報を取得することが可能となる。
【００２１】
図４は、前述の第４の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０、ユーザ情報管理機能２０及び通信品質管理機能３０を有し、ゲートウェイ２が動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。
【００２２】
図５は、第５の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０、ユーザ情報管理機能２０及び通信品質管理機能３０を有し、サーバ３が動画像変換機能４０及び動画像コンテンツ５０を有する。これは、ゲートウェイの機能をサーバに取り込んだものである。
【００２３】
図６は、第６の実施形態による動画像変換を制御するシステムの構成図である。ユーザ端末１がアプリケーション１０を有し、該ユーザ端末に接続される通信端末がユーザ情報管理機能２０及び通信品質管理機能３０を有し、ゲートウェイ２が動画像変換機能４０を有し、サーバ３が動画像コンテンツ５０を有する。
【００２４】
ユーザ情報管理機能２０は、ユーザ端末のハードウェア及びソフトウェアに関する端末情報を収集する手段と、利用者からの制御を可能とするプリファレンス情報を収集する手段と、収集した情報を第１のインターフェースを介して動画像変換機能４０に提供する手段とを有している。ユーザが直接指定するのはプリファレンス情報であり、該情報を基に変換制御手段において量子化値が決定される。これにより、ユーザは量子化値と言う難解な値を意識する必要が無くなる。また、通信品質管理機能３０は、利用者が使用する通信路の状態に関する情報として、実効スループット等の通信品質情報を収集する手段と、収集した情報を第２のインターフェースを介して動画像変換機能４０に提供する手段とを有している。
【００２５】
該動画像変換機能４０は、ユーザ情報管理機能２０から通知される情報と、通信品質管理機能３０から通知される情報とを受信し、受信した情報に基づいて変換処理に必要となる４つの符号化パラメータを導出する変換制御手段４２と、導出された符号化パラメータに基づき動画像の変換処理を実行する動画像変換手段４１とを有する。
【００２６】
本発明によるシステムは、前述の機能を実行するため、次のようなインターフェースを有する。
【００２７】
第１のインターフェース１１０は、ユーザ情報管理機能２０から変換制御手段４２に端末情報とプリファレンス情報を通知する際に用いられる論理的なインターフェースである。
第２のインターフェース１２０は、通信品質管理機能３０から変換制御手段４２に通信品質情報を通知する際に用いられる論理的なインターフェースである。
第３のインターフェース１３０は、ユーザ端末１に提供されるコンテンツの授受のために用いられる論理的なインターフェースである。
第４のインターフェース１４０は、サーバ３から提供されるコンテンツの授受のために用いられる論理的なインターフェースである。
第５のインターフェース１５０は、利用者がアプリケーション１０を用いて指定したプリファレンス情報を、ユーザ情報管理機能２０に通知する際に用いられる論理的なインターフェースである。
第６のインターフェース１６０は、動画像変換手段４１が変換処理を行う際に必要となる４つの符号化パラメータを、変換制御手段４２から取得する際に用いられる論理的なインターフェースである。
【００２８】
図７は、本発明によるシステムのシーケンス図である。最初に、利用者がアプリケーション１０を用いてプリファレンス情報を指定した場合に、アプリケーション１０から第５のインターフェース１５０を介してユーザ情報管理機能２０に通知される（Ｓ１）。更に、ユーザ情報管理機能２０は、予め管理していた端末情報と通知されたプリファレンス情報を、第１のインターフェース１１０を介して変換制御手段４２に通知する（Ｓ２）。また、通信品質管理機能３０は、管理している通信品質情報を、第２のインターフェースを介して定期的に変換制御機能４２に通知する（Ｓ３）。変換制御手段４２は、通知された情報を利用者毎に管理する。
【００２９】
次に、アプリケーション１０は、利用者からの要求若しくは自主的な判断により、第３のインターフェース１３０を介して動画像変換手段４１に対して動画像コンテンツの要求を行う（Ｓ４）。動画像変換手段４１は、利用者からの要求に基づいて、動画像コンテンツが配置されているサーバ３に対して動画像コンテンツの要求を行う（Ｓ５）。サーバ３は、動画像変換手段４１から要求された動画像コンテンツを検索し、要求された動画像コンテンツが存在した場合、第４のインターフェース１４０を介して、動画像変換手段４１に動画像コンテンツを提供する（Ｓ６）。
【００３０】
次に、動画像変換手段４１は、サーバ３から動画像コンテンツを受信し始めた段階で、変換処理に必要となる符号化パラメータを、第６のインターフェースを介して変換制御手段４２に要求する（Ｓ７）。また、この際に、動画像変換手４１は、受信した動画像コンテンツを解析することで動画像コンテンツのフレームサイズ等を取得し、第６のインターフェースを介して変換制御手段４２に提供しても良い。
【００３１】
次に、変換制御手段４２は、図８に示す符号化パラメータ導出アルゴリズムに基づき符号化パラメータを導出し（Ｓ８）、導出した符号化パラメータを動画像変換手段４１に提供する（Ｓ９）。
【００３２】
動画像変換手段４１はサーバ３から受信している動画像コンテンツの変換処理を開始し（Ｓ１０）、変換後の動画像コンテンツを第４のインターフェースを介してアプリケーション１０に提供する。ただし、この際に、アプリケーション１０に送信されるデータを通信品質管理機能３０が監視しており、実効スループットの計測を行った後に、アプリケーションにデータを送信する（Ｓ１１、Ｓ１２、Ｓ１３）。また、動画像変換手段は変換処理中に、変換後の動画像のフレームレートを動画像制御手段４２に通知しても良い（Ｓ１４）。前述した符号化パラメータを導出する段階（Ｓ８）からの一連のシーケンスは、一定周期で反復処理される。
【００３３】
利用者からアプリケーション１０に動画像再生終了の指定があった場合には、その旨を動画像変換手段４１に通知し（Ｓ１５）、動画像変換手段４１は変換処理を終了する（Ｓ１６）。また、サーバ３に対して動画像の配信を止めるように通知し（Ｓ１７）、更に変換制御手段４２に対して符号化パラメータ導出処理を終了するよう通知する（Ｓ１８）。
【００３４】
図８は、変換制御手段４２での符号化パラメータ導出アルゴリズムの一例を示すフローチャートである。
Ｓ２１：端末情報からユーザ端末に搭載されているデコーダ種別を識別し、予めデコーダ種別と符号化方式の対応表を保持しておくことで、ユーザ端末で動画像の再生処理が可能となる符号化方式を導出する。
Ｓ２２：通信品質情報から利用者が使用している通信路の実効スループット値を取得し、該実効スループット値を符号化ビットレートとする。
Ｓ２３：端末情報からユーザ端末のディスプレイサイズを取得し、動画像フレームの高さ及び幅の両方のサイズがディスプレイサイズ内に収まるフレームサイズを導出する。具体的な導出処理の例を図９及び図１０に示す。
Ｓ２４：プリファレンス情報から、フレームレートを重視した制御を行うか、フレーム品質を重視した制御を行うかを判断し、フレームレートを重視した制御を行う場合には量子化値として大きな値を導出し、フレーム品質を重視した制御を行う場合には量子化値として小さな値を導出する。具体的な導出処理の例を図１１及び図１２に示す。
【００３５】
図９は、フレームサイズ導出処理の第１の実施形態のフローチャートである。
Ｓ３１：ディスプレイの縦サイズをフレームの縦サイズとする。
Ｓ３２：ディスプレイの横サイズをフレームの横サイズとする。
【００３６】
図１０は、フレームサイズ導出処理の第２の実施形態のフローチャートである。このフロー処理を実施することで、変換前動画像の縦サイズと横サイズの比率を保つよう、変換処理の際の所望フレームサイズが導出される。
Ｓ４１：ディスプレイサイズが変換前の動画像のサイズに対して縦長であるか、横長であるかを判定する。
Ｓ４２：Ｓ４１において、ディスプレイサイズが横長であると判断された場合は、ディスプレイの縦サイズが制約となるため、ディスプレイの縦サイズをフレームの縦サイズとする。
Ｓ４３：Ｓ４２において縦サイズが拡大縮小された比率に、変換前動画像のフレームの横サイズを乗算することで、フレームの横サイズを導出する。
Ｓ４４：Ｓ４１において、ディスプレイサイズが縦長であると判断された場合は、ディスプレイの横サイズが制約となるため、ディスプレイの横サイズをフレームの横サイズとする。
Ｓ４５：Ｓ４４において横サイズが拡大縮小された比率に、変換前動画像のフレームの縦サイズを乗算することで、フレームの縦サイズを導出する。
【００３７】
図１１は、量子化値の導出処理の第１の実施形態のフローチャートである。このフロー処理は、利用者がプリファレンスとしてフレームレートを重視するか、フレーム品質を重視するかの２つの選択が行える場合の処理の一例である。
Ｓ５１：プリファレンス情報を参照することで、フレームレート重視の制御を行うか、フレーム品質重視の制御を行うか判断する。
Ｓ５２：Ｓ５１において、フレームレート重視の制御を行うことが判断された場合には、動画像変換手段４１に対して指定可能な最大の量子化値を使用する。
Ｓ５３：Ｓ５１において、フレーム品質重視の制御を行うことが判断された場合には、動画像変換手段４１に対して指定可能な最小の量子化値を使用する。
【００３８】
図１２は、量子化値の導出処理の第２の実施形態のフローチャートである。このフロー処理は、利用者がスライドバー等を用いて、フレームレートを重視するか、フレーム品質を重視するかを複数の段階で指定可能な場合の処理の一例である。
Ｓ６１：プリファレンス情報として指定可能なプリファレンス値の範囲と利用者が実際に指定したプリファレンス値の関係を保つよう、量子化値を導出する。
【００３９】
図１３は、量子化値の導出処理の第３の実施形態のフローチャートである。
Ｓ１１１：量子化値の導出処理が行われた回数を判定する。
Ｓ１１２：Ｓ１１１において、今回の量子化値の導出処理が２度目以降の処理であると判定された場合には、前回量子化値の導出処理において指定されていたプリファレンス値を参照し、今回指定されているプリファレンス値との相違を判断する。
Ｓ１１３：Ｓ１１１において今回の量子化値の導出処理が初回であると判定された場合と、Ｓ１１２において前回指定されていたプリファレンス値と、今回指定されているプリファレンス値が異なると判断された場合には、今回指定されたプリファレンス値に基づき量子化値の導出処理を行う。具体的な導出処理は、前述した図９及び図１０のフローである。
Ｓ１１４：Ｓ１１２において前回指定されていたプリファレンス値と、今回指定されているプリファレンス値が同一であると判断された場合には、ユーザ端末で処理可能な最大のフレームレートの導出を行う。具体的には、予め変換制御手段４２は処理能力と、フレームサイズと、最大フレームレートの対応表を保持しており、端末情報に含まれるユーザ端末の処理能力と、Ｓ２３において導出されたフレームサイズを参照することで、該対応表を用いて最大フレームレートを導出する。
Ｓ１１５：動画像変換手段４１から通知される変換後の動画像のフレームレートと、Ｓ１１４において導出される最大フレームレートを比較する。
Ｓ１１６：Ｓ１１５において、動画像変換手段４１から通知される変換後の動画像のフレームレートが、Ｓ１１４において導出される最大フレームレートを上回る場合には、前回の量子化値の導出処理で導出された量子化値が、動画像変換手段４１に対して指定可能な最小の量子化値であるか判定を行う。
Ｓ１１７：Ｓ１１５において、動画像変換手段４１から通知される変換後の動画像のフレームレートが、Ｓ１１４において導出される最大フレームレート以下である場合と、Ｓ１１６において、前回の量子化値の導出処理で導出された量子化値が、動画像変換手段４１に対して指定可能な最小の量子化値であった場合には、前回の量子化値の導出処理で導出された量子化値を使用する。
Ｓ１１８：Ｓ１１６において、前回の量子化値の導出処理で導出された量子化値が動画像変換手段４１に対して指定可能な最小の量子化値より大きい場合には、前回の量子化値の導出処理で導出された量子化値以下の値を設定する。
Ｓ１１９：今回指定されているプリファレンス値と、今回導出された量子化値を保存する。
【００４０】
前述した本発明の動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体の種々の実施形態は、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略が、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【００４１】
【発明の効果】
以上、詳細に説明したように、本発明によれば、インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信することができる。通信路の実効スループットに基づき符号化ビットレートを導出するので、通信路の能力に応じた動画像の提供が可能となる。従って、各端末毎に、適切且つ快適な動画像利用環境を提供することができる。また、動画像データの変換処理は、最新の特性に基づいて符号化パラメータの再導出を定期的に行い、再導出された符号化パラメータを変換処理に反映させるので、動画像データの変換処理中に通信状態が変動した場合でも、安定した動画像の伝送及び視聴が可能となる。
【００４２】
また、ユーザ端末に搭載されている復号化種別に基づき符号化方式を導出することで、デコーダの多様性に対応でき、ユーザ端末のディスプレイサイズに基づきフレームサイズを導出することで、動画像全体がディスプレイ内に表示可能となり、利用者からの視認性が向上する。更に、量子化値を利用者からの指示に基づき導出することで、個々の利用者の好みを反映した動画像配信が可能となる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態のシステム構成図である。
【図２】本発明による第２の実施形態のシステム構成図である。
【図３】本発明による第３の実施形態のシステム構成図である。
【図４】本発明による第４の実施形態のシステム構成図である。
【図５】本発明による第５の実施形態のシステム構成図である。
【図６】本発明による第６の実施形態のシステム構成図である。
【図７】本発明によるシステムのシーケンス図である。
【図８】図７の符号化パラメータ導出アルゴリズムのフローチャートである。
【図９】図８のフレームサイズの導出処理の第１の実施形態のフローチャートである。
【図１０】図８のフレームサイズの導出処理の第２の実施形態のフローチャートである。
【図１１】図８の量子化値の導出処理の第１の実施形態のフローチャートである。
【図１２】図８の量子化値の導出処理の第２の実施形態のフローチャートである。
【図１３】図８の量子化値の導出処理の第３の実施形態のフローチャートである。
【符号の説明】
１ ユーザ端末
２ ゲートウェイ
３ サーバ
４ 通信端末
１０ アプリケーション
２０ ユーザ情報管理機能
３０ 通信品質管理機能
４０ 動画像変換機能
４１ 動画像変換手段
４２ 変換制御手段
５０ コンテンツ
１１０、１２０、１３０、１４０、１５０、１６０ インターフェース
Claims (12)
- 連続する動画像データを送信するサーバと、
前記サーバから受信した前記動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、前記端末が有する復号化方式に基づく符号化方式と、前記端末のディスプレイサイズに基づくフレームサイズと、前記端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス値によって定まる量子化値とからなる符号化パラメータを用いて変換するゲートウェイと、
前記ゲートウェイから動画像データを受信する端末と
を有することを特徴とする、動画像変換を制御するシステム。 - 前記量子化値をＱ、動画像変換に対して指定可能な最大の量子化値をＱｍａｘ、動画像変換に対して指定可能な最小の量子化値をＱｍｉｎ、前記プリファレンス値をＰ、前記利用者が指定可能なプリファレンス値の最大値をＰｍａｘ、前記利用者が指定可能なプリファレンス値の最小値をＰｍｉｎ、とすると、前記量子化値が、Ｑ＝（Ｑｍａｘ−Ｑｍｉｎ）×（Ｐ−Ｐｍｉｎ）／（Ｐｍａｘ−Ｐｍｉｎ）＋Ｑｍｉｎから導出されることを特徴とする請求項１に記載のシステム。
- 前記量子化値の導出処理が２度目以降である場合は、前回量子化値の導出処理において指定されていたプリファレンス値と今回指定されているプリファレンス値との相違を判断し、両者が異なる場合には今回指定されたプリファレンス値に基づき量子化値の導出処理を行い、両者が同一である場合には前記端末で処理可能な最大フレームレートの導出を行い、変換後の動画像のフレームレートが前記導出された最大フレームレートを上回る場合に該フレームレートを下げるように量子化値を制御することを特徴とする請求項１又は２に記載のシステム。
- 前記実効スループット値が通信品質管理手段によって取得され、前記符号化方式、前記ディスプレイサイズ及び前記プリファレンス値がユーザ情報管理手段によって取得されることを特徴とする請求項１又は２に記載のシステム。
- 前記ゲートウェイが前記通信品質管理手段と前記ユーザ情報管理手段とを有することを特徴とする請求項４に記載のシステム。
- 前記ゲートウェイが前記通信品質管理手段を有し、前記端末が前記ユーザ情報管理手段を有しており、該端末は、該ユーザ情報管理手段で取得されたユーザ情報を前記ゲートウェイへ送信することを特徴とする請求項４に記載のシステム。
- 前記ゲートウェイが前記ユーザ情報管理手段を有し、前記端末が前記通信品質管理手段を有しており、該端末は、該通信品質管理手段で取得された通信品質情報を前記ゲートウェイへ送信することを特徴とする請求項４に記載のシステム。
- 前記端末が前記通信品質管理手段及び前記ユーザ情報管理手段とを有しており、該端末は、該通信品質管理手段及び該ユーザ情報管理手段で取得された通信品質情報及びユーザ情報を前記ゲートウェイへ送信することを特徴とする請求項４に記載のシステム。
- 前記端末は、携帯電話機であることを特徴とする請求項１から８のいずれか１項に記載のシステム。
- サーバから受信している連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、前記端末が有する復号化方式に基づく符号化方式と、前記端末のディスプレイサイズに基づくフレームサイズと、前記端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス情報によって定まる量子化値とからなる符号化パラメータを用いて変換して送信することを特徴とする、動画像変換を制御するゲートウェイ。
- 送信すべき連続する動画像データを、端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、前記端末が有する復号化方式に基づく符号化方式と、前記端末のディスプレイサイズに基 づくフレームサイズと、前記端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス情報によって定まる量子化値とからなる符号化パラメータを用いて変換して送信することを特徴とする、動画像変換を制御するサーバ。
- 受信している連続する動画像データを、送信すべき端末との間の通信品質及び該端末の特性から導出した、通信路の実効スループット値に基づく符号化ビットレートと、前記端末が有する復号化方式に基づく符号化方式と、前記端末のディスプレイサイズに基づくフレームサイズと、前記端末の利用者が指定した、フレームレート及びフレーム品質間の重視すべき比率を表すプリファレンス情報によって定まる量子化値とからなる符号化パラメータを用いて変換して送信する制御プログラムを有することを特徴とする、動画像変換を制御する制御プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000132276A JP3852267B2 (ja) | 2000-05-01 | 2000-05-01 | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000132276A JP3852267B2 (ja) | 2000-05-01 | 2000-05-01 | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001313937A JP2001313937A (ja) | 2001-11-09 |
| JP3852267B2 true JP3852267B2 (ja) | 2006-11-29 |
Family
ID=18641014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000132276A Expired - Fee Related JP3852267B2 (ja) | 2000-05-01 | 2000-05-01 | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852267B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3726684B2 (ja) | 2001-01-11 | 2005-12-14 | 株式会社Ｋｄｄｉ研究所 | 動画像データ転送における輻輳を回避する通信システム |
| WO2004010703A1 (ja) * | 2002-07-23 | 2004-01-29 | Renesas Technology Corp. | 移動端末 |
| WO2004075508A1 (ja) * | 2003-02-24 | 2004-09-02 | Mitsubishi Denki Kabushiki Kaisha | 通信サービスユニットおよび接続シーケンス実行方法 |
| JP4780963B2 (ja) * | 2005-01-07 | 2011-09-28 | 三菱電機株式会社 | 映像配信システム |
| JP2008306273A (ja) * | 2007-06-05 | 2008-12-18 | Nec Corp | 動画像提供システム、方法、装置、プログラム |
| US9288245B2 (en) * | 2008-02-07 | 2016-03-15 | Qualcomm Incorporated | Apparatus and methods of accessing content |
| US8891539B2 (en) | 2008-09-26 | 2014-11-18 | Nec Corporation | Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image |
| JP2010206477A (ja) * | 2009-03-03 | 2010-09-16 | Nec Corp | コンテンツ視聴システム、ゲートウェイ、コンテンツの配信方法及びプログラム |
| JP5681706B2 (ja) * | 2009-05-28 | 2015-03-11 | ケイジャヤ、エルエルシー | 専用ウェブポータルを用いた医療用スキャンの高度可視化高速アクセス方法およびシステム |
| CN112291568B (zh) * | 2020-11-13 | 2022-12-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、介质、网络接入设备及电子设备 |
-
2000
- 2000-05-01 JP JP2000132276A patent/JP3852267B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001313937A (ja) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2717536B1 (en) | Processing method, distribution server, client and system for streaming media | |
| US20040174853A1 (en) | Communication control program, content delivery program, terminal, and content server | |
| US8176199B2 (en) | Content delivery system, communicating apparatus, communicating method, and program | |
| US20150163273A1 (en) | Media bit rate estimation based on segment playback duration and segment data length | |
| US20040240390A1 (en) | Method and apparatus for dynamic bandwidth adaptation | |
| US8295348B2 (en) | Method for controlling moving picture encoding using channel information of wireless networks | |
| JP3852267B2 (ja) | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 | |
| WO2008108379A1 (ja) | メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム | |
| JP2004112789A (ja) | マルチメディアストリーミング装置及びその方法 | |
| US20220159268A1 (en) | Adaptive transcoding of profile ladder for videos | |
| JP2001204001A (ja) | 動画像配信システム，再生端末装置，及び配信装置 | |
| EP3993365A1 (en) | Session based adaptive playback profile decision for video streaming | |
| US20040122700A1 (en) | Charge management method, charge device, network monitor device, web portal server, charge management program, content distribution server and charge management system | |
| JP4851976B2 (ja) | 動画圧縮装置およびその動作制御方法 | |
| JP2007274066A (ja) | コンテンツ配信システム | |
| JP3967443B2 (ja) | 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体 | |
| JP2006033884A (ja) | 画像データ送受信システムの受信側装置及びそのプログラムを記憶した記憶媒体 | |
| KR20170101760A (ko) | 정보 처리 장치 | |
| Haratcherev et al. | Fast 802.11 link adaptation for real-time video streaming by cross-layer signaling | |
| JP4970912B2 (ja) | 動画分割サーバおよびその制御方法 | |
| JP3894359B2 (ja) | 画像変換システムの制御方法 | |
| KR101251312B1 (ko) | 동영상 변환 서버에서의 동영상 탐색요청 처리방법 | |
| KR20140046245A (ko) | 동영상 서비스 장치 및 동영상 서비스 방법 | |
| US20210144080A1 (en) | Dynamic variation of media segment durations for optimization of network round trip times | |
| KR101795958B1 (ko) | 실시간 네트워크 카메라에서의 적응적 영상 제공 방법, 장치 및 사용자 단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |