JP5228530B2 - 画像データ配信システム、画像データ受信装置、および画像データ送信装置 - Google Patents

Description

本発明は、サーバからクライアントに画像データを連続的に配信する画像データ配信システム、画像データ受信装置および画像データ送信装置に関し、特に、画像データの内容に応じて最適な配信方法を選択可能な画像データ配信システム、画像データ受信装置および画像データ送信装置に関する。

サーバとクライアントをネットワークに接続し、サーバが連続的に送信する画像データをクライアントで受信し表示することが行われている。例えば、ネットワークに接続されたサーバに動画データファイルを蓄積し、クライアントがサーバから動画像の配信を受けて表示する動画データ配信システムが、特許文献１に開示されている。

また、バッファの蓄積容量に応じてクライアントへのデータ転送速度を変更するようクライアントからサーバに対して指示することにより、サーバから受信した動画像をクライアントで再生するときにコマ落ちが発生しないようにする動画データ配信システムが、特許文献２に開示されている。

特開平０７−３２２２３５号公報 特開平０９−２９８７３４号公報

サーバからクライアントに対して画像を連続的に配信するシステムでは、蓄積された動画データファイル以外の画像、例えばサーバの操作画面を画像データとしてクライアントに配信することも行われている。こうした画像データの配信にあたっては、動画データファイルの画像配信と異なり、コマ落ちが生ずることは大きな問題とならない場合がある。

例えばクライアントの入力機器の操作に応じて生成されるサーバの操作画面をクライアントに配信する場合、コマ落ちが生ずることよりも、むしろサーバでの画像が変更されてからクライアントの表示に反映されるまでの時間である反応時間を短縮することや、サーバの操作画面に表示される文字が判読できるように画質を一定レベルより低下しないようにすることが重要となる。

特許文献１に記載の動画データ配信システムは、蓄積された動画データファイルの配信を目的としており、上述したような反応時間の短縮が重要となる画像データの配信は考慮されていない。また、特許文献２に記載の動画データ配信システムは、サーバに蓄積された動画データファイルの配信にあたり、コマ落ちしないように受信バッファを制御するよう構成されているものの、上述したような反応時間の短縮や画質の維持が重要となる画像データの配信は考慮されていない。

サーバに蓄積された動画データファイルの動画像をコマ落ちしないようにクライアントに配信する画像データ配信システムで、サーバの操作画面のような画像データの配信を行うと、反応時間の短縮が要求される画像データの表示が遅れたり、画質が低下して表示される文字が判読できなくなるなど、ユーザの使い勝手を損なうという問題を生ずる。

そこで、本発明は、コマ落ちしない表示が求められる画像データと、反応時間の短い表示と画質の維持とが求められる画像データとをそれぞれ適切に取り扱うことのできる、画像データ配信システム、画像データ受信装置および画像データ送信装置を提供することを目的とする。

本発明の第１の画像データ配信システムは、ネットワークに画像データを連続的に送信する第１の情報処理装置と、ネットワークから画像データを受信し表示装置に表示させる第２の情報処理装置とからなる画像データ配信システムであって、送信される画像データの画質と、第２の情報処理装置が受信した画像データを表示装置に表示させるべき時間とを変更するように指示する変更指示部を有することを特徴とする。

本発明の第２の画像データ配信システムは、ネットワークに画像データを連続的に送信する第１の情報処理装置とネットワークから画像データを受信し表示装置に表示させる第２の情報処理装置とからなる画像データ配信システムであって、送信される画像データの１画像あたりのビット数である画像データ量の下限値と、第２の情報処理装置が受信した画像データを表示装置に再生させるべき時間とを変更するように指示する変更指示部を有することを特徴とする。

本発明の画像データ受信装置は、ネットワークから画像データを連続的に受信し表示装置に表示させる画像データ受信装置であって、受信する画像データの画質を変更するよう画像データを送信するデジタル動画データ送信装置に指示し、かつ、画像データを表示装置に表示させるべき時間を変更する変更指示部を有することを特徴とする。

本発明の画像データ送信装置は、ネットワークに画像データを連続的に送信する画像データ送信装置であって、送信する画像データの画質を変更し、かつ、画像データを受信する画像データ受信装置に受信された画像データを表示装置に表示させるべき時間を変更するよう画像データ受信装置に指示する変更指示部を有することを特徴とする。

本発明によれば、コマ落ちしない表示が求められる画像データと、反応時間の短い表示と画質の維持とが求められる画像データとをそれぞれ適切に取り扱うことのできる、画像データ配信システム、画像データ受信装置および画像データ送信装置を提供することができる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。本発明の実施形態の画像データ配信システムの概略を説明すると、画像データ配信システムは、それぞれネットワークに接続されたサーバとクライアントとから構成され、サーバはクライアントに画像データを連続的に配信し、クライアントはサーバから受信した画像データを表示する。

図１は、本実施形態の画像データ配信システムの構成図である。図１を参照すると、本実施形態のデジタル動画データ配信システムは、サーバ１００とクライアント２００とから構成される。サーバ１００とクライアント２００は、それぞれネットワーク３００に接続されている。

サーバ１００は、受信部１１０、処理部１２０、圧縮部１３０および送信部１４０を有する。受信部１１０は、ネットワーク３００から信号を受信する。具体的には、例えばネットワークインタフェース装置が該当する。処理部１２０は、受信部１１０が受信したクライアントからの信号に対応した画像配信を行うよう、サーバ１００を制御する。具体的には、例えばマイクロプロセッサで実行される制御プログラムが該当する。圧縮部１３０は、例えばハードディスクドライブ装置で構成される図示しない動画データ蓄積部に蓄積される動画、および、サーバ１００に接続された図示しない表示装置に出力される操作画面を、配信に適した所定の形式に変換する。具体的には、例えばマイクロプロセッサで実行されるエンコードプログラムが該当する。送信部１４０は、所定の形式に変換された配信される画像をネットワーク３００に送信する。具体的には、例えばネットワークインタフェース装置が該当する。

クライアント２００は、受信部２１０、バッファ２２０、伸長部２３０、表示部２４０、切換指示部２５０および送信部２６０を有する。受信部２１０は、ネットワーク３００から信号を受信する。具体的には、例えばネットワークインタフェース装置が該当する。バッファ２２０は、受信部２１０が受信した信号を一時的に記憶する。具体的には、例えばダイナミックランダムアクセスメモリ（ＤＲＡＭ）が該当する。伸長部２３０は、バッファ２２０が一時的に記憶した信号を伸長し、表示可能な信号に変換する。具体的には、例えばマイクロプロセッサで実行されるデコードプログラムが該当する。表示部２４０は、伸長部２３０から信号を受け取り、所定の図示しない表示装置に表示させる。具体的には、画像処理プロセッサが該当する。切換指示部２５０は、配信すべき画像データの特性を指示する。具体的には、例えばユーザに操作されるスイッチによって指示する構成をとることができる。また、所定の条件を満たしているかどうかを検出して指示する構成をとることもできる。送信部２６０は、切換指示部２５０によって指示された画像データの特性をネットワーク３００に送信する。具体的には、例えばネットワークインタフェース装置が該当する。

次に、図２および図３を参照して、本実施形態の画像データ配信システムにおいて、画像配信モードを変更するときの動作を説明する。図２は、画像配信モードをＰＣモードに変更するときの動作を示すフローチャートである。図３は、画像配信モードをＭＯＶＩＥモードに変更するときの動作を示すフローチャートである。

ここで、ＰＣモードとは、サーバ１００での画像が変更されてからクライアント２００での表示に反映されるまでの時間である反応時間を短縮することおよび画質が一定レベルより低下しないことを重視する画像配信モードであり、例えばサーバ１００の操作画面を動画としてクライアント２００に配信するときに使用される。また、ＭＯＶＩＥモードとは、動画がコマ落ちしないことを重視する画像配信モードであり、例えばサーバ１００に蓄積されたファイルに記録された動画データファイルの動画像をクライアント２００に配信するときに使用される。

図２を参照すると、切換指示部２５０は、画像配信モードをＰＣモードに切り換える指示を行う（ステップＳ１１）。

クライアント２００の送信部２６０は、切換指示部２５０の指示に基づいて、ＰＣモードでの画像配信を行うようサーバ１００に要求する指示をネットワーク３００に送信する。サーバ１００の受信部１１０は、ＰＣモードでの画像配信要求を受信する。処理部１２０は、圧縮部１３０に、ＰＣモードに適した形式に画像を変換するよう制御する（ステップＳ１２）。

ここで、ＰＣモードに適した形式とは、画質が所定レベルより低くない形式である。画質は、例えば画面あたりの画素数である解像度や画像圧縮における量子化ステップを変更することによって調整することができ、画質を低くすると１画像あたりのデータ量は小さくなる。すなわち、画質のレベルは、解像度、量子化ステップまたは１画像あたりのデータ量で定めることができる。圧縮部１３０は、所定レベルよりも高い画質をネットワーク３００での伝送状況などに基づいて選択する。

具体的には、１画像あたりのデータ量は、所定時間あたりに伝送可能なデータ量であるビットレートを所定時間あたりの画像数であるフレームレートで除することで求められる。一般に、フレームレートを減ずると、動画像の動きのなめらかさが減少するため、好ましくない。しかし、ネットワーク３００のビットレートが小さいときに、フレームレートを維持しようとすると、伝送される画質が低下し、クライアント２００で表示されるサーバ１００の操作画面が判別不能となってしまう。

そこで、圧縮部１３０は、所定レベルよりも高い画質を選択する。この場合、１画面あたりのデータ量が大きくなり、結果としてフレームレートが減少して動きがなめらかでなくなるが、一定レベルの画質を維持することができるので、ユーザはクライアント２００で表示されるサーバ１００の操作画面を判別し、操作可能となる。

バッファ２２０は、切換指示部２５０の指示に基づいて、受信部２１０から受け取った信号を一時的に記憶するデータ容量の上限を変更することにより、受信部２１０から受け取った信号を伸長部２３０に渡すまでの時間である遅延時間を、ＰＣモードでの配信に適した時間に変更する（ステップＳ１３）。ここで、ＰＣモードでの配信に適した遅延時間とは、比較的短い時間であり、データ容量の上限は比較的小さいものに変更される。これにより、サーバ１００の操作画面が変更されてから表示が変更されるまでの時間が短縮され、ユーザはクライアント２００の画面上からサーバ１００の操作画面を快適に操作することができる。

なお、遅延時間の変更は、切換指示部２５０の指示に基づいて伸長部２３０が、表示部２４０が受け取った後に表示を行うべき時刻として、本来の時刻を指定することによっても可能である。

図３を参照すると、切換指示部２５０は、画像配信モードをＭＯＶＩＥモードに切り換える指示を行う（ステップＳ２１）。

クライアント２００の送信部２６０は、切換指示部２５０の指示に基づいて、ＭＯＶＩＥモードでの画像配信を行うようサーバ１００に要求する指示をネットワーク３００に送信する。サーバ１００の受信部１１０は、ＭＯＶＩＥモードでの画像配信要求を受信する。処理部１２０は、圧縮部１３０に、ＭＯＶＩＥモードに適した形式に画像を変換するよう制御する（ステップＳ２２）。

ここで、ＭＯＶＩＥモードに適した形式とは、ＰＣモードにおける所定のレベルよりも低い画質での配信を認める形式である。具体的には、ＰＣモードよりも画質が低くなるような解像度、量子化ステップまたは１画像あたりのデータ量を指定し、これを超えないように制御することができ、また、画質に何らの下限を設けないことも可能である。これにより、ネットワーク３００のビットレートが小さくても、画質を落として１画像あたりのデータ量を小さくし、フレームレートを上げて動きのなめらかな動画を表示することが可能になる。

バッファ２２０は、切換指示部２５０の指示に基づいて、信号を一時的に記憶するデータ容量の上限を変更することにより、遅延時間をＭＯＶＩＥモードでの配信に適した時間に変更する（ステップＳ２３）。ここで、ＭＯＶＩＥモードでの配信に適した遅延時間とは、比較的長い時間であり、データ容量の上限は比較的大きいものに変更される。これにより、ネットワーク３００で伝送が不安定になって一部のデータの受信が遅れたとしても、遅延時間の間に受信できればコマ落ちしないで済むため、コマ落ちを減少させることができる。

なお、遅延時間の変更は、切換指示部２５０の指示に基づいて伸長部２３０が、表示部２４０が受け取った後に表示を行うべき時刻として、本来の時刻より先の時刻を指定することによっても可能である。

本実施形態では、切換指示部２５０をクライアント２００が有する構成としているが、本発明はこの構成に限定されるものではなく、切換指示部２５０をサーバ１００が有する構成をとったとしても、コマ落ちしない表示が求められる画像データと反応時間の短い表示と画質の維持とが求められる画像データとをそれぞれ適切に取り扱うという本発明特有の効果を得ることができる。このとき、切換指示部２５０がサーバ１００における所定のアプリケーションソフトウェア、例えば動画再生ソフトウェアの起動状況を判定して指示するように構成すると、ユーザは明示的に指示することなく最適なモードで画像の転送を受けることができる。

本実施形態の画像データ配信システムの構成図である。 画像配信モードをＰＣモードに変更するときの動作を示すフローチャートである。 画像配信モードをＭＯＶＩＥモードに変更するときの動作を示すフローチャートである。

符号の説明

１００ サーバ
１１０ 受信部
１２０ 処理部
１３０ 圧縮部
１４０ 送信部
２００ クライアント
２１０ 受信部
２２０ バッファ
２３０ 伸長部
２４０ 表示部
２５０ 切換指示部
２６０ 送信部

Claims (4)

1. ネットワークに画像データを連続的に送信する第１の情報処理装置と、前記ネットワークから前記画像データを受信し表示装置に表示させる第２の情報処理装置とからなる画像データ配信システムであって、
   送信される前記画像データの画質と、前記第２の情報処理装置が受信した前記画像データを前記表示装置に表示させるべき時間とを変更するようにユーザの操作に応じて指示する変更指示部を有する画像データ配信システムであって、
   前記変更指示部が、前記画像データの画質が第１のレベルを下回らないように調整するよう前記第１の情報処理装置に指示し、かつ、前記第２の情報処理装置が前記画像データを受信してから前記表示装置に表示させるまでに遅延すべき時間である再生遅延時間を第１の時間とするよう前記第２の情報処理装置に指示する第１の変更指示と、前記画像データの画質が前記第１のレベルよりも低い第２のレベルを下回らないように調整するよう前記第１の情報処理装置に指示し、かつ、前記再生遅延時間を前記第１の時間よりも長い第２の時間とするよう前記第２の情報処理装置に指示する第２の変更指示とを行うことを特徴とする、画像データ配信システム。
2. 前記変更指示部が、前記第１の情報処理装置で所定のアプリケーションが起動されたことに対応して指示することを特徴とする、請求項１に記載の画像データ配信システム。
3. ネットワークから画像データを連続的に受信し表示装置に表示させる画像データ受信装置であって、
   受信する前記画像データの画質を変更するよう前記画像データを送信するデジタル動画データ送信装置に指示し、かつ、前記画像データを前記表示装置に表示させるべき時間を変更する変更指示部を有し、
   前記変更指示部は、前記画像データの画質が第１のレベルを下回らないように調整するよう前記デジタル動画データ送信装置に指示し、かつ、前記画像データを受信してから前記表示装置に表示させるまでに遅延すべき時間である再生遅延時間を第１の時間とするように変更する第１の変更指示と、前記画像データの画質が前記第１のレベルよりも低い第２のレベルを下回らないように調整するよう前記デジタル動画データ送信装置に指示し、かつ、前記再生遅延時間を前記第１の時間よりも長い第２の時間とするように変更する第２の変更指示とを行うことを特徴とする、画像データ受信装置。
4. 前記変更指示部が、前記デジタル動画データ送信装置で所定のアプリケーションが起動されたことに対応して指示することを特徴とする、請求項３に記載の画像データ受信装置。
   

Images