JP5407479B2 - 画像伝送システム、画像伝送装置、クライアント端末、画像伝送方法、及び、画像伝送プログラム - Google Patents

Description

本発明は、サーバーからクライアントに画像データを配信する画像データ配信装置に関する。

従来から、サーバーの画像データを、ネットワークを介して、クライアントに伝送し、クライアントは受信したサーバーの画像データを表示することが行われている。

また、近年のシンクライアントシステムと呼ばれるシステムにおいては、サーバー側でアプリケーションプログラム、ファイル等の資源を管理し、ユーザーは、クライアント側からリモート操作して、その操作情報がサーバー側に送信されると、サーバー側はその操作情報に基づいて処理を行い、その処理結果が反映された画像データが、再びクライアントに伝送される。

例えば、バッファの蓄積容量に応じてクライアントへのデータ転送速度を変更するようクライアントからサーバーに対して指示することにより、サーバーから受信した動画像をクライアントで再生するときにコマ落ちさせないような動画データ配信システムが、特許文献１に開示されている。

特開平０９−２９８７３４号公報

ところで、特許文献１に記載の動画データ配信システムでは、動画データを滑らかに表示させるためには、クライアント側にバッファ容量を保有させることで、コマ落ちを減らしている。

しかしながら、例えば、シンクライアントシステムにおいては、リモート操作によるサーバー側の処理結果を表示させる場合には、コマ落ちよりも、迅速に処理結果をクライアント側に表示させることが求められる。

より具体的には、ユーザーがクライアントから文字入力をする場合には、バッファ容量を少なくし、入力した文字を短い時間で表示させることで、ユーザーにとってよりストレスの少ない利用環境を提供することができる。

特許文献１に記載の動画データ配信システムでは、コマ落ちしないようにバッファを制御する構成は開示されているものの、上述のような短時間でリモート操作による処理結果を表示させる点については考慮されていない。

また、ユーザーによる操作によって、例えば動画再生時のようにコマ落ちを減らすことを優先させるためにクライアント側にバッファを保有させるモードと、文字入力時のように短時間で入力結果を表示させるためにクライアント側にバッファを保有させないモードとを手動で切り替えるシステムも提供されているが、ユーザーの切り替え操作が必要なため、煩雑となる。

そこで、本発明は、サーバーからクライアントに画像データを配信する画像データ配信装置であって、クライアント側にコマ落ちを生じさせないようにしながら、ユーザーによるリモート操作が検出された場合には、自動的に短時間で処理結果を表示させるように制御する画像データ伝送装置を提供することを目的とする。

本発明の第１の画像伝送システムは、ネットワークに連続した画像データを送出する画像伝送装置と、前記ネットワークから受信した前記画像データをバッファに蓄積して表示装置に表示するクライアント端末とからなる画像伝送システムであって、前記画像伝送装置は、前記クライアント端末からのユーザーによる入力操作が行われたことを示す信号を受信した場合に、前記バッファに蓄積する連続した画像データのデータ容量を一時的に減少させることを特徴とする。
本発明の第１の画像伝送装置は、クライアント端末に対して、ネットワークを介して連続した画像データを送出する画像伝送装置であって、前記画像伝送装置は、ユーザーによる前記クライアント端末からの入力操作を示す信号を受信した場合に、前記クライアント端末が受信する連続した画像データを蓄積するバッファのデータ容量を一時的に減少させることを特徴とする。

本発明の第２の画像伝送装置は、クライアント端末に対して、ネットワークを介して連続した画像データを送出する画像伝送装置であって、前記画像伝送装置は、前記クライアント端末からのユーザーによる入力操作が行われたことを示す信号を検出する入力操作検出手段と、前記入力操作検出手段によって入力操作が行われたことを示す信号を検出した場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファのデータ容量を一時的に減少させるバッファ制御手段とを有することを特徴とする。

本発明の第１のクライアント端末は、画像伝送装置から、ネットワークを介して連続した画像データを受信するクライアント端末であって、前記クライアント端末は、ユーザーによって入力操作が行われた場合に、バッファに蓄積する前記連続した画像データのデータ容量を一時的に減少させることを特徴とする。

本発明の第２のクライアント端末は、画像伝送装置から、ネットワークを介して連続した画像データを受信するクライアント端末であって、前記クライアント端末は、ユーザーによる入力操作が行われたことを検出する入力操作検出手段と、前記入力操作検出手段によって入力操作が検出された場合に、バッファに蓄積する前記連続した画像データのデータ容量を一時的に減少させるバッファ制御手段とを備えることを特徴とする。

本発明の第１の画像伝送方法は、クライアント端末に対して、ネットワークを介して連続した画像データを送出させる画像伝送装置の画像伝送方法であって、前記画像伝送方法は、前記クライアント端末からのユーザーによる入力操作を示す信号を受信したことを検出させる入力操作検出ステップと、前記入力操作検出ステップで入力操作を示す信号が受信されたことが検出された場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファのデータ容量を一時的に減少させるバッファ制御ステップとを有することを特徴とする。

本発明の第１の画像伝送プログラムは、クライアント端末に対して、ネットワークを介して連続した画像データを送出させる画像伝送装置の画像伝送プログラムであって、前記画像伝送プログラムは、前記クライアント端末からのユーザーによる入力操作を示す信号を受信したことを検出させる入力操作検出ステップと、前記入力操作検出ステップで入力操作を示す信号を受信したことが検出された場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファのデータ容量を一時的に減少させるバッファ制御ステップとを有することを特徴とする。

本発明によれば、サーバーからクライアントに画像データを配信する画像データ配信装置であって、クライアント側にコマ落ちを生じさせないようにしながら、ユーザーによるリモート操作が検出された場合には、自動的に短時間で処理結果を表示させるように制御する画像データ配信装置を提供することができる。

本発明の実施の形態の画像伝送システムを説明するためのブロック図である。 本発明の実施の形態の画像伝送システムの動作を説明するための第１のフローチャートである。 本発明の実施の形態の画像伝送システムの動作を説明するための第２のフローチャートである。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の実施の形態の画像伝送システムを説明するためのブロック図である。

図1を参照すると、画像伝送システムは、画像伝送装置１０と、クライアント端末４０と、インターネット１０００とから構成される。

画像伝送装置１０は、生成した画像を、インターネット１０００を介して、クライアント端末４０に送信する。

まず、本発明の実施の形態における画像伝送システムの概略を説明すると、この画像伝送システムは、クライアント端末４０においてユーザーがキーボード入力やマウス操作を行った場合、その操作情報を画像伝送装置１０に送信し、当該操作情報を検出した場合に、クライアント端末４０のバッファ容量を減らすよう制御するものである。

画像伝送装置１０は、クライアント端末４０に表示すべき画像データを圧縮して、クライアント端末４０に送信するものである。より具体的には、例えば、毎秒３０フレームで表示させる動画像データを圧縮して伝送を行っている。

画像伝送装置１０は、制御部２０と、送受信部３０とを有する。制御部２０は、記録媒体に格納されたプログラムを実行することにより、圧縮手段２１と、バッファ制御手段２２とを論理的に備える。なお、圧縮手段２１と、バッファ制御手段２２とは、それぞれ専用のハードウェアで構成されても良い。

クライアント端末４０は、画像伝送装置１０から送信された圧縮された画像データを伸張して表示するものである。

クライアント端末４０は、制御部５０と、送受信部６０と、バッファ部７０と、操作部８０と、表示部９０とを有する。制御部５０は、記録媒体に格納されたプログラムを実行することにより、伸張手段５１とバッファ制御手段５２とを論理的に備える。なお、伸張手段５１と、バッファ制御手段５２とは、それぞれ専用のハードウェアで構成されても良い。

インターネット１０００は、コンピュータネットワークである。なお、インターネット１０００は、無線ネットワークであっても、有線ネットワークであっても良い。

次に、図２及び図３を参照して、本発明の実施の形態の動作について説明する。図２及び図３は、本発明の実施の形態の動作を説明するためのフローチャートである。

図２を参照すると、まず、圧縮手段２１が、送信すべき画像データの圧縮処理を行う（ステップＳ１０１）。より具体的には、例えば、画像伝送装置１０において生成される画像を映像としてキャプチャし、ＭＰＥＧ２といった映像圧縮伸張方式で圧縮（エンコード）を行う。

ステップＳ１０１で画像データが圧縮されると、制御部２０は、送受信部３０から圧縮された画像データを送出し、インターネット１０００を介して、クライアント端末４０に送信する（ステップＳ１０２）。なお、送受信部３０は、具体的には、例えばネットワークインターフェース装置が該当する。

ステップＳ１０２で、圧縮された画像データが送信されると、バッファ制御手段５２は、送受信部６０を通して受信した圧縮された画像データをバッファ部７０に一時的に蓄積する（ステップＳ１０３）。なお、バッファ部７０とは、具体的には、例えばダイナミックランダムアクセスメモリが該当する。

ステップＳ１０３で圧縮された画像データをバッファ部７０に蓄積すると、伸張手段５１は、蓄積した画像データの伸張（デコード）処理を行う（ステップＳ１０４）。

ステップＳ１０４で伸張された画像データを、表示部９０はクライアント端末４０の表示装置（不図示）に表示させる（ステップＳ１０５）。

以上が、画像伝送装置１０から画像データを送信し、クライアント端末４０にて表示させるまでの通常の処理である。

次に、図３を参照して、バッファの制御の動作について説明する。図３を参照すると、まず、ユーザーによる操作部８０を通したクライアント端末４０の操作を検出すると、バッファ制御手段５２が、画像伝送装置１０に対して、送受信部６０を通して、操作情報を送出する（ステップＳ２０１）。操作部８０は、ユーザーによる、マウス、タッチパッド、キーボード等への操作を示す情報を受け付けるハードウェアである。操作情報とは、具体的には、例えば、キーボードの入力情報やマウスポインタの移動・ドラッグ・クリック操作を示す情報があげられる。

ステップＳ２０１で操作情報が送信されると、バッファ制御手段２２が、操作情報の有無を検出する（ステップＳ２０２）。

ステップＳ２０２で操作情報が検出されると（ステップＳ２０２／ＹＥＳ）、バッファ制御手段２２は、クライアント端末４０に対してバッファ破棄要求を送信する（ステップＳ２０３）。ここで、バッファ制御手段２２は、バッファ破棄要求にかえて、モード切替要求をしても良い。モードについては後述する。

ステップＳ２０３でバッファ破棄要求が送信されると、バッファ制御手段５２は、バッファ部７０に蓄積された画像データを破棄する（ステップＳ２０４）。
また、モード切替要求が送信された場合には、バッファ制御手段５２は、ステップＳ１０１からステップＳ１０５までの処理の中の、ステップＳ１０３をスキップするような、バッファ部７０に新たに画像データを蓄積させないモード（以下、ＰＣモードという）に変更するようにすれば良い。
ＰＣモードとは、例えば、画像伝送装置１０の操作画面を動画としてクライアント端末４０に配信するモードであり、画像伝送装置１０から送信される画像データをバッファ部７０に一切蓄積しないモードをいう。または、上述のステップＳ１０１からステップＳ１０５の処理におけるバッファ部７０にデータを蓄積させる容量と比較して、相対的に容量が少ないモードであっても良い。

また、ステップＳ２０３で、バッファ破棄要求を送信すると、圧縮手段２１が、送信すべき画像データの圧縮処理を行う（ステップＳ２０５）。

ステップＳ２０５で画像データが圧縮されると、制御部２０は、送受信部３０から圧縮された画像データを送出し、クライアント端末４０に送信する（ステップＳ２０６）。

ステップＳ２０６で圧縮された画像データが送信されると、ステップＳ２０４でバッファ部７０に蓄積された画像データが破棄されているので、送信された圧縮された画像データは、バッファ部７０には蓄積されない。
送信された圧縮された画像データは、バッファ部７０に蓄積されずに、伸張手段５１によって伸張処理される（ステップＳ２０７）。

なお、ステップＳ２０２で操作情報が検出されない場合には（ステップＳ２０２／ＮＯ）、バッファ制御手段５２は、バッファ部７０に画像データを蓄積する。つまり、上述のステップＳ１０３からステップＳ１０５までの処理と同様の処理を実行した後に、ステップＳ２０１の処理に戻る。

ステップＳ２０７で、伸張された画像データを、表示部９０はクライアント端末４０の表示装置（不図示）に表示させる（ステップＳ２０８）。

ステップＳ２０８で、画像データを表示すると、ステップＳ２０１の処理に戻る。或いは、ステップＳ２０５からステップＳ２０８までの処理を所定の時間の間（あるいは所定の回数であっても良い）を繰り返した後、バッファ制御部５２が、バッファ部７０にデータを蓄積するモード（以下、ＭＯＶＩＥモードという）に変更させて、ステップＳ２０１の処理に戻るようにしても良い。

ここで、ＭＯＶＩＥモードとは、動画のコマ落ちをさせないことを重視するモードであって、バッファ部７０にデータを蓄積させる容量が、ＰＣモードと比較して多いモードである。バッファ部７０において、データ容量を多く蓄積することで、ネットワークにおける遅延等に起因して、クライアント端末４０での画像データの受信が滞っても、バッファ部７０に蓄積している画像データを伸張して表示させることで、途切れの少ない、滑らかな画像を表示できることになる。

以上のような処理によって、通常は滑らかな映像を表示させながら、ユーザーが所定の操作を行った場合には、一時的に操作による処理結果を表示させることを優先させるモードに切り替えることを自動的に行えるようになる。

なお、ＰＣモードとＭＯＶＩＥモードとは、バッファ部７０に蓄積する画像データの容量だけでなく、圧縮手段２１が画像を圧縮するときのパラメーターを最適のものに切り替えるようにしても良い。この場合、現在のモードが、ＰＣモードであるのか、それともＭＯＶＩＥモードであるのかという情報は、バッファ制御部５２が、モード変更時に画像伝送装置１０に送信するようにすれば良い。なお、ここで最適なパラメーターとは、例えば、フレームレートがあげられる。フレームレートを高くすれば、より滑らかな画像が送信できるが、より多くのデータを送出しなければならない。

また、本発明の実施の形態では、バッファ制御部２２が、ステップＳ２０３で、クライアント端末４０に対して、バッファ７０に蓄積されているデータの破棄、モードの切り替えなどを指示しているが、ユーザーによるクライアント端末４０の操作を検出した場合に、ステップＳ２０１で操作情報を送出せずに、ステップＳ２０４のバッファ破棄（或いはモードの切替）を行うようにしても良い。

１０ 画像伝送装置
２０ 制御部
２１ 圧縮手段
２２ バッファ制御手段２２
３０ 送受信部
４０ クライアント端末
５０ 制御部
５１ 伸張手段
５２ バッファ制御手段
６０ 送受信部
７０ バッファ部
８０ 操作部
９０ 表示部
１０００ インターネット

Claims (7)

1. ネットワークに連続した画像データを送出する画像伝送装置と、前記ネットワークから受信した前記画像データをバッファに蓄積して表示装置に表示するクライアント端末とからなる画像伝送システムであって、
   前記画像伝送装置は、前記クライアント端末からのユーザーによって前記画像伝送装置に対するリモートによる入力操作が行われたことを示す信号を受信した場合に、前記バッファに蓄積する連続した画像データを破棄し、一時的に前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるよう減少させた後に、前記リモートによる入力操作に対応する結果を前記クライアント端末に送信し、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第1の容量より相対的に大きい第２の容量とすることを特徴とする画像伝送システム。
2. クライアント端末に対して、ネットワークを介して連続した画像データを送出する画像伝送装置であって、
   前記画像伝送装置は、前記クライアント端末からのユーザーによって前記画像伝送装置に対するリモートによる入力操作が行われたことを示す信号を受信した場合に、前記バッファに蓄積する連続した画像データを破棄し、一時的に前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるよう減少させた後に、前記リモートによる入力操作に対応する結果を前記クライアント端末に送信し、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第1の容量より相対的に大きい第２の容量とすることを特徴とする画像伝送装置。
3. 画像伝送装置から、ネットワークを介して連続した画像データを受信するクライアント端末であって、
   前記クライアント端末は、ユーザーによって前記画像伝送装置に対するリモートによる入力操作が行われた場合に、バッファに蓄積する前記連続した画像データを破棄し、前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるよう減少させた後に、前記リモートによる入力操作に対応する結果を前記クライアント端末に送信し、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第1の容量より相対的に大きい第２の容量とすることを特徴とするクライアント端末。
4. クライアント端末に対して、ネットワークを介して連続した画像データを送出する画像伝送装置であって、
   前記画像伝送装置は、前記クライアント端末からのユーザーによって前記画像伝送装置に対するリモートによる入力操作が行われたことを示す信号を検出する入力操作検出手段と、前記入力操作検出手段によって前記リモートによる入力操作が行われたことを示す信号を検出した場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファの画像データを破棄し、前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるよう減少させた後に、前記リモートによる入力操作に対応する結果を前記クライアント端末に送信し、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第1の容量より相対的に大きい第２の容量とするバッファ制御手段とを有することを特徴とする画像伝送装置。
5. 画像伝送装置から、ネットワークを介して連続した画像データを受信するクライアント端末であって、
   前記クライアント端末は、ユーザーによって前記画像伝送装置に対するリモートによる入力操作が行われたことを検出する入力操作検出手段と、前記入力操作検出手段によって前記リモートによる入力操作が検出された場合に、バッファに蓄積する前記連続した画像データを破棄し、前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるよう一時的に減少させた後に前記リモートによる入力操作に対応する結果を前記クライアント端末に送信し、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第１の容量より相対的に大きい第２の容量とするバッファ制御手段とを備えることを特徴とするクライアント端末。
6. クライアント端末に対して、ネットワークを介して連続した画像データを送出させる画像伝送装置の画像伝送方法であって、
   前記画像伝送方法は、前記クライアント端末からのユーザーによって前記画像伝送装置に対するリモートによる入力操作を示す信号を受信したことを検出させる入力操作検出ステップと、前記入力操作検出ステップでリモートによる入力操作を示す信号が受信されたことが検出された場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファに蓄積された連続した画像データを破棄させ、前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるようのデータ容量を一時的に減少させた後に前記リモートによる入力操作に対応する結果を前記クライアント端末に送信させ、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第１の容量より相対的に大きい第２の容量とさせるバッファ制御ステップとを有することを特徴とする画像伝送方法。
7. クライアント端末に対して、ネットワークを介して連続した画像データを送出させる画像伝送装置の画像伝送プログラムであって、
   前記画像伝送プログラムは、前記クライアント端末からのユーザーによって前記画像伝送装置に対するリモートによる入力操作を示す信号を受信したことを検出させる入力操作検出ステップと、前記入力操作検出ステップでリモートによる入力操作を示す信号を受信したことが検出された場合に、前記クライアント端末が受信した連続した画像データを蓄積するバッファに蓄積された連続した画像データを破棄させ、前記バッファに蓄積する連続した画像データのデータ容量を第1の容量となるようデータ容量を一時的に減少させた後に前記リモートによる入力操作に対応する結果を前記クライアント端末に送信させ、所定時間が経過した後に前記バッファに蓄積する連続した画像データのデータ容量を前記第１の容量より相対的に大きい第２の容量とさせるバッファ制御ステップとを有することを特徴とする画像伝送プログラム。

Images