JP5251664B2

JP5251664B2 - サーバ、リモート操作システム、伝送方式制御方法、プログラム及び記録媒体

Info

Publication number: JP5251664B2
Application number: JP2009077506A
Authority: JP
Inventors: 義宏佐藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-03-26
Filing date: 2009-03-26
Publication date: 2013-07-31
Anticipated expiration: 2029-03-26
Also published as: JP2010232891A

Description

本発明は、サーバ、リモート操作システム、伝送方式制御方法、プログラム及び記録媒体に関し、特に伝送方式を制御することで、より快適にリモート操作を行うサーバ、リモート操作システム、伝送方式制御方法、プログラム及び記録媒体に関する。

近年、インターネット等のネットワークを介して装置を操作するリモート操作システムが知られている。リモート操作システムは、クライアント装置とサーバから構成される。クライアント装置は、ユーザがリモート操作を行うためのＵＩ（ユーザインタフェース）や、表示情報を視認することが可能な表示装置を備えた装置であり、操作や表示が最低限出来る低コストの装置であることが求められる。サーバ装置は、リモート操作される方の装置である。例えば、サーバである自宅のＰＣ（パーソナルコンピュータ）を、クライアント装置である他のＰＣ（例えばモバイルＰＣ）を使って遠隔操作することが可能である。

サーバからクライアント装置に、描画データや指示などがコマンドとして伝送され、クライアント側でそのコマンド（例えば描画コマンド）を処理するリモートユーザインタフェースシステムが提案されている（特許文献１参照）。複雑なコマンドを用いることにより、少ないデータ伝送量でＧＵＩ（グラフィックユーザインタフェース）を実現することが出来る。このようなコマンドとしては、例えばＲＤＰ（Remote Desktop Protocol）が知られている。低速な回線でも軽快に動作することができる。コマンドを伝送して処理を行うため、文字中心のアプリケーションに適している。

しかしながら、サーバ側から伝送されたコマンドの処理を行うためには、クライアント側にも高い演算処理能力が必要になる。特に動画像データ（動画や静止画、音声等のマルチメディアデータの意であり、以下単に画像データとも称す）をクライアント装置で再生する場合は、クライアント装置にとって重い処理となり、動画がコマ送りの表示となる、音声や音質が悪く途切る、写真の表示が遅い等の問題が生じ、マルチメディアの再生は不向きである。また、コマンドで処理できないアプリケーションも存在するため、利用できるアプリケーションが制限される。

ここで、画像表示端末へ転送して表示すべき画像データを圧縮してクライアント側に転送する画像転送システムも提案されている（特許文献２参照）。特許文献２では、パーソナルコンピュータの画面をリアルタイムにネットワークを介して送信し、遠隔の画面表示端末に表示させ、遠隔からパーソナルコンピュータの操作を行うアプリケーションとしてＶＮＣ（Virtual Network Computing）が開示されている。このように、動画像データや音声データ等の符号化、圧縮して伝送する伝送方式としてエンコーダが知られている。

特開２００８−１２９９５４号公報特開２００６−２４６１５３号公報

しかしながら、上記のような技術には、以下の問題点がある。

上述したリモート操作システムで用いられる伝送方式は、サーバからクライアント装置に、描画データや指示などがコマンドとして伝送されるコマンド伝送方式と、画像表示端末へ転送して表示すべき画像データを圧縮してクライアント側に転送する画像伝送方式との２つが提案されている。通常は、どちらか一方が予め設定され、利用されているが、伝送内容に応じて適切な伝送方式が選択され、より快適にリモート操作を行えることが望まれる。しかしながら、ユーザが任意で選択するのは困難である。

本発明はこのような状況に鑑みてなされたものであり、伝送方式を制御することで、より快適にリモート操作を行うことを目的とする。

本発明に係るサーバは、ネットワークを介して接続されるクライアント装置からリモート操作されるサーバであって、前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、画像データ部分を検出し、検出した画像データ部分と他の部分との伝送方式を制御する画像データ検出手段を備えることを特徴とする。

本発明に係るリモート操作システムは、クライアント装置と、前記クライアント装置からリモート操作されるサーバとが、ネットワークを介して接続されるリモート操作システムであって、前記サーバは、前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、画像データ部分を検出し、検出した画像データ部分と他の部分との伝送方式を制御する画像データ検出手段を備えることを特徴とする。

本発明に係る伝送方式制御方法は、ネットワークを介して接続されるクライアント装置からリモート操作されるサーバの伝送方式制御方法であって、前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、画像データ部分を検出し、検出した画像データ部分と他の部分との伝送方式を制御するステップを備えることを特徴とする。

本発明に係る伝送方式制御プログラムは、ネットワークを介して接続されるクライアント装置からリモート操作されるサーバの伝送方式制御プログラムであって、前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、画像データ部分を検出し、検出した画像データ部分と他の部分との伝送方式を制御する処理をコンピュータに実行させることを特徴とする。

本発明に係る記録媒体は、上記本発明に係る伝送方式制御プログラムの処理を記録するコンピュータ読取り可能な記録媒体である。

本発明によれば、伝送方式を制御することで、より快適にリモート操作を行うことが出来る。

本発明の実施形態に係るリモート操作システムの全体構成図である。本発明の実施形態に係る動作処理を示すフローチャートである。本発明の実施形態に係る画像データ検出を説明するための図である。本発明の実施形態に係る画像データ検出を説明するための図である。本発明の実施形態に係る画像データ検出を説明するための図である。本発明の実施形態に係るクライアント装置１側の表示画面例を示す図である。本発明の実施形態に係る画像データ検出を説明するための図である。本発明の実施形態に係る画像データ検出を説明するための図である。

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

（構成）
図１は、本発明の実施形態に係るリモート操作システムの全体構成図である。クライアント装置１とサーバ２とが、ネットワーク３を介して接続されている。

クライアント装置１は、サーバ２を遠隔操作する装置であり、サーバ２から伝送された情報を表示する機能を備える。

サーバ２は、ＣＰＵ（Central Processing Unit）２１、記憶部２２、画像データ検出部２３、画像データ圧縮部２５、コマンド生成部２６、通信部２７、から構成される。

ＣＰＵ２１は、サーバ２全体を制御する。サーバ２の制御プログラム、各種アプリケーションプログラム等は記憶部２２に予め記憶されている。ＣＰＵ２１は、制御プログラムに基づいて各機能ブロックの制御を行う。また、各種アプリケーションプログラムの起動／停止及び制御等を行う。

画像データ圧縮部２５は、クライアント装置１からの操作信号に基づき実行するアプリケーションの画面をサーバ２側でキャプチャした画像データを圧縮する。本実施形態では、画像データ圧縮部２５で圧縮した画像データを、サーバからクライアント装置への伝送する方式として、エンコーダを用いる。なお、最新の画像全体を一つ前に伝送した画像と比較し、その差分を圧縮して伝送することも可能である。

コマンド生成部２６は、クライアント装置１からの操作信号に基づき実行するアプリケーションの画面を表示させるためのコマンドを生成する。本実施形態では、コマンド生成部２６で生成したコマンドを、サーバからクライアント装置に伝送する方式として、ＲＤＰを用いる。

画像データ検出部２３は、クライアント装置１からの操作信号に基づき実行するアプリケーションの画面を監視し、画面中から動画等の画像データ部分を検出する。検出された画像データ部分はエンコーダで伝送され、その他はＲＤＰで伝送される。すなわち、検出された画像データ部分については画像データ圧縮部２５で圧縮され、その他の部分はコマンド生成部２６によりコマンドが生成され、伝送される。画像データ部分の検出に関する詳細は後述する。

なお、サーバ２がＧＰＵ（Graphics Processing Unit）を備えた構成の場合は、ＧＰＵにより画面を監視し、画面中から動画等の画像データを検出しても良い。ここで、ＧＰＵとは、画像処理を行う装置若しくは機能を言う。

通信部２７は、ネットワーク３を介してクライアント装置１とデータの送受信を行う。

（動作処理）
本実施形態に係る動作処理について説明する。図２は、本実施形態に係る動作処理を示すフローチャートである。

クライアント装置１からリモートデスクトップ接続要求がなされ、サーバ２が接続要求を受け付け、要求されたＡＰ（アプリケーションプログラム）を起動する（ステップＳ１、Ｓ２）。

実行中のアプリケーションの画面に動画等の画像データ部分があるか否か判断する（ステップＳ３）。画面中に動画等の画像データがない場合は（ステップＳ３／なし）、ＲＤＰ方式で伝送を続ける。すなわち、コマンドを生成して送信する。

画面中に動画等の画像データがある場合は（ステップＳ３／あり）、画像データ部分（領域）を検出、特定し（ステップＳ４）、画像データ部分をエンコーダ方式すなわち画像データを圧縮して送信する。画面中の画像データ部分以外については、ＲＤＰ方式で伝送を行う。

（動画等の画像データの検出）
次に、上述したステップ画像データＳ３、Ｓ５における画像データの検出について説明する。

まず、サーバ２がＧＰＵを備えた構成の場合は、ＧＰＵにより画面情報を監視し、画面中から動画等の画像データを検出する。

ＧＰＵを備えない構成の場合は、画像データ検出部２３により画像データを検出する。画像データ検出部２３による画像データ検出は、以下の手法が考え得る。

〔実施例１〕
図３乃至図５は、本実施例に係る画像データ検出を説明するための図である。画像データ検出部２３は、クライアント装置１からの操作信号に基づき実行するアプリケーションの画面上に任意の複数の目標点１１を置き、画面の変化量を監視する。例えば図３に示すように、表示画面１０に任意の目標点１１を複数置き、画面情報を監視する。目標点１１ａは、画像データ１２を監視し、変化量が多いことを検出できる。画像データ検出部２３は、変化量が多いことを検出できた目標点１１ａから、矩形検出を行い、画像データ部分１２の領域を特定する。

矩形検出は、例えば図４（ａ）や図４（ｂ）に示すイメージ図のように、変化量が多いことを検出した目標点１１ａを中心として周囲を監視し、画像データ部分１２の領域の対角線上にある２つの点を検出する。該検出された２点から矩形が特定でき、これを画像データ部分の領域として特定できる。なお、画像データ部分の領域は矩形であることを前提として特定を行っている。

また、変化量を多いことを検出した目標点１１が複数の場合も、同様に矩形検出が行われる（図５参照）。

〔実施例２〕
さらに、画像データ検出部２３により画像データを検出する他の実施例について説明する。サーバ２は、画面中に動画等の画像データが表示される場合に、かかる画像データ部分についてはＲＤＰ伝送方式では伝送できず、クライアント装置１側で動画の視聴が出来ないことがある。このような場合、例えば図６に示すクライアント装置１側の表示画面１５のように、動画等の画像データが表示されるべき部分に何も表示されず、黒色で表されることがある（図６の符号１３参照）。

従って、動画等の画像データ部分の伝送が出来ない分、サーバ２からクライアント装置１へ伝送するコマンド量が減少するため、サーバ２での処理量が少なくなる。したがってサーバ２が画像データ検出のために使用できるリソースに余裕が出来るため、以下の検出方法の利用が考え得る。

方法（ａ）画像データ検出部２４は、画面全体を順次監視し、画像データ部分を検出する。例えば図７に示すように、一定の監視領域１６ごとに、順次監視する。監視領域１６ａで、画像データ部分１２の一部を検出すると（変化量の多さで判断）、検出した部分から対角線の２点を検出し、矩形範囲を抽出し、画像データ部分１２の特定を行う。検出した画像データ部分１２は、エンコーダ伝送方式、すなわち画像データを圧縮して伝送する方式を用いる。

方法（ｂ）画像データ検出部２４は、画面中心から周囲の矩形検出を行う（図８参照）。

なお、上記方法（ａ）で、ある任意の時間、画像データの検出を行い、その際にサーバ２におけるＣＰＵの負荷が任意の値を超えなければ方法（ａ）を継続し、任意のＣＰＵ負荷を越えていれば上記方法（ｂ）に変更して、画面の監視を行ってもよい。ＣＰＵ負荷が多い場合は、画面上に動画等の画像データが２箇所以上ある可能があるため、方法（ｂ）のように画面中心から矩形検出を行うと、方法（ａ）よりも早く画像データ部分を特定することが出来るためである。

〔実施例３〕
上記各実施例においては、動画等の画像データ１２が画面中にあるか否かは、実際に監視を開始してから画面情報の変化量の多さで判断する。従って、一定期間毎に監視が行われることが好ましい。しかしながら、一定期間毎に繰り返し監視処理を行うことは負担となる。そこでサーバ２は、画像データの存在を判定する機能（画像データ存在判定部）を備え、画像データの存在を確認した上で、監視処理、すなわち上記実施例１や２に記載の画像データ検出を行うようにしても良い。

本実施例に係る画像データ存在判定部は、特に、サーバ２がネットワークを介してＷＥＢサーバと接続している構成において、ユーザがクライアント装置１からＵＲＬ（Uniform Resource Locators）を入力して指定したＷＥＢサイトをＷＥＢサーバからコンテンツとして取得して表示対象とする場合に、表示対象のＷＥＢサイト上の動画有無を判定することが出来る。ＷＥＢサイトを表示させる（閲覧するための）アプリケーションとしては、例えば米マイクロソフトのInternet Explorerや、米アップルのSafari等のＷＥＢブラウザ（ＷＷＷブラウザとも称す）が用いられ、サーバ２で実行される。画像データ存在判定部は、表示対象のＷＥＢサイトのソース（例えば、Hyper Text Markup Language等で記述されたソースファイル）から、Ｆｌａｓｈや動画ファイルの有無（画像データあり／なし）を確認することが出来る。すなわち、動画ファイルにリンクされているか、動画ファイルが挿入されているか、等を判断する。若しくは、画像データ存在判定部は、サーバ２において、ユーザが指定したＵＲＬで表示されるＷＥＢサイトを表示させた時に、サーバ２のキャッシュに動画ファイルのＤＬ（ダウンロード）（若しくはコピー）が検出されたかを確認することで、画像データあり／なしを判断することも出来る。ＷＥＢサーバから取得したＷＥＢサイトに動画を含まれている場合は、一時的に動画ファイルのキャッシュへのＤＬが行われるためである。

〔実施例４〕
また、クライアント装置１側から、エンコーダ伝送方式で送信して欲しい部分をユーザが任意に特定することも可能である。例えば、上述したように、クライアント装置１において動画等の画像データが表示されるべき部分に何も表示されず、黒色で表されることがある（図６の符号１３参照）。ユーザが係る画像データ部分を特定（例えば、対角線上の２点を指定）し、クライアント装置１から、特定した部分をエンコーダ伝送方式で送信するよう指示する。サーバ２は、ユーザから特定された画像データ部分をエンコーダ伝送方式で送信する。対角線上の２点が指定された場合は、該２点から矩形検出を行って、画像データ部分を抽出する。

なお、上述した各実施形態は、本発明の好適な実施形態であり、上記各実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭから、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（Magneto optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。

このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

１クライアント装置
２サーバ
３ネットワーク
２１ＣＰＵ
２２記憶部
２３画像データ検出部
２５画像データ圧縮部
２６コマンド生成部
２７通信部

Claims

ネットワークを介して接続されるクライアント装置からリモート操作されるサーバであって、
前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、所定の画像データ部分を検出し、検出した所定の画像データ部分と他の部分との伝送方式を制御する画像データ検出手段と、
前記実行するアプリケーションの画面を表示させるためのコマンドを生成するコマンド生成手段と、
前記実行するアプリケーションの画面をキャプチャした画像データを圧縮する画像データ圧縮手段と、を備え、
前記画像データ検出手段は、前記検出した所定の画像データ部分は前記画像データ圧縮手段により圧縮された画像データを伝送する方式により伝送し、前記他の部分は前記コマンド生成手段により生成したコマンドを伝送する方式により伝送するよう制御することを特徴とするサーバ。
前記画像データ検出手段は、前記実行するアプリケーションの画面上に任意の複数の目標点を置き、画面の変化量を監視し、変化量が多いことを検出できた目標点を中心として、矩形検出を行い、前記所定の画像データ部分の領域を特定することを特徴とする請求項１記載のサーバ。
前記画像データ検出手段は、前記実行するアプリケーションの画面全体を順次監視し、画面の変化量を監視し、変化量が多いことを検出できた箇所を中心として、矩形検出を行い、前記所定の画像データ部分の領域を特定することを特徴とする請求項１記載のサーバ。
前記画像データ検出手段は、前記実行するアプリケーションの画面の中心から矩形検出を行い、前記所定の画像データ部分の領域を特定することを特徴とする請求項１記載のサーバ。
前記所定の画像データ部分の領域の特定は、対角線の２点を検出し、矩形範囲を抽出することで特定することを特徴とする請求項２から４のいずれか１項記載のサーバ。
前記画像データの存在を判定する画像データ存在判定手段を備え、
前記画像データ検出手段は、前記画像データ存在判定手段により、画像データの存在が確認された場合に、前記所定の画像データ部分の検出を開始することを特徴とする請求項１から５のいずれか１項記載のサーバ。
前記サーバは、前記ネットワークを介してＷＥＢサーバと接続し、
前記実行するアプリケーションは、前記ＷＥＢサーバからＷＥＢサイトを取得し、表示対象とするＷＥＢブラウザであり、
前記画像データ存在判定手段は、前記表示対象のＷＥＢサイトのソースから前記画像データの存在を判定することを特徴とする請求項６記載のサーバ。
前記サーバは、前記ネットワークを介してＷＥＢサーバと接続し、
前記実行するアプリケーションは、前記ＷＥＢサーバからＷＥＢサイトを取得し、表示対象とするＷＥＢブラウザであり、
前記画像データ存在判定手段は、前記ＷＥＢサイトを表示対象とするとき、キャッシュに画像データのダウンロードが検出されるか否かで、前記画像データの存在を判定することを特徴とする請求項６記載のサーバ。
クライアント装置と、前記クライアント装置からリモート操作されるサーバとが、ネットワークを介して接続されるリモート操作システムであって、
前記サーバは、
前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、所定の画像データ部分を検出し、検出した所定の画像データ部分と他の部分との伝送方式を制御する画像データ検出手段と、
前記実行するアプリケーションの画面を表示させるためのコマンドを生成するコマンド生成手段と、
前記実行するアプリケーションの画面をキャプチャした画像データを圧縮する画像データ圧縮手段と、を備え、
前記画像データ検出手段は、前記検出した所定の画像データ部分は前記画像データ圧縮手段により圧縮された画像データを伝送する方式により伝送し、前記他の部分は前記コマンド生成手段により生成したコマンドを伝送する方式により伝送するよう制御することを特徴とするリモート操作システム。
ネットワークを介して接続されるクライアント装置からリモート操作されるサーバの伝送方式制御方法であって、
前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、所定の画像データ部分を検出し、検出した所定の画像データ部分と他の部分との伝送方式を制御するステップと、
前記実行するアプリケーションの画面を表示させるためのコマンドを生成するステップと、
前記実行するアプリケーションの画面をキャプチャした画像データを圧縮するステップと、を備え、
前記伝送方式を制御するステップは、前記検出した所定の画像データ部分は前記画像データを圧縮するステップにより圧縮された画像データを伝送する方式により伝送し、前記他の部分は前記コマンドを生成するステップにより生成したコマンドを伝送する方式により伝送するよう制御することを特徴とする伝送方式制御方法。
ネットワークを介して接続されるクライアント装置からリモート操作されるサーバの伝送方式制御プログラムであって、
前記クライアント装置から送信される操作信号に基づいて実行するアプリケーションの画面を監視し、所定の画像データ部分を検出し、検出した所定の画像データ部分と他の部分との伝送方式を制御する処理と、
前記実行するアプリケーションの画面を表示させるためのコマンドを生成する処理と、
前記実行するアプリケーションの画面をキャプチャした画像データを圧縮する処理と、を備え、
前記伝送方式を制御する処理は、前記検出した所定の画像データ部分は前記画像データを圧縮するステップにより圧縮された画像データを伝送する方式により伝送し、前記他の部分は前記コマンドを生成するステップにより生成したコマンドを伝送する方式により伝送するようコンピュータに実行させることを特徴とする伝送方式制御プログラム。
請求項１１記載の伝送方式制御プログラムの処理を記録するコンピュータ読取り可能な記録媒体。