JP5392032B2 - 画面転送システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、一方の情報処理装置から他方の情報処理装置に画面のデータを転送する画面転送システム、情報処理装置、情報処理方法、およびその方法をコンピュータに実行させるためのプログラムに関する。

サーバが画面に表示する画像をクライアント端末（以下では、単にクライアントと称する）に転送し、その画像をクライアントの画面に表示させる画面転送システムが知られている。このような画面転送システムにおいては、クライアント側の画面表示装置は、端末携帯時の利便性が重視され、サーバ側に比べて小型である場合が多い。

この場合、クライアント側の画面表示装置は、サーバの画面全体をそのままのサイズで表示できないため、次に説明する２つの表示モードが表示機能として設けられていることが多い。２つの表示モードのうち、１つの表示モードは、サーバ側の画面全体を自装置の画面サイズまで縮小して表示するモードである。この表示モードを「縮小表示モード」と称する。もう１つの表示モードは、ユーザに対して視認しやすい文字の表示サイズ等を考慮して、サーバ側の画面全体のうちの一部分の範囲のみを等倍または拡大して部分的に表示するモードである。この表示モードを「部分表示モード」と称する。

画面転送システムの例が、特許文献１および特許文献２に開示されている。特許文献１では、サーバ側の画面全体のうち、その一部に表示されるコンテンツをクライアント端末の画面に表示させるために、サーバがクライアント端末に送る画面のレイアウトを予め生成し、そのレイアウトにおけるコンテンツの位置をサーバが特定することが開示されている。

特許文献２では、ホスト装置の画面のうち小型端末装置に部分表示させる範囲を、小型端末装置の移動に伴って移動させることを可能とし、また、ホスト装置上のどの画面領域を小型端末装置が表示しているのかを、小型端末装置の画面上に提示する技術が開示されている。

特開２００９−１２９４３０号公報 特開２００７−２６７１９９号公報

サーバの画面を通信によりクライアントに転送してクライアントの画面に表示させる画面転送機能を備えたクライアントサーバシステムにおいて、サーバの画面全体のうちの一部分を等倍または拡大してクライアントの画面に表示させた場合には、次のような問題が起こり得る。

図１１は画面転送システムの問題を説明するための図である。サーバ７００のサーバ画面７０１のうち、その一部の範囲がクライアント７１０のクライアント画面７１１に部分表示されている。この状態では、ユーザは、サーバ画面７０１のうち、部分表示されている範囲以外を見ることができない。そのため、部分表示の範囲外で画面変化があると、ユーザは、その画面変化に気づくのが遅れたり、場合によっては画面変化に気づかなかったりすることがある。この場合、ユーザが画面変化をタイムリーに把握することができない。

特許文献１に開示された方法では、サーバが生成したレイアウト内のコンテンツに画面変化があれば、クライアント端末の画面でユーザはその画面変化を確認できるが、そのレイアウト範囲外の画面変化をクライアント端末が把握する方法は、特許文献１に開示されていない。また、特許文献２には、表示画面範囲外に起きた画面変化を小型端末装置が把握する方法は開示されていない。そのため、特許文献１および特許文献２に開示された発明でも、上述の問題が起こり得る。

本発明は上述したような技術が有する問題点を解決するためになされたものであり、元の画像のうち、画像の提供を受けるユーザ側の装置に表示されない部位に変化があっても、画像に変化があったことをユーザに通知することを可能にした画面転送システム、情報処理装置、情報処理方法、およびその方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

上記目的を達成するための本発明の画面転送システムは、第１および第２の情報処理装置を有する画面転送システムであって、
前記第１の情報処理装置は、
前記第２の情報処理装置とデータを送受信するための通信部と、
自装置の画面に表示される画像を前記第２の情報処理装置に提供し、該画面のうち、該第２の情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該第２の情報処理装置から受信し、該画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記第２の情報処理装置に送信する制御部と、を有し、
前記第２の情報処理装置は、
前記第１の情報処理装置とデータを送受信するための通信部と、
前記第１の情報処理装置から提供される前記画像を表示する表示部を含む出力部と、
前記部分表示範囲の情報を一定時間毎に前記第１の情報処理装置に送信し、前記第１の情報処理装置から前記アラーム情報を受信すると、前記画面に変化があったことをユーザに通知するためのアラームを前記出力部に出力させる制御部とを有する。

また、本発明の情報処理装置は、
他の情報処理装置とデータを送受信するための通信部と、
自装置の画面に表示される画像を前記他の情報処理装置に提供し、該画面のうち、該他の情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該他の情報処理装置から受信し、該画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記他の情報処理装置に送信する制御部と、
を有する構成である。

また、本発明の情報処理方法は、第１および第２の情報処理装置を有する画面転送システムによる情報処理方法であって、
前記第１の情報処理装置が、自装置の画面に表示される画像を前記第２の情報処理装置に提供し、
前記第２の情報処理装置が、前記第１の情報処理装置から提供される前記画像を、表示部を含む出力部に表示させ、
前記第２の情報処理装置が、前記第１の情報処理装置の画面のうち、前記出力部で表示されている範囲である部分表示範囲の情報を一定時間毎に前記第１の情報処理装置に送信し、
前記第１の情報処理装置が、前記部分表示範囲の情報を一定時間毎に前記第２の情報処理装置から受信し、前記自装置の画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記第２の情報処理装置に送信し、
前記第２の情報処理装置が、前記第１の情報処理装置から前記アラーム情報を受信すると、表示される画像の範囲外に変化があったことをユーザに通知するためのアラームを前記出力部に出力させるものである。

さらに、本発明のプログラムは、情報処理装置と通信接続されるコンピュータに実行させるためのプログラムであって、
自装置の画面に表示される画像を前記情報処理装置に提供し、
前記画面のうち、前記情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該情報処理装置から受信し、
前記画面の前記部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記情報処理装置に送信する処理を前記コンピュータに実行させるものである。

本発明によれば、画像を提供する側の装置の画面全体のうち、画像の提供を受ける装置の画面に部分表示される範囲の外側で変化があると、そのことがユーザに通知されるため、ユーザは、画像変化があった部位を見るための対応をすぐに行うことができる。

第１の実施形態の画面転送システムの一構成例を示すブロック図である。 第１の実施形態のサーバの動作手順を示すフローチャートである。 第１の実施形態のクライアントの動作手順を示すフローチャートである。 第１の実施形態の画面転送システムの動作手順を示すシーケンス図である。 第２の実施形態の画面転送システムの一構成例を示すブロック図である。 第２の実施形態のサーバの動作手順を示すフローチャートである。 第２の実施形態において、サーバにアラーム通知条件を登録する際の手順を示すシーケンス図である。 第２の実施形態におけるアラーム判定の手順を示すシーケンス図である。 図８に示したステップ５０６において、アラーム通知条件が成立した場合の手順を示すシーケンス図である。 本実施形態の画面転送システムの代表的な構成例を示すブロック図である。 画面転送システムにおける問題を説明するための図である。

本発明の実施形態を説明する。なお、以下の実施形態では、画面変化に伴う情報処理に関連する構成を詳しく説明し、サーバおよびクライアントなどのコンピュータについて、一般的な構成および機能の詳しい説明を省略する。

（第１の実施形態）
本実施形態の画面転送システムの構成を説明する。図１は本実施形態の画面転送システムの一構成例を示すブロック図である。

本実施形態の画面転送システムは、サーバ１およびクライアント２を有する。サーバ１とクライアント２は通信網３を介して接続される。本実施形態では、サーバ１をパーソナルコンピュータ（以下では、ＰＣと称する）とする。クライアント２は、コンピュータの機能を備えた携帯端末であるものとし、ユーザ側に設けられている。１台のサーバに対して、クライアントの数は１台に限らず、複数であってもよい。以下では、説明を簡単にするために、図１に示すように、１台のサーバ１および１台のクライアント２を含むシステムの場合とする。

通信網３は、ユーザの範囲が限定されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよく、ユーザの範囲をより広くした通信網、例えば、インターネットであってもよい。通信網３がインターネットである場合、サーバ１とクライアント２との間のデータの送受信は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）にしたがって行われる。本実施形態におけるデータの送受信方法は、本発明の特徴とは直接に関連しないため、ＩＰに準ずるものとし、以下では、データの送受信方法についての詳しい説明を省略する。

図１に示すサーバ１の構成を詳しく説明する。図１に示すように、サーバ１は、制御部１１と、通信部１２とを有する。制御部１１は、キャプチャ・変化領域判定手段１１１、アラーム判定手段１１２および転送画面生成手段１１３を有する。

制御部１１には、プログラムにしたがって処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）と、プログラムを格納するためのメモリ（不図示）とが設けられている。ＣＰＵ（不図示）がプログラムを実行することで、キャプチャ・変化領域判定手段１１１、アラーム判定手段１１２および転送画面生成手段１１３がサーバ１に仮想的に構成される。

図１では、サーバ１の表示部を図に示すことを省略している。また、サーバ１はＰＣであることから記憶部（不図示）が設けられているが、本発明の特徴となる処理が、図に示さない記憶部からＣＰＵ（不図示）内のメモリ（不図示）または制御部１１内のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（不図示）に画面データが読み込まれた後の処理に関連していることから、記憶部（不図示）についての詳細な説明を省略している。

キャプチャ・変化領域判定手段１１１には、サーバ１の画面全体をキャプチャするための記憶部（不図示）が設けられている。記憶部は、例えば、ＲＡＭである。キャプチャ・変化領域判定手段１１１は、サーバ１の画面全体をキャプチャして前回の画面のキャプチャ結果と比較し、キャプチャに変化があると、画面変化があったと判定する。そして、キャプチャ・変化領域判定手段１１１は、キャプチャの比較結果から、画面変化の差分を示す情報である差分情報を抽出する。また、キャプチャ・変化領域判定手段１１１は、クライアント２から通信部１２を介して座標データを受け取ると、現在、サーバの画面全体のうちどの範囲をクライアントに部分表示させているかを示す部分表示範囲を座標データから特定し、画面変化が部分表示範囲内で起きたか、部分表示範囲外で起きたかを判定する。

上記座標データは、例えば、サーバ１の画面全体を２次元座標に置き換え、クライアント２の出力部２１に設けられた表示部の画面が四角形であるとき、そのクライアント２の表示部に表示される画像の４つの頂点に対応する、サーバ１の画面の２次元座標のデータである。

さらに、キャプチャ・変化領域判定手段１１１は、部分表示範囲内で画面変化が起きていると判定した場合、クライアント２宛の画面データの生成を要求するために、転送画面生成手段１１３に差分情報を渡す。一方、キャプチャ・変化領域判定手段１１１は、部分表示範囲外で画面変化が起きていると判定した場合、部分表示範囲外で画面変化が発生した旨の表示外変化情報をアラーム判定手段１１２に渡す。

アラーム判定手段は１１２、キャプチャ・変化領域判定手段１１１から表示外変化情報を受け取ると、部分表示範囲外で画面変化が発生したことを認識し、部分表示範囲外で画面変化があったことをクライアント２に通知するためのアラーム情報を通信部１２に渡す。ここで言う「アラーム」とは、部分表示範囲外で画面変化があったことを意味する。

転送画面生成手段１１３は、キャプチャ・変化領域判定手段１１１から差分情報を受け取ると、クライアント２に送るための、差分情報を含む差分画像データを生成する。そして、転送画面生成手段１１３は、生成した差分画像データに対してエンコードなどの通信用処理を行った後の転送用画面データを通信部１２に渡す。

通信部１２は、制御部１１から受け取る転送用画面データおよびアラーム情報を通信網３を介してクライアント２に送信する。また、通信部１２は、クライアント２から受信する、部分表示範囲を示す座標データなどのサーバ制御用データを制御部１１に渡す。このサーバ制御用データに、クライアント２の表示モードの情報が含まれていてもよい。

次に、図１に示すクライアント２の構成について説明する。図１に示すように、クライアント２は、出力部２１、入力部２２、制御部２３および通信部２４を有する。出力部２１には、表示部（不図示）が設けられている。出力部２１は、制御部２３からの指示により、画面データによる画像を表示部に表示させる。

クライアント２には記憶部（不図示）が設けられているが、本発明の特徴となる処理が、サーバ１から受信するデータに基づく処理に関連していることから、記憶部（不図示）についての詳細な説明を省略する。

入力部２２はキーボードやマウス等のヒューマンインタフェースデバイスである。入力部２２は、ユーザにより指示が入力されると、入力された指示内容を制御部２３に通知する。

制御部２３は、表示画面生成手段２３１、およびアラーム出力制御手段２３２を有する。制御部２３には、プログラムにしたがって処理を実行するＣＰＵ（不図示）と、プログラムを格納するためのメモリ（不図示）とが設けられている。ＣＰＵがプログラムを実行することで、表示画面生成手段２３１、アラーム出力制御手段２３２およびアラーム登録手段２３３がクライアント２に仮想的に構成される。

アラーム出力制御手段２３２は、サーバ１から通信部２４を介してアラーム情報を受け取ると、画面に表示された範囲外に画面変化があったことをユーザに通知するためのアラーム画面の生成を表示画面生成手段２３１に要求する。

表示画面生成手段２３１は、出力部２１の表示部で表示される画像の座標データを一定時間毎に通信部２４を介してサーバ１に送信する。また、表示画面生成手段２３１は、通信部２４から転送用画面データを受け取ると、転送用画面データに対してデコードなどの復号処理を行って差分画像データに戻し、続いて、出力中の画面データに差分画像データを組み込む差分合成を行って出力部２１に渡す。また、表示画面生成手段２３１は、アラーム出力制御手段２３２からアラーム画面の生成要求を受けると、アラーム画面のデータを生成して出力部２１に渡す。

アラーム画面には、「クライアントの画面全体を一瞬だけ（少なくともユーザが画面の変化を認識可能な時間）同一色で塗りつぶす」、「クライアントの画面の一部にアラーム通知のためのアイコンまたはポップアップを表示する」、および「クライアントの画面全体に表示されている画像が振動するような描画を行う」などが考えられる。なお、表示画面生成手段２３１が出力部２１にアラーム画面を渡す前に、同期制御など、画像表示をスムーズに行うための処理を出力部２１との間で行う必要があるが、ここでは、その詳細な説明を省略する。

通信部２４は、サーバ１から通信網３を介して受信する転送用画面データおよびアラーム情報を制御部２３に渡す。また、通信部２４は、制御部２３から受け取るサーバ制御用データを通信網３を介してサーバ１に送信する。

なお、出力部２１は、表示部に表示されている画面以外の範囲で画面変化があったことをユーザに通知すればよいので、そのアラーム出力を行うための手段は表示部に限られない。アラーム出力制御手段２３２は、サーバ１からアラーム情報を受け取ると、表示部以外の構成を制御してアラームを出力し、ユーザにアラームを通知してもよい。出力部２１に、表示部以外に、次のような構成が設けられていてもよい。

出力部２１にスピーカ（不図示）が設けられている場合、出力部２１は、アラーム出力制御手段２３２からの指示により、アラーム情報を通知する旨の音声データをスピーカに出力させる。また、出力部２１がクライアントを振動させるバイブレーション機能を備えている場合、出力部２１は、アラーム出力制御手段２３２からの指示により、バイブレーション機能を実行して端末を振動させる。さらに、出力部２１の一部として、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）（不図示）が端末の筺体の外面に設けられている場合、出力部２１は、アラーム出力制御手段２３２からの指示により、ＬＥＤを発光させる。その際、電池の消耗を抑制するために、ＬＥＤを点滅させてもよい。

また、ユーザへのアラーム出力方法は１つに限らず、上述した複数の方法のうち、いくつかを組み合わせてもよい。以下では、説明を簡単にするために、アラーム出力方法が表示部の出力でユーザにアラームを通知する場合とする。

次に、本実施形態のサーバ１の動作手順を説明する。図２は本実施形態のサーバの動作手順を示すフローチャートである。

制御部１１は、自装置の画面のフレームに対してキャプチャを行い前回キャプチャとの差分を検出し、画面に変化があるか否かを判定する（ステップ１１０）。ステップ１１０で、画面に変化があった場合、その変化が部分表示範囲内なのか、部分表示範囲外なのかを判定する。ステップ１１０で、部分表示範囲内に画面変化があった場合、制御部１１は、クライアント２宛の転送用画面データを生成してクライアント２に送信する（ステップ１２０）。

ステップ１１０で、部分表示範囲外に画面変化があった場合、制御部１１は、アラーム情報をクライアント２に送信する（ステップ１３０）。ステップ１１０で、部分表示範囲内と部分表示範囲外の両方で画面変化が同時に起きた場合、制御部１１は、ステップ１２０およびステップ１３０の処理を並列に実行する。ステップ１２０およびステップ１３０のそれぞれの処理の後、制御部１１は、ステップ１１０に戻り、上述の手順を繰り返す。

次に、本実施形態のクライアントの動作手順を説明する。図３は本実施形態のクライアントの動作手順を示すフローチャートである。

制御部２３は、サーバ１から転送用画面データを受信すると、転送用画面データを復号して差分画像データに戻し、差分画像データを出力中の画面データに差分合成した画面を出力部２１の表示部に表示させる（ステップ２０１）。制御部２３は、サーバ１からデータを受信する度にアラーム情報を受信したか否かを判定する（ステップ２０２）。ステップ２０２でアラーム情報を受信した場合、制御部２３は、アラーム画面を出力部２１の表示部に表示させる（ステップ２０３）。

一方、ステップ２０２でアラーム情報を受信しなかった場合、制御部２３は、ステップ２０１に戻り、また、ステップ２０３の処理の後、制御部２３は、ステップ２０１に戻り、上述の手順を繰り返す。

次に、本実施形態の画面転送システムの動作手順を説明する。図４は本実施形態の画面転送システムの動作手順を示すシーケンス図である。シーケンス図の上側は部分表示範囲内に画面変化があった場合であり、下側は部分表示範囲外に画面変化があった場合である。

サーバ１のキャプチャ・変化領域判定手段１１１は、サーバの画面のキャプチャを行い前回キャプチャとの差分を検出し、画面に変化があるか否かを判定する（ステップ３０１）。部分表示範囲内に画面変化があった場合、キャプチャ・変化領域判定手段１１１は差分情報を転送画面生成手段１１３に渡す（ステップ３０２）。転送画面生成手段１１３は、キャプチャ・変化領域判定手段１１１から差分情報を受け取ると、差分情報を用いて転送用画面データを生成して通信部１２に渡す（ステップ３０３）。通信部１２は、転送画面生成手段１１３から受け取った転送用画面データを通信網３を介してクライアント２に送信する。

クライアント２の通信部２４は、通信網３を介して転送用画面データをサーバ１から受信すると、そのデータを表示画面生成手段２３１に渡す。表示画面生成手段２３１は、通信部２４から転送用画面データを受け取ると、そのデータを差分画像データに復号する。続いて、表示画面生成手段２３１は、差分画像データと表示中の画面データとを差分合成した画面データを生成し、生成した画面データを出力部２１に渡す（ステップ３０４）。出力部２１は、制御部２３から受け取った画面データに基づいた画面を表示部（不図示）に表示させる。

一方、図４に示すステップ３０１において、部分表示範囲外に画面変化があった場合、キャプチャ・変化領域判定手段１１１は表示外変化情報をアラーム判定手段１１２に渡す（ステップ３５１）。アラーム判定手段１１２は、キャプチャ・変化領域判定手段１１１から表示外変化情報を受け取ると、アラーム情報を通信部１２に渡す（ステップ３５２）。通信部１２は、アラーム判定手段１１２から受け取ったアラーム情報を通信網３を介してクライアント２に送信する。

クライアント２の通信部２４は、通信網３を介してアラーム情報をサーバ１から受信すると、アラーム情報をアラーム出力制御手段２３２に渡す。アラーム出力制御手段２３２は、サーバ１からデータを受信する度に、アラーム情報を受信したか否かを判定し（ステップ３５３）、サーバ１から通信部２４を介してアラーム情報を受信すると、アラーム画面の生成を表示画面生成手段２３１に要求する（ステップ３５４）。表示画面生成手段２３１は、アラーム出力制御手段２３２からアラーム画面の生成要求を受けると、アラーム画面のデータを生成して出力部２１に渡す（ステップ３５５）。出力部２１は、制御部２３から受け取った画面データに基づいた画面を表示部（不図示）に表示させる。

なお、ステップ３５３において、アラーム出力制御手段２３２は、サーバ１から通信部２４を介してアラーム情報を受信した際、表示部（不図示）だけでなく他の通知手段も用いてユーザにアラームを通知してもよい（ステップ３５６）。

また、図４に示すシーケンスの上側においても、クライアント２はサーバ１からデータを受信した際にステップ３５３に相当する判定処理を行っているが、ここでは、その説明を省略している。

ここまで、クライアントの画面に表われていない範囲で画面変化があったことをユーザに通知する方法を説明した。ユーザが画面変化のあった部分をクライアントの画面に表示させるために、どのような方法を用いてもよいが、その方法について２つの具体例を紹介する。

１つ目の例として、アラーム情報を受け取ったクライアントが画面全体をサーバに要求する場合を説明する。

図３のステップ２０２において、クライアント２のアラーム出力制御手段２３２は、サーバ１からアラーム情報を受信すると、画面全体を要求する旨の全画面データ要求信号をサーバ１に送信する。サーバ１の制御部１１は、クライアント２から全画面データ要求信号を受け取ると、画面全体のデータをクライアント２に送信する。

クライアント２の制御部２３がサーバ１から画面全体のデータを受け取ると、表示画面生成手段２１３は、画面全体のデータを用いて、「サーバ画面全体をクライアント画面のサイズに縮小表示する（以下では、この画面を「縮小表示モード画面」と称する）」、または、「画面変化の起こった範囲に部分表示画面の範囲をスクロールさせる（以下では、この画面を「自動スクロールモード画面」と称する）」などのアラーム画面を生成する。そして、表示画面生成手段２１３は、生成したアラーム画面を出力部２１に表示させる。自動スクロールモード画面では、制御部２３は、画面変化の起こった範囲を等倍または拡大して表示部に表示させる。

次に、２つ目の例として、サーバ１がアラーム情報をクライアント２に送信する際に、画面全体のデータをクライアント２に送信する場合を説明する。

図２のステップ１３０において、サーバ１の制御部１１はアラーム情報をクライアント２に送信する際、アラーム情報と一緒に画面全体のデータをクライアント２に送信する。クライアント２の制御部２３がサーバ１から画面全体のデータを受け取ると、表示画面生成手段２１３は、画面全体のデータを用いて、縮小表示モード画面または自動スクロールモード画面などのアラーム画面を生成して出力部２１に表示させる。

２つの例のようにすれば、ユーザは、クライアントの画面に表示された以外の範囲で画面変化があったことを認識するだけでなく、画面変化のあった部分をクライアントの画面に表示させることができる。

上述したように、本実施形態では、サーバの画面全体のうち、クライアントの画面に部分表示している範囲の外の領域に変化があると、部分表示されている範囲の外で画像に変化があったことがユーザに通知される。そのため、ユーザは、クライアントの画面で見えない範囲で画像変化が起こったことを確実にかつタイムリーに把握できる。その結果、ユーザは画像変化があった部位を見るための対応をすぐに行うことができる。

（第２の実施形態）
第１の実施形態で説明した方法により、サーバ側の画面全体のうち、クライアント側の画面に表示される範囲の外で画面変化が起こると、そのことがユーザ通知される。しかし、ユーザが、その画面変化がいったい何を意味しているか把握するには、クライアントを操作して画面変化の起こった範囲を適宜表示させて確認する必要がある。画面変化のあった部分をクライアント画面に表示させてみると、その画面変化がユーザにとって確認を必要としない場合もある。確認を必要としない画面変化までがユーザに通知されると、その度にユーザは画面変化の内容を確認しなければならず、その手間が無駄になってしまう。

本実施形態は、ユーザにとって確認を要する画面変化があったときのみ、画面変化があったことをユーザに通知するようにしたものである。

本実施形態の画面転送システムの構成を説明する。ここでは、第１の実施形態と異なる構成について説明し、第１の実施形態と同様な構成についての詳細な説明を省略する。図５は本実施形態の画面転送システムの一構成例を示すブロック図である。

図５に示すように、本実施形態のクライアント２の制御部２３には、アラーム登録手段２３３が設けられている。制御部２３に設けられたＣＰＵ（不図示）がプログラムを実行することで、アラーム登録手段２３３がクライアント２に仮想的に構成される。

アラーム登録手段２３３には、記憶部（不図示）が設けられ、その記憶部には、ユーザが通知を必要とする画面変化を示す条件であるアラーム通知条件をサーバ１に登録するための画面である登録用画面のデータが予め格納されている。アラーム登録手段２３３に設けられている記憶部（不図示）は、例えば、不揮発性メモリである。

アラーム登録手段２３３は、ユーザによる入力部２２の操作を介して、アラーム通知条件が入力されると、アラーム通知条件およびその登録を要求する旨の情報を含む通知条件登録要求信号を通信部２４を介してサーバ１に送信する。アラーム通知条件は、部分表示範囲外でどんな画面変化が起こった場合にクライアント２にアラーム情報を通知するかが、ユーザによって定められた条件に相当する。

アラーム通知条件には、例えば、「画面全体のうち特定の範囲で画面変化が起こった（以下では、「範囲指定条件」と称する）」、「特定のフレームレート以上で画面変化が起こった（以下では、「フレームレート指定条件」と称する）」、「特定の色の画面変化が起こった（以下では、「色指定条件」と称する）」、「特定のアイコンや文字の出現を認識した（以下では、「出現指定条件」と称する）」、「特定の時刻に画面変化が起こった（以下では、「時刻指定条件」と称する）」などがある。これらの条件のうち、１つまたは複数をアラーム通知条件として、ユーザによってサーバ１に登録することが可能である。複数の条件をアラーム通知条件としてサーバ１に登録する場合には、複数の条件を一度に設定してもよく、段階的に設定してもよい。

本実施形態のサーバ１のアラーム判定手段１１２には、アラーム通知条件を格納するための記憶部（不図示）が設けられている。この記憶部（不図示）は、例えば、不揮発性メモリである。アラーム判定手段１１２は、クライアント２から通知条件登録要求信号を受信すると、その信号に含まれるアラーム通知条件を記憶部（不図示）に格納する。また、アラーム判定手段１１２は、部分表示範囲外における画面変化の内容を示す情報を含む表示外変化情報をキャプチャ・変化領域判定手段１１１から受信すると、画面変化の内容がアラーム通知条件に一致するか判定する。その判定の結果、画面変化の内容がアラーム通知条件に一致する場合、アラーム判定手段１１２は、アラーム情報を通信部１２に渡す。判定の結果、画面変化の内容がアラーム通知条件に一致しない場合、アラーム判定手段１１２はアラーム情報を通信部１２に渡す処理を行わない。

次に、本実施形態のサーバ１の動作手順を説明する。図６は本実施形態のサーバの動作手順を示すフローチャートである。

ここでは、サーバ１にアラーム通知条件を予め登録しているものとする。アラーム通知条件の登録方法の詳細については、後述する。また、図２に示したフローチャートと異なる点について詳しく説明し、同様な動作についての詳細な説明を省略する。

図６に示すステップ１１０において、制御部１１は、サーバの画面のフレームに対してキャプチャを行い前回キャプチャとの差分を検出し、画面に変化があるか否かを判定した際、部分表示範囲外に画面変化があると、画面変化がアラーム通知条件に一致するか否かを判定する（ステップ１１５）。判定の結果、画面変化の内容がアラーム通知条件に一致する場合、制御部１１は、ステップ１３０に進んでアラーム情報を通信部１２に渡し、画面変化の内容がアラーム通知条件に一致しない場合、制御部１１は、ステップ１１０に戻る。

次に、本実施形態の画面転送システムにおいて、サーバ１にアラーム通知条件を登録する方法を説明する。図７はサーバにアラーム通知条件を登録する際の手順を示すシーケンス図である。

図７に示すように、ユーザが入力部２２を操作して、アラーム通知条件の入力要求の指示を入力すると、アラーム登録手段２３３は、登録用画面を出力部２１の表示部に表示させる。ユーザが出力部２１に画面として表示されたアラーム通知条件の登録用画面を見ながら、入力部２２を操作してアラーム通知条件を入力する（ステップ４０１）。アラーム登録手段２３３は、アラーム通知条件を含む通知条件登録要求信号を通信部２４を介してサーバ１に送信する（ステップ４０２）。サーバ１のアラーム判定手段１１２は、クライアント２から通信部１２を介して通知条件登録要求信号を受信すると、通知条件登録要求信号からアラーム通知条件を読み出して格納する（ステップ４０３）。

次に、アラーム判定の際の手順を説明する。図８はアラーム判定の手順を示すシーケンス図である。

図８に示すように、サーバの画面全体のうち、次にどの範囲をクライアントの画面に部分表示させるかの情報を入力部２２を介してユーザが入力すると、表示画面生成手段２３１は、入力部２２を介して入力された部分表示範囲の座標データを含むサーバ制御用データを通信部２４を介してサーバ１に送信する（ステップ５０１）。サーバ制御用データに含まれる、部分表示範囲を示す情報として、座標データに限らず、マウスの移動量など部分表示範囲のスクロール量の情報であってもよい。

サーバ１のキャプチャ・変化領域判定手段１１１は、クライアント２からサーバ制御用データを受信すると、座標データから部分表示範囲を特定する。そして、キャプチャ・変化領域判定手段１１１は、特定した部分表示範囲の画面データを転送画面生成手段１１３に渡す（ステップ５０２）。転送用画面生成手段１１３は、キャプチャ・変化領域判定手段１１１から受け取った画面データに基づく転送用画面データを生成し、転送用画面データを通信部１２を介してクライアント２に送信する（ステップ５０３）。

クライアント２の表示画面生成手段２３１は、通信部２４を介して転送用画面データを受信すると、転送用画面データを元の画面データに復号し、画面データを出力部２１に渡して画面データによる画面を表示させる（ステップ５０４）。

キャプチャ・変化領域判定手段１１１は、部分表示範囲外で画面変化があったことを検出すると、画面変化の内容を含む表示外変化情報をアラーム判定手段１１２に渡す（ステップ５０５）。アラーム判定手段１１２は、キャプチャ・変化領域判定手段１１１から表示外変化情報を受け取ると、画面変化の内容がアラーム通知条件に一致するか否かを判定する（ステップ５０６）。上述のステップ５０１からステップ５０６の手順が画面転送機能の利用中に繰り返される。

次に、図８に示したステップ５０６において、ユーザにアラームを通知すべき判定になった場合の手順を説明する。図９は、図８に示したステップ５０６において、アラーム判定手段がアラーム通知条件の成立を検出した場合の手順を示すシーケンス図である。

図８に示したステップ５０６の判定の結果、画面変化の内容がアラーム通知条件に一致していると（ステップ６０１）、アラーム判定手段１１２は、アラーム情報を通信部１２を介してクライアント２に送信する（ステップ６０２）。

クライアント２のアラーム出力制御手段２３２は、サーバ１から通信部２４を介してアラーム情報を受信すると、画面表示以外の方法でアラームを出力部２１に出力させる（ステップ６０３）。画面表示以外の方法とは、例えば、第１の実施形態で説明した、バイブレーション、ＬＥＤの発光または点滅、音声によるアラーム情報の通知などである。また、アラーム出力制御手段２３２は、表示画面生成手段２３１にアラーム画面の生成を要求し、表示画面生成手段２３１は生成したアラーム画面を出力部２１の表示部に表示させてもよい（ステップ６０４）。ステップ６０３およびステップ６０４のアラーム出力方法の実行は、いずれか一方でもよく、両方でもよい。

上述の実施形態では、説明を簡単にするために、アラーム通知条件が１つの場合で説明したが、複数の条件をアラーム通知条件として登録する場合には、条件に対応してアラーム通知方法が異なるようにしてもよい。例えば、上述した、範囲指定条件、フレームレート指定条件、色指定条件、出現指定条件、および時刻指定条件のそれぞれを、「クライアントの画面全体を一瞬だけ同一色で塗りつぶす」アラーム画面、「クライアントの画面の一部にアラーム通知のためのアイコンまたはポップアップを表示する」アラーム画面、音声案内、バイブレーション、およびＬＥＤ点滅のそれぞれのアラーム出力方法に対応させて、クライアント２のアラーム登録手段２３３に設けられた記憶部（不図示）に予め登録しておく。

この場合、サーバ１のアラーム判定手段１１２は、画面変化に一致するアラーム通知条件とともにアラーム情報をクライアント２に送信する。クライアント２のアラーム登録手段２３３は、サーバ１からアラーム通知条件を受信すると、アラーム通知条件に対応するアラーム出力方法を特定し、特定したアラーム出力方法をアラーム出力制御手段２３２に通知する。アラーム出力制御手段２３２は、サーバ１からアラーム情報を受信し、アラーム登録手段２３３からアラーム出力方法の情報を受け取ると、そのアラーム出力方法を出力部２１に実行させる。その結果、ユーザは、どのような画面変化が起こったかをアラーム出力の内容で把握することが可能となる。

本実施形態では、サーバの画面全体のうち、クライアントの画面に部分表示している範囲の外の領域に変化があったことをユーザに通知する際、あらゆる画面変化をユーザに通知するのではなく、予めユーザが登録したアラーム通知条件に一致する画面変化があったときのみ、画面変化があったことをユーザに通知する。そのため、ユーザは確認不要な画面変化を見るための操作を行わなくて済み、操作負担が軽減する。

また、複数のアラーム通知条件を登録してある場合に、そのそれぞれのアラーム通知条件に対して異なる通知手段を用いてユーザにアラーム通知を行うようにすれば、ユーザが見ている部分表示の画面範囲の外で発生した画面変化の内容を、ユーザは、手間なく即座に把握することができ、円滑な状況把握が可能となる。

なお、アラーム登録手段２３３はクライアント側ではなくサーバ側にあってもよい。この場合、アラーム通知条件登録用の画面をサーバ側が生成してクライアントに送信すればよい。

（第３の実施形態）
第１または第２の実施形態では、クライアントに表示させる部分表示画面をサーバが生成してクライアントに転送する場合を説明した。本実施形態は、サーバの画面全体をサーバからクライアントに送信し、クライアント側で部分表示画面を生成するものである。

本実施形態の画面転送システムの構成を、図１を参照して説明する。なお、第１の実施形態と同様な構成については、その詳細な説明を省略する。

図１に示すサーバ１のキャプチャ・変化領域判定手段１１１は、前回のキャプチャと次に表示するフレームとの差分の画面データを転送画面生成手段１１３に渡し、その他の動作については第１の実施形態と同様である。転送画面生成手段１１３は、キャプチャ・変化領域判定手段１１１から差分の画面データを受け取ると、その差分の画面データの転送用画面データを生成して通信部１２を介してクライアント２に送信する。

クライアント２の表示画面生成手段２３１は、サーバ１から通信部２４を介して転送用画面データを受信すると、差分の画面データに戻し、差分の画面データを表示中の画面データに差分合成した画面データを生成する。そして、表示画面生成手段２３１は、生成した画面データに対して、入力部２２を介して設定された表示モードに対応する画面データに調整し、調整後の画面データを出力部２１に渡す。出力部２１は、表示画面生成手段２３１から受け取った画面データに基づく画面を表示部に表示させる。

本実施形態においても、サーバ１の画面のうち、クライアントの画面に表示された範囲外に画面変化があると、第１の実施形態と同様にしてアラームがユーザに通知される。そのため、本実施形態の画面転送システムにおける動作についての詳細な説明を省略する。

本実施形態によれば、ユーザはアラーム通知を受けてから、サーバ１から画面全体のデータをクライアントにダウンロードしなくてもよく、クライアント１に保存された画面データから画面変化のあった部位を画面に表示させればよい。なお、本実施形態では、第１の実施形態と異なる点を詳細に説明したが、第２の実施形態を本実施形態に適用してもよい。

上述の第１から第３の実施形態では、前フレームからの画面変化の差分データのみをサーバからクライアントに転送する方法で説明したが、フレーム毎に差分のない領域も含めた画面のデータをクライアントに転送してもよい。

また、上述の第１から第３の実施形態では、本発明をより理解しやすくするために、各構成を詳しく説明した。本発明の特徴となる情報処理方法を実行する上では、サーバ１とクライアント２は少なくとも図１０に示す構成を備えていればよい。サーバ１の画面全体のデータは、上述したように、サーバ１内の記憶部（不図示）にフレーム毎に一時的に記憶される。そのため、制御部１１は仮想的に画面表示される画像を把握することが可能となり、サーバ１には、画面全体を表示させる表示部を設けなくてもよい。

さらに、上述の第１から第３の実施形態では、画面に表示される画像を提供する側の情報処理装置と画面に表示するための画像の提供を受ける側の情報処理装置の組み合わせとして、ＰＣと携帯端末の組み合わせの場合で説明したが、本発明の画面転送システムは、この組み合わせに限定されない。例えば、コンテツ提供サーバとＰＣの組み合わせであってもよい。さらに、本発明の画面転送システムをシンクライアントシステムに適用してもよい。

１ サーバ
１１ 制御部
１２ 通信部
２ クライアント
２１ 出力部
２２ 入力部
２３ 制御部
２４ 通信部
３ 通信網

Claims (9)

1. 第１および第２の情報処理装置を有する画面転送システムであって、
   前記第１の情報処理装置は、
   前記第２の情報処理装置とデータを送受信するための通信部と、
   自装置の画面に表示される画像を前記第２の情報処理装置に提供し、該画面のうち、該第２の情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該第２の情報処理装置から受信し、該画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記第２の情報処理装置に送信する制御部と、を有し、
   前記第２の情報処理装置は、
   前記第１の情報処理装置とデータを送受信するための通信部と、
   前記第１の情報処理装置から提供される前記画像を表示する表示部を含む出力部と、
   前記部分表示範囲の情報を一定時間毎に前記第１の情報処理装置に送信し、前記第１の情報処理装置から前記アラーム情報を受信すると、前記画面に変化があったことをユーザに通知するためのアラームを前記出力部に出力させる制御部とを有する、画面転送システム。
2. 前記アラーム情報を通知するか否かの判断基準となる、前記画面の変化に関する条件であるアラーム通知条件が前記第１の情報処理装置の制御部に予め登録され、
   前記第１の情報処理装置の制御部は、前記画面に生じた変化が前記アラーム通知条件に一致すると、前記アラーム情報を前記第２の情報処理装置に送信する、請求項１記載の画面転送システム。
3. 複数の前記アラーム通知条件が前記第１の情報処理装置の制御部に予め登録され、
   前記第２の情報処理装置の制御部に、前記複数のアラーム通知条件のそれぞれに対応して異なるアラーム出力方法が予め登録され、
   前記第２の情報処理装置の制御部は、前記第１の情報処理装置の前記画面に生じた変化に対応するアラーム通知条件と前記アラーム情報を前記第１の情報処理装置から受信すると、該アラーム通知条件に対応する前記アラーム出力方法を前記出力部に実行させる、請求項２記載の画面転送システム。
4. 他の情報処理装置とデータを送受信するための通信部と、
   自装置の画面に表示される画像を前記他の情報処理装置に提供し、該画面のうち、該他の情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該他の情報処理装置から受信し、該画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記他の情報処理装置に送信する制御部と、
   を有する情報処理装置。
5. 前記アラーム情報を通知するか否かの判断基準となる、前記画面の変化に関する条件であるアラーム通知条件が前記制御部に予め登録され、
   前記制御部は、前記画面に生じた変化が前記アラーム通知条件に一致すると、前記アラーム情報を前記他の情報処理装置に送信する、請求項４記載の情報処理装置。
6. 第１および第２の情報処理装置を有する画面転送システムによる情報処理方法であって、
   前記第１の情報処理装置が、自装置の画面に表示される画像を前記第２の情報処理装置に提供し、
   前記第２の情報処理装置が、前記第１の情報処理装置から提供される前記画像を、表示部を含む出力部に表示させ、
   前記第２の情報処理装置が、前記第１の情報処理装置の画面のうち、前記出力部で表示されている範囲である部分表示範囲の情報を一定時間毎に前記第１の情報処理装置に送信し、
   前記第１の情報処理装置が、前記部分表示範囲の情報を一定時間毎に前記第２の情報処理装置から受信し、前記自装置の画面の該部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記第２の情報処理装置に送信し、
   前記第２の情報処理装置が、前記第１の情報処理装置から前記アラーム情報を受信すると、表示される画像の範囲外に変化があったことをユーザに通知するためのアラームを前記出力部に出力させる、情報処理方法。
7. 前記第１の情報処理装置が、前記アラーム情報を通知するか否かの判断基準となる、前記画面の変化に関する条件であるアラーム通知条件を予め登録し、
   前記第１の情報処理装置が、前記画面に生じた変化が前記アラーム通知条件に一致すると、前記アラーム情報を前記第２の情報処理装置に送信する、請求項６記載の情報処理方法。
8. 情報処理装置と通信接続されるコンピュータに実行させるためのプログラムであって、
   自装置の画面に表示される画像を前記情報処理装置に提供し、
   前記画面のうち、前記情報処理装置で表示されている範囲である部分表示範囲の情報を一定時間毎に該情報処理装置から受信し、
   前記画面の前記部分表示範囲以外における画像に変化があると、画面に変化があったことを通知するためのアラーム情報を前記情報処理装置に送信する処理を前記コンピュータに実行させるためのプログラム。
9. 前記アラーム情報を通知するか否かの判断基準となる、前記画面の変化に関する条件であるアラーム通知条件を予め格納し、
   前記画面に生じた変化が前記アラーム通知条件に一致すると、前記アラーム情報を前記情報処理装置に送信する処理をさらに有する請求項８記載のプログラム。

Images