JP7412801B1

JP7412801B1 - プログラム及び端末

Info

Publication number: JP7412801B1
Application number: JP2022188374A
Authority: JP
Inventors: 良治大野
Original assignee: TEAM S CO., LTD.
Current assignee: TEAM S CO., LTD.
Priority date: 2022-11-25
Filing date: 2022-11-25
Publication date: 2024-01-15
Anticipated expiration: 2042-11-25
Also published as: JP2024077014A; WO2024111424A1; JP2024076691A

Abstract

【課題】ミラーリング表示機能及び遠隔入力機能を有する遠隔端末において、通信遅延に起因するユーザの違和感を低減する。【解決手段】遠隔端末１０は、表示部１０２と、制御部１１０と、通信部１０１と、を備える。通信部１０１は、遠隔端末１０から受信した画面内の位置を示す位置情報に基づいて画像を表示するとともに表示中の画像を示す画像データを遠隔端末１０へ送信する情報処理端末と通信する。制御部１１０は、情報処理端末２０から画像データを受信するステップ、該受信した画像データに基づく第１画像を表示部１０２に表示するステップ、表示部１０２における位置の指定を受け付けるステップと、該指定された位置を示す情報を情報処理端末に送信するステップ、及び該指定された位置に第２画像を暫定的に表示するステップ、を実行する。【選択図】図２

Description

本発明は描画処理に関する。

パーソナルコンピュータ等の情報処理端末における処理内容を物理的に離れた場所から確認しつつ当該情報処理端末を遠隔操作する技術が種々提案されている。情報処理端末の遠隔操作を実現する技術の一例としては、特許文献１～５の各文献に開示の技術のように、情報処理端末と通信する遠隔端末にミラーリング表示機能及び遠隔入力機能を設けることが挙げられる。ミラーリング表示機能とは、情報処理端末における表示画面と同じ画面を表示する機能である。遠隔入力機能とは、ユーザの操作を受け付けて情報処理端末に当該操作の内容を伝達する機能である。

特許第６３３５７３８号国際公開第２０１７／１８７７０６号特許第５８３１４１２号特許第５７７０７８２号特許第６４６４６９２号

ミラーリング表示機能及び遠隔入力機能を備えた遠隔端末に対してユーザの操作が為されてから、遠隔端末の表示画面にその操作の内容が反映されるまでには、遠隔端末と情報処理端末との間の通信の遅延に応じたラグが発生する。特に、遠隔端末に対して操作がリアルタイム性を要求される操作（例えば、情報処理端末において実行中の描画ソフトウェアに線を描画させる操作）である場合、上記ラグに起因するユーザの違和感は大きくなる。

これを図１１および１２を用いて説明する。このような遠隔端末において、ユーザは線や図形等の描画アプリケーションを実行して、図１１に示すように、画面へのタッチ操作スタイラスペン等の入力デバイスを用いて点ＰＳから点ＰＥまでの曲線Ｌｘを描く操作を行うとする。
図１２は、この際に遠隔端末の画面に表示される内容を示す。時刻Ｔ０にて描画操作を開始し、自国Ｔ５において描画操作を終了したとする。この一連の操作において、各時点Ｔ１、Ｔ２、Ｔ３、Ｔ４における画面の表示内容はそれぞれＧ０１、Ｇ０２、Ｇ０３、Ｇ０４である。なお、オブジェクトＰＮは各時点においてユーザの操作している位置を示すために便宜上図示してものであって、実際の表示画面に表示される必要はない。
遠隔端末と情報処理端末との通信遅延が全くなければ、描画位置ＰＰと表示される線の終端の位置ＰＴとは一致するはずであるが、図１２に示すように、通信遅延があるために、位置ＰＰと位置ＰＴにズレが生じている。このように、ユーザの指定した位置ＰＰに対して操作結果が反映されるまでにタイムラグがあるために、ユーザは違和感を覚える可能性がある。

本発明は、ミラーリング表示機能及び遠隔入力機能を有する遠隔端末において、情報処理端末との通信の遅延に起因するユーザの違和感を低減することを目的の一つとする。

本発明は、一の態様において、コンピュータに、前記コンピュータから受信した画面内の位置を示す位置情報に基づいて画像を表示するとともに表示されている画像を示す画像データを前記コンピュータに送信する情報処理端末から、画像データを受信するステップと、該受信した画像データに基づく第１画像を表示部に表示するステップと、前記表示部における位置の指定を受け付けるステップと、該指定された位置を示す情報を前記情報処理端末に送信するステップと、該指定された位置に第２画像を暫定的に表示するステップと、を実行させるためのプログラムを提供する。
このプログラムによれば、ミラーリング表示機能及び遠隔入力機能を有するコンピュータと情報処理端末との間の通信の遅延に起因するユーザの違和感を低減することができる。

好ましい態様において、前記プログラムは、前記第２画像が表示されてから所定期間を経過すると、当該第２画像を消去するステップを前記コンピュータに更に実行させるステップを有する。
この態様によれば、ミラーリング表示機能及び遠隔入力機能を有するコンピュータと情報処理端末との間の通信の遅延に起因するユーザの違和感を低減しつつ、第２画像の表示から所定期間が経過した時点で当該第２画像を消去することができる。

好ましい態様において、前記第１画像、及び前記第２画像は点又は線であり、前記第１画像と前記第２画像とは、視覚的に区別される態様で表示される。
この態様によれば、ミラーリング表示機能及び遠隔入力機能を有するコンピュータと情報処理端末との間の通信の遅延に起因するユーザの違和感を低減しつつ、第２画像の表示から所定期間が経過した時点で当該第２画像を消去することができ、更に各々点又は線である第１画像及び第２画像を視覚的に区別できる態様で表示することができる。

好ましい態様において、前記第１画像と前記第２画像とでは、線の種類、線の太さ、及び線の色のうちの少なくとも一つが異なる。
このプログラムによれば、ミラーリング表示機能及び遠隔入力機能を有するコンピュータと情報処理端末との間の通信の遅延に起因するユーザの違和感を低減しつつ、第２画像の表示から所定期間が経過した時点で当該第２画像を消去することができ、更に各々点又は線である第１画像及び第２画像を、線の種類、線の太さ、及び線の色のうちの少なくとも一つを異ならせることで視覚的に区別できる態様で表示することができる。

好ましい態様において、前記所定期間は、前記コンピュータと前記情報処理端末との間の通信の遅延量に基づいて決定される。
この態様によれば、ミラーリング表示機能及び遠隔入力機能を有するコンピュータと情報処理端末との間の通信の遅延に起因するユーザの違和感を低減しつつ、第２画像の表示から、当該通信の遅延量に基づいて決定される所定期間が経過した時点で第２画像を消去することができる。

好ましい態様において、第１の態様、第２の態様、第３の態様、第４態様、及び第５の態様のうちの何れか１の態様のプログラムにおいて、前記第２画像は、時間の経過とともに前記第１画像に近づくように連続的に変化する。第６の態様のプログラムよれば、第１の態様、第２の態様、第３の態様、第４態様、及び第５の態様のうちの何れか１の態様のうちの何れか１の態様と同一の効果に加えて、時間の経過とともに第２画像を第１画像に連続的に近づけることができる、といった効果が奏される。

本発明は、他の観点において、表示部と、制御部と、前記表示部の画面内の位置を示す位置情報の入力を受け付ける入力部と、情報処理端末と通信する通信部とを備え、前記制御部は、前記情報処理端末から画像データを受信すると、該受信した画像データに基づく第１画像を前記表示部に表示し、前記表示部における位置の指定を受け付けると、該指定された位置を示す情報を前記情報処理端末に送信するとともに、前記表示部における該指定された位置に第２画像を暫定的に表示する、端末を提供する。
この端末によれば、ミラーリング表示機能及び遠隔入力機能を有し、情報処理端末との間の通信の遅延に起因するユーザの違和感を低減することができる。

本発明の一実施形態による遠隔端末１０を含む情報処理システム１の構成例を示す図である。遠隔端末１０の構成例を示す図である。遠隔端末１０の制御部１１０がプログラムＰＲに従って実行する表示方法の流れを示すフローチャートである。遠隔端末１０の動作例を説明するための図である。遠隔端末１０の動作例を説明するための図である。遠隔端末１０の動作例を説明するための図である。遠隔端末１０の動作例を説明するための図である。遠隔端末１０の動作例を説明するための図である。遠隔端末１０の画面に表示される画像の時間変化の例を示す図である。遠隔端末１０の画面に表示される画像の時間変化の他の例を示す図である。従来例の課題を説明するための図（その１）である。従来例の課題を説明するための図（その２）である。

＜Ａ．実施形態＞
図１は、情報処理システム１の全体構成の例を示す図である。図１に示されるように、情報処理システム１は、遠隔端末１０と、通信網を介して遠隔端末１０と通信する情報処理端末２０と、を有する。図１では、遠隔端末１０と情報処理端末２０との間の通信を仲介する通信網の図示は省略されている。遠隔端末１０は、通信網を介して情報処理端末２０を遠隔操作するための端末である。情報処理端末２０は、遠隔端末１０による遠隔操作の対象となる情報資源（ソース）としての画像を表示するソース端末である。情報処理端末２０は、遠隔端末１０から受信した画面内の位置を示す位置情報に基づいて画像を表示するとともに表示されている画像を示す画像データを遠隔端末１０へ送信する。本実施形態において遠隔端末１０による遠隔操作の対象となる画像の一例としては、情報処理端末２０において描画ソフトウェアを実行することにより表示される画面の画像、即ち線又は点等を描画するユーザの操作を受け付け、当該操作に応じた描画結果をユーザに確認させるためのユーザインタフェース画面の画像が挙げられる。

情報処理端末２０は、例えばサイズが２７インチのパーソナルコンピュータ用モニタを備えたパーソナルコンピュータであり、当該モニタの画像解像度は１９２０×１０８０で、当該モニタに表示される画像のアスペクト比（縦横比）は１６：９である。情報処理端末２０は、スマートフォン又はテレビ等であってもよい。また、情報処理端末２０は、複数の機器の組合せで構成されてもよい。例えば、情報処理端末２０は、液晶テレビのマルチメディアインタフェースに画像処理プロセッサを搭載したドングルを装着したものであってもよい。図１には、情報処理端末２０が１つ図示されているが、情報処理システム１には２以上の情報処理端末２０が含まれてもよい。

遠隔端末１０は、通信網を介した無線通信により情報処理端末２０に接続し、接続先の情報処理端末２０を遠隔操作する。遠隔端末１０は、情報処理端末２０から受信した画像データの示す画像を表示するミラーリング表示機能、及びユーザの操作を受け付け、ユーザの操作により指定された位置を示す位置情報を情報処理端末２０へ供給する遠隔入力機能を有する。遠隔端末１０は、例えば、モニタサイズ１２インチのタブレットＰＣが挙げられる。本実施形態における遠隔端末１０の画像解像度は１９２０× １２００であり、遠隔端末１０に表示される画像のアスペクト比は１６：１０である。

本実施形態における遠隔端末１０は、ユーザによる操作が行われてから自装置の表示画面にその操作の内容が反映されるまでに情報処理端末２０との間の通信の遅延に応じたラグが発生する場合であっても、ユーザの違和感が軽減されるように構成されており、この点に本実施形態の特徴が表れている。以下、本実施形態の特徴を顕著に示す遠隔端末１０を中心に説明する。

図２は、遠隔端末１０の構成の例を示す図である。図２に示す遠隔端末１０は、通信部１０１、表示部１０２、放音部１０３、記憶部１０４、音声制御部１０５、表示制御部１０６、入力部１０７、及び制御部１１０を有する。

制御部１１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を有し、ＣＰＵがＲＯＭ及び記憶部１０４に記憶されているプログラムＰＲを読み出して実行することにより遠隔端末１０の制御中枢として機能する。また、制御部１１０は、音声制御部１０５を介して放音部１０３を制御するとともに、表示制御部１０６を介して表示部１０２を制御する。放音部１０３は、音声制御部１０５の制御の下で音を放出する装置であり、例えば、スピーカ、ヘッドホン等である。音声制御部１０５は、放音部１０３を制御する装置であり、例えばサウンドコントローラである。

表示部１０２は、液晶ディスプレイ等の表示面を有しており、表示制御部１０６による制御の下、画像を表示する。表示制御部１０６は、制御部１１０の指示に応じて表示部１０２を制御する装置である。表示制御部１０６は、例えば、ディスプレイコントローラ、グラフィックコントローラである。表示制御部１０６は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を有してもよいし、描画処理機能を有する１以上のＣＰＵとして実装されてもよい。

記憶部１０４は、半導体メモリ（ソリッドステートドライブ）やハードディスクドライブ等の記憶手段であり、制御部１１０のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。記憶部１０４に記憶されている各種のプログラムの一例としては、プログラムＰＲの他に、制御部１１０にＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）を実現させるカーネルプログラムが挙げられる。なお、記憶部１０４に記憶されている各種のプログラムのうち、プログラムＰＲ以外のプログラムの図示は省略されている。

入力部１０７は、各種の指示をするための操作ボタン、キーボード、タッチパネル等の操作子（図示せず）を備えており、ユーザによる操作を受け付けてその操作内容に応じた信号を制御部１１０に送る。また、入力部１０７は、操作内容特定部１０８、及び位置情報検出部１０９を有する。

位置情報検出部１０９は、ユーザの操作で指示される画面上、又は画像上の位置を示す位置情報を検出する。位置情報検出部１０９は、例えば、上述したタッチパネルである。このタッチパネルは、透明な材質で形成され、表示部１０２の表示面の上に重ねて配置される。位置情報検出部１０９は、検出した位置情報を操作内容特定部１０８に送る。操作内容特定部１０８は、上述した操作子によって受け付けられたユーザの操作を特定する。操作内容特定部１０８は、ユーザの操作に応じて操作子が発した信号を受信し、例えば、記憶部１０４に記憶された対応表を参照して、受信した信号のパターンから、ユーザが行った操作の内容を特定する。なお、操作内容特定部１０８は、上述した位置情報検出部１０９から受取った位置情報を、ユーザの操作を示す信号として用いる。なお、入力部１０７の機能の一部又は全部は、制御部１１０によって実現されてもよい。

通信部１０１は、無線により通信網に接続する通信回路である。遠隔端末１０は、通信部１０１により、通信網に接続された他の装置（すなわち、情報処理端末２０を含む外部装置）と情報をやり取りする。通信部１０１は、いわゆる無線ＬＡＮの規格、例えばＩＥＥＥ８０２．１１に準拠した方式により、遠隔端末１０と通信網とを接続する機能を提供する。なお、遠隔端末１０は、通信網を介さずに直接、情報処理端末２０と接続してもよい。例えば、遠隔端末１０と情報処理端末２０とは、近距離無線通信（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）の規格、例えばＩＳＯ／ＩＥＣ１８０９２（ＮＦＣＩＰ－１）、ＩＳＯ／ＩＥＣ１４４４３、ＩＳＯ／ＩＥＣ１５６９３、又はＩＥＥＥ８０２．１５に準拠した方式で互いに接続する機能を有していてもよい。例えば、遠隔端末１０と情報処理端末２０とは、Ｍｉｒａｃａｓｔ（登録商標）、ＡｉｒＰｌａｙ（登録商標）等の１対１の無線通信によるディスプレイ伝送技術を用いて接続されてもよい。

また、遠隔端末１０と情報処理端末２０とは、ＩＥＥＥ８０２．３に準拠した方式等の有線で直接、通信可能に接続されてもよい。この場合、通信部１０１は、有線通信のインタフェースである。

入力部１０７に対してプログラムＰＲの実行を指示する操作が為されると、制御部１１０はプログラムＰＲの実行を開始する。プログラムＰＲに従って動作している制御部１１０は、情報処理端末２０との通信を開始するとともに、図３に示される表示方法を実行する。図３に示されるように、この表示方法には、第１判定処理ＳＡ１００、第１表示処理ＳＡ１１０、第２判定処理ＳＡ１２０、送信処理ＳＡ１３０、第２表示処理ＳＡ１４０、及び第３判定処理ＳＡ１５０が含まれる。第１判定処理ＳＡ１００、第１表示処理ＳＡ１１０、第２判定処理ＳＡ１２０、送信処理ＳＡ１３０、第２表示処理ＳＡ１４０、及び第３判定処理ＳＡ１５０の各処理の処理内容は、次の通りである。

第１判定処理ＳＡ１００では、制御部１１０は、情報処理端末２０から画像データを受信したか否かを判定し、第１判定処理ＳＡ１００の判定結果が“Ｎｏ”である間、第１判定処理ＳＡ１００の実行を繰り返す。情報処理端末２０から画像データを受信して第１判定処理ＳＡ１００の判定結果が“Ｙｅｓ”になると、制御部１１０は、第１表示処理ＳＡ１１０を実行する。つまり、本実施形態における第１判定処理ＳＡ１００は、情報処理端末２０から画像データを受信するステップの一例である。

第１表示処理ＳＡ１１０では、制御部１１０は、情報処理端末２０から受信した画像データに基づく画像を表示部１０２に表示する。前述したように、本実施形態では、情報処理端末２０では描画ソフトウェアが実行されており、情報処理端末２０から遠隔端末１０へ送信される画像データは、描画ソフトウェアにおけるユーザインタフェース画面の画像を表す。従って、制御部１１０がプログラムＰＲに従って作動し、遠隔端末１０と情報処理端末２０とが通信している状態では、表示部１０２には、情報処理端末２０において実行中の描画ソフトウェアのユーザインタフェース画面の画像が表示される。

図４に示される画像Ｇ１は、情報処理端末２０において実行中の描画ソフトウェアのユーザインタフェース画面の画像の一例である。画像Ｇ１は、領域Ａ１及び領域Ａ２の２つの領域を有する。領域Ａ２は、線等の描画先となる仮想キャンバスに対応する。領域Ａ１には、仮想キャンバスに線等を描画するための仮想ペンのアイコンＢ１、仮想ペンにより描画された線を消すための仮想消しゴムのアイコンＢ２、及び仮想キャンバスに色彩を付与するための仮想絵具のアイコンＢ３等の各種描画ツールをユーザに選択させるためのアイコンが配置される。ユーザは、領域Ａ１に配置されたアイコンを選択することによって所望の描画ツールを選択し、選択した描画ツールを用いて領域Ａ２に対する描画操作を行うことができる。以下、本動作例では、仮想ペンのアイコンＢ１が選択され、当該仮想ペンを用いて領域Ａ２に線が描画される場合について説明する。

第１表示処理ＳＡ１１０に後続する第２判定処理ＳＡ１２０では、制御部１１０は、表示部１０２における位置の指定を受け付ける入力操作が為されたか否かを、操作内容特定部１０８の出力信号に基づいて判定する。換言すれば、第２判定処理ＳＡ１２０は、表示部１０２における位置の指定を受け付けるステップである。表示部１０２における位置の指定を受け付ける入力操作が為された場合、第２判定処理ＳＡ１２０の判定結果は“Ｙｅｓ”となる。これに対して、表示部１０２における位置の指定を受け付ける入力操作とは異なる入力操作が為された場合には、第２判定処理ＳＡ１２０の判定結果は“Ｎｏ”となる。表示部１０２における位置の指定を受け付ける入力操作の一例としては、仮想ペンを用いて領域Ａ２に対して、図５に示されるように、点ＰＳから点ＰＥに至る線Ｌ１を描画する操作が挙げられる。この場合、制御部１１０は、線Ｌ１の各点の位置を、ユーザにより指定された位置として受け付ける。表示部１０２における位置の指定を受け付ける入力操作とは異なる入力操作の一例としては、プログラムＰＲの実行を終了する終了操作が挙げられる。

第２判定処理ＳＡ１２０の判定結果が“Ｙｅｓ”である場合に実行される送信処理ＳＡ１３０では、制御部１１０は、入力操作により指定された位置を示す位置情報を情報処理端末２０へ送信する。本動作例では、図５に示されるように領域Ａ２に線Ｌ１を描画する入力操作が為された場合、送信処理ＳＡ１３０では、線Ｌ１上の各点の位置を示す位置情報、即ち当該線Ｌ１を表す情報が情報処理端末２０へ送信される。情報処理端末２０は、当該情報に応じた画像（即ち、図５における線Ｌ２の画像）を領域Ａ２に描画したユーザインタフェース画面の画像（図６に示されるように、領域Ａ２に線Ｌ１に対応する線Ｌ２が実線で描かれたユーザインタフェース画面の画像）Ｇ２を表す画像データを生成して遠隔端末１０へ送信する。線Ｌ２を実線で描画した画像は本発明における第１画像の一例である。

送信処理ＳＡ１３０に後続する第２表示処理ＳＡ１４０では、制御部１１０は、入力操作により指定された位置に、当該入力操作による描画内容に応じた画像を第１画像とは異なる態様で描画した第２画像を、第１表示処理ＳＡ１１０にて表示した画像に重ねて表示する。本動作例では、第２画像も第１画像と同様に線の画像であるが、第２画像は、視覚的に第１画像と区別される態様で線Ｌ１を描画した画像である。具体的には、本動作例における画像Ｇ３は、図７に示されるように、線Ｌ１を一点鎖線で描画した画像（線Ｌ３）である。線Ｌ１を一点鎖線で描画した画像は本発明における第２画像の一例である。
なお、本動作例では、第１画像と第２画像とで線の種類（実線と鎖線）を異ならせているが、線種に替えてまたは線種とともに、線の太さおよび/または線の色を異ならせてもよい。要するに、第１画像と第２画像とが視覚的に区別できるように、線種、線の太さ、及び線の色のうちの少なくとも一つが異なればよい。

第２表示処理ＳＡ１４０が実行される結果、遠隔端末１０の表示部１０２には、画像Ｇ１に画像Ｇ３を重ねた画像、即ち図８に示される画像Ｇ４が表示される。第２表示処理ＳＡ１４０の実行後、制御部１１０は、第１判定処理ＳＡ１００以降の処理を再度実行し、第２表示処理ＳＡ１４０にて表示部１０２に表示された画像は、再度第１表示処理ＳＡ１１０が実行されることにより更新される。つまり、第２表示処理ＳＡ１４０は、第２画像を暫定的に表示するステップである。なお、本実施形態では、第２判定処理ＳＡ１２０の判定結果が“Ｙｅｓ”である場合、まず、送信処理ＳＡ１３０が実行され、その後、第２表示処理ＳＡ１４０が実行されたが、送信処理ＳＡ１３０及び第２表示処理ＳＡ１４０の実行順序が入れ替えられてもよい。

第２判定処理ＳＡ１２０の判定結果が“Ｎｏ”である場合に実行される第３判定処理ＳＡ１５０では、制御部１１０は、入力部１０７に対して為された入力操作が終了操作であるか否かを判定する。第３判定処理ＳＡ１５０の判定結果が“Ｎｏ”である場合、制御部１１０は第１判定処理ＳＡ１００以降の処理を再度実行する。第３判定処理ＳＡ１５０の判定結果が“Ｙｅｓ”である場合、制御部１１０はプログラムＰＲの実行を終了し、本表示方法を終了する。

本実施形態の特徴は、第２表示処理ＳＡ１４０を設けた点にある。遠隔端末１０において線Ｌ１を描画する入力操作が受け付けられてから即座に画像Ｇ２が表示部１０２に表示されるのであれば、第２表示処理ＳＡ１４０が実行されなくても特段の問題は生じない。しかし、遠隔端末１０において線Ｌ１を描画する入力操作が受け付けられてから遠隔端末１０が画像Ｇ２を表す画像データを受信するまでには、遠隔端末１０と情報処理端末２０との間のデータ通信に応じた待ち時間、即ち遅延が発生する。このため、第２表示処理ＳＡ１４０が実行されないとしたならば、上記待ち時間に間、遠隔端末１０には画像Ｇ１が表示され続け、線Ｌ１を描画する入力操作が視覚的に反映されることはない。この入力操作が視覚的に反映されることがないことがユーザの違和感につながる。本実施形態では、線Ｌ１を描画する入力操作に応じて第２表示処理ＳＡ１４０が実行されることによって画像Ｇ３が遠隔端末１０に表示されるため、ユーザの違和感が低減される。

図９を用いてさらに具体的に説明する。
図９は、上述した線Ｌ１を描画する動作をユーザが行った際に遠隔端末１０の表示部１０２に表示される画像を時系列で示した図である。具体的には、時間Ｔ＝Ｔ０で描画動作を開始し、Ｔ＝Ｔ５で描画動作を終了した場合において、Ｔ＝Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５の各時点における表示内容（Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４、Ｇ１５）が示されている。なお、同図に描かれているオブジェクトＰＮは、各時点においてユーザが指定した位置（ペンデバイスを使って操作情報を入力する場合は、ペンデバイスがタッチパネルに接触している位置、指で操作情報を入力する場合は指が接触するタッチパネル上の位置）を説明するために便宜上描いたものであって、実際の画面には必ずしも表示される必要はない。

同図に示すように、線Ｌ１を描画するための一連の操作において、通信遅延に関係なく（すなわち、入力操作に表示内容が瞬時に追随する）ように線Ｌ３が表示され、通信遅延の影響の分だけ遅れて線Ｌ２が遅れて重ね表示されていく。ユーザは、入力操作に即座に反応して描画処理が行われていると認識するため、操作レスポンスという観点において違和感を覚えにくい。描画操作においては、本来表示されるべき線Ｌ２がＬ３に重ねて表示されていき、描画操作が終わると、線Ｌ２が視認できなくなるまたは目立たなくなる。すなわち、描画操作の途中で意図しない描画が暫定的に行われたといえるとしても、操作の結果、最終的に表示される画像はユーザが意図したものと同一である。すなわち、ユーザの意図した通りの画像が最終的には描画されているから、線Ｌ３によって新たな違和感がユーザに与えられることはない。

以上説明したように、本実施形態によれば、ミラーリング表示機能及び遠隔入力機能を有する遠隔端末１０と情報処理端末２０との間の通信の遅延に起因するユーザの違和感を低減することができる。

＜Ｂ．変形＞
以上、本発明の一実施形態について説明したが、この実施形態は以下のように変形されてもよい。
第１画像と第２画像とでは、線の種類、線の太さ、及び線の色の各々が一致してもよい。即ち第１画像と第２画像とが同一の画像であり、両者を完全にオーバーラップさせて表示部１０２に表示させてもよい。この場合、上述の例では、線Ｌ３は線Ｌ２が表示された後は完全に視認されなくなる。この場合、あたかも通信遅延が全く存在しないような感覚をユーザに与えることができる。

上記実施形態において、所定の条件を満たした場合に、第２画像を消去するステップを有してよい。具体的には、第２表示処理ＳＡ１４０の実行から所定期間を経過した時点で第２画像を消去するステップを含んでもよい。この所定時間は、例えば０．１秒等の固定値であってもよいし、遠隔端末１０と情報処理端末２０との間の通信の遅延量に基づいて決定される可変値であってもよい。具体的には、遠隔端末１０と情報処理端末２０との間の通信の遅延量が大きいほど、所定時間が長く設定されればよい。

図１０を用いて具体的に説明する。図１０は、図９に示したものと同様の操作をユーザが行った場合に、各時点における画面の表示内容（すなわち、画像Ｇ２（線Ｌ２）と画像Ｇ３（線Ｌ３）とが重ね表示された結果の画像；Ｇ２１Ａ～Ｇ２５Ａ）、仮に画像Ｇ３（線Ｌ３）のみが表示された場合の表示内容（Ｇ２１Ｂ～Ｇ２５Ｂ；したがって実際にユーザによって視認する表示画面ではない）とを対応付けて示したものである。
同図に示すように、線Ｌ３は、図９に示した場合とは異なり、描画された時点を基準として所定時間が経過すると消去される。よって、線Ｌ３と線Ｌ２とを明確に区別できるような態様で描画した場合であっても、ユーザが描画を意図していないという意味において本来不要である線Ｌ３の存在によって、ユーザが描画を意図している線Ｌ２の視認性が低下することを防止することができる。

あるいは、本発明の表示方法は、第２表示処理ＳＡ１４０の実行からの経過時間に応じて、第２画像を変化させるステップを含んでもよい。具体的には、第２表示処理ＳＡ１４０の実行から時間が経過するにつれて、第２画像が第１画像に近づくように連続的に第２画像を変化させるステップ、具体的には、第２画像が第１画像よりも薄い色で表現される場合に、時間経過とともに徐々にと第２画像の色を濃くするステップが上記表示方法に含まれてもよい。このように、線Ｌ３の存在が自然に薄れていくような感覚をユーザに与えることで、線Ｌ３の存在によるユーザの違和感がさらに軽減される。

上記実施形態では、プログラムＰＲが遠隔端末１０の記憶部１０４に記憶されていたが、プログラムＰＲは単体で製造されてもよく、また、プログラムＰＲは単体で、販売等、譲渡されてもよい。プログラムＰＲを譲渡先へ提供する際の具体的な提供態様としては、インターネット等の電気通信回線経由のダウンロード、又はフラッシュＲＯＭ等のコンピュータ読み取り可能な記録媒体にプログラムＰＲを書き込んで配布する態様が挙げられる。

要するに、本発明においては、遠隔端末と、当該遠隔端末から受信した画面内の位置を示す位置情報に基づいて画像を表示するとともに表示されている画像を示す画像データを当該遠隔端末に送信する情報処理端末とからなる情報処理システムにおいて、前記遠隔端末が前記情報処理端末から画像データを受信するステップと、前記遠隔端末にて該受信した画像データに基づく第１画像を前記遠隔端末の表示部に表示するステップと、前記遠隔端末において前記表示部における位置の指定を受け付けるステップと、該指定された位置を示す情報を前記遠隔端末から前記情報処理端末に送信するステップと、前記遠隔端末において該指定された位置に第２画像を暫定的に表示するステップとが実行されればよい。

１…情報処理システム、１０…遠隔端末、２０…情報処理端末、１０１…通信部、１０２…表示部、１０３…放音部、１０４…記憶部、１０５…音声制御部、１０６…表示制御部、１０７…入力部、１０８…操作内容特定部、１０９…位置情報検出部、１１０…制御部、ＰＲ…プログラム。

Claims

コンピュータに、
前記コンピュータから受信した画面内の位置を示す位置情報に基づいて画像を表示するとともに表示されている画像を示す画像データを前記コンピュータに送信する情報処理端末から、画像データを受信するステップと、
該受信した画像データに基づく第１画像を表示部に表示するステップと、
前記表示部における位置の指定を受け付けるステップと、
該指定された位置を示す情報を前記情報処理端末に送信するステップと、
該指定された位置に、時間の経過とともに前記第１画像に近づくように連続的に変化する第２画像を表示するステップと
を実行させるためのプログラム。
前記第２画像は、時間の経過とともに色が濃くなる画像である
請求項１に記載のプログラム。
表示部と、
受信した画面内の位置を示す位置情報に基づく画像を表示する情報処理端末から、当該情報処理端末の表示画面にて表示されている画像を示す画像データを受信する手段と、
該受信した画像データに基づく第１画像を前記表示部に表示する手段と、
前記表示部における位置の指定を受け付ける手段と、
該指定された位置を示す情報を前記情報処理端末に送信する手段と、
該指定された位置に、時間の経過とともに前記第１画像に近づくように連続的に変化する第２画像を表示する手段と
を有する情報処理装置。
前記第２画像は、時間の経過とともに色が濃くなる画像である
請求項３に記載の情報処理装置。