JP6695530B1 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP6695530B1
JP6695530B1 JP2019212658A JP2019212658A JP6695530B1 JP 6695530 B1 JP6695530 B1 JP 6695530B1 JP 2019212658 A JP2019212658 A JP 2019212658A JP 2019212658 A JP2019212658 A JP 2019212658A JP 6695530 B1 JP6695530 B1 JP 6695530B1
Authority
JP
Japan
Prior art keywords
window
software
image
user terminal
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019212658A
Other languages
English (en)
Other versions
JP2021033996A (ja
Inventor
楓太 小川
楓太 小川
晃寛 玉田
晃寛 玉田
大樹 皆川
大樹 皆川
純矢 落合
純矢 落合
拓也 櫻井
拓也 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BLACK INC.
Original Assignee
BLACK INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BLACK INC. filed Critical BLACK INC.
Priority to JP2019212658A priority Critical patent/JP6695530B1/ja
Application granted granted Critical
Publication of JP6695530B1 publication Critical patent/JP6695530B1/ja
Publication of JP2021033996A publication Critical patent/JP2021033996A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】既存のソフトウェアをOSの種類やバージョン等になるべく依存せずより汎用的に実行できるような仕組みを提供する。【解決手段】情報処理システム100は、ユーザ端末900のブラウザ上での操作により生成されるイベント情報を、ユーザ端末と通信可能なコンピュータ上で実行されるソフトウェア150により規定されている情報へ変換するイベント情報処理部130と、イベント情報処理部130により変換された情報を、ソフトウェアに入力する情報入力部140と、を有する。【選択図】図1

Description

本発明は、例えば、ネットワークを介して接続可能なコンピュータに搭載されたアプリケーションをユーザ端末から遠隔で操作可能な仕組みを含む情報処理システム及び情報処理方法に関する。
コンピュータで実行されるソフトウェアは、スタンドアローン型アプリケーション、ネイティブアプリケーション、Webアプリケーションなどに分類される。
スタンドアローン型アプリケーションは、搭載されたコンピュータの演算装置のみで実行される。ネイティブアプリケーションは、インストールされたコンピュータ内の演算装置が直接に演算処理を行うタイプのアプリケーションである。スタンドアローン型アプリケーション及びネイティブアプリケーションは、必ずしもネットワーク環境を必要とすることなく実行される。ただし、ネイティブアプリケーションでは、アプリケーションの実行中の各段階で、必要に応じて通信が行われる場合もある(特許文献1)。
Webアプリケーションは、アプリケーションに関する演算処理をネットワーク上のサーバで行うタイプのアプリケーションである。Webアプリケーションでは、アプリケーションを使用するユーザが用いるユーザ端末は、もっぱらWebアプリケーションに関する入出力を行う。Webアプリケーションの操作には、ネットワークに接続できるネットワーク環境が必要とされる(特許文献2)。
特開2016−053969号 特表2015−525085号
スタンドアローン型アプリケーション又はネイティブアプリケーションは、基本的に、ユーザ端末でローカルに実行される。そのため、スタンドアローン型アプリケーション又はネイティブアプリケーションの実行性は、ユーザ端末のオペレーティングシステム(OS)の種類やバージョンに依存する。
そのため、アプリケーションの開発者は、通常、使用されるOSの種類やバージョンに合わせて、複数のバージョンのアプリケーションを製造する必要がある。特に、ユーザ端末のOSのバージョンが更新されると、この種のアプリケーションの実効性が保証されなくなることもある。
また、既存のスタンドアローン型アプリケーション又はネイティブアプリケーションをWebアプリケーションのタイプに変換することも考えられるが、そのような改変には、製造期間や製造コストがかかる。
上記背景に鑑み、既存のソフトウェアをOSの種類やバージョン等になるべく依存せずより汎用的に実行できるような仕組みが望まれる。
一態様における情報処理システムは、前記ユーザ端末のブラウザ上での操作により生成されるイベント情報を、前記ユーザ端末と通信可能なコンピュータ上で実行されるソフトウェアにより規定されている情報へ変換するイベント情報処理部と、前記イベント情報処理部により変換された前記情報を、前記ソフトウェアに入力する情報入力部と、を有する。
一態様における情報処理方法は、コンピュータが、ユーザ端末のブラウザ上での操作により生成されるイベント情報を、前記ユーザ端末と通信可能なコンピュータ上で実行されるソフトウェアにより規定されている情報へ変換するイベント情報処理ステップと、前記イベント情報処理ステップにより変換された前記情報を、前記ソフトウェアに入力する情報入力ステップと、を実行することを含む。
一態様におけるプログラムは、上記の情報処理方法をコンピュータに実行させるプログラムである。
上記態様によれば、既存のソフトウェアをOSの種類やバージョン等になるべく依存せずより汎用的に実行できるような仕組みが提供できる。
第1実施形態における情報処理システムの構成を示すブロック図である。 ユーザ端末のブラウザ上に表示されたソフトウェアウィンドウ画像の一例である。 イベント情報処理部の情報処理の一例を説明するための図である。 複数のソフトウェアウィンドウを含む本来のウィンドウ表示を示す模式図である。 図4の複数のソフトウェアウィンドウを含むソフトウェアウィンドウ画像を表示するユーザ端末を示す模式図である。 第2実施形態における情報処理システムの構成を示すブロック図である。 第1モードにおけるユーザ端末を示す模式図である。 第2モードにおけるユーザ端末を示す模式図である。
以下、図面を参照して、実施形態について説明する。以下の図面において、同一又は類似の部分には、同一又は類似の符号を付している。
(第1実施形態)
図1は、第1実施形態におけるコンピュータシステムの構成を示すブロック図である。図2は、ユーザ端末のブラウザ上に表示されたソフトウェアウィンドウ画像の一例である。
情報処理システム100は、画像処理部110と、画像配信部120と、イベント情報処理部130と、情報入力部140と、インストールされたソフトウェア150と、を有していてよい。
図1では、情報処理システム100が画像処理部110と画像配信部120とイベント情報処理部130と情報入力部140とソフトウェア150をすべて含むよう描かれているが、これらの構成要素は、それぞれ別のコンピュータに設けられていてもよい。すなわち、情報処理システム100は、分散型のコンピュータシステムを構成していてもよい。
ユーザ端末900は、ネットワークに接続可能なコンピュータであれば特に制限されない。ユーザ端末900は、パーソナルコンピュータ、又はスマートフォンのような携帯端末などであってよい。
ユーザ端末900は、ネットワークを介して情報処理システム100に接続可能である。情報処理システム100とユーザ端末900とは、ネットワーク経由でデータを互いに送信/受信できる。ネットワークは、インターネット、エクストラネット、又はイントラネットのように様々ネットワーク(以下、単に「ネットワーク」と称する。)であってよい。
情報処理システム100は、そこに搭載されているソフトウェア150を実行可能なコンピュータである。情報処理システム100には、1つ又は複数のソフトウェアが搭載されていてよい。
情報処理システム100に搭載されているソフトウェアは、スタンドアローン型アプリケーション、ネイティブアプリケーション、又はオンライン型のアプリケーションであってよい。好ましくは、ソフトウェアは、スタンドアローン型アプリケーション又はネイティブアプリケーションである。
特に、このソフトウェア150は、搭載されているコンピュータ上で本来操作されるものであってよい。言い換えると、ソフトウェアは、本来的にはソフトウェアを使用するユーザが直接操作するコンピュータにインストールされるタイプのものあってもよい。この場合、通常はソフトウェアが実行されると、このソフトウェアがインストールされているコンピュータに接続されているディスプレイ上にソフトウェアウィンドウ(ソフトウェアにより直接規定されているウィンドウ)が表示され、マウスやタッチパネル等の操作によりソフトウェアウィンドウ上でソフトウェアにより規定された操作が実行される。
ただし、本実施形態では、情報処理システム100を構成するコンピュータにインストールされているソフトウェア150は、ネットワークを通じてユーザ端末900から操作される。より具体的には、このソフトウェア150は、ネットワークを介してユーザ端末900のブラウザから操作される。ユーザ端末900のブラウザは、Webブラウザであってよい。
搭載されているソフトウェア150は、例えばゲームソフトウェアであってよい。この場合、ユーザは、ユーザ端末900のWebブラウザから、ネットワークを通じてゲームを遠隔操作することができる。これにより、ユーザは、Webブラウザ上でゲームを楽しむことができる。
なお、情報処理システム100に複数のソフトウェアが搭載されている場合、ユーザは、ユーザ端末900のWebブラウザから、複数のソフトウェアのうちの1つを選択して実行することができることが好ましい。
画像配信部120は、ソフトウェア150の実行により生成される画像情報を、ユーザ端末900に配信する。すなわち、画像配信部120は、情報処理システム100上で実行されたソフトウェア150により通常表示されるべきウィンドウの画像を、ユーザ端末900に配信する。これにより、ソフトウェアウィンドウに相当する画像(以下、「ソフトウェアウィンドウ画像」と称することがある。)が、ユーザ端末900のWebブラウザ上に表示される。ここで、「画像」は、静止画だけでなく映像のような動画も含むものとする。
後述するように、ソフトウェアウィンドウ画像は、画像処理部110により取得(キャプチャ)した領域の画像によって規定される。好ましくは、ソフトウェアウィンドウ画像は、ソフトウェアウィンドウのクライアント領域に相当する画像である。ここで、ソフトウェアウィンドウ画像は、Webブラウザ内の、例えばビデオタグによって規定される表示領域に表示される。
一般的に、ソフトウェアの実行時に表示されるべきソフトウェアウィンドウは、ボタンやチェックボックスのように、ウィンドウ上で様々な操作を実現するためのアイテムを含む。しかしながら、本実施形態では、画像配信部120は、基本的に、ウィンドウ内に表示されるべき画像を、画像情報(動画情報)としてユーザ端末900に配信する。
図2は、ユーザ端末900のブラウザ800上に表示されたソフトウェアウィンドウ画像の一例である。図2に示すように、ユーザ端末900のWebブラウザ800上に、画像が表示されている。この画像内に、所定のボタン810,820,830の画像が表示されている。
ここで、ユーザのWebブラウザ800上に表示された画像は、画像情報(動画情報)として配信されたものである。すなわち、ユーザ端末900のWebブラウザ上に表示されたソフトウェアウィンドウ画像内にボタン810,820,830に相当する画像があったとしても、それらのボタン810,820,830の画像は、ボタン本来の機能を有していない。
画像配信部120による画像の配信は、任意の公知の方法により実行できる。配信されるべき画像情報(動画情報)は、所定の方法によりエンコードされることが好ましい。エンコードされた画像情報は、ユーザ端末900にてデコードされる。画像情報は、ユーザ端末900のWebブラウザ800の解像度と、ソフトウェアウィンドウの解像度との比率に基づき、Webブラウザ800のサイズに応じてリサイズされてWebブラウザに表示されることが好ましい。これにより、ユーザ端末900のWebブラウザ800上での解像度の大きさの違いにかかわらず、ソフトウェアウィンドウ全体をWebブラウザ800上に表示可能となる。
ユーザ端末900側の入力装置の操作により生成されるイベント情報は、ネットワークを介してイベント情報処理部130に送信される。イベント情報処理部130は、ユーザ端末900から受けたイベント情報を所定の規定により変換する。ここで、入力装置の操作は、ポインタ操作、タッチパネル操作、又はキーボード操作などがある。
イベント情報処理部130により変換された情報は、情報入力部140を通じてソフトウェア150に入力される。これにより、ユーザ端末900から送られたイベント情報に基づき、ユーザ端末900のWebブラウザに表示中のソフトウェアウィンドウ画像に対応するソフトウェア150が、遠隔にて操作される。
ここで、ポインタ操作は、例えば、マウス又はタッチパネルによるポインタの操作であってよいが、これに限定されない。ポインタ操作は、ポインタ位置の移動、又は所定の位置でのポインタのクリック操作もしくはタップ操作などを含む。
タッチパネル操作は、ユーザ端末900がタッチパネル機能を有する場合に実行可能である。タッチパネル操作は、スワイプ操作やタップ操作等であってよい。
ここで、ポインタ操作又はタッチパネル操作により生成されるイベント情報は、ポインタの位置又はタッチ位置を特定するための位置情報(位置座標)を含む。この位置情報は、通常、ユーザ端末900のスクリーン上での位置座標、又はユーザ端末900のWebブラウザ800上での位置座標により構成される。したがって、この位置座標は、通常2次元の数字により規定される。
本実施形態では、イベント情報処理部130は、ユーザ端末900により使用されているWebブラウザ上でのポインタ位置又はタッチ位置の位置座標を取得する。ここで、ユーザ端末900のWebブラウザ800上で生成されたイベント情報は、そのままの形態で情報処理システム100のソフトウェア150に入力できないことがある。
例えば、ユーザ端末900のWebブラウザ800上での位置座標は、ソフトウェアウィンドウ上での位置座標と同一ではない。これは、ユーザ端末900のWebブラウザ800の解像度が、ソフトウェア150により規定されるウィンドウの解像度と異なることに起因する。
(位置座標の変換)
以下、ユーザ端末900からのイベント情報の処理の流れの具体的一例について説明する。
まず、イベント情報処理部130は、ユーザ端末900からイベント情報を受ける。イベント情報は、例えばポインタ操作又はタッチ操作により生成される情報である。
イベント情報は、所定の時間間隔で定期的に受け取られてもよい。この場合、例えば、イベント情報処理部130は、0.01秒〜1.00秒程度の間隔で、定期的にイベント情報を受け取ればよい。この代わりに、イベント情報処理部130は、イベントの発生時にイベント情報を受け取ってもよい。この場合、イベントの発生は、例えば、ポインタのクリック動作、又はタッチパネルのタッチ動作などであってよい。
ポインタ操作又はタッチ操作により生成されるイベント情報は、ポインタ位置又はタッチ位置の位置座標(dux、duy)を含む。ユーザ端末900は、必要に応じて、位置座標(dux、duy)をWebブラウザ上での解像度(DUx、DUy)で割った規格化された位置座標に変換する。これにより、ポインタ位置又はタッチ位置の位置座標は、Webブラウザ800の解像度の大きさに依存しない値に規格化される(dux/DUx、duy/DUy)。
まず、イベント情報処理部130は、ユーザ端末900から、イベント情報として規格化された位置座標を受け取る。
次に、イベント情報処理部130は、規格化された位置座標を、ソフトウェアウィンドウの解像度(DEx、DEy)に基づき、ウィンドウ上での位置座標に変換する。
具体的には、イベント情報処理部130は、規格化された位置座標(dux/DUx、duy/DUy)に、ソフトウェアウィンドウの解像度(DEx、DEy)を乗じる。これにより、ソフトウェアウィンドウ上での位置座標(dux*DEx/DUx、duy*DEy/DUy)が得られる。
次に、情報入力部140は、イベント情報処理部130で変換された位置座標(dux*DEx/DUx、duy*DEy/DUy)を、ソフトウェア150に入力する。これにより、ソフトウェア150は、変換後の位置座標(dux*DEx/DUx、duy*DEy/DUy)でイベントが発生したものとして、その処理を進める。
前述したように、イベント情報処理部130は、Webブラウザ800の解像度とソフトウェアウィンドウの解像度との比率に基づき、ユーザ端末900のWebブラウザ800上での位置座標を、ソフトウィンドウに関する位置座標に変換する。これにより、ユーザ端末900のWebブラウザ800とソフトウェアウィンドウとの間での解像度の違いに伴いポインタやタッチ等のイベント発生位置の座標にずれが生じたとしても、イベント情報処理部130は、その位置座標ずれを補正することができる。
より具体的には、イベント情報処理部130は、ユーザ端末900に配信された画像情報のリサイズの比率に応じて、ユーザ端末900のWebブラウザ800上での位置座標を、ソフトウェアウィンドウに関する位置情報に変換する。これにより、ユーザ端末900のWebブラウザ800に表示されている画像中の特定の位置が、ソフトウェアウィンドウにおける対応する位置と一致することになる。
イベント情報処理部130の一例について、図3を参照しつつ説明する。図3では、ユーザ端末900のWebブラウザ800の解像度は、(1440、1080)である。一方、ソフトウェアウィンドウの解像度は、(800、600)である。
ここで、ユーザ端末900において、Webブラウザ800上の特定の位置座標、例えば(360、500)でポインタ850がクリックされたとする。この場合、イベント情報処理部130は、ユーザ端末900から、規格化された位置座標(360/1440、500/1080)を受け取る。
イベント情報処理部130は、規格化された位置座標(360/1440、500/1080)に、ソフトウェアウィンドウの解像度(800、600)を乗じる。これにより、イベント情報処理部130は、変換した位置座標(360*800/1440、500*600/1080)を生成する。これにより、Webブラウザ800上でのポインタの位置850は、ソフトウェアウィンドウ上での位置座標(200、278)へマッピングされる(図中の符号250の位置)。なお、イベント情報処理部130による位置座標の変換がされない場合、図3に示すように、Webブラウザ上での位置座標は、ソフトウェアウィンドウ上で全く異なる位置座標(360、500)を示すことになり得る(図中の符号350の位置)。
前述したように、情報入力部140は、イベント情報処理部130により変換された位置座標で、イベントが発生したという情報をソフトウェア150に入力する。したがって、ユーザがWebブラウザ800に表示されているボタンの画像810,820,830の位置でポインタをクリック操作、又はタッチ操作することで、ソフトウェア150は、ソフトウェアウィンドウのボタンの位置でクリック又はタッチがされたと認識する。
これにより、ソフトウェアは、ボタンがクリック又はタッチされたときと同様の処理を開始する。このようにして、ユーザは、ユーザ端末900のWebブラウザ800から遠隔でソフトウェア150を操作することができる。
なお、前述した例では、ポインタのクリック操作やタッチパネルのタッチ操作により生成された位置情報について説明した。これに限らず、イベント情報処理部130は、ユーザ端末900から取得したWebブラウザ800上の位置座標に関する情報を、同様の手法により、ソフトウェアウィンドウ上での対応する位置座標に変換すればよい。そして、情報入力部140は、イベント情報処理部130で変換された位置座標でイベントが発生したという情報を、ソフトウェア150に入力すればよい。
そのような位置座標が生成されるイベント情報の例として、マウスのポインタ操作、クリック操作(例えば左クリックや右クリック)、ダブルクリック操作、長押し操作、タッチパネルのタッチ操作、スワイプ操作、長押し操作により生成されるイベント情報などが挙げられる。
前述した位置座標の変換の例では、まず、ユーザ端末900が、規格化された位置座標(dux/DUx、duy/DUy)を生成する処理を実行している。この処理は、必須の処理ではなく、必要に応じて実行されればよい。例えば、ユーザ端末900からイベント処理部130へWebブラウザの解像度(DUx、DUy)の情報とともに送れば、最終的に生成すべき変換後の位置座標(dux*DEx/DUx、duy*DEy/DUy)は、イベント情報処理部130によって生成可能である。
前述したWebブラウザ(ブラウザ)上での位置座標は、ブラウザの原点(0,0)を原点として規定された座標であってもよく、ブラウザ上の前述の表示領域の原点(0,0)を原点として規定された座標であってもよい。ただし、イベント情報処理部130が取得する位置座標の座標系の原点が、ソフトウェア150により規定されるソフトウェアウィンドウの原点とずれている場合には、前述した解像度に基づく比率処理の前又は後に、原点を一致させる処理を実行すればよい。
(イベント情報に含まれるオン情報とオフ情報の処理)
次に、イベント情報に含まれるオン情報とオフ情報の処理の一例について説明する。
まず、イベント情報処理部130は、ユーザ端末900からイベント情報を受ける。本例において、イベント情報は、例えばポインタのクリック操作又はタッチパネルのタッチ操作により生成される情報である。これらの操作により生成されるイベント情報は、Webブラウザ上での位置座標を含む。したがって、この位置座標については、イベント情報処理部130により前述した方法と同様に変換されればよい。
以下では、イベント情報処理部130が所定の時間間隔で定期的にイベント情報を受け取る場合において、ポインタがクリックされたかどうか、又はタッチパネルがタッチされたかどうかについて判定する処理について説明する。
この場合、ユーザ端末900は、ポインタがクリック又はタッチパネルがタッチされたことを示すオン情報と、クリック又はタッチされていないことを示すオフ情報と、を所定の間隔でイベント情報処理部130へ送信する。所定の間隔は、0.01秒〜1.00秒程度の間隔であってよい。
次に、イベント情報処理部130は、オフ情報を受けた後に初めてオン情報を受けた場合に、押下されたという情報を生成する。イベント情報処理部130により生成されたこの情報は、情報入力部140により、ソフトウェア150に入力される。ソフトウェア150は、押下されたという情報を受け、入力された情報に伴い処理の進行を行う。
イベント情報処理部130は、オン情報を連続で受け取っている期間には、押下又は開放されたという情報を生成しない。言い換えると、イベント情報処理部130がオン情報を連続で受け取っている期間について、ソフトウェア150はクリック又はタッチされたという情報を受けず、クリック又はタッチによる処理の進行を行わない。
同様にして、イベント情報処理部130は、オン情報を受けた後に初めてオフ情報を受けた場合に、ソフトウェア150にクリック又はタッチが放されたという情報を生成する。このように、情報入力部140は、オン情報を受けた後にオフ情報を受けた場合、又はオフ情報を受けた後にオン情報を受けた場合に、ソフトウェア150に、入力装置の操作に変更があったことを示す情報を入力することが好ましい。
イベント情報処理部130が所定の時間間隔で定期的にイベント情報を受け取る場合、ユーザが、ポインタ又はタッチパネルを押下又は開放している期間、イベント情報処理部130はオン情報又はオフ情報を受け取り続けることになる。したがって、イベント情報処理部130がオン情報又はオフ情報を受け取る度に、ソフトウェア150に押下又は開放されたという情報を送ると、ソフトウェア150は複数回押下又は開放されたと誤認識し得る。上記態様では、オン情報を受けた後に一度だけクリック又はタッチされたと判定されるため、このような誤認識を抑制できる。
なお、上記の処理の代わりに、情報入力部140は、入力装置から受けたオン情報又はオフ情報をそのままソフトウェア150に入力してもかまわない。オン情報又はオフ情報の処理は、入力装置の種類等に応じて変更してもよい。
また、イベント情報処理部130がオン情報を受けた後に、所定の秒数、オン情報もオフ情報も受けない場合、イベント情報処理部130は、オフ情報を受けたと見なして処理を進行すればよい。これは、ユーザ端末900の接続が途切れてしまった場合などに起こり得る。イベント情報処理部130は、このようにオフ情報を半永久的に受け取ることができなくなる状況において、オン情報の処理をし続けることなく、タイムアウトの処理を行うことが好ましい。
上記ではクリック動作又はタッチ動作について説明したが、同様にオン情報とオフ情報による操作を行うものであれば、クリック動作又はタッチ動作に限られない。前述したオン情報とオフ情報に関する処理は、ドラッグ&ドロップのような操作にも適用できる。すなわち、前述した処理は、オン情報とオフ情報を含むイベント情報を生成させる入力装置を用いた操作全般に適用できる。そのような入力装置として、マウス、キーボード、タッチパネル等が挙げられるが、これに限定されない。
(ボタン要素機能)
情報処理装置100は、Webブラウザ上で動作するプログラミング言語に紐づいたボタン要素を表示させるボタン要素表示部190と、ボタン要素表示部の操作により生成されたイベント情報を所定の情報に変換するボタン情報変換部192と、を有していてよい。
図2に示す例では、ソフトウェアウィンドウ画像の直下に、複数のボタン要素710,720,730が表示されている。これらのボタン要素710,720,730は、Webブラウザ上で動作するプログラミング言語、例えばJavaScript(登録商標)等に紐づいている。したがって、これらのボタン要素710,720,730がクリック操作又はタップ操作等により操作されると、ボタン要素710,720,730が操作されたという情報が、情報処理装置100に送られる。
ここで、キーボードのような入力装置に設けられているボタンのうちのいずれかと対応づけられた画像(文字を含む)が、ボタン要素710,720,730上に表示されていることが好ましい。図2に示す例では、ボタン要素710に「Esc」の文字が表示されている。また、ボタン要素720に「Space」の文字が表示されている。さらに、ボタン要素730には「Enter」の文字が表示されている。
ボタン要素710,720,730が操作されると、ボタン情報変換部192は、ボタン要素表示部の操作により生成されたイベント情報、すなわちボタン要素710,720,730が操作されたという情報を受ける。
ボタン情報変換部192は、このイベント情報を、キーボードに設けられた所定のボタンの押下により生成されるイベント信号に変換する。この変換されたイベント信号が、ソフトウェア150に入力される。
ここで、ボタン要素710,720,730は、キーボードに設けられた所定のボタンに対応づけられており、ボタン情報変換部192は、ボタン要素710の操作により生成されるイベント情報を、対応するキーボードのボタンの押下により生成されるイベント信号に変換する。
これにより、ユーザがブラウザ上でボタン要素710,720,730を操作したときに、ソフトウェア150は、それに対応するキーボードイベントが発生したとみなし、その処理を進行する。
なお、前述の例では、ボタン要素710,720,730がキーボードのボタンに対応付けられているが、これに制限されない。ボタン要素710,720,730は、任意の入力装置における入力操作に対応付けられていればよい。
なお、ユーザ端末900がキーボードなど物理的な任意の入力装置を持っている場合は、入力装置からの信号が情報処理システム100に送られ、ボタン情報変換部192が情報処理システム100に送られた信号に対して上記と同様の処理を行なってソフトウェア150を操作できるようにしてもよい。
(画像処理部)
次に、画像処理部110及びそれに関連する処理について説明する。図4は、複数のソフトウェアウィンドウを含む本来のウィンドウ表示を示す模式図である。図5は、図4の複数のソフトウェアウィンドウ画像を表示するユーザ端末側の表示画面を示す模式図である。
図4に示すように、ソフトウェア150は複数のソフトウェアウィンドウ500,520を持つものであってよい。この場合、画像処理部110は、複数のソフトウェアウィンドウ500,520の画像を一画像としてユーザ端末900に表示させるため、所定の画像処理を実行する。
なお、一般的に、ソフトウェアウィンドウ500は、ウィンドウ領域502と、クライアント領域504と、を有する。ウィンドウ領域502は、ウィンドウの枠に相当する部分であり、クライアント領域504は、ウィンドウ領域502の内側の領域に相当する。
以下、複数のソフトウェアウィンドウ画像を配信する手順を、画像処理部110による処理とともに説明する。
まず、画像処理部110は、ソフトウェアが持つウィンドウ(ソフトウェアウィンドウ)をすべて取得する。画像処理部110が複数のソフトウェアウィンドウを取得した場合、画像処理部110は、複数のソフトウェアウィンドウのうち最もサイズの大きいソフトウェアウィンドウを主ウィンドウと判断する。
次に、画像処理部110は、必要に応じて、主ウィンドウが画面の中央に位置するよう主ウィンドウの位置座標の基点を変換する。これにより、主ウィンドウが画面から外れないようにすることができる。本段落において、「画面」は、ソフトウェア150により認識されている仮想的な画面であってもよく、その大きさはソフトウェアの実行時に入力されることにより決定されるものでもよい。ここで、画像処理部110は、主ウィンドウが画面の中央に位置するよう主ウィンドウの位置座標の基点を変換したが、これに限られず、主ウィンドウが画面から外れないよう主ウィンドウの位置座標の基点を変換すればよい。
次に、画像処理部110は、主ウィンドウのクライアント領域を画像の取得領域に設定する(キャプチャ範囲)。
次に、画像処理部110は、主ウィンドウ以外の副ウィンドウが、主ウィンドウのクライアント領域の内側に位置するように、副ウィンドウの位置座標を変更する。
具体的一例では、画像処理部110は、主ウィンドウのクライアント領域の中央に副ウィンドウの中央を合わせるように、副ウィンドウの位置座標を変更する。この位置座標の変更にもかかわらず、副ウィンドウが、主ウィンドウのクライアント領域よりも外側にはみ出す場合、画像処理部110は、副ウィンドウがはみ出した分だけ、画像の取得領域(キャプチャ範囲)を広げればよい。
画像処理部110は、上記のキャプチャ範囲の画像情報を一画像として取得する。これにより、画像処理部110は、主ウィンドウと副ウィンドウが互いに重なった画像情報を、ユーザ端末900に配信すべき画像として取得する。
画像配信部120は、画像処理部110により処理された画像をユーザ端末900に配信すればよい。これにより、ユーザ端末900には、図5に示すような画像600が表示される。
画像処理部110による前述した処理は、所定の時間間隔で繰り返し行われればよい。そのような所定の時間間隔は、例えば0.01秒〜1.00秒の範囲であってよい。
なお、前述した画像処理部110による処理では、原則、主ウィンドウの非クライアント領域は、原則、ユーザ端末900に配信されない。この代わりに、主ウィンドウの非クライアント領域も、ユーザ端末900に配信してもよい。ただし、ユーザ端末900側のブラウザの枠と、主ウィンドウのウィンドウ領域の枠の画像と、の両方が表示されることを防ぐためには、画像処理部110は、主ウィンドウのクライアント領域のみを画像の取得範囲とすることが好ましい。
なお、ソフトウェア150が1つのウィンドウしかもたない場合、画像処理部110は、前述した副ウィンドウに関する処理を除き、同様の処理を実行すればよい。すなわち、画像処理部110は、ソフトウェア150がもつ1つのウィンドウを主ウィンドウと規定し、好ましくは主ウィンドウのクライアント領域をキャプチャ範囲として設定すればよい。
前述した情報処理システム100によれば、ユーザは、ユーザ端末900のWebブラウザから、遠隔にてソフトウェア150を操作できる。また、画像(動画)情報として配信されている表示画面上でのポインタ操作やタッチ操作に伴うイベント情報によって、ソフトウェアを操作することが可能である。したがって、ユーザ端末900に搭載されているOSの種類やバージョン等に依存せずソフトウェアを操作することができる。
また、上記の実施形態で説明した情報処理システム100のようなプラットフォームを作成しておけば、既存のソフトウェアを改変することなく情報処理システム100に既存のソフトウェアを入れるだけで、ユーザは当該ソフトウェアを実行できる。そのため、ソフトウェアの製造者は、既存のソフトウェアを、OSの種類やバージョン等に応じて改変する必要がない。
(第2実施形態)
図6は、第2実施形態における情報処理システムの構成を示すブロック図である。図7は、第1モードにおけるユーザ端末を示す模式図である。図8は、第2モードにおけるユーザ端末を示す模式図である。
第2実施形態において、第1実施形態と同様の構成については、同じ符号が付されている。また、第1実施形態と同様の構成については、その説明を省略することがあることに留意されたい。
第2実施形態では、ユーザ端末900(コンピュータ)は、タッチパネルを有する表示画面を含む。図7及び図8では、ユーザ端末900は、スマートフォンであるが、これに限定されない。図7及び図8では、このタッチパネルを有する表示画面に、前述したソフトウェアウィンドウ画像が表示されていることに留意されたい。
第2実施形態では、ユーザ端末900は、ポインタを表示させない第1モードと(図7)、ポインタを表示させる第2モードと(図8)、に選択可能に切り替えられる。この切り替えは、不図視の選択ボタン等によるユーザ設定により切り替え可能に構成されていてよい。
このような切り替えは、ユーザ端末900にインストールされたアプリケーションにより実現されてもよく、ネットワーク上の情報処理システム100に搭載された機能により実現されてもよい。
図7に示す第1モードは、通常のモードであり、ソフトウェアウィンドウ画像が表示画面に表示されている。ユーザは、前述したように、画像が表示されている領域、すなわちタッチパネルの領域を、タップ操作又はスワイプ操作等することにより、情報処理システム100で実行されているソフトウェア150を遠隔で操作することができる。
ここで、ソフトウェアウィンドウ画像が表示されている領域の外側の領域において、ユーザがタップ操作又はスワイプ操作等をした場合であっても、イベント情報処理部130は、ソフトウェアの操作に関する入力信号に変換し、それから情報入力部140がソフトウェア150に当該入力信号を入力すればよい。
具体的には、イベント情報処理部130は、まず、ユーザ端末900のタッチパネルのタップ操作又はスワイプ操作により生成されたイベント情報を受け取る。イベント情報処理部130は、このイベント情報に含まれるWebブラウザにおける位置座標を、第1実施形態で説明したように、Webブラウザとソフトウェアウィンドウの解像度の比率に応じて変換する。
イベント情報処理部130は、変換された位置座標がソフトウェアウィンドウの領域から外れている場合、当該イベント情報を、所定の入力信号に変換する。
ここで、所定の入力信号は、ソフトウェアウィンドウの位置座標とは関係のない信号であることが好ましい。そのような入力信号として、例えばキーボード信号が挙げられる。所定の入力信号は、特に、キーボード信号のうち使用頻度の高い「Enter」ボタンにより生成されるべき入力信号であることが好ましい。
上記説明では、ソフトウェアウィンドウ画像が表示されている領域の外側の領域において、ユーザがタップ操作又はスワイプ操作等をした場合、イベント情報処理部130が位置座標の変換の処理を行っている。この代わりに、ソフトウェアウィンドウ画像が表示されている領域の外側の領域において、ユーザがタップ操作又はスワイプ操作等をした場合、ユーザ端末900が、当該操作に伴い生成されたイベント情報を、前述した所定の信号に変換して情報処理システム100に送信してもよい。この場合、このような処理を行うプログラムは、ネットワークを通じてダウンロードされ、又はCD−ROMのような記憶媒体から、インストールされることによって、ユーザ端末900に設けられればよい。
これにより、ユーザが、ユーザ端末900のソフトウェアウィンドウ画像が表示されていない領域を操作、例えばタップ操作すると、「Enter」のようなキーボード操作を行ったものとしてソフトウェアの処理がすすむことなる。したがって、ソフトウェアの実行上の操作性を向上させることができる。
図8に示す第2モードは、ソフトウェアウィンドウ画像上に、操作位置を表すポインタ890を表示させるモードである。この目的のため、情報処理装置100は、ポインタの位置座標を管理するポインタ座標処理部170と、ポインタの画像890を表示させるポインタ表示部180と、を備えていてよい。
図8に示すように、ポインタ座標処理部170及びポインタ表示部180は、ユーザ端末900に設けられていてよい。この場合、ポインタ座標処理部170及びポインタ表示部180は、ネットワークを通じてダウンロードされ、又はCD−ROMのような記憶媒体から、インストールされることによって、ユーザ端末900に設けられればよい。
ソフトウェアウィンドウ画像は、ユーザ端末900のスクリーンの一部にのみ表示されている。一方、タッチパネルにおけるタッチ操作が可能な領域(図8で塗りつぶしパターンを施した領域R1)は、ソフトウェアウィンドウ画像の表示領域とは異なっている。
好ましくは、タッチ操作が可能な領域R1の少なくとも一部は、ソフトウェアウィンドウ画像の表示領域の外側に存在することが好ましい。図8に示す例では、タッチ操作が可能な領域R1は、ソフトウェアウィンドウ画像の表示領域と、ソフトウェアウィンドウ画像の表示領域よりも下側に延出した領域にわたって延びている。
ここで、ポインタ座標処理部170は、ポインタの画像890の現在の位置座標と、タッチパネルにおけるタッチ操作により生成されたイベント情報(位置座標)と、に基づき、ポインタの画像890を表示させるべき位置座標を変換してよい。
ポインタ座標処理部170は、ユーザ端末900のタッチパネル上でのスワイプ操作に基づいて、ポインタの画像890の位置を移動させることが好ましい。より具体的には、ポインタ座標処理部170は、スワイプ操作に基づいて生成されたタッチ位置の位置座標の変化分に応じて、ポインタの位置を現在の位置座標から変更すればよい。ここで、ポインタの移動方向は、スワイプ操作の移動方向と同方向であることが好ましい。
以下では、ポインタの画像890を移動させる処理についてより詳細に説明する。
まず、ポインタ座標処理部170が所定の時間間隔で定期的にイベント情報を受け取る。所定の時間間隔は、0.01秒〜1.00秒程度の間隔であってよい。イベント情報は、タッチパネルがタッチされているかを表すオン情報又はオフ情報と、オン情報におけるタッチ位置を表す位置座標の情報と、を含む。
ポインタ座標処理部170は、オン情報を連続で受けた場合、タッチ位置を表す位置座標の差分を算出することが好ましい。この差分が、所定のピクセル以上である場合、ポインタ座標処理部170は、スワイプ操作であると判定する。一方、この差分が、所定のピクセル未満である場合、ポインタ座標処理部170は、同じ位置でタッチが継続されていると判定する。ここで所定のピクセルは、例えば0〜30ピクセルであってよい。
ポインタ座標処理部170がスワイプ操作であると判定すると、連続して受けたオン情報における位置座標の変化、すなわち位置座標どうしの方向及び距離に応じた差分ベクトルを生成する。なお、差分ベクトルは、2次元の数値により規定できる。すなわち、連続して受けたオン情報における位置座標の変化が、X方向に300ピクセル、Y方向に150ピクセルであれば、差分ベクトルは、(300,150)によって規定される。
ポインタ座標処理部170は、この差分ベクトルに基づき、記憶部に記憶されているポインタの画像890の現在の位置座標を変更する。より具体的には、ポインタ座標処理部170は、ポインタの画像890の現在の位置座標に、差分ベクトルを付加すればよい。
ポインタ表示部180は、このように変更された位置座標に基づき、ユーザ端末900のブラウザ上にポインタの画像890を表示させる。なお、ポインタの画像890の位置座標は、ソフトウェアウィンドウ画像が表示される表示領域内の座標に制限されることが好ましい。すなわち、ポインタの画像890は、ソフトウェアウィンドウ画像が表示される表示領域内でのみ移動可能であることが好ましい。
前述したように、タッチ操作が可能な領域R1がソフトウェアウィンドウ画像の表示領域と異なっている場合、ユーザは、画像の表示領域とは異なる領域に触れながらポインタを操作することができる。すなわち、ユーザは、表示された画像を指で隠すことなく、ポインタ操作が可能となる。このように、一般的にポインタの画像を表示する必要がないタッチパネルを有するユーザ端末900であるにもかかわらず、ポインタ850を表示することで、画像を指で隠すことなく、ポインタ操作によりソフトウェアの操作が可能となる。
このような観点から、タッチ操作が可能な領域R1は、ソフトウェアウィンドウ画像の表示領域より外側にも存在することがより好ましい。なお、タッチ操作が可能な領域R1は、ソフトウェアウィンドウ画像が表示される表示領域と重複していてもよい。
ポインタの画像890の位置の移動距離は、スワイプ操作による移動距離と同じであってもよく、長くてもよく、又は短くてもよい。移動距離の大きさによって変化量が加速度的に変わってもよい。両方の移動距離が同じである場合、ユーザは、ポインタを移動させたい距離だけ指を移動させればよいので、どのくらい操作すればよいか感覚的にわかり易い。
ポインタの画像890の位置の移動距離が、スワイプ操作による移動距離よりも長い場合、ユーザは、より短い距離だけ指を移動させればよいので、ポインタの操作スピードを加速することができる。
ポインタの画像890の移動距離が、スワイプ操作による移動距離よりも短い場合、ユーザは、指を長い距離動かしてもポインタの移動は短いため、ポインタの位置の微調整が容易になる。これは、特に、スマートフォンのように画面が小さいコンピュータにとって有効である。
スワイプ操作による移動距離に対するポインタの位置の移動距離または移動の加速度は、ユーザによる設定により切り替え可能であることが好ましい。このような切り替えは、前述した差分ベクトルに、ユーザにより設定された所定の値を乗じる処理によって実現できる。
第2実施形態における第2モードでは(図8参照)、イベント情報処理部130は、ユーザにより行われたタッチ操作により生成されたイベント情報を、以下のように処理する。第2モードでは、イベント情報処理部130は、タッチ操作が行われた際に、ポインタ890の位置座標を受け取る。
イベント情報処理部130は、このポインタ890の位置座標を、第1実施形態と同様に、ユーザ端末900のブラウザの解像度とソフトウェアウィンドウの解像度との比率に基づき変換する。情報入力部140は、このようして変換された位置座標を、ソフトウェア150に入力すればよい。
前述した例では、ポインタ座標処理部170及びポインタ表示部180は、ユーザ端末900に設けられている。この代わりに、ポインタ座標処理部170とポインタ表示部180の一方、又は両方は、情報処理装置100、すなわちネットワーク上に設けられていてもよい。この場合、ポインタの画像890を表示させるべき位置座標は、ネットワーク上で管理されていてよい。この場合、ユーザによるスワイプ操作により発生するイベント情報を、ネットワークを介して通信することを除き、前述と概ね同様の方法によってポインタの画像890を表示させるべき位置座標を変更できる。ポインタ表示部180は、このネットワーク上で管理されていている位置座標に基づき、ポインタの画像890を表示させればよい。
なお、ネットワーク上でポインタの画像890を表示させるべき位置座標を管理する場合、この位置座標は、ユーザ端末900のブラウザの解像度に基づき定義された位置座標によって管理されてもよく、ソフトウェアウィンドウの解像度に基づき定義された位置座標によって管理されていてもよい。ポインタの画像890を表示させるべき位置座標がソフトウェアウィンドウの解像度に基づき定義された位置座標によって管理される場合、ポインタ座標処理部170は、ユーザ端末900から受け取った位置座標を、第1実施形態のイベント情報処理部130と同様に、ユーザ端末900のブラウザの解像度とソフトウェアウィンドウの解像度の比に基づき変換すればよい。またこの場合、ユーザ端末900にポインタの画像を表示させる際には、ソフトウェアウィンドウの解像度に基づき定義された位置座標を、ブラウザの解像度とソフトウェアウィンドウの解像度の比(変換時とは逆の比率)により逆変換した位置座標を生成し、逆変換した位置座標に基づきポインタの画像890をユーザ端末900に表示すればよい。
なお、ポインタの画像890は、情報処理システム100から、ソフトウェアウィンドウ画像に含めるよう配信されてもよい。
第1実施形態及び第2実施形態で説明した情報処理をコンピュータが行う方法も本発明の範囲に含まれることに留意されたい。さらに、そのような方法をコンピュータに実行させるプログラムも本発明の範囲に含まれる。
このようなコンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)に格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。
非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上述したように、実施形態を通じて本発明の内容を開示したが、この開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなる。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものであることに留意されたい。
例えば、前述した実施形態では、ソフトウェア150は、搭載されているコンピュータ上で本来操作される既存のソフトウェアであった。この代わりに、ソフトウェア150は、本実施形態で説明したプラットフォーム上で実行するために製造されたものであってもよい。
この代わりに、ソフトウェア150は、特定のオペレーティングシステム(OS)、例えば特定の種類又はバージョンのOSにより実行可能に構成されているものであってもよい。この場合、情報処理システム100が、ソフトウェア150に対応するOSによりソフトウェアを実行するよう構成されていればよい。この場合、ユーザ端末900のOSが、ソフトウェア150により推奨される特定の種類又はバージョンのOSでなくても、ユーザは、Webブラウザを通じて遠隔にてソフトウェア150を実行できる。この場合、情報処理システム100は、ソフトウェア150により推奨されるOSを起動したうえで、当該OS上でソフトウェア150を実行してもよい。
上記の実施形態では、ユーザ端末900のWebブラウザを通じて遠隔にてソフトウェア150を実行する技術が説明されている。上記の技術は、Webブラウザの利用に限られず、ネットワークを通じて配信される画像(動画)を表示可能なブラウザであれば、どのようなものでも利用できる。
100 情報処理システム
110 画像処理部
120 画像配信部
130 イベント情報処理部
140 情報入力部
170 ポインタ座標処理部
180 ポインタ表示部
900 ユーザ端末


Claims (10)

  1. ユーザ端末と通信可能なコンピュータ上で実行され、前記ユーザ端末から遠隔操作されるソフトウェアにより規定されるウィンドウの画像を、前記ユーザ端末に配信する情報処理システムであって、
    前記ソフトウェアの実行により生成されるウィンドウの画像を取得する画像処理部と、
    前記画像処理部によって取得した画像を、前記ユーザ端末のブラウザの表示領域に表示させる画像配信部と、を有し、
    前記ソフトウェアによって規定されるウィンドウが複数存在する場合、前記画像処理部は、
    複数の前記ウィンドウのうち最もサイズの大きいウィンドウを主ウィンドウと判断し、
    前記主ウィンドウの領域を画像の取得領域に設定し、
    前記主ウィンドウ以外の副ウィンドウが、前記主ウィンドウの内側に位置するように、前記副ウィンドウの位置座標を変更し、
    前記副ウィンドウの前記位置座標の変更後に、前記取得領域内の前記主ウィンドウ及び前記副ウィンドウの画像を一画像として取得するよう構成されている、情報処理システム。
  2. 前記ユーザ端末の前記ブラウザ上での操作により生成されるイベント情報を、前記ソフトウェアにより規定されている情報へ変換するイベント情報処理部と、
    前記イベント情報処理部により変換された前記情報を、前記ソフトウェアに入力する情報入力部と、を有し、
    前記イベント情報は、前記ユーザ端末の前記ブラウザ上における位置座標に関する第1位置情報を含み、
    前記イベント情報処理部は、前記ブラウザの解像度と前記ウィンドウの解像度との比率に基づき、前記第1位置情報を、前記ウィンドウ上での第2位置情報に変換するよう構成されている、請求項1に記載の情報処理システム。
  3. 前記ソフトウェアは、前記ブラウザを通じて前記ユーザ端末から遠隔操作可能に構成されており、
    前記ソフトウェアは、インストールされているコンピュータに対して前記ウィンドウを表示させる要求を行なう処理を含む、請求項1又は2に記載の情報処理システム。
  4. 前記主ウィンドウの中央に前記副ウィンドウの中央を合わせるように、前記副ウィンドウの位置座標を変更するよう構成されている、請求項1から3のいずれか1項に記載の情報処理システム。
  5. 前記画像配信部は、前記ユーザ端末のタッチパネルの操作が可能な領域のうちの一部の領域に設けられた前記表示領域に画像を表示させるよう構成されており、
    前記情報処理システムは、
    前記表示領域に表示された画像上に、操作位置を表すポインタを表示させるポインタ表示部と、
    前記ユーザ端末のタッチパネルにおける操作により生成されるイベント情報に基づいて、前記ポインタを表示させる位置座標を変更するポインタ座標処理部と、を有する、請求項1に記載の情報処理システム。
  6. 前記ポインタを表示させない第1モードと、前記ポインタを表示させる第2モードと、に選択可能に切り替えられる、請求項5に記載の情報処理システム。
  7. 前記ブラウザは、Webブラウザであり、
    前記ソフトウェアは、ゲームソフトウェアである、請求項1から6のいずれか1項に記載の情報処理システム。
  8. 前記ブラウザは、Webブラウザであり、
    前記Webブラウザ上で動作するプログラミング言語に紐づいたボタン要素を前記表示領域の外側に表示させるボタン要素表示部と、
    前記Webブラウザ上での前記ボタン要素表示部の操作により生成されたイベント情報を、キーボードに設けられている所定のボタンの押下により生成されるイベント信号に変換するボタン情報変換部と、を有し、
    前記ボタン情報変換部により変換された前記イベント信号を、前記ソフトウェアに入力する入力部と、を有する、請求項1から7のいずれか1項に記載の情報処理システム。
  9. ユーザ端末と通信可能なコンピュータ上で実行され、前記ユーザ端末から遠隔操作されるソフトウェアの画像を、前記ユーザ端末に配信する情報処理方法であって、
    コンピュータが、
    前記ソフトウェアの実行により生成されるウィンドウの画像を取得する画像処理ステップと、
    前記画像処理ステップによって取得した画像を、前記ユーザ端末のブラウザの表示領域に表示させる画像配信ステップと、を実行することを含み、
    前記画像処理ステップにおいて、前記ソフトウェアによって規定されるウィンドウが複数存在する場合、前記コンピュータが、
    複数の前記ウィンドウのうち最もサイズの大きいウィンドウを主ウィンドウと判断し、
    前記主ウィンドウの領域を画像の取得領域に設定し、
    前記主ウィンドウ以外の副ウィンドウが、前記主ウィンドウの内側に位置するように、前記副ウィンドウの位置座標を変更し、
    前記副ウィンドウの前記位置座標の変更後に、前記取得領域内の前記主ウィンドウ及び前記副ウィンドウの画像を一画像として取得することを含む、情報処理方法。
  10. 請求項9に記載の情報処理方法をコンピュータに実行させるプログラム。
JP2019212658A 2019-11-25 2019-11-25 情報処理システム及び情報処理方法 Active JP6695530B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019212658A JP6695530B1 (ja) 2019-11-25 2019-11-25 情報処理システム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212658A JP6695530B1 (ja) 2019-11-25 2019-11-25 情報処理システム及び情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019154154A Division JP6624767B1 (ja) 2019-08-26 2019-08-26 情報処理システム及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020047005A Division JP2021034006A (ja) 2020-03-17 2020-03-17 情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP6695530B1 true JP6695530B1 (ja) 2020-05-20
JP2021033996A JP2021033996A (ja) 2021-03-01

Family

ID=70682416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212658A Active JP6695530B1 (ja) 2019-11-25 2019-11-25 情報処理システム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP6695530B1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274550A (ja) * 1996-04-04 1997-10-21 Canon Inc 画像表示方法及び装置
WO2012157014A1 (ja) * 2011-05-13 2012-11-22 三菱電機株式会社 遠隔操作通信装置およびナビゲーション装置
US8749489B2 (en) * 2012-05-25 2014-06-10 Nintendo Co., Ltd. Controller device, information processing system, and communication method
JP6029453B2 (ja) * 2012-12-21 2016-11-24 京セラ株式会社 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
JP5801282B2 (ja) * 2012-12-27 2015-10-28 株式会社東芝 電子機器、操作支援方法及びプログラム
JP6111846B2 (ja) * 2013-05-14 2017-04-12 コニカミノルタ株式会社 画像形成システム、遠隔操作装置およびプログラム
JP5928436B2 (ja) * 2013-11-01 2016-06-01 コニカミノルタ株式会社 遠隔制御装置、遠隔操作装置、画面送信制御方法、画面表示制御方法、画面送信制御プログラム、および画面表示制御プログラム
JP5846190B2 (ja) * 2013-12-17 2016-01-20 コニカミノルタ株式会社 携帯情報端末およびプログラム
JP6347769B2 (ja) * 2015-08-28 2018-06-27 株式会社ソニー・インタラクティブエンタテインメント イベント管理サーバー、情報処理システム、およびイベント参加管理方法

Also Published As

Publication number Publication date
JP2021033996A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
US8310445B2 (en) Remote-control system, remote-control apparatus, apparatus to be controlled, remote-control method, computer program, and storage medium
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
US8321810B2 (en) Configuring an adaptive input device with selected graphical images
US10877592B2 (en) Display control device, display control method, and display control system
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US20160092152A1 (en) Extended screen experience
EP3557384A1 (en) Device and method for providing dynamic haptic playback for an augmented or virtual reality environments
US11706476B2 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
JP2009517761A (ja) スクロールレートの変化の予測でユーザを支援する表示
US20230291955A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
KR20110134810A (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
WO2023155734A1 (zh) 播放方法和播放装置以及计算机可读存储介质
CN108815843B (zh) 虚拟摇杆的控制方法与装置
US20140317549A1 (en) Method for Controlling Touchscreen by Using Virtual Trackball
WO2021039680A1 (ja) 情報処理システム及び情報処理方法
JP6695530B1 (ja) 情報処理システム及び情報処理方法
JP2021034006A (ja) 情報処理システム及び情報処理方法
US20170237929A1 (en) Remote controller for providing a force input in a media system and method for operating the same
KR101491056B1 (ko) 터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 ui 지원을 위한 터치 스크린 단말 장치 및 마우스 ui 지원 방법
KR101506006B1 (ko) 터미널 환경의 서버 기반 컴퓨팅 시스템에서 동적 표시되는 마우스 ui 지원을 위한 터치 스크린 단말 장치 및 마우스 ui 지원 방법
KR102094478B1 (ko) 제어 패드를 이용하는 표시 제어 방법, 제어 패드를 이용하는 표시 제어 장치, 및 이를 실행하기 위한 컴퓨터 프로그램을 배포하는 서버
JP7085311B2 (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム
KR102086676B1 (ko) 유저 인터페이스를 통한 입력 처리 장치 및 방법
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법
CN117883767A (zh) 远控界面按键映射方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191125

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200317

R150 Certificate of patent or registration of utility model

Ref document number: 6695530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250