JP2024038804A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2024038804A JP2024038804A JP2022143097A JP2022143097A JP2024038804A JP 2024038804 A JP2024038804 A JP 2024038804A JP 2022143097 A JP2022143097 A JP 2022143097A JP 2022143097 A JP2022143097 A JP 2022143097A JP 2024038804 A JP2024038804 A JP 2024038804A
- Authority
- JP
- Japan
- Prior art keywords
- user operation
- virtual machine
- information processing
- processing device
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims description 77
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 52
- 238000009877 rendering Methods 0.000 claims description 8
- 230000001934 delay Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Abstract
【課題】ユーザに対する表示の遅延を低減する。【解決手段】クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段とを備える。【選択図】 図２
Description
本発明は、情報処理装置の制御方法及びプログラムに関する。
従来、ＨＴＭＬ（ｈｔｔｐｓ：／／ｈｔｍｌ．ｓｐｅｃ．ｗｈａｔｗｇ．ｏｒｇ）を用いて画面を描画する技術が知られている。ＨＴＭＬを処理するアプリケーションはブラウザと呼ばれ、ＨＴＭＬ仕様に従って描画を行う。
近年、クラウドサービス上でアプリを実行することが可能になり、ユーザの手元の機器からユーザの操作情報をクラウドサービス上のアプリに送信し、アプリの処理結果を機器が受信してユーザに表示することがおこなわれている。
クラウドブラウザは、クラウドサービス上で実行されるブラウザである。機器はユーザが指定したＵＲＬやユーザのタッチパネルディスプレイへの操作をクラウドブラウザへ送信し、クラウドブラウザから描画結果を受け取ってディスプレイに表示する。
しかし、機器とクラウドブラウザとは、ネットワーク通信を行うため、低速なネットワークにおいては処理が遅くなる。これに対して、特許文献１は、画面を構成するウィジェットの位置情報をあらかじめ受信し、カーソルがあるウィジェットに関しては更新に必要な情報を取得してクライアント側で更新を行うことを開示している。
しかしながら、特許文献１では、カーソルがウィジェットに入ってからウィジェットの更新に必要な情報をネットワーク通信で取得するため、低速なネットワークでは最初の更新に時間を要する。そのため、ユーザに対する表示に遅れが生じることがあるという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、ユーザに対する表示の遅延を低減するための技術を提供することを目的とする。
上記の目的を達成する本発明の一態様による情報処理装置は、
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする。
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする。
本発明によれば、ユーザに対する表示の遅延を低減することができる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
本実施形態では、機器上でユーザ操作の判定を行い、所定のユーザ操作であると判定された場合は、描画処理に関する情報をクラウドブラウザから取得することなく、描画処理を行う例を説明する。
＜機器の構成＞
図１は、本実施形態に係る機器（情報処理装置）の構成例を示す図である。機器１０１は、例えば、ＭＦＰ（複合機）、プリンタ、スキャナ等の情報処理装置である。機器１０１は、ＲＯＭ１０２と、ＲＡＭ１０３と、外部記憶部１０４と、入力部１０５と、表示部１０６と、ネットワーク接続インタフェース１０７と、ＣＰＵ１０８と、スキャナ部１０９とを備える。
図１は、本実施形態に係る機器（情報処理装置）の構成例を示す図である。機器１０１は、例えば、ＭＦＰ（複合機）、プリンタ、スキャナ等の情報処理装置である。機器１０１は、ＲＯＭ１０２と、ＲＡＭ１０３と、外部記憶部１０４と、入力部１０５と、表示部１０６と、ネットワーク接続インタフェース１０７と、ＣＰＵ１０８と、スキャナ部１０９とを備える。
ＣＰＵ１０８は、１以上のＣＰＵ、すなわち制御部であり、装置全体を制御する。ＲＯＭ１０２は、ＣＰＵの制御プログラムや各種固定データを格納する。ＲＡＭ１０３は、ＳＲＡＭ、ＤＲＡＭ等で構成され、プログラム制御変数等を格納する。また、各種設定パラメータ、各種ワーク用バッファもＲＡＭ１０３に格納される。外部記憶部１０４は、ハードディスク等で構成され、文書や画像などのファイルデータを格納する。
入力部１０５は、キーボード、タッチパネル等で構成され、オペレータは入力部１０５を用いて各種入力操作を行うことができる。表示部１０６は、ＬＣＤ、ＬＥＤ等であり、オペレータに各種情報を表示したり、通知を行ったりする。ネットワーク接続インタフェース１０７は、ネットワークに接続するためのインタフェースである。接続方法としてはＬＡＮ、ＵＳＢ等がある。スキャナ部１０９は、コンテンツのスキャンを行う。
図１に示した構成は、本実施形態に係る機器１０１の一部を示したものであり、装置によっては、この他、コピー部、プリンタ部、モデム、スピーカ等が装置の構成に加わる場合がある。また、ソフトウェア等で本実施形態を実現する場合等には、各構成要素を必ずしも装置内に持っていなくても良い。
＜仮想マシンの構成＞
図４は、本実施形態に係るクラウドブラウザとして機能する仮想マシンの構成例を示す図である。仮想マシン４０１は、クラウドサービス上で実行される。仮想マシン４０１は、ＲＯＭ４０２と、ＲＡＭ４０３と、外部記憶部４０４と、入力部４０５と、表示部４０６と、ネットワーク接続インタフェース４０７と、ＣＰＵ４０８とを備える。
図４は、本実施形態に係るクラウドブラウザとして機能する仮想マシンの構成例を示す図である。仮想マシン４０１は、クラウドサービス上で実行される。仮想マシン４０１は、ＲＯＭ４０２と、ＲＡＭ４０３と、外部記憶部４０４と、入力部４０５と、表示部４０６と、ネットワーク接続インタフェース４０７と、ＣＰＵ４０８とを備える。
クラウドブラウザは、仮想マシン４０１上で実行される。仮想マシン４０１は、ネットワーク接続インタフェース４０７を介して指定されるＵＲＬに基づいてＨＴＭＬデータを取得し、当該ＨＴＭＬデータを処理した結果を描画結果としてＲＡＭ４０３に出力する。
ＣＰＵ４０８は、、１以上のＣＰＵ、すなわち制御部であり、装置全体を制御する。ＲＯＭ４０２は、ＣＰＵの制御プログラムや各種固定データを格納する。ＲＡＭ４０３は、ＳＲＡＭ、ＤＲＡＭ等で構成され、プログラム制御変数等を格納する。また、各種設定パラメータ、各種ワーク用バッファもＲＡＭ４０３に格納される。
外部記憶部４０４は、ハードディスク等で構成され、文書や画像などのファイルデータを格納する。入力部４０５は、キーボード、タッチパネル等で構成され、オペレータは入力部１０５を用いて各種入力操作を行うことができる。表示部４０６は、ＬＣＤ、ＬＥＤ等であり、オペレータに各種情報を表示したり、通知を行ったりする。ネットワーク接続インタフェース４０７は、ネットワークに接続するためのインタフェースである。接続方法としてはＬＡＮ、ＵＳＢ等がある。
図４に示した構成は、本実施形態に係る仮想マシン４０１の一部を示したものであり、装置によっては、この他、コピー部、プリンタ部、モデム、スピーカ等が装置の構成に加わる場合がある。また、ソフトウェア等で本実施形態を実現する場合等には、各構成要素を必ずしも装置内に持っていなくても良い。
＜処理＞
続いて、図２のシーケンス図を参照して、本実施形態に係る機器及び仮想マシンを含む情報処理システムで実施される処理の手順を説明する。
続いて、図２のシーケンス図を参照して、本実施形態に係る機器及び仮想マシンを含む情報処理システムで実施される処理の手順を説明する。
まずユーザは、機器１０１が描画したＵＩを介して操作を行う。操作中にユーザが機器１０１上の「ブラウザ」ボタンを押すと、ＣＰＵ１０８は処理を開始する（Ｓ２０１）。具体的にはクラウドブラウザを起動する。
ＣＰＵ１０８は、ネットワーク接続インタフェース１０７を介して、クラウドブラウザとして機能する仮想マシン４０１に対して、初期設定されたＵＲＬを送信する（Ｓ２０２）。仮想マシン４０１は、クラウドサービス上のＵＲＬに対応するＨＴＭＬデータを取得する（Ｓ２０３）。仮想マシン４０１は、ＨＴＭＬデータを木構造のＤＯＭ形式（ｈｔｔｐｓ：／／ｄｏｍ．ｓｐｅｃ．ｗｈａｔｗｇ．ｏｒｇ／）に変換する。
そして、仮想マシン４０１は、木構造に沿って要素を解析する（Ｓ２０４）。ここで、図７のフローチャートを参照して解析処理の動作を説明する。仮想マシン４０１は、要素の属性を取得する（Ｓ７０１）。本実施形態では、要素の属性として、ｄｒａｇｇａｂｌｅ属性を取得する。
仮想マシン４０１は、ｄｒａｇｇａｂｌｅ属性がｔｒｕｅかどうかを判定する（Ｓ７０２）。ｔｒｕｅである場合、Ｓ７０３へ進む。一方、ｔｒｕｅではない場合、Ｓ７０６へ進む。ＨＴＭＬでは、ｄｒａｇｇａｂｌｅ属性がｔｒｕｅの要素がドラッグ可能な要素である。
仮想マシン４０１は、ドラッグ可能な要素が描画結果に対して占める領域の位置および幅と高さを計算することにより、ＨＴＭＬデータを解析した解析情報として、領域情報を計算する（Ｓ７０３）。領域情報は、画面上でユーザ操作を受け付ける領域を示す領域情報である。より具体的には、所定の属性（ここではｄｒａｇｇａｂｌｅ属性）を有する要素（ＨＴＭＬ要素）を含む領域を特定する情報である。また、領域情報は、自由曲線で記述されてもよい。仮想マシン４０１は、領域情報をＲＡＭ４０３に保存する（Ｓ７０４）。領域は、ｄｒａｇｇａｂｌｅ属性がｔｒｕｅの要素ごとに保存される。
仮想マシン４０１は、解析した要素が最後の要素であるかどうかを判定する（Ｓ７０５）。最後の要素である場合、図７の一連の処理を終了する。最後の要素ではない場合、Ｓ７０６へ進む。仮想マシン４０１は、次の要素を取得する（Ｓ７０６）。その後、Ｓ７０１に戻って、一連の処理を繰り返す。
図７の処理の後、図２に戻り、仮想マシン４０１は、ＨＴＭＬデータを描画する（Ｓ２０５）。本実施形態でのＨＴＭＬデータによれば、図３に示すように、矩形に配置されたハート型画像３０１と、空白の矩形３０２とが並んでいる。ハート型画像は、＜ｉｍｇ＞要素で記述されており、＜ｉｍｇ＞要素では、デフォルトでｄｒａｇｇａｂｌｅ属性がｔｒｕｅである。ＨＴＭＬに含まれたＪａｖａＳｃｒｉｐｔによって、ハート型画像３０１を空白の矩形３０２にドロップすると矩形内に画像が移動するようになっている。ハート型画像３０１を含む最小矩形が領域情報に相当する。本実施形態では、描画結果のフォーマットはビットマップである。ただし、フォーマットはＪＰＥＧであってもよいし、ＰＮＧであってもよい。
仮想マシン４０１は、描画結果と、解析情報（領域情報）とを機器１０１へ送信する（Ｓ２０６）。領域情報が複数ある場合は、全ての領域情報を送信する。機器１０１は、ネットワーク接続インタフェース１０７を介して受信した描画結果と領域情報とをＲＡＭ１０３に保存する。
そして、ＣＰＵ１０８は、描画結果を表示部１０６に表示する（Ｓ２０７）。
続いて、ユーザは、タッチパネルとして機能する表示部１０６を長押しする（Ｓ２０８）。機器１０１は、ユーザの操作に応じて、所定の処理（図８）を実行する（Ｓ２０９）。
＜Ｓ２０９の機器の処理＞
ここで、図８のフローチャートを参照して、機器１０１が実施するＳ２０９の処理の詳細を説明する。入力部１０５から、ユーザがタッチした位置および時間の情報を取得できる。ＣＰＵ１０８は、ＲＡＭ１０３から読み出した領域情報に基づいて、ユーザが領域内を長押ししているかどうかを判定する（Ｓ８０１）。領域内を長押ししている場合、Ｓ８０２へ進む。一方、領域内を長押ししていない場合、Ｓ８０６へ進む。
ここで、図８のフローチャートを参照して、機器１０１が実施するＳ２０９の処理の詳細を説明する。入力部１０５から、ユーザがタッチした位置および時間の情報を取得できる。ＣＰＵ１０８は、ＲＡＭ１０３から読み出した領域情報に基づいて、ユーザが領域内を長押ししているかどうかを判定する（Ｓ８０１）。領域内を長押ししている場合、Ｓ８０２へ進む。一方、領域内を長押ししていない場合、Ｓ８０６へ進む。
本実施形態では、ユーザの指が２００ｍｓより長くタッチパネルの同じ位置に触れている場合は長押し操作と判定する。ユーザが長押しした位置及び時間は、ＲＡＭ１０３に保存される。以降、Ｓ２１６までは、ユーザ操作に応じた描画処理に関する情報を仮想マシン４０１から取得することなく（Ｓ２０６やＳ２２１のように描画結果及び領域情報を仮想マシン４０１から取得することなく）、機器１０１側で（すなわちオフラインで）処理を行う。
ＣＰＵ１０８は、ＲＡＭ１０３から描画結果を読み出して、領域部分をコピーする（Ｓ８０２）。ＣＰＵ１０８は、コピー部分を半透明化し、図５に示すようなサムネイル画像５０１を生成する（Ｓ８０３）。サムネイル画像５０１は、描画結果に依存しない、ＲＡＭ１０３に保存されたアイコン画像であってもよい。
ＣＰＵ１０８は、長押しの位置に基づいて、描画結果にサムネイル画像５０１をさらに描画し、第２の描画結果を生成して保存する（Ｓ８０４）。第２の描画結果は例えば図５のようになる。ＣＰＵ１０８は、第２の描画結果をＲＡＭ１０３に保存する（Ｓ８０５）。
一方、Ｓ８０１で領域内の長押し操作ではないと判定された場合は、ＣＰＵ１０８は、タッチイベントの情報を仮想マシン４０１へ送信する（Ｓ８０６）。タッチイベントの情報には、位置及び時間の情報が含まれる。以上で図８の一連の処理が終了する。
図２に戻り、ＣＰＵ１０８は、第２の描画結果を表示部１０６に表示する（Ｓ２１０）。続いて、ユーザはドラッグ操作を行う（Ｓ２１１）。機器１０１は、ユーザの操作に応じて、所定の処理（図９）を実行する（Ｓ２１２）。
＜Ｓ２１２の機器の処理＞
ここで、図９のフローチャートを参照して、機器１０１が実施するＳ２１２の処理の詳細を説明する。ＣＰＵ１０８は、入力部１０５からユーザの指が離れたかどうかを判定する（Ｓ９０１）。離れていると判定された場合、Ｓ９０２へ進む。一方、離れていないと判定された場合、Ｓ９０５へ進む。
ここで、図９のフローチャートを参照して、機器１０１が実施するＳ２１２の処理の詳細を説明する。ＣＰＵ１０８は、入力部１０５からユーザの指が離れたかどうかを判定する（Ｓ９０１）。離れていると判定された場合、Ｓ９０２へ進む。一方、離れていないと判定された場合、Ｓ９０５へ進む。
ＣＰＵ１０８は、ユーザの指が離れていなければドラッグ操作であると判定する（Ｓ９０５）。ユーザの指の位置と時間はＲＡＭ１０３に保存してもよい。
ＣＰＵ１０８は、ユーザの指にサムネイル画像５０１が追従するように、タッチしている位置に基づいてサムネイル画像５０１を描画し直し、第３の描画結果としてＲＡＭ１０３に保存する（Ｓ９０６）。ユーザがサムネイル画像５０１を空白の矩形３０２に向けてドラッグしているとき、第３の描画結果は、例えば図１０のようになる。
ＣＰＵ１０８は、指が離れていればドロップ操作と判定する（Ｓ９０２）。ユーザが指を離した位置及び時間は、ＲＡＭ１０３に保存される。以上で図９の一連の処理が終了する。Ｓ２１２ではドラッグ操作が行われているので、Ｓ９０１、Ｓ９０３、Ｓ９０４の処理が行われることになる。
図２に戻り、ＣＰＵ１０８は、第３の描画結果を表示部１０６に表示する（Ｓ２１３）。次に、ユーザはサムネイル画像５０１を空白の矩形３０２にドロップ操作する（Ｓ２１４）。機器１０１は、ユーザの操作に応じて、所定の処理（図９）を再び実行する（Ｓ２１５）。機器１０１が実施するＳ２１５の処理の詳細は、図９のフローチャートを参照して説明した処理である。Ｓ２１５ではドラッグ操作が行われているので、Ｓ９０１、Ｓ９０２の処理が行われることになる。ＣＰＵ１０８は、描画結果を表示部１０６に表示する（Ｓ２１６）。
ＣＰＵ１０８は、ネットワーク接続インタフェース１０７を介して、仮想マシン４０１へドラッグ開始イベント及びドラッグ終了イベントを送信する（Ｓ２１７）。ドラッグ開始イベントには、ユーザが長押しした位置及び時間の情報が含まれる。ドラッグ終了イベントには、ユーザが指を離した位置及び時間の情報が含まれる。また、ドラッグ中イベントを送信してもよい。ドラッグ中イベントには、ユーザが指を動かした位置及び時間の情報が含まれる。
仮想マシン４０１は、機器１０１から受信したドラッグ開始イベントとドラッグ終了イベントとを処理してＤＯＭに反映する（Ｓ２１８）。仮想マシン４０１は、木構造に沿って要素を解析する（Ｓ２１９）。Ｓ２１９の処理は図７のフローチャートを参照して説明した処理と同じである。仮想マシン４０１は、ＨＴＭＬデータを描画する（Ｓ２２０）。描画結果は、例えば空白の矩形６０１とハート型画像６０２が並んだ図６のようになる。
仮想マシン４０１は、描画結果及び領域情報を機器１０１へ送信する（Ｓ２２１）。機器１０１は、描画結果及び領域情報をＲＡＭ１０３に保存する。さらに、ＣＰＵ１０８は、受信した描画結果を表示部１０６に表示する（Ｓ２２２）。以上で図２の処理が終了する。
以上説明したように、本実施形態では、機器における所定の操作（例えばドラッグ＆ドロップ操作）時には、クラウドブラウザとして機能する仮想マシンから描画処理に関する情報を受信することなく、描画処理を、例えばアニメーションの動作（サムネイル画像をユーザの指に追従させるドラッグ動作）を、機器側で実行する。
これにより、描画処理、例えばアニメーションの動作は、機器側で完結するので通信速度の影響を受けず、ユーザに対する表示の遅延を低減することができる。従って、ＵＩを高速化することが可能となる。
[変形例]
上述の実施形態では、対象とする所定のユーザ操作として、ドラッグ操作、ドロップ操作を例に挙げて説明を行った（特にＳ２０７～Ｓ２１６）。ただし、ユーザ操作の例はこれらに限定されず、例えばピンチイン操作、ピンチアウト操作であってもよい。
上述の実施形態では、対象とする所定のユーザ操作として、ドラッグ操作、ドロップ操作を例に挙げて説明を行った（特にＳ２０７～Ｓ２１６）。ただし、ユーザ操作の例はこれらに限定されず、例えばピンチイン操作、ピンチアウト操作であってもよい。
ここでピンチイン操作とは、画面上で２本の指をつまむように動かす操作である。一方、ピンチアウト操作とは、画面上で２本の指を開く操作である。通常、ピンチイン操作により、表示の縮小（表示範囲の拡大）を行うことができ、ピンチアウト操作により、表示の拡大（表示範囲の縮小）を行うことができる。
ピンチイン操作又はピンチアウト操作を対象とする場合、描画された領域全体が拡大又は縮小されることになるため、図７の処理は不要であり、機器１０１は、Ｓ２０６で受信した描画結果を使用して、ピンチイン操作又はピンチアウト操作に応じた拡大縮小を実行すればよい。ピンチイン操作又はピンチアウト操作の場合も、クラウドブラウザとして機能する仮想マシン４０１との通信は不要である。従って、ＵＩを高速化することが可能となる。
本明細書の開示は、以下の情報処理装置、情報処理装置の制御方法及びプログラムを含む。
（項目１）
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。
（項目２）
前記解析情報は、前記画面上で前記ユーザ操作を受け付ける領域を示す領域情報であることを特徴とする項目１に記載の情報処理装置。
前記解析情報は、前記画面上で前記ユーザ操作を受け付ける領域を示す領域情報であることを特徴とする項目１に記載の情報処理装置。
（項目３）
前記領域情報は、所定の属性を有するＨＴＭＬ要素を含む領域を示すことを特徴とする項目２に記載の情報処理装置。
前記領域情報は、所定の属性を有するＨＴＭＬ要素を含む領域を示すことを特徴とする項目２に記載の情報処理装置。
（項目４）
前記所定のユーザ操作は、ドラッグ操作又はドロップ操作を含むことを特徴とする項目１乃至３のいずれか１項目に記載の情報処理装置。
前記所定のユーザ操作は、ドラッグ操作又はドロップ操作を含むことを特徴とする項目１乃至３のいずれか１項目に記載の情報処理装置。
（項目５）
前記描画手段は、前記ユーザ操作に応じたアニメーションを描画することを特徴とする項目１乃至４のいずれか１項目に記載の情報処理装置。
前記描画手段は、前記ユーザ操作に応じたアニメーションを描画することを特徴とする項目１乃至４のいずれか１項目に記載の情報処理装置。
（項目６）
前記取得手段は、前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンからさらに取得し、
前記情報処理装置は、
前記解析情報を使用して、前記描画結果からサムネイル画像を生成する生成手段をさらに備え、
前記描画手段は、前記サムネイル画像を描画することを特徴とする項目１乃至５のいずれか１項目に記載の情報処理装置。
前記取得手段は、前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンからさらに取得し、
前記情報処理装置は、
前記解析情報を使用して、前記描画結果からサムネイル画像を生成する生成手段をさらに備え、
前記描画手段は、前記サムネイル画像を描画することを特徴とする項目１乃至５のいずれか１項目に記載の情報処理装置。
（項目７）
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得手段と、
前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得手段と、
前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。
（項目８）
前記所定のユーザ操作は、ピンチイン操作又はピンチアウト操作であることを特徴とする項目７に記載の情報処理装置。
前記所定のユーザ操作は、ピンチイン操作又はピンチアウト操作であることを特徴とする項目７に記載の情報処理装置。
（項目９）
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得工程と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得工程と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。
（項目１０）
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得工程と、
前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。
クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得工程と、
前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。
（項目１１）
項目９又は１０に記載の情報処理装置の制御方法をコンピュータに実行させるためのプログラム。
項目９又は１０に記載の情報処理装置の制御方法をコンピュータに実行させるためのプログラム。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１０１：機器、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：外部記憶部、１０５：入力部、１０６：表示部、１０７：ネットワーク接続インタフェース、１０８：ＣＰＵ、１０９：スキャナ、４０１：仮想マシン、４０２：ＲＯＭ、４０３：ＲＡＭ、４０４：外部記憶部、４０５：入力部、４０６：表示部、４０７：ネットワーク接続インタフェース、４０８：ＣＰＵ
Claims (11)
- クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得手段と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。 - 前記解析情報は、前記画面上で前記ユーザ操作を受け付ける領域を示す領域情報であることを特徴とする請求項１に記載の情報処理装置。
- 前記領域情報は、所定の属性を有するＨＴＭＬ要素を含む領域を示すことを特徴とする請求項２に記載の情報処理装置。
- 前記所定のユーザ操作は、ドラッグ操作又はドロップ操作を含むことを特徴とする請求項１に記載の情報処理装置。
- 前記描画手段は、前記ユーザ操作に応じたアニメーションを描画することを特徴とする請求項１に記載の情報処理装置。
- 前記取得手段は、前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンからさらに取得し、
前記情報処理装置は、
前記解析情報を使用して、前記描画結果からサムネイル画像を生成する生成手段をさらに備え、
前記描画手段は、前記サムネイル画像を描画することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。 - クラウドブラウザとして機能する仮想マシンと通信する情報処理装置であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得手段と、
前記情報処理装置の画面に対するユーザ操作を判定する判定手段と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画手段と、
を備えることを特徴とする情報処理装置。 - 前記所定のユーザ操作は、ピンチイン操作又はピンチアウト操作であることを特徴とする請求項７に記載の情報処理装置。
- クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを解析した解析情報を、前記仮想マシンから取得する取得工程と、
前記解析情報を用いて、前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。 - クラウドブラウザとして機能する仮想マシンと通信する情報処理装置の制御方法であって、
前記仮想マシンがＨＴＭＬデータを描画した描画結果を、前記仮想マシンから取得する取得工程と、
前記情報処理装置の画面に対するユーザ操作を判定する判定工程と、
前記ユーザ操作が所定のユーザ操作であると判定された場合、前記ユーザ操作に応じた描画処理に関する情報を前記仮想マシンから取得することなく、前記描画結果を使用して前記ユーザ操作に対応するイベントに応じた描画処理を実行する描画工程と、
を有することを特徴とする情報処理装置の制御方法。 - 請求項９又は１０に記載の情報処理装置の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022143097A JP2024038804A (ja) | 2022-09-08 | 2022-09-08 | 情報処理装置、情報処理装置の制御方法及びプログラム |
| US18/363,038 US20240089314A1 (en) | 2022-09-08 | 2023-08-01 | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022143097A JP2024038804A (ja) | 2022-09-08 | 2022-09-08 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024038804A true JP2024038804A (ja) | 2024-03-21 |
Family
ID=90140856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022143097A Pending JP2024038804A (ja) | 2022-09-08 | 2022-09-08 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240089314A1 (ja) |
| JP (1) | JP2024038804A (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232250B2 (en) * | 2013-05-15 | 2022-01-25 | Microsoft Technology Licensing, Llc | Enhanced links in curation and collaboration applications |
| EP3661122A3 (en) * | 2014-05-14 | 2020-07-29 | Pagecloud Inc. | Methods and systems for web content generation |
| US10002115B1 (en) * | 2014-09-29 | 2018-06-19 | Amazon Technologies, Inc. | Hybrid rendering of a web page |
| US20180253500A1 (en) * | 2017-03-03 | 2018-09-06 | Dell Products, Lp | Visual Mapping of Device Alerts |
| US10983810B2 (en) * | 2017-04-24 | 2021-04-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Implementing web browser in virtual machine |
| CN110324671B (zh) * | 2018-03-30 | 2021-06-08 | 中兴通讯股份有限公司 | 网页视频播放方法及装置、电子设备及存储介质 |
-
2022
- 2022-09-08 JP JP2022143097A patent/JP2024038804A/ja active Pending
-
2023
- 2023-08-01 US US18/363,038 patent/US20240089314A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240089314A1 (en) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4916237B2 (ja) | 画像表示装置、画像表示方法、その方法をコンピュータに実行させるプログラム、および画像表示システム | |
| JP5676942B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5578975B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
| US9843691B2 (en) | Image display device, image display system, image display method, and computer-readable storage medium for computer program | |
| US11675483B2 (en) | Client device, control method, and storage medium for smoothly exchanging the display of images on a device | |
| JP6003832B2 (ja) | 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム | |
| WO2013121770A1 (en) | Image processing apparatus, method for controlling the same, and storage medium | |
| JP6155835B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2024038804A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| JP6745604B2 (ja) | 情報処理装置およびその制御方法、並びにプログラム | |
| JP2015121942A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US20170277370A1 (en) | Information processing apparatus, non-transitory computer readable medium, information processing method | |
| US20170024065A1 (en) | Information processing apparatus and event management method | |
| US11106399B2 (en) | Printing control method with printing target data generation, storage medium and information processing apparatus | |
| JP7134814B2 (ja) | システム、ページデータ出力方法、及びプログラム | |
| JP2023184190A (ja) | 画像生成システム、その動作方法およびプログラム | |
| CN112306428A (zh) | 信息处理装置、信息处理方法以及计算机可读介质 | |
| US20230409660A1 (en) | Image generation system, communication apparatus, methods of operating image generation system and communication apparatus, and storage medium | |
| JP2019020954A (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
| US20240153180A1 (en) | Image generation system, communication apparatus, control method, and non-transitory computer-readable storage medium | |
| US10860267B2 (en) | Information processing apparatus that sets print settings, method of controlling the same, and non-transitory computer-readable storage medium | |
| US20230409659A1 (en) | Information processing system, image generation system, communication terminal, information processing method, or storage medium | |
| JP6604399B2 (ja) | 画像形成装置、情報処理方法、画像形成システム、およびプログラム | |
| US10848630B2 (en) | Information processing apparatus that selects a threshold for determining a touch input operation based on a display size of content and non-transitory computer-readable storage | |
| JP2015153118A (ja) | 情報処理方法及びプログラム |