JP6964781B2 - Event transmitter and event transmission method - Google Patents
Event transmitter and event transmission method Download PDFInfo
- Publication number
- JP6964781B2 JP6964781B2 JP2020535417A JP2020535417A JP6964781B2 JP 6964781 B2 JP6964781 B2 JP 6964781B2 JP 2020535417 A JP2020535417 A JP 2020535417A JP 2020535417 A JP2020535417 A JP 2020535417A JP 6964781 B2 JP6964781 B2 JP 6964781B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- event
- input
- image
- event transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 255
- 238000000034 method Methods 0.000 title claims description 38
- 230000010365 information processing Effects 0.000 claims description 46
- 238000004891 communication Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、イベント送信装置、情報処理装置、情報処理システム、およびイベント送信方法に関する。 The present invention relates to an event transmission device, an information processing device, an information processing system, and an event transmission method.
ハイパーバイザ上で動作する複数の仮想マシンを搭載するシステムは、その表示装置に各仮想マシンが描画した画像を重畳して表示する。表示装置が入力装置としてタッチパネルを有する場合、タッチパネルが受け付ける入力情報はタッチ座標のみであるため、システムはその入力情報に対応する仮想マシンを認識することはできない。 A system equipped with a plurality of virtual machines operating on a hypervisor superimposes and displays an image drawn by each virtual machine on the display device. When the display device has a touch panel as an input device, the system cannot recognize the virtual machine corresponding to the input information because the input information received by the touch panel is only the touch coordinates.
そこで、システムが適切な仮想マシンに入力情報を送信するために、以下の2つの方法が考えられる。その1つの方法においては、システムは入力情報を全ての仮想マシンに一斉に配信する。もう1つの方法においては、システムは予め定められた順序に従い各仮想マシンに順次入力情報を送信する。例えば、システムはまず一の仮想マシンに入力情報を送信する。その入力情報を受信した一の仮想マシンが入力情報を使用しない場合、システムは別の仮想マシンに入力情報を送信する。 Therefore, the following two methods can be considered for the system to send the input information to the appropriate virtual machine. In one method, the system distributes the input information to all virtual machines at once. In another method, the system sequentially sends input information to each virtual machine in a predetermined order. For example, the system first sends input information to a virtual machine. If one virtual machine that receives the input information does not use the input information, the system sends the input information to another virtual machine.
前者の方法では、ハイパーバイザと各仮想マシンとの間で、無駄な通信が発生する。また、後者の方法では、入力情報が入力されてから、その入力情報を必要とする仮想マシンがその入力情報を受信するまでに時間を要する。 In the former method, useless communication occurs between the hypervisor and each virtual machine. Further, in the latter method, it takes time from the input of the input information until the virtual machine requiring the input information receives the input information.
特許文献1には、ハイパーバイザ上に複数の仮想マシンが搭載された機能提供装置が提案されている。この機能提供装置においては、メニュー管理機能が実行されるOS(オペレーションシステム)が搭載された1つの仮想マシンに、メニュー画面が表示されている。メニュー画面において、特定の機能に対応した特定のボタンが押下された場合、仮想マシンのメニュー管理機能部は、その特定の機能を制御する仮想マシンを呼び出す。そのため、選択された機能を実行する仮想マシンに処理依頼が到達するまでに時間を要する。また、メニュー画面における入力位置と、特定の機能を実行する仮想マシンとの対応関係が、予め定められている必要がある。すなわち、機能提供装置は、任意の表示画面に対して、上記のメニュー管理機能と同様の機能を実行できるとは限らない。
本発明は、以上のような課題を解決するためになされたものであり、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供を目的とする。 The present invention has been made to solve the above problems, and provides an event transmission device that efficiently transmits an input event to one of a plurality of virtual machines operating on a hypervisor. The purpose.
本発明に係るイベント送信装置は、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信する。イベント送信装置は、入力部とイベント送信部と重畳部と記憶部とを含む。入力部は、複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける。イベント送信部は、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシンのうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する。重畳部は、複数の描画レイヤを重畳し、重畳画像と対応関係とを生成する。重畳部は、重畳画像を生成する度に、重畳画像に対応する対応関係を生成する。記憶部は、重畳部によって互いに異なるタイミングで生成された複数の対応関係を記憶する。イベント送信部は、予め定められた選択条件に基づき、複数の対応関係から送信先の仮想マシンを選択するための一の対応関係を選択する。
The event transmission device according to the present invention transmits an input event to one of a plurality of virtual machines operating on the hypervisor. The event transmission device includes an input unit, an event transmission unit, a superimposition unit, and a storage unit. The input unit receives an input event in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines are input to the superimposed images superimposed on each other. Event transmission unit, based on the correspondence relationship between one drawing layer on which the image at a plurality of positions and Dear location in the superimposed image is derived from, among the plurality of virtual machines, one corresponding to the input position of the input events in the superimposed image the destination of the virtual machine is a virtual machine, that sends input events. The superimposition unit superimposes a plurality of drawing layers to generate a superimposition image and a correspondence relationship. The superimposing unit generates a correspondence relationship corresponding to the superimposing image each time the superimposing image is generated. The storage unit stores a plurality of correspondences generated at different timings by the superimposing unit. The event transmission unit selects one correspondence for selecting a destination virtual machine from a plurality of correspondences based on a predetermined selection condition.
本発明によれば、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供が可能である。 According to the present invention, it is possible to provide an event transmission device that efficiently transmits an input event to one of a plurality of virtual machines operating on a hypervisor.
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。 Objectives, features, aspects, and advantages of the present invention will become more apparent with the following detailed description and accompanying drawings.
<実施の形態1>
図1は、実施の形態1におけるイベント送信装置100の構成を示すブロック図である。また、図1には、イベント送信装置100と関連して動作する複数の仮想マシン30が示されている。これら複数の仮想マシン30は、ハイパーバイザ上で動作する。<
FIG. 1 is a block diagram showing the configuration of the
イベント送信装置100は、入力部10およびイベント送信部20を有する。
The
入力部10は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける。入力部10は、例えば、ディスプレイに表示される重畳画像に基づき、タッチパネルに入力される入力イベントを受け付ける。
The
イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する。
The
図2は、イベント送信装置100が有する処理回路95の一例を示す図である。入力部10およびイベント送信部20の各機能は、処理回路95により実現される。すなわち、処理回路95は、入力部10およびイベント送信部20を有する。
FIG. 2 is a diagram showing an example of a
処理回路95が専用のハードウェアである場合、処理回路95は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせた回路等である。入力部10およびイベント送信部20の各機能は、複数の処理回路により個別に実現されてもよいし、1つの処理回路によりまとめて実現されてもよい。
When the
図3は、イベント送信装置100が有する処理回路の別の一例を示す図である。処理回路は、プロセッサ96とメモリ97とを有する。プロセッサ96がメモリ97に格納されるプログラムを実行することにより、入力部10およびイベント送信部20の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ96により実行されることにより各機能が実現される。すなわち、イベント送信装置100は、プログラムを格納するメモリ97と、そのプログラムを実行するプロセッサ96とを有する。
FIG. 3 is a diagram showing another example of the processing circuit included in the
プログラムには、イベント送信装置100が、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する機能が記述されている。また、プログラムは、入力部10およびイベント送信部20の手順または方法をコンピュータに実行させるものである。
In the program, the
プロセッサ96は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。メモリ97は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の、不揮発性または揮発性の半導体メモリである。または、メモリ97は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、今後使用されるあらゆる記憶媒体であってもよい。
The
上述した入力部10およびイベント送信部20の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。
Some of the functions of the
図4は、実施の形態1におけるイベント送信装置100の動作およびイベント送信方法を示すフローチャートである。
FIG. 4 is a flowchart showing the operation of the
ステップS1にて、入力部10は、重畳画像に対して入力される入力イベントを受け付ける。
In step S1, the
ステップS2にて、イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。
In step S2, the
以上をまとめると、実施の形態1におけるイベント送信装置100は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する。イベント送信装置100は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける入力部10と、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信するイベント送信部20と、を含む。
Summarizing the above, the
以上の構成により、イベント送信装置100は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信装置100は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。
With the above configuration, the
以上をまとめると、実施の形態1におけるイベント送信方法は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する方法である。イベント送信方法は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。
Summarizing the above, the event transmission method in the first embodiment is a method of transmitting an input event to one of a plurality of
以上の構成により、イベント送信方法は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信方法は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。
With the above configuration, the event transmission method can efficiently transmit the input event to the destination virtual machine operating on the hypervisor. The event transmission method reduces the total amount of communication between the hypervisor and each
<実施の形態2>
実施の形態2におけるイベント送信装置およびイベント送信方法を説明する。実施の形態2は、実施の形態1の下位概念である。実施の形態2におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1と同様の構成および動作については説明を省略する。<
The event transmission device and the event transmission method according to the second embodiment will be described. The second embodiment is a subordinate concept of the first embodiment. The event transmission device according to the second embodiment includes each configuration of the
図5は、実施の形態2におけるイベント送信装置101の構成を示すブロック図である。また、図5には、イベント送信装置101と関連して動作する装置として、ディスプレイ110およびタッチパネル120が図示されている。イベント送信装置101は、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、イベント送信部20、および複数の仮想マシン30を有する。
FIG. 5 is a block diagram showing the configuration of the
複数の仮想マシン30は、実施の形態2において、第1仮想マシン301から第N仮想マシン30Nを含む。各仮想マシンは、ハイパーバイザ上で動作する。
The plurality of
重畳部50は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤを重畳し、重畳画像を生成する。その際、重畳部50は、まず各仮想マシン30によって描画された画像を取得する。重畳部50は、レイヤ構成関係を参照して、その画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。重畳部50は、各描画レイヤの画像を重畳し、重畳画像を生成する。図6は、実施の形態2におけるレイヤ構成関係の一例を示す図である。ここでは、レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンとが対応づけられたテーブルである。使用仮想マシンとは、描画レイヤ番号の欄に示された描画レイヤに書き込まれるべき画像が由来する仮想マシン30のことである。例えば、描画レイヤ番号「1」で示される描画レイヤには、第1仮想マシン301によって描画される画像が書き込まれる。または、例えば、描画レイヤ番号「2」で示される描画レイヤには、第2仮想マシン302によって描画される画像が書き込まれる。
The superimposing
図7および図8は、実施の形態2における描画レイヤ2および重畳画像5の一例を示す図である。図7および図8は、説明を簡略化するため、2つの描画レイヤ2およびその2つの描画レイヤ2が重畳された1つの重畳画像5を示している。2つの描画レイヤ2は、図6における描画レイヤ番号「1」に対応する第1描画レイヤ2Aおよび描画レイヤ番号「2」に対応する第2描画レイヤ2Bからなる。第1描画レイヤ2Aは、第2描画レイヤ2Bよりも上位に位置する。
7 and 8 are diagrams showing an example of the
図7において、第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。その第1仮想マシン301は、第1領域3に、ユーザによる操作を受け付ける領域であるボタン、ユーザに対するメッセージもしくは画面内のデザイン等(いずれも図示せず)を描画している。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2仮想マシン302は、第2領域4に、ユーザによる操作を受け付けるボタン、ユーザに対するメッセージまたは画面内のデザイン等(いずれも図示せず)を描画している。第2領域4以外の領域は透明である。重畳画像5は、第1描画レイヤ2Aと第2描画レイヤ2Bとが互いに重畳されている。重畳画像5は、それぞれの描画レイヤ2に由来する第1領域3と第2領域4とを含む。
In FIG. 7, the
図8においても、同様である。第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2領域4以外の領域は透明である。重畳画像5において、第1描画レイヤ2Aが透明である領域には、第2描画レイヤ2Bの第2領域4が描画されている。第1領域3と第2領域4とが重なる領域には、第1描画レイヤ2Aにおける第1領域3が描画されている。
The same applies to FIG. The
また、実施の形態2において、重畳画像5および各描画レイヤ2は、複数のピクセルを有する。重畳画像5のピクセル数と各描画レイヤ2のピクセル数とは同じである。重畳画像5は、複数の描画レイヤ2が複数のピクセルごとに重畳されている。
Further, in the second embodiment, the
また、各描画レイヤ2における各ピクセルは、色情報を示すRGB値に加え、透明度の情報を示すアルファチャネルを有する。アルファチャネルは、ここでは、α値で示される。例えば、一のピクセルのα値が1の場合、そのピクセルは不透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色が描画される。または、例えば、ピクセルのα値が0の場合、そのピクセルは透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色は描画されない。図7および図8において、第1領域3と第2領域4のα値はともに1であり、透明な領域のα値はともに0である。重畳部50は、その透明度情報(α値)と、予め定められた透明度に関する閾値とに基づいて、重畳画像5を生成してもよい。閾値が適切に設定されることで、重畳部50は、2以上の描画レイヤ2が半透明な状態で重畳された重畳画像5の生成が可能である。
Further, each pixel in each
また、重畳部50は、重畳画像5における複数の位置と、各位置における画像が由来する一の描画レイヤ2との対応関係を生成する。例えば、図7または図8において、重畳部50は、重畳画像5における第1領域3の位置と、その第1領域3の画像が由来する第1描画レイヤ2Aとを対応付ける。また、重畳部50は、重畳画像5における第2領域4の位置と、その第2領域4の画像が由来する第2描画レイヤ2Bとを対応付ける。
Further, the
実施の形態2において、重畳部50は、上記の対応関係として、ビットマップを生成する。ここでは、ビットマップは、重畳画像5および各描画レイヤ2のピクセル数と同じピクセル数を有する。すなわち、上記の対応関係における対応の単位である重畳画像5の各位置として、各ピクセルの単位が適用される。
In the second embodiment, the superimposing
ビットマップは、重畳画像5における一のピクセルの座標と、その一のピクセルの画像が由来する一の描画レイヤ2とが対応付けられた情報を含む。各画像レイヤの各ピクセルがα値を有する場合、重畳部50は、α値と、予め定められた透明度に関する閾値とに基づいて、ビットマップを生成する。図9は、実施の形態2におけるビットマップ6の一例を示す図である。ビットマップ6には、各ピクセル7を描画する描画レイヤ番号が格納されている。例えば、図9に示されるビットマップ6において、「1」は第1描画レイヤ2Aに由来する画像であることが示されている。「2」は第2描画レイヤ2Bに由来する画像であることが示されている。なお、実施の形態2においては、ビットマップ6は重畳画像5とは別に生成される。
The bitmap contains information in which the coordinates of one pixel in the
表示制御部60は、重畳部50で生成された重畳画像5をディスプレイ110に表示させる制御を行う。
The
ディスプレイ110は、表示制御部60の制御に従い、重畳画像5を表示する。
The
タッチパネル120は、入力装置である。タッチパネル120はディスプレイ110に内包された装置であってもよい。
The
入力部10は、ディスプレイ110に表示される重畳画像5に対してタッチパネル120によって入力される入力イベントを受け付ける。その入力イベントは、重畳画像5における入力位置つまりタッチ座標を含む。
The
レイヤ構成記憶部40は、上述したレイヤ構成関係を記憶する。図6に示されるように、1つの仮想マシンは複数の描画レイヤ2に対応していてもよいし、図示は省略するが1つの仮想マシンが1つの描画レイヤにだけ対応していてもよい。ただし、1つの描画レイヤ2は、1つの仮想マシンだけに対応している必要がある。
The layer
イベント送信部20は、タッチ座標に対応するピクセル座標と、重畳部50が生成したビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。また、イベント送信部20は、レイヤ構成記憶部40が記憶するレイヤ構成関係に基づき、特定した描画レイヤ2に対応する送信先の仮想マシンを特定する。そして、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。
The
図10は、実施の形態2におけるイベント送信装置101のハードウェアとハイパーバイザとの関係を示す図である。イベント送信装置101は、ハードウェアとしてSoC(System on Chip)130を有する。SoC130は、実施の形態1に示された処理回路に対応する。つまり、SoC130は、入力部10、イベント送信部20、複数の仮想マシン30、レイヤ構成記憶部40、重畳部50および表示制御部60を有し、各機能部の機能を実現する。また、SoC130は、タッチパネル120から入力される入力イベントを受け付ける。また、SoC130は、重畳画像5をディスプレイ110に出力する。複数の仮想マシン30は、SoC130にインストールされたハイパーバイザ140上で動作する。各仮想マシンは、そのハイパーバイザ140上にソフトウェアによって仮想的に構築されている。
FIG. 10 is a diagram showing the relationship between the hardware of the
次に、重畳部50による重畳画像の生成動作について説明する。図11は、実施の形態2における重畳画像の生成動作を示すフローチャートである。
Next, the operation of generating the superposed image by the superimposing
ステップS5にて、重畳部50は、各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。
In step S5, the superimposing
ステップS6にて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。
In step S6, the superimposing
ステップS7にて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。
In step S7, the superimposing
次に、重畳部50によるビットマップの生成動作について説明する。図12は、実施の形態2におけるビットマップ生成動作を示すフローチャートである。
Next, the operation of generating the bitmap by the superimposing
ステップS10にて、重畳部50は、ビットマップ6を準備し、そのビットマップ6を初期化する。
In step S10, the superimposing
ステップS20にて、重畳部50は、重畳画像5を取得する。
In step S20, the superimposing
ステップS30にて、重畳部50は、重畳画像5の全ピクセル7に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全ピクセル7に対して処理が完了したと判定した場合、ビットマップ生成動作は終了する。重畳部50が全ピクセル7に対して処理が完了していないと判定した場合、ステップS40が実行される。
In step S30, the superimposing
ステップS40にて、重畳部50は、重畳画像5の全描画レイヤ2に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全描画レイヤ2に対して処理が完了したと判定した場合、ステップS80が実行される。重畳部50が全描画レイヤ2に対して処理が完了していないと判定した場合、ステップS50が実行される。
In step S40, the superimposing
ステップS50にて、重畳部50は、重畳画像5の複数の描画レイヤ2のうち、現在処理中の一の描画レイヤ2における一のピクセル7のデータを取得する。ここでは、一のピクセル7のデータとは、RGBA値である。RGBA値は、色情報であるRGB値に加え、透明情報であるα値を含む。
In step S50, the superimposing
ステップS60にて、重畳部50は、その一のピクセル7において、α値≧閾値の関係式を満たすか否かを判定する。重畳部50がその関係式を満たすと判定した場合、ステップS80が実行される。重畳部50がその関係式を満たさないと判定した場合、ステップS70が実行される。
In step S60, the superimposing
ステップS70にて、重畳部50は、処理対象の描画レイヤ2を次の描画レイヤ2に設定する。
In step S70, the superimposing
ステップS80にて、重畳部50は、現在処理中のピクセル7に対応するビットマップ6のピクセル7に、現在処理中の描画レイヤ番号を出力する。なお、全描画レイヤ2に対する処理が完了した結果としてステップS80が実行されている場合、上記の現在処理中の描画レイヤ番号は、複数の描画レイヤ番号のうち最大値である。
In step S80, the superimposing
ステップS90にて、重畳部50は、処理対象のピクセル7を次のピクセル7に設定する。以上のステップにより、ビットマップが生成される。
In step S90, the superimposing
次に、イベント送信方法について説明する。図13は、実施の形態2におけるイベント送信装置101の動作およびイベント送信方法を示すフローチャートである。
Next, the event transmission method will be described. FIG. 13 is a flowchart showing the operation of the
ステップS100にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。
In step S100, the
ステップS110にて、イベント送信部20は、重畳部50から対応関係(ビットマップ6)を取得する。
In step S110, the
ステップS120にて、イベント送信部20は、タッチ座標とビットマップ6とに基づき描画レイヤ番号を取得する。
In step S120, the
ステップS130にて、イベント送信部20は、レイヤ構成記憶部40からレイヤ構成関係を取得する。
In step S130, the
ステップS140にて、イベント送信部20は、描画レイヤ番号とレイヤ構成関係とに基づき、複数の仮想マシンから送信先の仮想マシンとして一の仮想マシンを選択する。
In step S140, the
ステップS150にて、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。
In step S150, the
その後のステップにおいて、送信先の仮想マシンが入力イベントに基づいた処理を実行する。イベント送信装置101は、その処理に関連する結果を、重畳部50および表示制御部60を介して、ディスプレイ110に出力してもよい。
In subsequent steps, the destination virtual machine performs processing based on the input event. The
また、実施の形態2において、タッチパネル120およびディスプレイ110は、イベント送信装置101とは別の装置として示されたが、イベント送信装置101がタッチパネル120およびディスプレイ110を内包する構成を有していてもよい。
Further, in the second embodiment, the
以上をまとめると、実施の形態2におけるイベント送信装置101は、複数の描画レイヤ2を重畳し、重畳画像5と対応関係とを生成する重畳部50をさらに含む。重畳画像5と複数の描画レイヤ2の各々とは、それぞれ複数のピクセル7を含む。重畳画像5は、複数の描画レイヤ2が複数のピクセル7ごとに重畳された画像である。対応関係における対応の単位である重畳画像5の各位置として、各ピクセル7の単位が適用される。
Summarizing the above, the
また、実施の形態2におけるイベント送信装置101の重畳部50は、対応関係として、重畳画像5における一のピクセル7の座標と、一のピクセル7の画像が由来している一の描画レイヤ2と、を対応付けたビットマップ6を生成する。イベント送信部20は、ビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。
Further, the superimposing
このような構成により、イベント送信装置101は、重畳画像5の各ピクセル7を最小単位として、入力位置に対応する一の仮想マシンを選択することができるため、入力解像度が向上する。
With such a configuration, the
また、実施の形態2におけるイベント送信装置101において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における透明度情報を含む。重畳部50は、透明度情報と、予め定められた透明度に関する閾値とに基づいて、一のピクセル7の画像が由来している一の描画レイヤ2を決定することにより、重畳画像5とビットマップ6とを生成する。
Further, in the
基本的には、複数の描画レイヤ2のうち、透明度が0%(つまり不透過)であって上位に位置する描画レイヤ2が、ユーザに視認される。その場合、ユーザによる入力イベントは、不透過の描画レイヤ2に対して入力される。しかし、実施の形態2におけるイベント送信装置101は、閾値が変更可能であることにより、例えば、半透過の描画レイヤ2に対する入力イベントを処理することも可能である。また、閾値は、動的に変更可能に設定されてもよい。
Basically, of the plurality of
(実施の形態2の変形例1)
実施の形態2の変形例1において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における色情報をさらに含む。変形例1のビットマップ6の生成動作においては、α値が0であり、かつ、α値以外の値(例えば、色情報であるRGB値)が特定の値である場合、重畳部50は、現在処理中のピクセル7に、現在処理中の描画レイヤ番号を出力する。すなわち、重畳部50は、一の描画レイヤ2における一のピクセル7の透明度情報が透明であり、かつ、色情報が特定色である場合、一の描画レイヤ2と一のピクセル7の座標とを対応付けたビットマップ6を生成する。この処理は、例えば、ステップS60とステップS70との間に実行される。このようなイベント送信装置は、ディスプレイ110に表示される重畳画像5には現れない「隠しボタン」に対して入力される入力イベントを、適切な仮想マシンに送信することができる。(
In the first modification of the second embodiment, each of the plurality of
(実施の形態2の変形例2)
上記の実施の形態2において、重畳部50は重畳画像5とは別にビットマップ6を生成していた。実施の形態2の変形例2における重畳部50は、ビットマップ6を含む重畳画像5を生成する。つまり、重畳画像5には、対応関係を示すビットマップ6が埋め込まれている。(
In the second embodiment described above, the superimposing
図14は、実施の形態2の変形例2における重畳部50によるビットマップ生成動作を示すフローチャートである。
FIG. 14 is a flowchart showing a bitmap generation operation by the superimposing
ステップS20にて、重畳部50は、重畳画像5を取得する。
In step S20, the superimposing
ステップS30からステップS70までは、図12に示される各ステップと同様である。 Steps S30 to S70 are the same as each step shown in FIG.
ステップS81にて、重畳部50は、現在処理中のピクセル7に対応する重畳画像5のピクセル7に現在処理中の描画レイヤ番号を埋め込む。例えば、描画レイヤ番号が0から7である場合、RGB値をそれぞれ格納する複数のビットのうち、最下位側の3bitに描画レイヤ番号が格納される。
In step S81, the superimposing
ステップS90は、図12に示されるステップS90と同様である。 Step S90 is the same as step S90 shown in FIG.
その後、イベント送信部20は、重畳画像5に含まれるビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。そのイベント送信方法は、図13に示される方法と同様である。
After that, the
以上の実施の形態2の変形例2においては、重畳部50は、重畳画像5の生成を完了したあとに、その重畳画像5にビットマップ6を埋め込んでいる。しかし、ビットマップ6の生成と埋め込み方法とは、それに限定されるものではない。重畳部50は、重畳画像5の生成と同時にビットマップ6の埋め込みを行ってよい。
In the second modification of the second embodiment, the superimposing
実施の形態2の変形例2におけるイベント送信装置は、ビットマップ6を出力する際に必要な記憶領域を必要としない。
The event transmission device according to the second modification of the second embodiment does not require a storage area required for outputting the
<実施の形態3>
実施の形態3におけるイベント送信装置およびイベント送信方法を説明する。実施の形態3は、実施の形態1の下位概念である。実施の形態3におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1または2と同様の構成および動作については説明を省略する。<
The event transmission device and the event transmission method according to the third embodiment will be described. The third embodiment is a subordinate concept of the first embodiment. The event transmission device according to the third embodiment includes each configuration of the
イベント送信装置とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔(フレームレート)よりも長い場合、タッチパネル120から入力部10に入力イベントが到着するまでの間に、ディスプレイ110に表示される重畳画像5が更新される。つまり、その重畳画像5に対応するビットマップ6も更新される。この場合、イベント送信部20は、更新されたビットマップ6と、更新前の重畳画像5に対する入力位置とに基づき、送信先の仮想マシンを選択する。その結果、イベント送信装置が入力イベントを誤送信する可能性が高まる。実施の形態3におけるイベント送信装置は、このような課題を解決する。
When the communication time between the event transmission device and the
図15は、実施の形態3におけるイベント送信装置102の構成を示すブロック図である。イベント送信装置102は、実施の形態2に示された構成に加え、時刻取得部70およびビットマップ記憶部80をさらに有する。
FIG. 15 is a block diagram showing the configuration of the
時刻取得部70は、時刻情報を取得する。時刻は現在時刻である。 The time acquisition unit 70 acquires time information. The time is the current time.
重畳部50は、重畳画像5を生成した時刻情報を生成時刻として重畳画像5およびビットマップ6に付与する。重畳部50は、重畳画像5およびビットマップ6を生成する度に、生成時刻をそれぞれ付与する。
The
表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。また、表示制御部60は、その重畳画像5に付与された生成時刻を入力部10に出力する。
The
ビットマップ記憶部80は、重畳部50で生成されたビットマップ6であって、互いに異なる生成時刻が付与された複数のビットマップ6を記憶する。
The
入力部10は、タッチパネル120からタッチ座標を含む入力イベントを受け付ける。また、入力部10は、重畳部50にて重畳画像5に付与された生成時刻を取得する。ここでは、入力部10は、表示制御部60からその生成時刻を取得する。
The
イベント送信部20は、入力部10からタッチ座標を含む入力イベントと、重畳画像5に付与された生成時刻と、を取得する。イベント送信部20は、予め定められた選択条件に基づき、ビットマップ記憶部80に記憶されている複数のビットマップ6から一のビットマップ6を選択する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。ここでは、イベント送信部20は、ビットマップ記憶部80に記憶されている複数のビットマップ6のうち、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。イベント送信部20は、その一のビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。
The
実施の形態3における時刻取得部70、重畳部50、表示制御部60、ビットマップ記憶部80、入力部10、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。
The functions of the time acquisition unit 70, the
図16は、実施の形態3における重畳部50によるビットマップ生成動作を示すフローチャートである。
FIG. 16 is a flowchart showing a bitmap generation operation by the superimposing
ステップS12にて、重畳部50は、ビットマップ6を初期化し、生成時刻をビットマップ6に付与する。
In step S12, the superimposing
ステップS20以降は、図12に示される各ステップと同様である。 The steps after step S20 are the same as those of each step shown in FIG.
図17は、実施の形態3におけるイベント送信装置102の動作およびイベント送信方法を示すフローチャートである。
FIG. 17 is a flowchart showing the operation of the
ステップS101にて、入力部10は、入力イベントが入力されたタッチ座標と重畳画像5に付与された生成時刻とを取得する。
In step S101, the
ステップS111にて、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。
In step S111, one
ステップS120以降は、図13に示される各ステップと同様である。 The steps after step S120 are the same as those of each step shown in FIG.
以上をまとめると、実施の形態3におけるイベント送信装置102は、ビットマップ記憶部80をさらに含む。重畳部50は、重畳画像5を生成する度に、重畳画像5に対応するビットマップ6を生成する。ビットマップ記憶部80は、重畳部50によって互いに異なるタイミングで生成された複数のビットマップ6を記憶する。イベント送信部20は、予め定められた選択条件に基づき、複数のビットマップ6から送信先の仮想マシンを選択するための一のビットマップ6を選択する。
Summarizing the above, the
このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。
With such a configuration, even if the communication time between the
また、実施の形態3におけるイベント送信装置102は、時刻情報を取得する時刻取得部70をさらに含む。重畳部50は、重畳画像5とビットマップ6とを生成する度に、重畳画像5とビットマップ6とに時刻情報を生成時刻として付与する。入力部10は、重畳画像5に付与された生成時刻を取得する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。
Further, the
このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。
With such a configuration, even if the communication time between the
<実施の形態4>
実施の形態4におけるイベント送信装置およびイベント送信方法を説明する。実施の形態4は、実施の形態1の下位概念である。実施の形態4におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から3のいずれかと同様の構成および動作については説明を省略する。実施の形態4におけるイベント送信装置は、実施の形態3と同様の課題を解決する。<
The event transmission device and the event transmission method according to the fourth embodiment will be described. The fourth embodiment is a subordinate concept of the first embodiment. The event transmission device according to the fourth embodiment includes each configuration of the
図18は、実施の形態4におけるイベント送信装置103の構成を示すブロック図である。 FIG. 18 is a block diagram showing the configuration of the event transmission device 103 according to the fourth embodiment.
実施の形態4における重畳部50は、ビットマップ6、つまり、重畳画像5の一のピクセル7を描画する一の描画レイヤ2とその一のピクセル7の座標との対応関係の情報を含む重畳画像5を生成する。
The superimposing
表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。ただし、表示制御部60は、重畳画像5に含まれるビットマップ6を無視して重畳画像5を表示させる制御を行う。つまり、表示制御部60は、描画レイヤ番号が埋め込まれた領域を無視する、つまり値が0であるとみなす。
The
入力部10は、レイヤ情報取得部11を有する。入力部10は、入力イベントを受け付けることにより、重畳部50にて生成された重畳画像5を取得する。ここでは、入力部10は、表示制御部60から重畳画像5を取得する。また、タッチ座標に対応する描画レイヤ番号をレイヤ情報取得部11から取得し、イベント送信部20へ出力する。
The
レイヤ情報取得部11は、入力イベントに含まれるタッチ座標と、重畳画像5とを取得する。レイヤ情報取得部11は、重畳画像5に含まれるビットマップ6に基づき、タッチ座標における画像が由来する描画レイヤ2を特定する。
The layer information acquisition unit 11 acquires the touch coordinates included in the input event and the
イベント送信部20は、レイヤ情報取得部11にて特定された描画レイヤ2に対応する仮想マシンに、入力イベントを送信する。
The
実施の形態4における重畳部50、表示制御部60、入力部10、レイヤ情報取得部11、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。
Each function of the
図19は、実施の形態4における入力部10の動作を示すフローチャートである。
FIG. 19 is a flowchart showing the operation of the
ステップS200にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。
In step S200, the
ステップS210にて、入力部10は、ビットマップ6を含む重畳画像5を取得する。
In step S210, the
ステップS220にて、レイヤ情報取得部11は、タッチ座標と重畳画像5に含まれるビットマップ6とに基づき描画レイヤ番号を取得する。
In step S220, the layer information acquisition unit 11 acquires the drawing layer number based on the touch coordinates and the
ステップS230にて、入力部10は、タッチ座標と描画レイヤ番号とを出力する。
In step S230, the
図20は、実施の形態4におけるイベント送信装置103の動作およびイベント送信方法を示すフローチャートである。 FIG. 20 is a flowchart showing the operation of the event transmission device 103 and the event transmission method according to the fourth embodiment.
ステップS102にて、イベント送信部20は、タッチ座標および描画レイヤ番号を取得する。
In step S102, the
ステップS130以降は、実施の形態2における図13に示された各ステップと同様である。 The steps after step S130 are the same as those of each step shown in FIG. 13 in the second embodiment.
以上をまとめると、実施の形態4におけるイベント送信装置103の入力部10は、入力イベントを受け付けることにより、重畳画像5からビットマップ6を取得するレイヤ情報取得部11を含む。イベント送信部20は、レイヤ情報取得部11にて取得されたビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。
Summarizing the above, the
このような構成により、イベント送信装置103とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置103は、入力イベントを正確に適切な仮想マシンに送信する。
With such a configuration, even if the communication time between the event transmission device 103 and the
<実施の形態5>
実施の形態5におけるイベント送信装置、情報処理装置、情報処理システムおよびイベント送信方法を説明する。実施の形態5におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から4のいずれかと同様の構成および動作については説明を省略する。<
The event transmission device, the information processing device, the information processing system, and the event transmission method according to the fifth embodiment will be described. The event transmission device according to the fifth embodiment includes each configuration of the
実施の形態2から4のいずれかに示されたイベント送信装置は、1つのハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。そのハイパーバイザ140は、1つのSoC130において構築されている。一方で、実施の形態5におけるイベント送信装置は、複数のSoC130の各々に構築されたハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。その複数のSoC130は、イベント送信装置と、そのイベント送信装置とは別の情報処理装置と、に分かれて設けられている。
The event transmission device shown in any of the second to fourth embodiments realizes the above-mentioned functions for a plurality of
図21は、実施の形態5におけるイベント送信装置104、情報処理装置150および情報処理システム200の構成を示すブロック図である。
FIG. 21 is a block diagram showing the configurations of the
情報処理システム200は、イベント送信装置104と、そのイベント送信装置104とネットワークで接続される情報処理装置150と、を有する。
The
イベント送信装置104は、各実施の形態に示されたように、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40および複数の仮想マシン30を有する。また、実施の形態5におけるイベント送信装置104は、イベント送信部20として、第1イベント送信部20Aを有する。また、イベント送信装置104は、第1通信部90Aをさらに有する。またイベント送信装置104の複数の仮想マシン30は、第1仮想マシン301から第K仮想マシン30Kを含む。ここでは、Kは、K>1の関係を満たす。
As shown in each embodiment, the
情報処理装置150は、第2通信部90B、第2イベント送信部20Bおよび複数の仮想マシン30を有する。情報処理装置150の複数の仮想マシン30は、第M仮想マシン30Mから第N仮想マシン30Nを含む。ここでは、MはM=K+1を、NはN>Mの関係を満たす。
The
第1通信部90Aは、ネットワークを介して情報処理装置150と通信し、データの授受を行う。第1通信部90Aは、入力イベントを情報処理装置150に送信する。また、第1通信部90Aは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2を受信する。
The
重畳部50は、イベント送信装置104の複数の仮想マシン30に対応する複数の描画レイヤ2と、情報処理装置150の複数の仮想マシン30に対応する複数の描画レイヤ2とを、互いに重畳して重畳画像5を生成する。
The
レイヤ構成記憶部40は、レイヤ構成関係を記憶する。図22は、実施の形態5におけるレイヤ構成関係の一例を示す図である。レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンと、使用装置とが対応づけられたテーブルである。使用装置とは、使用仮想マシンが動作する装置のことである。使用装置は、ここでは、イベント送信装置104もしくは情報処理装置150である。図22において、描画レイヤ番号「1」で示される第1描画レイヤ2Aは、イベント送信装置104で動作する第2仮想マシン302に対応する。または、例えば、描画レイヤ番号「2」で示される第2描画レイヤ2Bは、情報処理装置150で動作する第M仮想マシン30Mに対応する。
The layer
第1イベント送信部20Aは、タッチ座標とビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。第1イベント送信部20Aは、レイヤ構成関係に基づき、一の描画レイヤ2に対応する送信先の仮想マシンおよび送信先の装置を特定する。送信先の仮想マシンがイベント送信装置104で動作する仮想マシンである場合、イベント送信装置104は、その送信先の仮想マシンに入力イベントを送信する。送信先の仮想マシンが情報処理装置150で動作する仮想マシンである場合、イベント送信装置104は、第1通信部90Aを介して、情報処理装置150に入力イベントを送信する。
The first
第2通信部90Bは、ネットワークを介してイベント送信装置104と通信し、データの授受を行う。第2通信部90Bは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2をイベント送信装置104に送信する。また、第2通信部90Bは、イベント送信装置104から入力イベントを受信する。
The
第2イベント送信部20Bは、情報処理装置150が有する複数の仮想マシン30のうち、送信先の仮想マシンに入力イベントを送信する。
The second
実施の形態5における重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、第1イベント送信部20Aおよび第1通信部90Aの各機能は、例えば、図10に示されるSoC130により実現される。また、情報処理装置150もSoC130と同様のハードウェア構成を有する。第2通信部90Bおよび第2イベント送信部20Bの各機能は、そのSoCにより実現される。
Each function of the
図23は、実施の形態5における重畳部50による重畳画像の生成動作を示すフローチャートである。
FIG. 23 is a flowchart showing an operation of generating a superposed image by the superimposing
ステップS5Aにて、重畳部50は、各装置の各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。その際、重畳部50は、第2通信部90Bおよび第1通信部90Aを介して、情報処理装置150が有する各仮想マシン30によって描画される画像を取得するとともに、その画像が由来する使用仮想マシンおよび使用装置を特定するための情報を取得する。
In step S5A, the superimposing
ステップS6Aにて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30および各使用装置に対応する描画レイヤに、その画像を書き込む。
In step S6A, the superimposing
ステップS7Aにて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。
In step S7A, the superimposing
図24は、実施の形態5における重畳部50によるビットマップ生成動作を示すフローチャートである。
FIG. 24 is a flowchart showing a bitmap generation operation by the superimposing
ステップS10は、図12に示されるステップS10と同様である。 Step S10 is the same as step S10 shown in FIG.
ステップS20にて、重畳部50は、重畳画像5を取得する。
In step S20, the superimposing
ステップS30からステップS90までは、図12に示される各ステップと同様である。ステップS40からステップS70の各ステップは、複数の描画レイヤ2の数だけ繰り返し実行される。実施の形態5において、その複数の描画レイヤ2の数は、イベント送信装置104における複数の仮想マシン30の数(=K)と、情報処理装置150における複数の仮想マシン30の数(=(N−M)+1)とを合計した数(=N)に対応する。
Steps S30 to S90 are the same as each step shown in FIG. Each step from step S40 to step S70 is repeatedly executed by the number of the plurality of drawing layers 2. In the fifth embodiment, the number of the plurality of
図25は、実施の形態5におけるイベント送信装置104の動作およびイベント送信方法を示すフローチャートである。
FIG. 25 is a flowchart showing the operation of the
ステップS100からステップS130までは、図13に示される各ステップと同様である。ただし、実施の形態5において、ステップS110からステップS130は、第1イベント送信部20Aによって実行される。
Steps S100 to S130 are the same as each step shown in FIG. However, in the fifth embodiment, steps S110 to S130 are executed by the first
ステップS141にて、第1イベント送信部20Aは、描画レイヤ番号とレイヤ構成関係とに基づき送信先の仮想マシンおよび送信先の装置を選択する。送信先の装置とは、送信先の仮想マシンが含まれる装置のことである。
In step S141, the first
ステップS151にて、第1イベント送信部20Aは、送信先の装置がイベント送信装置104であるか否かを判定する。第1イベント送信部20Aが、送信先の装置はイベント送信装置104でないと判定した場合、ステップS152が実行される。第1イベント送信部20Aが、送信先の装置はイベント送信装置104であると判定した場合、ステップS153が実行される。
In step S151, the first
ステップS152にて、第1イベント送信部20Aは、第1通信部90Aを介して、情報処理装置150に入力イベントおよび送信先の仮想マシンの情報を送信する。
In step S152, the first
ステップS153にて、第1イベント送信部20Aは、イベント送信装置104に含まれる送信先の仮想マシンに入力イベントを送信する。
In step S153, the first
図26は、実施の形態5における情報処理装置150の動作およびイベント送信方法を示すフローチャートである。
FIG. 26 is a flowchart showing the operation of the
ステップS300にて、第2イベント送信部20Bは、第2通信部90Bを介して、入力イベントおよび送信先の仮想マシンの情報を取得する。
In step S300, the second
ステップS310にて、第2イベント送信部20Bは、送信先の仮想マシンに入力イベントを送信する。
In step S310, the second
上記のイベント送信装置104が、実施の形態3および4のそれぞれに示された構成を有していてもよい。また、上記の複数のSoC130は、イベント送信装置104とそのイベント送信装置104とは別の情報処理装置150とに分けて設けられているが、1台のイベント送信装置の中に含まれていてもよい。また、上記の情報処理装置150が、2台目のイベント送信装置であってもよい。情報処理システム200は、2台以上の情報処理装置を含んでいてもよい。
The
以上をまとめると、実施の形態5におけるイベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。
Summarizing the above, in the
このような構成により、イベント送信装置104は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。
With such a configuration, the
また、実施の形態5における情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104とネットワークで接続される。ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。
Further, the
このような構成により、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。
With such a configuration, even if the
また、実施の形態5における情報処理システム200は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104と、イベント送信装置104とネットワークで接続される情報処理装置150と、を含む。イベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。
Further, the
このような構成により、情報処理システム200は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。また、情報処理システム200は、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。
With such a configuration, the
<実施の形態6>
上記の各実施の形態に示されるイベント送信装置、ディスプレイ110およびタッチパネル120は、例えば、車両に搭載される。または、例えば、イベント送信装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、PND(Portable Navigation Device)などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。<
The event transmission device, the
図27は、実施の形態6におけるイベント送信装置100およびそれに関連して動作する装置の構成を示すブロック図である。
FIG. 27 is a block diagram showing a configuration of an
イベント送信装置100、複数の仮想マシン30および通信装置160がサーバ300に設けられている。イベント送信装置100は、車両1に設けられたタッチパネル120から通信装置170および通信装置160を介して入力イベントを取得する。イベント送信装置100は、各実施の形態に示された処理を実行し、送信先の仮想マシンに入力イベントを送信する。さらに、送信先の仮想マシンが入力イベントに基づいた処理を実行する。その処理に関連する結果が、イベント送信装置100の重畳部50および表示制御部60を介してディスプレイ110に出力されてもよい。
An
このように、イベント送信装置100がサーバ300に配置されることにより、車載装置の構成を簡素化することができる。
By arranging the
また、イベント送信装置100の機能あるいは構成要素の一部がサーバ300に設けられ、他の一部が車両1に設けられるなど、分散して配置されてもよい。
Further, some of the functions or components of the
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.
本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all aspects and the present invention is not limited thereto. It is understood that innumerable variations not illustrated can be assumed without departing from the scope of the present invention.
2 描画レイヤ、5 重畳画像、6 ビットマップ、7 ピクセル、10 入力部、11 レイヤ情報取得部、20 イベント送信部、20A 第1イベント送信部、20B 第2イベント送信部、30 仮想マシン、40 レイヤ構成記憶部、50 重畳部、60 表示制御部、70 時刻取得部、80 ビットマップ記憶部、90A 第1通信部、90B 第2通信部、100 イベント送信装置、110 ディスプレイ、120 タッチパネル、140 ハイパーバイザ、150 情報処理装置、200 情報処理システム。 2 drawing layer, 5 superimposed image, 6 bitmap, 7 pixels, 10 input unit, 11 layer information acquisition unit, 20 event transmission unit, 20A 1st event transmission unit, 20B 2nd event transmission unit, 30 virtual machine, 40 layers Configuration storage unit, 50 superimposition unit, 60 display control unit, 70 time acquisition unit, 80 bitmap storage unit, 90A first communication unit, 90B second communication unit, 100 event transmitter, 110 display, 120 touch panel, 140 hypervisor , 150 information processing device, 200 information processing system.
Claims (11)
前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付ける入力部と、
前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信するイベント送信部と、
前記複数の描画レイヤを重畳し、前記重畳画像と前記対応関係とを生成する重畳部と、
記憶部と、を備え、
前記重畳部は、前記重畳画像を生成する度に、前記重畳画像に対応する前記対応関係を生成し、
前記記憶部は、前記重畳部によって互いに異なるタイミングで生成された複数の対応関係を記憶し、
前記イベント送信部は、予め定められた選択条件に基づき、前記複数の対応関係から前記送信先の仮想マシンを選択するための一の対応関係を選択するイベント送信装置。 An event transmitter that sends input events to one of multiple virtual machines running on the hypervisor.
An input unit in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines receive the input event input to the superimposed image superimposed on each other, and an input unit.
Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. An event transmitter that sends the input event to the destination virtual machine, which is a virtual machine,
A superimposing portion that superimposes the plurality of drawing layers and generates the superposed image and the correspondence relationship.
Comprising a storage unit, a
Each time the superposed image is generated, the superimposing unit generates the corresponding relationship corresponding to the superposed image.
The storage unit stores a plurality of correspondences generated by the superimposing unit at different timings.
The event transmission unit, based on a predetermined selection condition, the plurality of the destinations one correspondence between you select an event transmission unit for selecting a virtual machine from the correspondence.
前記重畳画像は、前記複数の描画レイヤが前記複数のピクセルごとに重畳された画像であり、
前記対応関係における対応の単位である前記重畳画像の各前記位置として、各前記ピクセルの単位が適用される、請求項1に記載のイベント送信装置。 Each of the superimposed image and the plurality of drawing layers contains a plurality of pixels.
The superimposed image is an image in which the plurality of drawing layers are superimposed for each of the plurality of pixels.
The event transmission device according to claim 1, wherein a unit of each pixel is applied as each position of the superimposed image, which is a unit of correspondence in the correspondence.
前記イベント送信部は、前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項2に記載のイベント送信装置。 As the correspondence relationship, the superimposing unit generates a bitmap in which the coordinates of one pixel in the superimposing image and the one drawing layer from which the image of the one pixel is derived are associated with each other.
The event transmission device according to claim 2, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap.
前記イベント送信部は、前記重畳画像に含まれる前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項3に記載のイベント送信装置。 The superimposing unit generates the superimposing image including the bitmap, and generates the superimposing image.
The event transmission device according to claim 3, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap included in the superimposed image.
前記重畳部は、前記透明度情報と、予め定められた透明度に関する閾値とに基づいて、前記一のピクセルの前記画像が由来している前記一の描画レイヤを決定することにより、前記重畳画像と前記ビットマップとを生成する、請求項3に記載のイベント送信装置。 Each of the plurality of drawing layers contains transparency information at each of the plurality of pixels.
The superimposing portion determines the superimposing image and the superimposing layer from which the image of the one pixel is derived based on the transparency information and a predetermined threshold value for transparency. The event transmission device according to claim 3, which generates a bitmap.
前記重畳部は、前記一の描画レイヤにおける前記一のピクセルの前記透明度情報が透明であり、かつ、前記色情報が特定色である場合、前記一のピクセルの前記座標と前記一の描画レイヤとを対応付けた前記ビットマップを生成する、請求項5に記載のイベント送信装置。 Each of the plurality of drawing layers further includes color information at each of the plurality of pixels.
When the transparency information of the one pixel in the one drawing layer is transparent and the color information is a specific color, the superimposing portion includes the coordinates of the one pixel and the one drawing layer. The event transmission device according to claim 5, which generates the bitmap associated with the above.
前記重畳部は、前記重畳画像と前記対応関係とを生成する度に、前記重畳画像と前記対応関係とに前記時刻情報を生成時刻として付与し、
前記入力部は、前記重畳画像に付与された前記生成時刻を取得し、
前記予め定められた選択条件とは、前記入力部にて取得された前記生成時刻と、前記記憶部に記憶された各前記対応関係に付与された前記生成時刻と、に関係する条件である、請求項1に記載のイベント送信装置。 It also has a time acquisition unit that acquires time information.
Each time the superimposition unit generates the superimposition image and the correspondence relationship , the superimposition unit adds the time information to the superimposition image and the correspondence relationship as a generation time.
The input unit acquires the generation time given to the superimposed image, and obtains the generation time.
The predetermined selection condition is a condition related to the generation time acquired by the input unit and the generation time given to each of the corresponding relationships stored in the storage unit. The event transmission device according to claim 1.
前記入力イベントを受け付けることにより、前記重畳画像から前記ビットマップを取得するレイヤ情報取得部を含み、
前記イベント送信部は、前記レイヤ情報取得部にて取得された前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項4に記載のイベント送信装置。 The input unit is
A layer information acquisition unit that acquires the bitmap from the superimposed image by receiving the input event is included.
The event transmission device according to claim 4, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap acquired by the layer information acquisition unit.
前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付け、
前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信し、
前記複数の描画レイヤを重畳し、前記重畳画像と前記対応関係とを生成し、
前記重畳画像を生成する度に、前記重畳画像に対応する前記対応関係を生成し、
互いに異なるタイミングで生成された複数の対応関係を記憶し、
予め定められた選択条件に基づき、前記複数の対応関係から前記送信先の仮想マシンを選択するための一の対応関係を選択する、イベント送信方法。 An event transmission method that sends an input event to one of multiple virtual machines running on the hypervisor.
A plurality of drawing layers provided corresponding to each of the plurality of virtual machines receive the input event input to the superimposed image superimposed on each other.
Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. Send the input event to the destination virtual machine, which is a virtual machine ,
The plurality of drawing layers are superimposed to generate the superimposed image and the correspondence relationship.
Each time the superimposed image is generated, the corresponding relationship corresponding to the superimposed image is generated.
Memorize multiple correspondences generated at different timings,
An event transmission method for selecting one correspondence relationship for selecting a destination virtual machine from the plurality of correspondence relationships based on a predetermined selection condition.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/029873 WO2020031320A1 (en) | 2018-08-09 | 2018-08-09 | Event transmission device, information processing device, information processing system, and event transmission method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020031320A1 JPWO2020031320A1 (en) | 2021-01-07 |
JP6964781B2 true JP6964781B2 (en) | 2021-11-10 |
Family
ID=69414074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020535417A Active JP6964781B2 (en) | 2018-08-09 | 2018-08-09 | Event transmitter and event transmission method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6964781B2 (en) |
WO (1) | WO2020031320A1 (en) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08212047A (en) * | 1995-02-07 | 1996-08-20 | Chugoku Nippon Denki Software Kk | Window system independency graphical user interface(gui) system |
US6711620B1 (en) * | 1999-04-14 | 2004-03-23 | Matsushita Electric Industrial Co. | Event control device and digital broadcasting system |
US7681200B2 (en) * | 2005-07-22 | 2010-03-16 | Microsoft Corporation | Secure hardware desktop buffer composition |
JP4839049B2 (en) * | 2005-09-20 | 2011-12-14 | クラリオン株式会社 | Information processing apparatus and display screen control method |
CN101627353B (en) * | 2007-03-09 | 2011-07-20 | 国际商业机器公司 | Method for determining destination of request, program, and display system using the method |
JP4877608B2 (en) * | 2008-01-28 | 2012-02-15 | 日本電気株式会社 | Virtual machine server, virtual machine server information storage method, and virtual machine server information storage program |
JP5251385B2 (en) * | 2008-09-16 | 2013-07-31 | 富士通株式会社 | Event detection system, event detection method, and program |
JP5540793B2 (en) * | 2010-03-18 | 2014-07-02 | 富士ゼロックス株式会社 | Function providing apparatus and program |
JP2012155600A (en) * | 2011-01-27 | 2012-08-16 | Fujitsu Ltd | Information processing apparatus, control method and control program |
JP5724421B2 (en) * | 2011-02-04 | 2015-05-27 | 富士通株式会社 | Information processing device |
JP5774032B2 (en) * | 2011-02-09 | 2015-09-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Virtual computer display device, virtual computer display method, virtual computer display program, recording medium, and integrated circuit |
JP2015187786A (en) * | 2014-03-26 | 2015-10-29 | 東芝テック株式会社 | Virtual machine management program and virtual machine management device |
DE112016000495T5 (en) * | 2015-01-27 | 2017-11-02 | Mitsubishi Electric Corporation | USER INTERFACE AND METHOD FOR DISPLAYING A USER INTERFACE |
JP2017215800A (en) * | 2016-05-31 | 2017-12-07 | キヤノン株式会社 | Information processing device, information processing method and program |
-
2018
- 2018-08-09 WO PCT/JP2018/029873 patent/WO2020031320A1/en active Application Filing
- 2018-08-09 JP JP2020535417A patent/JP6964781B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020031320A1 (en) | 2020-02-13 |
JPWO2020031320A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766053B (en) | User interface display method, device, terminal and storage medium | |
CN107871308B (en) | Method and apparatus for processing wide-angle image | |
CN108765539B (en) | OpenGLES-based image rendering method, device, equipment and storage medium | |
CN105324989A (en) | Transmission terminal, program, image display method and transmission system | |
CN113467865A (en) | Information processing method, information processing device, electronic equipment and storage medium | |
CN115033195A (en) | Picture display method, device, equipment, storage medium and program product | |
CN115348469A (en) | Picture display method and device, video processing equipment and storage medium | |
JP6964781B2 (en) | Event transmitter and event transmission method | |
CN113038141B (en) | Video frame processing method and electronic equipment | |
CN114265653A (en) | Interface display method, device, equipment, storage medium and program product | |
CN112783392A (en) | Information screen display method and device | |
CN111597001A (en) | Application program display control method, device, medium and equipment | |
CN108509112B (en) | Menu display method and device, display equipment and storage medium | |
JP7175135B2 (en) | Information providing device, server device, and information providing method | |
JP2013120201A (en) | Information processing apparatus and method | |
CN115923512A (en) | Method and device for displaying information on instrument screen, electronic equipment and vehicle | |
CN105653143B (en) | Processing method of application program operation interface and mobile terminal for realizing method | |
CN113870219A (en) | Projection font color selection method and device, electronic equipment and storage medium | |
CN113589927B (en) | Split screen display method, head-mounted display device and computer readable medium | |
US20160117007A1 (en) | Visual display content source identifier and method | |
CN111159593A (en) | Method and device for generating flow chart, storage medium and electronic equipment | |
CN111666011A (en) | Page focus display method and device | |
JP6389765B2 (en) | Display control system, method and program | |
CN111610920B (en) | Multi-device control method, device and system | |
CN113934341B (en) | Network policy topology display method and device, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6964781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |