JP6964781B2 - Event transmitter and event transmission method - Google Patents

Event transmitter and event transmission method Download PDF

Info

Publication number
JP6964781B2
JP6964781B2 JP2020535417A JP2020535417A JP6964781B2 JP 6964781 B2 JP6964781 B2 JP 6964781B2 JP 2020535417 A JP2020535417 A JP 2020535417A JP 2020535417 A JP2020535417 A JP 2020535417A JP 6964781 B2 JP6964781 B2 JP 6964781B2
Authority
JP
Japan
Prior art keywords
unit
event
input
image
event transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020535417A
Other languages
Japanese (ja)
Other versions
JPWO2020031320A1 (en
Inventor
純也 氏家
哲郎 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020031320A1 publication Critical patent/JPWO2020031320A1/en
Application granted granted Critical
Publication of JP6964781B2 publication Critical patent/JP6964781B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、イベント送信装置、情報処理装置、情報処理システム、およびイベント送信方法に関する。 The present invention relates to an event transmission device, an information processing device, an information processing system, and an event transmission method.

ハイパーバイザ上で動作する複数の仮想マシンを搭載するシステムは、その表示装置に各仮想マシンが描画した画像を重畳して表示する。表示装置が入力装置としてタッチパネルを有する場合、タッチパネルが受け付ける入力情報はタッチ座標のみであるため、システムはその入力情報に対応する仮想マシンを認識することはできない。 A system equipped with a plurality of virtual machines operating on a hypervisor superimposes and displays an image drawn by each virtual machine on the display device. When the display device has a touch panel as an input device, the system cannot recognize the virtual machine corresponding to the input information because the input information received by the touch panel is only the touch coordinates.

そこで、システムが適切な仮想マシンに入力情報を送信するために、以下の2つの方法が考えられる。その1つの方法においては、システムは入力情報を全ての仮想マシンに一斉に配信する。もう1つの方法においては、システムは予め定められた順序に従い各仮想マシンに順次入力情報を送信する。例えば、システムはまず一の仮想マシンに入力情報を送信する。その入力情報を受信した一の仮想マシンが入力情報を使用しない場合、システムは別の仮想マシンに入力情報を送信する。 Therefore, the following two methods can be considered for the system to send the input information to the appropriate virtual machine. In one method, the system distributes the input information to all virtual machines at once. In another method, the system sequentially sends input information to each virtual machine in a predetermined order. For example, the system first sends input information to a virtual machine. If one virtual machine that receives the input information does not use the input information, the system sends the input information to another virtual machine.

特開2011−197853号公報Japanese Unexamined Patent Publication No. 2011-197853

前者の方法では、ハイパーバイザと各仮想マシンとの間で、無駄な通信が発生する。また、後者の方法では、入力情報が入力されてから、その入力情報を必要とする仮想マシンがその入力情報を受信するまでに時間を要する。 In the former method, useless communication occurs between the hypervisor and each virtual machine. Further, in the latter method, it takes time from the input of the input information until the virtual machine requiring the input information receives the input information.

特許文献1には、ハイパーバイザ上に複数の仮想マシンが搭載された機能提供装置が提案されている。この機能提供装置においては、メニュー管理機能が実行されるOS(オペレーションシステム)が搭載された1つの仮想マシンに、メニュー画面が表示されている。メニュー画面において、特定の機能に対応した特定のボタンが押下された場合、仮想マシンのメニュー管理機能部は、その特定の機能を制御する仮想マシンを呼び出す。そのため、選択された機能を実行する仮想マシンに処理依頼が到達するまでに時間を要する。また、メニュー画面における入力位置と、特定の機能を実行する仮想マシンとの対応関係が、予め定められている必要がある。すなわち、機能提供装置は、任意の表示画面に対して、上記のメニュー管理機能と同様の機能を実行できるとは限らない。 Patent Document 1 proposes a function providing device in which a plurality of virtual machines are mounted on a hypervisor. In this function providing device, a menu screen is displayed on one virtual machine equipped with an OS (operating system) on which a menu management function is executed. When a specific button corresponding to a specific function is pressed on the menu screen, the menu management function unit of the virtual machine calls the virtual machine that controls the specific function. Therefore, it takes time for the processing request to reach the virtual machine that executes the selected function. In addition, the correspondence between the input position on the menu screen and the virtual machine that executes a specific function needs to be predetermined. That is, the function providing device may not always be able to execute the same function as the above-mentioned menu management function on an arbitrary display screen.

本発明は、以上のような課題を解決するためになされたものであり、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供を目的とする。 The present invention has been made to solve the above problems, and provides an event transmission device that efficiently transmits an input event to one of a plurality of virtual machines operating on a hypervisor. The purpose.

本発明に係るイベント送信装置は、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信する。イベント送信装置は、入力部とイベント送信部と重畳部と記憶部とを含む。入力部は、複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける。イベント送信部は、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシンのうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する。重畳部は、複数の描画レイヤを重畳し、重畳画像と対応関係とを生成する。重畳部は、重畳画像を生成する度に、重畳画像に対応する対応関係を生成する。記憶部は、重畳部によって互いに異なるタイミングで生成された複数の対応関係を記憶する。イベント送信部は、予め定められた選択条件に基づき、複数の対応関係から送信先の仮想マシンを選択するための一の対応関係を選択する。
The event transmission device according to the present invention transmits an input event to one of a plurality of virtual machines operating on the hypervisor. The event transmission device includes an input unit, an event transmission unit, a superimposition unit, and a storage unit. The input unit receives an input event in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines are input to the superimposed images superimposed on each other. Event transmission unit, based on the correspondence relationship between one drawing layer on which the image at a plurality of positions and Dear location in the superimposed image is derived from, among the plurality of virtual machines, one corresponding to the input position of the input events in the superimposed image the destination of the virtual machine is a virtual machine, that sends input events. The superimposition unit superimposes a plurality of drawing layers to generate a superimposition image and a correspondence relationship. The superimposing unit generates a correspondence relationship corresponding to the superimposing image each time the superimposing image is generated. The storage unit stores a plurality of correspondences generated at different timings by the superimposing unit. The event transmission unit selects one correspondence for selecting a destination virtual machine from a plurality of correspondences based on a predetermined selection condition.

本発明によれば、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供が可能である。 According to the present invention, it is possible to provide an event transmission device that efficiently transmits an input event to one of a plurality of virtual machines operating on a hypervisor.

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。 Objectives, features, aspects, and advantages of the present invention will become more apparent with the following detailed description and accompanying drawings.

実施の形態1におけるイベント送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission apparatus in Embodiment 1. FIG. 実施の形態1におけるイベント送信装置が有する処理回路の一例を示す図である。It is a figure which shows an example of the processing circuit which the event transmission apparatus has in Embodiment 1. FIG. 実施の形態1におけるイベント送信装置が有する処理回路の別の一例を示す図である。It is a figure which shows another example of the processing circuit which the event transmission apparatus has in Embodiment 1. FIG. 実施の形態1におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the event transmission apparatus and the event transmission method in Embodiment 1. FIG. 実施の形態2におけるイベント送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission apparatus in Embodiment 2. FIG. 実施の形態2におけるレイヤ構成関係の一例を示す図である。It is a figure which shows an example of the layer composition relation in Embodiment 2. FIG. 実施の形態2における描画レイヤおよび重畳画像の一例を示す図である。It is a figure which shows an example of the drawing layer and the superimposition image in Embodiment 2. FIG. 実施の形態2における描画レイヤおよび重畳画像の一例を示す図である。It is a figure which shows an example of the drawing layer and the superimposition image in Embodiment 2. FIG. 実施の形態2におけるビットマップの一例を示す図である。It is a figure which shows an example of the bitmap in Embodiment 2. FIG. 実施の形態2におけるイベント送信装置のハードウェアとハイパーバイザとの関係を示す図である。It is a figure which shows the relationship between the hardware of the event transmission device and a hypervisor in Embodiment 2. FIG. 実施の形態2における重畳部による重畳画像の生成動作を示すフローチャートである。It is a flowchart which shows the generation operation of the superimposition image by the superimposition part in Embodiment 2. 実施の形態2における重畳部によるビットマップ生成動作を示すフローチャートである。It is a flowchart which shows the bitmap generation operation by the superimposition part in Embodiment 2. 実施の形態2におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the event transmission apparatus and the event transmission method in Embodiment 2. 実施の形態2の変形例における重畳部によるビットマップ生成動作を示すフローチャートである。It is a flowchart which shows the bitmap generation operation by the superimposition part in the modification of Embodiment 2. 実施の形態3におけるイベント送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission device in Embodiment 3. 実施の形態3における重畳部によるビットマップ生成動作を示すフローチャートである。It is a flowchart which shows the bitmap generation operation by the superimposition part in Embodiment 3. FIG. 実施の形態3におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the event transmission apparatus and the event transmission method in Embodiment 3. 実施の形態4におけるイベント送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission device in Embodiment 4. 実施の形態4における入力部の動作を示すフローチャートである。It is a flowchart which shows the operation of the input part in Embodiment 4. 実施の形態4におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the event transmission apparatus and the event transmission method in Embodiment 4. 実施の形態5におけるイベント送信装置、情報処理装置および情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission apparatus, the information processing apparatus and the information processing system in Embodiment 5. 実施の形態5におけるレイヤ構成関係の一例を示す図である。It is a figure which shows an example of the layer composition relation in Embodiment 5. 実施の形態5における重畳部による重畳画像の生成動作を示すフローチャートである。It is a flowchart which shows the generation operation of the superimposition image by the superimposition part in Embodiment 5. 実施の形態5における重畳部によるビットマップ生成動作を示すフローチャートである。It is a flowchart which shows the bitmap generation operation by the superimposition part in Embodiment 5. 実施の形態5におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the event transmission apparatus and the event transmission method in Embodiment 5. 実施の形態5における情報処理装置の動作およびイベント送信方法を示すフローチャートである。It is a flowchart which shows the operation of the information processing apparatus and the event transmission method in Embodiment 5. 実施の形態6におけるイベント送信装置およびそれに関連して動作する装置の構成を示すブロック図である。It is a block diagram which shows the structure of the event transmission device and the device which operates in connection with it in Embodiment 6.

<実施の形態1>
図1は、実施の形態1におけるイベント送信装置100の構成を示すブロック図である。また、図1には、イベント送信装置100と関連して動作する複数の仮想マシン30が示されている。これら複数の仮想マシン30は、ハイパーバイザ上で動作する。
<Embodiment 1>
FIG. 1 is a block diagram showing the configuration of the event transmission device 100 according to the first embodiment. Further, FIG. 1 shows a plurality of virtual machines 30 that operate in association with the event transmission device 100. These plurality of virtual machines 30 operate on the hypervisor.

イベント送信装置100は、入力部10およびイベント送信部20を有する。 The event transmission device 100 has an input unit 10 and an event transmission unit 20.

入力部10は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける。入力部10は、例えば、ディスプレイに表示される重畳画像に基づき、タッチパネルに入力される入力イベントを受け付ける。 The input unit 10 receives an input event in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30 are input to the superimposed images superimposed on each other. The input unit 10 receives, for example, an input event input to the touch panel based on the superimposed image displayed on the display.

イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する。 The event transmission unit 20 corresponds to the input position of the input event in the superimposed image among the plurality of virtual machines 30 based on the correspondence relationship between the plurality of positions in the superimposed image and one drawing layer from which the image is derived at each position. Sends an input event to the destination virtual machine, which is one virtual machine.

図2は、イベント送信装置100が有する処理回路95の一例を示す図である。入力部10およびイベント送信部20の各機能は、処理回路95により実現される。すなわち、処理回路95は、入力部10およびイベント送信部20を有する。 FIG. 2 is a diagram showing an example of a processing circuit 95 included in the event transmission device 100. Each function of the input unit 10 and the event transmission unit 20 is realized by the processing circuit 95. That is, the processing circuit 95 has an input unit 10 and an event transmission unit 20.

処理回路95が専用のハードウェアである場合、処理回路95は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせた回路等である。入力部10およびイベント送信部20の各機能は、複数の処理回路により個別に実現されてもよいし、1つの処理回路によりまとめて実現されてもよい。 When the processing circuit 95 is dedicated hardware, the processing circuit 95 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array), or a circuit that combines these. Each function of the input unit 10 and the event transmission unit 20 may be individually realized by a plurality of processing circuits, or may be collectively realized by one processing circuit.

図3は、イベント送信装置100が有する処理回路の別の一例を示す図である。処理回路は、プロセッサ96とメモリ97とを有する。プロセッサ96がメモリ97に格納されるプログラムを実行することにより、入力部10およびイベント送信部20の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ96により実行されることにより各機能が実現される。すなわち、イベント送信装置100は、プログラムを格納するメモリ97と、そのプログラムを実行するプロセッサ96とを有する。 FIG. 3 is a diagram showing another example of the processing circuit included in the event transmission device 100. The processing circuit includes a processor 96 and a memory 97. By executing the program stored in the memory 97 by the processor 96, each function of the input unit 10 and the event transmission unit 20 is realized. For example, each function is realized by executing software or firmware described as a program by the processor 96. That is, the event transmission device 100 has a memory 97 for storing a program and a processor 96 for executing the program.

プログラムには、イベント送信装置100が、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する機能が記述されている。また、プログラムは、入力部10およびイベント送信部20の手順または方法をコンピュータに実行させるものである。 In the program, the event transmission device 100 receives input events input to the superimposed images in which the plurality of drawing layers provided corresponding to the plurality of virtual machines 30 are superimposed on each other, and a plurality of the superimposed images are received. Based on the correspondence between the position of The function to send is described. The program also causes the computer to execute the procedure or method of the input unit 10 and the event transmission unit 20.

プロセッサ96は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。メモリ97は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の、不揮発性または揮発性の半導体メモリである。または、メモリ97は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、今後使用されるあらゆる記憶媒体であってもよい。 The processor 96 is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like. The memory 97 is a non-volatile or volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read Only Memory). It is a semiconductor memory. Alternatively, the memory 97 may be any storage medium used in the future, such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD.

上述した入力部10およびイベント送信部20の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。 Some of the functions of the input unit 10 and the event transmission unit 20 described above may be realized by dedicated hardware, and the other part may be realized by software or firmware. In this way, the processing circuit realizes each of the above-mentioned functions by hardware, software, firmware, or a combination thereof.

図4は、実施の形態1におけるイベント送信装置100の動作およびイベント送信方法を示すフローチャートである。 FIG. 4 is a flowchart showing the operation of the event transmission device 100 and the event transmission method according to the first embodiment.

ステップS1にて、入力部10は、重畳画像に対して入力される入力イベントを受け付ける。 In step S1, the input unit 10 receives an input event input to the superimposed image.

ステップS2にて、イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。 In step S2, the event transmission unit 20 becomes a virtual machine corresponding to the input position of the input event based on the correspondence relationship between the plurality of positions in the superimposed image and one drawing layer from which the image is derived at each position. , Send an input event.

以上をまとめると、実施の形態1におけるイベント送信装置100は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する。イベント送信装置100は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける入力部10と、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信するイベント送信部20と、を含む。 Summarizing the above, the event transmission device 100 according to the first embodiment transmits an input event to one of the plurality of virtual machines 30 operating on the hypervisor. The event transmission device 100 includes an input unit 10 in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30 receive input events input to the superimposed images superimposed on each other, and a plurality of the superimposed images. Based on the correspondence between the position of An event transmission unit 20 for transmitting an input event to the machine is included.

以上の構成により、イベント送信装置100は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信装置100は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。 With the above configuration, the event transmission device 100 can efficiently transmit the input event to the destination virtual machine operating on the hypervisor. The event transmission device 100 reduces the total amount of communication between the hypervisor and each virtual machine 30.

以上をまとめると、実施の形態1におけるイベント送信方法は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する方法である。イベント送信方法は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。 Summarizing the above, the event transmission method in the first embodiment is a method of transmitting an input event to one of a plurality of virtual machines 30 operating on the hypervisor. In the event transmission method, a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30 receive input events input to the superimposed images superimposed on each other, and a plurality of positions and each position in the superimposed image. The input event is transmitted to one of the plurality of virtual machines 30 corresponding to the input position of the input event in the superimposed image, based on the correspondence relationship with the one drawing layer from which the image is derived.

以上の構成により、イベント送信方法は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信方法は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。 With the above configuration, the event transmission method can efficiently transmit the input event to the destination virtual machine operating on the hypervisor. The event transmission method reduces the total amount of communication between the hypervisor and each virtual machine 30.

<実施の形態2>
実施の形態2におけるイベント送信装置およびイベント送信方法を説明する。実施の形態2は、実施の形態1の下位概念である。実施の形態2におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1と同様の構成および動作については説明を省略する。
<Embodiment 2>
The event transmission device and the event transmission method according to the second embodiment will be described. The second embodiment is a subordinate concept of the first embodiment. The event transmission device according to the second embodiment includes each configuration of the event transmission device 100 shown in the first embodiment. The same configuration and operation as in the first embodiment will not be described.

図5は、実施の形態2におけるイベント送信装置101の構成を示すブロック図である。また、図5には、イベント送信装置101と関連して動作する装置として、ディスプレイ110およびタッチパネル120が図示されている。イベント送信装置101は、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、イベント送信部20、および複数の仮想マシン30を有する。 FIG. 5 is a block diagram showing the configuration of the event transmission device 101 according to the second embodiment. Further, FIG. 5 shows a display 110 and a touch panel 120 as devices that operate in connection with the event transmission device 101. The event transmission device 101 includes a superimposition unit 50, a display control unit 60, an input unit 10, a layer configuration storage unit 40, an event transmission unit 20, and a plurality of virtual machines 30.

複数の仮想マシン30は、実施の形態2において、第1仮想マシン301から第N仮想マシン30Nを含む。各仮想マシンは、ハイパーバイザ上で動作する。 The plurality of virtual machines 30 include the first virtual machine 301 to the Nth virtual machine 30N in the second embodiment. Each virtual machine runs on a hypervisor.

重畳部50は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤを重畳し、重畳画像を生成する。その際、重畳部50は、まず各仮想マシン30によって描画された画像を取得する。重畳部50は、レイヤ構成関係を参照して、その画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。重畳部50は、各描画レイヤの画像を重畳し、重畳画像を生成する。図6は、実施の形態2におけるレイヤ構成関係の一例を示す図である。ここでは、レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンとが対応づけられたテーブルである。使用仮想マシンとは、描画レイヤ番号の欄に示された描画レイヤに書き込まれるべき画像が由来する仮想マシン30のことである。例えば、描画レイヤ番号「1」で示される描画レイヤには、第1仮想マシン301によって描画される画像が書き込まれる。または、例えば、描画レイヤ番号「2」で示される描画レイヤには、第2仮想マシン302によって描画される画像が書き込まれる。 The superimposing unit 50 superimposes a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30 to generate a superposed image. At that time, the superimposing unit 50 first acquires an image drawn by each virtual machine 30. The superimposing unit 50 writes the image on the drawing layer corresponding to each virtual machine 30 from which the image is derived with reference to the layer configuration relationship. The superimposition unit 50 superimposes the images of each drawing layer to generate a superimposition image. FIG. 6 is a diagram showing an example of the layer configuration relationship in the second embodiment. Here, the layer configuration relationship is a table in which the drawing layer number and the virtual machine used are associated with each other. The virtual machine used is the virtual machine 30 from which the image to be written in the drawing layer indicated in the drawing layer number column is derived. For example, an image drawn by the first virtual machine 301 is written in the drawing layer indicated by the drawing layer number “1”. Alternatively, for example, an image drawn by the second virtual machine 302 is written in the drawing layer indicated by the drawing layer number “2”.

図7および図8は、実施の形態2における描画レイヤ2および重畳画像5の一例を示す図である。図7および図8は、説明を簡略化するため、2つの描画レイヤ2およびその2つの描画レイヤ2が重畳された1つの重畳画像5を示している。2つの描画レイヤ2は、図6における描画レイヤ番号「1」に対応する第1描画レイヤ2Aおよび描画レイヤ番号「2」に対応する第2描画レイヤ2Bからなる。第1描画レイヤ2Aは、第2描画レイヤ2Bよりも上位に位置する。 7 and 8 are diagrams showing an example of the drawing layer 2 and the superimposed image 5 in the second embodiment. 7 and 8 show one superimposed image 5 on which two drawing layers 2 and the two drawing layers 2 are superimposed for the sake of brevity. The two drawing layers 2 are composed of a first drawing layer 2A corresponding to the drawing layer number "1" in FIG. 6 and a second drawing layer 2B corresponding to the drawing layer number "2". The first drawing layer 2A is located higher than the second drawing layer 2B.

図7において、第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。その第1仮想マシン301は、第1領域3に、ユーザによる操作を受け付ける領域であるボタン、ユーザに対するメッセージもしくは画面内のデザイン等(いずれも図示せず)を描画している。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2仮想マシン302は、第2領域4に、ユーザによる操作を受け付けるボタン、ユーザに対するメッセージまたは画面内のデザイン等(いずれも図示せず)を描画している。第2領域4以外の領域は透明である。重畳画像5は、第1描画レイヤ2Aと第2描画レイヤ2Bとが互いに重畳されている。重畳画像5は、それぞれの描画レイヤ2に由来する第1領域3と第2領域4とを含む。 In FIG. 7, the first area 3 is drawn on the first drawing layer 2A by the first virtual machine 301. The first virtual machine 301 draws a button, a message to the user, a design in the screen, and the like (none of which are shown), which is an area for receiving an operation by the user, in the first area 3. Areas other than the first area 3 are transparent. The second area 4 is drawn on the second drawing layer 2B by the second virtual machine 302. The second virtual machine 302 draws a button for accepting an operation by the user, a message to the user, a design in the screen, and the like (none of which are shown) in the second area 4. Areas other than the second area 4 are transparent. In the superimposed image 5, the first drawing layer 2A and the second drawing layer 2B are superimposed on each other. The superimposed image 5 includes a first region 3 and a second region 4 derived from the respective drawing layers 2.

図8においても、同様である。第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2領域4以外の領域は透明である。重畳画像5において、第1描画レイヤ2Aが透明である領域には、第2描画レイヤ2Bの第2領域4が描画されている。第1領域3と第2領域4とが重なる領域には、第1描画レイヤ2Aにおける第1領域3が描画されている。 The same applies to FIG. The first area 3 is drawn on the first drawing layer 2A by the first virtual machine 301. Areas other than the first area 3 are transparent. The second area 4 is drawn on the second drawing layer 2B by the second virtual machine 302. Areas other than the second area 4 are transparent. In the superimposed image 5, the second region 4 of the second drawing layer 2B is drawn in the region where the first drawing layer 2A is transparent. The first area 3 in the first drawing layer 2A is drawn in the area where the first area 3 and the second area 4 overlap.

また、実施の形態2において、重畳画像5および各描画レイヤ2は、複数のピクセルを有する。重畳画像5のピクセル数と各描画レイヤ2のピクセル数とは同じである。重畳画像5は、複数の描画レイヤ2が複数のピクセルごとに重畳されている。 Further, in the second embodiment, the superimposed image 5 and each drawing layer 2 have a plurality of pixels. The number of pixels of the superimposed image 5 and the number of pixels of each drawing layer 2 are the same. In the superimposed image 5, a plurality of drawing layers 2 are superimposed on each of a plurality of pixels.

また、各描画レイヤ2における各ピクセルは、色情報を示すRGB値に加え、透明度の情報を示すアルファチャネルを有する。アルファチャネルは、ここでは、α値で示される。例えば、一のピクセルのα値が1の場合、そのピクセルは不透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色が描画される。または、例えば、ピクセルのα値が0の場合、そのピクセルは透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色は描画されない。図7および図8において、第1領域3と第2領域4のα値はともに1であり、透明な領域のα値はともに0である。重畳部50は、その透明度情報(α値)と、予め定められた透明度に関する閾値とに基づいて、重畳画像5を生成してもよい。閾値が適切に設定されることで、重畳部50は、2以上の描画レイヤ2が半透明な状態で重畳された重畳画像5の生成が可能である。 Further, each pixel in each drawing layer 2 has an alpha channel indicating transparency information in addition to an RGB value indicating color information. The alpha channel is represented here by an alpha value. For example, if the α value of one pixel is 1, that pixel is opaque. In that case, a color corresponding to the RGB value is drawn on the pixel in the superimposed image 5. Or, for example, when the α value of a pixel is 0, the pixel is transparent. In that case, the color corresponding to the RGB value is not drawn on the pixel in the superimposed image 5. In FIGS. 7 and 8, the α values of the first region 3 and the second region 4 are both 1, and the α values of the transparent regions are both 0. The superimposing unit 50 may generate the superimposing image 5 based on the transparency information (α value) and a predetermined threshold value for transparency. When the threshold value is appropriately set, the superimposing unit 50 can generate a superimposing image 5 in which two or more drawing layers 2 are superposed in a semi-transparent state.

また、重畳部50は、重畳画像5における複数の位置と、各位置における画像が由来する一の描画レイヤ2との対応関係を生成する。例えば、図7または図8において、重畳部50は、重畳画像5における第1領域3の位置と、その第1領域3の画像が由来する第1描画レイヤ2Aとを対応付ける。また、重畳部50は、重畳画像5における第2領域4の位置と、その第2領域4の画像が由来する第2描画レイヤ2Bとを対応付ける。 Further, the superimposition unit 50 generates a correspondence relationship between a plurality of positions in the superimposition image 5 and one drawing layer 2 from which the image at each position is derived. For example, in FIG. 7 or FIG. 8, the superimposing unit 50 associates the position of the first region 3 in the superimposing image 5 with the first drawing layer 2A from which the image of the first region 3 is derived. Further, the superimposition unit 50 associates the position of the second region 4 in the superimposition image 5 with the second drawing layer 2B from which the image of the second region 4 is derived.

実施の形態2において、重畳部50は、上記の対応関係として、ビットマップを生成する。ここでは、ビットマップは、重畳画像5および各描画レイヤ2のピクセル数と同じピクセル数を有する。すなわち、上記の対応関係における対応の単位である重畳画像5の各位置として、各ピクセルの単位が適用される。 In the second embodiment, the superimposing unit 50 generates a bitmap as the above-mentioned correspondence. Here, the bitmap has the same number of pixels as the number of pixels of the superimposed image 5 and each drawing layer 2. That is, the unit of each pixel is applied as each position of the superimposed image 5, which is the unit of correspondence in the above correspondence.

ビットマップは、重畳画像5における一のピクセルの座標と、その一のピクセルの画像が由来する一の描画レイヤ2とが対応付けられた情報を含む。各画像レイヤの各ピクセルがα値を有する場合、重畳部50は、α値と、予め定められた透明度に関する閾値とに基づいて、ビットマップを生成する。図9は、実施の形態2におけるビットマップ6の一例を示す図である。ビットマップ6には、各ピクセル7を描画する描画レイヤ番号が格納されている。例えば、図9に示されるビットマップ6において、「1」は第1描画レイヤ2Aに由来する画像であることが示されている。「2」は第2描画レイヤ2Bに由来する画像であることが示されている。なお、実施の形態2においては、ビットマップ6は重畳画像5とは別に生成される。 The bitmap contains information in which the coordinates of one pixel in the superimposed image 5 and the one drawing layer 2 from which the image of the one pixel is derived are associated with each other. When each pixel of each image layer has an α value, the superimposing unit 50 generates a bitmap based on the α value and a predetermined threshold value for transparency. FIG. 9 is a diagram showing an example of the bitmap 6 in the second embodiment. The bitmap 6 stores a drawing layer number for drawing each pixel 7. For example, in the bitmap 6 shown in FIG. 9, "1" is shown to be an image derived from the first drawing layer 2A. It is shown that "2" is an image derived from the second drawing layer 2B. In the second embodiment, the bitmap 6 is generated separately from the superimposed image 5.

表示制御部60は、重畳部50で生成された重畳画像5をディスプレイ110に表示させる制御を行う。 The display control unit 60 controls the display 110 to display the superposed image 5 generated by the superimposing unit 50.

ディスプレイ110は、表示制御部60の制御に従い、重畳画像5を表示する。 The display 110 displays the superimposed image 5 under the control of the display control unit 60.

タッチパネル120は、入力装置である。タッチパネル120はディスプレイ110に内包された装置であってもよい。 The touch panel 120 is an input device. The touch panel 120 may be a device included in the display 110.

入力部10は、ディスプレイ110に表示される重畳画像5に対してタッチパネル120によって入力される入力イベントを受け付ける。その入力イベントは、重畳画像5における入力位置つまりタッチ座標を含む。 The input unit 10 receives an input event input by the touch panel 120 with respect to the superimposed image 5 displayed on the display 110. The input event includes an input position or touch coordinate in the superimposed image 5.

レイヤ構成記憶部40は、上述したレイヤ構成関係を記憶する。図6に示されるように、1つの仮想マシンは複数の描画レイヤ2に対応していてもよいし、図示は省略するが1つの仮想マシンが1つの描画レイヤにだけ対応していてもよい。ただし、1つの描画レイヤ2は、1つの仮想マシンだけに対応している必要がある。 The layer configuration storage unit 40 stores the above-mentioned layer configuration relationship. As shown in FIG. 6, one virtual machine may correspond to a plurality of drawing layers 2, and although not shown, one virtual machine may correspond to only one drawing layer. However, one drawing layer 2 needs to correspond to only one virtual machine.

イベント送信部20は、タッチ座標に対応するピクセル座標と、重畳部50が生成したビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。また、イベント送信部20は、レイヤ構成記憶部40が記憶するレイヤ構成関係に基づき、特定した描画レイヤ2に対応する送信先の仮想マシンを特定する。そして、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。 The event transmission unit 20 identifies one drawing layer 2 from which the image of the region corresponding to the touch coordinates is derived, based on the pixel coordinates corresponding to the touch coordinates and the bitmap 6 generated by the superimposition unit 50. Further, the event transmission unit 20 specifies a transmission destination virtual machine corresponding to the specified drawing layer 2 based on the layer configuration relationship stored in the layer configuration storage unit 40. Then, the event transmission unit 20 transmits an input event to the transmission destination virtual machine.

図10は、実施の形態2におけるイベント送信装置101のハードウェアとハイパーバイザとの関係を示す図である。イベント送信装置101は、ハードウェアとしてSoC(System on Chip)130を有する。SoC130は、実施の形態1に示された処理回路に対応する。つまり、SoC130は、入力部10、イベント送信部20、複数の仮想マシン30、レイヤ構成記憶部40、重畳部50および表示制御部60を有し、各機能部の機能を実現する。また、SoC130は、タッチパネル120から入力される入力イベントを受け付ける。また、SoC130は、重畳画像5をディスプレイ110に出力する。複数の仮想マシン30は、SoC130にインストールされたハイパーバイザ140上で動作する。各仮想マシンは、そのハイパーバイザ140上にソフトウェアによって仮想的に構築されている。 FIG. 10 is a diagram showing the relationship between the hardware of the event transmission device 101 and the hypervisor according to the second embodiment. The event transmission device 101 has a SoC (System on Chip) 130 as hardware. The SoC 130 corresponds to the processing circuit shown in the first embodiment. That is, the SoC 130 has an input unit 10, an event transmission unit 20, a plurality of virtual machines 30, a layer configuration storage unit 40, a superimposition unit 50, and a display control unit 60, and realizes the functions of each functional unit. Further, the SoC 130 accepts an input event input from the touch panel 120. Further, the SoC 130 outputs the superimposed image 5 to the display 110. The plurality of virtual machines 30 operate on the hypervisor 140 installed on the SoC 130. Each virtual machine is virtually built by software on its hypervisor 140.

次に、重畳部50による重畳画像の生成動作について説明する。図11は、実施の形態2における重畳画像の生成動作を示すフローチャートである。 Next, the operation of generating the superposed image by the superimposing unit 50 will be described. FIG. 11 is a flowchart showing the operation of generating the superimposed image according to the second embodiment.

ステップS5にて、重畳部50は、各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。 In step S5, the superimposing unit 50 acquires the image drawn by each virtual machine 30 and the layer configuration relationship.

ステップS6にて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。 In step S6, the superimposing unit 50 writes the image on the drawing layer corresponding to each virtual machine 30 from which each image is derived with reference to the layer configuration relationship.

ステップS7にて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。 In step S7, the superimposing unit 50 superimposes a plurality of drawing layers to generate a superposed image 5. By the above steps, the superimposed image 5 is generated.

次に、重畳部50によるビットマップの生成動作について説明する。図12は、実施の形態2におけるビットマップ生成動作を示すフローチャートである。 Next, the operation of generating the bitmap by the superimposing unit 50 will be described. FIG. 12 is a flowchart showing a bitmap generation operation according to the second embodiment.

ステップS10にて、重畳部50は、ビットマップ6を準備し、そのビットマップ6を初期化する。 In step S10, the superimposing unit 50 prepares the bitmap 6 and initializes the bitmap 6.

ステップS20にて、重畳部50は、重畳画像5を取得する。 In step S20, the superimposing unit 50 acquires the superimposing image 5.

ステップS30にて、重畳部50は、重畳画像5の全ピクセル7に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全ピクセル7に対して処理が完了したと判定した場合、ビットマップ生成動作は終了する。重畳部50が全ピクセル7に対して処理が完了していないと判定した場合、ステップS40が実行される。 In step S30, the superimposing unit 50 determines whether or not the generation processing of the bitmap 6 is completed for all the pixels 7 of the superimposing image 5. When the superimposing unit 50 determines that the processing has been completed for all the pixels 7, the bitmap generation operation ends. If the superimposing unit 50 determines that the processing has not been completed for all the pixels 7, step S40 is executed.

ステップS40にて、重畳部50は、重畳画像5の全描画レイヤ2に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全描画レイヤ2に対して処理が完了したと判定した場合、ステップS80が実行される。重畳部50が全描画レイヤ2に対して処理が完了していないと判定した場合、ステップS50が実行される。 In step S40, the superimposing unit 50 determines whether or not the generation processing of the bitmap 6 is completed for all the drawing layers 2 of the superimposing image 5. When the superimposing unit 50 determines that the processing has been completed for all the drawing layers 2, step S80 is executed. If the superimposing unit 50 determines that the processing has not been completed for all the drawing layers 2, step S50 is executed.

ステップS50にて、重畳部50は、重畳画像5の複数の描画レイヤ2のうち、現在処理中の一の描画レイヤ2における一のピクセル7のデータを取得する。ここでは、一のピクセル7のデータとは、RGBA値である。RGBA値は、色情報であるRGB値に加え、透明情報であるα値を含む。 In step S50, the superimposing unit 50 acquires the data of one pixel 7 in one drawing layer 2 currently being processed among the plurality of drawing layers 2 of the superposed image 5. Here, the data of one pixel 7 is an RGBA value. The RGBA value includes an α value which is transparent information in addition to the RGB value which is color information.

ステップS60にて、重畳部50は、その一のピクセル7において、α値≧閾値の関係式を満たすか否かを判定する。重畳部50がその関係式を満たすと判定した場合、ステップS80が実行される。重畳部50がその関係式を満たさないと判定した場合、ステップS70が実行される。 In step S60, the superimposing unit 50 determines whether or not the relational expression of α value ≧ threshold value is satisfied in the one pixel 7. If it is determined that the superimposing unit 50 satisfies the relational expression, step S80 is executed. If it is determined that the superimposing unit 50 does not satisfy the relational expression, step S70 is executed.

ステップS70にて、重畳部50は、処理対象の描画レイヤ2を次の描画レイヤ2に設定する。 In step S70, the superimposing unit 50 sets the drawing layer 2 to be processed to the next drawing layer 2.

ステップS80にて、重畳部50は、現在処理中のピクセル7に対応するビットマップ6のピクセル7に、現在処理中の描画レイヤ番号を出力する。なお、全描画レイヤ2に対する処理が完了した結果としてステップS80が実行されている場合、上記の現在処理中の描画レイヤ番号は、複数の描画レイヤ番号のうち最大値である。 In step S80, the superimposing unit 50 outputs the drawing layer number currently being processed to the pixel 7 of the bitmap 6 corresponding to the pixel 7 currently being processed. When step S80 is executed as a result of completing the processing for all drawing layers 2, the drawing layer number currently being processed is the maximum value among the plurality of drawing layer numbers.

ステップS90にて、重畳部50は、処理対象のピクセル7を次のピクセル7に設定する。以上のステップにより、ビットマップが生成される。 In step S90, the superimposing unit 50 sets the pixel 7 to be processed to the next pixel 7. A bitmap is generated by the above steps.

次に、イベント送信方法について説明する。図13は、実施の形態2におけるイベント送信装置101の動作およびイベント送信方法を示すフローチャートである。 Next, the event transmission method will be described. FIG. 13 is a flowchart showing the operation of the event transmission device 101 and the event transmission method according to the second embodiment.

ステップS100にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。 In step S100, the input unit 10 acquires the touch coordinates in which the input event is input.

ステップS110にて、イベント送信部20は、重畳部50から対応関係(ビットマップ6)を取得する。 In step S110, the event transmission unit 20 acquires the correspondence (bitmap 6) from the superimposition unit 50.

ステップS120にて、イベント送信部20は、タッチ座標とビットマップ6とに基づき描画レイヤ番号を取得する。 In step S120, the event transmission unit 20 acquires the drawing layer number based on the touch coordinates and the bitmap 6.

ステップS130にて、イベント送信部20は、レイヤ構成記憶部40からレイヤ構成関係を取得する。 In step S130, the event transmission unit 20 acquires the layer configuration relationship from the layer configuration storage unit 40.

ステップS140にて、イベント送信部20は、描画レイヤ番号とレイヤ構成関係とに基づき、複数の仮想マシンから送信先の仮想マシンとして一の仮想マシンを選択する。 In step S140, the event transmission unit 20 selects one virtual machine as the transmission destination virtual machine from the plurality of virtual machines based on the drawing layer number and the layer configuration relationship.

ステップS150にて、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。 In step S150, the event transmission unit 20 transmits an input event to the destination virtual machine.

その後のステップにおいて、送信先の仮想マシンが入力イベントに基づいた処理を実行する。イベント送信装置101は、その処理に関連する結果を、重畳部50および表示制御部60を介して、ディスプレイ110に出力してもよい。 In subsequent steps, the destination virtual machine performs processing based on the input event. The event transmission device 101 may output the result related to the processing to the display 110 via the superimposition unit 50 and the display control unit 60.

また、実施の形態2において、タッチパネル120およびディスプレイ110は、イベント送信装置101とは別の装置として示されたが、イベント送信装置101がタッチパネル120およびディスプレイ110を内包する構成を有していてもよい。 Further, in the second embodiment, the touch panel 120 and the display 110 are shown as devices different from the event transmission device 101, but even if the event transmission device 101 has a configuration including the touch panel 120 and the display 110. good.

以上をまとめると、実施の形態2におけるイベント送信装置101は、複数の描画レイヤ2を重畳し、重畳画像5と対応関係とを生成する重畳部50をさらに含む。重畳画像5と複数の描画レイヤ2の各々とは、それぞれ複数のピクセル7を含む。重畳画像5は、複数の描画レイヤ2が複数のピクセル7ごとに重畳された画像である。対応関係における対応の単位である重畳画像5の各位置として、各ピクセル7の単位が適用される。 Summarizing the above, the event transmission device 101 according to the second embodiment further includes a superimposing unit 50 that superimposes a plurality of drawing layers 2 to generate a superimposing image 5 and a correspondence relationship. Each of the superimposed image 5 and the plurality of drawing layers 2 includes a plurality of pixels 7. The superimposed image 5 is an image in which a plurality of drawing layers 2 are superimposed on each of the plurality of pixels 7. A unit of each pixel 7 is applied as each position of the superimposed image 5, which is a unit of correspondence in the correspondence relationship.

また、実施の形態2におけるイベント送信装置101の重畳部50は、対応関係として、重畳画像5における一のピクセル7の座標と、一のピクセル7の画像が由来している一の描画レイヤ2と、を対応付けたビットマップ6を生成する。イベント送信部20は、ビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。 Further, the superimposing unit 50 of the event transmission device 101 in the second embodiment corresponds to the coordinates of one pixel 7 in the superimposing image 5 and the one drawing layer 2 from which the image of one pixel 7 is derived. , To generate a bitmap 6. The event transmission unit 20 transmits an input event to the destination virtual machine based on the bitmap 6.

このような構成により、イベント送信装置101は、重畳画像5の各ピクセル7を最小単位として、入力位置に対応する一の仮想マシンを選択することができるため、入力解像度が向上する。 With such a configuration, the event transmission device 101 can select one virtual machine corresponding to the input position with each pixel 7 of the superimposed image 5 as the minimum unit, so that the input resolution is improved.

また、実施の形態2におけるイベント送信装置101において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における透明度情報を含む。重畳部50は、透明度情報と、予め定められた透明度に関する閾値とに基づいて、一のピクセル7の画像が由来している一の描画レイヤ2を決定することにより、重畳画像5とビットマップ6とを生成する。 Further, in the event transmission device 101 according to the second embodiment, each of the plurality of drawing layers 2 includes transparency information in each of the plurality of pixels 7. The superimposing unit 50 determines the superimposing image 5 and the bitmap 6 by determining one drawing layer 2 from which the image of one pixel 7 is derived based on the transparency information and a predetermined threshold value for transparency. And generate.

基本的には、複数の描画レイヤ2のうち、透明度が0%(つまり不透過)であって上位に位置する描画レイヤ2が、ユーザに視認される。その場合、ユーザによる入力イベントは、不透過の描画レイヤ2に対して入力される。しかし、実施の形態2におけるイベント送信装置101は、閾値が変更可能であることにより、例えば、半透過の描画レイヤ2に対する入力イベントを処理することも可能である。また、閾値は、動的に変更可能に設定されてもよい。 Basically, of the plurality of drawing layers 2, the drawing layer 2 having a transparency of 0% (that is, opaque) and located at a higher level is visually recognized by the user. In that case, the input event by the user is input to the opaque drawing layer 2. However, the event transmission device 101 according to the second embodiment can process an input event for the semitransparent drawing layer 2, for example, because the threshold value can be changed. Further, the threshold value may be set so as to be dynamically changeable.

(実施の形態2の変形例1)
実施の形態2の変形例1において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における色情報をさらに含む。変形例1のビットマップ6の生成動作においては、α値が0であり、かつ、α値以外の値(例えば、色情報であるRGB値)が特定の値である場合、重畳部50は、現在処理中のピクセル7に、現在処理中の描画レイヤ番号を出力する。すなわち、重畳部50は、一の描画レイヤ2における一のピクセル7の透明度情報が透明であり、かつ、色情報が特定色である場合、一の描画レイヤ2と一のピクセル7の座標とを対応付けたビットマップ6を生成する。この処理は、例えば、ステップS60とステップS70との間に実行される。このようなイベント送信装置は、ディスプレイ110に表示される重畳画像5には現れない「隠しボタン」に対して入力される入力イベントを、適切な仮想マシンに送信することができる。
(Modification 1 of Embodiment 2)
In the first modification of the second embodiment, each of the plurality of drawing layers 2 further includes color information in each of the plurality of pixels 7. In the generation operation of the bitmap 6 of the modification 1, when the α value is 0 and the value other than the α value (for example, the RGB value which is the color information) is a specific value, the superimposing portion 50 is set. The drawing layer number currently being processed is output to pixel 7 currently being processed. That is, when the transparency information of one pixel 7 in one drawing layer 2 is transparent and the color information is a specific color, the superimposing unit 50 sets the coordinates of one drawing layer 2 and one pixel 7. Generate the associated bitmap 6. This process is executed, for example, between step S60 and step S70. Such an event transmitting device can transmit an input event input to the "hidden button" that does not appear in the superimposed image 5 displayed on the display 110 to an appropriate virtual machine.

(実施の形態2の変形例2)
上記の実施の形態2において、重畳部50は重畳画像5とは別にビットマップ6を生成していた。実施の形態2の変形例2における重畳部50は、ビットマップ6を含む重畳画像5を生成する。つまり、重畳画像5には、対応関係を示すビットマップ6が埋め込まれている。
(Modification 2 of Embodiment 2)
In the second embodiment described above, the superimposing unit 50 generates the bitmap 6 separately from the superimposing image 5. The superimposing unit 50 in the second modification of the second embodiment generates a superimposing image 5 including a bitmap 6. That is, a bitmap 6 showing a correspondence relationship is embedded in the superimposed image 5.

図14は、実施の形態2の変形例2における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 14 is a flowchart showing a bitmap generation operation by the superimposing unit 50 in the second modification of the second embodiment.

ステップS20にて、重畳部50は、重畳画像5を取得する。 In step S20, the superimposing unit 50 acquires the superimposing image 5.

ステップS30からステップS70までは、図12に示される各ステップと同様である。 Steps S30 to S70 are the same as each step shown in FIG.

ステップS81にて、重畳部50は、現在処理中のピクセル7に対応する重畳画像5のピクセル7に現在処理中の描画レイヤ番号を埋め込む。例えば、描画レイヤ番号が0から7である場合、RGB値をそれぞれ格納する複数のビットのうち、最下位側の3bitに描画レイヤ番号が格納される。 In step S81, the superimposing unit 50 embeds the drawing layer number currently being processed in the pixel 7 of the superimposing image 5 corresponding to the pixel 7 currently being processed. For example, when the drawing layer number is 0 to 7, the drawing layer number is stored in the lowest 3 bits of the plurality of bits for storing the RGB values.

ステップS90は、図12に示されるステップS90と同様である。 Step S90 is the same as step S90 shown in FIG.

その後、イベント送信部20は、重畳画像5に含まれるビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。そのイベント送信方法は、図13に示される方法と同様である。 After that, the event transmission unit 20 transmits the input event to the transmission destination virtual machine corresponding to the input position based on the bitmap 6 included in the superimposed image 5. The event transmission method is the same as the method shown in FIG.

以上の実施の形態2の変形例2においては、重畳部50は、重畳画像5の生成を完了したあとに、その重畳画像5にビットマップ6を埋め込んでいる。しかし、ビットマップ6の生成と埋め込み方法とは、それに限定されるものではない。重畳部50は、重畳画像5の生成と同時にビットマップ6の埋め込みを行ってよい。 In the second modification of the second embodiment, the superimposing unit 50 embeds the bitmap 6 in the superimposing image 5 after completing the generation of the superimposing image 5. However, the method of generating and embedding the bitmap 6 is not limited thereto. The superimposition unit 50 may embed the bitmap 6 at the same time as the superimposition image 5 is generated.

実施の形態2の変形例2におけるイベント送信装置は、ビットマップ6を出力する際に必要な記憶領域を必要としない。 The event transmission device according to the second modification of the second embodiment does not require a storage area required for outputting the bitmap 6.

<実施の形態3>
実施の形態3におけるイベント送信装置およびイベント送信方法を説明する。実施の形態3は、実施の形態1の下位概念である。実施の形態3におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1または2と同様の構成および動作については説明を省略する。
<Embodiment 3>
The event transmission device and the event transmission method according to the third embodiment will be described. The third embodiment is a subordinate concept of the first embodiment. The event transmission device according to the third embodiment includes each configuration of the event transmission device 100 shown in the first embodiment. The description of the configuration and operation similar to those of the first or second embodiment will be omitted.

イベント送信装置とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔(フレームレート)よりも長い場合、タッチパネル120から入力部10に入力イベントが到着するまでの間に、ディスプレイ110に表示される重畳画像5が更新される。つまり、その重畳画像5に対応するビットマップ6も更新される。この場合、イベント送信部20は、更新されたビットマップ6と、更新前の重畳画像5に対する入力位置とに基づき、送信先の仮想マシンを選択する。その結果、イベント送信装置が入力イベントを誤送信する可能性が高まる。実施の形態3におけるイベント送信装置は、このような課題を解決する。 When the communication time between the event transmission device and the touch panel 120 is longer than the display update interval (frame rate) of the display 110, it is displayed on the display 110 before the input event arrives at the input unit 10 from the touch panel 120. The superimposed image 5 to be generated is updated. That is, the bitmap 6 corresponding to the superimposed image 5 is also updated. In this case, the event transmission unit 20 selects the transmission destination virtual machine based on the updated bitmap 6 and the input position with respect to the superimposed image 5 before the update. As a result, the event transmitting device is more likely to erroneously transmit an input event. The event transmitting device according to the third embodiment solves such a problem.

図15は、実施の形態3におけるイベント送信装置102の構成を示すブロック図である。イベント送信装置102は、実施の形態2に示された構成に加え、時刻取得部70およびビットマップ記憶部80をさらに有する。 FIG. 15 is a block diagram showing the configuration of the event transmission device 102 according to the third embodiment. The event transmission device 102 further includes a time acquisition unit 70 and a bitmap storage unit 80 in addition to the configuration shown in the second embodiment.

時刻取得部70は、時刻情報を取得する。時刻は現在時刻である。 The time acquisition unit 70 acquires time information. The time is the current time.

重畳部50は、重畳画像5を生成した時刻情報を生成時刻として重畳画像5およびビットマップ6に付与する。重畳部50は、重畳画像5およびビットマップ6を生成する度に、生成時刻をそれぞれ付与する。 The superimposition unit 50 adds the time information that generated the superimposition image 5 to the superimposition image 5 and the bitmap 6 as the generation time. The superimposition unit 50 assigns a generation time each time the superimposition image 5 and the bitmap 6 are generated.

表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。また、表示制御部60は、その重畳画像5に付与された生成時刻を入力部10に出力する。 The display control unit 60 controls the display 110 to display the superimposed image 5. Further, the display control unit 60 outputs the generation time assigned to the superimposed image 5 to the input unit 10.

ビットマップ記憶部80は、重畳部50で生成されたビットマップ6であって、互いに異なる生成時刻が付与された複数のビットマップ6を記憶する。 The bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 and having different generation times.

入力部10は、タッチパネル120からタッチ座標を含む入力イベントを受け付ける。また、入力部10は、重畳部50にて重畳画像5に付与された生成時刻を取得する。ここでは、入力部10は、表示制御部60からその生成時刻を取得する。 The input unit 10 receives an input event including touch coordinates from the touch panel 120. Further, the input unit 10 acquires the generation time given to the superposed image 5 by the superimposing unit 50. Here, the input unit 10 acquires the generation time from the display control unit 60.

イベント送信部20は、入力部10からタッチ座標を含む入力イベントと、重畳画像5に付与された生成時刻と、を取得する。イベント送信部20は、予め定められた選択条件に基づき、ビットマップ記憶部80に記憶されている複数のビットマップ6から一のビットマップ6を選択する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。ここでは、イベント送信部20は、ビットマップ記憶部80に記憶されている複数のビットマップ6のうち、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。イベント送信部20は、その一のビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。 The event transmission unit 20 acquires an input event including touch coordinates from the input unit 10 and a generation time assigned to the superimposed image 5. The event transmission unit 20 selects one bitmap 6 from a plurality of bitmaps 6 stored in the bitmap storage unit 80 based on a predetermined selection condition. The predetermined selection condition is a condition related to the generation time acquired by the input unit 10 and the generation time assigned to each bitmap 6 stored in the bitmap storage unit 80. Here, the event transmission unit 20 is one of a plurality of bitmaps 6 stored in the bitmap storage unit 80, to which a generation time corresponding to the generation time acquired by the input unit 10 is assigned. Select 6. The event transmission unit 20 transmits an input event to the transmission destination virtual machine corresponding to the input position based on the one bitmap 6.

実施の形態3における時刻取得部70、重畳部50、表示制御部60、ビットマップ記憶部80、入力部10、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。 The functions of the time acquisition unit 70, the superimposition unit 50, the display control unit 60, the bitmap storage unit 80, the input unit 10, the layer configuration storage unit 40, and the event transmission unit 20 in the third embodiment are shown in FIG. 10, for example. It is realized by the SoC130.

図16は、実施の形態3における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 16 is a flowchart showing a bitmap generation operation by the superimposing unit 50 in the third embodiment.

ステップS12にて、重畳部50は、ビットマップ6を初期化し、生成時刻をビットマップ6に付与する。 In step S12, the superimposing unit 50 initializes the bitmap 6 and assigns the generation time to the bitmap 6.

ステップS20以降は、図12に示される各ステップと同様である。 The steps after step S20 are the same as those of each step shown in FIG.

図17は、実施の形態3におけるイベント送信装置102の動作およびイベント送信方法を示すフローチャートである。 FIG. 17 is a flowchart showing the operation of the event transmission device 102 and the event transmission method according to the third embodiment.

ステップS101にて、入力部10は、入力イベントが入力されたタッチ座標と重畳画像5に付与された生成時刻とを取得する。 In step S101, the input unit 10 acquires the touch coordinates in which the input event is input and the generation time given to the superimposed image 5.

ステップS111にて、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。 In step S111, one bitmap 6 to which a generation time matching the generation time acquired by the input unit 10 is assigned is selected.

ステップS120以降は、図13に示される各ステップと同様である。 The steps after step S120 are the same as those of each step shown in FIG.

以上をまとめると、実施の形態3におけるイベント送信装置102は、ビットマップ記憶部80をさらに含む。重畳部50は、重畳画像5を生成する度に、重畳画像5に対応するビットマップ6を生成する。ビットマップ記憶部80は、重畳部50によって互いに異なるタイミングで生成された複数のビットマップ6を記憶する。イベント送信部20は、予め定められた選択条件に基づき、複数のビットマップ6から送信先の仮想マシンを選択するための一のビットマップ6を選択する。 Summarizing the above, the event transmission device 102 in the third embodiment further includes a bitmap storage unit 80. The superimposing unit 50 generates a bitmap 6 corresponding to the superimposing image 5 each time the superimposing image 5 is generated. The bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 at different timings. The event transmission unit 20 selects one bitmap 6 for selecting a destination virtual machine from a plurality of bitmaps 6 based on a predetermined selection condition.

このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even if the communication time between the event transmission device 102 and the touch panel 120 is longer than the display update interval of the display 110, the event transmission device 102 accurately sets the input event to the appropriate virtual machine. Send to.

また、実施の形態3におけるイベント送信装置102は、時刻情報を取得する時刻取得部70をさらに含む。重畳部50は、重畳画像5とビットマップ6とを生成する度に、重畳画像5とビットマップ6とに時刻情報を生成時刻として付与する。入力部10は、重畳画像5に付与された生成時刻を取得する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。 Further, the event transmission device 102 in the third embodiment further includes a time acquisition unit 70 for acquiring time information. The superimposition unit 50 adds time information to the superimposition image 5 and the bitmap 6 as the generation time each time the superimposition image 5 and the bitmap 6 are generated. The input unit 10 acquires the generation time assigned to the superimposed image 5. The predetermined selection condition is a condition related to the generation time acquired by the input unit 10 and the generation time assigned to each bitmap 6 stored in the bitmap storage unit 80.

このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even if the communication time between the event transmission device 102 and the touch panel 120 is longer than the display update interval of the display 110, the event transmission device 102 accurately sets the input event to the appropriate virtual machine. Send to.

<実施の形態4>
実施の形態4におけるイベント送信装置およびイベント送信方法を説明する。実施の形態4は、実施の形態1の下位概念である。実施の形態4におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から3のいずれかと同様の構成および動作については説明を省略する。実施の形態4におけるイベント送信装置は、実施の形態3と同様の課題を解決する。
<Embodiment 4>
The event transmission device and the event transmission method according to the fourth embodiment will be described. The fourth embodiment is a subordinate concept of the first embodiment. The event transmission device according to the fourth embodiment includes each configuration of the event transmission device 100 shown in the first embodiment. The description of the configuration and operation similar to any one of the first to third embodiments will be omitted. The event transmission device according to the fourth embodiment solves the same problems as the third embodiment.

図18は、実施の形態4におけるイベント送信装置103の構成を示すブロック図である。 FIG. 18 is a block diagram showing the configuration of the event transmission device 103 according to the fourth embodiment.

実施の形態4における重畳部50は、ビットマップ6、つまり、重畳画像5の一のピクセル7を描画する一の描画レイヤ2とその一のピクセル7の座標との対応関係の情報を含む重畳画像5を生成する。 The superimposing unit 50 in the fourth embodiment is a bitmap 6, that is, a superimposing image including information on the correspondence between the coordinates of one drawing layer 2 for drawing one pixel 7 of the superimposing image 5 and the coordinates of the one pixel 7. Generate 5.

表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。ただし、表示制御部60は、重畳画像5に含まれるビットマップ6を無視して重畳画像5を表示させる制御を行う。つまり、表示制御部60は、描画レイヤ番号が埋め込まれた領域を無視する、つまり値が0であるとみなす。 The display control unit 60 controls the display 110 to display the superimposed image 5. However, the display control unit 60 controls to display the superimposed image 5 by ignoring the bitmap 6 included in the superimposed image 5. That is, the display control unit 60 ignores the area in which the drawing layer number is embedded, that is, considers that the value is 0.

入力部10は、レイヤ情報取得部11を有する。入力部10は、入力イベントを受け付けることにより、重畳部50にて生成された重畳画像5を取得する。ここでは、入力部10は、表示制御部60から重畳画像5を取得する。また、タッチ座標に対応する描画レイヤ番号をレイヤ情報取得部11から取得し、イベント送信部20へ出力する。 The input unit 10 has a layer information acquisition unit 11. The input unit 10 acquires the superposed image 5 generated by the superimposing unit 50 by receiving the input event. Here, the input unit 10 acquires the superimposed image 5 from the display control unit 60. Further, the drawing layer number corresponding to the touch coordinates is acquired from the layer information acquisition unit 11 and output to the event transmission unit 20.

レイヤ情報取得部11は、入力イベントに含まれるタッチ座標と、重畳画像5とを取得する。レイヤ情報取得部11は、重畳画像5に含まれるビットマップ6に基づき、タッチ座標における画像が由来する描画レイヤ2を特定する。 The layer information acquisition unit 11 acquires the touch coordinates included in the input event and the superimposed image 5. The layer information acquisition unit 11 identifies the drawing layer 2 from which the image in the touch coordinates is derived based on the bitmap 6 included in the superimposed image 5.

イベント送信部20は、レイヤ情報取得部11にて特定された描画レイヤ2に対応する仮想マシンに、入力イベントを送信する。 The event transmission unit 20 transmits an input event to the virtual machine corresponding to the drawing layer 2 specified by the layer information acquisition unit 11.

実施の形態4における重畳部50、表示制御部60、入力部10、レイヤ情報取得部11、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。 Each function of the superimposition unit 50, the display control unit 60, the input unit 10, the layer information acquisition unit 11, the layer configuration storage unit 40, and the event transmission unit 20 in the fourth embodiment is realized by, for example, the SoC 130 shown in FIG. NS.

図19は、実施の形態4における入力部10の動作を示すフローチャートである。 FIG. 19 is a flowchart showing the operation of the input unit 10 in the fourth embodiment.

ステップS200にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。 In step S200, the input unit 10 acquires the touch coordinates in which the input event is input.

ステップS210にて、入力部10は、ビットマップ6を含む重畳画像5を取得する。 In step S210, the input unit 10 acquires the superimposed image 5 including the bitmap 6.

ステップS220にて、レイヤ情報取得部11は、タッチ座標と重畳画像5に含まれるビットマップ6とに基づき描画レイヤ番号を取得する。 In step S220, the layer information acquisition unit 11 acquires the drawing layer number based on the touch coordinates and the bitmap 6 included in the superimposed image 5.

ステップS230にて、入力部10は、タッチ座標と描画レイヤ番号とを出力する。 In step S230, the input unit 10 outputs the touch coordinates and the drawing layer number.

図20は、実施の形態4におけるイベント送信装置103の動作およびイベント送信方法を示すフローチャートである。 FIG. 20 is a flowchart showing the operation of the event transmission device 103 and the event transmission method according to the fourth embodiment.

ステップS102にて、イベント送信部20は、タッチ座標および描画レイヤ番号を取得する。 In step S102, the event transmission unit 20 acquires the touch coordinates and the drawing layer number.

ステップS130以降は、実施の形態2における図13に示された各ステップと同様である。 The steps after step S130 are the same as those of each step shown in FIG. 13 in the second embodiment.

以上をまとめると、実施の形態4におけるイベント送信装置103の入力部10は、入力イベントを受け付けることにより、重畳画像5からビットマップ6を取得するレイヤ情報取得部11を含む。イベント送信部20は、レイヤ情報取得部11にて取得されたビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。 Summarizing the above, the input unit 10 of the event transmission device 103 according to the fourth embodiment includes the layer information acquisition unit 11 that acquires the bitmap 6 from the superimposed image 5 by receiving the input event. The event transmission unit 20 transmits an input event to the transmission destination virtual machine based on the bitmap 6 acquired by the layer information acquisition unit 11.

このような構成により、イベント送信装置103とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置103は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even if the communication time between the event transmission device 103 and the touch panel 120 is longer than the display update interval of the display 110, the event transmission device 103 accurately sets the input event to the appropriate virtual machine. Send to.

<実施の形態5>
実施の形態5におけるイベント送信装置、情報処理装置、情報処理システムおよびイベント送信方法を説明する。実施の形態5におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から4のいずれかと同様の構成および動作については説明を省略する。
<Embodiment 5>
The event transmission device, the information processing device, the information processing system, and the event transmission method according to the fifth embodiment will be described. The event transmission device according to the fifth embodiment includes each configuration of the event transmission device 100 shown in the first embodiment. The same configuration and operation as any of the first to fourth embodiments will be omitted.

実施の形態2から4のいずれかに示されたイベント送信装置は、1つのハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。そのハイパーバイザ140は、1つのSoC130において構築されている。一方で、実施の形態5におけるイベント送信装置は、複数のSoC130の各々に構築されたハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。その複数のSoC130は、イベント送信装置と、そのイベント送信装置とは別の情報処理装置と、に分かれて設けられている。 The event transmission device shown in any of the second to fourth embodiments realizes the above-mentioned functions for a plurality of virtual machines 30 operating on one hypervisor 140. The hypervisor 140 is built in one SoC130. On the other hand, the event transmission device according to the fifth embodiment realizes the above functions for a plurality of virtual machines 30 operating on the hypervisor 140 constructed in each of the plurality of SoC 130s. The plurality of SoC 130s are separately provided as an event transmission device and an information processing device different from the event transmission device.

図21は、実施の形態5におけるイベント送信装置104、情報処理装置150および情報処理システム200の構成を示すブロック図である。 FIG. 21 is a block diagram showing the configurations of the event transmission device 104, the information processing device 150, and the information processing system 200 according to the fifth embodiment.

情報処理システム200は、イベント送信装置104と、そのイベント送信装置104とネットワークで接続される情報処理装置150と、を有する。 The information processing system 200 includes an event transmission device 104 and an information processing device 150 connected to the event transmission device 104 via a network.

イベント送信装置104は、各実施の形態に示されたように、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40および複数の仮想マシン30を有する。また、実施の形態5におけるイベント送信装置104は、イベント送信部20として、第1イベント送信部20Aを有する。また、イベント送信装置104は、第1通信部90Aをさらに有する。またイベント送信装置104の複数の仮想マシン30は、第1仮想マシン301から第K仮想マシン30Kを含む。ここでは、Kは、K>1の関係を満たす。 As shown in each embodiment, the event transmission device 104 includes a superimposition unit 50, a display control unit 60, an input unit 10, a layer configuration storage unit 40, and a plurality of virtual machines 30. Further, the event transmission device 104 in the fifth embodiment has a first event transmission unit 20A as the event transmission unit 20. In addition, the event transmission device 104 further includes a first communication unit 90A. Further, the plurality of virtual machines 30 of the event transmission device 104 include the first virtual machine 301 to the K virtual machine 30K. Here, K satisfies the relationship of K> 1.

情報処理装置150は、第2通信部90B、第2イベント送信部20Bおよび複数の仮想マシン30を有する。情報処理装置150の複数の仮想マシン30は、第M仮想マシン30Mから第N仮想マシン30Nを含む。ここでは、MはM=K+1を、NはN>Mの関係を満たす。 The information processing device 150 includes a second communication unit 90B, a second event transmission unit 20B, and a plurality of virtual machines 30. The plurality of virtual machines 30 of the information processing device 150 include the Mth virtual machine 30M to the Nth virtual machine 30N. Here, M satisfies the relationship of M = K + 1, and N satisfies the relationship of N> M.

第1通信部90Aは、ネットワークを介して情報処理装置150と通信し、データの授受を行う。第1通信部90Aは、入力イベントを情報処理装置150に送信する。また、第1通信部90Aは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2を受信する。 The first communication unit 90A communicates with the information processing device 150 via the network to exchange data. The first communication unit 90A transmits an input event to the information processing device 150. In addition, the first communication unit 90A receives each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150.

重畳部50は、イベント送信装置104の複数の仮想マシン30に対応する複数の描画レイヤ2と、情報処理装置150の複数の仮想マシン30に対応する複数の描画レイヤ2とを、互いに重畳して重畳画像5を生成する。 The superimposition unit 50 superimposes the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the event transmission device 104 and the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the information processing device 150 on each other. The superimposed image 5 is generated.

レイヤ構成記憶部40は、レイヤ構成関係を記憶する。図22は、実施の形態5におけるレイヤ構成関係の一例を示す図である。レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンと、使用装置とが対応づけられたテーブルである。使用装置とは、使用仮想マシンが動作する装置のことである。使用装置は、ここでは、イベント送信装置104もしくは情報処理装置150である。図22において、描画レイヤ番号「1」で示される第1描画レイヤ2Aは、イベント送信装置104で動作する第2仮想マシン302に対応する。または、例えば、描画レイヤ番号「2」で示される第2描画レイヤ2Bは、情報処理装置150で動作する第M仮想マシン30Mに対応する。 The layer configuration storage unit 40 stores the layer configuration relationship. FIG. 22 is a diagram showing an example of the layer configuration relationship in the fifth embodiment. The layer configuration relationship is a table in which the drawing layer number, the virtual machine used, and the device used are associated with each other. The used device is a device on which the used virtual machine operates. The device used here is an event transmission device 104 or an information processing device 150. In FIG. 22, the first drawing layer 2A represented by the drawing layer number “1” corresponds to the second virtual machine 302 operating in the event transmission device 104. Alternatively, for example, the second drawing layer 2B represented by the drawing layer number “2” corresponds to the Mth virtual machine 30M operating in the information processing device 150.

第1イベント送信部20Aは、タッチ座標とビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。第1イベント送信部20Aは、レイヤ構成関係に基づき、一の描画レイヤ2に対応する送信先の仮想マシンおよび送信先の装置を特定する。送信先の仮想マシンがイベント送信装置104で動作する仮想マシンである場合、イベント送信装置104は、その送信先の仮想マシンに入力イベントを送信する。送信先の仮想マシンが情報処理装置150で動作する仮想マシンである場合、イベント送信装置104は、第1通信部90Aを介して、情報処理装置150に入力イベントを送信する。 The first event transmission unit 20A identifies one drawing layer 2 from which the image of the region corresponding to the touch coordinates is derived, based on the touch coordinates and the bitmap 6. The first event transmission unit 20A specifies a transmission destination virtual machine and a transmission destination device corresponding to one drawing layer 2 based on the layer configuration relationship. When the destination virtual machine is a virtual machine operating on the event transmission device 104, the event transmission device 104 transmits an input event to the transmission destination virtual machine. When the destination virtual machine is a virtual machine operated by the information processing device 150, the event transmission device 104 transmits an input event to the information processing device 150 via the first communication unit 90A.

第2通信部90Bは、ネットワークを介してイベント送信装置104と通信し、データの授受を行う。第2通信部90Bは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2をイベント送信装置104に送信する。また、第2通信部90Bは、イベント送信装置104から入力イベントを受信する。 The second communication unit 90B communicates with the event transmission device 104 via the network to exchange data. The second communication unit 90B transmits each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150 to the event transmission device 104. Further, the second communication unit 90B receives an input event from the event transmission device 104.

第2イベント送信部20Bは、情報処理装置150が有する複数の仮想マシン30のうち、送信先の仮想マシンに入力イベントを送信する。 The second event transmission unit 20B transmits an input event to the transmission destination virtual machine among the plurality of virtual machines 30 included in the information processing device 150.

実施の形態5における重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、第1イベント送信部20Aおよび第1通信部90Aの各機能は、例えば、図10に示されるSoC130により実現される。また、情報処理装置150もSoC130と同様のハードウェア構成を有する。第2通信部90Bおよび第2イベント送信部20Bの各機能は、そのSoCにより実現される。 Each function of the superimposition unit 50, the display control unit 60, the input unit 10, the layer configuration storage unit 40, the first event transmission unit 20A, and the first communication unit 90A in the fifth embodiment is performed by, for example, the SoC 130 shown in FIG. It will be realized. Further, the information processing device 150 also has the same hardware configuration as the SoC 130. Each function of the second communication unit 90B and the second event transmission unit 20B is realized by the SoC.

図23は、実施の形態5における重畳部50による重畳画像の生成動作を示すフローチャートである。 FIG. 23 is a flowchart showing an operation of generating a superposed image by the superimposing unit 50 in the fifth embodiment.

ステップS5Aにて、重畳部50は、各装置の各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。その際、重畳部50は、第2通信部90Bおよび第1通信部90Aを介して、情報処理装置150が有する各仮想マシン30によって描画される画像を取得するとともに、その画像が由来する使用仮想マシンおよび使用装置を特定するための情報を取得する。 In step S5A, the superimposing unit 50 acquires an image drawn by each virtual machine 30 of each device and a layer configuration relationship. At that time, the superimposing unit 50 acquires an image drawn by each virtual machine 30 of the information processing device 150 via the second communication unit 90B and the first communication unit 90A, and the virtual machine used from which the image is derived. Obtain information to identify the machine and equipment used.

ステップS6Aにて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30および各使用装置に対応する描画レイヤに、その画像を書き込む。 In step S6A, the superimposing unit 50 writes the image on the drawing layer corresponding to each virtual machine 30 and each device used from which each image is derived with reference to the layer configuration relationship.

ステップS7Aにて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。 In step S7A, the superimposing unit 50 superimposes a plurality of drawing layers to generate a superposed image 5. By the above steps, the superimposed image 5 is generated.

図24は、実施の形態5における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 24 is a flowchart showing a bitmap generation operation by the superimposing unit 50 in the fifth embodiment.

ステップS10は、図12に示されるステップS10と同様である。 Step S10 is the same as step S10 shown in FIG.

ステップS20にて、重畳部50は、重畳画像5を取得する。 In step S20, the superimposing unit 50 acquires the superimposing image 5.

ステップS30からステップS90までは、図12に示される各ステップと同様である。ステップS40からステップS70の各ステップは、複数の描画レイヤ2の数だけ繰り返し実行される。実施の形態5において、その複数の描画レイヤ2の数は、イベント送信装置104における複数の仮想マシン30の数(=K)と、情報処理装置150における複数の仮想マシン30の数(=(N−M)+1)とを合計した数(=N)に対応する。 Steps S30 to S90 are the same as each step shown in FIG. Each step from step S40 to step S70 is repeatedly executed by the number of the plurality of drawing layers 2. In the fifth embodiment, the number of the plurality of drawing layers 2 is the number of the plurality of virtual machines 30 (= K) in the event transmission device 104 and the number of the plurality of virtual machines 30 in the information processing device 150 (= (N). It corresponds to the total number (= N) of −M) +1).

図25は、実施の形態5におけるイベント送信装置104の動作およびイベント送信方法を示すフローチャートである。 FIG. 25 is a flowchart showing the operation of the event transmission device 104 and the event transmission method according to the fifth embodiment.

ステップS100からステップS130までは、図13に示される各ステップと同様である。ただし、実施の形態5において、ステップS110からステップS130は、第1イベント送信部20Aによって実行される。 Steps S100 to S130 are the same as each step shown in FIG. However, in the fifth embodiment, steps S110 to S130 are executed by the first event transmission unit 20A.

ステップS141にて、第1イベント送信部20Aは、描画レイヤ番号とレイヤ構成関係とに基づき送信先の仮想マシンおよび送信先の装置を選択する。送信先の装置とは、送信先の仮想マシンが含まれる装置のことである。 In step S141, the first event transmission unit 20A selects a transmission destination virtual machine and a transmission destination device based on the drawing layer number and the layer configuration relationship. The destination device is a device that includes a destination virtual machine.

ステップS151にて、第1イベント送信部20Aは、送信先の装置がイベント送信装置104であるか否かを判定する。第1イベント送信部20Aが、送信先の装置はイベント送信装置104でないと判定した場合、ステップS152が実行される。第1イベント送信部20Aが、送信先の装置はイベント送信装置104であると判定した場合、ステップS153が実行される。 In step S151, the first event transmission unit 20A determines whether or not the transmission destination device is the event transmission device 104. When the first event transmission unit 20A determines that the transmission destination device is not the event transmission device 104, step S152 is executed. When the first event transmission unit 20A determines that the transmission destination device is the event transmission device 104, step S153 is executed.

ステップS152にて、第1イベント送信部20Aは、第1通信部90Aを介して、情報処理装置150に入力イベントおよび送信先の仮想マシンの情報を送信する。 In step S152, the first event transmission unit 20A transmits the input event and the information of the transmission destination virtual machine to the information processing device 150 via the first communication unit 90A.

ステップS153にて、第1イベント送信部20Aは、イベント送信装置104に含まれる送信先の仮想マシンに入力イベントを送信する。 In step S153, the first event transmission unit 20A transmits an input event to the transmission destination virtual machine included in the event transmission device 104.

図26は、実施の形態5における情報処理装置150の動作およびイベント送信方法を示すフローチャートである。 FIG. 26 is a flowchart showing the operation of the information processing device 150 and the event transmission method according to the fifth embodiment.

ステップS300にて、第2イベント送信部20Bは、第2通信部90Bを介して、入力イベントおよび送信先の仮想マシンの情報を取得する。 In step S300, the second event transmission unit 20B acquires the information of the input event and the transmission destination virtual machine via the second communication unit 90B.

ステップS310にて、第2イベント送信部20Bは、送信先の仮想マシンに入力イベントを送信する。 In step S310, the second event transmission unit 20B transmits an input event to the transmission destination virtual machine.

上記のイベント送信装置104が、実施の形態3および4のそれぞれに示された構成を有していてもよい。また、上記の複数のSoC130は、イベント送信装置104とそのイベント送信装置104とは別の情報処理装置150とに分けて設けられているが、1台のイベント送信装置の中に含まれていてもよい。また、上記の情報処理装置150が、2台目のイベント送信装置であってもよい。情報処理システム200は、2台以上の情報処理装置を含んでいてもよい。 The event transmission device 104 may have the configurations shown in the third and fourth embodiments, respectively. Further, the plurality of SoC 130s described above are separately provided in the event transmission device 104 and the information processing device 150 different from the event transmission device 104, but are included in one event transmission device. May be good. Further, the information processing device 150 may be a second event transmission device. The information processing system 200 may include two or more information processing devices.

以上をまとめると、実施の形態5におけるイベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。 Summarizing the above, in the event transmission device 104 according to the fifth embodiment, the plurality of drawing layers 2 provided corresponding to each of the plurality of virtual machines 30 are input to the superimposed image 5 superimposed on each other. Based on the correspondence between the input unit 10 that receives the event and the one drawing layer 2 from which the image at each position is derived from the plurality of positions in the superimposed image 5, the input event in the superimposed image 5 among the plurality of virtual machines 30 A first event transmission unit 20A that transmits an input event to a destination virtual machine that is one virtual machine corresponding to an input position, and a first communication unit that transmits an input event to an information processing device 150 via a network. Includes 90A and.

このような構成により、イベント送信装置104は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。 With such a configuration, the event transmission device 104 can appropriately transmit the input event to the virtual machine operating in the device other than the event transmission device 104.

また、実施の形態5における情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104とネットワークで接続される。ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。 Further, the information processing device 150 according to the fifth embodiment is connected to the event transmission device 104 that transmits an input event to one of the plurality of virtual machines 30 operating on the hypervisor 140 via a network. Received by the second communication unit 90B and the second communication unit 90B that receive input events via the network from the plurality of virtual machines 30 operating on the hypervisor 140 and the first communication unit 90A of the event transmission device 104. The second event transmission unit 20B for transmitting the input event to the transmission destination virtual machine is included.

このような構成により、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。 With such a configuration, even if the information processing device 150 does not have the functions corresponding to the input unit 10 and the superimposition unit 50 of the event transmission device 104, the input event can be transmitted to an appropriate virtual machine. can.

また、実施の形態5における情報処理システム200は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104と、イベント送信装置104とネットワークで接続される情報処理装置150と、を含む。イベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。 Further, the information processing system 200 according to the fifth embodiment is composed of an event transmission device 104 that transmits an input event to one of a plurality of virtual machines 30 operating on the hypervisor 140, an event transmission device 104, and a network. The information processing device 150 to be connected is included. The event transmission device 104 includes an input unit 10 in which a plurality of drawing layers 2 provided corresponding to each of the plurality of virtual machines 30 receive an input event input to the superimposed image 5 superimposed on each other, and a superimposed image. Based on the correspondence between the plurality of positions in 5 and the one drawing layer 2 from which the image at each position is derived, one of the plurality of virtual machines 30 corresponds to the input position of the input event in the superimposed image 5. A first event transmission unit 20A for transmitting an input event to a virtual machine at a certain transmission destination and a first communication unit 90A for transmitting an input event to the information processing device 150 via a network are included. The information processing device 150 includes a plurality of virtual machines 30 operating on the hypervisor 140, a second communication unit 90B that receives an input event from the first communication unit 90A of the event transmission device 104 via a network, and a second communication unit 90B. The second event transmission unit 20B for transmitting the input event received by the communication unit 90B to the transmission destination virtual machine is included.

このような構成により、情報処理システム200は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。また、情報処理システム200は、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。 With such a configuration, the information processing system 200 can appropriately transmit the input event to the virtual machine operating in the device other than the event transmission device 104. Further, the information processing system 200 transmits an input event to an appropriate virtual machine even when the information processing device 150 does not have a function corresponding to the input unit 10 and the superimposition unit 50 of the event transmission device 104. be able to.

<実施の形態6>
上記の各実施の形態に示されるイベント送信装置、ディスプレイ110およびタッチパネル120は、例えば、車両に搭載される。または、例えば、イベント送信装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、PND(Portable Navigation Device)などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
<Embodiment 6>
The event transmission device, the display 110, and the touch panel 120 shown in each of the above embodiments are mounted on, for example, a vehicle. Alternatively, for example, the event transmission device can be applied to a system constructed by appropriately combining a navigation device, a communication terminal, a server, and the functions of applications installed in the navigation device. Here, the navigation device includes, for example, a PND (Portable Navigation Device) and the like. Communication terminals include, for example, mobile terminals such as mobile phones, smartphones and tablets.

図27は、実施の形態6におけるイベント送信装置100およびそれに関連して動作する装置の構成を示すブロック図である。 FIG. 27 is a block diagram showing a configuration of an event transmission device 100 and a device that operates in connection with the event transmission device 100 according to the sixth embodiment.

イベント送信装置100、複数の仮想マシン30および通信装置160がサーバ300に設けられている。イベント送信装置100は、車両1に設けられたタッチパネル120から通信装置170および通信装置160を介して入力イベントを取得する。イベント送信装置100は、各実施の形態に示された処理を実行し、送信先の仮想マシンに入力イベントを送信する。さらに、送信先の仮想マシンが入力イベントに基づいた処理を実行する。その処理に関連する結果が、イベント送信装置100の重畳部50および表示制御部60を介してディスプレイ110に出力されてもよい。 An event transmission device 100, a plurality of virtual machines 30, and a communication device 160 are provided in the server 300. The event transmission device 100 acquires an input event from the touch panel 120 provided on the vehicle 1 via the communication device 170 and the communication device 160. The event transmission device 100 executes the processing shown in each embodiment and transmits an input event to the transmission destination virtual machine. In addition, the destination virtual machine performs processing based on the input event. The result related to the processing may be output to the display 110 via the superimposition unit 50 and the display control unit 60 of the event transmission device 100.

このように、イベント送信装置100がサーバ300に配置されることにより、車載装置の構成を簡素化することができる。 By arranging the event transmission device 100 on the server 300 in this way, the configuration of the in-vehicle device can be simplified.

また、イベント送信装置100の機能あるいは構成要素の一部がサーバ300に設けられ、他の一部が車両1に設けられるなど、分散して配置されてもよい。 Further, some of the functions or components of the event transmission device 100 may be provided in the server 300, and some of the other components may be provided in the vehicle 1 in a distributed manner.

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.

本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all aspects and the present invention is not limited thereto. It is understood that innumerable variations not illustrated can be assumed without departing from the scope of the present invention.

2 描画レイヤ、5 重畳画像、6 ビットマップ、7 ピクセル、10 入力部、11 レイヤ情報取得部、20 イベント送信部、20A 第1イベント送信部、20B 第2イベント送信部、30 仮想マシン、40 レイヤ構成記憶部、50 重畳部、60 表示制御部、70 時刻取得部、80 ビットマップ記憶部、90A 第1通信部、90B 第2通信部、100 イベント送信装置、110 ディスプレイ、120 タッチパネル、140 ハイパーバイザ、150 情報処理装置、200 情報処理システム。 2 drawing layer, 5 superimposed image, 6 bitmap, 7 pixels, 10 input unit, 11 layer information acquisition unit, 20 event transmission unit, 20A 1st event transmission unit, 20B 2nd event transmission unit, 30 virtual machine, 40 layers Configuration storage unit, 50 superimposition unit, 60 display control unit, 70 time acquisition unit, 80 bitmap storage unit, 90A first communication unit, 90B second communication unit, 100 event transmitter, 110 display, 120 touch panel, 140 hypervisor , 150 information processing device, 200 information processing system.

Claims (11)

ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信装置であって、
前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付ける入力部と、
前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信するイベント送信部と、
前記複数の描画レイヤを重畳し、前記重畳画像と前記対応関係とを生成する重畳部と、
記憶部と、を備え
前記重畳部は、前記重畳画像を生成する度に、前記重畳画像に対応する前記対応関係を生成し、
前記記憶部は、前記重畳部によって互いに異なるタイミングで生成された複数の対応関係を記憶し、
前記イベント送信部は、予め定められた選択条件に基づき、前記複数の対応関係から前記送信先の仮想マシンを選択するための一の対応関係を選択するイベント送信装置。
An event transmitter that sends input events to one of multiple virtual machines running on the hypervisor.
An input unit in which a plurality of drawing layers provided corresponding to each of the plurality of virtual machines receive the input event input to the superimposed image superimposed on each other, and an input unit.
Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. An event transmitter that sends the input event to the destination virtual machine, which is a virtual machine,
A superimposing portion that superimposes the plurality of drawing layers and generates the superposed image and the correspondence relationship.
Comprising a storage unit, a
Each time the superposed image is generated, the superimposing unit generates the corresponding relationship corresponding to the superposed image.
The storage unit stores a plurality of correspondences generated by the superimposing unit at different timings.
The event transmission unit, based on a predetermined selection condition, the plurality of the destinations one correspondence between you select an event transmission unit for selecting a virtual machine from the correspondence.
前記重畳画像と前記複数の描画レイヤの各々とは、それぞれ複数のピクセルを含み、
前記重畳画像は、前記複数の描画レイヤが前記複数のピクセルごとに重畳された画像であり、
前記対応関係における対応の単位である前記重畳画像の各前記位置として、各前記ピクセルの単位が適用される、請求項1に記載のイベント送信装置。
Each of the superimposed image and the plurality of drawing layers contains a plurality of pixels.
The superimposed image is an image in which the plurality of drawing layers are superimposed for each of the plurality of pixels.
The event transmission device according to claim 1, wherein a unit of each pixel is applied as each position of the superimposed image, which is a unit of correspondence in the correspondence.
前記重畳部は、前記対応関係として、前記重畳画像における一のピクセルの座標と、前記一のピクセルの画像が由来している前記一の描画レイヤと、を対応付けたビットマップを生成し、
前記イベント送信部は、前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項2に記載のイベント送信装置。
As the correspondence relationship, the superimposing unit generates a bitmap in which the coordinates of one pixel in the superimposing image and the one drawing layer from which the image of the one pixel is derived are associated with each other.
The event transmission device according to claim 2, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap.
前記重畳部は、前記ビットマップを含む前記重畳画像を生成し、
前記イベント送信部は、前記重畳画像に含まれる前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項3に記載のイベント送信装置。
The superimposing unit generates the superimposing image including the bitmap, and generates the superimposing image.
The event transmission device according to claim 3, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap included in the superimposed image.
前記複数の描画レイヤの各々は、前記複数のピクセルの各々における透明度情報を含み、
前記重畳部は、前記透明度情報と、予め定められた透明度に関する閾値とに基づいて、前記一のピクセルの前記画像が由来している前記一の描画レイヤを決定することにより、前記重畳画像と前記ビットマップとを生成する、請求項3に記載のイベント送信装置。
Each of the plurality of drawing layers contains transparency information at each of the plurality of pixels.
The superimposing portion determines the superimposing image and the superimposing layer from which the image of the one pixel is derived based on the transparency information and a predetermined threshold value for transparency. The event transmission device according to claim 3, which generates a bitmap.
前記複数の描画レイヤの各々は、前記複数のピクセルの各々における色情報をさらに含み、
前記重畳部は、前記一の描画レイヤにおける前記一のピクセルの前記透明度情報が透明であり、かつ、前記色情報が特定色である場合、前記一のピクセルの前記座標と前記一の描画レイヤとを対応付けた前記ビットマップを生成する、請求項5に記載のイベント送信装置。
Each of the plurality of drawing layers further includes color information at each of the plurality of pixels.
When the transparency information of the one pixel in the one drawing layer is transparent and the color information is a specific color, the superimposing portion includes the coordinates of the one pixel and the one drawing layer. The event transmission device according to claim 5, which generates the bitmap associated with the above.
時刻情報を取得する時刻取得部、をさらに備え、
前記重畳部は、前記重畳画像と前記対応関係とを生成する度に、前記重畳画像と前記対応関係とに前記時刻情報を生成時刻として付与し、
前記入力部は、前記重畳画像に付与された前記生成時刻を取得し、
前記予め定められた選択条件とは、前記入力部にて取得された前記生成時刻と、前記記憶部に記憶された各前記対応関係に付与された前記生成時刻と、に関係する条件である、請求項に記載のイベント送信装置。
It also has a time acquisition unit that acquires time information.
Each time the superimposition unit generates the superimposition image and the correspondence relationship , the superimposition unit adds the time information to the superimposition image and the correspondence relationship as a generation time.
The input unit acquires the generation time given to the superimposed image, and obtains the generation time.
The predetermined selection condition is a condition related to the generation time acquired by the input unit and the generation time given to each of the corresponding relationships stored in the storage unit. The event transmission device according to claim 1.
前記入力部は、
前記入力イベントを受け付けることにより、前記重畳画像から前記ビットマップを取得するレイヤ情報取得部を含み、
前記イベント送信部は、前記レイヤ情報取得部にて取得された前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項4に記載のイベント送信装置。
The input unit is
A layer information acquisition unit that acquires the bitmap from the superimposed image by receiving the input event is included.
The event transmission device according to claim 4, wherein the event transmission unit transmits the input event to the transmission destination virtual machine based on the bitmap acquired by the layer information acquisition unit.
前記ハイパーバイザ上で動作する前記複数の仮想マシンをさらに備える、請求項1に記載のイベント送信装置。 The event transmission device according to claim 1, further comprising the plurality of virtual machines operating on the hypervisor. 前記ハイパーバイザ上で動作する前記複数の仮想マシンを含む情報処理装置に、ネットワークを介して前記入力イベントを送信する通信部をさらに備える、請求項1に記載のイベント送信装置。 The event transmission device according to claim 1, further comprising a communication unit that transmits the input event via a network to an information processing device including the plurality of virtual machines operating on the hypervisor. ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信方法であって、
前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付け、
前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信し、
前記複数の描画レイヤを重畳し、前記重畳画像と前記対応関係とを生成し、
前記重畳画像を生成する度に、前記重畳画像に対応する前記対応関係を生成し、
互いに異なるタイミングで生成された複数の対応関係を記憶し、
予め定められた選択条件に基づき、前記複数の対応関係から前記送信先の仮想マシンを選択するための一の対応関係を選択する、イベント送信方法。
An event transmission method that sends an input event to one of multiple virtual machines running on the hypervisor.
A plurality of drawing layers provided corresponding to each of the plurality of virtual machines receive the input event input to the superimposed image superimposed on each other.
Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. Send the input event to the destination virtual machine, which is a virtual machine ,
The plurality of drawing layers are superimposed to generate the superimposed image and the correspondence relationship.
Each time the superimposed image is generated, the corresponding relationship corresponding to the superimposed image is generated.
Memorize multiple correspondences generated at different timings,
An event transmission method for selecting one correspondence relationship for selecting a destination virtual machine from the plurality of correspondence relationships based on a predetermined selection condition.
JP2020535417A 2018-08-09 2018-08-09 Event transmitter and event transmission method Active JP6964781B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029873 WO2020031320A1 (en) 2018-08-09 2018-08-09 Event transmission device, information processing device, information processing system, and event transmission method

Publications (2)

Publication Number Publication Date
JPWO2020031320A1 JPWO2020031320A1 (en) 2021-01-07
JP6964781B2 true JP6964781B2 (en) 2021-11-10

Family

ID=69414074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535417A Active JP6964781B2 (en) 2018-08-09 2018-08-09 Event transmitter and event transmission method

Country Status (2)

Country Link
JP (1) JP6964781B2 (en)
WO (1) WO2020031320A1 (en)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212047A (en) * 1995-02-07 1996-08-20 Chugoku Nippon Denki Software Kk Window system independency graphical user interface(gui) system
US6711620B1 (en) * 1999-04-14 2004-03-23 Matsushita Electric Industrial Co. Event control device and digital broadcasting system
US7681200B2 (en) * 2005-07-22 2010-03-16 Microsoft Corporation Secure hardware desktop buffer composition
JP4839049B2 (en) * 2005-09-20 2011-12-14 クラリオン株式会社 Information processing apparatus and display screen control method
CN101627353B (en) * 2007-03-09 2011-07-20 国际商业机器公司 Method for determining destination of request, program, and display system using the method
JP4877608B2 (en) * 2008-01-28 2012-02-15 日本電気株式会社 Virtual machine server, virtual machine server information storage method, and virtual machine server information storage program
JP5251385B2 (en) * 2008-09-16 2013-07-31 富士通株式会社 Event detection system, event detection method, and program
JP5540793B2 (en) * 2010-03-18 2014-07-02 富士ゼロックス株式会社 Function providing apparatus and program
JP2012155600A (en) * 2011-01-27 2012-08-16 Fujitsu Ltd Information processing apparatus, control method and control program
JP5724421B2 (en) * 2011-02-04 2015-05-27 富士通株式会社 Information processing device
JP5774032B2 (en) * 2011-02-09 2015-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Virtual computer display device, virtual computer display method, virtual computer display program, recording medium, and integrated circuit
JP2015187786A (en) * 2014-03-26 2015-10-29 東芝テック株式会社 Virtual machine management program and virtual machine management device
DE112016000495T5 (en) * 2015-01-27 2017-11-02 Mitsubishi Electric Corporation USER INTERFACE AND METHOD FOR DISPLAYING A USER INTERFACE
JP2017215800A (en) * 2016-05-31 2017-12-07 キヤノン株式会社 Information processing device, information processing method and program

Also Published As

Publication number Publication date
WO2020031320A1 (en) 2020-02-13
JPWO2020031320A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
CN109766053B (en) User interface display method, device, terminal and storage medium
CN107871308B (en) Method and apparatus for processing wide-angle image
CN108765539B (en) OpenGLES-based image rendering method, device, equipment and storage medium
CN105324989A (en) Transmission terminal, program, image display method and transmission system
CN113467865A (en) Information processing method, information processing device, electronic equipment and storage medium
CN115033195A (en) Picture display method, device, equipment, storage medium and program product
CN115348469A (en) Picture display method and device, video processing equipment and storage medium
JP6964781B2 (en) Event transmitter and event transmission method
CN113038141B (en) Video frame processing method and electronic equipment
CN114265653A (en) Interface display method, device, equipment, storage medium and program product
CN112783392A (en) Information screen display method and device
CN111597001A (en) Application program display control method, device, medium and equipment
CN108509112B (en) Menu display method and device, display equipment and storage medium
JP7175135B2 (en) Information providing device, server device, and information providing method
JP2013120201A (en) Information processing apparatus and method
CN115923512A (en) Method and device for displaying information on instrument screen, electronic equipment and vehicle
CN105653143B (en) Processing method of application program operation interface and mobile terminal for realizing method
CN113870219A (en) Projection font color selection method and device, electronic equipment and storage medium
CN113589927B (en) Split screen display method, head-mounted display device and computer readable medium
US20160117007A1 (en) Visual display content source identifier and method
CN111159593A (en) Method and device for generating flow chart, storage medium and electronic equipment
CN111666011A (en) Page focus display method and device
JP6389765B2 (en) Display control system, method and program
CN111610920B (en) Multi-device control method, device and system
CN113934341B (en) Network policy topology display method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211019

R150 Certificate of patent or registration of utility model

Ref document number: 6964781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150