WO2020031320A1 - Event transmission device, information processing device, information processing system, and event transmission method - Google Patents

Event transmission device, information processing device, information processing system, and event transmission method Download PDF

Info

Publication number
WO2020031320A1
WO2020031320A1 PCT/JP2018/029873 JP2018029873W WO2020031320A1 WO 2020031320 A1 WO2020031320 A1 WO 2020031320A1 JP 2018029873 W JP2018029873 W JP 2018029873W WO 2020031320 A1 WO2020031320 A1 WO 2020031320A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
unit
input
superimposed image
virtual machine
Prior art date
Application number
PCT/JP2018/029873
Other languages
French (fr)
Japanese (ja)
Inventor
純也 氏家
哲郎 赤羽
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020535417A priority Critical patent/JP6964781B2/en
Priority to PCT/JP2018/029873 priority patent/WO2020031320A1/en
Publication of WO2020031320A1 publication Critical patent/WO2020031320A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Definitions

  • the present invention relates to an event transmission device, an information processing device, an information processing system, and an event transmission method.
  • a system equipped with a plurality of virtual machines operating on a hypervisor displays an image drawn by each virtual machine on its display device in a superimposed manner.
  • the display device has a touch panel as an input device, the input information received by the touch panel is only the touch coordinates, and thus the system cannot recognize the virtual machine corresponding to the input information.
  • the system transmits input information to an appropriate virtual machine.
  • the system distributes input information to all virtual machines simultaneously.
  • the system sequentially sends input information to each virtual machine according to a predetermined order. For example, the system first sends input information to one virtual machine. If one virtual machine receiving the input information does not use the input information, the system transmits the input information to another virtual machine.
  • Patent Document 1 proposes a function providing device in which a plurality of virtual machines are mounted on a hypervisor.
  • a menu screen is displayed on one virtual machine equipped with an OS (operation system) for executing a menu management function.
  • OS operation system
  • the menu management function unit of the virtual machine calls a virtual machine that controls the specific function. Therefore, it takes time until the processing request reaches the virtual machine that executes the selected function.
  • the correspondence between the input position on the menu screen and the virtual machine that executes a specific function needs to be determined in advance. That is, the function providing apparatus cannot always execute the same function as the above-described menu management function on an arbitrary display screen.
  • An advantage of some aspects of the invention is to provide an event transmission device that efficiently transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor. Aim.
  • the event transmission device transmits an input event to one virtual machine among a plurality of virtual machines operating on the hypervisor.
  • the event transmitting device includes: an input unit configured to receive an input event input to a superimposed image in which a plurality of drawing layers provided for each of the plurality of virtual machines are superimposed; and a plurality of positions in the superimposed image.
  • an event transmitting apparatus that efficiently transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor.
  • FIG. 2 is a block diagram illustrating a configuration of an event transmission device according to Embodiment 1.
  • 5 is a diagram illustrating an example of a processing circuit included in the event transmission device in Embodiment 1.
  • FIG. 5 is a diagram illustrating another example of a processing circuit included in the event transmission device in Embodiment 1.
  • FIG. 5 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of an event transmission device according to a second embodiment.
  • 35 is a diagram illustrating an example of a layer configuration relationship in Embodiment 2.
  • FIG. 15 is a diagram illustrating an example of a drawing layer and a superimposed image according to Embodiment 2.
  • FIG. 15 is a diagram illustrating an example of a drawing layer and a superimposed image according to Embodiment 2.
  • FIG. 15 is a diagram illustrating an example of a drawing layer and a superimposed image according to Embodiment 2.
  • FIG. 129 is a diagram illustrating an example of a bitmap in Embodiment 2.
  • FIG. 14 is a diagram illustrating a relationship between hardware of an event transmission device and a hypervisor according to a second embodiment.
  • 13 is a flowchart illustrating an operation of generating a superimposed image by a superimposing unit according to Embodiment 2.
  • 15 is a flowchart illustrating a bitmap generation operation performed by a superposition unit according to the second embodiment.
  • 9 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to Embodiment 2.
  • FIG. 17 is a flowchart illustrating a bitmap generation operation by a superposition unit according to a modification of the second embodiment.
  • FIG. 14 is a block diagram illustrating a configuration of an event transmission device according to a third embodiment. 17 is a flowchart illustrating a bitmap generation operation performed by a superposition unit according to Embodiment 3. 13 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to Embodiment 3.
  • FIG. 14 is a block diagram illustrating a configuration of an event transmission device according to a fourth embodiment. 15 is a flowchart illustrating an operation of the input unit according to the fourth embodiment. 17 is a flowchart illustrating the operation of the event transmission device and an event transmission method according to Embodiment 4. FIG.
  • FIG. 21 is a block diagram illustrating a configuration of an event transmitting device, an information processing device, and an information processing system according to Embodiment 5.
  • 157 is a diagram illustrating an example of a layer configuration relationship in Embodiment 5.
  • FIG. 21 is a flowchart illustrating an operation of generating a superimposed image by a superimposing unit according to Embodiment 5.
  • 26 is a flowchart illustrating a bitmap generation operation by a superposition unit according to Embodiment 5.
  • 33 is a flowchart illustrating an operation of the event transmission device and an event transmission method in Embodiment 5.
  • 28 is a flowchart illustrating an operation of the information processing device and an event transmission method according to Embodiment 5.
  • FIG. 21 is a block diagram showing a configuration of an event transmission device and a device that operates in connection with the event transmission device according to Embodiment 6.
  • FIG. 1 is a block diagram illustrating a configuration of the event transmission device 100 according to the first embodiment.
  • FIG. 1 shows a plurality of virtual machines 30 that operate in association with the event transmission device 100. These multiple virtual machines 30 operate on a hypervisor.
  • the event transmission device 100 includes the input unit 10 and the event transmission unit 20.
  • the input unit 10 receives an input event in which a plurality of drawing layers provided for each of the plurality of virtual machines 30 are input to a superimposed image that is superimposed on each other.
  • the input unit 10 receives, for example, an input event input to the touch panel based on a superimposed image displayed on the display.
  • the event transmitting unit 20 corresponds to the input position of the input event in the superimposed image among the plurality of virtual machines 30 based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each position is derived.
  • the input event is transmitted to the destination virtual machine which is one virtual machine to be transmitted.
  • FIG. 2 is a diagram illustrating an example of the processing circuit 95 included in the event transmitting apparatus 100.
  • Each function of the input unit 10 and the event transmission unit 20 is realized by the processing circuit 95. That is, the processing circuit 95 includes the input unit 10 and the event transmission unit 20.
  • the processing circuit 95 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a circuit combining these.
  • Each function of the input unit 10 and the event transmission unit 20 may be realized individually by a plurality of processing circuits, or may be realized collectively by one processing circuit.
  • FIG. 3 is a diagram illustrating another example of a processing circuit included in the event transmission device 100.
  • the processing circuit has a processor 96 and a memory 97.
  • the processor 96 executes the program stored in the memory 97, the functions of the input unit 10 and the event transmission unit 20 are realized.
  • each function is realized by executing software or firmware described as a program by the processor 96.
  • the event transmission device 100 includes a memory 97 that stores a program, and a processor 96 that executes the program.
  • the event transmission device 100 receives input events input to a superimposed image that is superimposed on a plurality of drawing layers provided for each of the plurality of virtual machines 30, The input event is sent to one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30 on the basis of the correspondence between the position and the one drawing layer from which the image at each position is derived.
  • the function to transmit is described. Further, the program causes a computer to execute the procedure or method of the input unit 10 and the event transmission unit 20.
  • the processor 96 is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the memory 97 is, for example, a non-volatile or volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrically Erasable Programmable Read Only Memory). It is a semiconductor memory.
  • the memory 97 may be any storage medium used in the future, such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, and the like.
  • the functions of the input unit 10 and the event transmitting unit 20 described above may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the processing circuit realizes the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 4 is a flowchart showing the operation of the event transmitting apparatus 100 and the event transmitting method according to the first embodiment.
  • step S1 the input unit 10 receives an input event input for a superimposed image.
  • step S2 the event transmitting unit 20 transmits a virtual machine corresponding to the input position of the input event to the one virtual machine based on the correspondence relationship between the plurality of positions in the superimposed image and one drawing layer from which the image at each position is derived. , Send an input event.
  • the event transmitting apparatus 100 transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on a hypervisor.
  • the event transmitting apparatus 100 includes an input unit 10 configured to receive an input event input to a superimposed image in which a plurality of drawing layers provided corresponding to the plurality of virtual machines 30 are superimposed on each other.
  • the destination which is one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30, based on the correspondence between the position of the image and the one drawing layer from which the image at each position is derived.
  • An event transmitting unit 20 that transmits an input event to the machine.
  • the event transmitting apparatus 100 can efficiently transmit an input event to a destination virtual machine operating on a hypervisor.
  • the event transmitting device 100 reduces the total communication amount between the hypervisor and each virtual machine 30.
  • the event transmission method is a method of transmitting an input event to one virtual machine among a plurality of virtual machines 30 operating on a hypervisor.
  • a plurality of drawing layers provided for each of the plurality of virtual machines 30 receive an input event input to a superimposed image superimposed on each other, and a plurality of positions in the superimposed image and each position
  • the input event is transmitted to one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30 based on the correspondence relationship with the one drawing layer from which the image is derived.
  • the event transmission method can efficiently transmit an input event to a destination virtual machine operating on a hypervisor.
  • the event transmission method reduces the total communication amount between the hypervisor and each virtual machine 30.
  • Embodiment 2 An event transmitting device and an event transmitting method according to Embodiment 2 will be described.
  • the second embodiment is a subordinate concept of the first embodiment.
  • the event transmission device according to the second embodiment includes the components of event transmission device 100 shown in the first embodiment. The description of the same configuration and operation as in the first embodiment will be omitted.
  • FIG. 5 is a block diagram showing a configuration of the event transmitting apparatus 101 according to the second embodiment.
  • FIG. 5 illustrates a display 110 and a touch panel 120 as devices that operate in association with the event transmission device 101.
  • the event transmission device 101 includes a superimposition unit 50, a display control unit 60, an input unit 10, a layer configuration storage unit 40, an event transmission unit 20, and a plurality of virtual machines 30.
  • the plurality of virtual machines 30 include the first virtual machine 301 to the N-th virtual machine 30N. Each virtual machine runs on a hypervisor.
  • the superimposition unit 50 superimposes a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30, and generates a superimposed image. At that time, the superimposition unit 50 first obtains an image drawn by each virtual machine 30. The superimposing unit 50 writes the image on a drawing layer corresponding to each virtual machine 30 from which the image is derived, with reference to the layer configuration relationship. The superimposition unit 50 superimposes the image of each drawing layer to generate a superimposed image.
  • FIG. 6 is a diagram illustrating an example of a layer configuration relationship according to the second embodiment.
  • the layer configuration relationship is a table in which the drawing layer numbers are associated with the virtual machines to be used.
  • the used virtual machine is the virtual machine 30 from which the image to be written in the drawing layer indicated in the drawing layer number column is derived. For example, an image drawn by the first virtual machine 301 is written in the drawing layer indicated by the drawing layer number “1”. Alternatively, for example, an image drawn by the second virtual machine 302 is written in the drawing layer indicated by the drawing layer number “2”.
  • FIGS. 7 and 8 are diagrams illustrating an example of the drawing layer 2 and the superimposed image 5 according to the second embodiment.
  • FIGS. 7 and 8 show two drawing layers 2 and one superimposed image 5 on which the two drawing layers 2 are superimposed to simplify the description.
  • the two drawing layers 2 include a first drawing layer 2A corresponding to the drawing layer number “1” and a second drawing layer 2B corresponding to the drawing layer number “2” in FIG.
  • the first drawing layer 2A is positioned higher than the second drawing layer 2B.
  • the first virtual machine 301 draws the first area 3 on the first drawing layer 2A.
  • the first virtual machine 301 draws, in the first area 3, a button that is an area for receiving an operation by the user, a message for the user, a design in a screen, and the like (neither is shown).
  • the area other than the first area 3 is transparent.
  • the second area 4 is drawn by the second virtual machine 302.
  • the second virtual machine 302 draws, in the second area 4, a button for receiving an operation by the user, a message for the user, a design in the screen, and the like (neither is shown).
  • the area other than the second area 4 is transparent.
  • the first drawing layer 2A and the second drawing layer 2B are superimposed on each other.
  • the superimposed image 5 includes a first area 3 and a second area 4 derived from each drawing layer 2.
  • the first area 3 is drawn by the first virtual machine 301.
  • the area other than the first area 3 is transparent.
  • the second area 4 is drawn by the second virtual machine 302.
  • the area other than the second area 4 is transparent.
  • a second region 4 of the second drawing layer 2B is drawn in a region where the first drawing layer 2A is transparent. In the area where the first area 3 and the second area 4 overlap, the first area 3 in the first drawing layer 2A is drawn.
  • the superimposed image 5 and each drawing layer 2 have a plurality of pixels.
  • the number of pixels of the superimposed image 5 and the number of pixels of each drawing layer 2 are the same.
  • a plurality of drawing layers 2 are superimposed on a plurality of pixels.
  • each pixel in each drawing layer 2 has an alpha channel indicating transparency information in addition to an RGB value indicating color information.
  • the alpha channel is indicated here by an ⁇ value.
  • the ⁇ value of a pixel is 1, the pixel is opaque. In that case, a color corresponding to the RGB value is drawn on the pixel in the superimposed image 5.
  • the ⁇ value of a pixel is 0, the pixel is transparent. In that case, a color corresponding to the RGB value is not drawn on the pixel in the superimposed image 5.
  • the ⁇ value of the first region 3 and the second region 4 are both 1 and the ⁇ value of the transparent region is both 0.
  • the superimposing unit 50 may generate the superimposed image 5 based on the transparency information ( ⁇ value) and a predetermined threshold value related to transparency. By appropriately setting the threshold, the superimposing unit 50 can generate the superimposed image 5 in which two or more drawing layers 2 are superimposed in a translucent state.
  • the superimposing unit 50 generates a correspondence relationship between a plurality of positions in the superimposed image 5 and one drawing layer 2 from which the image at each position is derived. For example, in FIG. 7 or 8, the superimposing unit 50 associates the position of the first area 3 in the superimposed image 5 with the first drawing layer 2A from which the image of the first area 3 is derived. Further, the superimposition unit 50 associates the position of the second area 4 in the superimposed image 5 with the second drawing layer 2B from which the image of the second area 4 is derived.
  • the superimposing unit 50 generates a bitmap as the above correspondence.
  • the bitmap has the same number of pixels as the number of pixels of the superimposed image 5 and each drawing layer 2. That is, a unit of each pixel is applied as each position of the superimposed image 5 which is a corresponding unit in the above-described correspondence relationship.
  • the bitmap includes information in which the coordinates of one pixel in the superimposed image 5 are associated with one drawing layer 2 from which the one pixel image is derived.
  • the superimposing unit 50 When each pixel of each image layer has an ⁇ value, the superimposing unit 50 generates a bitmap based on the ⁇ value and a predetermined threshold value regarding transparency.
  • FIG. 9 is a diagram illustrating an example of the bitmap 6 according to the second embodiment.
  • the bitmap 6 stores a drawing layer number for drawing each pixel 7. For example, in the bitmap 6 shown in FIG. 9, “1” indicates that the image is derived from the first drawing layer 2A. “2” indicates that the image is derived from the second drawing layer 2B. In the second embodiment, the bitmap 6 is generated separately from the superimposed image 5.
  • the display control unit 60 controls the display 110 to display the superimposed image 5 generated by the superimposition unit 50.
  • the display 110 displays the superimposed image 5 under the control of the display control unit 60.
  • the touch panel 120 is an input device. Touch panel 120 may be a device included in display 110.
  • the input unit 10 receives an input event input by the touch panel 120 with respect to the superimposed image 5 displayed on the display 110.
  • the input event includes an input position in the superimposed image 5, that is, touch coordinates.
  • the layer configuration storage unit 40 stores the above-described layer configuration relationship. As shown in FIG. 6, one virtual machine may correspond to a plurality of drawing layers 2, or although not shown, one virtual machine may correspond to only one drawing layer. However, one drawing layer 2 needs to correspond to only one virtual machine.
  • the event transmission unit 20 specifies one drawing layer 2 from which the image of the area corresponding to the touch coordinates is derived, based on the pixel coordinates corresponding to the touch coordinates and the bitmap 6 generated by the superimposition unit 50. In addition, the event transmission unit 20 specifies the destination virtual machine corresponding to the specified drawing layer 2 based on the layer configuration relationship stored in the layer configuration storage unit 40. Then, the event transmitting unit 20 transmits the input event to the destination virtual machine.
  • FIG. 10 is a diagram illustrating a relationship between the hardware of the event transmitting apparatus 101 and the hypervisor according to the second embodiment.
  • the event transmitting apparatus 101 has an SoC (System @ on ⁇ Chip) 130 as hardware.
  • the SoC 130 corresponds to the processing circuit described in the first embodiment. That is, the SoC 130 includes the input unit 10, the event transmission unit 20, the plurality of virtual machines 30, the layer configuration storage unit 40, the superimposition unit 50, and the display control unit 60, and implements the function of each functional unit. Further, the SoC 130 receives an input event input from the touch panel 120. Further, the SoC 130 outputs the superimposed image 5 to the display 110.
  • the plurality of virtual machines 30 operate on the hypervisor 140 installed in the SoC 130. Each virtual machine is virtually constructed on the hypervisor 140 by software.
  • FIG. 11 is a flowchart illustrating an operation of generating a superimposed image according to the second embodiment.
  • step S5 the superimposition unit 50 acquires the image drawn by each virtual machine 30 and the layer configuration relationship.
  • step S6 the superimposing unit 50 refers to the layer configuration relationship and writes the image to the drawing layer corresponding to each virtual machine 30 from which each image is derived.
  • step S7 the superimposing unit 50 superimposes a plurality of drawing layers to generate a superimposed image 5. Through the above steps, the superimposed image 5 is generated.
  • FIG. 12 is a flowchart illustrating a bitmap generation operation according to the second embodiment.
  • step S10 the superimposing unit 50 prepares the bitmap 6, and initializes the bitmap 6.
  • step S20 superimposing section 50 acquires superimposed image 5.
  • step S30 the superimposition unit 50 determines whether the generation processing of the bitmap 6 has been completed for all the pixels 7 of the superimposed image 5. When the superimposing unit 50 determines that the processing has been completed for all the pixels 7, the bitmap generation operation ends. When the superimposing unit 50 determines that the processing has not been completed for all the pixels 7, step S40 is executed.
  • step S40 the superimposing unit 50 determines whether the generation processing of the bitmap 6 has been completed for all the drawing layers 2 of the superimposed image 5. If the superimposing unit 50 determines that the processing has been completed for all drawing layers 2, step S80 is executed. When the superimposing unit 50 determines that the processing has not been completed for all the drawing layers 2, step S50 is executed.
  • step S ⁇ b> 50 the superimposing unit 50 acquires data of one pixel 7 in one drawing layer 2 that is currently being processed among the plurality of drawing layers 2 of the superimposed image 5.
  • the data of one pixel 7 is an RGBA value.
  • the RGBA value includes an ⁇ value as transparent information in addition to an RGB value as color information.
  • step S60 the superimposition unit 50 determines whether or not the one pixel 7 satisfies the relational expression of ⁇ value ⁇ threshold. If the superimposing unit 50 determines that the relational expression is satisfied, step S80 is executed. If the superimposing unit 50 determines that the relational expression is not satisfied, step S70 is executed.
  • step S70 the superimposition unit 50 sets the drawing layer 2 to be processed as the next drawing layer 2.
  • step S80 the superimposition unit 50 outputs the currently processed drawing layer number to the pixel 7 of the bitmap 6 corresponding to the currently processed pixel 7.
  • step S80 is executed as a result of the completion of the processing for all drawing layers 2, the drawing layer number currently being processed is the maximum value among the plurality of drawing layer numbers.
  • step S90 the superimposing unit 50 sets the pixel 7 to be processed to the next pixel 7. Through the above steps, a bitmap is generated.
  • FIG. 13 is a flowchart illustrating an operation of the event transmitting apparatus 101 and an event transmitting method according to the second embodiment.
  • step S100 input unit 10 acquires the touch coordinates at which the input event has been input.
  • step S110 the event transmitting unit 20 acquires the correspondence (bitmap 6) from the superimposing unit 50.
  • step S120 the event transmitting unit 20 acquires a drawing layer number based on the touch coordinates and the bitmap 6.
  • step S130 the event transmitting unit 20 acquires a layer configuration relationship from the layer configuration storage unit 40.
  • step S140 the event transmitting unit 20 selects one virtual machine as a destination virtual machine from a plurality of virtual machines based on the drawing layer number and the layer configuration relationship.
  • step S150 the event transmitting unit 20 transmits the input event to the destination virtual machine.
  • the destination virtual machine executes a process based on the input event.
  • the event transmitting apparatus 101 may output a result related to the processing to the display 110 via the superimposing unit 50 and the display control unit 60.
  • touch panel 120 and display 110 are shown as separate devices from event transmitting apparatus 101, but event transmitting apparatus 101 may have a configuration including touch panel 120 and display 110. Good.
  • the event transmitting apparatus 101 further includes a superimposing unit 50 that superimposes a plurality of drawing layers 2 and generates a superimposed image 5 and a correspondence.
  • Each of the superimposed image 5 and each of the plurality of drawing layers 2 includes a plurality of pixels 7.
  • the superimposed image 5 is an image in which the plurality of drawing layers 2 are superimposed on each of the plurality of pixels 7.
  • the unit of each pixel 7 is applied as each position of the superimposed image 5 which is a corresponding unit in the correspondence relationship.
  • the superimposing unit 50 of the event transmitting apparatus 101 includes, as the correspondence, the coordinates of one pixel 7 in the superimposed image 5 and one drawing layer 2 from which the image of one pixel 7 is derived. , Is generated.
  • the event transmitting unit 20 transmits an input event to a destination virtual machine based on the bitmap 6.
  • the event transmitting apparatus 101 can select one virtual machine corresponding to the input position by using each pixel 7 of the superimposed image 5 as a minimum unit, so that the input resolution is improved.
  • each of the plurality of drawing layers 2 includes transparency information of each of the plurality of pixels 7.
  • the superimposing unit 50 determines one drawing layer 2 from which an image of one pixel 7 is derived based on the transparency information and a predetermined threshold value related to transparency, and thereby the superimposed image 5 and the bitmap 6 And generate
  • the drawing layer 2 having a transparency of 0% (that is, non-transparency) and positioned at a higher position is visually recognized by the user.
  • the input event by the user is input to the opaque drawing layer 2.
  • the event transmission device 101 according to the second embodiment can process, for example, an input event to the semi-transparent drawing layer 2 because the threshold value can be changed.
  • the threshold value may be set to be dynamically changeable.
  • each of the plurality of drawing layers 2 further includes color information of each of the plurality of pixels 7.
  • the superimposing unit 50 When the ⁇ value is 0 and a value other than the ⁇ value (for example, an RGB value that is color information) is a specific value, the superimposing unit 50 The drawing layer number currently being processed is output to the pixel 7 currently being processed. That is, when the transparency information of one pixel 7 in one drawing layer 2 is transparent and the color information is a specific color, the superimposition unit 50 compares the coordinates of one drawing layer 2 and one pixel 7 with each other. The associated bitmap 6 is generated. This processing is executed, for example, between step S60 and step S70.
  • Such an event transmitting apparatus can transmit an input event input for a “hidden button” that does not appear in the superimposed image 5 displayed on the display 110 to an appropriate virtual machine.
  • the superimposing unit 50 generates the bitmap 6 separately from the superimposed image 5.
  • the superimposition unit 50 according to the second modification of the second embodiment generates the superimposed image 5 including the bitmap 6. That is, the bitmap 6 indicating the correspondence is embedded in the superimposed image 5.
  • FIG. 14 is a flowchart illustrating a bitmap generation operation performed by the superimposing unit 50 according to the second modification of the second embodiment.
  • step S20 superimposing section 50 acquires superimposed image 5.
  • Steps S30 to S70 are the same as the steps shown in FIG.
  • step S81 the superimposing unit 50 embeds the currently processed drawing layer number in the pixel 7 of the superimposed image 5 corresponding to the currently processed pixel 7.
  • the drawing layer number is stored in the three least significant bits of a plurality of bits each storing an RGB value.
  • Step S90 is the same as step S90 shown in FIG.
  • the event transmitting unit 20 transmits the input event to the destination virtual machine corresponding to the input position based on the bitmap 6 included in the superimposed image 5.
  • the event transmission method is the same as the method shown in FIG.
  • the superimposing unit 50 embeds the bitmap 6 in the superimposed image 5 after completing the generation of the superimposed image 5.
  • the method of generating and embedding the bitmap 6 is not limited thereto.
  • the superimposition unit 50 may embed the bitmap 6 simultaneously with the generation of the superimposed image 5.
  • the event transmission device does not require a storage area necessary for outputting the bitmap 6.
  • the third embodiment is a subordinate concept of the first embodiment.
  • the event transmission device according to the third embodiment includes the components of event transmission device 100 described in the first embodiment. The description of the same configuration and operation as those in the first or second embodiment is omitted.
  • the communication time between the event transmission device and the touch panel 120 is longer than the display update interval (frame rate) of the display 110, the communication time is displayed on the display 110 until the input event arrives at the input unit 10 from the touch panel 120.
  • the superimposed image 5 to be updated is updated. That is, the bitmap 6 corresponding to the superimposed image 5 is also updated.
  • the event transmitting unit 20 selects a destination virtual machine based on the updated bitmap 6 and the input position of the superimposed image 5 before updating. As a result, the possibility that the event transmitting device erroneously transmits the input event increases.
  • the event transmission device according to the third embodiment solves such a problem.
  • FIG. 15 is a block diagram showing a configuration of the event transmitting apparatus 102 according to the third embodiment.
  • the event transmission device 102 further includes a time acquisition unit 70 and a bitmap storage unit 80 in addition to the configuration described in the second embodiment.
  • the time acquisition unit 70 acquires time information.
  • the time is the current time.
  • the superimposition unit 50 adds the time information when the superimposed image 5 was generated to the superimposed image 5 and the bitmap 6 as the generation time.
  • the superimposing unit 50 gives a generation time each time the superimposed image 5 and the bitmap 6 are generated.
  • the display control unit 60 controls the display 110 to display the superimposed image 5. Further, the display control unit 60 outputs the generation time assigned to the superimposed image 5 to the input unit 10.
  • the bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 and having different generation times.
  • the input unit 10 receives an input event including touch coordinates from the touch panel 120. In addition, the input unit 10 acquires the generation time given to the superimposed image 5 by the superimposition unit 50. Here, the input unit 10 acquires the generation time from the display control unit 60.
  • the event transmission unit 20 acquires the input event including the touch coordinates from the input unit 10 and the generation time given to the superimposed image 5.
  • the event transmission unit 20 selects one bitmap 6 from the plurality of bitmaps 6 stored in the bitmap storage unit 80 based on a predetermined selection condition.
  • the predetermined selection condition is a condition relating to the generation time acquired by the input unit 10 and the generation time given to each bitmap 6 stored in the bitmap storage unit 80.
  • the event transmitting unit 20 is configured to generate one of the plurality of bitmaps 6 stored in the bitmap storage unit 80, to which one of the bitmaps 6 Select 6.
  • the event transmitting unit 20 transmits the input event to the destination virtual machine corresponding to the input position based on the one bitmap 6.
  • FIG. Is realized by the SoC 130.
  • FIG. 16 is a flowchart showing a bitmap generation operation by superposition section 50 in the third embodiment.
  • step S12 the superimposing unit 50 initializes the bitmap 6, and gives a generation time to the bitmap 6.
  • Step S20 and subsequent steps are the same as the respective steps shown in FIG.
  • FIG. 17 is a flowchart showing the operation of the event transmitting apparatus 102 and the event transmitting method according to the third embodiment.
  • step S101 the input unit 10 acquires the touch coordinates at which the input event is input and the generation time given to the superimposed image 5.
  • step S111 one bitmap 6 to which a generation time matching the generation time acquired by the input unit 10 is added is selected.
  • Step S120 and subsequent steps are the same as the respective steps shown in FIG.
  • the event transmitting apparatus 102 further includes a bitmap storage unit 80.
  • the superimposition unit 50 generates a bitmap 6 corresponding to the superimposed image 5 every time the superimposed image 5 is generated.
  • the bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 at different timings.
  • the event transmission unit 20 selects one bitmap 6 for selecting a destination virtual machine from the plurality of bitmaps 6 based on a predetermined selection condition.
  • the event transmitting apparatus 102 can accurately input the event to the appropriate virtual machine. Send to
  • the event transmitting apparatus 102 further includes a time obtaining unit 70 that obtains time information.
  • a time obtaining unit 70 that obtains time information.
  • the input unit 10 acquires the generation time given to the superimposed image 5.
  • the predetermined selection condition is a condition relating to the generation time acquired by the input unit 10 and the generation time given to each bitmap 6 stored in the bitmap storage unit 80.
  • the event transmitting apparatus 102 can accurately input the event to the appropriate virtual machine. Send to
  • the fourth embodiment is a subordinate concept of the first embodiment.
  • the event transmitting apparatus according to the fourth embodiment includes the components of event transmitting apparatus 100 shown in the first embodiment. The description of the same configuration and operation as any of the first to third embodiments will be omitted.
  • the event transmission device according to the fourth embodiment solves the same problem as in the third embodiment.
  • FIG. 18 is a block diagram showing a configuration of the event transmitting apparatus 103 according to the fourth embodiment.
  • the superimposing unit 50 includes a bitmap 6, that is, a superimposed image including information on the correspondence between one drawing layer 2 that draws one pixel 7 of the superimposed image 5 and the coordinates of the one pixel 7. 5 is generated.
  • the display control unit 60 controls the display 110 to display the superimposed image 5. However, the display control unit 60 performs control to display the superimposed image 5 ignoring the bitmap 6 included in the superimposed image 5. That is, the display control unit 60 ignores the area in which the drawing layer number is embedded, that is, considers that the value is 0.
  • the input unit 10 includes the layer information acquisition unit 11.
  • the input unit 10 acquires the superimposed image 5 generated by the superimposition unit 50 by receiving the input event.
  • the input unit 10 acquires the superimposed image 5 from the display control unit 60.
  • a drawing layer number corresponding to the touch coordinates is obtained from the layer information obtaining unit 11 and output to the event transmitting unit 20.
  • the layer information acquisition unit 11 acquires the touch coordinates included in the input event and the superimposed image 5.
  • the layer information acquisition unit 11 specifies the drawing layer 2 from which the image at the touch coordinates is derived, based on the bitmap 6 included in the superimposed image 5.
  • the event transmission unit 20 transmits an input event to the virtual machine corresponding to the drawing layer 2 specified by the layer information acquisition unit 11.
  • Each function of the superposition unit 50, the display control unit 60, the input unit 10, the layer information acquisition unit 11, the layer configuration storage unit 40, and the event transmission unit 20 according to Embodiment 4 is realized by, for example, the SoC 130 illustrated in FIG. You.
  • FIG. 19 is a flowchart showing the operation of the input unit 10 according to the fourth embodiment.
  • step S200 the input unit 10 acquires touch coordinates at which an input event has been input.
  • step S210 the input unit 10 acquires the superimposed image 5 including the bitmap 6.
  • step S220 the layer information acquiring unit 11 acquires a drawing layer number based on the touch coordinates and the bitmap 6 included in the superimposed image 5.
  • step S230 the input unit 10 outputs the touch coordinates and the drawing layer number.
  • FIG. 20 is a flowchart showing the operation of the event transmitting apparatus 103 and the event transmitting method according to the fourth embodiment.
  • step S102 the event transmitting unit 20 acquires the touch coordinates and the drawing layer number.
  • Step S130 and subsequent steps are the same as the steps shown in FIG. 13 in the second embodiment.
  • the input unit 10 of the event transmitting apparatus 103 includes a layer information acquisition unit 11 that acquires a bitmap 6 from the superimposed image 5 by receiving an input event.
  • the event transmitting unit 20 transmits an input event to the destination virtual machine based on the bitmap 6 acquired by the layer information acquiring unit 11.
  • the event transmitting apparatus 103 can accurately input the event to the appropriate virtual machine. Send to
  • the event transmitting device includes the components of event transmitting device 100 shown in the first embodiment. The description of the same configuration and operation as any of the first to fourth embodiments will be omitted.
  • the event transmission device described in any one of Embodiments 2 to 4 implements the above-described function for a plurality of virtual machines 30 operating on one hypervisor 140.
  • the hypervisor 140 is constructed in one SoC 130.
  • the event transmission device according to the fifth embodiment implements the above-described function for a plurality of virtual machines 30 that operate on a hypervisor 140 constructed on each of the plurality of SoCs 130.
  • the plurality of SoCs 130 are separately provided for an event transmitting device and an information processing device different from the event transmitting device.
  • FIG. 21 is a block diagram showing a configuration of the event transmitting device 104, the information processing device 150, and the information processing system 200 according to the fifth embodiment.
  • the information processing system 200 includes the event transmitting apparatus 104 and an information processing apparatus 150 connected to the event transmitting apparatus 104 via a network.
  • the event transmission device 104 includes the superimposition unit 50, the display control unit 60, the input unit 10, the layer configuration storage unit 40, and the plurality of virtual machines 30.
  • the event transmitting apparatus 104 according to Embodiment 5 includes a first event transmitting unit 20A as the event transmitting unit 20.
  • the event transmitting device 104 further includes a first communication unit 90A.
  • the plurality of virtual machines 30 of the event transmission device 104 include the first virtual machine 301 to the K-th virtual machine 30K.
  • K satisfies the relationship K> 1.
  • the information processing device 150 includes a second communication unit 90B, a second event transmission unit 20B, and a plurality of virtual machines 30.
  • the plurality of virtual machines 30 of the information processing device 150 include an Mth virtual machine 30M to an Nth virtual machine 30N.
  • the first communication unit 90A communicates with the information processing device 150 via the network to exchange data.
  • the first communication unit 90A transmits the input event to the information processing device 150. Further, the first communication unit 90A receives each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150.
  • the superimposition unit 50 superimposes the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the event transmitting device 104 and the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the information processing device 150. A superimposed image 5 is generated.
  • the layer configuration storage unit 40 stores the layer configuration relationship.
  • FIG. 22 is a diagram illustrating an example of a layer configuration relationship in the fifth embodiment.
  • the layer configuration relationship is a table in which drawing layer numbers, used virtual machines, and used devices are associated with each other.
  • the used device is a device on which the used virtual machine operates.
  • the device used here is the event transmitting device 104 or the information processing device 150.
  • a first drawing layer 2A indicated by a drawing layer number “1” corresponds to the second virtual machine 302 that operates on the event transmission device 104.
  • the second drawing layer 2B indicated by the drawing layer number “2” corresponds to the M-th virtual machine 30M operating on the information processing device 150.
  • the first event transmission unit 20A specifies one drawing layer 2 from which the image of the area corresponding to the touch coordinates is derived, based on the touch coordinates and the bitmap 6.
  • the first event transmitting unit 20A specifies the destination virtual machine and the destination device corresponding to one drawing layer 2 based on the layer configuration relationship. If the destination virtual machine is a virtual machine that operates on the event transmitting device 104, the event transmitting device 104 transmits the input event to the destination virtual machine. When the transmission destination virtual machine is a virtual machine operating on the information processing device 150, the event transmission device 104 transmits an input event to the information processing device 150 via the first communication unit 90A.
  • the second communication unit 90B communicates with the event transmission device 104 via the network to exchange data.
  • the second communication unit 90 ⁇ / b> B transmits each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150 to the event transmitting device 104. Further, the second communication unit 90B receives an input event from the event transmitting device 104.
  • the second event transmitting unit 20B transmits the input event to the destination virtual machine among the plurality of virtual machines 30 included in the information processing device 150.
  • Each function of the superimposition unit 50, the display control unit 60, the input unit 10, the layer configuration storage unit 40, the first event transmission unit 20A, and the first communication unit 90A in the fifth embodiment is performed by, for example, the SoC 130 illustrated in FIG. Is achieved.
  • the information processing device 150 also has the same hardware configuration as the SoC 130.
  • Each function of the second communication unit 90B and the second event transmission unit 20B is realized by the SoC.
  • FIG. 23 is a flowchart illustrating an operation of generating a superimposed image by the superimposing unit 50 according to the fifth embodiment.
  • step S5A the superimposition unit 50 acquires an image drawn by each virtual machine 30 of each device and a layer configuration relationship. At that time, the superimposition unit 50 acquires an image drawn by each virtual machine 30 included in the information processing device 150 via the second communication unit 90B and the first communication unit 90A, and uses the virtual machine from which the image is derived. Obtain information to identify machines and devices used.
  • step S6A the superimposing unit 50 refers to the layer configuration relationship and writes the image on the drawing layer corresponding to each virtual machine 30 and each device used from which each image is derived.
  • step S7A the superimposing unit 50 superimposes a plurality of drawing layers to generate a superimposed image 5. Through the above steps, the superimposed image 5 is generated.
  • FIG. 24 is a flowchart showing a bitmap generation operation by superposition section 50 in the fifth embodiment.
  • Step S10 is the same as step S10 shown in FIG.
  • step S20 superimposing section 50 acquires superimposed image 5.
  • Steps S30 to S90 are the same as the steps shown in FIG. Steps S40 to S70 are repeatedly executed by the number of the plurality of drawing layers 2.
  • FIG. 25 is a flowchart showing an operation of event transmitting apparatus 104 and an event transmitting method according to the fifth embodiment.
  • Steps S100 to S130 are the same as the steps shown in FIG. However, in the fifth embodiment, steps S110 to S130 are executed by the first event transmitting unit 20A.
  • step S141 the first event transmitting unit 20A selects a destination virtual machine and a destination device based on the drawing layer number and the layer configuration relationship.
  • the destination device is a device that includes the destination virtual machine.
  • step S151 the first event transmitting unit 20A determines whether the destination device is the event transmitting device 104.
  • step S152 is executed.
  • step S153 is executed.
  • step S152 the first event transmitting unit 20A transmits the input event and information on the destination virtual machine to the information processing device 150 via the first communication unit 90A.
  • step S153 the first event transmitting unit 20A transmits the input event to the destination virtual machine included in the event transmitting device 104.
  • FIG. 26 is a flowchart showing an operation of the information processing apparatus 150 and a method of transmitting an event in the fifth embodiment.
  • step S300 the second event transmitting unit 20B acquires the input event and information on the destination virtual machine via the second communication unit 90B.
  • step S310 the second event transmitting unit 20B transmits the input event to the destination virtual machine.
  • the above-described event transmitting apparatus 104 may have the configuration shown in each of the third and fourth embodiments.
  • the plurality of SoCs 130 are provided separately in the event transmitting device 104 and the information processing device 150 different from the event transmitting device 104, but are included in one event transmitting device. Is also good.
  • the information processing device 150 may be a second event transmission device.
  • the information processing system 200 may include two or more information processing devices.
  • the event transmitting apparatus 104 includes an input in which a plurality of drawing layers 2 provided corresponding to a plurality of virtual machines 30 are input to a superimposed image 5 that is superimposed on each other. Based on the correspondence between the input unit 10 that receives the event and the plurality of positions in the superimposed image 5 and one drawing layer 2 from which the image at each position is derived, the input event of the superimposed image 5 of the plurality of virtual machines 30 is determined.
  • a first event transmitting unit 20A that transmits an input event to a destination virtual machine that is one virtual machine corresponding to the input position, and a first communication unit that transmits the input event to the information processing device 150 via a network. 90A.
  • the event transmitting apparatus 104 can appropriately transmit an input event to a virtual machine operating on a device other than the event transmitting apparatus 104.
  • the information processing device 150 is connected to the event transmitting device 104 that transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on the hypervisor 140 via a network.
  • the event transmitting device 104 that transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on the hypervisor 140 via a network.
  • a plurality of virtual machines 30 operating on the hypervisor 140 a second communication unit 90B that receives an input event from the first communication unit 90A of the event transmission device 104 via a network, and a reception by the second communication unit 90B And a second event transmission unit 20B that transmits the input event to the destination virtual machine.
  • the input event can be transmitted to an appropriate virtual machine. it can.
  • the information processing system 200 includes an event transmitting device 104 that transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on the hypervisor 140, and an event transmitting device 104 and the network. And an information processing device 150 to be connected.
  • the event transmission device 104 includes: an input unit 10 that receives an input event that is input to a superimposed image 5 in which a plurality of drawing layers 2 provided corresponding to the plurality of virtual machines 30 are superimposed on each other; 5 based on the correspondence relationship between the plurality of positions and one drawing layer 2 from which the image at each position is derived, among the plurality of virtual machines 30, one virtual machine corresponding to the input position of the input event in the superimposed image 5.
  • the information processing device 150 includes: a plurality of virtual machines 30 operating on the hypervisor 140; a second communication unit 90B that receives an input event from the first communication unit 90A of the event transmission device 104 via a network; And a second event transmission unit 20B that transmits the input event received by the communication unit 90B to the destination virtual machine.
  • the information processing system 200 can appropriately transmit an input event to a virtual machine operating on a device other than the event transmitting device 104. Further, the information processing system 200 transmits the input event to an appropriate virtual machine even when the information processing device 150 does not have a function corresponding to the input unit 10 and the superimposition unit 50 of the event transmission device 104. be able to.
  • the event transmission device, the display 110, and the touch panel 120 described in each of the above embodiments are mounted on, for example, a vehicle.
  • the event transmission device can also be applied to a system constructed by appropriately combining a navigation device, a communication terminal, a server, and functions of an application installed therein.
  • the navigation device includes, for example, a PND (Portable Navigation Device).
  • the communication terminal includes, for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet.
  • FIG. 27 is a block diagram showing a configuration of the event transmission device 100 according to the sixth embodiment and a device that operates in connection therewith.
  • the server 300 is provided with the event transmitting device 100, the plurality of virtual machines 30, and the communication device 160.
  • the event transmission device 100 acquires an input event from the touch panel 120 provided on the vehicle 1 via the communication device 170 and the communication device 160.
  • the event transmission device 100 executes the processing described in each embodiment, and transmits an input event to a destination virtual machine. Further, the destination virtual machine executes a process based on the input event.
  • a result related to the processing may be output to the display 110 via the superimposing unit 50 and the display control unit 60 of the event transmitting device 100.
  • the configuration of the vehicle-mounted device can be simplified.
  • some of the functions or components of the event transmitting apparatus 100 may be provided in the server 300 and the other part may be provided in the vehicle 1, and may be distributed.

Abstract

The purpose of the present invention is to provide an event transmission device that efficiently transmits an input event to one of a plurality of virtual machines running on a hypervisor. This event transmission device transmits an input event to one of a plurality of virtual machines running on a hypervisor. The event transmission device includes: an input unit which receives an input event that is input to a superimposed image in which a plurality of rendering layers, each provided to correspond to one of the plurality of virtual machines, are superimposed on each other; and an event transmission unit which transmits the input event to a virtual machine among the plurality of virtual machines that corresponds to the input position of the input event in the superimposed image, on the basis of the correspondence between a plurality of positions in the superimposed image and a rendering layer from which the image at each of the positions has been derived.

Description

イベント送信装置、情報処理装置、情報処理システム、およびイベント送信方法Event transmission device, information processing device, information processing system, and event transmission method
 本発明は、イベント送信装置、情報処理装置、情報処理システム、およびイベント送信方法に関する。 The present invention relates to an event transmission device, an information processing device, an information processing system, and an event transmission method.
 ハイパーバイザ上で動作する複数の仮想マシンを搭載するシステムは、その表示装置に各仮想マシンが描画した画像を重畳して表示する。表示装置が入力装置としてタッチパネルを有する場合、タッチパネルが受け付ける入力情報はタッチ座標のみであるため、システムはその入力情報に対応する仮想マシンを認識することはできない。 A system equipped with a plurality of virtual machines operating on a hypervisor displays an image drawn by each virtual machine on its display device in a superimposed manner. When the display device has a touch panel as an input device, the input information received by the touch panel is only the touch coordinates, and thus the system cannot recognize the virtual machine corresponding to the input information.
 そこで、システムが適切な仮想マシンに入力情報を送信するために、以下の2つの方法が考えられる。その1つの方法においては、システムは入力情報を全ての仮想マシンに一斉に配信する。もう1つの方法においては、システムは予め定められた順序に従い各仮想マシンに順次入力情報を送信する。例えば、システムはまず一の仮想マシンに入力情報を送信する。その入力情報を受信した一の仮想マシンが入力情報を使用しない場合、システムは別の仮想マシンに入力情報を送信する。 Therefore, the following two methods are conceivable for the system to transmit input information to an appropriate virtual machine. In one method, the system distributes input information to all virtual machines simultaneously. In another method, the system sequentially sends input information to each virtual machine according to a predetermined order. For example, the system first sends input information to one virtual machine. If one virtual machine receiving the input information does not use the input information, the system transmits the input information to another virtual machine.
特開2011-197853号公報JP 2011-197853 A
 前者の方法では、ハイパーバイザと各仮想マシンとの間で、無駄な通信が発生する。また、後者の方法では、入力情報が入力されてから、その入力情報を必要とする仮想マシンがその入力情報を受信するまでに時間を要する。 In the former method, useless communication occurs between the hypervisor and each virtual machine. In the latter method, it takes time from when the input information is input to when a virtual machine that needs the input information receives the input information.
 特許文献1には、ハイパーバイザ上に複数の仮想マシンが搭載された機能提供装置が提案されている。この機能提供装置においては、メニュー管理機能が実行されるOS(オペレーションシステム)が搭載された1つの仮想マシンに、メニュー画面が表示されている。メニュー画面において、特定の機能に対応した特定のボタンが押下された場合、仮想マシンのメニュー管理機能部は、その特定の機能を制御する仮想マシンを呼び出す。そのため、選択された機能を実行する仮想マシンに処理依頼が到達するまでに時間を要する。また、メニュー画面における入力位置と、特定の機能を実行する仮想マシンとの対応関係が、予め定められている必要がある。すなわち、機能提供装置は、任意の表示画面に対して、上記のメニュー管理機能と同様の機能を実行できるとは限らない。 Patent Document 1 proposes a function providing device in which a plurality of virtual machines are mounted on a hypervisor. In this function providing apparatus, a menu screen is displayed on one virtual machine equipped with an OS (operation system) for executing a menu management function. When a specific button corresponding to a specific function is pressed on the menu screen, the menu management function unit of the virtual machine calls a virtual machine that controls the specific function. Therefore, it takes time until the processing request reaches the virtual machine that executes the selected function. Also, the correspondence between the input position on the menu screen and the virtual machine that executes a specific function needs to be determined in advance. That is, the function providing apparatus cannot always execute the same function as the above-described menu management function on an arbitrary display screen.
 本発明は、以上のような課題を解決するためになされたものであり、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供を目的とする。 SUMMARY An advantage of some aspects of the invention is to provide an event transmission device that efficiently transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor. Aim.
 本発明に係るイベント送信装置は、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信する。イベント送信装置は、複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける入力部と、重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシンのうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信するイベント送信部と、を含む。 The event transmission device according to the present invention transmits an input event to one virtual machine among a plurality of virtual machines operating on the hypervisor. The event transmitting device includes: an input unit configured to receive an input event input to a superimposed image in which a plurality of drawing layers provided for each of the plurality of virtual machines are superimposed; and a plurality of positions in the superimposed image. Event transmission for transmitting an input event to one virtual machine corresponding to an input position of an input event in a superimposed image among a plurality of virtual machines based on a correspondence relationship with one drawing layer from which an image at each of the positions is derived. Parts.
 本発明によれば、ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに効率よく入力イベントを送信するイベント送信装置の提供が可能である。 According to the present invention, it is possible to provide an event transmitting apparatus that efficiently transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor.
 本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。 The objects, features, aspects, and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
実施の形態1におけるイベント送信装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of an event transmission device according to Embodiment 1. 実施の形態1におけるイベント送信装置が有する処理回路の一例を示す図である。5 is a diagram illustrating an example of a processing circuit included in the event transmission device in Embodiment 1. [FIG. 実施の形態1におけるイベント送信装置が有する処理回路の別の一例を示す図である。5 is a diagram illustrating another example of a processing circuit included in the event transmission device in Embodiment 1. [FIG. 実施の形態1におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。5 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to the first embodiment. 実施の形態2におけるイベント送信装置の構成を示すブロック図である。FIG. 9 is a block diagram illustrating a configuration of an event transmission device according to a second embodiment. 実施の形態2におけるレイヤ構成関係の一例を示す図である。35 is a diagram illustrating an example of a layer configuration relationship in Embodiment 2. [FIG. 実施の形態2における描画レイヤおよび重畳画像の一例を示す図である。15 is a diagram illustrating an example of a drawing layer and a superimposed image according to Embodiment 2. FIG. 実施の形態2における描画レイヤおよび重畳画像の一例を示す図である。15 is a diagram illustrating an example of a drawing layer and a superimposed image according to Embodiment 2. FIG. 実施の形態2におけるビットマップの一例を示す図である。129 is a diagram illustrating an example of a bitmap in Embodiment 2. [FIG. 実施の形態2におけるイベント送信装置のハードウェアとハイパーバイザとの関係を示す図である。FIG. 14 is a diagram illustrating a relationship between hardware of an event transmission device and a hypervisor according to a second embodiment. 実施の形態2における重畳部による重畳画像の生成動作を示すフローチャートである。13 is a flowchart illustrating an operation of generating a superimposed image by a superimposing unit according to Embodiment 2. 実施の形態2における重畳部によるビットマップ生成動作を示すフローチャートである。15 is a flowchart illustrating a bitmap generation operation performed by a superposition unit according to the second embodiment. 実施の形態2におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。9 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to Embodiment 2. 実施の形態2の変形例における重畳部によるビットマップ生成動作を示すフローチャートである。17 is a flowchart illustrating a bitmap generation operation by a superposition unit according to a modification of the second embodiment. 実施の形態3におけるイベント送信装置の構成を示すブロック図である。FIG. 14 is a block diagram illustrating a configuration of an event transmission device according to a third embodiment. 実施の形態3における重畳部によるビットマップ生成動作を示すフローチャートである。17 is a flowchart illustrating a bitmap generation operation performed by a superposition unit according to Embodiment 3. 実施の形態3におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。13 is a flowchart illustrating an operation of the event transmission device and an event transmission method according to Embodiment 3. 実施の形態4におけるイベント送信装置の構成を示すブロック図である。FIG. 14 is a block diagram illustrating a configuration of an event transmission device according to a fourth embodiment. 実施の形態4における入力部の動作を示すフローチャートである。15 is a flowchart illustrating an operation of the input unit according to the fourth embodiment. 実施の形態4におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。17 is a flowchart illustrating the operation of the event transmission device and an event transmission method according to Embodiment 4. 実施の形態5におけるイベント送信装置、情報処理装置および情報処理システムの構成を示すブロック図である。FIG. 21 is a block diagram illustrating a configuration of an event transmitting device, an information processing device, and an information processing system according to Embodiment 5. 実施の形態5におけるレイヤ構成関係の一例を示す図である。157 is a diagram illustrating an example of a layer configuration relationship in Embodiment 5. [FIG. 実施の形態5における重畳部による重畳画像の生成動作を示すフローチャートである。21 is a flowchart illustrating an operation of generating a superimposed image by a superimposing unit according to Embodiment 5. 実施の形態5における重畳部によるビットマップ生成動作を示すフローチャートである。26 is a flowchart illustrating a bitmap generation operation by a superposition unit according to Embodiment 5. 実施の形態5におけるイベント送信装置の動作およびイベント送信方法を示すフローチャートである。33 is a flowchart illustrating an operation of the event transmission device and an event transmission method in Embodiment 5. 実施の形態5における情報処理装置の動作およびイベント送信方法を示すフローチャートである。28 is a flowchart illustrating an operation of the information processing device and an event transmission method according to Embodiment 5. 実施の形態6におけるイベント送信装置およびそれに関連して動作する装置の構成を示すブロック図である。FIG. 21 is a block diagram showing a configuration of an event transmission device and a device that operates in connection with the event transmission device according to Embodiment 6.
 <実施の形態1>
 図1は、実施の形態1におけるイベント送信装置100の構成を示すブロック図である。また、図1には、イベント送信装置100と関連して動作する複数の仮想マシン30が示されている。これら複数の仮想マシン30は、ハイパーバイザ上で動作する。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of the event transmission device 100 according to the first embodiment. FIG. 1 shows a plurality of virtual machines 30 that operate in association with the event transmission device 100. These multiple virtual machines 30 operate on a hypervisor.
 イベント送信装置100は、入力部10およびイベント送信部20を有する。 The event transmission device 100 includes the input unit 10 and the event transmission unit 20.
 入力部10は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける。入力部10は、例えば、ディスプレイに表示される重畳画像に基づき、タッチパネルに入力される入力イベントを受け付ける。 The input unit 10 receives an input event in which a plurality of drawing layers provided for each of the plurality of virtual machines 30 are input to a superimposed image that is superimposed on each other. The input unit 10 receives, for example, an input event input to the touch panel based on a superimposed image displayed on the display.
 イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する。 The event transmitting unit 20 corresponds to the input position of the input event in the superimposed image among the plurality of virtual machines 30 based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each position is derived. The input event is transmitted to the destination virtual machine which is one virtual machine to be transmitted.
 図2は、イベント送信装置100が有する処理回路95の一例を示す図である。入力部10およびイベント送信部20の各機能は、処理回路95により実現される。すなわち、処理回路95は、入力部10およびイベント送信部20を有する。 FIG. 2 is a diagram illustrating an example of the processing circuit 95 included in the event transmitting apparatus 100. Each function of the input unit 10 and the event transmission unit 20 is realized by the processing circuit 95. That is, the processing circuit 95 includes the input unit 10 and the event transmission unit 20.
 処理回路95が専用のハードウェアである場合、処理回路95は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせた回路等である。入力部10およびイベント送信部20の各機能は、複数の処理回路により個別に実現されてもよいし、1つの処理回路によりまとめて実現されてもよい。 When the processing circuit 95 is dedicated hardware, the processing circuit 95 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a circuit combining these. Each function of the input unit 10 and the event transmission unit 20 may be realized individually by a plurality of processing circuits, or may be realized collectively by one processing circuit.
 図3は、イベント送信装置100が有する処理回路の別の一例を示す図である。処理回路は、プロセッサ96とメモリ97とを有する。プロセッサ96がメモリ97に格納されるプログラムを実行することにより、入力部10およびイベント送信部20の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ96により実行されることにより各機能が実現される。すなわち、イベント送信装置100は、プログラムを格納するメモリ97と、そのプログラムを実行するプロセッサ96とを有する。 FIG. 3 is a diagram illustrating another example of a processing circuit included in the event transmission device 100. The processing circuit has a processor 96 and a memory 97. When the processor 96 executes the program stored in the memory 97, the functions of the input unit 10 and the event transmission unit 20 are realized. For example, each function is realized by executing software or firmware described as a program by the processor 96. That is, the event transmission device 100 includes a memory 97 that stores a program, and a processor 96 that executes the program.
 プログラムには、イベント送信装置100が、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する機能が記述されている。また、プログラムは、入力部10およびイベント送信部20の手順または方法をコンピュータに実行させるものである。 In the program, the event transmission device 100 receives input events input to a superimposed image that is superimposed on a plurality of drawing layers provided for each of the plurality of virtual machines 30, The input event is sent to one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30 on the basis of the correspondence between the position and the one drawing layer from which the image at each position is derived. The function to transmit is described. Further, the program causes a computer to execute the procedure or method of the input unit 10 and the event transmission unit 20.
 プロセッサ96は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。メモリ97は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の、不揮発性または揮発性の半導体メモリである。または、メモリ97は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、今後使用されるあらゆる記憶媒体であってもよい。 The processor 96 is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like. The memory 97 is, for example, a non-volatile or volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrically Erasable Programmable Read Only Memory). It is a semiconductor memory. Alternatively, the memory 97 may be any storage medium used in the future, such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, and the like.
 上述した入力部10およびイベント送信部20の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。 The functions of the input unit 10 and the event transmitting unit 20 described above may be partially realized by dedicated hardware and partially realized by software or firmware. As described above, the processing circuit realizes the above-described functions by hardware, software, firmware, or a combination thereof.
 図4は、実施の形態1におけるイベント送信装置100の動作およびイベント送信方法を示すフローチャートである。 FIG. 4 is a flowchart showing the operation of the event transmitting apparatus 100 and the event transmitting method according to the first embodiment.
 ステップS1にて、入力部10は、重畳画像に対して入力される入力イベントを受け付ける。 In step S1, the input unit 10 receives an input event input for a superimposed image.
 ステップS2にて、イベント送信部20は、重畳画像における複数の位置と、各位置における画像が由来する一の描画レイヤとの対応関係に基づき、入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。 In step S2, the event transmitting unit 20 transmits a virtual machine corresponding to the input position of the input event to the one virtual machine based on the correspondence relationship between the plurality of positions in the superimposed image and one drawing layer from which the image at each position is derived. , Send an input event.
 以上をまとめると、実施の形態1におけるイベント送信装置100は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する。イベント送信装置100は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付ける入力部10と、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信するイベント送信部20と、を含む。 To summarize the above, the event transmitting apparatus 100 according to the first embodiment transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on a hypervisor. The event transmitting apparatus 100 includes an input unit 10 configured to receive an input event input to a superimposed image in which a plurality of drawing layers provided corresponding to the plurality of virtual machines 30 are superimposed on each other. Of the destination, which is one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30, based on the correspondence between the position of the image and the one drawing layer from which the image at each position is derived. An event transmitting unit 20 that transmits an input event to the machine.
 以上の構成により、イベント送信装置100は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信装置100は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。 With the above configuration, the event transmitting apparatus 100 can efficiently transmit an input event to a destination virtual machine operating on a hypervisor. The event transmitting device 100 reduces the total communication amount between the hypervisor and each virtual machine 30.
 以上をまとめると、実施の形態1におけるイベント送信方法は、ハイパーバイザ上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信する方法である。イベント送信方法は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される入力イベントを受け付け、重畳画像における複数の位置と各位置における画像が由来する一の描画レイヤとの対応関係に基づき、複数の仮想マシン30のうち、重畳画像における入力イベントの入力位置に対応する一の仮想マシンに、入力イベントを送信する。 In summary, the event transmission method according to the first embodiment is a method of transmitting an input event to one virtual machine among a plurality of virtual machines 30 operating on a hypervisor. In the event transmission method, a plurality of drawing layers provided for each of the plurality of virtual machines 30 receive an input event input to a superimposed image superimposed on each other, and a plurality of positions in the superimposed image and each position The input event is transmitted to one virtual machine corresponding to the input position of the input event in the superimposed image among the plurality of virtual machines 30 based on the correspondence relationship with the one drawing layer from which the image is derived.
 以上の構成により、イベント送信方法は、ハイパーバイザ上で動作する送信先の仮想マシンに効率よく入力イベントを送信することができる。イベント送信方法は、ハイパーバイザと各仮想マシン30との間の総通信量を削減する。 With the above configuration, the event transmission method can efficiently transmit an input event to a destination virtual machine operating on a hypervisor. The event transmission method reduces the total communication amount between the hypervisor and each virtual machine 30.
 <実施の形態2>
 実施の形態2におけるイベント送信装置およびイベント送信方法を説明する。実施の形態2は、実施の形態1の下位概念である。実施の形態2におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1と同様の構成および動作については説明を省略する。
<Embodiment 2>
An event transmitting device and an event transmitting method according to Embodiment 2 will be described. The second embodiment is a subordinate concept of the first embodiment. The event transmission device according to the second embodiment includes the components of event transmission device 100 shown in the first embodiment. The description of the same configuration and operation as in the first embodiment will be omitted.
 図5は、実施の形態2におけるイベント送信装置101の構成を示すブロック図である。また、図5には、イベント送信装置101と関連して動作する装置として、ディスプレイ110およびタッチパネル120が図示されている。イベント送信装置101は、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、イベント送信部20、および複数の仮想マシン30を有する。 FIG. 5 is a block diagram showing a configuration of the event transmitting apparatus 101 according to the second embodiment. FIG. 5 illustrates a display 110 and a touch panel 120 as devices that operate in association with the event transmission device 101. The event transmission device 101 includes a superimposition unit 50, a display control unit 60, an input unit 10, a layer configuration storage unit 40, an event transmission unit 20, and a plurality of virtual machines 30.
 複数の仮想マシン30は、実施の形態2において、第1仮想マシン301から第N仮想マシン30Nを含む。各仮想マシンは、ハイパーバイザ上で動作する。 In the second embodiment, the plurality of virtual machines 30 include the first virtual machine 301 to the N-th virtual machine 30N. Each virtual machine runs on a hypervisor.
 重畳部50は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤを重畳し、重畳画像を生成する。その際、重畳部50は、まず各仮想マシン30によって描画された画像を取得する。重畳部50は、レイヤ構成関係を参照して、その画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。重畳部50は、各描画レイヤの画像を重畳し、重畳画像を生成する。図6は、実施の形態2におけるレイヤ構成関係の一例を示す図である。ここでは、レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンとが対応づけられたテーブルである。使用仮想マシンとは、描画レイヤ番号の欄に示された描画レイヤに書き込まれるべき画像が由来する仮想マシン30のことである。例えば、描画レイヤ番号「1」で示される描画レイヤには、第1仮想マシン301によって描画される画像が書き込まれる。または、例えば、描画レイヤ番号「2」で示される描画レイヤには、第2仮想マシン302によって描画される画像が書き込まれる。 The superimposition unit 50 superimposes a plurality of drawing layers provided corresponding to each of the plurality of virtual machines 30, and generates a superimposed image. At that time, the superimposition unit 50 first obtains an image drawn by each virtual machine 30. The superimposing unit 50 writes the image on a drawing layer corresponding to each virtual machine 30 from which the image is derived, with reference to the layer configuration relationship. The superimposition unit 50 superimposes the image of each drawing layer to generate a superimposed image. FIG. 6 is a diagram illustrating an example of a layer configuration relationship according to the second embodiment. Here, the layer configuration relationship is a table in which the drawing layer numbers are associated with the virtual machines to be used. The used virtual machine is the virtual machine 30 from which the image to be written in the drawing layer indicated in the drawing layer number column is derived. For example, an image drawn by the first virtual machine 301 is written in the drawing layer indicated by the drawing layer number “1”. Alternatively, for example, an image drawn by the second virtual machine 302 is written in the drawing layer indicated by the drawing layer number “2”.
 図7および図8は、実施の形態2における描画レイヤ2および重畳画像5の一例を示す図である。図7および図8は、説明を簡略化するため、2つの描画レイヤ2およびその2つの描画レイヤ2が重畳された1つの重畳画像5を示している。2つの描画レイヤ2は、図6における描画レイヤ番号「1」に対応する第1描画レイヤ2Aおよび描画レイヤ番号「2」に対応する第2描画レイヤ2Bからなる。第1描画レイヤ2Aは、第2描画レイヤ2Bよりも上位に位置する。 FIGS. 7 and 8 are diagrams illustrating an example of the drawing layer 2 and the superimposed image 5 according to the second embodiment. FIGS. 7 and 8 show two drawing layers 2 and one superimposed image 5 on which the two drawing layers 2 are superimposed to simplify the description. The two drawing layers 2 include a first drawing layer 2A corresponding to the drawing layer number “1” and a second drawing layer 2B corresponding to the drawing layer number “2” in FIG. The first drawing layer 2A is positioned higher than the second drawing layer 2B.
 図7において、第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。その第1仮想マシン301は、第1領域3に、ユーザによる操作を受け付ける領域であるボタン、ユーザに対するメッセージもしくは画面内のデザイン等(いずれも図示せず)を描画している。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2仮想マシン302は、第2領域4に、ユーザによる操作を受け付けるボタン、ユーザに対するメッセージまたは画面内のデザイン等(いずれも図示せず)を描画している。第2領域4以外の領域は透明である。重畳画像5は、第1描画レイヤ2Aと第2描画レイヤ2Bとが互いに重畳されている。重畳画像5は、それぞれの描画レイヤ2に由来する第1領域3と第2領域4とを含む。 In FIG. 7, the first virtual machine 301 draws the first area 3 on the first drawing layer 2A. The first virtual machine 301 draws, in the first area 3, a button that is an area for receiving an operation by the user, a message for the user, a design in a screen, and the like (neither is shown). The area other than the first area 3 is transparent. On the second drawing layer 2B, the second area 4 is drawn by the second virtual machine 302. The second virtual machine 302 draws, in the second area 4, a button for receiving an operation by the user, a message for the user, a design in the screen, and the like (neither is shown). The area other than the second area 4 is transparent. In the superimposed image 5, the first drawing layer 2A and the second drawing layer 2B are superimposed on each other. The superimposed image 5 includes a first area 3 and a second area 4 derived from each drawing layer 2.
 図8においても、同様である。第1描画レイヤ2Aには、第1仮想マシン301によって第1領域3が描画されている。第1領域3以外の領域は透明である。第2描画レイヤ2Bには、第2仮想マシン302によって第2領域4が描画されている。第2領域4以外の領域は透明である。重畳画像5において、第1描画レイヤ2Aが透明である領域には、第2描画レイヤ2Bの第2領域4が描画されている。第1領域3と第2領域4とが重なる領域には、第1描画レイヤ2Aにおける第1領域3が描画されている。 に お い て The same applies to FIG. On the first drawing layer 2A, the first area 3 is drawn by the first virtual machine 301. The area other than the first area 3 is transparent. On the second drawing layer 2B, the second area 4 is drawn by the second virtual machine 302. The area other than the second area 4 is transparent. In the superimposed image 5, a second region 4 of the second drawing layer 2B is drawn in a region where the first drawing layer 2A is transparent. In the area where the first area 3 and the second area 4 overlap, the first area 3 in the first drawing layer 2A is drawn.
 また、実施の形態2において、重畳画像5および各描画レイヤ2は、複数のピクセルを有する。重畳画像5のピクセル数と各描画レイヤ2のピクセル数とは同じである。重畳画像5は、複数の描画レイヤ2が複数のピクセルごとに重畳されている。 In addition, in the second embodiment, the superimposed image 5 and each drawing layer 2 have a plurality of pixels. The number of pixels of the superimposed image 5 and the number of pixels of each drawing layer 2 are the same. In the superimposed image 5, a plurality of drawing layers 2 are superimposed on a plurality of pixels.
 また、各描画レイヤ2における各ピクセルは、色情報を示すRGB値に加え、透明度の情報を示すアルファチャネルを有する。アルファチャネルは、ここでは、α値で示される。例えば、一のピクセルのα値が1の場合、そのピクセルは不透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色が描画される。または、例えば、ピクセルのα値が0の場合、そのピクセルは透明である。その場合、重畳画像5におけるそのピクセルには、RGB値に対応する色は描画されない。図7および図8において、第1領域3と第2領域4のα値はともに1であり、透明な領域のα値はともに0である。重畳部50は、その透明度情報(α値)と、予め定められた透明度に関する閾値とに基づいて、重畳画像5を生成してもよい。閾値が適切に設定されることで、重畳部50は、2以上の描画レイヤ2が半透明な状態で重畳された重畳画像5の生成が可能である。 {Each pixel in each drawing layer 2 has an alpha channel indicating transparency information in addition to an RGB value indicating color information. The alpha channel is indicated here by an α value. For example, if the α value of a pixel is 1, the pixel is opaque. In that case, a color corresponding to the RGB value is drawn on the pixel in the superimposed image 5. Or, for example, if the α value of a pixel is 0, the pixel is transparent. In that case, a color corresponding to the RGB value is not drawn on the pixel in the superimposed image 5. 7 and 8, the α value of the first region 3 and the second region 4 are both 1 and the α value of the transparent region is both 0. The superimposing unit 50 may generate the superimposed image 5 based on the transparency information (α value) and a predetermined threshold value related to transparency. By appropriately setting the threshold, the superimposing unit 50 can generate the superimposed image 5 in which two or more drawing layers 2 are superimposed in a translucent state.
 また、重畳部50は、重畳画像5における複数の位置と、各位置における画像が由来する一の描画レイヤ2との対応関係を生成する。例えば、図7または図8において、重畳部50は、重畳画像5における第1領域3の位置と、その第1領域3の画像が由来する第1描画レイヤ2Aとを対応付ける。また、重畳部50は、重畳画像5における第2領域4の位置と、その第2領域4の画像が由来する第2描画レイヤ2Bとを対応付ける。 {Circle around (4)} The superimposing unit 50 generates a correspondence relationship between a plurality of positions in the superimposed image 5 and one drawing layer 2 from which the image at each position is derived. For example, in FIG. 7 or 8, the superimposing unit 50 associates the position of the first area 3 in the superimposed image 5 with the first drawing layer 2A from which the image of the first area 3 is derived. Further, the superimposition unit 50 associates the position of the second area 4 in the superimposed image 5 with the second drawing layer 2B from which the image of the second area 4 is derived.
 実施の形態2において、重畳部50は、上記の対応関係として、ビットマップを生成する。ここでは、ビットマップは、重畳画像5および各描画レイヤ2のピクセル数と同じピクセル数を有する。すなわち、上記の対応関係における対応の単位である重畳画像5の各位置として、各ピクセルの単位が適用される。 In the second embodiment, the superimposing unit 50 generates a bitmap as the above correspondence. Here, the bitmap has the same number of pixels as the number of pixels of the superimposed image 5 and each drawing layer 2. That is, a unit of each pixel is applied as each position of the superimposed image 5 which is a corresponding unit in the above-described correspondence relationship.
 ビットマップは、重畳画像5における一のピクセルの座標と、その一のピクセルの画像が由来する一の描画レイヤ2とが対応付けられた情報を含む。各画像レイヤの各ピクセルがα値を有する場合、重畳部50は、α値と、予め定められた透明度に関する閾値とに基づいて、ビットマップを生成する。図9は、実施の形態2におけるビットマップ6の一例を示す図である。ビットマップ6には、各ピクセル7を描画する描画レイヤ番号が格納されている。例えば、図9に示されるビットマップ6において、「1」は第1描画レイヤ2Aに由来する画像であることが示されている。「2」は第2描画レイヤ2Bに由来する画像であることが示されている。なお、実施の形態2においては、ビットマップ6は重畳画像5とは別に生成される。 The bitmap includes information in which the coordinates of one pixel in the superimposed image 5 are associated with one drawing layer 2 from which the one pixel image is derived. When each pixel of each image layer has an α value, the superimposing unit 50 generates a bitmap based on the α value and a predetermined threshold value regarding transparency. FIG. 9 is a diagram illustrating an example of the bitmap 6 according to the second embodiment. The bitmap 6 stores a drawing layer number for drawing each pixel 7. For example, in the bitmap 6 shown in FIG. 9, “1” indicates that the image is derived from the first drawing layer 2A. “2” indicates that the image is derived from the second drawing layer 2B. In the second embodiment, the bitmap 6 is generated separately from the superimposed image 5.
 表示制御部60は、重畳部50で生成された重畳画像5をディスプレイ110に表示させる制御を行う。 The display control unit 60 controls the display 110 to display the superimposed image 5 generated by the superimposition unit 50.
 ディスプレイ110は、表示制御部60の制御に従い、重畳画像5を表示する。 The display 110 displays the superimposed image 5 under the control of the display control unit 60.
 タッチパネル120は、入力装置である。タッチパネル120はディスプレイ110に内包された装置であってもよい。 The touch panel 120 is an input device. Touch panel 120 may be a device included in display 110.
 入力部10は、ディスプレイ110に表示される重畳画像5に対してタッチパネル120によって入力される入力イベントを受け付ける。その入力イベントは、重畳画像5における入力位置つまりタッチ座標を含む。 The input unit 10 receives an input event input by the touch panel 120 with respect to the superimposed image 5 displayed on the display 110. The input event includes an input position in the superimposed image 5, that is, touch coordinates.
 レイヤ構成記憶部40は、上述したレイヤ構成関係を記憶する。図6に示されるように、1つの仮想マシンは複数の描画レイヤ2に対応していてもよいし、図示は省略するが1つの仮想マシンが1つの描画レイヤにだけ対応していてもよい。ただし、1つの描画レイヤ2は、1つの仮想マシンだけに対応している必要がある。 The layer configuration storage unit 40 stores the above-described layer configuration relationship. As shown in FIG. 6, one virtual machine may correspond to a plurality of drawing layers 2, or although not shown, one virtual machine may correspond to only one drawing layer. However, one drawing layer 2 needs to correspond to only one virtual machine.
 イベント送信部20は、タッチ座標に対応するピクセル座標と、重畳部50が生成したビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。また、イベント送信部20は、レイヤ構成記憶部40が記憶するレイヤ構成関係に基づき、特定した描画レイヤ2に対応する送信先の仮想マシンを特定する。そして、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。 The event transmission unit 20 specifies one drawing layer 2 from which the image of the area corresponding to the touch coordinates is derived, based on the pixel coordinates corresponding to the touch coordinates and the bitmap 6 generated by the superimposition unit 50. In addition, the event transmission unit 20 specifies the destination virtual machine corresponding to the specified drawing layer 2 based on the layer configuration relationship stored in the layer configuration storage unit 40. Then, the event transmitting unit 20 transmits the input event to the destination virtual machine.
 図10は、実施の形態2におけるイベント送信装置101のハードウェアとハイパーバイザとの関係を示す図である。イベント送信装置101は、ハードウェアとしてSoC(System on Chip)130を有する。SoC130は、実施の形態1に示された処理回路に対応する。つまり、SoC130は、入力部10、イベント送信部20、複数の仮想マシン30、レイヤ構成記憶部40、重畳部50および表示制御部60を有し、各機能部の機能を実現する。また、SoC130は、タッチパネル120から入力される入力イベントを受け付ける。また、SoC130は、重畳画像5をディスプレイ110に出力する。複数の仮想マシン30は、SoC130にインストールされたハイパーバイザ140上で動作する。各仮想マシンは、そのハイパーバイザ140上にソフトウェアによって仮想的に構築されている。 FIG. 10 is a diagram illustrating a relationship between the hardware of the event transmitting apparatus 101 and the hypervisor according to the second embodiment. The event transmitting apparatus 101 has an SoC (System @ on \ Chip) 130 as hardware. The SoC 130 corresponds to the processing circuit described in the first embodiment. That is, the SoC 130 includes the input unit 10, the event transmission unit 20, the plurality of virtual machines 30, the layer configuration storage unit 40, the superimposition unit 50, and the display control unit 60, and implements the function of each functional unit. Further, the SoC 130 receives an input event input from the touch panel 120. Further, the SoC 130 outputs the superimposed image 5 to the display 110. The plurality of virtual machines 30 operate on the hypervisor 140 installed in the SoC 130. Each virtual machine is virtually constructed on the hypervisor 140 by software.
 次に、重畳部50による重畳画像の生成動作について説明する。図11は、実施の形態2における重畳画像の生成動作を示すフローチャートである。 Next, an operation of generating a superimposed image by the superimposition unit 50 will be described. FIG. 11 is a flowchart illustrating an operation of generating a superimposed image according to the second embodiment.
 ステップS5にて、重畳部50は、各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。 In step S5, the superimposition unit 50 acquires the image drawn by each virtual machine 30 and the layer configuration relationship.
 ステップS6にて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30に対応する描画レイヤに、その画像を書き込む。 In step S6, the superimposing unit 50 refers to the layer configuration relationship and writes the image to the drawing layer corresponding to each virtual machine 30 from which each image is derived.
 ステップS7にて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。 In step S7, the superimposing unit 50 superimposes a plurality of drawing layers to generate a superimposed image 5. Through the above steps, the superimposed image 5 is generated.
 次に、重畳部50によるビットマップの生成動作について説明する。図12は、実施の形態2におけるビットマップ生成動作を示すフローチャートである。 Next, the operation of generating a bitmap by the superposition unit 50 will be described. FIG. 12 is a flowchart illustrating a bitmap generation operation according to the second embodiment.
 ステップS10にて、重畳部50は、ビットマップ6を準備し、そのビットマップ6を初期化する。 In step S10, the superimposing unit 50 prepares the bitmap 6, and initializes the bitmap 6.
 ステップS20にて、重畳部50は、重畳画像5を取得する。 に て In step S20, superimposing section 50 acquires superimposed image 5.
 ステップS30にて、重畳部50は、重畳画像5の全ピクセル7に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全ピクセル7に対して処理が完了したと判定した場合、ビットマップ生成動作は終了する。重畳部50が全ピクセル7に対して処理が完了していないと判定した場合、ステップS40が実行される。 In step S30, the superimposition unit 50 determines whether the generation processing of the bitmap 6 has been completed for all the pixels 7 of the superimposed image 5. When the superimposing unit 50 determines that the processing has been completed for all the pixels 7, the bitmap generation operation ends. When the superimposing unit 50 determines that the processing has not been completed for all the pixels 7, step S40 is executed.
 ステップS40にて、重畳部50は、重畳画像5の全描画レイヤ2に対してビットマップ6の生成処理が完了したか否かを判定する。重畳部50が全描画レイヤ2に対して処理が完了したと判定した場合、ステップS80が実行される。重畳部50が全描画レイヤ2に対して処理が完了していないと判定した場合、ステップS50が実行される。 In step S40, the superimposing unit 50 determines whether the generation processing of the bitmap 6 has been completed for all the drawing layers 2 of the superimposed image 5. If the superimposing unit 50 determines that the processing has been completed for all drawing layers 2, step S80 is executed. When the superimposing unit 50 determines that the processing has not been completed for all the drawing layers 2, step S50 is executed.
 ステップS50にて、重畳部50は、重畳画像5の複数の描画レイヤ2のうち、現在処理中の一の描画レイヤ2における一のピクセル7のデータを取得する。ここでは、一のピクセル7のデータとは、RGBA値である。RGBA値は、色情報であるRGB値に加え、透明情報であるα値を含む。 In step S <b> 50, the superimposing unit 50 acquires data of one pixel 7 in one drawing layer 2 that is currently being processed among the plurality of drawing layers 2 of the superimposed image 5. Here, the data of one pixel 7 is an RGBA value. The RGBA value includes an α value as transparent information in addition to an RGB value as color information.
 ステップS60にて、重畳部50は、その一のピクセル7において、α値≧閾値の関係式を満たすか否かを判定する。重畳部50がその関係式を満たすと判定した場合、ステップS80が実行される。重畳部50がその関係式を満たさないと判定した場合、ステップS70が実行される。 In step S60, the superimposition unit 50 determines whether or not the one pixel 7 satisfies the relational expression of α value ≧ threshold. If the superimposing unit 50 determines that the relational expression is satisfied, step S80 is executed. If the superimposing unit 50 determines that the relational expression is not satisfied, step S70 is executed.
 ステップS70にて、重畳部50は、処理対象の描画レイヤ2を次の描画レイヤ2に設定する。 In step S70, the superimposition unit 50 sets the drawing layer 2 to be processed as the next drawing layer 2.
 ステップS80にて、重畳部50は、現在処理中のピクセル7に対応するビットマップ6のピクセル7に、現在処理中の描画レイヤ番号を出力する。なお、全描画レイヤ2に対する処理が完了した結果としてステップS80が実行されている場合、上記の現在処理中の描画レイヤ番号は、複数の描画レイヤ番号のうち最大値である。 In step S80, the superimposition unit 50 outputs the currently processed drawing layer number to the pixel 7 of the bitmap 6 corresponding to the currently processed pixel 7. When step S80 is executed as a result of the completion of the processing for all drawing layers 2, the drawing layer number currently being processed is the maximum value among the plurality of drawing layer numbers.
 ステップS90にて、重畳部50は、処理対象のピクセル7を次のピクセル7に設定する。以上のステップにより、ビットマップが生成される。 In step S90, the superimposing unit 50 sets the pixel 7 to be processed to the next pixel 7. Through the above steps, a bitmap is generated.
 次に、イベント送信方法について説明する。図13は、実施の形態2におけるイベント送信装置101の動作およびイベント送信方法を示すフローチャートである。 Next, the event transmission method will be described. FIG. 13 is a flowchart illustrating an operation of the event transmitting apparatus 101 and an event transmitting method according to the second embodiment.
 ステップS100にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。 に て In step S100, input unit 10 acquires the touch coordinates at which the input event has been input.
 ステップS110にて、イベント送信部20は、重畳部50から対応関係(ビットマップ6)を取得する。 In step S110, the event transmitting unit 20 acquires the correspondence (bitmap 6) from the superimposing unit 50.
 ステップS120にて、イベント送信部20は、タッチ座標とビットマップ6とに基づき描画レイヤ番号を取得する。 In step S120, the event transmitting unit 20 acquires a drawing layer number based on the touch coordinates and the bitmap 6.
 ステップS130にて、イベント送信部20は、レイヤ構成記憶部40からレイヤ構成関係を取得する。 In step S130, the event transmitting unit 20 acquires a layer configuration relationship from the layer configuration storage unit 40.
 ステップS140にて、イベント送信部20は、描画レイヤ番号とレイヤ構成関係とに基づき、複数の仮想マシンから送信先の仮想マシンとして一の仮想マシンを選択する。 In step S140, the event transmitting unit 20 selects one virtual machine as a destination virtual machine from a plurality of virtual machines based on the drawing layer number and the layer configuration relationship.
 ステップS150にて、イベント送信部20は、送信先の仮想マシンに入力イベントを送信する。 In step S150, the event transmitting unit 20 transmits the input event to the destination virtual machine.
 その後のステップにおいて、送信先の仮想マシンが入力イベントに基づいた処理を実行する。イベント送信装置101は、その処理に関連する結果を、重畳部50および表示制御部60を介して、ディスプレイ110に出力してもよい。 に お い て In a subsequent step, the destination virtual machine executes a process based on the input event. The event transmitting apparatus 101 may output a result related to the processing to the display 110 via the superimposing unit 50 and the display control unit 60.
 また、実施の形態2において、タッチパネル120およびディスプレイ110は、イベント送信装置101とは別の装置として示されたが、イベント送信装置101がタッチパネル120およびディスプレイ110を内包する構成を有していてもよい。 Further, in the second embodiment, touch panel 120 and display 110 are shown as separate devices from event transmitting apparatus 101, but event transmitting apparatus 101 may have a configuration including touch panel 120 and display 110. Good.
 以上をまとめると、実施の形態2におけるイベント送信装置101は、複数の描画レイヤ2を重畳し、重畳画像5と対応関係とを生成する重畳部50をさらに含む。重畳画像5と複数の描画レイヤ2の各々とは、それぞれ複数のピクセル7を含む。重畳画像5は、複数の描画レイヤ2が複数のピクセル7ごとに重畳された画像である。対応関係における対応の単位である重畳画像5の各位置として、各ピクセル7の単位が適用される。 In summary, the event transmitting apparatus 101 according to Embodiment 2 further includes a superimposing unit 50 that superimposes a plurality of drawing layers 2 and generates a superimposed image 5 and a correspondence. Each of the superimposed image 5 and each of the plurality of drawing layers 2 includes a plurality of pixels 7. The superimposed image 5 is an image in which the plurality of drawing layers 2 are superimposed on each of the plurality of pixels 7. The unit of each pixel 7 is applied as each position of the superimposed image 5 which is a corresponding unit in the correspondence relationship.
 また、実施の形態2におけるイベント送信装置101の重畳部50は、対応関係として、重畳画像5における一のピクセル7の座標と、一のピクセル7の画像が由来している一の描画レイヤ2と、を対応付けたビットマップ6を生成する。イベント送信部20は、ビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。 In addition, the superimposing unit 50 of the event transmitting apparatus 101 according to the second embodiment includes, as the correspondence, the coordinates of one pixel 7 in the superimposed image 5 and one drawing layer 2 from which the image of one pixel 7 is derived. , Is generated. The event transmitting unit 20 transmits an input event to a destination virtual machine based on the bitmap 6.
 このような構成により、イベント送信装置101は、重畳画像5の各ピクセル7を最小単位として、入力位置に対応する一の仮想マシンを選択することができるため、入力解像度が向上する。 With such a configuration, the event transmitting apparatus 101 can select one virtual machine corresponding to the input position by using each pixel 7 of the superimposed image 5 as a minimum unit, so that the input resolution is improved.
 また、実施の形態2におけるイベント送信装置101において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における透明度情報を含む。重畳部50は、透明度情報と、予め定められた透明度に関する閾値とに基づいて、一のピクセル7の画像が由来している一の描画レイヤ2を決定することにより、重畳画像5とビットマップ6とを生成する。 In the event transmitting device 101 according to the second embodiment, each of the plurality of drawing layers 2 includes transparency information of each of the plurality of pixels 7. The superimposing unit 50 determines one drawing layer 2 from which an image of one pixel 7 is derived based on the transparency information and a predetermined threshold value related to transparency, and thereby the superimposed image 5 and the bitmap 6 And generate
 基本的には、複数の描画レイヤ2のうち、透明度が0%(つまり不透過)であって上位に位置する描画レイヤ2が、ユーザに視認される。その場合、ユーザによる入力イベントは、不透過の描画レイヤ2に対して入力される。しかし、実施の形態2におけるイベント送信装置101は、閾値が変更可能であることにより、例えば、半透過の描画レイヤ2に対する入力イベントを処理することも可能である。また、閾値は、動的に変更可能に設定されてもよい。 Basically, of the plurality of drawing layers 2, the drawing layer 2 having a transparency of 0% (that is, non-transparency) and positioned at a higher position is visually recognized by the user. In that case, the input event by the user is input to the opaque drawing layer 2. However, the event transmission device 101 according to the second embodiment can process, for example, an input event to the semi-transparent drawing layer 2 because the threshold value can be changed. Further, the threshold value may be set to be dynamically changeable.
 (実施の形態2の変形例1)
 実施の形態2の変形例1において、複数の描画レイヤ2の各々は、複数のピクセル7の各々における色情報をさらに含む。変形例1のビットマップ6の生成動作においては、α値が0であり、かつ、α値以外の値(例えば、色情報であるRGB値)が特定の値である場合、重畳部50は、現在処理中のピクセル7に、現在処理中の描画レイヤ番号を出力する。すなわち、重畳部50は、一の描画レイヤ2における一のピクセル7の透明度情報が透明であり、かつ、色情報が特定色である場合、一の描画レイヤ2と一のピクセル7の座標とを対応付けたビットマップ6を生成する。この処理は、例えば、ステップS60とステップS70との間に実行される。このようなイベント送信装置は、ディスプレイ110に表示される重畳画像5には現れない「隠しボタン」に対して入力される入力イベントを、適切な仮想マシンに送信することができる。
(Modification 1 of Embodiment 2)
In the first modification of the second embodiment, each of the plurality of drawing layers 2 further includes color information of each of the plurality of pixels 7. In the operation of generating the bitmap 6 of the first modification, when the α value is 0 and a value other than the α value (for example, an RGB value that is color information) is a specific value, the superimposing unit 50 The drawing layer number currently being processed is output to the pixel 7 currently being processed. That is, when the transparency information of one pixel 7 in one drawing layer 2 is transparent and the color information is a specific color, the superimposition unit 50 compares the coordinates of one drawing layer 2 and one pixel 7 with each other. The associated bitmap 6 is generated. This processing is executed, for example, between step S60 and step S70. Such an event transmitting apparatus can transmit an input event input for a “hidden button” that does not appear in the superimposed image 5 displayed on the display 110 to an appropriate virtual machine.
 (実施の形態2の変形例2)
 上記の実施の形態2において、重畳部50は重畳画像5とは別にビットマップ6を生成していた。実施の形態2の変形例2における重畳部50は、ビットマップ6を含む重畳画像5を生成する。つまり、重畳画像5には、対応関係を示すビットマップ6が埋め込まれている。
(Modification 2 of Embodiment 2)
In Embodiment 2 described above, the superimposing unit 50 generates the bitmap 6 separately from the superimposed image 5. The superimposition unit 50 according to the second modification of the second embodiment generates the superimposed image 5 including the bitmap 6. That is, the bitmap 6 indicating the correspondence is embedded in the superimposed image 5.
 図14は、実施の形態2の変形例2における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 14 is a flowchart illustrating a bitmap generation operation performed by the superimposing unit 50 according to the second modification of the second embodiment.
 ステップS20にて、重畳部50は、重畳画像5を取得する。 に て In step S20, superimposing section 50 acquires superimposed image 5.
 ステップS30からステップS70までは、図12に示される各ステップと同様である。 Steps S30 to S70 are the same as the steps shown in FIG.
 ステップS81にて、重畳部50は、現在処理中のピクセル7に対応する重畳画像5のピクセル7に現在処理中の描画レイヤ番号を埋め込む。例えば、描画レイヤ番号が0から7である場合、RGB値をそれぞれ格納する複数のビットのうち、最下位側の3bitに描画レイヤ番号が格納される。 In step S81, the superimposing unit 50 embeds the currently processed drawing layer number in the pixel 7 of the superimposed image 5 corresponding to the currently processed pixel 7. For example, when the drawing layer number is from 0 to 7, the drawing layer number is stored in the three least significant bits of a plurality of bits each storing an RGB value.
 ステップS90は、図12に示されるステップS90と同様である。 Step S90 is the same as step S90 shown in FIG.
 その後、イベント送信部20は、重畳画像5に含まれるビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。そのイベント送信方法は、図13に示される方法と同様である。 Then, the event transmitting unit 20 transmits the input event to the destination virtual machine corresponding to the input position based on the bitmap 6 included in the superimposed image 5. The event transmission method is the same as the method shown in FIG.
 以上の実施の形態2の変形例2においては、重畳部50は、重畳画像5の生成を完了したあとに、その重畳画像5にビットマップ6を埋め込んでいる。しかし、ビットマップ6の生成と埋め込み方法とは、それに限定されるものではない。重畳部50は、重畳画像5の生成と同時にビットマップ6の埋め込みを行ってよい。 In the second modification of the second embodiment, the superimposing unit 50 embeds the bitmap 6 in the superimposed image 5 after completing the generation of the superimposed image 5. However, the method of generating and embedding the bitmap 6 is not limited thereto. The superimposition unit 50 may embed the bitmap 6 simultaneously with the generation of the superimposed image 5.
 実施の形態2の変形例2におけるイベント送信装置は、ビットマップ6を出力する際に必要な記憶領域を必要としない。 The event transmission device according to the second modification of the second embodiment does not require a storage area necessary for outputting the bitmap 6.
 <実施の形態3>
 実施の形態3におけるイベント送信装置およびイベント送信方法を説明する。実施の形態3は、実施の形態1の下位概念である。実施の形態3におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1または2と同様の構成および動作については説明を省略する。
<Embodiment 3>
An event transmitting device and an event transmitting method according to Embodiment 3 will be described. The third embodiment is a subordinate concept of the first embodiment. The event transmission device according to the third embodiment includes the components of event transmission device 100 described in the first embodiment. The description of the same configuration and operation as those in the first or second embodiment is omitted.
 イベント送信装置とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔(フレームレート)よりも長い場合、タッチパネル120から入力部10に入力イベントが到着するまでの間に、ディスプレイ110に表示される重畳画像5が更新される。つまり、その重畳画像5に対応するビットマップ6も更新される。この場合、イベント送信部20は、更新されたビットマップ6と、更新前の重畳画像5に対する入力位置とに基づき、送信先の仮想マシンを選択する。その結果、イベント送信装置が入力イベントを誤送信する可能性が高まる。実施の形態3におけるイベント送信装置は、このような課題を解決する。 If the communication time between the event transmission device and the touch panel 120 is longer than the display update interval (frame rate) of the display 110, the communication time is displayed on the display 110 until the input event arrives at the input unit 10 from the touch panel 120. The superimposed image 5 to be updated is updated. That is, the bitmap 6 corresponding to the superimposed image 5 is also updated. In this case, the event transmitting unit 20 selects a destination virtual machine based on the updated bitmap 6 and the input position of the superimposed image 5 before updating. As a result, the possibility that the event transmitting device erroneously transmits the input event increases. The event transmission device according to the third embodiment solves such a problem.
 図15は、実施の形態3におけるイベント送信装置102の構成を示すブロック図である。イベント送信装置102は、実施の形態2に示された構成に加え、時刻取得部70およびビットマップ記憶部80をさらに有する。 FIG. 15 is a block diagram showing a configuration of the event transmitting apparatus 102 according to the third embodiment. The event transmission device 102 further includes a time acquisition unit 70 and a bitmap storage unit 80 in addition to the configuration described in the second embodiment.
 時刻取得部70は、時刻情報を取得する。時刻は現在時刻である。 The time acquisition unit 70 acquires time information. The time is the current time.
 重畳部50は、重畳画像5を生成した時刻情報を生成時刻として重畳画像5およびビットマップ6に付与する。重畳部50は、重畳画像5およびビットマップ6を生成する度に、生成時刻をそれぞれ付与する。 The superimposition unit 50 adds the time information when the superimposed image 5 was generated to the superimposed image 5 and the bitmap 6 as the generation time. The superimposing unit 50 gives a generation time each time the superimposed image 5 and the bitmap 6 are generated.
 表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。また、表示制御部60は、その重畳画像5に付与された生成時刻を入力部10に出力する。 The display control unit 60 controls the display 110 to display the superimposed image 5. Further, the display control unit 60 outputs the generation time assigned to the superimposed image 5 to the input unit 10.
 ビットマップ記憶部80は、重畳部50で生成されたビットマップ6であって、互いに異なる生成時刻が付与された複数のビットマップ6を記憶する。 The bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 and having different generation times.
 入力部10は、タッチパネル120からタッチ座標を含む入力イベントを受け付ける。また、入力部10は、重畳部50にて重畳画像5に付与された生成時刻を取得する。ここでは、入力部10は、表示制御部60からその生成時刻を取得する。 The input unit 10 receives an input event including touch coordinates from the touch panel 120. In addition, the input unit 10 acquires the generation time given to the superimposed image 5 by the superimposition unit 50. Here, the input unit 10 acquires the generation time from the display control unit 60.
 イベント送信部20は、入力部10からタッチ座標を含む入力イベントと、重畳画像5に付与された生成時刻と、を取得する。イベント送信部20は、予め定められた選択条件に基づき、ビットマップ記憶部80に記憶されている複数のビットマップ6から一のビットマップ6を選択する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。ここでは、イベント送信部20は、ビットマップ記憶部80に記憶されている複数のビットマップ6のうち、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。イベント送信部20は、その一のビットマップ6に基づき、入力位置に対応する送信先の仮想マシンに、入力イベントを送信する。 The event transmission unit 20 acquires the input event including the touch coordinates from the input unit 10 and the generation time given to the superimposed image 5. The event transmission unit 20 selects one bitmap 6 from the plurality of bitmaps 6 stored in the bitmap storage unit 80 based on a predetermined selection condition. The predetermined selection condition is a condition relating to the generation time acquired by the input unit 10 and the generation time given to each bitmap 6 stored in the bitmap storage unit 80. Here, the event transmitting unit 20 is configured to generate one of the plurality of bitmaps 6 stored in the bitmap storage unit 80, to which one of the bitmaps 6 Select 6. The event transmitting unit 20 transmits the input event to the destination virtual machine corresponding to the input position based on the one bitmap 6.
 実施の形態3における時刻取得部70、重畳部50、表示制御部60、ビットマップ記憶部80、入力部10、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。 Each function of the time acquisition unit 70, the superimposition unit 50, the display control unit 60, the bitmap storage unit 80, the input unit 10, the layer configuration storage unit 40, and the event transmission unit 20 according to Embodiment 3 is shown in FIG. Is realized by the SoC 130.
 図16は、実施の形態3における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 16 is a flowchart showing a bitmap generation operation by superposition section 50 in the third embodiment.
 ステップS12にて、重畳部50は、ビットマップ6を初期化し、生成時刻をビットマップ6に付与する。 In step S12, the superimposing unit 50 initializes the bitmap 6, and gives a generation time to the bitmap 6.
 ステップS20以降は、図12に示される各ステップと同様である。 Step S20 and subsequent steps are the same as the respective steps shown in FIG.
 図17は、実施の形態3におけるイベント送信装置102の動作およびイベント送信方法を示すフローチャートである。 FIG. 17 is a flowchart showing the operation of the event transmitting apparatus 102 and the event transmitting method according to the third embodiment.
 ステップS101にて、入力部10は、入力イベントが入力されたタッチ座標と重畳画像5に付与された生成時刻とを取得する。 In step S101, the input unit 10 acquires the touch coordinates at which the input event is input and the generation time given to the superimposed image 5.
 ステップS111にて、入力部10にて取得された生成時刻に一致する生成時刻が付与された一のビットマップ6を選択する。 In step S111, one bitmap 6 to which a generation time matching the generation time acquired by the input unit 10 is added is selected.
 ステップS120以降は、図13に示される各ステップと同様である。 Step S120 and subsequent steps are the same as the respective steps shown in FIG.
 以上をまとめると、実施の形態3におけるイベント送信装置102は、ビットマップ記憶部80をさらに含む。重畳部50は、重畳画像5を生成する度に、重畳画像5に対応するビットマップ6を生成する。ビットマップ記憶部80は、重畳部50によって互いに異なるタイミングで生成された複数のビットマップ6を記憶する。イベント送信部20は、予め定められた選択条件に基づき、複数のビットマップ6から送信先の仮想マシンを選択するための一のビットマップ6を選択する。 In summary, the event transmitting apparatus 102 according to the third embodiment further includes a bitmap storage unit 80. The superimposition unit 50 generates a bitmap 6 corresponding to the superimposed image 5 every time the superimposed image 5 is generated. The bitmap storage unit 80 stores a plurality of bitmaps 6 generated by the superimposition unit 50 at different timings. The event transmission unit 20 selects one bitmap 6 for selecting a destination virtual machine from the plurality of bitmaps 6 based on a predetermined selection condition.
 このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even when the communication time between the event transmitting apparatus 102 and the touch panel 120 is longer than the display update interval of the display 110, the event transmitting apparatus 102 can accurately input the event to the appropriate virtual machine. Send to
 また、実施の形態3におけるイベント送信装置102は、時刻情報を取得する時刻取得部70をさらに含む。重畳部50は、重畳画像5とビットマップ6とを生成する度に、重畳画像5とビットマップ6とに時刻情報を生成時刻として付与する。入力部10は、重畳画像5に付与された生成時刻を取得する。予め定められた選択条件とは、入力部10にて取得された生成時刻と、ビットマップ記憶部80に記憶された各ビットマップ6に付与された生成時刻と、に関係する条件である。 The event transmitting apparatus 102 according to the third embodiment further includes a time obtaining unit 70 that obtains time information. Each time the superimposition unit 50 generates the superimposed image 5 and the bitmap 6, the superimposition unit 50 adds time information to the superimposed image 5 and the bitmap 6 as a generation time. The input unit 10 acquires the generation time given to the superimposed image 5. The predetermined selection condition is a condition relating to the generation time acquired by the input unit 10 and the generation time given to each bitmap 6 stored in the bitmap storage unit 80.
 このような構成により、イベント送信装置102とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置102は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even when the communication time between the event transmitting apparatus 102 and the touch panel 120 is longer than the display update interval of the display 110, the event transmitting apparatus 102 can accurately input the event to the appropriate virtual machine. Send to
 <実施の形態4>
 実施の形態4におけるイベント送信装置およびイベント送信方法を説明する。実施の形態4は、実施の形態1の下位概念である。実施の形態4におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から3のいずれかと同様の構成および動作については説明を省略する。実施の形態4におけるイベント送信装置は、実施の形態3と同様の課題を解決する。
<Embodiment 4>
An event transmitting device and an event transmitting method according to Embodiment 4 will be described. The fourth embodiment is a subordinate concept of the first embodiment. The event transmitting apparatus according to the fourth embodiment includes the components of event transmitting apparatus 100 shown in the first embodiment. The description of the same configuration and operation as any of the first to third embodiments will be omitted. The event transmission device according to the fourth embodiment solves the same problem as in the third embodiment.
 図18は、実施の形態4におけるイベント送信装置103の構成を示すブロック図である。 FIG. 18 is a block diagram showing a configuration of the event transmitting apparatus 103 according to the fourth embodiment.
 実施の形態4における重畳部50は、ビットマップ6、つまり、重畳画像5の一のピクセル7を描画する一の描画レイヤ2とその一のピクセル7の座標との対応関係の情報を含む重畳画像5を生成する。 The superimposing unit 50 according to the fourth embodiment includes a bitmap 6, that is, a superimposed image including information on the correspondence between one drawing layer 2 that draws one pixel 7 of the superimposed image 5 and the coordinates of the one pixel 7. 5 is generated.
 表示制御部60は、重畳画像5をディスプレイ110に表示させる制御を行う。ただし、表示制御部60は、重畳画像5に含まれるビットマップ6を無視して重畳画像5を表示させる制御を行う。つまり、表示制御部60は、描画レイヤ番号が埋め込まれた領域を無視する、つまり値が0であるとみなす。 The display control unit 60 controls the display 110 to display the superimposed image 5. However, the display control unit 60 performs control to display the superimposed image 5 ignoring the bitmap 6 included in the superimposed image 5. That is, the display control unit 60 ignores the area in which the drawing layer number is embedded, that is, considers that the value is 0.
 入力部10は、レイヤ情報取得部11を有する。入力部10は、入力イベントを受け付けることにより、重畳部50にて生成された重畳画像5を取得する。ここでは、入力部10は、表示制御部60から重畳画像5を取得する。また、タッチ座標に対応する描画レイヤ番号をレイヤ情報取得部11から取得し、イベント送信部20へ出力する。 The input unit 10 includes the layer information acquisition unit 11. The input unit 10 acquires the superimposed image 5 generated by the superimposition unit 50 by receiving the input event. Here, the input unit 10 acquires the superimposed image 5 from the display control unit 60. In addition, a drawing layer number corresponding to the touch coordinates is obtained from the layer information obtaining unit 11 and output to the event transmitting unit 20.
 レイヤ情報取得部11は、入力イベントに含まれるタッチ座標と、重畳画像5とを取得する。レイヤ情報取得部11は、重畳画像5に含まれるビットマップ6に基づき、タッチ座標における画像が由来する描画レイヤ2を特定する。 (4) The layer information acquisition unit 11 acquires the touch coordinates included in the input event and the superimposed image 5. The layer information acquisition unit 11 specifies the drawing layer 2 from which the image at the touch coordinates is derived, based on the bitmap 6 included in the superimposed image 5.
 イベント送信部20は、レイヤ情報取得部11にて特定された描画レイヤ2に対応する仮想マシンに、入力イベントを送信する。 The event transmission unit 20 transmits an input event to the virtual machine corresponding to the drawing layer 2 specified by the layer information acquisition unit 11.
 実施の形態4における重畳部50、表示制御部60、入力部10、レイヤ情報取得部11、レイヤ構成記憶部40およびイベント送信部20の各機能は、例えば、図10に示されるSoC130により実現される。 Each function of the superposition unit 50, the display control unit 60, the input unit 10, the layer information acquisition unit 11, the layer configuration storage unit 40, and the event transmission unit 20 according to Embodiment 4 is realized by, for example, the SoC 130 illustrated in FIG. You.
 図19は、実施の形態4における入力部10の動作を示すフローチャートである。 FIG. 19 is a flowchart showing the operation of the input unit 10 according to the fourth embodiment.
 ステップS200にて、入力部10は、入力イベントが入力されたタッチ座標を取得する。 In step S200, the input unit 10 acquires touch coordinates at which an input event has been input.
 ステップS210にて、入力部10は、ビットマップ6を含む重畳画像5を取得する。 In step S210, the input unit 10 acquires the superimposed image 5 including the bitmap 6.
 ステップS220にて、レイヤ情報取得部11は、タッチ座標と重畳画像5に含まれるビットマップ6とに基づき描画レイヤ番号を取得する。 In step S220, the layer information acquiring unit 11 acquires a drawing layer number based on the touch coordinates and the bitmap 6 included in the superimposed image 5.
 ステップS230にて、入力部10は、タッチ座標と描画レイヤ番号とを出力する。 In step S230, the input unit 10 outputs the touch coordinates and the drawing layer number.
 図20は、実施の形態4におけるイベント送信装置103の動作およびイベント送信方法を示すフローチャートである。 FIG. 20 is a flowchart showing the operation of the event transmitting apparatus 103 and the event transmitting method according to the fourth embodiment.
 ステップS102にて、イベント送信部20は、タッチ座標および描画レイヤ番号を取得する。 In step S102, the event transmitting unit 20 acquires the touch coordinates and the drawing layer number.
 ステップS130以降は、実施の形態2における図13に示された各ステップと同様である。 Step S130 and subsequent steps are the same as the steps shown in FIG. 13 in the second embodiment.
 以上をまとめると、実施の形態4におけるイベント送信装置103の入力部10は、入力イベントを受け付けることにより、重畳画像5からビットマップ6を取得するレイヤ情報取得部11を含む。イベント送信部20は、レイヤ情報取得部11にて取得されたビットマップ6に基づき、送信先の仮想マシンに、入力イベントを送信する。 In summary, the input unit 10 of the event transmitting apparatus 103 according to Embodiment 4 includes a layer information acquisition unit 11 that acquires a bitmap 6 from the superimposed image 5 by receiving an input event. The event transmitting unit 20 transmits an input event to the destination virtual machine based on the bitmap 6 acquired by the layer information acquiring unit 11.
 このような構成により、イベント送信装置103とタッチパネル120との間の通信時間が、ディスプレイ110の表示更新間隔より長い場合であっても、イベント送信装置103は、入力イベントを正確に適切な仮想マシンに送信する。 With such a configuration, even when the communication time between the event transmitting apparatus 103 and the touch panel 120 is longer than the display update interval of the display 110, the event transmitting apparatus 103 can accurately input the event to the appropriate virtual machine. Send to
 <実施の形態5>
 実施の形態5におけるイベント送信装置、情報処理装置、情報処理システムおよびイベント送信方法を説明する。実施の形態5におけるイベント送信装置は、実施の形態1において示されたイベント送信装置100の各構成を含む。なお、実施の形態1から4のいずれかと同様の構成および動作については説明を省略する。
<Embodiment 5>
An event transmitting device, an information processing device, an information processing system, and an event transmitting method according to Embodiment 5 will be described. The event transmitting device according to the fifth embodiment includes the components of event transmitting device 100 shown in the first embodiment. The description of the same configuration and operation as any of the first to fourth embodiments will be omitted.
 実施の形態2から4のいずれかに示されたイベント送信装置は、1つのハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。そのハイパーバイザ140は、1つのSoC130において構築されている。一方で、実施の形態5におけるイベント送信装置は、複数のSoC130の各々に構築されたハイパーバイザ140上で動作する複数の仮想マシン30に対して上記の機能を実現する。その複数のSoC130は、イベント送信装置と、そのイベント送信装置とは別の情報処理装置と、に分かれて設けられている。 The event transmission device described in any one of Embodiments 2 to 4 implements the above-described function for a plurality of virtual machines 30 operating on one hypervisor 140. The hypervisor 140 is constructed in one SoC 130. On the other hand, the event transmission device according to the fifth embodiment implements the above-described function for a plurality of virtual machines 30 that operate on a hypervisor 140 constructed on each of the plurality of SoCs 130. The plurality of SoCs 130 are separately provided for an event transmitting device and an information processing device different from the event transmitting device.
 図21は、実施の形態5におけるイベント送信装置104、情報処理装置150および情報処理システム200の構成を示すブロック図である。 FIG. 21 is a block diagram showing a configuration of the event transmitting device 104, the information processing device 150, and the information processing system 200 according to the fifth embodiment.
 情報処理システム200は、イベント送信装置104と、そのイベント送信装置104とネットワークで接続される情報処理装置150と、を有する。 The information processing system 200 includes the event transmitting apparatus 104 and an information processing apparatus 150 connected to the event transmitting apparatus 104 via a network.
 イベント送信装置104は、各実施の形態に示されたように、重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40および複数の仮想マシン30を有する。また、実施の形態5におけるイベント送信装置104は、イベント送信部20として、第1イベント送信部20Aを有する。また、イベント送信装置104は、第1通信部90Aをさらに有する。またイベント送信装置104の複数の仮想マシン30は、第1仮想マシン301から第K仮想マシン30Kを含む。ここでは、Kは、K>1の関係を満たす。 As described in each embodiment, the event transmission device 104 includes the superimposition unit 50, the display control unit 60, the input unit 10, the layer configuration storage unit 40, and the plurality of virtual machines 30. Further, the event transmitting apparatus 104 according to Embodiment 5 includes a first event transmitting unit 20A as the event transmitting unit 20. Further, the event transmitting device 104 further includes a first communication unit 90A. The plurality of virtual machines 30 of the event transmission device 104 include the first virtual machine 301 to the K-th virtual machine 30K. Here, K satisfies the relationship K> 1.
 情報処理装置150は、第2通信部90B、第2イベント送信部20Bおよび複数の仮想マシン30を有する。情報処理装置150の複数の仮想マシン30は、第M仮想マシン30Mから第N仮想マシン30Nを含む。ここでは、MはM=K+1を、NはN>Mの関係を満たす。 The information processing device 150 includes a second communication unit 90B, a second event transmission unit 20B, and a plurality of virtual machines 30. The plurality of virtual machines 30 of the information processing device 150 include an Mth virtual machine 30M to an Nth virtual machine 30N. Here, M satisfies M = K + 1, and N satisfies the relationship N> M.
 第1通信部90Aは、ネットワークを介して情報処理装置150と通信し、データの授受を行う。第1通信部90Aは、入力イベントを情報処理装置150に送信する。また、第1通信部90Aは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2を受信する。 The first communication unit 90A communicates with the information processing device 150 via the network to exchange data. The first communication unit 90A transmits the input event to the information processing device 150. Further, the first communication unit 90A receives each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150.
 重畳部50は、イベント送信装置104の複数の仮想マシン30に対応する複数の描画レイヤ2と、情報処理装置150の複数の仮想マシン30に対応する複数の描画レイヤ2とを、互いに重畳して重畳画像5を生成する。 The superimposition unit 50 superimposes the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the event transmitting device 104 and the plurality of drawing layers 2 corresponding to the plurality of virtual machines 30 of the information processing device 150. A superimposed image 5 is generated.
 レイヤ構成記憶部40は、レイヤ構成関係を記憶する。図22は、実施の形態5におけるレイヤ構成関係の一例を示す図である。レイヤ構成関係は、描画レイヤ番号と、使用仮想マシンと、使用装置とが対応づけられたテーブルである。使用装置とは、使用仮想マシンが動作する装置のことである。使用装置は、ここでは、イベント送信装置104もしくは情報処理装置150である。図22において、描画レイヤ番号「1」で示される第1描画レイヤ2Aは、イベント送信装置104で動作する第2仮想マシン302に対応する。または、例えば、描画レイヤ番号「2」で示される第2描画レイヤ2Bは、情報処理装置150で動作する第M仮想マシン30Mに対応する。 The layer configuration storage unit 40 stores the layer configuration relationship. FIG. 22 is a diagram illustrating an example of a layer configuration relationship in the fifth embodiment. The layer configuration relationship is a table in which drawing layer numbers, used virtual machines, and used devices are associated with each other. The used device is a device on which the used virtual machine operates. The device used here is the event transmitting device 104 or the information processing device 150. In FIG. 22, a first drawing layer 2A indicated by a drawing layer number “1” corresponds to the second virtual machine 302 that operates on the event transmission device 104. Alternatively, for example, the second drawing layer 2B indicated by the drawing layer number “2” corresponds to the M-th virtual machine 30M operating on the information processing device 150.
 第1イベント送信部20Aは、タッチ座標とビットマップ6とに基づき、タッチ座標に対応する領域の画像が由来する一の描画レイヤ2を特定する。第1イベント送信部20Aは、レイヤ構成関係に基づき、一の描画レイヤ2に対応する送信先の仮想マシンおよび送信先の装置を特定する。送信先の仮想マシンがイベント送信装置104で動作する仮想マシンである場合、イベント送信装置104は、その送信先の仮想マシンに入力イベントを送信する。送信先の仮想マシンが情報処理装置150で動作する仮想マシンである場合、イベント送信装置104は、第1通信部90Aを介して、情報処理装置150に入力イベントを送信する。 The first event transmission unit 20A specifies one drawing layer 2 from which the image of the area corresponding to the touch coordinates is derived, based on the touch coordinates and the bitmap 6. The first event transmitting unit 20A specifies the destination virtual machine and the destination device corresponding to one drawing layer 2 based on the layer configuration relationship. If the destination virtual machine is a virtual machine that operates on the event transmitting device 104, the event transmitting device 104 transmits the input event to the destination virtual machine. When the transmission destination virtual machine is a virtual machine operating on the information processing device 150, the event transmission device 104 transmits an input event to the information processing device 150 via the first communication unit 90A.
 第2通信部90Bは、ネットワークを介してイベント送信装置104と通信し、データの授受を行う。第2通信部90Bは、情報処理装置150の各仮想マシン30によって描画される画像を含んだ各描画レイヤ2をイベント送信装置104に送信する。また、第2通信部90Bは、イベント送信装置104から入力イベントを受信する。 The second communication unit 90B communicates with the event transmission device 104 via the network to exchange data. The second communication unit 90 </ b> B transmits each drawing layer 2 including an image drawn by each virtual machine 30 of the information processing device 150 to the event transmitting device 104. Further, the second communication unit 90B receives an input event from the event transmitting device 104.
 第2イベント送信部20Bは、情報処理装置150が有する複数の仮想マシン30のうち、送信先の仮想マシンに入力イベントを送信する。 The second event transmitting unit 20B transmits the input event to the destination virtual machine among the plurality of virtual machines 30 included in the information processing device 150.
 実施の形態5における重畳部50、表示制御部60、入力部10、レイヤ構成記憶部40、第1イベント送信部20Aおよび第1通信部90Aの各機能は、例えば、図10に示されるSoC130により実現される。また、情報処理装置150もSoC130と同様のハードウェア構成を有する。第2通信部90Bおよび第2イベント送信部20Bの各機能は、そのSoCにより実現される。 Each function of the superimposition unit 50, the display control unit 60, the input unit 10, the layer configuration storage unit 40, the first event transmission unit 20A, and the first communication unit 90A in the fifth embodiment is performed by, for example, the SoC 130 illustrated in FIG. Is achieved. The information processing device 150 also has the same hardware configuration as the SoC 130. Each function of the second communication unit 90B and the second event transmission unit 20B is realized by the SoC.
 図23は、実施の形態5における重畳部50による重畳画像の生成動作を示すフローチャートである。 FIG. 23 is a flowchart illustrating an operation of generating a superimposed image by the superimposing unit 50 according to the fifth embodiment.
 ステップS5Aにて、重畳部50は、各装置の各仮想マシン30によって描画される画像と、レイヤ構成関係とを取得する。その際、重畳部50は、第2通信部90Bおよび第1通信部90Aを介して、情報処理装置150が有する各仮想マシン30によって描画される画像を取得するとともに、その画像が由来する使用仮想マシンおよび使用装置を特定するための情報を取得する。 In step S5A, the superimposition unit 50 acquires an image drawn by each virtual machine 30 of each device and a layer configuration relationship. At that time, the superimposition unit 50 acquires an image drawn by each virtual machine 30 included in the information processing device 150 via the second communication unit 90B and the first communication unit 90A, and uses the virtual machine from which the image is derived. Obtain information to identify machines and devices used.
 ステップS6Aにて、重畳部50は、レイヤ構成関係を参照して、各画像が由来する各仮想マシン30および各使用装置に対応する描画レイヤに、その画像を書き込む。 In step S6A, the superimposing unit 50 refers to the layer configuration relationship and writes the image on the drawing layer corresponding to each virtual machine 30 and each device used from which each image is derived.
 ステップS7Aにて、重畳部50は、複数の描画レイヤを重畳し、重畳画像5を生成する。以上のステップにより、重畳画像5が生成される。 In step S7A, the superimposing unit 50 superimposes a plurality of drawing layers to generate a superimposed image 5. Through the above steps, the superimposed image 5 is generated.
 図24は、実施の形態5における重畳部50によるビットマップ生成動作を示すフローチャートである。 FIG. 24 is a flowchart showing a bitmap generation operation by superposition section 50 in the fifth embodiment.
 ステップS10は、図12に示されるステップS10と同様である。 Step S10 is the same as step S10 shown in FIG.
 ステップS20にて、重畳部50は、重畳画像5を取得する。 に て In step S20, superimposing section 50 acquires superimposed image 5.
 ステップS30からステップS90までは、図12に示される各ステップと同様である。ステップS40からステップS70の各ステップは、複数の描画レイヤ2の数だけ繰り返し実行される。実施の形態5において、その複数の描画レイヤ2の数は、イベント送信装置104における複数の仮想マシン30の数(=K)と、情報処理装置150における複数の仮想マシン30の数(=(N-M)+1)とを合計した数(=N)に対応する。 Steps S30 to S90 are the same as the steps shown in FIG. Steps S40 to S70 are repeatedly executed by the number of the plurality of drawing layers 2. In the fifth embodiment, the number of the plurality of drawing layers 2 is the number of the plurality of virtual machines 30 in the event transmitting device 104 (= K) and the number of the plurality of virtual machines 30 in the information processing device 150 (= (N −M) +1) and the total number (= N).
 図25は、実施の形態5におけるイベント送信装置104の動作およびイベント送信方法を示すフローチャートである。 FIG. 25 is a flowchart showing an operation of event transmitting apparatus 104 and an event transmitting method according to the fifth embodiment.
 ステップS100からステップS130までは、図13に示される各ステップと同様である。ただし、実施の形態5において、ステップS110からステップS130は、第1イベント送信部20Aによって実行される。 Steps S100 to S130 are the same as the steps shown in FIG. However, in the fifth embodiment, steps S110 to S130 are executed by the first event transmitting unit 20A.
 ステップS141にて、第1イベント送信部20Aは、描画レイヤ番号とレイヤ構成関係とに基づき送信先の仮想マシンおよび送信先の装置を選択する。送信先の装置とは、送信先の仮想マシンが含まれる装置のことである。 In step S141, the first event transmitting unit 20A selects a destination virtual machine and a destination device based on the drawing layer number and the layer configuration relationship. The destination device is a device that includes the destination virtual machine.
 ステップS151にて、第1イベント送信部20Aは、送信先の装置がイベント送信装置104であるか否かを判定する。第1イベント送信部20Aが、送信先の装置はイベント送信装置104でないと判定した場合、ステップS152が実行される。第1イベント送信部20Aが、送信先の装置はイベント送信装置104であると判定した場合、ステップS153が実行される。 In step S151, the first event transmitting unit 20A determines whether the destination device is the event transmitting device 104. When the first event transmitting unit 20A determines that the destination device is not the event transmitting device 104, step S152 is executed. When the first event transmitting unit 20A determines that the destination device is the event transmitting device 104, step S153 is executed.
 ステップS152にて、第1イベント送信部20Aは、第1通信部90Aを介して、情報処理装置150に入力イベントおよび送信先の仮想マシンの情報を送信する。 In step S152, the first event transmitting unit 20A transmits the input event and information on the destination virtual machine to the information processing device 150 via the first communication unit 90A.
 ステップS153にて、第1イベント送信部20Aは、イベント送信装置104に含まれる送信先の仮想マシンに入力イベントを送信する。 In step S153, the first event transmitting unit 20A transmits the input event to the destination virtual machine included in the event transmitting device 104.
 図26は、実施の形態5における情報処理装置150の動作およびイベント送信方法を示すフローチャートである。 FIG. 26 is a flowchart showing an operation of the information processing apparatus 150 and a method of transmitting an event in the fifth embodiment.
 ステップS300にて、第2イベント送信部20Bは、第2通信部90Bを介して、入力イベントおよび送信先の仮想マシンの情報を取得する。 In step S300, the second event transmitting unit 20B acquires the input event and information on the destination virtual machine via the second communication unit 90B.
 ステップS310にて、第2イベント送信部20Bは、送信先の仮想マシンに入力イベントを送信する。 In step S310, the second event transmitting unit 20B transmits the input event to the destination virtual machine.
 上記のイベント送信装置104が、実施の形態3および4のそれぞれに示された構成を有していてもよい。また、上記の複数のSoC130は、イベント送信装置104とそのイベント送信装置104とは別の情報処理装置150とに分けて設けられているが、1台のイベント送信装置の中に含まれていてもよい。また、上記の情報処理装置150が、2台目のイベント送信装置であってもよい。情報処理システム200は、2台以上の情報処理装置を含んでいてもよい。 The above-described event transmitting apparatus 104 may have the configuration shown in each of the third and fourth embodiments. The plurality of SoCs 130 are provided separately in the event transmitting device 104 and the information processing device 150 different from the event transmitting device 104, but are included in one event transmitting device. Is also good. Further, the information processing device 150 may be a second event transmission device. The information processing system 200 may include two or more information processing devices.
 以上をまとめると、実施の形態5におけるイベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。 In summary, the event transmitting apparatus 104 according to the fifth embodiment includes an input in which a plurality of drawing layers 2 provided corresponding to a plurality of virtual machines 30 are input to a superimposed image 5 that is superimposed on each other. Based on the correspondence between the input unit 10 that receives the event and the plurality of positions in the superimposed image 5 and one drawing layer 2 from which the image at each position is derived, the input event of the superimposed image 5 of the plurality of virtual machines 30 is determined. A first event transmitting unit 20A that transmits an input event to a destination virtual machine that is one virtual machine corresponding to the input position, and a first communication unit that transmits the input event to the information processing device 150 via a network. 90A.
 このような構成により、イベント送信装置104は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。 With such a configuration, the event transmitting apparatus 104 can appropriately transmit an input event to a virtual machine operating on a device other than the event transmitting apparatus 104.
 また、実施の形態5における情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104とネットワークで接続される。ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。 In addition, the information processing device 150 according to the fifth embodiment is connected to the event transmitting device 104 that transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on the hypervisor 140 via a network. A plurality of virtual machines 30 operating on the hypervisor 140, a second communication unit 90B that receives an input event from the first communication unit 90A of the event transmission device 104 via a network, and a reception by the second communication unit 90B And a second event transmission unit 20B that transmits the input event to the destination virtual machine.
 このような構成により、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。 With such a configuration, even when the information processing device 150 does not have a function corresponding to the input unit 10 and the superimposing unit 50 of the event transmitting device 104, the input event can be transmitted to an appropriate virtual machine. it can.
 また、実施の形態5における情報処理システム200は、ハイパーバイザ140上で動作する複数の仮想マシン30のうち一の仮想マシンに入力イベントを送信するイベント送信装置104と、イベント送信装置104とネットワークで接続される情報処理装置150と、を含む。イベント送信装置104は、複数の仮想マシン30のそれぞれに対応して設けられる複数の描画レイヤ2が、互いに重畳された重畳画像5に対して入力される入力イベントを受け付ける入力部10と、重畳画像5における複数の位置と各位置における画像が由来する一の描画レイヤ2との対応関係に基づき、複数の仮想マシン30のうち、重畳画像5における入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、入力イベントを送信する第1イベント送信部20Aと、情報処理装置150に、ネットワークを介して入力イベントを送信する第1通信部90Aと、を含む。情報処理装置150は、ハイパーバイザ140上で動作する複数の仮想マシン30と、イベント送信装置104の第1通信部90Aから、ネットワークを介して入力イベントを受信する第2通信部90Bと、第2通信部90Bにて受信された入力イベントを送信先の仮想マシンに送信する第2イベント送信部20Bと、を含む。 Further, the information processing system 200 according to the fifth embodiment includes an event transmitting device 104 that transmits an input event to one virtual machine among a plurality of virtual machines 30 operating on the hypervisor 140, and an event transmitting device 104 and the network. And an information processing device 150 to be connected. The event transmission device 104 includes: an input unit 10 that receives an input event that is input to a superimposed image 5 in which a plurality of drawing layers 2 provided corresponding to the plurality of virtual machines 30 are superimposed on each other; 5 based on the correspondence relationship between the plurality of positions and one drawing layer 2 from which the image at each position is derived, among the plurality of virtual machines 30, one virtual machine corresponding to the input position of the input event in the superimposed image 5. It includes a first event transmitting unit 20A that transmits an input event to a destination virtual machine, and a first communication unit 90A that transmits an input event to the information processing device 150 via a network. The information processing device 150 includes: a plurality of virtual machines 30 operating on the hypervisor 140; a second communication unit 90B that receives an input event from the first communication unit 90A of the event transmission device 104 via a network; And a second event transmission unit 20B that transmits the input event received by the communication unit 90B to the destination virtual machine.
 このような構成により、情報処理システム200は、イベント送信装置104以外の装置で動作する仮想マシンに対しても、入力イベントを適切に送信することができる。また、情報処理システム200は、情報処理装置150がイベント送信装置104の入力部10および重畳部50に対応する機能を有していない場合であっても、入力イベントを適切な仮想マシンに送信することができる。 With such a configuration, the information processing system 200 can appropriately transmit an input event to a virtual machine operating on a device other than the event transmitting device 104. Further, the information processing system 200 transmits the input event to an appropriate virtual machine even when the information processing device 150 does not have a function corresponding to the input unit 10 and the superimposition unit 50 of the event transmission device 104. be able to.
 <実施の形態6>
 上記の各実施の形態に示されるイベント送信装置、ディスプレイ110およびタッチパネル120は、例えば、車両に搭載される。または、例えば、イベント送信装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、PND(Portable Navigation Device)などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
<Embodiment 6>
The event transmission device, the display 110, and the touch panel 120 described in each of the above embodiments are mounted on, for example, a vehicle. Alternatively, for example, the event transmission device can also be applied to a system constructed by appropriately combining a navigation device, a communication terminal, a server, and functions of an application installed therein. Here, the navigation device includes, for example, a PND (Portable Navigation Device). The communication terminal includes, for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet.
 図27は、実施の形態6におけるイベント送信装置100およびそれに関連して動作する装置の構成を示すブロック図である。 FIG. 27 is a block diagram showing a configuration of the event transmission device 100 according to the sixth embodiment and a device that operates in connection therewith.
 イベント送信装置100、複数の仮想マシン30および通信装置160がサーバ300に設けられている。イベント送信装置100は、車両1に設けられたタッチパネル120から通信装置170および通信装置160を介して入力イベントを取得する。イベント送信装置100は、各実施の形態に示された処理を実行し、送信先の仮想マシンに入力イベントを送信する。さらに、送信先の仮想マシンが入力イベントに基づいた処理を実行する。その処理に関連する結果が、イベント送信装置100の重畳部50および表示制御部60を介してディスプレイ110に出力されてもよい。 The server 300 is provided with the event transmitting device 100, the plurality of virtual machines 30, and the communication device 160. The event transmission device 100 acquires an input event from the touch panel 120 provided on the vehicle 1 via the communication device 170 and the communication device 160. The event transmission device 100 executes the processing described in each embodiment, and transmits an input event to a destination virtual machine. Further, the destination virtual machine executes a process based on the input event. A result related to the processing may be output to the display 110 via the superimposing unit 50 and the display control unit 60 of the event transmitting device 100.
 このように、イベント送信装置100がサーバ300に配置されることにより、車載装置の構成を簡素化することができる。 By arranging the event transmission device 100 in the server 300 as described above, the configuration of the vehicle-mounted device can be simplified.
 また、イベント送信装置100の機能あるいは構成要素の一部がサーバ300に設けられ、他の一部が車両1に設けられるなど、分散して配置されてもよい。 Alternatively, some of the functions or components of the event transmitting apparatus 100 may be provided in the server 300 and the other part may be provided in the vehicle 1, and may be distributed.
 なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, it is possible to freely combine the embodiments or appropriately modify or omit the embodiments within the scope of the invention.
 本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that innumerable modifications that are not illustrated can be assumed without departing from the scope of the present invention.
 2 描画レイヤ、5 重畳画像、6 ビットマップ、7 ピクセル、10 入力部、11 レイヤ情報取得部、20 イベント送信部、20A 第1イベント送信部、20B 第2イベント送信部、30 仮想マシン、40 レイヤ構成記憶部、50 重畳部、60 表示制御部、70 時刻取得部、80 ビットマップ記憶部、90A 第1通信部、90B 第2通信部、100 イベント送信装置、110 ディスプレイ、120 タッチパネル、140 ハイパーバイザ、150 情報処理装置、200 情報処理システム。 2 drawing layer, 5 superimposed image, 6 bitmap, 7 pixel, 10 input section, 11 layer information acquisition section, 20 event transmission section, 20A first event transmission section, 20B second event transmission section, 30 virtual machine, 40 layer Configuration storage unit, 50 superposition unit, 60 display control unit, 70 time acquisition unit, 80 bitmap storage unit, 90A first communication unit, 90B second communication unit, 100 event transmission device, 110 display, 120 touch panel, 140 hypervisor , 150 information processing device, 200 information processing system.

Claims (14)

  1.  ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信装置であって、
     前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付ける入力部と、
     前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信するイベント送信部と、を備えるイベント送信装置。
    An event transmitting apparatus that transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor,
    A plurality of drawing layers provided corresponding to each of the plurality of virtual machines, an input unit configured to receive the input event input to a superimposed image superimposed on each other;
    Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. An event transmission device comprising: an event transmission unit that transmits the input event to a destination virtual machine that is a virtual machine.
  2.  前記複数の描画レイヤを重畳し、前記重畳画像と前記対応関係とを生成する重畳部をさらに備え、
     前記重畳画像と前記複数の描画レイヤの各々とは、それぞれ複数のピクセルを含み、
     前記重畳画像は、前記複数の描画レイヤが前記複数のピクセルごとに重畳された画像であり、
     前記対応関係における対応の単位である前記重畳画像の各前記位置として、各前記ピクセルの単位が適用される、請求項1に記載のイベント送信装置。
    A superimposing unit configured to superimpose the plurality of drawing layers and generate the superimposed image and the correspondence relationship,
    Each of the superimposed image and the plurality of drawing layers includes a plurality of pixels,
    The superimposed image is an image in which the plurality of drawing layers are superimposed on each of the plurality of pixels,
    The event transmission device according to claim 1, wherein a unit of each pixel is applied as each position of the superimposed image that is a corresponding unit in the correspondence relationship.
  3.  前記重畳部は、前記対応関係として、前記重畳画像における一のピクセルの座標と、前記一のピクセルの画像が由来している前記一の描画レイヤと、を対応付けたビットマップを生成し、
     前記イベント送信部は、前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項2に記載のイベント送信装置。
    The superimposing unit generates a bitmap in which the coordinates of one pixel in the superimposed image and the one drawing layer from which the image of the one pixel is derived, as the correspondence relationship,
    The event transmission device according to claim 2, wherein the event transmission unit transmits the input event to the destination virtual machine based on the bitmap.
  4.  前記重畳部は、前記ビットマップを含む前記重畳画像を生成し、
     前記イベント送信部は、前記重畳画像に含まれる前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項3に記載のイベント送信装置。
    The superimposing unit generates the superimposed image including the bitmap,
    The event transmission device according to claim 3, wherein the event transmission unit transmits the input event to the destination virtual machine based on the bitmap included in the superimposed image.
  5.  前記複数の描画レイヤの各々は、前記複数のピクセルの各々における透明度情報を含み、
     前記重畳部は、前記透明度情報と、予め定められた透明度に関する閾値とに基づいて、前記一のピクセルの前記画像が由来している前記一の描画レイヤを決定することにより、前記重畳画像と前記ビットマップとを生成する、請求項3に記載のイベント送信装置。
    Each of the plurality of drawing layers includes transparency information in each of the plurality of pixels,
    The superimposition unit is configured to determine the one drawing layer from which the image of the one pixel is derived based on the transparency information and a predetermined threshold value regarding transparency, so that the superimposed image and the superimposed image are determined. The event transmission device according to claim 3, wherein the event transmission device generates a bitmap.
  6.  前記複数の描画レイヤの各々は、前記複数のピクセルの各々における色情報をさらに含み、
     前記重畳部は、前記一の描画レイヤにおける前記一のピクセルの前記透明度情報が透明であり、かつ、前記色情報が特定色である場合、前記一のピクセルの前記座標と前記一の描画レイヤとを対応付けた前記ビットマップを生成する、請求項5に記載のイベント送信装置。
    Each of the plurality of drawing layers further includes color information on each of the plurality of pixels,
    The superimposition unit, when the transparency information of the one pixel in the one drawing layer is transparent, and the color information is a specific color, the coordinates of the one pixel and the one drawing layer The event transmission device according to claim 5, wherein the bitmap generating unit generates the bitmap in which the bitmap is associated.
  7.  記憶部をさらに備え、
     前記重畳部は、前記重畳画像を生成する度に、前記重畳画像に対応する前記ビットマップを生成し、
     前記記憶部は、前記重畳部によって互いに異なるタイミングで生成された複数のビットマップを記憶し、
     前記イベント送信部は、予め定められた選択条件に基づき、前記複数のビットマップから前記送信先の仮想マシンを選択するための一のビットマップを選択する、請求項3に記載のイベント送信装置。
    Further comprising a storage unit,
    The superimposing unit generates the bitmap corresponding to the superimposed image each time the superimposed image is generated,
    The storage unit stores a plurality of bitmaps generated at different timings by the superimposing unit,
    The event transmitting apparatus according to claim 3, wherein the event transmitting unit selects one bitmap for selecting the destination virtual machine from the plurality of bitmaps based on a predetermined selection condition.
  8.  時刻情報を取得する時刻取得部、をさらに備え、
     前記重畳部は、前記重畳画像と前記ビットマップとを生成する度に、前記重畳画像と前記ビットマップとに前記時刻情報を生成時刻として付与し、
     前記入力部は、前記重畳画像に付与された前記生成時刻を取得し、
     前記予め定められた選択条件とは、前記入力部にて取得された前記生成時刻と、前記記憶部に記憶された各前記ビットマップに付与された前記生成時刻と、に関係する条件である、請求項7に記載のイベント送信装置。
    A time acquisition unit for acquiring time information,
    The superimposing unit, each time the superimposed image and the bitmap is generated, to give the time information as the generation time to the superimposed image and the bitmap,
    The input unit acquires the generation time given to the superimposed image,
    The predetermined selection condition is a condition related to the generation time acquired by the input unit and the generation time given to each of the bitmaps stored in the storage unit. The event transmission device according to claim 7.
  9.  前記入力部は、
     前記入力イベントを受け付けることにより、前記重畳画像から前記ビットマップを取得するレイヤ情報取得部を含み、
     前記イベント送信部は、前記レイヤ情報取得部にて取得された前記ビットマップに基づき、前記送信先の仮想マシンに、前記入力イベントを送信する、請求項4に記載のイベント送信装置。
    The input unit includes:
    By receiving the input event, includes a layer information acquisition unit that acquires the bitmap from the superimposed image,
    The event transmission device according to claim 4, wherein the event transmission unit transmits the input event to the destination virtual machine based on the bitmap acquired by the layer information acquisition unit.
  10.  前記ハイパーバイザ上で動作する前記複数の仮想マシンをさらに備える、請求項1に記載のイベント送信装置。 2. The event transmission device according to claim 1, further comprising: the plurality of virtual machines operating on the hypervisor.
  11.  前記ハイパーバイザ上で動作する前記複数の仮想マシンを含む情報処理装置に、ネットワークを介して前記入力イベントを送信する通信部をさらに備える、請求項1に記載のイベント送信装置。 2. The event transmission device according to claim 1, further comprising: a communication unit that transmits the input event to a data processing device including the plurality of virtual machines operating on the hypervisor via a network.
  12.  ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信装置とネットワークで接続される情報処理装置であって、
     前記ハイパーバイザ上で動作する前記複数の仮想マシンと、
     前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付け、前記重畳画像における複数の位置と各前記位置における画像に由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信する前記イベント送信装置から、前記ネットワークを介して前記入力イベントを受信する通信部と、
     前記通信部にて受信された前記入力イベントを前記送信先の仮想マシンに送信するイベント送信部と、を備える情報処理装置。
    An information processing device connected via a network to an event transmitting device that transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor,
    The plurality of virtual machines operating on the hypervisor;
    A plurality of drawing layers provided corresponding to each of the plurality of virtual machines receive the input event input for a superimposed image superimposed on each other, and a plurality of positions in the superimposed image and an image at each of the positions. The virtual machine of the transmission destination, which is one virtual machine corresponding to the input position of the input event in the superimposed image, of the plurality of virtual machines based on the correspondence relationship with one drawing layer derived from A communication unit that receives the input event from the event transmitting device that transmits an event via the network,
    An information transmission unit that transmits the input event received by the communication unit to the destination virtual machine.
  13.  ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信装置と、
     前記イベント送信装置とネットワークで接続される情報処理装置と、を備え、
     前記イベント送信装置は、
     前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付ける入力部と、
     前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンである送信先の仮想マシンに、前記入力イベントを送信する第1イベント送信部と、
     前記情報処理装置に、前記ネットワークを介して前記入力イベントを送信する第1通信部と、を含み、
     前記情報処理装置は、
     前記ハイパーバイザ上で動作する前記複数の仮想マシンと、
     前記イベント送信装置の前記第1通信部から、前記ネットワークを介して前記入力イベントを受信する第2通信部と、
     前記第2通信部にて受信された前記入力イベントを前記送信先の仮想マシンに送信する第2イベント送信部と、を含む情報処理システム。
    An event transmitting apparatus that transmits an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor,
    An information processing device connected to the event transmitting device via a network,
    The event transmission device,
    A plurality of drawing layers provided corresponding to each of the plurality of virtual machines, an input unit configured to receive the input event input to a superimposed image superimposed on each other;
    Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. A first event transmitting unit that transmits the input event to a destination virtual machine that is a virtual machine;
    A first communication unit configured to transmit the input event to the information processing apparatus via the network,
    The information processing device,
    The plurality of virtual machines operating on the hypervisor;
    A second communication unit that receives the input event from the first communication unit of the event transmission device via the network;
    An information processing system comprising: a second event transmission unit that transmits the input event received by the second communication unit to the destination virtual machine.
  14.  ハイパーバイザ上で動作する複数の仮想マシンのうち一の仮想マシンに入力イベントを送信するイベント送信方法であって、
     前記複数の仮想マシンのそれぞれに対応して設けられる複数の描画レイヤが、互いに重畳された重畳画像に対して入力される前記入力イベントを受け付け、
     前記重畳画像における複数の位置と各前記位置における画像が由来する一の描画レイヤとの対応関係に基づき、前記複数の仮想マシンのうち、前記重畳画像における前記入力イベントの入力位置に対応する一の仮想マシンに、前記入力イベントを送信する、イベント送信方法。
    An event transmission method for transmitting an input event to one virtual machine among a plurality of virtual machines operating on a hypervisor,
    A plurality of drawing layers provided corresponding to each of the plurality of virtual machines receives the input event input for a superimposed image superimposed on each other,
    Based on the correspondence between the plurality of positions in the superimposed image and one drawing layer from which the image at each of the positions is derived, one of the plurality of virtual machines corresponding to the input position of the input event in the superimposed image. An event transmission method for transmitting the input event to a virtual machine.
PCT/JP2018/029873 2018-08-09 2018-08-09 Event transmission device, information processing device, information processing system, and event transmission method WO2020031320A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020535417A JP6964781B2 (en) 2018-08-09 2018-08-09 Event transmitter and event transmission method
PCT/JP2018/029873 WO2020031320A1 (en) 2018-08-09 2018-08-09 Event transmission device, information processing device, information processing system, and event transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029873 WO2020031320A1 (en) 2018-08-09 2018-08-09 Event transmission device, information processing device, information processing system, and event transmission method

Publications (1)

Publication Number Publication Date
WO2020031320A1 true WO2020031320A1 (en) 2020-02-13

Family

ID=69414074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029873 WO2020031320A1 (en) 2018-08-09 2018-08-09 Event transmission device, information processing device, information processing system, and event transmission method

Country Status (2)

Country Link
JP (1) JP6964781B2 (en)
WO (1) WO2020031320A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503647A (en) * 2005-07-22 2009-01-29 マイクロソフト コーポレーション Secure hardware desktop buffer configuration
JP4522533B2 (en) * 1999-04-14 2010-08-11 パナソニック株式会社 Event control device and digital broadcasting system
JP4856756B2 (en) * 2007-03-09 2012-01-18 インターナショナル・ビジネス・マシーンズ・コーポレーション Method, program for determining delivery destination of request, and display system using the method
WO2016121620A1 (en) * 2015-01-27 2016-08-04 三菱電機株式会社 User interface device, method for displaying user interface, and control program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212047A (en) * 1995-02-07 1996-08-20 Chugoku Nippon Denki Software Kk Window system independency graphical user interface(gui) system
JP4839049B2 (en) * 2005-09-20 2011-12-14 クラリオン株式会社 Information processing apparatus and display screen control method
JP4877608B2 (en) * 2008-01-28 2012-02-15 日本電気株式会社 Virtual machine server, virtual machine server information storage method, and virtual machine server information storage program
JP5251385B2 (en) * 2008-09-16 2013-07-31 富士通株式会社 Event detection system, event detection method, and program
JP5540793B2 (en) * 2010-03-18 2014-07-02 富士ゼロックス株式会社 Function providing apparatus and program
JP2012155600A (en) * 2011-01-27 2012-08-16 Fujitsu Ltd Information processing apparatus, control method and control program
JP5724421B2 (en) * 2011-02-04 2015-05-27 富士通株式会社 Information processing device
JP5774032B2 (en) * 2011-02-09 2015-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Virtual computer display device, virtual computer display method, virtual computer display program, recording medium, and integrated circuit
JP2015187786A (en) * 2014-03-26 2015-10-29 東芝テック株式会社 Virtual machine management program and virtual machine management device
JP2017215800A (en) * 2016-05-31 2017-12-07 キヤノン株式会社 Information processing device, information processing method and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522533B2 (en) * 1999-04-14 2010-08-11 パナソニック株式会社 Event control device and digital broadcasting system
JP2009503647A (en) * 2005-07-22 2009-01-29 マイクロソフト コーポレーション Secure hardware desktop buffer configuration
JP4856756B2 (en) * 2007-03-09 2012-01-18 インターナショナル・ビジネス・マシーンズ・コーポレーション Method, program for determining delivery destination of request, and display system using the method
WO2016121620A1 (en) * 2015-01-27 2016-08-04 三菱電機株式会社 User interface device, method for displaying user interface, and control program

Also Published As

Publication number Publication date
JPWO2020031320A1 (en) 2021-01-07
JP6964781B2 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
CN107871308B (en) Method and apparatus for processing wide-angle image
CN108765539B (en) OpenGLES-based image rendering method, device, equipment and storage medium
US9753715B2 (en) Information processing apparatus, terminal system, storage medium having stored therein information processing program, and method of obtaining update data for efficiently updating data for an application
KR20070066621A (en) Image processing apparatus and method
CN111192352B (en) Map rendering method, map rendering device, computer equipment and storage medium
WO2014192044A1 (en) Image processing device, image processing system, and image processing method
DE202017007296U1 (en) An electronic device comprising a curved display area
CN113467865A (en) Information processing method, information processing device, electronic equipment and storage medium
CN110879729B (en) Channel configuration method and device for live broadcast room, readable medium and electronic equipment
JP2012226737A (en) Display device, terminal device, and display device connection support system
US20220083305A1 (en) Vehicle controller, vehicle display system, and vehicle display control method
JP6480100B2 (en) Semiconductor device, video display system, and signal processing method
CN115033195A (en) Picture display method, device, equipment, storage medium and program product
WO2020031320A1 (en) Event transmission device, information processing device, information processing system, and event transmission method
CN112783392A (en) Information screen display method and device
KR20070010331A (en) Apparatus and method for display image of mobile terminal
US20200359431A1 (en) Communication system, mobile terminal, and in-vehicle apparatus
CN109634653B (en) Resource allocation method and device based on componentized architecture
KR20130108952A (en) Implementation method of pip by using separate application package on android platform
CN105825299A (en) Recommendation method and device for optimal film watching area
CN113589927B (en) Split screen display method, head-mounted display device and computer readable medium
KR20160046444A (en) Download sharing method for data
JP5575999B1 (en) Map processing system
CN111610920B (en) Multi-device control method, device and system
CN113554659B (en) Image processing method, device, electronic equipment, storage medium and display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929041

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535417

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18929041

Country of ref document: EP

Kind code of ref document: A1