WO2015189974A1 - 画像表示装置および画像表示プログラム - Google Patents

画像表示装置および画像表示プログラム Download PDF

Info

Publication number
WO2015189974A1
WO2015189974A1 PCT/JP2014/065686 JP2014065686W WO2015189974A1 WO 2015189974 A1 WO2015189974 A1 WO 2015189974A1 JP 2014065686 W JP2014065686 W JP 2014065686W WO 2015189974 A1 WO2015189974 A1 WO 2015189974A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
information
unit
computer
Prior art date
Application number
PCT/JP2014/065686
Other languages
English (en)
French (fr)
Inventor
淳平 羽藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2014/065686 priority Critical patent/WO2015189974A1/ja
Publication of WO2015189974A1 publication Critical patent/WO2015189974A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a technique for displaying an image.
  • CG is an abbreviation for computer graphics
  • AR is an abbreviation for augmented reality.
  • CG is an abbreviation for computer graphics
  • AR is an abbreviation for augmented reality.
  • CG is an abbreviation for computer graphics
  • AR is an abbreviation for augmented reality.
  • information terminal such as a smartphone, a tablet terminal, or a wearable terminal on the screen of the information terminal.
  • These technologies can be used for applications such as a tourism support system that displays information describing a surrounding building for tourists, or a navigation system that displays a route to a destination in CG.
  • the situation is such that the real world existing in the superimposed portion is not visible or difficult to see.
  • the situation does not become a problem when it is not necessary to see the real world where the CG is superimposed, but it becomes a problem from the viewpoint of usability when the real world is desired.
  • Patent Document 1 discloses a technique for preventing CG from being superimposed and displayed in a CG removal area by designating a CG removal area in which CG is not superimposed and displayed.
  • the user needs to explicitly specify the CG removal area using the CG removal frame, the electronic pen, or his / her hand. Therefore, an effort is required to adjust the position and size of the CG removal region. Further, since the CG is not superimposed and displayed in the CG removal area, a part of the CG to be superimposed may be lost. Further, when the CG removal area is larger than necessary, there is a possibility that CG is not displayed at all. Therefore, it is expected that effective information transmission cannot be performed. On the other hand, when the CG is superimposed on the display device, it is difficult for the user to recognize the information displayed on the display device.
  • An object of the present invention is to avoid a situation in which a plurality of devices used by a user display an image in the same time zone.
  • the image display device of the present invention has a function of displaying an image.
  • the image display device includes: A computer detection unit for detecting a computer in a wireless communication range; A display right determination unit for determining which of the computer and the image display device detected by the computer detection unit has a display right to display an image; An image is displayed when the display right determining unit determines that the image display device has the display right, and an image is displayed when the display right determining unit determines that the computer has the display right. An image display unit that does not.
  • the present invention it is possible to avoid a situation in which a plurality of devices used by a user display an image in the same time zone. Thereby, for example, a situation in which the display of a plurality of devices overlaps does not occur.
  • FIG. 2 is a functional configuration diagram of an AR device 100 according to Embodiment 1.
  • FIG. 3 is a flowchart showing an AR process of the AR device 100 according to the first embodiment.
  • 6 is a diagram illustrating an example of a captured image 191 according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an AR image 194 according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of a display form of an AR image 194 according to Embodiment 1.
  • FIG. 6 is a flowchart showing display right processing of a display right arbitration unit 420 in the first embodiment.
  • 10 is a flowchart illustrating an example of a display right arbitration process (S422) according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram of an AR device 100 according to Embodiment 1.
  • FIG. 2 is a functional configuration diagram of an information processing device 200 according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating image display processing of the information processing apparatus 200 according to Embodiment 1.
  • 2 is a hardware configuration diagram of an information processing apparatus 200 according to Embodiment 1.
  • FIG. 6 is a functional configuration diagram of an AR device 100 according to Embodiment 2.
  • FIG. It is a figure which shows an example of the AR image 194 in Embodiment 2.
  • FIG. 6 is a functional configuration diagram of an information processing device 200 according to Embodiment 2.
  • FIG. FIG. 20 is a diagram illustrating an example of a display image 249 according to Embodiment 2.
  • 10 is a functional configuration diagram of a superimposition information acquisition unit 120 according to Embodiment 3.
  • Embodiment 1 FIG. A mode for avoiding a situation in which a plurality of devices used by a user displays an image in the same time zone will be described.
  • FIG. 1 is a functional configuration diagram of the AR device 100 according to the first embodiment.
  • AR is an abbreviation for augmented reality.
  • a functional configuration of the AR device 100 according to the first embodiment will be described with reference to FIG. However, the functional configuration of the AR device 100 may be different from that shown in FIG.
  • the AR device 100 (an example of an image display device) is a device that displays an AR image 194 in a display area of a display device included in the AR device 100.
  • the AR image 194 is an information superimposed image on which information is superimposed.
  • the AR device 100 includes a camera and a display device (not shown). The camera and the display device may be connected to the AR device 100 via a cable or the like.
  • the display device included in the AR apparatus 100 is referred to as a display device or an AR display device.
  • a tablet computer, a smartphone, and a desktop computer are examples of the AR device 100.
  • the AR device 100 includes a captured image acquisition unit 110, a superimposition information acquisition unit 120, an AR image generation unit 140 (an example of an information superimposition image generation unit), an AR image display unit 150 (an example of an image display unit), an apparatus And a storage unit 190. Furthermore, the AR device 100 includes a device search unit 410 (an example of a computer detection unit and a nearby device detection unit) and a display right arbitration unit 420 (an example of a display right determination unit).
  • the device search unit 410 detects the information processing device 200 within the wireless communication range by wireless communication.
  • the information processing device 200 searched by the device search unit 410 is referred to as a neighboring device.
  • the display right arbitration unit 420 determines which of the AR device 100 and the neighboring device acquires the display right to display an image. In other words, the display right arbitration unit 420 determines which of the AR device 100 and the neighboring device has the display right. When the neighboring device is not detected, the display right arbitration unit 420 determines that the AR device 100 has the display right. For example, if the wireless communication between the AR device 100 and the neighboring device is disconnected after determining that the neighboring device has the display right among the AR device 100 and the neighboring device, the display right arbitration unit 420 gives the AR device 100 a display right. Judge that there is.
  • the captured image acquisition unit 110 acquires a captured image 191 generated by the camera.
  • the photographed image 191 shows a photographing range where a display device used by the information processing apparatus 200 exists.
  • the display device used by the information processing apparatus 200 is referred to as a display device or an information processing display device.
  • An image displayed in the display area of the information processing display device is called an information processing image.
  • the superimposition information acquisition unit 120 acquires superimposition information 192 that is superimposed on the captured image 191. However, when the AR device 100 cannot obtain the display right, the superimposition information acquisition unit 120 may not acquire the superimposition information 192.
  • the AR image generation unit 140 generates an AR image 194 by superimposing the superimposition information 192 on the captured image 191. However, when the AR device 100 cannot obtain the display right, the AR image generation unit 140 may not generate the AR image 194.
  • the AR image display unit 150 displays the AR image 194 on the AR display device. However, when the AR device 100 cannot obtain the display right, the AR image display unit 150 does not display the AR image 194 on the AR display device.
  • the device storage unit 190 stores data used, generated or input / output by the AR device 100.
  • the device storage unit 190 stores a captured image 191, superimposition information 192, an AR image 194, and the like.
  • FIG. 2 is a flowchart showing an AR process of the AR device 100 according to the first embodiment.
  • the AR process of the AR device 100 according to the first embodiment will be described with reference to FIG. However, the AR process may be a process different from FIG.
  • the captured image acquisition unit 110 acquires a captured image 191 generated by the camera of the AR device 100. After S110, the process proceeds to S120.
  • FIG. 3 is a diagram illustrating an example of the captured image 191 in the first embodiment.
  • the captured image acquisition unit 110 acquires a captured image 191 as illustrated in FIG.
  • the photographed image 191 shows a photographing range including the tablet type information processing apparatus 200 and the clock 310.
  • the information processing apparatus 200 may not be displayed in the captured image 191.
  • the tablet information processing apparatus 200 includes a display device.
  • the display device of the information processing apparatus 200 includes a display area 201 on which an information processing image 292 is displayed.
  • the information processing apparatus 200 does not have the display right, the information processing apparatus 200 does not display the information processing image 292, and thus the information processing image 292 is not displayed in the captured image 191.
  • the description will be continued from S120.
  • the superimposition information acquisition unit 120 acquires superimposition information 192 to be superimposed on the captured image 191.
  • the superimposition information acquisition unit 120 detects the clock 310 from the captured image 191 (see FIG. 3), and acquires superimposition information 192 related to the clock 310.
  • the details of the superimposition information acquisition process (S120) will be described in another embodiment. After S120, the process proceeds to S420.
  • the process branches depending on whether or not the AR device 100 has a display right. If the AR device 100 has a display right (YES), the process proceeds to S140. When the AR device 100 does not have a display right (NO), the AR process for one captured image 191 ends.
  • the AR image generation unit 140 generates the AR image 194 by superimposing the superimposition information 192 on the captured image 191.
  • the AR image 194 is a captured image 191 on which the superimposition information 192 is superimposed.
  • the AR image generation unit 140 causes the superimposed information 192 to be superimposed on the captured image 191 while avoiding the display area 201 of the information processing apparatus 200 (information processing display device) shown in the captured image 191.
  • the AR device 100 may include an unusable area selection unit that selects an unusable area from the captured image 191.
  • the unusable area is an image area in which the display area 201 of the information processing apparatus 200 (information processing display device) is shown.
  • FIG. 4 is a diagram illustrating an example of the AR image 194 in the first embodiment.
  • the AR image generation unit 140 generates an AR image 194 as shown in FIG.
  • the information processing apparatus 200 does not have a display right, the information processing apparatus 200 does not display the information processing image 292, and thus the information processing image 292 is not displayed in the AR image 194.
  • the AR image 194 includes a balloon shape information diagram 320 (an example of an information image).
  • the information diagram 320 shows schedule information at a time close to the current time indicated by the clock 310 as superimposition information 192.
  • the information diagram 320 is CG (computer graphics).
  • the AR image display unit 150 displays the AR image 194 on the display device of the AR device 100. After S150, the AR process for one captured image 191 ends.
  • FIG. 5 is a diagram illustrating an example of a display form of the AR image 194 in the first embodiment.
  • the AR image display unit 150 displays the AR image 194 in the display area 101 of the display device included in the tablet AR device 100 (see FIG. 5). Note that when the information processing apparatus 200 does not have a display right, the information processing apparatus 200 does not display the information processing image 292, and thus the information processing image 292 is not displayed in the AR image 194.
  • FIG. 6 is a flowchart showing the display right processing of the display right arbitration unit 420 in the first embodiment.
  • the display right processing of the display right arbitration unit 420 in the first embodiment will be described with reference to FIG. However, the display right process may be a process different from FIG.
  • the device search unit 410 detects the information processing device 200 in the communication range of short-range wireless communication as a nearby device. Two or more neighboring devices may be used. At this time, device search unit 410 transmits device search data by short-range wireless communication, and receives device search data transmitted from information processing device 200 by short-range wireless communication. By receiving device search data from the information processing device 200, the device search unit 410 detects the information processing device 200 that has transmitted the device search data as a nearby device.
  • the device search data includes a communication address of a device that transmits the device search data, a device identifier, a device type flag, and the like.
  • the device type flag included in the device search data transmitted by the AR device 100 indicates a flag value indicating that the device that transmitted the device search data is the AR device 100.
  • the device type flag included in the device search data transmitted by the information processing device 200 indicates a flag value indicating that the device that transmitted the device search data is the information processing device 200.
  • the device search unit 410 determines whether the device that transmitted the device search data is the information processing device 200 based on the device type flag included in the received device search data. When device search data transmitted from another AR device 100 is received, the device search unit 410 may ignore the device search data. In addition, the device search unit 410 may ignore device search data transmitted from the information processing device 200 that has been detected (display rights have been arbitrated). S421 is repeated until at least one neighboring device is detected. If a nearby device is detected (YES), the process proceeds to S422.
  • the display right arbitration unit 420 determines which of the AR device 100 and the neighboring device has the display right by the display right arbitration process.
  • a specific example of the display mediation process (S422) will be described later. After S422, the process proceeds to S423.
  • the process branches depending on whether or not the AR device 100 has a display right. If the AR device 100 has a display right (YES), the process returns to S421. If the AR device 100 does not have a display right (NO), the process proceeds to S424.
  • the display right arbitration unit 420 performs display stop processing for stopping display of the captured image 191 and the AR image 194. For example, the display right arbitration unit 420 instructs the AR image generation unit 140 to stop processing for generating the AR image 194. However, the display right arbitration unit 420 may instruct the AR image display unit 150 to stop the process of displaying the captured image 191 or the AR image 194. For example, the display right arbitration unit 420 sets a flag value indicating that there is no display right as the display right flag. The AR image generation unit 140 and the AR image display unit 150 determine the presence / absence of the display right based on the display right flag. The display right flag is an example of data stored in the device storage unit 190. After S424, the process proceeds to S425.
  • step S425 the device search unit 410 waits until wireless communication between the AR device 100 that does not have the display right and the neighboring device that has the display right is disconnected.
  • the process proceeds to S426.
  • the display right arbitration unit 420 determines that the AR apparatus 100 has the display right, and performs display start processing for starting display of the captured image 191 and the AR image 194. For example, the display right arbitration unit 420 instructs the AR image generation unit 140 to start processing for generating the AR image 194. However, the display right arbitration unit 420 may instruct the AR image display unit 150 to start processing for displaying the captured image 191 or the AR image 194. For example, the display right arbitration unit 420 sets a flag value indicating that there is a display right in the display right flag. The AR image generation unit 140 and the AR image display unit 150 determine the presence / absence of the display right based on the display right flag. The display right flag is an example of data stored in the device storage unit 190. After S426, the process returns to S421.
  • the display right arbitration unit 420 performs the following display right arbitration processing.
  • the display right arbitrating unit 420 It is determined that the second neighboring device of the two neighboring devices has the display right. That is, the display right arbitration unit 420 determines that the AR device 100 does not have a display right. This is to prevent the result of the display right arbitration process between the AR device 100 and the first neighboring device (the AR device 100 has no display right) from being substantially countered.
  • the display right arbitration unit 420 performs the following display right arbitration processing.
  • the display right arbitration unit 420 determines which of the AR device 100 and the nearby device has the display right based on the form of the AR device 100 and the form of the nearby device (see FIG. 7).
  • FIG. 7 is a flowchart illustrating an example of the display right arbitration process (S422) according to the first embodiment.
  • S4221 the display right arbitration unit 420 acquires the device configuration flags (an example of configuration information) of the AR device 100 and the neighboring devices.
  • the device type flag indicates a flag value that means a device type such as a desktop type, a tablet type, or a spectacle type.
  • the device type flag is included in the device search data.
  • the display right arbitration unit 420 acquires the device type flag of the neighboring device from the device search data of the neighboring device, and acquires the device type flag of the AR device 100 from the device storage unit 190.
  • the device configuration flag of the AR device 100 is an example of data stored in the device storage unit 190.
  • the process proceeds to S4222.
  • the display right arbitration unit 420 acquires the display right priority associated with the same flag value as the device form flag of the AR device 100 from the display right priority table.
  • the display right arbitration unit 420 acquires the display right priority associated with the same flag value as the device form flag of the neighboring device from the display right priority table.
  • the display right priority table is an example of data stored in the device storage unit 190.
  • the process proceeds to S4223.
  • the display right arbitration unit 420 compares the display right priority of the AR device 100 with the display right priority of the neighboring devices.
  • the display right arbitration unit 420 determines that the AR device 100 has the display right (S4224).
  • the display right arbitrating unit 420 determines that the neighboring device has the display right. That is, the display right arbitration unit 420 determines that the AR device 100 does not have a display right.
  • the display right mediation process ends.
  • the display right arbitration unit 420 is configured such that the distance between the display device included in the AR device 100 and the viewpoint of the user who uses the AR device 100, and the distance between the display device included in the vicinity device and the viewpoint of the user who uses the vicinity device.
  • the presence or absence of the display right can be determined in consideration of the long and short. This is because the distance between the display device and the user's viewpoint is determined by the form of the apparatus. For example, the distance between the display device of the desktop apparatus and the user's viewpoint is about several tens of centimeters.
  • the distance between the display device of the tablet device and the user's viewpoint is about 10 to 20 centimeters, and the distance between the display device of the glasses device and the user's viewpoint is about several centimeters.
  • the display right arbitration unit 420 gives the display right to the glasses-type AR device 100 used by the driver. Judge that there is no.
  • a car navigation system is an example of a vehicle-mounted proximity device. Thereby, it is possible to prevent the driver from driving while using the glasses-type AR device 100, and to suppress a traffic accident caused by using the glasses-type AR device 100.
  • the display right arbitration unit 420 performs the following display right arbitration processing.
  • the display right arbitration unit 420 determines whether to acquire the display right based on the display performance of the AR device 100 and the display performance of the neighboring devices.
  • Display performance is the size, resolution, or frame rate of the display device.
  • the display right mediation process based on the display performance is the same as the display mediation process based on the device configuration (see FIG. 7).
  • the device configuration flag is replaced with a display performance value (an example of display performance information).
  • the display performance value is a value representing the display performance.
  • the display right arbitration unit 420 may determine whether to acquire the display right based on the total priority obtained by totaling the display right priority based on the device form, the display right priority based on the display performance, and the like. In addition, the display right arbitration unit 420 may weight each display right priority.
  • FIG. 8 is a hardware configuration diagram of the AR device 100 according to the first embodiment.
  • a hardware configuration of the AR device 100 according to the first embodiment will be described with reference to FIG. However, the hardware configuration of the AR device 100 may be different from the configuration shown in FIG.
  • the AR device 100 is a computer.
  • the AR device 100 includes a bus 801, a memory 802, a storage 803, a communication interface 804, a CPU 805, and a GPU 806.
  • the AR apparatus 100 includes a display device 807, a camera 808, a user interface device 809, and a sensor 810.
  • the bus 801 is a data transfer path used by the hardware of the AR device 100 to exchange data.
  • the memory 802 is a volatile storage device to which data is written or read by the hardware of the AR device 100. However, the memory 802 may be a non-volatile storage device.
  • the memory 802 is also referred to as a main storage device.
  • the storage 803 is a non-volatile storage device to which data is written or read by the hardware of the AR device 100.
  • the storage 803 is also referred to as an auxiliary storage device.
  • the communication interface 804 is a communication device used by the AR device 100 to exchange data with an external computer. The communication interface 804 performs wireless communication with neighboring devices.
  • the communication interface 804 performs short-range wireless communication such as BlueTooth or ZigBee. BlueTooth and ZigBee are registered trademarks.
  • the CPU 805 is an arithmetic device that executes processing (for example, AR processing) performed by the AR device 100.
  • CPU is an abbreviation for Central Processing Unit.
  • the GPU 806 is an arithmetic device that executes processing related to computer graphics (CG). However, the processing related to CG may be executed by the CPU 805.
  • the AR image 194 is an example of data generated by the CG technique.
  • GPU is an abbreviation for Graphics Processing Unit.
  • the display device 807 is a device that converts CG data into an optical output. That is, the display device 807 is a display device that displays CG.
  • the camera 808 is a device that converts optical input into data. That is, the camera 808 is a photographing device that generates an image by photographing. One image is called a still image. In addition, a plurality of still images that are continuous in time series are called moving images or videos.
  • the user interface device 809 is an input device used by a user who uses the AR device 100 to operate the AR device 100.
  • a keyboard and pointing device included in a desktop computer are examples of the user interface device 809.
  • a mouse and a trackball are examples of pointing devices.
  • a touch panel and a microphone included in the smartphone or tablet computer are examples of the user interface device 809.
  • the sensor 810 is a measuring device for detecting the AR device 100 or a surrounding situation.
  • An example of the sensor 810 is a GPS that measures a position, an acceleration sensor that measures acceleration, a gyro sensor that measures angular velocity, a magnetic sensor that measures an azimuth, a proximity sensor that detects the presence or absence of a nearby object, and an illuminance sensor that measures illuminance. It is.
  • a program for realizing the function described as “ ⁇ unit” is stored in the storage 803, loaded from the storage 803 to the memory 802, and executed by the CPU 805.
  • FIG. 9 is a functional configuration diagram of the information processing apparatus 200 according to the first embodiment.
  • the functional configuration of the information processing apparatus 200 according to Embodiment 1 will be described with reference to FIG. However, the functional configuration of the information processing apparatus 200 may be different from that shown in FIG.
  • the information processing device 200 (an example of an image display device) includes an information processing image generation unit 220, an information processing image display unit 241 (an example of an image display unit), and an information processing storage unit 290. Furthermore, the information processing apparatus 200 includes a device search unit 410 (an example of a computer detection unit and a nearby device detection unit) and a display right arbitration unit 420 (an example of a display right determination unit).
  • the device search unit 410 has the same function as the device search unit 410 of the AR device 100 (see FIG. 1). However, the device search unit 410 detects the AR device 100 in the communication range of wireless communication as a nearby device.
  • the display right arbitration unit 420 has the same function as that of the AR device 100 (see FIG. 1). However, the display right arbitration unit 420 determines which of the information processing apparatus 200 and the neighboring apparatus has the display right.
  • the information processing image generation unit 220 generates an information processing image 292 that is displayed in the display area 201 of the information processing display device.
  • the image representing the start screen of the information processing apparatus 200, the menu screen of the information processing apparatus 200, or the screen of an application program (also referred to as a window) is an example of the information processing image 292.
  • the information processing image generation unit 220 may not generate the information processing image 292.
  • the information processing image display unit 241 displays the information processing image 292 in the display area 201 of the information processing display device. However, when the information processing apparatus 200 does not have a display right, the information processing image display unit 241 does not display the information processing image 292.
  • the information processing storage unit 290 stores data used, generated, or input / output by the information processing apparatus 200.
  • the information processing storage unit 290 stores the information processing image 292.
  • FIG. 10 is a flowchart showing image display processing of the information processing apparatus 200 in the first embodiment.
  • An image display process of the information processing apparatus 200 according to Embodiment 1 will be described with reference to FIG.
  • the image display process of the information processing apparatus 200 may be a process different from FIG.
  • the image display process is repeatedly executed.
  • the process branches depending on whether the information processing apparatus 200 has a display right. If the information processing apparatus 200 has a display right (YES), the process proceeds to S220. When the information processing apparatus 200 does not have the display right (NO), the image display process ends.
  • the display right process of the information processing apparatus 200 is the same as the display right process of the AR apparatus 100 (see FIG. 6).
  • the neighboring device is the AR device 100 in the display right process (see FIG. 6).
  • the AR device 100 is replaced with the information processing device 200, and the information processing device 200 is replaced with the AR device 100.
  • the device search unit 410 detects the AR device 100 in the communication range of short-range wireless communication as a nearby device. S421 is repeated until at least one neighboring device is detected. If a nearby device is detected (YES), the process proceeds to S422.
  • the display right arbitration unit 420 determines which of the information processing apparatus 200 and the neighboring apparatus has the display right by the display right arbitration process. After S422, the process proceeds to S423.
  • the process branches depending on whether the information processing apparatus 200 has a display right. If the information processing apparatus 200 has a display right (YES), the process returns to S421. If the information processing apparatus 200 does not have a display right (NO), the process proceeds to S424.
  • the display right arbitration unit 420 performs a display stop process for stopping the display of the information processing image 292. After S424, the process proceeds to S425.
  • the device search unit 410 waits until wireless communication between the information processing device 200 that does not have the display right and the neighboring device that has the display right is disconnected.
  • the process proceeds to S426.
  • the display right arbitration unit 420 determines that the information processing apparatus 200 has the display right, and performs display start processing for starting display of the information processing image 292. After S426, the process returns to S421. Returning to FIG. 10, the description will be continued from S220.
  • the information processing image generation unit 220 generates an information processing image 292.
  • the image representing the start screen of the information processing device 200, the menu screen of the information processing device 200, or the screen (window) of the application program is an example of the information processing image 292.
  • the information processing image display unit 241 displays the information processing image 292 in the display area 201 of the information processing display device. After S241, the image display process ends.
  • FIG. 11 is a hardware configuration diagram of the information processing apparatus 200 according to the first embodiment.
  • a hardware configuration of the information processing apparatus 200 according to Embodiment 1 will be described with reference to FIG.
  • the hardware configuration of the information processing apparatus 200 may be different from the configuration illustrated in FIG.
  • the information processing apparatus 200 is a computer.
  • the information processing apparatus 200 includes hardware similar to the hardware included in the AR device 100 (see FIG. 8). However, the camera 808 may not be provided.
  • a bus 801 is a data transfer path that is used by the hardware of the information processing apparatus 200 to exchange data.
  • the memory 802 is a volatile storage device to which data is written or read by the hardware of the information processing apparatus 200.
  • the storage 803 is a non-volatile storage device to which data is written or read by the hardware of the information processing apparatus 200.
  • the communication interface 804 is a communication device used by the information processing apparatus 200 for exchanging data with an external computer. The communication interface 804 performs wireless communication with neighboring devices.
  • the CPU 805 is an arithmetic device that executes processing (for example, AR processing) performed by the information processing device 200.
  • the GPU 806 is an arithmetic device that executes processing related to computer graphics (CG).
  • the display device 807 is a device that converts CG data into an optical output.
  • the user interface device 809 is an input device used by a user who uses the information processing apparatus 200 to operate the information processing apparatus 200.
  • the sensor 810 is a measuring device for detecting the information processing apparatus 200 or a surrounding situation.
  • Embodiment 1 it is possible to avoid a situation in which a plurality of devices (AR device 100 and information processing device 200) used by a user display an image in the same time zone.
  • FIG. A mode in which a device with display right displays superimposition information 192 or an information processing image 292 transmitted from a device without display right will be described.
  • items not described in the first embodiment will be mainly described. Matters whose description is omitted are the same as those in the first embodiment.
  • FIG. 12 is a functional configuration diagram of the AR device 100 according to the second embodiment.
  • a functional configuration of the AR device 100 according to the second embodiment will be described with reference to FIG.
  • the functional configuration of the AR device 100 may be different from that shown in FIG.
  • the AR device 100 includes an image communication unit 430 in addition to the functions described in the first embodiment (see FIG. 1).
  • the image communication unit 430 performs communication by short-range wireless communication.
  • the image communication unit 430 receives an information processing image 292 (for example, an image of the window 340) transmitted from a nearby device without the display right.
  • the neighboring device receives the superimposition information 192 from the other AR device 100 and transmits the received superimposition information 192
  • the image communication unit 430 also receives the superimposition information 192.
  • the nearby device receives the information processing image 292 from the other information processing device 200 and transmits the received information processing image 292
  • the image communication unit 430 also receives the information processing image 292.
  • the image communication unit 430 transmits the superimposition information 192 to the neighboring device that has the display right. Further, when the superimposition information 192 transmitted from another AR device 100 is received, the image communication unit 430 also transmits the received superimposition information 192 to the neighboring device having the display right. Further, when the information processing image 292 transmitted from a nearby device without display right is received, the image communication unit 430 also transmits the received information processing image 292 to the nearby device with display right.
  • the AR image generation unit 140 When the AR device 100 has a display right, the AR image generation unit 140 generates an AR image 194.
  • the AR image 194 is obtained by capturing the superimposition information 192 acquired by the superimposition information acquisition unit 120, the superimposition information 192 received by the image communication unit 430, and the information processing image 292 received by the image communication unit 430. This is an image superimposed on the image 191.
  • the AR image generation unit 140 determines the arrangement of the superimposition information 192 and the information processing image 292 so that the superimposition information 192 and the information processing image 292 do not overlap each other, and the AR image 194 is determined based on the determined arrangement. Generate.
  • the AR image generation unit 140 does not generate the AR image 194.
  • FIG. 13 is a diagram illustrating an example of the AR image 194 in the second embodiment.
  • the AR image generation unit 140 When the AR apparatus 100 has a display right and the information processing image 292 representing the window 340 is transmitted from the information processing apparatus 200 without the display right, the AR image generation unit 140 generates an AR image 194 as shown in FIG. To do.
  • the AR image 194 is an image obtained by superimposing the information diagram 320 representing the superimposition information 192 and the information processing image 292 representing the window 340 on the captured image 191.
  • FIG. 14 is a functional configuration diagram of the information processing apparatus 200 according to the second embodiment.
  • a functional configuration of the information processing apparatus 200 according to Embodiment 2 will be described with reference to FIG. However, the functional configuration of the information processing apparatus 200 may be different from that shown in FIG.
  • the information processing apparatus 200 includes an image communication unit 430, a display image generation unit 242, and a display image display unit 243 instead of the information processing image display unit 241 described in the first embodiment (see FIG. 9).
  • the image communication unit 430 has the same function as the image communication unit 430 of the AR device 100 (see FIG. 12).
  • the image communication unit 430 performs communication by short-range wireless communication.
  • the image communication unit 430 receives the superimposition information 192 transmitted from a nearby apparatus that does not have the display right.
  • the neighboring device receives the superimposition information 192 from the other AR device 100 and transmits the received superimposition information 192
  • the image communication unit 430 also receives the superimposition information 192.
  • the image communication unit 430 when the neighboring device receives the information processing image 292 from the information processing device 200 without the display right and transmits the received information processing image 292, the image communication unit 430 also receives the information processing image 292.
  • the image communication unit 430 transmits the information processing image 292 to a nearby apparatus that has the display right.
  • the image communication unit 430 when the superimposition information 192 transmitted from a nearby device without display right is received, the image communication unit 430 also transmits the received superimposition information 192 to the nearby device with display right.
  • the image communication unit 430 when the information processing image 292 transmitted from the other information processing apparatus 200 is received, the image communication unit 430 also transmits the received information processing image 292 to the nearby apparatus having the display right.
  • the display image generation unit 242 When the information processing apparatus 200 has a display right, the display image generation unit 242 generates a display image 249.
  • the window information 294 includes the information processing image 292 generated by the information processing image generation unit 220, the superimposition information 192 received by the image communication unit 430, and the information processing image 292 received by the image communication unit 430. including.
  • the display image generation unit 242 determines the arrangement of the information processing image 292 and the superimposition information 192 so that the information processing image 292 and the superimposition information 192 do not overlap each other, and generates the display image 249 according to the determined arrangement. .
  • the display image generation unit 242 does not generate the display image 249.
  • the display image display unit 243 displays the display image 249 on the information processing display device.
  • the display image display unit 243 does not display the information processing image 292 and the display image 249 on the information processing display device.
  • FIG. 15 is a diagram illustrating an example of the display image 249 according to the second embodiment.
  • the display image generation unit 242 When the information processing apparatus 200 has a display right and the superimposition information 192 is transmitted from the AR apparatus 100 without the display right, the display image generation unit 242 generates a display image 249 as shown in FIG.
  • the display image 249 is an image including an information processing image 292 representing the window 340 and an information diagram 320 representing the superimposition information 192.
  • the second embodiment it is possible to display the superimposition information 192 or the information processing image 292 transmitted from a device having no display right by a device having the display right.
  • Embodiment 3 The superimposition information acquisition unit 120 of the AR device 100 will be described.
  • items that are not described in the first and second embodiments will be mainly described. Matters whose description is omitted are the same as those in the first or second embodiment.
  • FIG. 16 is a functional configuration diagram of the superimposition information acquisition unit 120 according to the third embodiment.
  • a functional configuration of the superimposition information acquisition unit 120 according to Embodiment 3 will be described with reference to FIG.
  • the functional configuration of the superimposition information acquisition unit 120 may be different from that shown in FIG.
  • the superimposition information acquisition unit 120 includes an object detection unit 121, an object specification unit 122, and a superimposition information collection unit 123.
  • the object detection unit 121 detects an object shown in the captured image 191 from the captured image 191. In other words, the object detection unit 121 detects an object region in which an object is reflected from the captured image 191. For example, the object detection unit 121 detects the clock 310 shown in the captured image 191 (see FIG. 3) from the captured image 191.
  • the object detection unit 121 detects an object from the captured image 191 by a marker method or a markerless method.
  • the marker method is a method of detecting an object to which a marker is added by detecting a marker added to an object (including an image of the object) from a captured image 191.
  • the marker is a special pattern such as a barcode.
  • the marker is generated based on object information regarding the object.
  • the object information includes type information indicating the type of the object, coordinate values indicating the position of the object, size information indicating the size of the object, and the like.
  • the markerless method is a method in which a geometric or optical feature amount is extracted from a captured image 191 and an object is detected based on the extracted feature amount.
  • the amount representing the shape, color, and luminance of the object is an example of a feature amount representing the feature of the object.
  • the characters and symbols written on the object are examples of feature amounts representing the features of the object.
  • the object detection unit 121 extracts an edge representing the shape of an object shown in the captured image 191 and detects an object region surrounded by the extracted edge. That is, the object detection unit 121 detects an object region in which the extracted edge is a boundary line.
  • the object specifying unit 122 specifies the type of the object detected by the object detecting unit 121.
  • the object specifying unit 122 acquires type information indicating the type of the object detected by the object detecting unit 121.
  • the type information is described in the JSON format. JSON is an abbreviation for JavaScript Object Notation. Java and JavaScript are registered trademarks.
  • the object specifying unit 122 specifies that the detected object is the clock 310 based on the shape, dial, hour hand, minute hand, second hand, and the like of the object detected from the captured image 191 (see FIG. 3).
  • the object specifying unit 122 reads the type information of the object from the marker.
  • the object specifying unit 122 acquires the type information of the object from the type information database using the feature amount of the detected object.
  • the type information database is a database in which object type information is associated with object feature amounts.
  • the type information database is generated by machine learning of the feature amount of an object.
  • the type information database may be either an external database provided in another computer or an internal database provided in the AR device 100.
  • the superimposition information collection unit 123 acquires object information related to the object as superimposition information 192 based on the type of the object specified by the object specification unit 122.
  • the object information is described in the JSON format.
  • the superimposition information collection unit 123 may acquire information other than the object information as the superimposition information 192.
  • the superimposition information collection unit 123 may acquire information regarding the current date, position, climate, and the like as the superimposition information 192.
  • the superimposition information collection unit 123 reads the object information from the marker.
  • the superimposition information collection unit 123 acquires object information or a URI from the object information database using the object type information.
  • the object information database is a database in which object information or URI is associated with type information.
  • the object information database may be either an external database or an internal database.
  • URI is an abbreviation for Uniform Resource Identifier.
  • the URI may be read as a URL (Uniform Resource Locator).
  • the superimposition information collection unit 123 acquires the object information from the storage area indicated by the URI.
  • the storage area indicated by the URI may be a storage area provided in any of the storage device provided in another computer and the storage device provided in the AR device 100.
  • the superimposition information 192 related to the object shown in the captured image 191 can be acquired.
  • Each embodiment is an example of the form of the AR device 100 and the information processing device 200. That is, the AR device 100 may not include some of the components described in the embodiments. Further, the information processing apparatus 200 may include components that are not described in each embodiment. Furthermore, the AR device 100 and the information processing device 200 may be a combination of some or all of the components of each embodiment.
  • the AR device 100 and the information processing device 200 in each embodiment constitute an image display system that displays an image and an information superimposed image display system that displays an information superimposed image (AR image).
  • the processing procedure described with reference to the flowcharts in each embodiment is an example of the processing procedure of the method and program according to each embodiment.
  • the method and program according to each embodiment may be realized by a processing procedure partially different from the processing procedure described in each embodiment.
  • ⁇ part can be read as “ ⁇ processing”, “ ⁇ process”, “ ⁇ program”, and “ ⁇ device”.
  • AR device 101 display area, 110 photographed image acquisition unit, 120 superimposition information acquisition unit, 121 object detection unit, 122 object identification unit, 123 superimposition information collection unit, 140 AR image generation unit, 150 AR image display unit, 190 device Storage unit, 191 photographed image, 192 superimposition information, 194 AR image, 200 information processing device, 201 display area, 220 information processing image generation unit, 241 information processing image display unit, 242 display image generation unit, 243 display image display unit, 249 display image, 290 information processing storage unit, 292 information processing image, 310 clock, 320 information diagram, 340 window, 410 device search unit, 420 display right arbitration unit, 430 image communication unit, 801 bus, 802 memory, 803 storage, 804 Communication interface , 805 CPU, 806 GPU, 807 display device, 808 camera, 809 a user interface device, 810 sensors.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　装置探索部（４１０）は近傍装置を検出する。表示権調停部（４２０）はＡＲ装置（１００）と近傍装置とのいずれに表示権があるか判定する。撮影画像取得部（１１０）は撮影画像（１９１）を取得する。重畳情報取得部（１２０）は重畳情報（１９２）を取得する。ＡＲ装置に表示権がある場合、ＡＲ画像生成部（１４０）は撮影画像に重畳情報を重畳したＡＲ画像（１９４）を生成し、ＡＲ画像表示部（１５０）はＡＲ画像を表示する。近傍装置に表示権がある場合、ＡＲ画像表示部（１５０）はＡＲ画像を表示しない。ＡＲは拡張現実の略称である。

Description

画像表示装置および画像表示プログラム
　本発明は、画像を表示する技術に関するものである。
　現実世界または現実世界を映した映像にコンピュータによって生成したＣＧを重畳表示させるＡＲ技術が普及してきている。ＣＧはコンピュータグラフィックスの略称であり、ＡＲは拡張現実の略称である。
　例えば、ユーザが向いている方向に存在する建造物にＣＧをプロジェクターから投影する方法がある。また、スマートフォン、タブレット端末またはウェアラブル端末等の情報端末が備えるカメラで撮影した映像をその情報端末の画面に表示する際に、ＣＧを重畳表示する方法がある。
　これらの技術は、周辺の建築物を説明する情報を観光客向けに表示する観光支援システム、または、目的地までの道順をＣＧで表示するナビゲーションシステムなどの用途に用いることができる。
　ところで、現実世界にＣＧを重畳表示した場合、重畳表示した部分に存在する現実世界が見えない状況、または、見難い状況となる。その状況は、ＣＧが重畳された部分の現実世界を見なくてよい場合には問題とならないが、現実世界を見たい場合にはユーザビリティの観点で課題となる。
　また、現実世界には、ＡＲ技術によってＣＧを重畳表示する情報処理端末の他にも、ユーザに有益な情報を発信する表示デバイスが存在する。そのため、表示デバイスが表示された部分にＣＧを重畳表示した場合、表示デバイスから発信される情報が遮断され、ユーザの利益が損なわれる。
　特許文献１は、ＣＧを重畳表示しないＣＧ除去領域を指定することによって、ＣＧ除去領域にＣＧが重畳表示されることを防ぐ技術を開示している。
　但し、ユーザは、ＣＧ除去フレーム、電子ペンまたは自身の手を用いて、ＣＧ除去領域を明示的に指定する必要がある。
　そのため、ＣＧ除去領域の位置およびサイズを調整する労力が生じる。また、ＣＧ除去領域にＣＧが重畳表示されなくなるため、重畳表示すべきＣＧの一部が欠落する可能性がある。また、ＣＧ除去領域が必要以上に大きい場合、ＣＧが全く表示されない可能性がある。したがって、効果的な情報発信が行えなくなることが予想される。
　一方、ＣＧが表示デバイスに重畳表示される場合、ユーザは表示デバイスに表示されている情報を認知することが困難になる。
特開２００４－１７８５５４号公報
金澤　靖、"移動単眼カメラによる道路上の障害物の計測"、［ｏｎｌｉｎｅ］、２０１２年７月１０日、［２０１４年４月７日検索］、インターネット（ＵＲＬ：ｈｔｔｐ：／／ｊｓｔｓｈｉｎｇｉ．ｊｐ／ａｂｓｔ／ｐ／１２／１２１６／ｔｏｙｏｈａｓｈｉ０４．ｐｄｆ）
　本発明は、ユーザが利用する複数の装置が同じ時間帯に画像を表示する状況を回避できるようにすることを目的とする。
　本発明の画像表示装置は、画像を表示する機能を有する。
　前記画像表示装置は、
　無線通信の通信範囲にあるコンピュータを検出するコンピュータ検出部と、
　前記コンピュータ検出部によって検出された前記コンピュータと前記画像表示装置とのうちのいずれに、画像を表示する表示権があるか判定する表示権判定部と、
　前記表示権判定部によって前記画像表示装置に前記表示権があると判定された場合に画像を表示し、前記表示権判定部によって前記コンピュータに前記表示権があると判定された場合に画像を表示しない画像表示部とを備える。
　本発明によれば、ユーザが利用する複数の装置が同じ時間帯に画像を表示する状況を回避することができる。これにより、例えば、複数の装置の表示が重複するという状況が発生しなくなる。
実施の形態１におけるＡＲ装置１００の機能構成図である。 実施の形態１におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。 実施の形態１における撮影画像１９１の一例を示す図である。 実施の形態１におけるＡＲ画像１９４の一例を示す図である。 実施の形態１におけるＡＲ画像１９４の表示形態の一例を示す図である。 実施の形態１における表示権調停部４２０の表示権処理を示すフローチャートである。 実施の形態１における表示権調停処理（Ｓ４２２）の一例を示すフローチャートである。 実施の形態１におけるＡＲ装置１００のハードウェア構成図である。 実施の形態１における情報処理装置２００の機能構成図である。 実施の形態１における情報処理装置２００の画像表示処理を示すフローチャートである。 実施の形態１における情報処理装置２００のハードウェア構成図である。 実施の形態２におけるＡＲ装置１００の機能構成図である。 実施の形態２におけるＡＲ画像１９４の一例を示す図である。 実施の形態２における情報処理装置２００の機能構成図である。 実施の形態２における表示画像２４９の一例を示す図である。 実施の形態３における重畳情報取得部１２０の機能構成図である。
　実施の形態１．
　ユーザが利用する複数の装置が同じ時間帯に画像を表示する状況を回避する形態について説明する。
　図１は、実施の形態１におけるＡＲ装置１００の機能構成図である。ＡＲは拡張現実の略称である。
　実施の形態１におけるＡＲ装置１００の機能構成について、図１に基づいて説明する。但し、ＡＲ装置１００の機能構成は図１と異なる機能構成であっても構わない。
　ＡＲ装置１００（画像表示装置の一例）は、ＡＲ装置１００が備える表示デバイスの表示領域にＡＲ画像１９４を表示する装置である。ＡＲ画像１９４は、情報が重畳された情報重畳画像である。
　ＡＲ装置１００は、カメラと表示デバイスとを備える（図示省略）。カメラおよび表示デバイスはケーブルなどを介してＡＲ装置１００に接続されたものであっても構わない。以下、ＡＲ装置１００が備える表示デバイスを表示デバイス又はＡＲ表示デバイスという。
　タブレット型のコンピュータ、スマートフォンおよびデスクトップ型のコンピュータはＡＲ装置１００の一例である。
　ＡＲ装置１００は、撮影画像取得部１１０と、重畳情報取得部１２０と、ＡＲ画像生成部１４０（情報重畳画像生成部の一例）と、ＡＲ画像表示部１５０（画像表示部の一例）と、装置記憶部１９０とを備える。
　さらに、ＡＲ装置１００は、装置探索部４１０（コンピュータ検出部、近傍装置検出部の一例）と、表示権調停部４２０（表示権判定部の一例）とを備える。
　装置探索部４１０は、無線通信の通信範囲にある情報処理装置２００を無線通信によって検出する。以下、装置探索部４１０によって探索された情報処理装置２００を近傍装置という。
　表示権調停部４２０は、ＡＲ装置１００と近傍装置とのいずれが画像を表示する表示権を獲得するか決定する。言い換えると、表示権調停部４２０は、ＡＲ装置１００と近傍装置とのいずれに表示権があるか判定する。
　近傍装置が検出されない場合、表示権調停部４２０はＡＲ装置１００に表示権があると判定する。例えば、ＡＲ装置１００と近傍装置とのうちの近傍装置に表示権があると判定した後にＡＲ装置１００と近傍装置との無線通信が切断した場合、表示権調停部４２０はＡＲ装置１００に表示権があると判定する。
　撮影画像取得部１１０は、カメラによって生成される撮影画像１９１を取得する。
　例えば、撮影画像１９１は、情報処理装置２００によって使用される表示デバイスが存在する撮影範囲を映している。以下、情報処理装置２００によって使用される表示デバイスを表示デバイス又は情報処理表示デバイスという。また、情報処理表示デバイスが有する表示領域に表示される画像を情報処理画像という。
　重畳情報取得部１２０は、撮影画像１９１に重畳される重畳情報１９２を取得する。
　但し、ＡＲ装置１００が表示権を得られなかった場合、重畳情報取得部１２０は重畳情報１９２を取得しなくてもよい。
　ＡＲ画像生成部１４０は、重畳情報１９２を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。
　但し、ＡＲ装置１００が表示権を得られなかった場合、ＡＲ画像生成部１４０はＡＲ画像１９４を生成しなくてもよい。
　ＡＲ画像表示部１５０は、ＡＲ画像１９４をＡＲ表示デバイスに表示する。
　但し、ＡＲ装置１００が表示権を得られなかった場合、ＡＲ画像表示部１５０はＡＲ画像１９４をＡＲ表示デバイスに表示しない。
　装置記憶部１９０は、ＡＲ装置１００によって使用、生成または入出力されるデータを記憶する。
　例えば、装置記憶部１９０は、撮影画像１９１、重畳情報１９２およびＡＲ画像１９４などを記憶する。
　図２は、実施の形態１におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。
　実施の形態１におけるＡＲ装置１００のＡＲ処理について、図２に基づいて説明する。但し、ＡＲ処理は図２と異なる処理であっても構わない。
　図２に示すＡＲ処理は、ＡＲ装置１００のカメラによって撮影画像１９１が生成される毎に実行される。
　Ｓ１１０において、撮影画像取得部１１０は、ＡＲ装置１００のカメラによって生成された撮影画像１９１を取得する。
　Ｓ１１０の後、処理はＳ１２０に進む。
　図３は、実施の形態１における撮影画像１９１の一例を示す図である。
　例えば、撮影画像取得部１１０は、図３に示すような撮影画像１９１を取得する。
　撮影画像１９１は、タブレット型の情報処理装置２００と時計３１０とを含んだ撮影範囲を映している。但し、情報処理装置２００は撮影画像１９１に映っていなくても構わない。
　タブレット型の情報処理装置２００は表示デバイスを備えている。情報処理装置２００の表示デバイスは情報処理画像２９２が表示される表示領域２０１を備えている。但し、情報処理装置２００に表示権がない場合、情報処理装置２００は情報処理画像２９２を表示しないため、情報処理画像２９２は撮影画像１９１に映らない。
　図２に戻り、Ｓ１２０から説明を続ける。
　Ｓ１２０において、重畳情報取得部１２０は、撮影画像１９１に重畳する重畳情報１９２を取得する。
　例えば、重畳情報取得部１２０は、撮影画像１９１（図３参照）から時計３１０を検出し、時計３１０に関連する重畳情報１９２を取得する。
　重畳情報取得処理（Ｓ１２０）の詳細については、別の実施の形態で説明する。
　Ｓ１２０の後、処理はＳ４２０に進む。
　Ｓ４２０において、ＡＲ装置１００に表示権が有るか否かによって処理が分岐する。
　ＡＲ装置１００に表示権が有る場合（ＹＥＳ）、処理はＳ１４０に進む。
　ＡＲ装置１００に表示権が無い場合（ＮＯ）、１つの撮影画像１９１に対するＡＲ処理は終了する。
　Ｓ１４０において、ＡＲ画像生成部１４０は、重畳情報１９２を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。ＡＲ画像１９４は、重畳情報１９２が重畳された撮影画像１９１である。
　例えば、ＡＲ画像生成部１４０は、撮影画像１９１に映っている情報処理装置２００（情報処理表示デバイス）の表示領域２０１を避けて、撮影画像１９１に重畳情報１９２を重畳させる。この場合、ＡＲ装置１００は撮影画像１９１から不可領域を選択する不可領域選択部を備えてもよい。不可領域は情報処理装置２００（情報処理表示デバイス）の表示領域２０１が映っている画像領域である。
　Ｓ１４０の後、処理はＳ１５０に進む。
　図４は、実施の形態１におけるＡＲ画像１９４の一例を示す図である。
　例えば、ＡＲ画像生成部１４０は、図４に示すようなＡＲ画像１９４を生成する。但し、情報処理装置２００に表示権がない場合、情報処理装置２００は情報処理画像２９２を表示しないため、情報処理画像２９２はＡＲ画像１９４に映らない。
　ＡＲ画像１９４は吹き出し形状の情報図３２０（情報画像の一例）を含んでいる。情報図３２０は、時計３１０が示す現在時刻に近い時刻のスケジュール情報を重畳情報１９２として示している。情報図３２０はＣＧ（コンピュータグラフィックス）である。
　図２に戻り、Ｓ１５０から説明を続ける。
　Ｓ１５０において、ＡＲ画像表示部１５０は、ＡＲ装置１００の表示デバイスにＡＲ画像１９４を表示する。
　Ｓ１５０の後、１つの撮影画像１９１に対するＡＲ処理は終了する。
　図５は、実施の形態１におけるＡＲ画像１９４の表示形態の一例を示す図である。
　例えば、ＡＲ画像表示部１５０は、タブレット型のＡＲ装置１００（図５参照）が備える表示デバイスの表示領域１０１にＡＲ画像１９４を表示する。
　なお、情報処理装置２００に表示権がない場合、情報処理装置２００は情報処理画像２９２を表示しないため、情報処理画像２９２はＡＲ画像１９４に映らない。
　図６は、実施の形態１における表示権調停部４２０の表示権処理を示すフローチャートである。
　実施の形態１における表示権調停部４２０の表示権処理について、図６に基づいて説明する。但し、表示権処理は図６と異なる処理であっても構わない。
　Ｓ４２１において、装置探索部４１０は、近距離無線通信の通信範囲にある情報処理装置２００を近傍装置として検出する。近傍装置は２台以上であっても構わない。
　このとき、装置探索部４１０は装置探索データを近距離無線通信で発信し、情報処理装置２００から発信される装置探索データを近距離無線通信で受信する。装置探索部４１０は、情報処理装置２００から装置探索データを受信することによって、その装置探索データを発信した情報処理装置２００を近傍装置として検出する。
　装置探索データは、装置探索データを送信する装置の通信アドレス、装置識別子および装置種別フラグなどを含む。ＡＲ装置１００が送信する装置探索データに含まれる装置種別フラグは、装置探索データを送信した装置がＡＲ装置１００であることを意味するフラグ値を示す。情報処理装置２００が送信する装置探索データに含まれる装置種別フラグは、装置探索データを送信した装置が情報処理装置２００であることを意味するフラグ値を示す。
　装置探索部４１０は、受信した装置探索データに含まれる装置種別フラグに基づいて、装置探索データを発信した装置が情報処理装置２００であるか判定する。
　他のＡＲ装置１００から発信された装置探索データを受信した場合、装置探索部４１０はその装置探索データを無視して構わない。
　また、装置探索部４１０は、検出済み（表示権の調停済み）の情報処理装置２００から発信された装置探索データも無視して構わない。
　Ｓ４２１は少なくも１台の近傍装置が検出されるまで繰り返される。
　近傍装置が検出された場合（ＹＥＳ）、処理はＳ４２２に進む。
　Ｓ４２２において、表示権調停部４２０は、表示権調停処理によって、ＡＲ装置１００と近傍装置とのいずれに表示権があるか判定する。
　表示調停処理（Ｓ４２２）の具体例については後述する。
　Ｓ４２２の後、処理はＳ４２３に進む。
　Ｓ４２３において、ＡＲ装置１００に表示権があるか否かによって処理が分岐する。
　ＡＲ装置１００に表示権がある場合（ＹＥＳ）、処理はＳ４２１に戻る。
　ＡＲ装置１００に表示権がない場合（ＮＯ）、処理はＳ４２４に進む。
　Ｓ４２４において、表示権調停部４２０は、撮影画像１９１およびＡＲ画像１９４の表示を停止する表示停止処理を行う。
　例えば、表示権調停部４２０は、ＡＲ画像１９４を生成する処理の停止をＡＲ画像生成部１４０に命令する。但し、表示権調停部４２０は、撮影画像１９１またはＡＲ画像１９４を表示する処理の停止をＡＲ画像表示部１５０に命令してもよい。
　例えば、表示権調停部４２０は、表示権が無いことを意味するフラグ値を表示権フラグに設定する。ＡＲ画像生成部１４０およびＡＲ画像表示部１５０は表示権の有無を表示権フラグに基づいて判定する。表示権フラグは装置記憶部１９０に記憶されるデータの一例である。
　Ｓ４２４の後、処理はＳ４２５に進む。
　Ｓ４２５において、装置探索部４１０は、表示権がないＡＲ装置１００と表示権がある近傍装置との無線通信が切断するまで待機する。
　表示権がないＡＲ装置１００と表示権がある近傍装置との無線通信が切断した場合（ＹＥＳ）、処理はＳ４２６に進む。
　Ｓ４２６において、表示権調停部４２０は、ＡＲ装置１００に表示権があると判定し、撮影画像１９１およびＡＲ画像１９４の表示を開始する表示開始処理を行う。
　例えば、表示権調停部４２０は、ＡＲ画像１９４を生成する処理の開始をＡＲ画像生成部１４０に命令する。但し、表示権調停部４２０は、撮影画像１９１またはＡＲ画像１９４を表示する処理の開始をＡＲ画像表示部１５０に命令してもよい。
　例えば、表示権調停部４２０は、表示権が有ることを意味するフラグ値を表示権フラグに設定する。ＡＲ画像生成部１４０およびＡＲ画像表示部１５０は表示権の有無を表示権フラグに基づいて判定する。表示権フラグは装置記憶部１９０に記憶されるデータの一例である。
　Ｓ４２６の後、処理はＳ４２１に戻る。
　次に、表示権調停処理（図６のＳ４２０）について説明する。
　例えば、表示権調停部４２０は、以下のような表示権調停処理を行う。
　ＡＲ装置１００と第一の近傍装置とのうちの第一の近傍装置に表示権があると判定した後に第二の近傍装置が検出された場合、表示権調停部４２０は、ＡＲ装置１００と第二の近傍装置とのうちの第二の近傍装置に表示権があると判定する。つまり、表示権調停部４２０はＡＲ装置１００に表示権がないと判定する。
　ＡＲ装置１００と第一の近傍装置との表示権調停処理の結果（ＡＲ装置１００に表示権がない）が実質的に反故にされてしまうことを防ぐためである。
　例えば、表示権調停部４２０は、以下のような表示権調停処理を行う。
　表示権調停部４２０は、ＡＲ装置１００の形態と近傍装置の形態とに基づいて、ＡＲ装置１００と近傍装置とのいずれに表示権があるか判定する（図７参照）。
　図７は、実施の形態１における表示権調停処理（Ｓ４２２）の一例を示すフローチャートである。実施の形態１における表示権調停処理（Ｓ４２２）の一例について、図７に基づいて説明する。
　Ｓ４２２１において、表示権調停部４２０はＡＲ装置１００と近傍装置とのそれぞれの装置形態フラグ（形態情報の一例）を取得する。装置形態フラグは、デスクトップ型、タブレット型または眼鏡型などの装置形態を意味するフラグ値を示す。例えば、装置形態フラグは装置探索データに含まれる。この場合、表示権調停部４２０は近傍装置の装置形態フラグを近傍装置の装置探索データから取得し、ＡＲ装置１００の装置形態フラグを装置記憶部１９０から取得する。ＡＲ装置１００の装置形態フラグは装置記憶部１９０に記憶されるデータの一例である。Ｓ４２２１の後、処理はＳ４２２２に進む。
　Ｓ４２２２において、表示権調停部４２０は、ＡＲ装置１００の装置形態フラグと同じフラグ値に対応付けられた表示権優先度を表示権優先度テーブルから取得する。また、表示権調停部４２０は、近傍装置の装置形態フラグと同じフラグ値に対応付けられた表示権優先度を表示権優先度テーブルから取得する。表示権優先度テーブルは装置記憶部１９０に記憶されるデータの一例である。Ｓ４２２２の後、処理はＳ４２２３に進む。
　Ｓ４２２３において、表示権調停部４２０はＡＲ装置１００の表示権優先度と近傍装置の表示権優先度とを比較する。ＡＲ装置１００の表示権優先度が近傍装置の表示権優先度よりも高い場合（ＹＥＳ）、表示権調停部４２０はＡＲ装置１００に表示権があると判定する（Ｓ４２２４）。ＡＲ装置１００の表示権優先度が近傍装置の表示権優先度よりも低い場合（ＮＯ）、表示権調停部４２０は近傍装置に表示権があると判定する。つまり、表示権調停部４２０はＡＲ装置１００に表示権がないと判定する。以上により、表示権調停処理（Ｓ４２２）は終了する。
　これにより、表示権調停部４２０は、ＡＲ装置１００が備える表示デバイスとＡＲ装置１００を利用するユーザの視点との距離と、近傍装置が備える表示デバイスと近傍装置を利用するユーザの視点との距離との長短を考慮して、表示権の有無を判定することができる。
　装置の形態によって、表示デバイスとユーザの視点との距離の長短が決まるためである。例えば、デスクトップ型装置の表示デバイスとユーザの視点との距離は数十センチメートル程度である。また、タブレット型装置の表示デバイスとユーザの視点との距離は１０から２０センチメートル程度であり、眼鏡型装置の表示デバイスとユーザの視点との距離は数センチメートル程度である。
　また、眼鏡型のＡＲ装置１００の表示権優先度が車載型の近傍装置の表示権優先度よりも低い場合、表示権調停部４２０は、運転者が利用する眼鏡型のＡＲ装置１００に表示権がないと判定する。カーナビゲーションシステムは車載型の近傍装置の一例である。
　これにより、運転者が眼鏡型のＡＲ装置１００を利用しながら運転することを防ぎ、眼鏡型のＡＲ装置１００を利用することに伴う交通事故を抑止することができる。
　例えば、表示権調停部４２０は、以下のような表示権調停処理を行う。
　表示権調停部４２０は、ＡＲ装置１００の表示性能と近傍装置の表示性能とに基づいて、表示権を獲得するか決定する。表示性能は、表示デバイスのサイズ、解像度またはフレームレートなどである。
　表示性能に基づく表示権調停処理は、装置形態に基づく表示調停処理（図７参照）と同様である。表示調停処理（図７参照）において、装置形態フラグは表示性能値（表示性能情報の一例）に置き換えられる。表示性能値は表示性能を表す値である。
　表示権調停部４２０は、装置形態に基づく表示権優先度および表示性能に基づく表示権優先度などを合計した合計優先度に基づいて、表示権を獲得するか判定してもよい。また、表示権調停部４２０は各表示権優先度に重み付けをしてもよい。
　図８は、実施の形態１におけるＡＲ装置１００のハードウェア構成図である。
　実施の形態１におけるＡＲ装置１００のハードウェア構成について、図８に基づいて説明する。但し、ＡＲ装置１００のハードウェア構成は図８に示す構成と異なる構成であってもよい。
　ＡＲ装置１００はコンピュータである。
　ＡＲ装置１００は、バス８０１と、メモリ８０２と、ストレージ８０３と、通信インタフェース８０４と、ＣＰＵ８０５と、ＧＰＵ８０６とを備える。
　さらに、ＡＲ装置１００は、表示デバイス８０７と、カメラ８０８と、ユーザインタフェースデバイス８０９と、センサ８１０とを備える。
　バス８０１は、ＡＲ装置１００のハードウェアがデータを交換するために用いるデータ転送路である。
　メモリ８０２は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される揮発性の記憶装置である。但し、メモリ８０２は不揮発性の記憶装置であっても構わない。メモリ８０２は主記憶装置ともいう。
　ストレージ８０３は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される不揮発性の記憶装置である。ストレージ８０３は補助記憶装置ともいう。
　通信インタフェース８０４は、ＡＲ装置１００が外部のコンピュータとデータを交換するために用いる通信装置である。通信インタフェース８０４は近傍装置と無線通信を行う。例えば、通信インタフェース８０４は、ＢｌｕｅＴｏｏｔｈまたはＺｉｇＢｅｅなどの近距離無線通信を行う。ＢｌｕｅＴｏｏｔｈおよびＺｉｇＢｅｅは登録商標である。
　ＣＰＵ８０５は、ＡＲ装置１００が行う処理（例えば、ＡＲ処理）を実行する演算装置である。ＣＰＵはＣｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　ＧＰＵ８０６は、コンピュータグラフィックス（ＣＧ）に関する処理を実行する演算装置である。但し、ＣＧに関する処理はＣＰＵ８０５によって実行されても構わない。ＡＲ画像１９４はＣＧの技術によって生成されるデータの一例である。ＧＰＵはＧｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　表示デバイス８０７は、ＣＧのデータを光学的な出力に変換する装置である。つまり、表示デバイス８０７はＣＧを表示する表示装置である。
　カメラ８０８は、光学的な入力をデータに変換する装置である。つまり、カメラ８０８は、撮影によって画像を生成する撮影装置である。一つの画像は静止画という。また、時系列に連続する複数の静止画を動画または映像という。
　ユーザインタフェースデバイス８０９は、ＡＲ装置１００を利用するユーザがＡＲ装置１００を操作するために用いる入力装置である。デスクトップ型のコンピュータが備えるキーボードおよびポインティングデバイスはユーザインタフェースデバイス８０９の一例である。マウスおよびトラックボールはポインティングデバイスの一例である。また、スマートフォンまたはタブレット型のコンピュータが備えるタッチパネルおよびマイクはユーザインタフェースデバイス８０９の一例である。
　センサ８１０は、ＡＲ装置１００または周辺の状況を検出するための計測装置である。位置を計測するＧＰＳ、加速度を計測する加速度センサ、角速度を計測するジャイロセンサ、方位を計測する磁気センサ、近接する物の有無を検出する近接センサおよび照度を計測する照度センサは、センサ８１０の一例である。
　「～部」として説明している機能を実現するためのプログラムは、ストレージ８０３に記憶され、ストレージ８０３からメモリ８０２にロードされ、ＣＰＵ８０５によって実行される。
　「～の判断」、「～の判定」、「～の抽出」、「～の検知」、「～の設定」、「～の登録」、「～の選択」、「～の生成」、「～の入力」、「～の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値がメモリ８０２またはストレージ８０３に記憶される。
　図９は、実施の形態１における情報処理装置２００の機能構成図である。
　実施の形態１における情報処理装置２００の機能構成について、図９に基づいて説明する。但し、情報処理装置２００の機能構成は図９と異なる機能構成であっても構わない。
　情報処理装置２００（画像表示装置の一例）は、情報処理画像生成部２２０と、情報処理画像表示部２４１（画像表示部の一例）と、情報処理記憶部２９０とを備える。
　さらに、情報処理装置２００は、装置探索部４１０（コンピュータ検出部、近傍装置検出部の一例）と、表示権調停部４２０（表示権判定部の一例）とを備える。
　装置探索部４１０は、ＡＲ装置１００（図１参照）の装置探索部４１０と同様の機能である。
　但し、装置探索部４１０は、無線通信の通信範囲にあるＡＲ装置１００を近傍装置として検出する。
　表示権調停部４２０は、ＡＲ装置１００（図１参照）の機能と同様の機能である。
　但し、表示権調停部４２０は、情報処理装置２００と近傍装置とのいずれに表示権があるか判定する。
　情報処理画像生成部２２０は、情報処理表示デバイスの表示領域２０１に表示される情報処理画像２９２を生成する。情報処理装置２００のスタート画面、情報処理装置２００のメニュー画面またはアプリケーションプログラムの画面（ウィンドウともいう）を表す画像は情報処理画像２９２の一例である。
　但し、情報処理装置２００に表示権がない場合、情報処理画像生成部２２０は情報処理画像２９２を生成しなくてもよい。
　情報処理画像表示部２４１は、情報処理画像２９２を情報処理表示デバイスの表示領域２０１に表示する。
　但し、情報処理装置２００に表示権がない場合、情報処理画像表示部２４１は情報処理画像２９２を表示しない。
　情報処理記憶部２９０は、情報処理装置２００が使用、生成または入出力するデータを記憶する。例えば、情報処理記憶部２９０は情報処理画像２９２を記憶する。
　図１０は、実施の形態１における情報処理装置２００の画像表示処理を示すフローチャートである。
　実施の形態１における情報処理装置２００の画像表示処理について、図１０に基づいて説明する。但し、情報処理装置２００の画像表示処理は図１０と異なる処理であっても構わない。画像表示処理は繰り返し実行される。
　Ｓ４２０において、情報処理装置２００に表示権が有るか否かによって処理が分岐する。
　情報処理装置２００に表示権が有る場合（ＹＥＳ）、処理はＳ２２０に進む。
　情報処理装置２００に表示権が無い場合（ＮＯ）、画像表示処理は終了する。
　情報処理装置２００の表示権処理はＡＲ装置１００の表示権処理（図６参照）と同様である。但し、表示権処理（図６参照）において近傍装置はＡＲ装置１００である。また、ＡＲ装置１００は情報処理装置２００に置き換わり、情報処理装置２００はＡＲ装置１００に置き換わる。
　Ｓ４２１（図６参照）において、装置探索部４１０は、近距離無線通信の通信範囲にあるＡＲ装置１００を近傍装置として検出する。Ｓ４２１は少なくとも１台の近傍装置が検出されるまで繰り返される。近傍装置が検出された場合（ＹＥＳ）、処理はＳ４２２に進む。
　Ｓ４２２において、表示権調停部４２０は、表示権調停処理によって、情報処理装置２００と近傍装置とのいずれに表示権があるか判定する。Ｓ４２２の後、処理はＳ４２３に進む。
　Ｓ４２３において、情報処理装置２００に表示権があるか否かによって処理が分岐する。情報処理装置２００に表示権がある場合（ＹＥＳ）、処理はＳ４２１に戻る。情報処理装置２００に表示権がない場合（ＮＯ）、処理はＳ４２４に進む。
　Ｓ４２４において、表示権調停部４２０は、情報処理画像２９２の表示を停止する表示停止処理を行う。Ｓ４２４の後、処理はＳ４２５に進む。
　Ｓ４２５において、装置探索部４１０は、表示権がない情報処理装置２００と表示権がある近傍装置との無線通信が切断するまで待機する。表示権がない情報処理装置２００と表示権がある近傍装置との無線通信が切断した場合（ＹＥＳ）、処理はＳ４２６に進む。
　Ｓ４２６において、表示権調停部４２０は、情報処理装置２００に表示権があると判定し、情報処理画像２９２の表示を開始する表示開始処理を行う。Ｓ４２６の後、処理はＳ４２１に戻る。
　図１０に戻り、Ｓ２２０から説明を続ける。
　Ｓ２２０において、情報処理画像生成部２２０は、情報処理画像２９２を生成する。
　情報処理装置２００のスタート画面、情報処理装置２００のメニュー画面またはアプリケーションプログラムの画面（ウィンドウ）を表す画像は情報処理画像２９２の一例である。
　Ｓ２２０の後、処理はＳ２４１に進む。
　Ｓ２４１において、情報処理画像表示部２４１は、情報処理画像２９２を情報処理表示デバイスの表示領域２０１に表示する。
　Ｓ２４１の後、画像表示処理は終了する。
　図１１は、実施の形態１における情報処理装置２００のハードウェア構成図である。
　実施の形態１における情報処理装置２００のハードウェア構成について、図１１に基づいて説明する。但し、情報処理装置２００のハードウェア構成は図１１に示す構成と異なる構成であってもよい。
　情報処理装置２００はコンピュータである。
　情報処理装置２００は、ＡＲ装置１００（図８参照）が備えるハードウェアと同様のハードウェアを備える。但し、カメラ８０８は無くても構わない。
　バス８０１は、情報処理装置２００のハードウェアがデータを交換するために用いるデータ転送路である。
　メモリ８０２は、情報処理装置２００のハードウェアによってデータが書き込まれ、または、データが読み出される揮発性の記憶装置である。
　ストレージ８０３は、情報処理装置２００のハードウェアによってデータが書き込まれ、または、データが読み出される不揮発性の記憶装置である。
　通信インタフェース８０４は、情報処理装置２００が外部のコンピュータとデータを交換するために用いる通信装置である。通信インタフェース８０４は近傍装置と無線通信を行う。
　ＣＰＵ８０５は、情報処理装置２００が行う処理（例えば、ＡＲ処理）を実行する演算装置である。
　ＧＰＵ８０６は、コンピュータグラフィックス（ＣＧ）に関する処理を実行する演算装置である。
　表示デバイス８０７は、ＣＧのデータを光学的な出力に変換する装置である。
　ユーザインタフェースデバイス８０９は、情報処理装置２００を利用するユーザが情報処理装置２００を操作するために用いる入力装置である。
　センサ８１０は、情報処理装置２００または周辺の状況を検出するための計測装置である。
　実施の形態１により、ユーザが利用する複数の装置（ＡＲ装置１００、情報処理装置２００）が同じ時間帯に画像を表示する状況を回避することができる。
　実施の形態２．
　表示権が有る装置が表示権が無い装置から送信される重畳情報１９２または情報処理画像２９２を表示する形態について説明する。
　以下、実施の形態１で説明していない事項について主に説明する。説明を省略する事項については実施の形態１と同様である。
　図１２は、実施の形態２におけるＡＲ装置１００の機能構成図である。
　実施の形態２におけるＡＲ装置１００の機能構成について、図１２に基づいて説明する。但し、ＡＲ装置１００の機能構成は図１２と異なる機能構成であっても構わない。
　ＡＲ装置１００は、実施の形態１（図１参照）で説明した機能に加えて、画像通信部４３０を備える。
　画像通信部４３０は、近距離無線通信によって通信を行う。
　ＡＲ装置１００に表示権が有る場合、画像通信部４３０は、表示権が無い近傍装置から送信される情報処理画像２９２（例えば、ウィンドウ３４０の画像）を受信する。また、近傍装置が他のＡＲ装置１００から重畳情報１９２を受信して受信した重畳情報１９２を送信する場合、画像通信部４３０はその重畳情報１９２も受信する。さらに、近傍装置が他の情報処理装置２００から情報処理画像２９２を受信して受信した情報処理画像２９２を送信する場合、画像通信部４３０はその情報処理画像２９２も受信する。
　ＡＲ装置１００に表示権が無い場合、画像通信部４３０は、表示権が有る近傍装置に重畳情報１９２を送信する。また、他のＡＲ装置１００から送信される重畳情報１９２を受信した場合、画像通信部４３０は受信した重畳情報１９２も表示権が有る近傍装置に送信する。さらに、表示権が無い近傍装置から送信される情報処理画像２９２を受信した場合、画像通信部４３０は受信した情報処理画像２９２も表示権が有る近傍装置に送信する。
　ＡＲ装置１００に表示権が有る場合、ＡＲ画像生成部１４０はＡＲ画像１９４を生成する。この場合、ＡＲ画像１９４は、重畳情報取得部１２０によって取得された重畳情報１９２と、画像通信部４３０によって受信された重畳情報１９２と、画像通信部４３０によって受信された情報処理画像２９２とを撮影画像１９１に重畳した画像である。このとき、ＡＲ画像生成部１４０は、重畳情報１９２と情報処理画像２９２とが互いに重ならないように重畳情報１９２と情報処理画像２９２との配置を決定し、決定した配置に基づいてＡＲ画像１９４を生成する。
　ＡＲ装置１００に表示権が無い場合、ＡＲ画像生成部１４０は、ＡＲ画像１９４を生成しない。
　図１３は、実施の形態２におけるＡＲ画像１９４の一例を示す図である。
　ＡＲ装置１００に表示権が有り、表示権が無い情報処理装置２００からウィンドウ３４０を表す情報処理画像２９２が送信された場合、ＡＲ画像生成部１４０は、図１３に示すようなＡＲ画像１９４を生成する。
　ＡＲ画像１９４は、重畳情報１９２を表す情報図３２０とウィンドウ３４０を表す情報処理画像２９２とを撮影画像１９１に重畳した画像である。
　図１４は、実施の形態２における情報処理装置２００の機能構成図である。
　実施の形態２における情報処理装置２００の機能構成について、図１４に基づいて説明する。但し、情報処理装置２００の機能構成は図１４と異なる機能構成であっても構わない。
　情報処理装置２００は、実施の形態１（図９参照）で説明した情報処理画像表示部２４１の代わりに、画像通信部４３０と表示画像生成部２４２と表示画像表示部２４３とを備える。
　画像通信部４３０はＡＲ装置１００（図１２参照）の画像通信部４３０と同様の機能である。画像通信部４３０は、近距離無線通信によって通信を行う。
　情報処理装置２００に表示権が有る場合、画像通信部４３０は、表示権が無い近傍装置から送信される重畳情報１９２を受信する。また、近傍装置が他のＡＲ装置１００から重畳情報１９２を受信して受信した重畳情報１９２を送信する場合、画像通信部４３０はその重畳情報１９２も受信する。さらに、近傍装置が表示権が無い情報処理装置２００から情報処理画像２９２を受信して受信した情報処理画像２９２を送信する場合、画像通信部４３０はその情報処理画像２９２も受信する。
　情報処理装置２００に表示権が無い場合、画像通信部４３０は、表示権が有る近傍装置に情報処理画像２９２を送信する。また、表示権が無い近傍装置から送信される重畳情報１９２を受信した場合、画像通信部４３０は受信した重畳情報１９２も表示権が有る近傍装置に送信する。さらに、他の情報処理装置２００から送信される情報処理画像２９２を受信した場合、画像通信部４３０は受信した情報処理画像２９２も表示権が有る近傍装置に送信する。
　情報処理装置２００に表示権が有る場合、表示画像生成部２４２は表示画像２４９を生成する。この場合、ウィンドウ情報２９４は、情報処理画像生成部２２０によって生成された情報処理画像２９２と、画像通信部４３０によって受信された重畳情報１９２と、画像通信部４３０によって受信された情報処理画像２９２とを含む。このとき、表示画像生成部２４２は、情報処理画像２９２と重畳情報１９２とが互いに重ならないように情報処理画像２９２と重畳情報１９２との配置を決定し、決定した配置に従って表示画像２４９を生成する。
　情報処理装置２００に表示権が無い場合、表示画像生成部２４２は、表示画像２４９を生成しない。
　情報処理装置２００に表示権が有る場合、表示画像表示部２４３は表示画像２４９を情報処理表示デバイスに表示する。
　情報処理装置２００に表示権が無い場合、表示画像表示部２４３は情報処理画像２９２および表示画像２４９を情報処理表示デバイスに表示しない。
　図１５は、実施の形態２における表示画像２４９の一例を示す図である。
　情報処理装置２００に表示権が有り、表示権が無いＡＲ装置１００から重畳情報１９２が送信された場合、表示画像生成部２４２は、図１５に示すような表示画像２４９を生成する。
　表示画像２４９は、ウィンドウ３４０を表す情報処理画像２９２と重畳情報１９２を表す情報図３２０とを含んだ画像である。
　実施の形態２により、表示権が有る装置が表示権が無い装置から送信される重畳情報１９２または情報処理画像２９２を表示することができる。
　実施の形態３．
　ＡＲ装置１００の重畳情報取得部１２０について説明する。
　以下、実施の形態１および実施の形態２で説明していない事項について主に説明する。説明を省略する事項については実施の形態１または実施の形態２と同様である。
　図１６は、実施の形態３における重畳情報取得部１２０の機能構成図である。
　実施の形態３における重畳情報取得部１２０の機能構成について、図１６に基づいて説明する。但し、重畳情報取得部１２０の機能構成は図１６と異なる機能構成であっても構わない。
　重畳情報取得部１２０は、物体検出部１２１と、物体特定部１２２と、重畳情報収集部１２３とを備える。
　物体検出部１２１は、撮影画像１９１に映っている物体を撮影画像１９１から検出する。言い換えると、物体検出部１２１は、物体が映っている物体領域を撮影画像１９１から検出する。
　例えば、物体検出部１２１は、撮影画像１９１（図３参照）に映っている時計３１０を、撮影画像１９１から検出する。
　例えば、物体検出部１２１は、マーカー方式またはマーカーレス方式によって、撮影画像１９１から物体を検出する。
　マーカー方式は、物体（物体の画像を含む）に付加されたマーカーを撮影画像１９１から検出することによって、マーカーが付加された物体を検出する方式である。マーカーは、バーコードのような特殊な図柄である。マーカーは物体に関する物体情報に基づいて生成される。物体情報は物体の種別を表す種別情報、物体の位置を表す座標値および物体の大きさを表すサイズ情報などを含む。
　マーカーレス方式は、幾何学的または光学的な特徴量を撮影画像１９１から抽出し、抽出した特徴量に基づいて物体を検出する方式である。物体の形状、色彩および輝度を表す量は、物体の特徴を表す特徴量の一例である。また、物体に記された文字および記号は、物体の特徴を表す特徴量の一例である。
　例えば、物体検出部１２１は、撮影画像１９１に映っている物体の形状を表すエッジを抽出し、抽出したエッジによって囲まれた物体領域を検出する。つまり、物体検出部１２１は、抽出したエッジが境界線になる物体領域を検出する。
　物体特定部１２２は、物体検出部１２１によって検出された物体の種別を特定する。また、物体特定部１２２は、物体検出部１２１によって検出された物体の種別を表す種別情報を取得する。
　例えば、種別情報はＪＳＯＮ形式で記述される。ＪＳＯＮはＪａｖａＳｃｒｉｐｔ　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎの略称である。ＪａｖａおよびＪａｖａＳｃｒｉｐｔは登録商標である。
　例えば、物体特定部１２２は、撮影画像１９１（図３参照）から検出された物体の形状、文字盤、時針、分針および秒針などに基づいて、検出された物体が時計３１０であると特定する。
　例えば、マーカー方式によって物体が検出された場合、物体特定部１２２は、物体の種別情報をマーカーから読み取る。
　例えば、マーカーレス方式によって物体が検出された場合、物体特定部１２２は、検出された物体の特徴量を用いて、物体の種別情報を種別情報データベースから取得する。種別情報データベースは、物体の特徴量に物体の種別情報を関連付けたデータベースである。種別情報データベースは、物体の特徴量を機械学習することによって生成される。種別情報データベースは、別のコンピュータが備える外部のデータベースとＡＲ装置１００が備える内部のデータベースとのいずれであっても構わない。
　重畳情報収集部１２３は、物体特定部１２２によって特定された物体の種別に基づいて、物体に関する物体情報を重畳情報１９２として取得する。例えば、物体情報はＪＳＯＮ形式で記述される。
　但し、重畳情報収集部１２３は、物体情報以外の情報を重畳情報１９２として取得しても構わない。例えば、重畳情報収集部１２３は、現在の日時、位置、気候などに関する情報を重畳情報１９２として取得しても構わない。
　例えば、マーカー方式によって物体が検出された場合、重畳情報収集部１２３は、物体情報をマーカーから読み取る。
　例えば、マーカーレス方式によって物体が検出された場合、重畳情報収集部１２３は、物体の種別情報を用いて、物体情報またはＵＲＩを物体情報データベースから取得する。物体情報データベースは、種別情報に物体情報またはＵＲＩを関連付けたデータベースである。物体情報データベースは、外部のデータベースと内部のデータベースとのいずれであっても構わない。ＵＲＩはＵｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｉｄｅｎｔｉｆｉｅｒの略称である。ＵＲＩはＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）と読み替えても構わない。
　物体情報データベースからＵＲＩが取得された場合、重畳情報収集部１２３は、ＵＲＩが示す記憶領域から物体情報を取得する。ＵＲＩが示す記憶領域は別のコンピュータが備える記憶装置とＡＲ装置１００が備える記憶装置とのいずれの記憶装置に備わる記憶領域であっても構わない。
　実施の形態３により、撮影画像１９１に映った物体に関連する重畳情報１９２を取得することができる。
　各実施の形態は、ＡＲ装置１００および情報処理装置２００の形態の一例である。
　つまり、ＡＲ装置１００は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、情報処理装置２００は、各実施の形態で説明していない構成要素を備えても構わない。さらに、ＡＲ装置１００および情報処理装置２００は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。
　各実施の形態におけるＡＲ装置１００および情報処理装置２００は、画像を表示する画像表示システムおよび情報重畳画像（ＡＲ画像）を表示する情報重畳画像表示システムを構成する。
　各実施の形態においてフローチャート等を用いて説明した処理手順は、各実施の形態に係る方法およびプログラムの処理手順の一例である。各実施の形態に係る方法およびプログラムは、各実施の形態で説明した処理手順と一部異なる処理手順で実現されても構わない。
　各実施の形態において「～部」は「～処理」「～工程」「～プログラム」「～装置」と読み替えることができる。
　１００　ＡＲ装置、１０１　表示領域、１１０　撮影画像取得部、１２０　重畳情報取得部、１２１　物体検出部、１２２　物体特定部、１２３　重畳情報収集部、１４０　ＡＲ画像生成部、１５０　ＡＲ画像表示部、１９０　装置記憶部、１９１　撮影画像、１９２　重畳情報、１９４　ＡＲ画像、２００　情報処理装置、２０１　表示領域、２２０　情報処理画像生成部、２４１　情報処理画像表示部、２４２　表示画像生成部、２４３　表示画像表示部、２４９　表示画像、２９０　情報処理記憶部、２９２　情報処理画像、３１０　時計、３２０　情報図、３４０　ウィンドウ、４１０　装置探索部、４２０　表示権調停部、４３０　画像通信部、８０１　バス、８０２　メモリ、８０３　ストレージ、８０４　通信インタフェース、８０５　ＣＰＵ、８０６　ＧＰＵ、８０７　表示デバイス、８０８　カメラ、８０９　ユーザインタフェースデバイス、８１０　センサ。

Claims (10)

  1. 　画像を表示する機能を有する画像表示装置であって、
    　無線通信の通信範囲にあるコンピュータを検出するコンピュータ検出部と、
    　前記コンピュータ検出部によって検出された前記コンピュータと前記画像表示装置とのうちのいずれに、画像を表示する表示権があるか判定する表示権判定部と、
    　前記表示権判定部によって前記画像表示装置に前記表示権があると判定された場合に画像を表示し、前記表示権判定部によって前記コンピュータに前記表示権があると判定された場合に画像を表示しない画像表示部と
    を備えることを特徴とする画像表示装置。
  2. 　被写体が映った撮影画像を取得する撮影画像取得部と、
    　前記撮影画像取得部によって取得された前記撮影画像に映った前記被写体に関連する情報を重畳情報として取得する重畳情報取得部と、
    　前記表示権判定部によって前記コンピュータに前記表示権があると判定された場合、前記重畳情報取得部によって取得された前記重畳情報を前記コンピュータに送信することによって、前記コンピュータに前記重畳情報を表す情報画像を表示させる画像通信部と
    を備えることを特徴とする請求項１に記載の画像表示装置。
  3. 　前記画像表示装置は、情報重畳画像生成部を備え、
    　前記画像通信部は、前記表示権がない前記コンピュータから送信される情報処理画像を受信し、
    　前記情報重畳画像生成部は、前記画像通信部によって受信された前記情報処理画像と、前記重畳情報取得部によって取得された前記重畳情報を表す情報画像とを、前記撮影画像取得部によって取得された前記撮影画像に重畳することによって、情報重畳画像を生成し、
    　前記画像表示部は、前記表示権判定部によって前記画像表示装置に前記表示権があると判定された場合、前記情報重畳画像生成部によって生成された前記情報重畳画像を表示する
    ことを特徴とする請求項２に記載の画像表示装置。
  4. 　アプリケーションプログラムの画面を表す情報処理画像を生成する情報処理画像生成部と、
    　前記表示権判定部によって前記コンピュータに前記表示権があると判定された場合、前記情報処理画像生成部によって生成された前記情報処理画像を前記コンピュータに送信することによって、前記コンピュータに前記情報処理画像を表示させる画像通信部と
    を備えることを特徴とする請求項１に記載の画像表示装置。
  5. 　前記画像表示装置は、表示画像生成部を備え、
    　前記画像通信部は、前記表示権がない前記コンピュータから撮影画像に映った被写体に関連する情報として送信される重畳情報を受信し、
    　前記表示画像生成部は、前記画像通信部によって受信された前記重畳情報を表す情報画像と前記情報処理画像生成部によって生成された前記情報処理画像とを含む表示画像を生成し、
    　前記画像表示部は、前記表示権判定部によって前記画像表示装置に前記表示権があると判定された場合、前記表示画像生成部によって生成された前記表示画像を表示する
    ことを特徴とする請求項４に記載の画像表示装置。
  6. 　前記表示権判定部は、前記画像表示装置の形態を示す第１の形態情報と前記コンピュータの形態を示す第２の形態情報とを取得し、前記第１の形態情報が示す前記画像表示装置の形態と前記第２の形態情報が示す前記コンピュータの形態とに基づいて前記コンピュータと前記画像表示装置とのうちのいずれに前記表示権があるか判定する
    ことを特徴とする請求項１に記載の画像表示装置。
  7. 　前記表示権判定部は、前記画像表示装置の表示性能を示す第１の表示性能情報と前記コンピュータの表示性能を示す第２の表示性能情報とを取得し、前記第１の表示性能情報が示す前記画像表示装置の表示性能と前記第２の表示性能情報が示す前記コンピュータの表示性能とに基づいて前記コンピュータと前記画像表示装置とのうちのいずれに前記表示権があるか判定する
    ことを特徴とする請求項１に記載の画像表示装置。
  8. 　前記コンピュータ検出部は、第１のコンピュータと第２のコンピュータとを検出し、
    　前記表示権判定部は、前記画像表示装置と前記第１のコンピュータとのうちの前記第１のコンピュータに前記表示権があると判定した後に前記第２のコンピュータが検出された場合、前記画像表示装置と前記第２のコンピュータとのうちの前記第２のコンピュータに前記表示権があると判定する
    ことを特徴とする請求項１に記載の画像表示装置。
  9. 　前記表示権判定部は、前記画像表示装置と前記コンピュータとのうちの前記コンピュータに前記表示権があると判定した後に前記画像表示装置と前記コンピュータとの無線通信が切断した場合、前記画像表示装置に前記表示権があると判定する
    ことを特徴とする請求項１に記載の画像表示装置。
  10. 　無線通信の通信範囲にある近傍装置を検出する近傍装置検出処理と、
    　前記近傍装置検出部によって検出された前記近傍装置と画像表示装置とのうちのいずれに、画像を表示する表示権があるか判定する表示権判定処理と、
    　前記表示権判定処理によって前記画像表示装置に前記表示権があると判定された場合に画像を表示し、前記表示権判定処理によって前記近傍装置に前記表示権があると判定された場合に画像を表示しない画像表示処理と
    をコンピュータに実行させるための画像表示プログラム。
PCT/JP2014/065686 2014-06-13 2014-06-13 画像表示装置および画像表示プログラム WO2015189974A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/065686 WO2015189974A1 (ja) 2014-06-13 2014-06-13 画像表示装置および画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/065686 WO2015189974A1 (ja) 2014-06-13 2014-06-13 画像表示装置および画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2015189974A1 true WO2015189974A1 (ja) 2015-12-17

Family

ID=54833102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/065686 WO2015189974A1 (ja) 2014-06-13 2014-06-13 画像表示装置および画像表示プログラム

Country Status (1)

Country Link
WO (1) WO2015189974A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120556A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012023581A1 (ja) * 2010-08-18 2012-02-23 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012023581A1 (ja) * 2010-08-18 2012-02-23 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120556A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム

Similar Documents

Publication Publication Date Title
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP5921320B2 (ja) 表示システム、携帯装置、車載装置、及び、プログラム
WO2015146068A1 (ja) 情報表示装置、情報表示方法及びプログラム
US20160076897A1 (en) Method, apparatus and computer program product for collaborative presentation of travel route information
JP5955491B2 (ja) 情報重畳画像表示装置および情報重畳画像表示プログラム
JP2012215989A (ja) 拡張現実表示方法
JP2012164157A (ja) 画像合成装置
US10229543B2 (en) Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
JP2012128779A (ja) 仮想物体表示装置
JP2016095688A (ja) 車載用情報表示装置
JP2019016316A (ja) 表示システム、及び表示システムの表示制御方法
CN113483774B (zh) 导航方法、装置、电子设备及可读存储介质
JP2017161645A (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
KR20180071049A (ko) 전자 장치 및 그 이미지 동기화 방법
JP2014182479A (ja) 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
JP2015091055A (ja) 撮像装置及び画像処理装置
WO2015189974A1 (ja) 画像表示装置および画像表示プログラム
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
CN103631962A (zh) 一种图像标签的显示方法和设备
US20160275715A1 (en) Map image display device, navigation device, and map image display method
WO2017169909A1 (ja) 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
JP2014096057A (ja) 画像処理装置
KR20130123340A (ko) 3차원 매칭을 이용한 영상 기반의 보행 경로 ｐｏｉ표출 시스템
JP2021170367A (ja) 画像処理方法、画像処理システム
JP2014174643A (ja) 画像処理システム、その制御方法、画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14894480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 14894480

Country of ref document: EP

Kind code of ref document: A1