WO2024024037A1 - 拡張現実画像を生成するための画像処理 - Google Patents

拡張現実画像を生成するための画像処理 Download PDF

Info

Publication number
WO2024024037A1
WO2024024037A1 PCT/JP2022/029132 JP2022029132W WO2024024037A1 WO 2024024037 A1 WO2024024037 A1 WO 2024024037A1 JP 2022029132 W JP2022029132 W JP 2022029132W WO 2024024037 A1 WO2024024037 A1 WO 2024024037A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
image
vehicle
real
viewpoint image
Prior art date
Application number
PCT/JP2022/029132
Other languages
English (en)
French (fr)
Inventor
亮 工藤
ケルビン カ シン チェング
円 井上
貴士 片桐
Original Assignee
楽天モバイル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天モバイル株式会社 filed Critical 楽天モバイル株式会社
Priority to PCT/JP2022/029132 priority Critical patent/WO2024024037A1/ja
Publication of WO2024024037A1 publication Critical patent/WO2024024037A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to image processing techniques for generating augmented reality images.
  • Augmented Reality which is a technology for superimposing and displaying images generated by computer graphics (virtual images) on images taken of the real world
  • Patent Document 1 discloses a technique for applying augmented reality to a real game in which a dynamic real object such as a radio-controlled car is operated. According to this document, the enjoyment of a real game can be enhanced by applying virtual performance to an image taken of a real game.
  • augmented reality is realized by superimposing an image showing a visual effect on an image taken of the real world.
  • augmented reality in which an image of an object in a virtual world is simultaneously viewed while viewing the real world, rather than an image taken of the real world.
  • a transparent display through which the background can be seen
  • the scene may look unnatural.
  • an image is simply displayed on a transparent display, even if an object in the virtual world is located behind an arbitrary object in the real world, the object in the virtual world appears to be in front.
  • the present disclosure aims to provide a technology that allows objects in a virtual world to be appropriately viewed while visually viewing the real world.
  • an augmented reality system includes one or more processors, and at least one of the one or more processors performs a first generation process, a determination process, and a first generation process. 2 generation processing and display processing are executed.
  • the first generation process is a process of generating a virtual viewpoint image from a specified position in the virtual world.
  • the determination process determines whether a simulated object in the virtual world that corresponds to a real object in the real world overlaps a virtual object that exists in the virtual world and is different from the simulated object in the virtual viewpoint image. It is processing.
  • the virtual object is generated according to the positional relationship between the simulated object and the virtual object in the virtual viewpoint image.
  • This is a process of generating an AR object for an AR (augmented reality) image corresponding to .
  • the display process is a process of displaying an AR image obtained by combining the AR objects on a transparent display.
  • an image processing device includes one or more processors, Determination processing and generation processing are performed by at least one of the one or more processors.
  • the determination process includes determining, in a virtual viewpoint image from a specified position in the virtual world, a simulated object in the virtual world that corresponds to a real object in the real world, and a virtual object that exists in the virtual world and is different from the simulated object. This is a process of determining whether or not they overlap.
  • the generation process includes, when it is determined that the simulated object and the virtual object overlap in the virtual viewpoint image, the generation process corresponds to the virtual object according to the positional relationship between the simulated object and the virtual object in the virtual viewpoint image. This process generates an AR object for an AR (augmented reality) image.
  • an image processing method includes, in a virtual viewpoint image from a specified position in a virtual world, a simulated object in the virtual world that corresponds to a real object in the real world; a determination step of determining whether a virtual object that exists in the virtual world and is different from the simulated object overlaps; and when the simulated object and the virtual object overlap in the virtual viewpoint image, the simulated object in the virtual viewpoint image
  • the method includes a generation step of generating an AR object for an AR (augmented reality) image corresponding to the virtual object according to a positional relationship between the object and the virtual object.
  • FIG. 1 shows a configuration example of an augmented reality system according to a first embodiment.
  • FIG. 2 shows an example of a scene viewed through the AR glasses 10 of user 1.
  • FIG. 3A shows an example in which an AR image regarding the virtual vehicle C2 is simply displayed.
  • FIG. 3B shows another example in which an AR image regarding the virtual vehicle C2 is simply displayed.
  • FIG. 3C shows an example of an ideal AR image when the real vehicle C1 is located in the front and the virtual vehicle C2 is located in the rear.
  • FIG. 3D shows an example of a user viewpoint image when the real vehicle C1 is located in the front and the virtual vehicle C2 is located in the rear.
  • FIG. 3E shows an example of the AR virtual vehicle C4 generated by the image processing device 40.
  • FIG. 3F shows an example of an unnatural user view.
  • FIG. 4 shows a configuration example of the AR glasses 10.
  • FIG. 5 shows an example of the configuration of the remote monitoring device 20.
  • FIG. 6 shows an example of the configuration of the virtual space providing server 30.
  • FIG. 7 shows an example of the configuration of the image processing device 40.
  • FIG. 8 shows an example of a communication sequence diagram of the real vehicle C1, the AR glasses 10, the remote monitoring device 20, the virtual space providing server 30, and the image processing device 40 according to the first embodiment.
  • FIG. 9 shows a configuration example of an augmented reality system according to the second embodiment.
  • FIG. 10 shows a configuration example of the AR glasses 11.
  • FIG. 11 shows an example of the configuration of the image processing device 41.
  • FIG. 12 is a diagram for explaining the procedure for generating an adjusted user viewpoint image.
  • FIG. 13 shows an example of a communication sequence diagram of the real vehicle C1, the AR glasses 11, the remote monitoring device 20, the virtual space providing server 30, and the image processing device 41 according to the second embodiment.
  • FIG. 1 shows a configuration example of an augmented reality system 100 according to this embodiment.
  • the augmented reality system 100 includes augmented reality (AR) glasses 10, a remote monitoring device 20, a virtual space providing server 30, and an image processing device 40.
  • the AR glasses 10 are transparent displays, and are worn by the user 1.
  • the user 1 can view an image displayed by the AR glasses 10 (hereinafter referred to as an AR image) while visually viewing the real world.
  • the field of view of the user 1 includes an area of the real world that is not an image displayed by the AR glasses 10 and an area of the image displayed by the AR glasses 10.
  • the virtual space providing server 30 is a server device that provides a virtual space.
  • the virtual space providing server 30 at least constructs a virtual space and generates an image viewed from a specified position in the constructed virtual space.
  • the real object C1 is an object that exists in the real world.
  • the real object C1 is a vehicle in the real world (therefore, also referred to as the real vehicle C1), and runs on a circuit (see FIG. 2, which will be described later).
  • the real vehicle C1 moves, its position and orientation are assumed to be grasped by the remote monitoring device 20 using existing technology.
  • the real vehicle C1 may acquire position information of the real vehicle C1 based on a Global Positioning System (GPS) signal, an acceleration sensor signal, or the like, and transmit it to the remote monitoring device 20 (transmission).
  • the remote monitoring device 20 may receive a signal from the real vehicle C1 and determine the position of the real vehicle C1.
  • the position and orientation of the AR glasses 10 are also assumed to be grasped by the remote monitoring device 20 using existing technology.
  • the remote monitoring device 20 functions as a device that acquires telemetry data of a predetermined monitoring target in the real world.
  • the remote monitoring device 20 monitors the circuit and acquires position information of the real vehicle C1 and the AR glasses 10, as described above. Further, the remote monitoring device 20 acquires (identifies) the identifier of the real vehicle C1, and transmits the position information and the identifier of the real vehicle C1 to the virtual space providing server 30. Further, the remote monitoring device 20 also transmits the position information of the AR glasses 10 to the virtual space providing server 30. Furthermore, the remote monitoring device 20 may acquire information on the direction from the position of the AR glasses 10 to the position of the real vehicle C1 and transmit it to the virtual space providing server 30.
  • the virtual space providing server 30 generates an object in the virtual world that corresponds to the real object C1.
  • This object is also described as a simulated object C3.
  • a simulated vehicle C3, which is a simulated object corresponding to the real vehicle C1 is generated based on the position information and identifier of the real vehicle C1 obtained from the remote monitoring device 20, and its position and orientation are adjusted.
  • the simulated vehicle C3 can move in the virtual space in accordance with the movement of the real vehicle C1 in the real world (for example, a circuit).
  • the virtual space providing server 30 generates an object (virtual object) in the virtual world, apart from the simulated object C3.
  • a virtual vehicle C2 different from the simulated vehicle C3 may be generated as a virtual object and moved.
  • the virtual vehicle C2 may move automatically.
  • the virtual space providing server 30 may move the virtual vehicle C2 according to the past travel record of the real vehicle C1 or other real vehicles.
  • the virtual space providing server 30 may receive an operation of the simulated vehicle C3 from the user 1 or another user, and the virtual space providing server 30 may move the virtual vehicle C2 in accordance with the operation. .
  • the virtual space providing server 30 specifies the position of the AR glasses 10 in the virtual world (hereinafter referred to as the virtual position of the AR glasses 10) based on the position information of the AR glasses 10 obtained from the remote monitoring device 20.
  • the virtual position of the AR glasses 10 and the position of the user 1 in the virtual world can be considered to be the same.
  • the virtual space providing server 30 uses computer graphics to generate, in the virtual world, an image with the virtual position of the AR glasses 10 as a viewpoint (hereinafter referred to as a user viewpoint image) as an image with the virtual position of the user 1 as a viewpoint. do.
  • the virtual space providing server 30 may generate parallax images, that is, a user viewpoint image for the left eye and a user viewpoint image for the right eye. For example, by registering the size of the AR glasses 10 in the virtual space providing server 30 in advance, and determining the virtual position of the AR glasses 10 on the left eye side and the virtual position of the AR glasses 10 on the right eye side, and a user viewpoint image for the right eye may be generated.
  • the image processing device 40 may generate the parallax image based on the user viewpoint image.
  • the user viewpoint image may be generated using the viewpoint and the direction from the position of the AR glasses 10 to the position of the real vehicle C1 as the viewing direction.
  • the virtual space providing server 30 transmits the user viewpoint image to the image processing device 40.
  • the image processing device 40 generates an AR image to be displayed on the AR glasses 10 from the user viewpoint image received from the virtual space providing server 30. For example, when a virtual vehicle C2 appears in the user viewpoint image, a virtual vehicle (hereinafter referred to as an AR virtual vehicle) C4 is generated and the AR virtual vehicle C4 is transmitted to the AR glasses 10.
  • the AR virtual vehicle C4 is an image of a vehicle (an AR object that is a virtual object for an AR image) corresponding to the virtual vehicle C2, and the details will be described later.
  • the AR glasses 10 display an AR image (eg, AR virtual vehicle C4) received from the image processing device 40.
  • the AR glasses 10 are worn by the user 1, and the user 1 views the AR image through the AR glasses 10.
  • this display processing is equivalent to causing the AR glasses 10 to display the received AR virtual vehicle C4 in the field of view of the user 1 wearing the AR glasses 10. Therefore, the user 1 can view the AR virtual vehicle C4 while viewing the scene in the real world.
  • image is understood to include still images and/or moving images.
  • FIG. 2 shows an example of a scene (user scene) that the user 1 will see through the AR glasses 10.
  • the user view 200 is a user view of the user 1 wearing the AR glasses 10 on a circuit in the real world.
  • the user 1 is watching a real car race at a circuit, and can visually recognize the real vehicle C1 and the AR virtual vehicle C4 corresponding to the virtual vehicle C2 through the AR glasses 10.
  • the AR virtual vehicle C4 does not exist in a real car race, it is generated by the virtual space providing server 30 and the image processing device 40 and displayed on the AR glasses 10. Thereby, the user 1 can enjoy a car race including the real vehicle C1 and the AR virtual vehicle C4 through the AR glasses 10.
  • the AR virtual vehicle C4 will be described with reference to FIGS. 3A to 3E.
  • the real vehicle C1 visually recognized by the user 1 is determined by the movement of the real vehicle C1 and the movement of the virtual vehicle C2.
  • the positional relationship (for example, front-to-back relationship) between the AR virtual vehicle C4 and the AR virtual vehicle C4 changes. For example, if the real vehicle C1 and the virtual vehicle C2 are close to each other and are depicted as overlapping in the user's viewpoint image, the problem is whether the real vehicle C1 or the virtual vehicle C2 is located in front. may occur.
  • FIGS. 3A and 3B An example in which the virtual vehicle C2 is simply displayed instead of the AR virtual vehicle C4 is shown in FIGS. 3A and 3B.
  • a user view 300A in FIG. 3A is an example of a user view when the virtual vehicle C2 is located in the front and the real vehicle C1 is located in the rear.
  • the user scene 300A shows the virtual vehicle C2 superimposed on the real world including the real vehicle C1, and is not an unnatural scene. This is because the positional relationship between the real vehicle C1 and the virtual vehicle C2 (front: virtual vehicle C2, rear: real vehicle C1) and the superposition relationship (front: virtual vehicle C2, rear: real vehicle C1) match. be.
  • 3B is an example of an AR image when the real vehicle C1 is located in the front and the virtual vehicle C2 is located in the rear.
  • the user scene 300B is an example in which a virtual vehicle C2 located behind the real vehicle C1 is displayed superimposed on the real world including the real vehicle C1.
  • a transparent display such as the AR glasses 10 can only display an image in front of the scene, and the positional relationship between the real vehicle C1 and the virtual vehicle C2 (front: real vehicle C1, rear: virtual vehicle C2 ) and the superposition relationship (front: virtual vehicle C2, rear: real vehicle C1) do not match.
  • FIG. 3C shows an example of an ideal user scene when the real vehicle C1 is located in the front and the virtual vehicle C2 is located in the rear.
  • a user scene 300C in FIG. 3C is an example depicted in such a way that it can be visually recognized that the virtual vehicle C2 is located behind the real vehicle C1.
  • the image processing device 40 generates the AR virtual vehicle C4 from the user viewpoint image generated by the virtual space providing server 30.
  • FIG. 3D shows an example of a user viewpoint image generated by the virtual space providing server 30 when the real vehicle C1 is located in the front and the virtual vehicle C2 is located in the rear.
  • the user viewpoint image is an image whose viewpoint is the virtual position of the AR glasses 10 in the virtual world. Since the user viewpoint image 300D in FIG. 3D is generated using computer graphics, the positional relationship of the vehicles is accurately depicted. That is, the user viewpoint image 300D is depicted such that the simulated vehicle C3 corresponding to the real vehicle C1 is in the front and the virtual vehicle C2 is in the back.
  • FIG. 3E shows an example of the AR virtual vehicle C4 generated by the image processing device 40.
  • the image 300E in FIG. 3E is an image obtained by removing the simulated vehicle C3 from the user viewpoint image 300D shown in FIG. 3D (in other words, making it transparent), and this becomes the AR virtual vehicle C4.
  • the image 300E (that is, the AR virtual vehicle C4) generated by the image processing device 40 is transmitted to the AR glasses 10 and displayed by the AR glasses 10. Thereby, the user 1 wearing the AR glasses 10 can view the real vehicle C1 and the AR virtual vehicle C4 without feeling uncomfortable.
  • FIG. 4 shows a configuration example of the AR glasses 10 according to this embodiment.
  • the AR glasses 10 include a CPU 101, a ROM 102, a RAM 103, an HDD 104, an input section 105, a display section 106, and a communication section 107 as a hardware configuration.
  • AR glasses 10 may also include external memory.
  • the AR glasses 10 include a display control section 111 and an AR glasses position acquisition section 112 as functional components executed by the CPU 101.
  • the AR glasses 10 are assumed to be glasses-shaped devices that can be worn by the user 1, but they may also be goggle-shaped or hat-shaped devices, or devices that are not worn by the user, such as teleprompters. It may be.
  • a CPU (Central Processing Unit) 101 is composed of one or more processors, and centrally controls operations in the AR glasses 10.
  • the CPU 101 includes an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and a DSP (Digital Signal Array). It may be replaced by one or more processors such as a GPU (Graphics Processing Unit) or a Graphics Processing Unit (GPU). The functional configuration of the CPU 101 will be described later.
  • a ROM (Read Only Memory) 102 is a nonvolatile memory that stores control programs and the like necessary for the CPU 101 to execute processing. Note that the program may be stored in a nonvolatile memory such as an HDD (Hard Disk Drive) 104 or an SSD (Solid State Drive), or an external memory such as a removable storage medium (not shown).
  • a RAM (Random Access Memory) 103 is a volatile memory and functions as the main memory, work area, etc. of the CPU 101. That is, the CPU 101 loads necessary programs and the like from the ROM 102 into the RAM 103 when executing processing, and implements various functional operations by executing the programs and the like.
  • the HDD 104 stores, for example, various data and information necessary when the CPU 101 performs processing using a program. Further, the HDD 104 stores various data, various information, etc. obtained by the CPU 101 performing processing using programs and the like. Note that the storage may be performed using an external memory such as a nonvolatile memory such as an SSD or a removable storage medium, together with the HDD 104 or in place of the HDD 104.
  • an external memory such as a nonvolatile memory such as an SSD or a removable storage medium
  • the input unit 105 is configured to be able to accept operations by the user 1.
  • the input unit 105 can accept, for example, an operation using another communication device (for example, a smartphone) configured to be able to communicate with the AR glasses 10, an operation using a gesture, or an operation using a voice.
  • the display unit 106 is a transmissive display whose back can be seen through.
  • the type of transmissive display is not particularly limited, and may be a transmissive organic EL display, a transmissive inorganic EL display, a transmissive LCD (liquid crystal) display, or the like.
  • the communication unit 107 is an interface that controls communication between the AR glasses 10 and external devices.
  • the communication unit 107 is configured to communicate with the remote monitoring device 20 and the image processing device 40 using, for example, the Internet and a wireless LAN (wireless local area network compliant with the IEEE 802.11 series). Ru.
  • the display control unit 111 performs display control on the display unit 106.
  • the display control unit 111 displays the AR virtual vehicle C4 received from the image processing device 40 via the communication unit 107 on the display unit 106.
  • the display control unit 111 receives parallax images (a left-eye image and a right-eye image with different parallaxes)
  • the display control unit 111 displays each parallax image in the area for displaying the parallax images of the display unit 106.
  • the display unit 106 may also be controlled.
  • the AR glasses position acquisition unit 112 acquires information (position information) indicating the position of the AR glasses 10 from the GPS signal received via the communication unit 107.
  • the AR glasses position acquisition unit 112 transmits the acquired position information of the AR glasses 10 to the remote monitoring device 20 via the communication unit 107.
  • FIG. 5 shows a configuration example of the remote monitoring device 20 according to this embodiment.
  • the remote monitoring device 20 includes a CPU 201, a ROM 202, a RAM 203, an HDD 204, and a communication unit 205 as a hardware configuration. Further, the remote monitoring device 20 includes a real vehicle management section 211 and an AR glasses position management section 212 as functional components executed by the CPU 201.
  • the basic configurations of the CPU 201, ROM 202, RAM 203, and HDD 204 are the same as those of the CPU 101, ROM 102, RAM 103, and HDD 104 in FIG. 4, so a description thereof will be omitted.
  • the RAM 203 stores vehicle identifier information 213.
  • the vehicle identifier information 213 will be described later.
  • the communication unit 205 is an interface that controls communication between the remote monitoring device 20 and external devices.
  • the communication unit 205 is configured to communicate with the real vehicle C1, the AR glasses 10, and the virtual space providing server 30 using, for example, the Internet and wireless LAN.
  • the real vehicle management unit 211 monitors the circuit and acquires information regarding the real vehicle C1 and the AR glasses 10 via the communication unit 205. For example, the real vehicle management unit 211 acquires the position information of the real vehicle C1 from the real vehicle C1. As described above, the real vehicle C1 has a function of transmitting (transmitting) the position information of the real vehicle C1 to the remote monitoring device 20, and the real vehicle management unit 211 can acquire the position information. Further, the real vehicle management unit 211 specifies (obtains) the identifier of the real vehicle C1, which can be used in common in the real world and the virtual world, with reference to the vehicle identifier information 213.
  • the real vehicle management unit 211 uses known image recognition processing to convert the identifier corresponding to the feature into a vehicle identifier. It can be acquired from the information 213 and specified as the identifier of the real vehicle C1.
  • tag information that can be read from the RFID tag can be used.
  • the real vehicle management unit 211 can acquire an identifier corresponding to the tag information read from the RFID tag from the vehicle identifier information 213, and specify it as the identifier of the real vehicle C1.
  • the real vehicle management unit 211 transmits the acquired position information and identifier of the real vehicle C1 to the virtual space providing server 30 via the communication unit 205.
  • the AR glasses position management unit 212 acquires the position information of the AR glasses 10 from the AR glasses 10 via the communication unit 205 and transmits it to the virtual space providing server 30.
  • the remote monitoring device 20 continues to transmit the position information and identifier of the real vehicle C1 and the position information of the AR glasses 10 to the virtual space providing server 30.
  • FIG. 6 shows a configuration example of the virtual space providing server 30 according to this embodiment.
  • the virtual space providing server 30 includes a CPU 301, a ROM 302, a RAM 303, an HDD 304, and a communication unit 305 as a hardware configuration. Further, the virtual space providing server 30 includes a virtual world management section 311 and an image generation section 312 as functional components executed by the CPU 301.
  • the basic configurations of the CPU 301, ROM 302, RAM 303, and HDD 304 are the same as those of the CPU 101, ROM 102, RAM 103, and HDD 104 in FIG. 4, so a description thereof will be omitted. However, the RAM 303 stores content information 313. Content information 313 will be described later.
  • the communication unit 305 is an interface that controls communication between the virtual space providing server 30 and external devices.
  • the communication unit 405 is configured to communicate with the remote monitoring device 20, the virtual space providing server 30, and the image processing device 40, for example, via a communication network such as the Internet and a wireless LAN.
  • the virtual world management unit 311 constructs a virtual space and manages the entire virtual world. For example, the virtual world management unit 311 generates a simulated vehicle C3, which is a vehicle in the virtual world, corresponding to the real vehicle C1, based on the identifier of the real vehicle C1 received from the remote monitoring device 20 via the communication unit 305. .
  • the content information 313 stored in the RAM 303 includes a vehicle image corresponding to the vehicle identifier.
  • the virtual world management unit 311 acquires an image of the simulated vehicle C3 corresponding to the identifier of the real vehicle C1 from the content information 313.
  • the image is an image imitating the shape and design of the real vehicle C1, which has been generated and stored in advance. Then, the virtual world management unit 311 moves the simulated vehicle C3 using the position information of the real vehicle C1 received from the remote monitoring device 20 via the communication unit 305. Further, the virtual world management unit 311 moves the virtual vehicle C2 as described above.
  • the virtual world management unit 311 manages objects in the virtual world using identifiers. Specifically, the virtual world management unit 311 manages the simulated vehicle C3 using the identifier of the real vehicle C1 received from the remote monitoring device 20. Furthermore, the virtual world management unit 311 manages the virtual vehicle C2 using a newly generated identifier. Further, the virtual world management unit 311 manages whether an object in the virtual world is a simulated object or a virtual object. for example. The virtual world management unit 311 manages whether a vehicle in the virtual world is a simulated vehicle or a virtual vehicle in association with an identifier.
  • the virtual world management unit 311 The identifier of virtual vehicle C2 is managed as "C2-0", and the identifier of simulated vehicle C3 is managed as "C3-1".
  • the image generation unit 312 generates an image from a specific virtual position. For example, the image generation unit 312 identifies the virtual position of the AR glasses 10 (the position of the AR glasses 10 in the virtual world) based on the position information of the AR glasses 10 received from the remote monitoring device 20 via the communication unit 305. . Then, the image generation unit 312 generates (creates) a user viewpoint image (an image with the virtual position of the AR glasses 10 in the virtual world as a viewpoint) using computer graphics. The image generation unit 312 may further generate the user viewpoint image using the direction from the position of the AR glasses 10 to the position of the real vehicle C1 as the viewing direction. An example of the generated user viewpoint image is the user viewpoint image 300D in FIG.
  • the image generation unit 312 transmits the generated user viewpoint image to the image processing device 40 via the communication unit 305.
  • the image generation unit 312 may also generate images other than the user viewpoint image. For example, images from various virtual positions may be generated to show the situation in the virtual space. Further, when accepting an operation on the virtual vehicle C2, an image for showing the virtual space to the user performing the operation may be generated and displayed on a monitor (not shown) for this purpose.
  • the image generation unit 312 also generates meta information including one or more vehicle regions included in the user viewpoint image (coordinate information occupied by the vehicle in the user viewpoint image, etc.), an identifier, and information on the positional relationship (front-back relationship). generate.
  • the meta information includes the identifier "C2-0" of virtual vehicle C2, the area of virtual vehicle C2 in the user viewpoint image, and the region of simulated vehicle C3. It includes the identifier "C3-1", the area of the simulated vehicle C3 in the user viewpoint image, and information on the positional relationship between the virtual vehicle C2 and the simulated vehicle C3.
  • the image generation unit 312 transmits the generated meta information to the image processing device 40 via the communication unit 305.
  • the function of the image generation unit 312 is incorporated into the virtual space providing server 30, but a device different from the virtual space providing server 30 may be configured to have the function.
  • FIG. 7 shows a configuration example of the image processing device 40 according to this embodiment.
  • the image processing device 40 includes a CPU 401, a ROM 402, a RAM 403, an HDD 404, and a communication unit 405 as a hardware configuration.
  • the image processing device 40 also includes an image processing unit 411 as a functional configuration executed by the CPU 401.
  • the basic configurations of the CPU 401, ROM 402, RAM 403, and HDD 404 are the same as those of the CPU 101, ROM 102, RAM 103, and HDD 104 in FIG. 4, so a description thereof will be omitted.
  • the communication unit 405 is an interface that controls communication between the image processing device 40 and external devices.
  • the communication unit 405 is configured to communicate with the virtual space providing server 30 and the AR glasses 10 via a communication network such as the Internet and a wireless LAN.
  • the image processing unit 411 acquires a user viewpoint image and meta information from the virtual space providing server 30 via the communication unit 405. Then, the image processing unit 411 generates an AR virtual vehicle C4 from the user viewpoint image based on the user viewpoint image and the meta information.
  • the meta information includes information on the regions of the virtual vehicle C2 and the simulated vehicle C3 in the user viewpoint image, and the image processing unit 411 determines whether or not the two regions overlap, and Based on the results, an AR virtual vehicle C4 is generated as follows.
  • the image processing unit 411 If the area of the virtual vehicle C2 and the area of the simulated vehicle C3 do not overlap in the user viewpoint image, the image processing unit 411 generates the full-size virtual vehicle C2 as the AR virtual vehicle C4. That is, the image processing unit 411 generates an image in which regions other than the virtual vehicle C2 are deleted (in other words, made transparent) from the user viewpoint image based on information on the regions of the virtual vehicle C2 and the simulated vehicle C3 included in the meta information. is generated as an AR virtual vehicle C4 (the virtual vehicle C2 and the AR virtual vehicle C4 are the same).
  • the image processing unit 411 considers the positional relationship between the virtual vehicle C2 and the simulated vehicle C3 included in the meta information, and Generate an AR virtual vehicle C4. For example, if the positional relationship between the simulated vehicle C3 and the virtual vehicle C2 included in the meta information is that the virtual vehicle C2 is in the front and the simulated vehicle C3 is in the rear, the image processing unit 411 moves the full-size virtual vehicle C2 to the AR virtual It is generated as vehicle C4.
  • the image processing unit 411 generates an image obtained by deleting areas other than the virtual vehicle C2 from the user viewpoint image as the AR virtual vehicle C4 based on the information on the areas of the virtual vehicle C2 and the simulated vehicle C3 included in the meta information. (The virtual vehicle C2 and the AR virtual vehicle C4 will be the same).
  • the image processing unit 411 selects the virtual vehicle C2 and the simulated vehicle from the virtual vehicle C2.
  • An image in which the consideration area (portion) that overlaps with the vehicle C3 is deleted is generated as an AR virtual vehicle C4.
  • the image processing unit 411 determines, from the user viewpoint image, an area in the virtual vehicle C2 where the virtual vehicle C2 and the simulated vehicle C3 overlap, based on information on the areas of the virtual vehicle C2 and the simulated vehicle C3 included in the meta information.
  • the deleted image is generated as an AR virtual vehicle C4.
  • the example of the AR virtual vehicle C4 is as described with reference to FIGS. 3D and 3E, and is an image in which the area where the virtual vehicle C2 and the simulated vehicle C3 overlap is deleted from the virtual vehicle C2.
  • the image processing unit 411 transmits the generated AR virtual vehicle C4 to the AR glasses 10 via the communication unit 405.
  • the AR glasses 10, the remote monitoring device 20, the virtual space providing server 30, and the image processing device 40 may be equipped with dedicated hardware for executing their respective functions, or may be equipped with dedicated hardware for executing their respective functions. Some parts may be executed by hardware, and other parts may be executed by a computer running the program. Alternatively, all functions may be performed by a computer and a program.
  • FIG. 8 shows an example of a communication sequence diagram of the real vehicle C1, the AR glasses 10, the remote monitoring device 20, the virtual space providing server 30, and the image processing device 40 according to the present embodiment. Note that the order of each process is not limited to the order shown in FIG. 8.
  • a real vehicle C1 running on a real circuit is reproduced as a simulated vehicle C3 in virtual space. Then, in the virtual space, the simulated vehicle C3 and the virtual vehicle C2, which does not correspond to a real vehicle running on a real circuit, are driven. Further, the user 1 simultaneously views the real vehicle C1 running on the real circuit and the AR virtual vehicle C4 (corresponding to the virtual vehicle C2) through the AR glasses 10.
  • the virtual space providing server 30 generates a virtual space (S801).
  • the generation also includes virtual objects such as the virtual vehicle C2.
  • the remote monitoring device 20 is monitoring the circuit (S802).
  • the remote monitoring device 20 can extract characteristics (eg, shape, size, color) of the real vehicle C1.
  • the remote monitoring device 20 can acquire tag information of the RFID tag attached to the real vehicle C1.
  • the remote monitoring device 20 receives the position information of the real vehicle C1 transmitted by the real vehicle C1 and the position information of the AR glasses 10 transmitted by the AR glasses 10. get.
  • the remote monitoring device 20 Based on the information obtained by monitoring the circuit (S802), the remote monitoring device 20 acquires the identifier of the real vehicle C1 (S803). For example, the remote monitoring device 20 can acquire the identifier of the real vehicle C1 based on the characteristics and tag information of the real vehicle C1 obtained by monitoring the circuit in S901. The remote monitoring device 20 transmits the position information and identifier of the real vehicle C1 and the position information of the AR glasses 10 to the virtual space providing server 30 (S804). The processes from S802 to S804 are performed continuously.
  • the virtual space providing server 30 Based on the identifier of the real vehicle C1 received from the remote monitoring device 20, the virtual space providing server 30 generates in the virtual space a simulated vehicle C3, which is a vehicle in the virtual world and corresponds to the real vehicle C1. Then, the virtual space providing server 30 moves the simulated vehicle C3 in the virtual space using the position information of the real vehicle C1 received from the remote monitoring device 20 (S805). Further, the virtual space providing server 30 converts a user viewpoint image (an image with the virtual position of the AR glasses 10 in the virtual world as a viewpoint) into a computer graphics image based on the position information of the AR glasses 10 received from the remote monitoring device 20. (S806).
  • a user viewpoint image an image with the virtual position of the AR glasses 10 in the virtual world as a viewpoint
  • the virtual space providing server 30 generates meta information including information on the region (position) and identifier of one or more vehicles included in the user viewpoint image (S806).
  • the meta information includes the identifier of the virtual vehicle C2, the identifier of the simulated vehicle C3, and information about the area of the virtual vehicle C2 and the simulated vehicle C3 in the user viewpoint image and the positional relationship (front-back relationship) of both vehicles.
  • the virtual space providing server 30 transmits the generated user viewpoint image and meta information to the image processing device 40 (S807).
  • the image processing device 40 generates the AR virtual vehicle C4 based on the user viewpoint image and meta information received from the virtual space providing server 30 (S808).
  • the meta information includes information about the areas of the virtual vehicle C2 and the simulated vehicle C3 in the user viewpoint image and the positional relationship between the two vehicles.
  • the image processing device 40 determines whether or not the two regions overlap, and if they overlap, generates the AR virtual vehicle C4 in consideration of the positional relationship between the two vehicles. For example, as in the user viewpoint image 300D in FIG. 3D, the area of the virtual vehicle C2 and the area of the simulated vehicle C3 overlap, and the positional relationship between the two vehicles is such that the simulated vehicle C3 is in front and the virtual vehicle C2 is in the back.
  • the image processing device 40 generates an AR virtual vehicle C4 as shown in an image 300E in FIG. 3E. That is, the image processing device 40 generates, as the AR virtual vehicle C4, an image from which the region overlapping with the simulated vehicle C3 is deleted from the virtual vehicle C2.
  • the real object in the real world and the simulated object in the user viewpoint image generated by the virtual space providing server 30 match.
  • the simulated vehicle C3 in the user viewpoint image 300D and the real vehicle C1 as viewed by the user match in position (and shape). Therefore, by adjusting the display portion of the AR virtual vehicle C4 according to the front-back relationship between the virtual vehicle C2 and the simulated vehicle C3 in the user viewpoint image 300D, the AR virtual vehicle C4 viewed through the AR glasses 10 can be extracted.
  • the word "match” is synonymous with "almost match” (for example, the degree of match is within a predetermined range).
  • the image processing device 40 transmits the generated AR virtual vehicle C4 and information on the area of the virtual vehicle C2 included in the meta information (coordinate information, etc. occupied by the virtual vehicle C2 in the user viewpoint image) to the AR glasses 10 ( S809).
  • the AR glasses 10 receive information on the area of the virtual vehicle C2 (such as coordinate information occupied by the virtual vehicle C2 in the user viewpoint image) included in the meta information, together with the AR virtual vehicle C4, from the image processing device 40. Then, the AR glasses 10 display the AR virtual vehicle C4 in the area indicated by the information on the display unit 106 (S810). Thereby, the user 1 can view the real vehicle C1 and the virtual vehicle C2 in a natural positional relationship. For example, as shown in FIG. 3C, even when the virtual vehicle C2 (corresponding to the AR virtual vehicle C4) is located behind the real vehicle C1, the position of the virtual vehicle C2 with respect to the real vehicle C1 does not appear unnatural.
  • the image processing device 40 from the virtual vehicle C2 in the user 1 viewpoint image (user viewpoint image) in the virtual world, based on the area and positional relationship between the virtual vehicle C2 and the simulated vehicle C3, An AR virtual vehicle C4 to be displayed on the AR glasses 10 is generated.
  • the AR glasses 10 display the AR virtual vehicle C4 in an appropriate area of the display section. Since the AR virtual vehicle C4 only has a portion visible to the user 1, the front-to-back relationship between the virtual vehicle C2 and the simulated vehicle C3 in the user viewpoint image is the same as the front-to-back relationship between the virtual vehicle C2 and the real vehicle C1 viewed through the AR glasses 10. Match. This can reduce the sense of discomfort that the user 1 feels. That is, the user 1 in the real world can view an AR image with a more realistic display mode.
  • the virtual space providing server 30 uses the virtual position of the AR glasses 10 (the position of the AR glasses 10 in the virtual world) as an image with the virtual position of the user 1 (the position of the user 1 in the virtual world) as a viewpoint.
  • An image from the viewpoint was generated as a user viewpoint image.
  • the two viewpoints do not always match. That is, the user 1 wearing the AR glasses 10 can change the height, direction, and posture, and the viewpoint of the virtual position of the user 1 can also change accordingly.
  • the difference between the user viewpoint image generated by the virtual space providing server 30 and the real world viewed by the user may be large enough to be recognized.
  • FIG. 3F shows an example of an unnatural user scene.
  • the user scene 300F in FIG. 3F is a scene that gives the user a sense of discomfort because it can be recognized that a part of the AR virtual vehicle C4 is missing. Therefore, in the present embodiment, the AR glasses 10 worn by the user 1 perform imaging processing, correct the user viewpoint image based on the real world image (real image) obtained by the imaging processing, and correct the user viewpoint image.
  • the configuration is configured to generate an AR virtual vehicle from the following.
  • the differences from the first embodiment will be explained, and the explanation of the common parts will be omitted.
  • FIG. 9 shows a configuration example of an augmented reality system 1000 according to this embodiment.
  • the augmented reality system 1000 according to this embodiment differs from the augmented reality system 100 in FIG. 1 in the configurations of the AR glasses 11 and the image processing device 41.
  • the AR glasses 11 can transmit the real image P1 to the image processing device 41.
  • FIG. 10 shows a configuration example of the AR glasses 11 according to this embodiment.
  • the AR glasses 11 further include an imaging section 108 and an imaging control section 112.
  • the imaging unit 108 recognizes the real world viewed by the user 1, performs imaging processing, and generates an image of the real world.
  • the imaging unit 108 is placed at a position where the world viewed by the user 1 wearing the AR glasses 10 can be reproduced.
  • the AR glasses 10 may include a plurality of imaging units 108.
  • the imaging control unit 112 controls imaging processing by the imaging unit 108.
  • the imaging control unit 112 can control the imaging unit 108 according to operations by the user 1 and predetermined settings. Further, the imaging control unit 112 can transmit the user field of view (for example, the real image P1) generated by the imaging unit 108 to the image processing device 40 via the communication unit 107.
  • FIG. 11 shows a configuration example of the image processing device 41 according to this embodiment.
  • the image processing device 41 includes an image processing unit 412 as a functional configuration executed by the CPU 401.
  • the RAM 403 stores an image adjustment model 413.
  • the image adjustment model 413 may be stored in the ROM 402.
  • the image adjustment model 413 receives the user viewpoint image generated by the virtual space providing server 30 and the real image P1 obtained by the AR glasses 10, and adjusts (corrects) the orientation and/or size of the user viewpoint image.
  • This is a learning model for deep learning that is configured to predict and output user viewpoint images.
  • the image adjustment model 413 is trained in advance and stored in the RAM 403 (or ROM 402).
  • the deviation between the user viewpoint image generated by the virtual space providing server 30 and the real image P1 obtained by the AR glasses 10 is to a degree that can be recognized, but it is assumed that the deviation is not that great.
  • the image adjustment model 413 corrects the position, orientation, and/or size of the object in the input user viewpoint image so that the object shown in the user viewpoint image matches the object shown in the real image P1.
  • This modification uses an image adjustment model 413 that has already been created by deep learning. This model recognizes the objects shown in the two input images and makes corrections to one image so that the objects in one image match the objects in the other image. be.
  • a known model may be used as the model.
  • the image processing unit 412 inputs the user viewpoint image received from the virtual space providing server 30 and the real image P1 received from the AR glasses 10 into the image adjustment model 413 to obtain an adjusted user viewpoint image. Furthermore, the image processing unit 412 according to the present embodiment generates an AR virtual vehicle from the adjusted user viewpoint image using a procedure similar to that described in the first embodiment.
  • FIG. 12 is a diagram for explaining the procedure for generating an adjusted user viewpoint image according to this embodiment.
  • the user viewpoint image 1201 is a user viewpoint image generated by the image generation unit 312 of the virtual space providing server 30, and includes a virtual vehicle C2 and a simulated vehicle C3.
  • the real image 1202 is a real image generated by the imaging unit 108 of the AR glasses 10 worn by the user 1, and includes the real vehicle C1.
  • the image adjustment model 413 inputs the user viewpoint image 1201 and the real image 1202, and determines that the real vehicle C1 and the simulated vehicle C3 have a corresponding relationship based on matching of color and shape, and/or information on the identifier.
  • the image adjustment model 413 corrects the position, orientation, and/or size of the user viewpoint image 1201 so that the simulated vehicle C3 and the real vehicle C1 match with the real vehicle C1, and adjusts the adjusted user viewpoint image 1203. Output. This reduces the deviation between the adjusted user viewpoint image 1203 and the real world viewed by the user.
  • FIG. 13 shows an example of a communication sequence diagram of the real vehicle C1, the AR glasses 10, the remote monitoring device 20, the virtual space providing server 30, and the image processing device 41 according to the present embodiment. Note that the order of each process is not limited to the order shown in FIG. 13. Processes similar to those in FIG. 8 will be given the same reference numerals and descriptions will be omitted.
  • the image processing device 41 receives the user viewpoint image and meta information from the virtual space providing server 30 (S807), and receives the real image P1 from the AR glasses 10 (S1301).
  • the image processing device 41 inputs the user viewpoint image and the real image P1 to the image adjustment model 413 to generate an adjusted user viewpoint image (S1302). Subsequently, the image processing device 40 generates the AR virtual vehicle C4 based on the adjusted user viewpoint image and meta information (S1303).
  • the image processing device 41 can still adjust the adjusted user viewpoint image. and an AR virtual vehicle is generated based on the adjusted user viewpoint image.
  • the image processing device 41 generates the adjusted user viewpoint image using the real vehicle C1 as a reference, but the image processing device 41 generates the adjusted user viewpoint image using an arbitrary object such as a static object (for example, a road or a sign) as a reference. may be generated.
  • an AR virtual vehicle is generated based on the adjusted user viewpoint image generated according to changes in the height, direction, and posture of the user 1 wearing the AR glasses 10, and the AR virtual vehicle An AR image is generated using the .
  • the AR image is displayed on the AR glasses 10 in a manner that is more natural to the user 1, and the user 1 in the real world can enjoy a more realistic display manner.
  • this embodiment has described AR image generation in the case where multiple vehicles move in the real world and the virtual world, objects that move in the real world and the virtual world are not limited to vehicles.
  • the present embodiment is applicable to any dynamic object or static object whose context can change in the real world and the virtual world.
  • a first generation process comprising one or more processors, in which at least one of the one or more processors generates a virtual viewpoint image from a specified position in a virtual world, and in the virtual viewpoint image, a determination process for determining whether a simulated object in the virtual world that corresponds to a real object in the real world overlaps a virtual object that exists in the virtual world and is different from the simulated object; and When it is determined that an object and the virtual object overlap, an AR object for an AR (augmented reality) image corresponding to the virtual object is created according to a positional relationship between the simulated object and the virtual object in the virtual viewpoint image.
  • An augmented reality system in which a second generation process for generating the AR object and a display process for displaying the AR object on a transparent display are executed.
  • At least one of the one or more processors further executes a third generation process of adjusting the virtual viewpoint image using a real image captured by the user device to generate an adjusted virtual viewpoint image.
  • the determination process includes determining whether or not the simulated object and the virtual object overlap in the adjusted virtual viewpoint image
  • the second generation process includes determining whether the simulated object and the virtual object overlap in the adjusted virtual viewpoint image.
  • the method includes generating the AR object according to the positional relationship between the simulated object and the virtual object in the adjusted virtual viewpoint image when it is determined that the virtual objects overlap. augmented reality system.
  • the real object is a vehicle that travels in the real world
  • the virtual object is an object imitating a vehicle that travels in the virtual world, according to any one of [1] to [4].
  • augmented reality system
  • [6] comprising one or more processors, in which at least one of the one or more processors determines, in a virtual viewpoint image from a specified position in the virtual world, an object in the virtual world that corresponds to a real object in the real world; a determination process for determining whether a simulated object and a virtual object that exists in the virtual world and is different from the simulated object overlap; and when it is determined that the simulated object and the virtual object overlap in the virtual viewpoint image; , generation processing for generating an AR object for an AR (augmented reality) image corresponding to the virtual object according to the positional relationship between the simulated object and the virtual object in the virtual viewpoint image.
  • Device comprising one or more processors, in which at least one of the one or more processors determines, in a virtual viewpoint image from a specified position in the virtual world, an object in the virtual world that corresponds to a real object in the real world; a determination process for determining whether a simulated object and a virtual object that exists in the virtual world and is different from the simulated object
  • the generation process includes, when the simulated object is in front and the virtual object is behind in the virtual viewpoint image, the AR in which an area where the simulated object and the virtual object overlap is deleted from the virtual object.
  • the image processing device according to [6] which generates an object.
  • At least one of the one or more processors further performs an adjustment process of adjusting the virtual viewpoint image using a real image captured by the user device to generate an adjusted virtual viewpoint image
  • the determination process includes determining whether the simulated object and the virtual object overlap in the adjusted virtual viewpoint image
  • the generation process includes determining whether the simulated object and the virtual object overlap in the adjusted virtual viewpoint image.
  • the difference between the virtual object shown in the adjusted virtual viewpoint image and the object corresponding to the virtual object shown in the real image is such that the difference between the virtual object shown in the virtual viewpoint image and the object corresponding to the virtual object shown in the real image is
  • a simulated object in the virtual world that corresponds to a real object in the real world and a virtual object that exists in the virtual world and is different from the simulated object overlap.
  • a computer-readable storage medium that stores a program, the program, when executed by one or more processors of the image processing device, causes the image processing device to perform a a determination process of determining whether a simulated object in the virtual world that corresponds to a real object in the real world overlaps a virtual object that exists in the virtual world and is different from the simulated object in the virtual viewpoint image; When it is determined that the simulated object and the virtual object overlap in the viewpoint image, an AR (augmented reality) image corresponding to the virtual object according to the positional relationship between the simulated object and the virtual object in the virtual viewpoint image. a generation step of generating an AR object for use in an AR object;

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

拡張現実システムは、仮想世界における指定された位置からの仮想視点画像を生成し、前記仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定し、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成し、前記ＡＲオブジェクトを透過ディスプレイに表示させる。

Description

拡張現実画像を生成するための画像処理
　本開示は、拡張現実画像を生成するための画像処理技術に関する。
　近年、現実世界を撮影した画像に、コンピュータグラフィックスで生成された画像（仮想的な画像）を重ね合わせて表示する技術である、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）が広く開発されている。例えば、特許文献１には、ラジコンカーのような動的な現実物体を操作するリアルゲームに拡張現実を応用する技術が開示されている。当該文献によれば、リアルゲームを撮影した画像に、バーチャルな演出力を適用することにより、リアルゲームの楽しさが強化されうる。
特開２０２１－１２６４５４号公報
　上記文献では、現実世界を撮影した画像に、視覚的効果を示す画像を重ね合わせて拡張現実を実現している。しかしながら、現実世界を撮影した画像ではなく、現実世界を目視しながら、仮想世界におけるオブジェクトの画像を同時に見るといった拡張現実は、実現が困難である。例えば、背後が透けて見える透過ディスプレイに仮想世界の画像を表示させることにより、現実世界と仮想世界を同時に眺めることは可能ではあるが、不自然な光景となる場合がある。例えば、透過ディスプレイに画像を単に表示した場合、仮想世界のオブジェクトが、現実世界における任意のオブジェクトの後ろに位置する場合であっても、仮想世界のオブジェクトが前にあるように見えてしまう。
　本開示では、このような課題に鑑みて、現実世界を目視しながら、仮想世界におけるオブジェクトを適切に見ることができるようにするための技術を提供することを目的とする。
　上記課題を解決するために、本開示の一態様による拡張現実システムは、１つ以上のプロセッサを備え、前記１つ以上のプロセッサの少なくとも一つによって、第１生成処理と、判定処理と、第２生成処理と、表示処理と、が実行される。前記第１生成処理は、仮想世界における指定された位置からの仮想視点画像を生成する処理である。前記判定処理は、前記仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する処理である。前記第２生成処理は、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する処理である。前記表示処理は、前記ＡＲオブジェクトを合成したＡＲ画像を透過ディスプレイに表示させる処理である。
　上記課題を解決するために、本開示の一態様による画像処理装置は、１つ以上のプロセッサを備え、
　前記１つ以上のプロセッサの少なくとも一つによって、判定処理と、生成処理と、が実行される。前記判定処理は、仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する処理である。前記生成処理は、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する処理である。
　上記課題を解決するために、本開示の一態様による画像処理方法は、仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定工程と、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なる場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成工程と、を含む。
　本開示の技術によれば、仮想世界におけるオブジェクトが適切に表示された拡張現実画像を生成することが可能となる。
図１は、第１実施形態による拡張現実システムの構成例を示す。 図２は、ユーザ１のＡＲグラス１０を通じて眺める光景の例を示す 図３Ａは、仮想車両Ｃ２に関するＡＲ画像を単純に表示した例を示す。 図３Ｂは、仮想車両Ｃ２に関するＡＲ画像を単純に表示した別の例を示す。 図３Ｃは、現実車両Ｃ１が前、仮想車両Ｃ２が後ろに位置する場合の理想的なＡＲ画像の例を示す。 図３Ｄは、現実車両Ｃ１が前、仮想車両Ｃ２が後ろに位置する場合におけるユーザ視点画像の例を示す。 図３Ｅは、画像処理装置４０により生成されるＡＲ仮想車両Ｃ４の例を示す。 図３Ｆは、不自然なユーザ光景の例を示す。 図４は、ＡＲグラス１０の構成例を示す。 図５は、遠隔監視装置２０の構成例を示す。 図６は、仮想空間提供サーバ３０の構成例を示す。 図７は、画像処理装置４０の構成例を示す。 図８は、第１実施形態による、現実車両Ｃ１と、ＡＲグラス１０と、遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４０の通信シーケンス図の一例を示す。 図９は、第２実施形態による拡張現実システムの構成例を示す。 図１０は、ＡＲグラス１１の構成例を示す。 図１１は、画像処理装置４１の構成例を示す。 図１２は、調整ユーザ視点画像の生成の手順を説明するための図である。 図１３は、第２実施形態による、現実車両Ｃ１と、ＡＲグラス１１と、遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４１の通信シーケンス図の一例を示す。
　以下、添付図面を参照して、本開示の実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本開示の一形態であり、装置の構成や各種条件によって適宜修正または変更されるべきものであり、以下の実施形態のみに限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが上記課題の解決手段に必須のものとは限らない。
　＜第１実施形態＞
　［拡張現実システムの構成］
　図１は、本実施形態による拡張現実システム１００の構成例を示す。拡張現実システム１００は、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ(ＡＲ)）グラス１０、遠隔監視装置２０、仮想空間提供サーバ３０、および画像処理装置４０から構成される。
　ＡＲグラス１０は、透過ディスプレイであり、ユーザ１に装着されている。ユーザ１は、現実世界を目視しながら、ＡＲグラス１０が表示する画像（以下、ＡＲ画像）を見ることができる。言い換えれば、ユーザ１の視界には、ＡＲグラス１０によって表示された画像ではない現実世界の領域と、ＡＲグラス１０によって表示された画像の領域と、が含まれる。
　仮想空間提供サーバ３０は、仮想空間を提供するサーバ装置である。仮想空間提供サーバ３０は、少なくとも、仮想空間の構築と、構築された仮想空間の指定された位置から見た画像の生成と、を行う。
　現実オブジェクトＣ１は現実世界に存在するオブジェクトである。本実施形態では、一例として、現実オブジェクトＣ１を、現実世界における車両とし（そのため、現実車両Ｃ１とも記載する）、サーキットを走行するものとする（後述する図２を参照）。現実車両Ｃ１は移動するが、その位置や姿勢は、既存技術により、遠隔監視装置２０によって把握されるものとする。例えば、現実車両Ｃ１は、Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ（ＧＰＳ）信号や加速度センサの信号などに基づいて現実車両Ｃ１の位置情報を取得し、遠隔監視装置２０へ送信（発信）してもよい。あるいは、遠隔監視装置２０が、現実車両Ｃ１からの信号を受信して、現実車両Ｃ１の位置を割り出してもよい。
　同様に、ＡＲグラス１０の位置や姿勢も、既存技術により、遠隔監視装置２０によって把握されるものとする。
　遠隔監視装置２０は、現実世界における所定の監視対象のテレメトリデータを取得する装置として機能する。本実施形態では、遠隔監視装置２０は、前述のとおり、サーキットを監視し、現実車両Ｃ１とＡＲグラス１０の位置情報を取得する。さらに、遠隔監視装置２０は、現実車両Ｃ１の識別子を取得（特定）し、現実車両Ｃ１の位置情報と識別子とを、仮想空間提供サーバ３０へ送信する。また、遠隔監視装置２０は、ＡＲグラス１０の位置情報も、仮想空間提供サーバ３０へ送信する。さらに、遠隔監視装置２０は、ＡＲグラス１０の位置から現実車両Ｃ１の位置への方向の情報を取得して、仮想空間提供サーバ３０へ送信してもよい。
　仮想空間提供サーバ３０は、現実オブジェクトＣ１に対応する、仮想世界におけるオブジェクトを生成する。当該オブジェクトを模擬オブジェクトＣ３とも記載する。本実施形態では、遠隔監視装置２０から得られた現実車両Ｃ１の位置情報と識別子に基づいて、現実車両Ｃ１に対応する模擬オブジェクトである模擬車両Ｃ３を生成し、その位置や姿勢を調整する。これにより、模擬車両Ｃ３は、現実世界（例えば、サーキット）における現実車両Ｃ１の動きに合わせて、仮想空間において動くことができる。
　また、仮想空間提供サーバ３０は、模擬オブジェクトＣ３とは別に、仮想世界においてオブジェクト（仮想オブジェクト）を生成する。例えば、模擬車両Ｃ３とは別の仮想車両Ｃ２を仮想オブジェクトとして生成して動かしてもよい。なお、仮想車両Ｃ２は、自動的に動いてもよい。例えば、仮想空間提供サーバ３０が、現実車両Ｃ１またはその他の現実車両の過去の走行記録に応じて仮想車両Ｃ２を動かしてもよい。あるいは、仮想空間提供サーバ３０は、ゲームシステムのように、ユーザ１またはその他のユーザから模擬車両Ｃ３の操作を受け付けて、仮想空間提供サーバ３０が当該操作に応じて仮想車両Ｃ２を動かしてもよい。
　仮想空間提供サーバ３０は、遠隔監視装置２０から得られたＡＲグラス１０の位置情報に基づいて、仮想世界におけるＡＲグラス１０の位置（以下、ＡＲグラス１０の仮想位置）を特定する。ここで、ユーザ１はＡＲグラス１０を装着しているため、ＡＲグラス１０の仮想位置と、仮想世界におけるユーザ１の位置（以下、ユーザ１の仮想位置）は同じとみなすことができる。そして、仮想空間提供サーバ３０は、仮想世界において、ユーザ１の仮想位置を視点とした画像として、ＡＲグラス１０の仮想位置を視点とした画像（以下、ユーザ視点画像）を、コンピュータグラフィックスで生成する。
　なお、仮想空間提供サーバ３０は、視差画像、つまり、左眼用のユーザ視点画像と、右眼用画像のユーザ視点画像と、を生成してもよい。例えば、ＡＲグラス１０のサイズを仮想空間提供サーバ３０にあらかじめ登録しておき、ＡＲグラス１０の左目側の仮想位置と、ＡＲグラス１０の右目側の仮想位置と、を割り出すことにより、左眼用および右眼用のユーザ視点画像をそれぞれ生成してもよい。なお、画像処理装置４０がユーザ視点画像に基づいて視差画像を生成してもよい。
　また、ユーザ視点画像は、当該視点と共に、ＡＲグラス１０の位置から現実車両Ｃ１の位置への方向を視線方向として用いて生成されてもよい。
　仮想空間提供サーバ３０は、ユーザ視点画像を、画像処理装置４０へ送信する。
　画像処理装置４０は、仮想空間提供サーバ３０から受信したユーザ視点画像からＡＲグラス１０に表示するためのＡＲ画像を生成する。例えば、ユーザ視点画像に仮想車両Ｃ２が映っていた場合に、仮想車両（以下、ＡＲ仮想車両）Ｃ４を生成して、ＡＲ仮想車両Ｃ４をＡＲグラス１０へ送信する。ＡＲ仮想車両Ｃ４は、仮想車両Ｃ２に対応する車両の画像（ＡＲ画像用の仮想オブジェクトであるＡＲオブジェクト）であり、詳細については後述する。
　ＡＲグラス１０は、画像処理装置４０から受信したＡＲ画像（例えばＡＲ仮想車両Ｃ４）を表示する。ＡＲグラス１０は、ユーザ１に装着されており、ユーザ１は、ＡＲグラス１０を通して、ＡＲ画像を視覚する。つまり、当該表示処理は、ＡＲグラス１０が、受信したＡＲ仮想車両Ｃ４を、ＡＲグラス１０を装着するユーザ１の視界に表示させることと同等である。ゆえに、ユーザ１は、現実世界の光景を目視しながら、ＡＲ仮想車両Ｃ４を見ることができる。
　なお、本開示において、画像という語は、静止画および／または動画を含むものとして理解される。
　図２に、ユーザ１が、ＡＲグラス１０を通じて見ることになる光景（ユーザ光景）の例を示す。ユーザ光景２００は、現実世界でのサーキットにおいて、ＡＲグラス１０を装着したユーザ１のユーザ光景である。ユーザ１は、サーキットにおいて、現実のカーレースを観戦しており、ＡＲグラス１０を介して、現実車両Ｃ１と、仮想車両Ｃ２に対応するＡＲ仮想車両Ｃ４を視認することができる。ＡＲ仮想車両Ｃ４は、現実のカーレースには存在しないが、仮想空間提供サーバ３０と画像処理装置４０により生成されて、ＡＲグラス１０に表示される。これにより、ユーザ１は、ＡＲグラス１０を通じて、現実車両Ｃ１とＡＲ仮想車両Ｃ４を含むカーレースを楽しむことができる。
　次に、ＡＲ仮想車両Ｃ４について、図３Ａから図３Ｅを参照して説明する。
　図２のように、ユーザ１がＡＲグラス１０を通じて、現実車両Ｃ１とＡＲ仮想車両Ｃ４を視認する場合、現実車両Ｃ１の動きと、仮想車両Ｃ２の動きにより、ユーザ１によって視認される現実車両Ｃ１とＡＲ仮想車両Ｃ４の位置関係（例えば、前後関係）は変化する。例えば、現実車両Ｃ１と仮想車両Ｃ２が近接していることにより、ユーザ視点画像において両者が重なるように描写される場合、現実車両Ｃ１と仮想車両Ｃ２のどちらかが前に位置するかで、問題が生じうる。
　ＡＲ仮想車両Ｃ４について説明するために、ＡＲ仮想車両Ｃ４ではなく、仮想車両Ｃ２を単純に表示した例を図３Ａと図３Ｂに示す。
図３Ａのユーザ光景３００Ａは、仮想車両Ｃ２が前、現実車両Ｃ１が後ろに位置する場合のユーザ光景の例である。ユーザ光景３００Ａは、現実車両Ｃ１を含む現実世界に、仮想車両Ｃ２が重ね合わせて表示されており、不自然な光景ではない。これは、現実車両Ｃ１と仮想車両Ｃ２の位置関係（前：仮想車両Ｃ２、後ろ：現実車両Ｃ１）と、重ね合わせの関係（前：仮想車両Ｃ２、後ろ：現実車両Ｃ１）が一致するためである。
　図３Ｂのユーザ光景３００Ｂは、現実車両Ｃ１が前、仮想車両Ｃ２が後ろに位置する場合のＡＲ画像の例である。ユーザ光景３００Ｂは、現実車両Ｃ１を含む現実世界に、現実車両Ｃ１の後ろに位置する仮想車両Ｃ２が重ね合わせて表示された例である。ユーザ光景３００Ｂは、仮想車両Ｃ２が現実車両Ｃ１の後ろに位置することが視認されず、不自然な光景となっている。これは、ＡＲグラス１０のような透過ディスプレイは、画像が光景よりも手前にあるようにしか表示できず、現実車両Ｃ１と仮想車両Ｃ２の位置関係（前：現実車両Ｃ１、後ろ：仮想車両Ｃ２）と、重ね合わせの関係（前：仮想車両Ｃ２、後ろ：現実車両Ｃ１）が一致しないためである。
　図３Ｃに、現実車両Ｃ１が前、仮想車両Ｃ２が後ろに位置する場合の理想的なユーザ光景の例を示す。図３Ｃのユーザ光景３００Ｃは、仮想車両Ｃ２が現実車両Ｃ１の後ろに位置することが視認できるように描写された例である。ユーザ光景３００ＣのようなＡＲ画像を生成するために、本実施形態では、画像処理装置４０が、仮想空間提供サーバ３０により生成されたユーザ視点画像から、ＡＲ仮想車両Ｃ４を生成する。
　図３Ｄに、現実車両Ｃ１が前、仮想車両Ｃ２が後ろに位置する場合に、仮想空間提供サーバ３０により生成されたユーザ視点画像の例を示す。ユーザ視点画像は、前述のように、仮想世界におけるＡＲグラス１０の仮想位置を視点とした画像である。図３Ｄのユーザ視点画像３００Ｄは、コンピュータグラフィックスで生成されるため、車両の位置関係が正しく描写されている。すなわち、ユーザ視点画像３００Ｄは、現実車両Ｃ１に対応する模擬車両Ｃ３が前、仮想車両Ｃ２が後ろになるように描写されている。
　図３Ｅに、画像処理装置４０により生成されるＡＲ仮想車両Ｃ４の例を示す。図３Ｅの画像３００Ｅは、図３Ｄに示すユーザ視点画像３００Ｄから、模擬車両Ｃ３を削除（言い換えれば、透明化）した画像であり、これがＡＲ仮想車両Ｃ４になる。画像処理装置４０により生成された画像３００Ｅ（すなわち、ＡＲ仮想車両Ｃ４）は、ＡＲグラス１０に送信され、ＡＲグラス１０により表示される。これにより、ＡＲグラス１０を装着したユーザ１は、現実車両Ｃ１と、ＡＲ仮想車両Ｃ４と、を違和感なく見ることが可能となる。
　以下では、このような処理を実現する拡張現実システム１００を構成する各装置（システム）の構成例、並びに、具体的な処理手順の例について説明する。
　［ＡＲグラス１０の構成］
　図４に、本実施形態によるＡＲグラス１０の構成例を示す。ＡＲグラス１０は、ハードウェア構成として、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、入力部１０５と、表示部１０６と、通信部１０７を備える。ＡＲグラス１０はまた、外部メモリを備えてよい。また、ＡＲグラス１０は、ＣＰＵ１０１により実行される機能構成として、表示制御部１１１と、ＡＲグラス位置取得部１１２を有する。
　なお、本実施形態ではＡＲグラス１０は、ユーザ１が装着可能な眼鏡型の装置を想定するが、ゴーグル型や帽子型の装置であってもよいし、プロンプターのように、ユーザが装着しないデバイスであってもよい。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、１つ以上のプロセッサにより構成され、ＡＲグラス１０における動作を統括的に制御するものである。ＣＰＵ１０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の１つ以上のプロセッサによって置き換えられてもよい。ＣＰＵ１０１の機能構成については後述する。
　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０４、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３は、揮発性メモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
　ＨＤＤ１０４は、例えば、ＣＰＵ１０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ１０４には、例えば、ＣＰＵ１０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。なお、当該記憶は、ＨＤＤ１０４とともに、または、ＨＤＤ１０４に代えて、ＳＳＤ等の不揮発性メモリや着脱可能な記憶媒体等の外部メモリを用いて行われてもよい。
　入力部１０５は、ユーザ１による操作を受け付け可能に構成される。入力部１０５は、例えば、ＡＲグラス１０と通信可能に構成された他の通信装置（例えば、スマートフォン）での操作や、ジェスチャーによる操作や、音声による操作を受け付けることができる。
　表示部１０６は、背後が透けて見える透過ディスプレイである。透過ディスプレイの種類は、特に限らず、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ、透過型ＬＣＤ（液晶）ディスプレイなどでもよい。
　通信部１０７は、ＡＲグラス１０と外部装置との通信を制御するインタフェースである。本実施形態では、通信部１０７は、例えば、インターネットおよび無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズに準拠する無線Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ））を用いて、遠隔監視装置２０と画像処理装置４０と通信するように構成される。
　次に、ＡＲグラス１０のＣＰＵ１０１における機能構成について説明する。
　表示制御部１１１は、表示部１０６への表示制御を行う。本実施形態では、表示制御部１１１は、画像処理装置４０から通信部１０７を介して受信したＡＲ仮想車両Ｃ４を、表示部１０６に表示する。なお、表示制御部１１１は、視差画像（視差が異なる左眼用画像と右眼用画像）を受信した場合に、表示部１０６の視差画像を映すための領域に各視差画像を表示するように表示部１０６を制御してもよい。
　ＡＲグラス位置取得部１１２は、通信部１０７を介して受信されたＧＰＳ信号などから、ＡＲグラス１０の位置を示す情報（位置情報）を取得する。ＡＲグラス位置取得部１１２は、取得したＡＲグラス１０の位置情報を、通信部１０７を介して、遠隔監視装置２０へ送信する。
　［遠隔監視装置２０構成］
　図５に、本実施形態による遠隔監視装置２０の構成例を示す。遠隔監視装置２０は、ハードウェア構成として、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、通信部２０５を備える。また、遠隔監視装置２０は、ＣＰＵ２０１により実行される機能構成として、現実車両管理部２１１と、ＡＲグラス位置管理部２１２を有する。
　ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４の基本的な構成は、図４におけるＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と同様のため、説明を省略する。ただし、ＲＡＭ２０３は、車両識別子情報２１３を記憶する。車両識別子情報２１３については後述する。
　通信部２０５は、遠隔監視装置２０と外部装置との通信を制御するインタフェースである。本実施形態では、通信部２０５は、例えば、インターネットおよび無線ＬＡＮを用いて、現実車両Ｃ１と、ＡＲグラス１０と、仮想空間提供サーバ３０と通信するように構成される。
　次に、遠隔監視装置２０のＣＰＵ２０１における機能構成について説明する。
　現実車両管理部２１１は、サーキットを監視し、通信部２０５を介して現実車両Ｃ１とＡＲグラス１０に関する情報を取得する。例えば、現実車両管理部２１１は、現実車両Ｃ１から、現実車両Ｃ１の位置情報を取得する。前述したように、現実車両Ｃ１は、現実車両Ｃ１の位置情報を遠隔監視装置２０へ送信（発信）する機能を有し、現実車両管理部２１１は、当該位置情報を取得することができる。
　また、現実車両管理部２１１は、現実世界と仮想世界で共通で使用可能な、現実車両Ｃ１の識別子を、車両識別子情報２１３を参照して特定（取得）する。例えば、現実車両管理部２１１は、サーキットの監視により、現実車両Ｃ１の特徴（例えば、形状、サイズ、色）を抽出する場合、公知の画像認識処理により、当該特徴に対応する識別子を、車両識別子情報２１３から取得し、現実車両Ｃ１の識別子として特定しうる。あるいは、現実車両Ｃ１にＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグが付されている場合、当該ＲＦＩＤタグから読み取れるタグ情報を利用することができる。例えば、現実車両管理部２１１は、サーキットの監視により、当該ＲＦＩＤタグから読み取ったタグ情報に対応する識別子を、車両識別子情報２１３から取得し、現実車両Ｃ１の識別子として特定しうる。
　現実車両管理部２１１は、取得した現実車両Ｃ１の位置情報と識別子を、通信部２０５を介して、仮想空間提供サーバ３０へ送信する。
　ＡＲグラス位置管理部２１２は、通信部２０５を介して、ＡＲグラス１０からＡＲグラス１０の位置情報を取得し、仮想空間提供サーバ３０へ送信する。
　遠隔監視装置２０は、現実車両Ｃ１の位置情報と識別子、および、ＡＲグラス１０の位置情報を、仮想空間提供サーバ３０へ送信し続ける。
　［仮想空間提供サーバ３０の構成］
　図６に、本実施形態による仮想空間提供サーバ３０の構成例を示す。仮想空間提供サーバ３０は、ハードウェア構成として、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、通信部３０５を備える。また、仮想空間提供サーバ３０は、ＣＰＵ３０１により実行される機能構成として、仮想世界管理部３１１と、画像生成部３１２を有する。ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４の基本的な構成は、図４におけるＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と同様のため、説明を省略する。ただし、ＲＡＭ３０３は、コンテンツ情報３１３を記憶する。コンテンツ情報３１３については後述する。
　通信部３０５は、仮想空間提供サーバ３０と外部装置との通信を制御するインタフェースである。本実施形態では、通信部４０５は、例えば、インターネットおよび無線ＬＡＮ等の通信ネットワークを介して遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４０と通信するように構成される。
　次に、仮想空間提供サーバ３０のＣＰＵ３０１における機能構成について説明する。
　仮想世界管理部３１１は、仮想空間を構築し、仮想世界全体を管理する。例えば、仮想世界管理部３１１は、通信部３０５を介して遠隔監視装置２０から受信した現実車両Ｃ１の識別子に基づいて、現実車両Ｃ１に対応する、仮想世界における車両である模擬車両Ｃ３を生成する。本実施形態では、ＲＡＭ３０３に格納されているコンテンツ情報３１３は、車両の識別子に対応する車両の画像を含む。仮想世界管理部３１１は、現実車両Ｃ１の識別子に対応した模擬車両Ｃ３の画像を、コンテンツ情報３１３から取得する。当該画像は、あらかじめ生成されて保存されていた、現実車両Ｃ１の形状やデザインを模した画像である。
　そして、仮想世界管理部３１１は、通信部３０５を介して遠隔監視装置２０から受信した現実車両Ｃ１の位置情報を用いて模擬車両Ｃ３を動かす。
　また、仮想世界管理部３１１は、前述の通り、仮想車両Ｃ２を動かす。
　仮想世界管理部３１１は、仮想世界におけるオブジェクトを、識別子で管理する。具体的には、仮想世界管理部３１１は、模擬車両Ｃ３を、遠隔監視装置２０から受信した現実車両Ｃ１の識別子で管理する。また、仮想世界管理部３１１は、仮想車両Ｃ２を、新たに生成した識別子で管理する。さらに、仮想世界管理部３１１は、仮想世界におけるオブジェクトが模擬オブジェクトか仮想オブジェクトかを管理する。例えば。仮想世界管理部３１１は、仮想世界における車両が模擬車両または仮想車両かを、識別子に関連付けて管理する。一例として、仮想車両を「０」、模擬車両を「１」に設定し、仮想車両Ｃ２の識別子が「Ｃ２」、模擬車両Ｃ３の識別子が「Ｃ３」である場合、仮想世界管理部３１１は、仮想車両Ｃ２の識別子を「Ｃ２－０」、模擬車両Ｃ３の識別子を「Ｃ３－１」として管理する。
　画像生成部３１２は、特定の仮想位置からの画像を生成する。例えば、画像生成部３１２は、通信部３０５を介して遠隔監視装置２０から受信したＡＲグラス１０の位置情報に基づいて、ＡＲグラス１０の仮想位置（仮想世界におけるＡＲグラス１０の位置）を特定する。そして、画像生成部３１２は、ユーザ視点画像（仮想世界におけるＡＲグラス１０の仮想位置を視点とした画像）を、コンピュータグラフィックスにより生成（作成）する。画像生成部３１２はさらに、ＡＲグラス１０の位置から現実車両Ｃ１の位置への方向を視線方向として用いて、ユーザ視点画像を生成してもよい。生成されるユーザ視点画像の例は、図３Ｄのユーザ視点画像３００Ｄであり、模擬車両Ｃ３と仮想車両Ｃ２の位置関係が視認可能に生成される。画像生成部３１２は、生成したユーザ視点画像を、通信部３０５を介して、画像処理装置４０へ送信する。なお、当然のことながら、画像生成部３１２は、ユーザ視点画像以外の画像も生成してもよい。例えば、仮想空間内の様子を見せるために、様々な仮想位置からの画像を生成してもよい。また、仮想車両Ｃ２に対する操作を受け付ける場合に、当該操作を行うユーザに仮想空間を見せるための画像を生成し、そのためのモニタ（図示されていない）に表示してもよい。
　また、画像生成部３１２は、ユーザ視点画像に含まれる１つ以上の車両の領域（ユーザ視点画像において車両が占める座標情報等）と識別子と位置関係（前後関係）の情報を含めたメタ情報を生成する。例えば、前述のように仮想車両Ｃ２と模擬車両Ｃ３の識別子が設定される場合、メタ情報は、仮想車両Ｃ２の識別子「Ｃ２－０」とユーザ視点画像における仮想車両Ｃ２の領域、模擬車両Ｃ３の識別子「Ｃ３－１」とユーザ視点画像における模擬車両Ｃ３の領域、および、仮想車両Ｃ２と模擬車両Ｃ３の位置関係の情報を含む。画像生成部３１２は、生成したメタ情報を、通信部３０５を介して、画像処理装置４０へ送信する。
　なお、本実施形態では、画像生成部３１２の機能は、仮想空間提供サーバ３０に組み入れられているが、仮想空間提供サーバ３０と別の装置が当該機能を有するように構成されてもよい。
　［画像処理装置４０の構成］
　図７に、本実施形態による画像処理装置４０の構成例を示す。画像処理装置４０は、ハードウェア構成として、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、ＨＤＤ４０４と、通信部４０５を備える。また、画像処理装置４０は、ＣＰＵ４０１により実行される機能構成として、画像処理部４１１を有する。ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、ＨＤＤ４０４の基本的な構成は、図４におけるＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と同様のため、説明を省略する。
　通信部４０５は、画像処理装置４０と外部装置との通信を制御するインタフェースである。本実施形態では、通信部４０５は、例えば、インターネットおよび無線ＬＡＮ等の通信ネットワークを介して仮想空間提供サーバ３０とＡＲグラス１０と通信するように構成される。
　次に、画像処理装置４０のＣＰＵ３０１における機能構成について説明する。
　画像処理部４１１は、通信部４０５を介して、仮想空間提供サーバ３０からユーザ視点画像とメタ情報を取得する。そして、画像処理部４１１は、ユーザ視点画像とメタ情報に基づいて、ユーザ視点画像からＡＲ仮想車両Ｃ４を生成する。上述のように、メタ情報には、ユーザ視点画像における仮想車両Ｃ２と模擬車両Ｃ３の領域の情報が含まれ、画像処理部４１１は、両領域が重なっているか否かを判定し、当該判定の結果に基づいて、以下のようにＡＲ仮想車両Ｃ４を生成する。
　ユーザ視点画像において仮想車両Ｃ２の領域と模擬車両Ｃ３の領域が重なっていない場合、画像処理部４１１は、フルサイズの仮想車両Ｃ２を、ＡＲ仮想車両Ｃ４として生成する。すなわち、画像処理部４１１は、メタ情報に含まれる仮想車両Ｃ２と模擬車両Ｃ３の領域の情報に基づいて、ユーザ視点画像から、仮想車両Ｃ２以外の領域を削除（言い換えれば、透明化）した画像を、ＡＲ仮想車両Ｃ４として生成する（仮想車両Ｃ２とＡＲ仮想車両Ｃ４は同じになる）。
　一方、ユーザ視点画像において仮想車両Ｃ２の領域と模擬車両Ｃ３の領域が重なっている場合、画像処理部４１１は、メタ情報に含まれる仮想車両Ｃ２と模擬車両Ｃ３との位置関係を考慮して、ＡＲ仮想車両Ｃ４を生成する。
　例えば、メタ情報に含まれる模擬車両Ｃ３と仮想車両Ｃ２の位置関係が、仮想車両Ｃ２が前で、模擬車両Ｃ３が後ろの場合、画像処理部４１１は、フルサイズの仮想車両Ｃ２を、ＡＲ仮想車両Ｃ４として生成する。すなわち、画像処理部４１１は、メタ情報に含まれる仮想車両Ｃ２と模擬車両Ｃ３の領域の情報に基づいて、ユーザ視点画像から、仮想車両Ｃ２以外の領域を削除した画像を、ＡＲ仮想車両Ｃ４として生成する（仮想車両Ｃ２とＡＲ仮想車両Ｃ４は同じになる）。
　一方、メタ情報に含まれる模擬車両Ｃ３と仮想車両Ｃ２の位置関係が、仮想車両Ｃ２が後ろで、模擬車両Ｃ３が前の場合、画像処理部４１１は、仮想車両Ｃ２から、仮想車両Ｃ２と模擬車両Ｃ３と重なった慮域（部分）を削除した画像を、ＡＲ仮想車両Ｃ４として生成する。すなわち、画像処理部４１１は、メタ情報に含まれる仮想車両Ｃ２と模擬車両Ｃ３の領域の情報に基づいて、ユーザ視点画像から、仮想車両Ｃ２のうち、仮想車両Ｃ２と模擬車両Ｃ３が重なる領域を削除した画像を、ＡＲ仮想車両Ｃ４として生成する。ＡＲ仮想車両Ｃ４の例は、図３Ｄと図３Ｅを参照して説明した通りであり、仮想車両Ｃ２に対して、仮想車両Ｃ２と模擬車両Ｃ３が重なる領域が削除された画像になる。
　画像処理部４１１は、生成したＡＲ仮想車両Ｃ４を、通信部４０５を介してＡＲグラス１０へ送信する。
　なお、ＡＲグラス１０と、遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４０は、各自の各機能を実行する専用のハードウェアを備えてもよいし、各自の全機能の一部をハードウェアで実行し、プログラムを動作させるコンピュータでその他の部分を実行してもよい。また、全機能がコンピュータとプログラムにより実行されてもよい。
　［処理の流れ］
　図８を参照して、本実施形態による処理の流れについて説明する。図８は、本実施形態による現実車両Ｃ１と、ＡＲグラス１０と、遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４０の通信シーケンス図の一例を示す。なお、各処理の順序は、図８に示す順序に限定されない。
　本例では、現実のサーキットを走行する現実車両Ｃ１を、仮想空間において模擬車両Ｃ３として再現する。そして、仮想空間において、模擬車両Ｃ３と、現実のサーキットを走行する現実車両には対応していない仮想車両Ｃ２と、を走行させる。また、ユーザ１は、ＡＲグラス１０を介して、現実のサーキットを走行する現実車両Ｃ１と、ＡＲ仮想車両Ｃ４（仮想車両Ｃ２に対応）と、を同時に視覚する。
　まず、仮想空間提供サーバ３０は、仮想空間を生成する（Ｓ８０１）。当該生成には、仮想車両Ｃ２などの仮想オブジェクトも含まれる。
　遠隔監視装置２０は、サーキットを監視している（Ｓ８０２）。ここで、遠隔監視装置２０は、現実車両Ｃ１の特徴（例えば、形状、サイズ、色）を抽出しうる。これに代えて、あるいは、追加的に、遠隔監視装置２０は、現実車両Ｃ１に付されているＲＦＩＤタグのタグ情報を取得しうる。
　また、サーキットの監視（Ｓ８０２）の間に、遠隔監視装置２０は、現実車両Ｃ１により送信された、現実車両Ｃ１の位置情報、および、ＡＲグラス１０により送信された、ＡＲグラス１０の位置情報を取得する。
　サーキットの監視（Ｓ８０２）により得られる情報に基づき、遠隔監視装置２０は、現実車両Ｃ１の識別子を取得する（Ｓ８０３）。例えば、遠隔監視装置２０は、Ｓ９０１のサーキットの監視により得られた、現実車両Ｃ１の特徴やタグ情報に基づき、現実車両Ｃ１の識別子を取得することができる。
　遠隔監視装置２０は、現実車両Ｃ１の位置情報と識別子、および、ＡＲグラス１０の位置情報を、仮想空間提供サーバ３０へ送信する（Ｓ８０４）。Ｓ８０２からＳ８０４の処理は、継続的に行われる。
　仮想空間提供サーバ３０は、遠隔監視装置２０から受信した現実車両Ｃ１の識別子に基づいて、現実車両Ｃ１に対応する、仮想世界における車両である模擬車両Ｃ３を仮想空間に生成する。そして、仮想空間提供サーバ３０は、遠隔監視装置２０から受信した現実車両Ｃ１の位置情報を用いて、仮想空間において、模擬車両Ｃ３を動かす（Ｓ８０５）。
　また、仮想空間提供サーバ３０は、遠隔監視装置２０から受信したＡＲグラス１０の位置情報に基づいて、ユーザ視点画像（仮想世界におけるＡＲグラス１０の仮想位置を視点とした画像）を、コンピュータグラフィックスにより生成する（Ｓ８０６）。
　さらに、仮想空間提供サーバ３０は、ユーザ視点画像に含まれる１つ以上の車両の領域（位置）と識別子の情報を含めたメタ情報を生成する（Ｓ８０６）。本例では、メタ情報は、仮想車両Ｃ２の識別子、模擬車両Ｃ３の識別子、および、ユーザ視点画像における仮想車両Ｃ２と模擬車両Ｃ３の領域と両車両の位置関係（前後関係）の情報を含む。
　仮想空間提供サーバ３０は、生成したユーザ視点画像とメタ情報とを、画像処理装置４０へ送信する（Ｓ８０７）。
　画像処理装置４０は、仮想空間提供サーバ３０から受信したユーザ視点画像とメタ情報に基づいて、ＡＲ仮想車両Ｃ４を生成する（Ｓ８０８）。上述のように、メタ情報には、ユーザ視点画像における仮想車両Ｃ２と模擬車両Ｃ３の領域と両車両の位置関係の情報が含まれる。画像処理装置４０は、両領域が重なっているか否かを判定し、重なっている場合には、両車両の位置関係を考慮して、ＡＲ仮想車両Ｃ４を生成する。
　例えば、図３Ｄのユーザ視点画像３００Ｄのように、仮想車両Ｃ２の領域と模擬車両Ｃ３の領域が重なっており、両車両の位置関係が、模擬車両Ｃ３が前で、仮想車両Ｃ２が後ろの場合、画像処理装置４０は、図３Ｅの画像３００Ｅのように、ＡＲ仮想車両Ｃ４を生成する。すなわち、画像処理装置４０は、仮想車両Ｃ２のうち、模擬車両Ｃ３と重なる領域を削除した画像を、ＡＲ仮想車両Ｃ４として生成する。
　本実施形態では、現実世界の現実オブジェクトと、仮想空間提供サーバ３０により生成されるユーザ視点画像における模擬オブジェクトと、は一致するとみなしている。例えば、ユーザ視点画像３００Ｄにおける模擬車両Ｃ３と、ユーザの目視における現実車両Ｃ１は、位置（および形状）が一致するとみなしている。よって、ユーザ視点画像３００Ｄにおける仮想車両Ｃ２と模擬車両Ｃ３の前後関係に応じてＡＲ仮想車両Ｃ４の表示部分を調整することにより、ＡＲグラス１０を通して視覚するＡＲ仮想車両Ｃ４が抽出できる。
　なお、本開示において、「一致する」という語は、ほぼ一致する（例えば、一致度が所定範囲以内）と同義であるとする。
　画像処理装置４０は、生成したＡＲ仮想車両Ｃ４と、メタ情報に含まれる仮想車両Ｃ２の領域（ユーザ視点画像において仮想車両Ｃ２が占める座標情報等）の情報とを、ＡＲグラス１０へ送信する（Ｓ８０９）。
　ＡＲグラス１０は、画像処理装置４０からＡＲ仮想車両Ｃ４と共に、メタ情報に含まれる仮想車両Ｃ２の領域（ユーザ視点画像において仮想車両Ｃ２が占める座標情報等）の情報を受信する。そして、ＡＲグラス１０は、表示部１０６の当該情報が示す領域にＡＲ仮想車両Ｃ４を表示する（Ｓ８１０）。これにより、ユーザ１は、現実車両Ｃ１と仮想車両Ｃ２とを自然な位置関係で見ることができる。例えば、図３Ｃに示すように、仮想車両Ｃ２（ＡＲ仮想車両Ｃ４に対応）が現実車両Ｃ１の後ろに位置する場合でも、現実車両Ｃ１に対する仮想車両Ｃ２の位置が不自然ではないように見える。
　このように、本実施形態による画像処理装置４０は、仮想世界におけるユーザ１の視点の画像（ユーザ視点画像）における仮想車両Ｃ２から、仮想車両Ｃ２と模擬車両Ｃ３の領域や位置関係に基づいて、ＡＲグラス１０に表示させるためのＡＲ仮想車両Ｃ４を生成する。ＡＲグラス１０は、ＡＲ仮想車両Ｃ４を表示部の適切な領域に表示する。ＡＲ仮想車両Ｃ４がユーザ１から見える部分しか有していないため、ユーザ視点画像における仮想車両Ｃ２と模擬車両Ｃ３の前後関係が、ＡＲグラス１０を通して視聴する仮想車両Ｃ２と現実車両Ｃ１の前後関係と一致する。これにより、ユーザ１が覚える違和感を軽減することができる。すなわち、現実世界におけるユーザ１は、よりリアルな表示態様のＡＲ画像を視聴することが可能となる。
　なお、本実施形態では、現実世界と仮想世界で複数の車両が動く場合について説明したが、前述の通り、現実世界と仮想世界で動く対象は、車両に限定されない。現実世界と仮想世界において、前後関係が変化しうる任意の動的オブジェクトまたは静的オブジェクトに対して、本実施形態を適用可能である。
　＜第２実施形態＞
　第１実施形態では、仮想空間提供サーバ３０は、ユーザ１の仮想位置（仮想世界におけるユーザ１の位置）を視点とした画像として、ＡＲグラス１０の仮想位置（仮想世界におけるＡＲグラス１０の位置）を視点とした画像をユーザ視点画像として生成した。しかしながら、ユーザ１の向きや姿勢により、両視点は一致するとは限らない。すなわち、ＡＲグラス１０を装着するユーザ１は、高さや向きや姿勢を変えることができ、それに応じて、ユーザ１の仮想位置の視点も変化しうる。つまり、仮想空間提供サーバ３０により生成されるユーザ視点画像と、ユーザが目視する現実世界とのずれが、認識できる程度に大きいことも有りうる。
　このずれが大きいと、仮想オブジェクトの一部の領域が削除されたＡＲ画像では、不自然な光景となりうる。図３Ｆに、不自然なユーザ光景の例を示す。図３Ｆのユーザ光景３００Ｆは、ＡＲ仮想車両Ｃ４の一部が欠けていることを認識できてしまうため、ユーザに違和感を与えてしまう光景となっている。
　そこで、本実施形態では、ユーザ１が装着するＡＲグラス１０が撮像処理を行い、当該撮像処理で得られる現実世界の画像（現実画像）に基づいて、ユーザ視点画像を修正し、当該ユーザ視点画像から、ＡＲ仮想車両を生成するように構成する。以下、第１実施形態と異なる点について説明し、共通部分については説明を省略する。
　図９は、本実施形態による拡張現実システム１０００の構成例を示す。本実施形態による拡張現実システム１０００は、図１における拡張現実システム１００と比較して、ＡＲグラス１１と画像処理装置４１の構成が異なる。ＡＲグラス１１は、現実画像Ｐ１を、画像処理装置４１へ送信しうる。
　図１０に、本実施形態によるＡＲグラス１１の構成例を示す。図４に示すＡＲグラス１０と異なる構成として、ＡＲグラス１１は、撮像部１０８と、撮像制御部１１２と、をさらに備える。
　撮像部１０８は、ユーザ１が視聴する現実世界を認識して撮像処理を行い、現実世界の画像を生成する。撮像部１０８は、ＡＲグラス１０を装着するユーザ１が視聴する世界を再現できる位置に配備される。なお、ＡＲグラス１０は、複数の撮像部１０８を有してもよい。
　撮像制御部１１２は、撮像部１０８による撮像処理の制御を行う。撮像制御部１１２は、ユーザ１による操作や、所定の設定に従って、撮像部１０８を制御しうる。また、撮像制御部１１２は、撮像部１０８により生成されたユーザ視界（例えば、現実画像Ｐ１）を、通信部１０７を介して画像処理装置４０へ送信しうる。
　図１１に、本実施形態による画像処理装置４１の構成例を示す。図７に示す画像処理装置４０と異なる構成として、画像処理装置４１は、ＣＰＵ４０１により実行される機能構成として、画像処理部４１２を有する。また、ＲＡＭ４０３が、画像調整モデル４１３を格納する。なお、画像調整モデル４１３は、ＲＯＭ４０２に格納されてもよい。画像調整モデル４１３は、仮想空間提供サーバ３０により生成されるユーザ視点画像と、ＡＲグラス１０により得られる現実画像Ｐ１を入力として、当該ユーザ視点画像の向きおよび／またはサイズを調整（修正）した調整ユーザ視点画像を予測して出力するように構成された、ディープラーニングのための学習モデルである。画像調整モデル４１３は、予め学習されており、ＲＡＭ４０３（または、ＲＯＭ４０２）に格納されている。
　本実施形態では、仮想空間提供サーバ３０により生成されるユーザ視点画像と、ＡＲグラス１０により得られる現実画像Ｐ１とのずれは、認識できる程度はあるが、それほど乖離していないものとみなす。言い換えれば、ユーザ視点画像と現実画像Ｐ１には同じオブジェクトが映し出されており、そのオブジェクトの位置、向き、サイズ、などが微妙に異なりうる。そこで、画像調整モデル４１３は、ユーザ視点画像に写るオブジェクトと、現実画像Ｐ１に写るオブジェクトが一致するように、入力されたユーザ視点画像のオブジェクトの位置、向きおよび／またはサイズを修正する。当該修正は、ディープラーニングにより作成済みの画像調整モデル４１３を用いる。当該モデルは、入力された二つの画像の映し出された対象のオブジェクトを認識し、一方の画像の対象のオブジェクトを他方の画像のオブジェクトに合わせるように、一方の画像に対して修正を施すものである。当該モデルは、公知のものを用いてよい。
　画像処理部４１２は、仮想空間提供サーバ３０から受信したユーザ視点画像と、ＡＲグラス１０から受信した現実画像Ｐ１とを画像調整モデル４１３に入力して、調整ユーザ視点画像を取得する。さらに、本実施形態による画像処理部４１２は、当該調整ユーザ視点画像から、第１実施形態で述べた手順と同様の手順により、ＡＲ仮想車両を生成する。
　本実施形態による調整ユーザ視点画像の生成の手順の概要を、図１２を参照して説明する。図１２は、本実施形態による調整ユーザ視点画像の生成の手順を説明するための図である。ユーザ視点画像１２０１は、仮想空間提供サーバ３０の画像生成部３１２により生成されたユーザ視点画像であり、仮想車両Ｃ２と模擬車両Ｃ３を含む。また、現実画像１２０２は、ユーザ１が装着するＡＲグラス１０の撮像部１０８により生成された現実画像であり、現実車両Ｃ１を含む。画像調整モデル４１３は、ユーザ視点画像１２０１と現実画像１２０２を入力して、色や形状の一致および／または識別子の情報等から、現実車両Ｃ１と模擬車両Ｃ３とが対応関係にあると判定する。そして、画像調整モデル４１３は、現実車両Ｃ１を基準として、模擬車両Ｃ３と現実車両Ｃ１が一致するように、ユーザ視点画像１２０１の位置、向きおよび／またはサイズを修正し、調整ユーザ視点画像１２０３を出力する。これにより、調整ユーザ視点画像１２０３と、ユーザが目視する現実世界とのずれが、小さくなる。
　［処理の流れ］
　図１３を参照して、本実施形態による処理の流れについて説明する。図１３は、本実施形態による現実車両Ｃ１と、ＡＲグラス１０と、遠隔監視装置２０と、仮想空間提供サーバ３０と、画像処理装置４１の通信シーケンス図の一例を示す。なお、各処理の順序は、図１３に示す順序に限定されない。図８と同様の処理については、同じ参照符号を付して説明を省略する。
　画像処理装置４１は、仮想空間提供サーバ３０からユーザ視点画像とメタ情報を受信し（Ｓ８０７）、ＡＲグラス１０から、現実画像Ｐ１を受信する（Ｓ１３０１）。画像処理装置４１は、ユーザ視点画像と現実画像Ｐ１とを画像調整モデル４１３に入力して、調整ユーザ視点画像を生成する（Ｓ１３０２）。続いて、画像処理装置４０は、当該調整ユーザ視点画像とメタ情報に基づいて、ＡＲ仮想車両Ｃ４を生成する（Ｓ１３０３）。
　このような処理により、ＡＲグラス１０を装着したユーザ１の高さや向きや姿勢が変化し、現実画像とユーザ視点画像が不一致の状態になったとしても、画像処理装置４１が調整ユーザ視点画像を生成し、当該調整ユーザ視点画像に基づいてＡＲ仮想車両が生成される。
　なお、本実施形態では、画像処理装置４１は、現実車両Ｃ１を基準として調整ユーザ視点画像を生成したが、静的なオブジェクト（例えば道路や標識）といった任意のオブジェクトを基準として、調整ユーザ視点画像を生成してもよい。
　このように、本実施形態よれば、ＡＲグラス１０を装着したユーザ１の高さや向きや姿勢の変化に応じて生成された調整ユーザ視点画像に基づいてＡＲ仮想車両が生成され、当該ＡＲ仮想車両を用いて、ＡＲ画像が生成される。これにより、ＡＲ画像が、ユーザ１にとってより違和感のない態様でＡＲグラス１０に表示され、現実世界におけるユーザ１は、よりリアルな表示態様を興じることが可能となる。
　なお、本実施形態では、現実世界と仮想世界で複数の車両が動く場合のＡＲ画像生成について説明したが、現実世界と仮想世界で動く対象は、車両に限定されない。現実世界と仮想世界において、前後関係が変化しうる任意の動的オブジェクトまたは静的オブジェクトに対して、本実施形態を適用可能である。
　なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本開示の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本開示の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本開示の技術的範囲に属する。
　（本開示の実施形態）
　本開示は以下の実施形態を含む。
［１］１つ以上のプロセッサを備え、前記１つ以上のプロセッサの少なくとも一つによって、仮想世界における指定された位置からの仮想視点画像を生成する第１生成処理と、前記仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定処理と、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する第２生成処理と、前記ＡＲオブジェクトを透過ディスプレイに表示させる表示処理と、が実行される、拡張現実システム。
［２］前記第２生成処理は、前記仮想視点画像において、前記模擬オブジェクトが前で、前記仮想オブジェクトが後ろの場合に、前記仮想オブジェクトから、前記模擬オブジェクトと前記仮想オブジェクトが重なる領域を削除した前記ＡＲオブジェクトを生成することを含む、［１］に記載の拡張現実システム。
［３］前記１つ以上のプロセッサの少なくとも一つによって、さらに、ユーザ装置により撮像された現実画像を用いて前記仮想視点画像を調整して調整仮想視点画像を生成する第３生成処理が実行され、前記判定処理は、前記調整仮想視点画像において、前記模擬オブジェクトと前記仮想オブジェクトが重なるか否かを判定することを含み、前記第２生成処理は、前記調整仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記調整仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記ＡＲオブジェクトを生成することを含む、［１］または［２］に記載の拡張現実システム。
［４］前記第３生成処理において、前記調整仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応するオブジェクトと、のずれが、仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応する前記オブジェクトと、のずれよりも小さくなる、［３］に記載の拡張現実システム。
［５］前記現実オブジェクトは、前記現実世界で走行する車両であり、前記仮想オブジェクトは、前記仮想世界で走行する、車両を模したオブジェクトである、［１］から［４］のいずれかに記載の拡張現実システム。
［６］１つ以上のプロセッサを備え、前記１つ以上のプロセッサの少なくとも一つによって、仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定処理と、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成処理と、が実行される、画像処理装置。
［７］前記生成処理は、前記仮想視点画像において、前記模擬オブジェクトが前で、前記仮想オブジェクトが後ろの場合に、前記仮想オブジェクトから、前記模擬オブジェクトと前記仮想オブジェクトが重なる領域を削除した前記ＡＲオブジェクトを生成する、［６］に記載の画像処理装置。
［８］前記１つ以上のプロセッサの少なくとも一つによって、さらに、ユーザ装置により撮像された現実画像を用いて前記仮想視点画像を調整して調整仮想視点画像を生成する調整処理、が実行され、前記判定処理は、前記調整仮想視点画像において、前記模擬オブジェクトと前記仮想オブジェクトが重なるか否かを判定することを含み、前記生成処理は、前記調整仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記調整仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記ＡＲオブジェクトを生成することを含む、［６］または［７］に記載の画像処理装置。
［９］前記調整処理において、前記調整仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応するオブジェクトと、のずれが、仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応する前記オブジェクトと、のずれよりも小さくなる、［８］に記載の画像処理装置。
［１０］仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定工程と、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成工程と、
を含む、画像処理方法。
［１１］プログラムを記憶するコンピュータ可読記憶媒体であって、前記プログラムは、画像処理装置の１つ以上のプロセッサによって実行されたときに、前記画像処理装置に、仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定処理と、前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成工程と、を実行させる命令を含む記憶媒体。
１：ユーザ、１０：ＡＲグラス、２０：遠隔監視装置、３０：仮想空間提供サーバ、４０；４１：画像処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＨＤＤ、１０５：入力部、１０６：表示部、１０７：通信部、１０８：撮像部、１１１：表示制御部、１１２：ＡＲグラス位置取得部、１１３：撮像制御部、２０１：ＣＰＵ、２０２：ＲＯＭ、２０３：ＲＡＭ、２０４、ＨＤＤ、２０５：通信部、２１１：現実車両管理部、２１２：ＡＲグラス位置管理部、２１３：車両識別子情報、３０１：ＣＰＵ、３０２：ＲＯＭ、３０３：ＲＡＭ、３０４：ＨＤＤ、３０５：通信部、３１１：仮想世界管理部、３１２：画像生成部３１２、３１３：コンテンツ情報、４０１：ＣＰＵ、４０２：ＲＯＭ、４０３：ＲＡＭ、４０４：ＨＤＤ、４０５：通信部、４１１；４１２：画像処理部、４１３：画像調整モデル
 

 

Claims (10)

  1. 　１つ以上のプロセッサ
    を備え、
    　前記１つ以上のプロセッサの少なくとも一つによって、
    　仮想世界における指定された位置からの仮想視点画像を生成する第１生成処理と、
    　前記仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定処理と、
    　前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する第２生成処理と、
    　前記ＡＲオブジェクトを透過ディスプレイに表示させる表示処理と、
    が実行される、拡張現実システム。
  2. 　前記第２生成処理は、
    　前記仮想視点画像において、前記模擬オブジェクトが前で、前記仮想オブジェクトが後ろの場合に、前記仮想オブジェクトから、前記模擬オブジェクトと前記仮想オブジェクトが重なる領域を削除した前記ＡＲオブジェクトを生成することを含む、
    　請求項１に記載の拡張現実システム。
  3. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　ユーザ装置により撮像された現実画像を用いて前記仮想視点画像を調整して調整仮想視点画像を生成する第３生成処理、
    が実行され、
    　前記判定処理は、前記調整仮想視点画像において、前記模擬オブジェクトと前記仮想オブジェクトが重なるか否かを判定することを含み、
    　前記第２生成処理は、前記調整仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記調整仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記ＡＲオブジェクトを生成することを含む、
    　請求項１に記載の拡張現実システム。
  4. 　前記第３生成処理において、前記調整仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応するオブジェクトと、のずれが、仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応する前記オブジェクトと、のずれよりも小さくなる、
    　請求項３に記載の拡張現実システム。
  5. 　前記現実オブジェクトは、前記現実世界で走行する車両であり、
    　前記仮想オブジェクトは、前記仮想世界で走行する、車両を模したオブジェクトである、
    請求項１に記載の拡張現実システム。
  6. 　１つ以上のプロセッサ
    を備え、
    　前記１つ以上のプロセッサの少なくとも一つによって、
    　仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定処理と、
    　前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成処理と、
    が実行される、画像処理装置。
  7. 　前記生成処理は、
    　前記仮想視点画像において、前記模擬オブジェクトが前で、前記仮想オブジェクトが後ろの場合に、前記仮想オブジェクトから、前記模擬オブジェクトと前記仮想オブジェクトが重なる領域を削除した前記ＡＲオブジェクトを生成する、
    　請求項６に記載の画像処理装置。
  8. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　ユーザ装置により撮像された現実画像を用いて前記仮想視点画像を調整して調整仮想視点画像を生成する調整処理、
    が実行され、
    　前記判定処理は、前記調整仮想視点画像において、前記模擬オブジェクトと前記仮想オブジェクトが重なるか否かを判定することを含み、
    　前記生成処理は、前記調整仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記調整仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記ＡＲオブジェクトを生成することを含む、
    　請求項６に記載の画像処理装置。
  9. 　前記調整処理において、前記調整仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応するオブジェクトと、のずれが、仮想視点画像に写る前記仮想オブジェクトと、前記現実画像に写る前記仮想オブジェクトに対応する前記オブジェクトと、のずれよりも小さくなる、
    　請求項８に記載の画像処理装置。
  10. 　仮想世界における指定された位置からの仮想視点画像において、前記現実世界における現実オブジェクトに対応する前記仮想世界における模擬オブジェクトと、前記仮想世界に存在し前記模擬オブジェクトとは異なる仮想オブジェクトが重なるか否かを判定する判定工程と、
    　前記仮想視点画像において前記模擬オブジェクトと前記仮想オブジェクトが重なると判定された場合に、前記仮想視点画像における前記模擬オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトに対応するＡＲ（拡張現実）画像用のＡＲオブジェクトを生成する生成工程と、
    　を含む、画像処理方法。
     
     
     
     
     

     
PCT/JP2022/029132 2022-07-28 2022-07-28 拡張現実画像を生成するための画像処理 WO2024024037A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029132 WO2024024037A1 (ja) 2022-07-28 2022-07-28 拡張現実画像を生成するための画像処理

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029132 WO2024024037A1 (ja) 2022-07-28 2022-07-28 拡張現実画像を生成するための画像処理

Publications (1)

Publication Number Publication Date
WO2024024037A1 true WO2024024037A1 (ja) 2024-02-01

Family

ID=89705768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029132 WO2024024037A1 (ja) 2022-07-28 2022-07-28 拡張現実画像を生成するための画像処理

Country Status (1)

Country Link
WO (1) WO2024024037A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015212891A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP2016218534A (ja) * 2015-05-15 2016-12-22 国立大学法人九州大学 画像表示システムおよび画像表示方法
JP2019152899A (ja) * 2018-02-28 2019-09-12 株式会社バンダイナムコスタジオ シミュレーションシステム及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015212891A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP2016218534A (ja) * 2015-05-15 2016-12-22 国立大学法人九州大学 画像表示システムおよび画像表示方法
JP2019152899A (ja) * 2018-02-28 2019-09-12 株式会社バンダイナムコスタジオ シミュレーションシステム及びプログラム

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US11484790B2 (en) Reality vs virtual reality racing
CN109863538B (zh) 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲系统和方法
KR101978896B1 (ko) 스테레오 렌더링 시스템
CA2896240C (en) System and method for role-switching in multi-reality environments
AU2008270883B2 (en) Virtual interactive presence systems and methods
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
JP6619871B2 (ja) 媒介現実コンテンツの共有
US20150002541A1 (en) System And Method For Role Negotiation In Multi-Reality Environments
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
CN107810634A (zh) 用于立体增强现实的显示器
US20210368152A1 (en) Information processing apparatus, information processing method, and program
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
WO2019044123A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2024024037A1 (ja) 拡張現実画像を生成するための画像処理
CN111699460A (zh) 多视图虚拟现实用户界面
US20230052104A1 (en) Virtual content experience system and control method for same
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡
NZ715526B2 (en) System and method for role negotiation in multi-reality environments
JPWO2013057818A1 (ja) 立体画像表示方法、立体画像表示装置、および、立体画像視認用眼鏡

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17926467

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953126

Country of ref document: EP

Kind code of ref document: A1