WO2023181887A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2023181887A1
WO2023181887A1 PCT/JP2023/008363 JP2023008363W WO2023181887A1 WO 2023181887 A1 WO2023181887 A1 WO 2023181887A1 JP 2023008363 W JP2023008363 W JP 2023008363W WO 2023181887 A1 WO2023181887 A1 WO 2023181887A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing
space
information processing
image
instruction guide
Prior art date
Application number
PCT/JP2023/008363
Other languages
English (en)
French (fr)
Inventor
大輔 田島
美和 市川
智裕 石井
大夢 弓場
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023181887A1 publication Critical patent/WO2023181887A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program that can realize photographing as intended by an instructor.
  • Patent Document 1 discloses a technique for supporting a user to take a photo at the same position and camera angle as a previously taken photo.
  • the present disclosure has been made in view of this situation, and is intended to make it possible to realize photographing as intended by the instructor.
  • the information processing device of the present disclosure includes a display control unit that displays a captured image captured by a camera in a first space where an object to be photographed exists, and a second space that is spatially shared with the first space. Based on the photographing position and photographing angle of the object to be photographed set in , a photographing instruction guide that guides photographing at the photographing angle is superimposed and displayed as a virtual object at a position corresponding to the photographing position on the captured image.
  • the information processing apparatus includes a superimposition control section that performs the following steps.
  • an information processing device displays a captured image captured by a camera in a first space where an object to be photographed exists, and displays a captured image captured by a camera in a second space that is space-shared with the first space. Based on the photographing position and photographing angle of the object to be photographed set in space, a photographing instruction guide that guides photographing at the photographing angle is superimposed as a virtual object at a position corresponding to the photographing position on the captured image. This is an information processing method for display.
  • the program of the present disclosure displays, on a computer, a captured image captured by a camera in a first space where an object to be photographed exists, and is set in a second space that is space-shared with the first space.
  • a captured image captured by a camera in a first space where an object to be photographed exists is displayed, and the object to be photographed is set in a second space that is shared in space with the first space.
  • a photographing instruction guide that guides photographing at the photographing angle is superimposed and displayed as a virtual object at a position corresponding to the photographing position on the captured image.
  • FIG. 1 is a diagram showing an overview of a three-dimensional space sharing system according to the present disclosure.
  • FIG. 2 is a diagram showing an overview of operation phases in the three-dimensional space sharing system.
  • FIG. 3 is a diagram illustrating a transition from an instruction phase to a photographing phase.
  • FIG. 3 is a diagram illustrating a transition from a photographing phase to a confirmation phase.
  • FIG. 7 is a diagram showing variations in the outline of the photographing instruction guide.
  • 1 is a diagram illustrating a configuration example of a three-dimensional space sharing system.
  • FIG. 3 is a diagram illustrating an example of metadata of a virtual object.
  • FIG. 2 is a block diagram showing a configuration example of a VRHMD.
  • FIG. 2 is a block diagram showing a configuration example of an AR device.
  • FIG. 2 is a diagram illustrating the flow of operation of the entire three-dimensional space sharing system.
  • 3 is a flowchart illustrating the flow of operations of the server.
  • 3 is a flowchart illustrating the flow of operations of a client.
  • 3 is a flowchart illustrating the flow of data transmission processing.
  • 3 is a flowchart illustrating the flow of designated object ID data request processing.
  • 3 is a flowchart illustrating the flow of data reception processing.
  • FIG. 3 is a diagram illustrating the flow of photographing processing by an AR device.
  • 3 is a flowchart illustrating the flow of virtual object display processing.
  • FIG. 7 is a diagram illustrating a display example of a photographing instruction guide and an image object. It is a flowchart explaining the flow of automatic evaluation processing.
  • FIG. 7 is a diagram illustrating a display example of a photographing instruction guide and an image object. It is a flowchart explaining the flow of automatic evaluation processing.
  • FIG. 7 is a diagram illustrating a display example of a photographing instruction guide and an image object.
  • 3 is a flowchart illustrating the flow of instructor evaluation processing.
  • FIG. 7 is a diagram illustrating a display example of a photographing instruction guide and an image object. It is a figure which shows the other example of a structure of a three-dimensional space sharing system.
  • FIG. 3 is a diagram illustrating an example of a virtual object indicating a photographing order.
  • FIG. 7 is a diagram showing an example of a photographing instruction guide as a planar image. It is a figure which shows the variation of a plane image.
  • FIG. 3 is a diagram illustrating the problem of a shooting instruction guide as a stereoscopic image.
  • FIG. 2 is a diagram illustrating a shooting instruction that combines a three-dimensional image and a two-dimensional image.
  • FIG. 7 is a diagram showing another example of a planar image. It is a flowchart explaining the flow of 3D model calling processing.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • a shooting angle instruction UI User Interface
  • xR Physical Reality
  • AR Augmented Reality
  • FIG. 1 is a diagram showing an overview of a three-dimensional space sharing system according to the present disclosure.
  • the VR space and the real space are synchronized, and users in each space can communicate each other's intentions using a UI presented by 3D space sharing using a virtual origin. Make it understandable. Specifically, a virtual object corresponding to a shooting instruction by a user (instructor) in the VR space is presented in AR to a user (worker) in the real space. Further, a virtual object corresponding to a photographed image (still image) photographed by a user in real space according to a photographing instruction is presented to a user in VR space.
  • the user in the real space can take pictures at the shooting position and angle intended by the user in the VR space. Further, the user in the VR space can check whether the user's intention has been conveyed to the user in the real space.
  • FIG. 2 shows the action phase of the user U1 existing in the VR space
  • the lower part of FIG. 2 shows the action phase of the user U2 existing in the real space.
  • a user U1 who is an instructor at a remote location instructs a user U2 who is a worker at the site to photograph the object to be photographed 10R, which is a real object.
  • a VRHMD Head Mounted Display
  • the user U1 can instruct photography in the VR space.
  • a virtual origin O2 corresponding to the virtual origin O1 in the VR space is set, so that the VR space and the real space share a three-dimensional space.
  • the user U1 in the VR space issues a shooting instruction guide SGV, which is a three-dimensional image representing a shooting angle from an arbitrary shooting position, to a corresponding object 10V, which is a virtual object corresponding to the object to be shot 10R.
  • a shooting instruction guide SGV which is a three-dimensional image representing a shooting angle from an arbitrary shooting position
  • a corresponding object 10V which is a virtual object corresponding to the object to be shot 10R.
  • Photographing instruction information indicating the position, posture, etc. of the photographing instruction guide SGV is transmitted via the server to an AR device such as a smartphone or an ARHMD owned by the user U2.
  • the user U2 causes the AR device to display the captured image with the object to be photographed 10R as the subject.
  • a photographing instruction guide SGA is presented in AR (superimposed display) on the captured image based on photographing instruction information from the server.
  • the user U2 photographs the object to be photographed 10R according to the photographing instruction guide SGA.
  • the photographed image is transmitted via the server to the VRHMD worn by the user U1, along with photographic target information such as the position and orientation of the AR device at the time of photographing.
  • the user U1 confirms the image object POV corresponding to the captured image captured by the AR device, which is developed in the VR space as a virtual object.
  • the image object POV is arranged at a position and orientation corresponding to the position and orientation of the AR device at the time of shooting.
  • FIG. 3 is a diagram illustrating the transition from the instruction phase to the photographing phase.
  • two shooting instruction guides SGV1 and SGV2 are set for the corresponding object 10V.
  • a photographing instruction object SO for setting a photographing instruction guide is placed in front of the corresponding object 10V.
  • the user U1 can set the shooting instruction guide by arranging the shooting instruction object SO at a desired position and in a desired posture in the VR space and pressing the shooting instruction button Sb.
  • the position and orientation of the shooting instruction object SO when the shooting instruction button Sb is pressed are reflected in the shooting instruction guide presented in AR in real space.
  • the shooting instruction guides SGA1, SGA2, and SGA3 are presented in AR reflecting the position and orientation of the shooting instruction object SO when the shooting instruction button Sb is pressed in the VR space.
  • FIG. 4 is a diagram illustrating the transition from the photographing phase to the confirmation phase.
  • image objects POA1 and POA2 corresponding to photographed images photographed according to photographing instruction guides SGA1 and SGA2 are presented in AR.
  • a photographing instruction guide SGA3 is arranged in front of the object to be photographed 10R, as in FIG. 3.
  • the user U2 can take a photograph at the photographing position and photographing angle intended by the user U1 by adjusting the position and posture of the AR device (camera) according to the photographing instruction guide.
  • the position and orientation of the AR device (camera) when a photographed image is photographed according to the photographing instruction guide are reflected in the image objects POA1 and POA2 presented in AR in real space and in the image objects developed in VR space.
  • image objects POV1, POV2, and POV3 corresponding to photographed images photographed according to the photographing instruction guides SGA1, SGA2, and SGA3 are developed.
  • Image objects POV1, POV2, and POV3 are developed in real space, reflecting the position and orientation of the AR device (camera) when the captured image was captured according to the capturing instruction guide.
  • the user U2 is able to take a photo at the shooting position and angle that the user U1 intended, and the user U1 is able to confirm whether the user's intention has been conveyed to the user U2.
  • an image object presented in AR in real space or developed in VR space is a rectangular planar virtual object by itself, but by replacing its texture information with the image data of the captured image, it can be transformed into an image. Becomes recognizable.
  • FIG. 5 is a diagram showing variations in the outline of the photographing instruction guide.
  • the shooting instruction guide is a virtual object developed in VR space or presented in AR in real space, and is a three-dimensional image representing the shooting angle and shooting range from an arbitrary shooting position.
  • the photographing instruction guide described above like the photographing instruction guide SG1 shown in FIG. 5, has a truncated quadrangular pyramid shape with its lower base facing the photographing direction (rightward in the figure).
  • the photographing angle is set depending on the direction in which the bottom surface faces.
  • the photographing range is set according to the range viewed from the bottom surface.
  • the photographing range may be adjusted by making the size and aspect ratio of the rectangle forming the bottom surface of the photographing instruction guide SG1 variable.
  • the photographing instruction guide may have a truncated conical shape with the bottom surface facing the photographing direction, like the photographing instruction guide SG2.
  • the photographing instruction guide may have a rectangular prism shape with one of the bottom faces facing the photographing direction, like the photographing instruction guide SG3, or the photographing instruction guide may have a rectangular prism shape with one of the bottom faces facing the photographing direction, or like the photographing instruction guide SG4. It may have a cylindrical shape with one of the bottom faces facing the direction.
  • FIG. 6 is a diagram showing a configuration example of a three-dimensional space sharing system.
  • the three-dimensional space sharing system 100 is configured to include a VRHMD 110, an AR device 130, and a server 150.
  • the VRHMD 110 and the AR device 130 each perform wired or wireless communication with the server 150 via a network NW such as the Internet.
  • the VRHMD 110 is attached to, for example, an instructor in an office, and provides a VR space to the instructor.
  • the VRHMD 110 realizes three-dimensional space sharing using the above-mentioned virtual origin by starting an application installed in advance.
  • the VRHMD 110 transmits shooting instruction information for presenting the shooting instruction guide in AR to the server 150 on the AR device 130, and develops an image object corresponding to the metadata from the server 150 in the VR space.
  • the VR device used by the instructor in the three-dimensional space sharing system 100 is not limited to the VRHMD 110, but may also be VR goggles, or a spherical, semispherical, or dome-type device connected to a computer. It may also be a wide-field display such as.
  • the AR device 130 is used, for example, by a worker at the site, and realizes AR presentation to the worker.
  • the AR device 130 also realizes three-dimensional space sharing using the virtual origin described above by activating a pre-installed application.
  • the AR device 130 presents the shooting instruction guide corresponding to the metadata from the server 150 in AR, and transmits shooting target information for developing the image object in the VR space provided by the VRHMD 110 to the server 150.
  • the server 150 registers the shooting instruction information from the VRHMD 110 and the shooting target information from the AR device 130 in the database (DB) 170 as metadata corresponding to virtual objects such as shooting instruction guides and image objects. Further, the server 150 registers the image data of the captured image captured by the AR device 130 in the DB 170 in association with the metadata of the image object.
  • FIG. 7 is a diagram showing an example of metadata of virtual objects managed by the server 150.
  • the metadata of the virtual object includes an object ID, position and orientation information, image resolution, time stamp, user information, visualization flag, and object type.
  • the object ID is identification information for uniquely identifying the corresponding virtual object (shooting instruction guide, image object).
  • the position and orientation information is information that represents the position and orientation of the virtual object with respect to the virtual origin.
  • the position and orientation information for example, 6DoF information consisting of three-dimensional position information (x, y, z) and orientation information (roll, yaw, pitch) based on the virtual origin is set.
  • the position and orientation information indicates a photographing position and a photographing angle in a real space where the three-dimensional space is shared.
  • Image resolution is information representing the width and height of the virtual object.
  • the timestamp is information representing the date and time when generation of the virtual object was instructed. If the virtual object is a photography instruction guide, the time stamp is set to the date and time when the photography instruction guide was set in the VRHMD 110. If the virtual object is an image object, the time stamp is set to the date and time when the captured image was captured by the AR device 130.
  • the user information is information representing the user who instructed the generation of the virtual object.
  • the name (model name) of the client (VRHMD 110, AR device 130) that has been instructed to generate the virtual object is set.
  • the visualization flag is information indicating whether or not the virtual object is displayed on the client (VRHMD 110, AR device 130). When the visualization flag is set to True, the virtual object is displayed on the client, and when the visualization flag is set to False, the virtual object is no longer displayed on the client.
  • the object type is information indicating the type of the virtual object. Specifically, the object type is information indicating whether the virtual object is a photography instruction guide or an image object.
  • FIG. 8 is a block diagram showing a configuration example of the VRHMD 110.
  • the VRHMD 110 includes a sensor section 211, a recording section 212, a display section 213, an audio output section 214, a communication section 215, and a control section 216.
  • the sensor unit 211 senses the user (instructor) wearing the VRHMD 110 and the surroundings.
  • the sensor unit 211 is configured to include a self-position estimation sensor 211a, a hand posture estimation sensor 211b, and a sound sensor 211c.
  • the self-position estimation sensor 211a includes an acceleration sensor, a gyro sensor, a direction sensor, a depth sensor (distance sensor), and the like.
  • the sensing results obtained by the self-position estimation sensor 211a are used to estimate the position and posture of the user's head.
  • the hand posture estimation sensor 211b includes a depth sensor (distance sensor), an infrared camera, and the like. The sensing results obtained by the hand posture estimation sensor 211b are used to estimate the movement and posture of the user's hand.
  • the sound sensor 211c is composed of, for example, a microphone that picks up the voice uttered by the user.
  • the recording unit 212 is composed of, for example, a flash memory.
  • the recording unit 212 records programs and data necessary for the VRHMD 110 to provide a VR space, 3D models used to generate virtual objects developed in the VR space, and the like.
  • the display unit 213 is composed of, for example, a non-transparent display. Various virtual objects are developed in the VR space presented by the display unit 213 under the control of the control unit 216.
  • the audio output section 214 is composed of a speaker and the like.
  • the audio output unit 214 outputs audio corresponding to the VR space presented by the display unit 213 under the control of the control unit 216.
  • the communication unit 215 is comprised of a network I/F, etc., and performs wireless communication based on, for example, wireless LAN standards.
  • the control unit 216 is composed of a processor such as a CPU (Central Processing Unit), and controls each part of the VRHMD 110.
  • the control unit 216 includes a self-position estimation processing unit 221, a hand posture estimation processing unit 222, an application execution unit 223, a recording control unit 224, a display control unit 225, an output control unit 226, and a communication control unit 227.
  • Each functional block included in the control unit 216 is realized by executing a program recorded in the recording unit 212.
  • the self-position estimation processing unit 221 estimates the position and posture of the user's head based on the sensing results from the self-position estimation sensor 211a.
  • the hand posture estimation processing unit 222 estimates the movement and posture of the user's hand based on the sensing results from the hand posture estimation sensor 211b.
  • the application execution unit 223 executes the program (application program) recorded in the recording unit 212 to realize three-dimensional space sharing using the virtual origin described above.
  • the recording control unit 224 controls recording of various data to the recording unit 212 and reading of various data from the recording unit 212.
  • the display control unit 225 controls the presentation of the VR space on the display unit 213 and the development of various virtual objects in the VR space.
  • the output control unit 226 controls the output of audio by the audio output unit 214.
  • the communication control unit 227 transmits and receives data to and from the server 150 by controlling wireless communication by the communication unit 215.
  • FIG. 9 is a block diagram showing a configuration example of the AR device 130.
  • FIG. 9 mainly shows a configuration example where the AR device 130 is a smartphone.
  • the AR device 130 includes a sensor section 231, a recording section 232, a display section 233, an audio output section 234, a communication section 235, and a control section 236.
  • Each part of the AR device 130 has basically the same function as each part of the VRHMD 110.
  • the sensor unit 231 senses the user (worker) using the AR device 130 and the surroundings.
  • the sensor unit 231 is configured to include a self-position estimation sensor 231a, a camera 231b, and a sound sensor 231c.
  • the self-position estimation sensor 231a and the sound sensor 231c basically have the same functions as the self-position estimation sensor 211a and the sound sensor 211c included in the sensor unit 211 of the VRHMD 110, so a description thereof will be omitted.
  • the camera 231b photographs the real space where the object to be photographed exists based on the operation of the user (operator) using the AR device 130.
  • the captured image captured by the camera 231b in real space is displayed on the display unit 233 in real time.
  • the control unit 236 is composed of a processor such as a CPU, and controls each part of the AR device 130.
  • the control unit 236 includes a self-position estimation processing unit 241, a photographing control unit 242, an application execution unit 243, a recording control unit 244, a display control unit 245, an output control unit 246, and a communication control unit 247.
  • Each functional block included in the control unit 236 is realized by executing a program recorded in the recording unit 232.
  • Functional blocks other than the shooting control unit 242 and display control unit 245 included in the control unit 236 include a self-position estimation processing unit 221, an application execution unit 223, a recording control unit 224, an output control unit 226, and Since it has basically the same function as the communication control unit 227, the explanation thereof will be omitted.
  • the photographing control unit 242 controls the camera 231b to acquire the captured image captured by the camera 231b. Further, the photographing control unit 242 controls the camera 231b to photograph a still image in response to operation of a photographing button (not shown).
  • the display control unit 245 displays the captured image captured by the camera 231b by controlling the display unit 233.
  • the display control section 245 has a superimposition control section 251.
  • the superimposition control unit 251 displays a shooting instruction on the captured image displayed on the display unit 233 based on the shooting position and shooting angle of the object to be shot set in the VR space that is shared with the real space and the three-dimensional space. Overlay the guide.
  • the photographing position and photographing angle of the object to be photographed are acquired as metadata (position and orientation information) of a photographing instruction guide set for a corresponding object existing in the VR space and corresponding to the object to be photographed.
  • a photographing instruction guide is displayed at the position indicated by the position and orientation information and in the orientation indicated by the position and orientation information, thereby guiding the photographing at the photographing angle at the photographing position.
  • the superimposition control unit 251 changes the size and orientation of the photographing instruction guide on the captured image according to the position and orientation of the camera 231b.
  • a photographing instruction guide virtually arranged around the object to be photographed in real space is presented to the operator.
  • the operator can photograph the object to be photographed at the photographing position and photographing angle intended by the instructor while checking the position, posture, and size of the photographing instruction guide on the captured image.
  • FIG. 10 is a diagram illustrating the initial operation flow of the entire three-dimensional space sharing system.
  • Steps S11 to S15 are executed, for example, by an instructor in an office operating the VRHMD 110.
  • the VRHMD 110 When the VRHMD 110 starts the application in step S11, it sends a DB information request to the server 150 in step S12.
  • the DB information request is information for requesting data (DB data) for generating a virtual object developed in the VR space, which is managed in the DB 170.
  • step S13 the server 150 executes a DB information request process to call the DB data corresponding to the DB information request from the DB 170, and in step S14, sends the called DB data to the VRHMD 110.
  • step S15 the VRHMD 110 generates a virtual object to be deployed in the VR space based on the DB data from the server 150.
  • steps S21 to S26 are executed, for example, by a worker at the site operating the AR device 130.
  • the AR device 130 When the AR device 130 starts the application in step S21, it sets a virtual origin in step S22.
  • the virtual origin may be set based on a marker placed in the real space, or may be set by detecting the feature points of the object to be photographed and calibrating with the feature points of the corresponding object in the VR space. .
  • the AR device 130 transmits a DB information request to the server 150 in step S23.
  • the DB information request here is information for requesting DB data managed in the DB 170 for generating a virtual object to be presented in AR in real space.
  • step S24 the server 150 executes a DB information request process for calling DB data corresponding to the DB information request from the DB 170, and in step S25, transmits the called DB data to the AR device 130.
  • step S26 the AR device 130 generates a virtual object to be presented in AR in real space based on the DB data from the server 150.
  • the AR device 130 by setting the virtual origin after starting the application, it is possible to realize three-dimensional space sharing between the VR space and the real space.
  • step S31 the server 150 transitions to a communication standby state.
  • step S32 the server 150 determines whether there is communication (communication request) from the client. If it is determined that there is no communication from the client, the process advances to step S33.
  • step S33 the server 150 determines whether the end of communication has been instructed by the user at the communication partner client. If it is determined that termination of communication has not been instructed, the process returns to step S31 and the subsequent processes are repeated.
  • step S33 if it is determined in step S33 that an instruction to end communication has been given, the communication process with the client ends.
  • step S32 determines that there has been communication from the client.
  • step S34 the server 150 transitions to a communication processing state.
  • step S35 the server 150 determines what type of communication is with the client.
  • the object ID list is a list of object IDs of all virtual objects developed in the VR space and the real space (hereinafter also referred to as virtual space) that are shared in the three-dimensional space.
  • the process advances to step S37, and the server 150 calls the metadata of the specified object ID from the DB 170.
  • the metadata request includes the object ID of the virtual object specified by the client (hereinafter also referred to as specified object ID), and the server 150 calls the metadata in which the specified object ID is set.
  • the process advances to step S38, and the server 150 calls the image data of the designated object ID from the DB 170.
  • the image data request includes the object ID of the image object specified by the client as the specified object ID, and the server 150 calls the image data associated with the image object.
  • step S39 When each data is called from the DB 170 in steps S36, S37, and S38, the process advances to step S39, and the server 150 transmits the called data to the requesting client. After that, the process advances to step S33.
  • step S40 the process advances to step S40, and the server 150 determines whether the data received from the client is valid.
  • the received data includes metadata and image data consisting of the above-mentioned photographing instruction information and photographing target information. If it is determined that the received data is valid, the process advances to step S41.
  • step S41 the server 150 registers the received data in the DB 170. Specifically, the server 150 registers the photographing instruction guide, metadata of the image object, and image data associated with the image object in the DB 170. After that, the process advances to step S33.
  • step S40 determines whether the received data is valid. If it is determined in step S40 that the received data is not valid, step S41 is skipped and the process proceeds to step S33.
  • step S51 the client starts a DB update timer.
  • the DB update timer is a timer that measures the time for periodically transmitting a DB information request to the server 150 requesting DB data for generating a virtual object. That is, the DB update timer determines the update frequency of virtual objects deployed in the virtual space.
  • step S52 the client transitions to a communication standby state.
  • step S53 the client determines whether there is any input by the user.
  • the user's input may be, for example, pressing a shooting instruction button Sb on the VRHMD 110 or a physical button (not shown), or operating a shooting button on the AR device 130. If it is determined that there is no input by the user, the process advances to step S54.
  • step S54 the client determines whether the DB update timer exceeds a certain value T1.
  • the constant value T1 indicates the time interval of the update frequency of the virtual object deployed in the virtual space. If it is determined that the DB update timer has not exceeded the fixed value T1, that is, if the timing to send the DB information request to the server 150 has not yet arrived, the process advances to step S55.
  • step S55 the client determines whether there is a list of designated object IDs that it wishes to receive.
  • the list of designated object IDs to be received is a list of object IDs of virtual objects that have not yet been deployed in the client's virtual space at that point in the object ID list from the server 150. If it is determined that there is no list of specified object IDs to be received, the process advances to step S56.
  • step S56 the client determines whether there is any data received from the server 150.
  • the data received from the server 150 may be a list of object IDs, metadata of virtual objects, or image data. If it is determined that there is no data received from the server 150, the process advances to step S57.
  • step S57 the client determines whether the user has instructed to terminate the communication. If it is determined that termination of communication has not been instructed, the process returns to step S52 and the subsequent processes are repeated.
  • step S57 if it is determined in step S57 that an instruction to end the communication has been given, the communication process with the server 150 ends.
  • step S53 determines that there has been an input by the user.
  • step S58 the client transitions to a data transmission state.
  • step S59 the client executes data transmission processing.
  • a shooting instruction guide and metadata of an image object are transmitted from the client to the server 150, and image data corresponding to the image object is transmitted. Details of the data transmission process will be described later with reference to the flowchart in FIG. When the data transmission process ends, the process advances to step S60.
  • step S54 determines whether the DB update timer has exceeded the fixed value T1 or not. If it is determined in step S54 that the DB update timer has exceeded the fixed value T1, that is, if it is time to send the DB information request to the server 150, the process also proceeds to step S60.
  • step S60 the client transitions to a DB information request state.
  • step S61 the client transmits a DB information request to the server 150. After that, the process advances to step S55.
  • step S55 if it is determined in step S55 that there is a list of specified object IDs to be received, the process advances to step S62.
  • step S62 the client transitions to a specified object ID data request state.
  • step S63 the client executes specified object ID data request processing. Details of the designated object ID data request process will be described later with reference to the flowchart of FIG. When the specified object ID data request processing is completed, the process advances to step S56.
  • step S56 determines that there is data received from the server 150. If it is determined in step S56 that there is data received from the server 150, the process advances to step S64.
  • step S64 the client transitions to a data receiving state.
  • step S65 the client executes data reception processing.
  • an object ID list, virtual object metadata, and image data are received from the server 150. Details of the data reception process will be described later with reference to the flowchart in FIG. When the data reception process ends, the process advances to step S57.
  • step S59 of FIG. 12 the flow of the data transmission process executed in step S59 of FIG. 12 will be described with reference to the flowchart of FIG. 13.
  • the process in FIG. 13 is executed in response to the user pressing the shooting instruction button Sb on the VRHMD 110 or the physical button of the controller (not shown) or operating the shooting button on the AR device 130. .
  • step S71 the client executes photographing and recording processing according to the device.
  • a screenshot of the VR space is recorded. If the client is a smartphone among the AR devices 130, a screenshot of the captured image is recorded after the virtual object superimposed on the captured image is hidden. The hidden virtual object is then redisplayed on the captured image. Further, when the client is an ARHMD of the AR devices 130, an image is photographed and recorded by a camera built into the ARHMD.
  • step S72 the process advances to step S72.
  • step S72 the client records the position and orientation (relative position and relative orientation) of the device from the virtual origin.
  • the center position and orientation of the shooting instruction object SO placed in the VR space by the user are recorded.
  • a virtual object corresponding to the shape of the user's hand may be presented.
  • the center position and orientation of the virtual object according to the hand shape are recorded.
  • the client is an AR device 130
  • the center position and orientation of the AR device 130 used by the user are recorded.
  • step S73 the client generates a unique ID to be associated with the metadata and image data to be sent to the server 150.
  • the unique ID generated here becomes the object ID described with reference to FIG.
  • step S74 the client generates metadata including a unique ID (object ID), device position/orientation, object type, etc.
  • step S75 the client transmits metadata and image data to the server 150.
  • the client is the VRHMD 110
  • metadata of the shooting instruction guide is transmitted to the server 150.
  • the client is an AR device 130
  • the image object's metadata and image data are sent to the server 150.
  • the data transmission process is executed as described above.
  • step S81 the client determines whether there is data in the list of specified object IDs that it wishes to receive. If it is determined that there is data in the list of specified object IDs to be received, the process advances to step S82.
  • step S82 the client extracts one ID (object ID) from the list of designated object IDs that it wishes to receive.
  • step S83 the client transmits a metadata request to the server 150 based on the extracted ID.
  • step S84 the client deletes the extracted ID from the list of designated object IDs that it wishes to receive. Thereafter, the process returns to step S81, and the transmission of the metadata request is repeated until all data in the list of designated object IDs to be received is deleted.
  • the server 150 sends metadata in which the specified object ID that the user wishes to receive is set.
  • step S91 the client determines what type of data is received from the server 150. As described above, there are three types of received data: object ID list, metadata, and image data.
  • the process proceeds to step S92, and the client compares the list of displayed object IDs with the received list of object IDs.
  • the list of displayed object IDs is a list of object IDs of virtual objects that have already been deployed in the virtual space of the client.
  • step S93 the client adds the undisplayed object ID to the list of specified object IDs it wishes to receive.
  • the undisplayed object ID is an object ID that is not a displayed object ID in the received object ID list.
  • the process proceeds to step S94, and the client determines what type of virtual object corresponds to the received metadata.
  • a photography instruction guide and image data.
  • step S95 the process advances to step S95, and the client calls the 3D model for the photography instruction guide from the recording unit 212 or the recording unit 232.
  • step S96 the process advances to step S96, and the client calls the 3D model for the image object from the recording unit 212 or the recording unit 232.
  • step S97 the client transmits an image data request to the server 150 based on the object ID of the received metadata.
  • step S95 or step S97 the process proceeds to step S98, where the client uses the called 3D model to move the virtual object (shooting instruction guide or image object) into the virtual space based on the position and orientation information of the received metadata. to be generated.
  • step S99 the client adds the object ID of the received metadata to the list of displayed object IDs.
  • the process advances to step S100, and the client extracts the ID (object ID) set in the received image data.
  • step S101 the client searches for a generated image object (an image object developed on the client) based on the extracted ID.
  • step S102 the client replaces the texture information of the corresponding image object with the received image data.
  • the three-dimensional space sharing system 100 realizes presentation of a UI through three-dimensional space sharing using the virtual origin.
  • step S111 the display control unit 245 causes the display unit 233 to display the captured image captured by the camera 231b.
  • step S112 the communication control unit 247 acquires (receives) the metadata of the shooting instruction guide set by the VRHMD 110 in the VR space from the server 150 via the network NW.
  • step S113 the superimposition control unit 251 superimposes and displays the photographing instruction guide at the photographing position on the captured image based on the metadata of the photographing instruction guide acquired from the server 150.
  • the photographing instruction guide is displayed at the position representing the photographing position on the captured image and in the posture representing the photographing angle.
  • step S114 the photography control unit 242 determines whether photography has been instructed, depending on whether the photography button included in the AR device 130 has been operated. Step S114 is repeated until photography is instructed.
  • the photographed still image is transmitted as image data to the server 150 together with the metadata of the image object, and the process advances to step S115.
  • step S115 the superimposition control unit 251 superimposes and displays the image object at the position on the captured image at which photography is instructed, based on the metadata of the image object (still image).
  • the image object is displayed at the position and orientation indicated by the position and orientation information included in the metadata of the image object.
  • the image object is displayed with its texture information replaced with the image data sent to the server 150 as a still image.
  • the image object is transmitted to the AR device 130 by the communication control unit 247 via the server 150 (network NW), so that the image object can be transmitted even in the VR space (VRHMD 110) where the three-dimensional space is shared using the virtual origin. will be displayed in the same way.
  • the instructor in a remote location can check the photographing position and angle of the photograph taken by the worker. can easily understand the intent.
  • the instructor can designate a new shooting angle for a desired image while looking down on the 3D model prepared in advance, thereby improving the efficiency of the work.
  • UI presentation using timestamp By using the time stamps included in the respective metadata according to the relative positional relationship of the virtual objects (photography instruction guide, image object), it is possible to realize a more suitable UI presentation.
  • step S131 the superimposition control unit 251 calculates the relative distance between the image object and the photographing instruction guide superimposed on the captured image (developed in the virtual space).
  • the relative distance is, for example, the distance between the barycenter coordinates of each virtual object.
  • step S132 the superimposition control unit 251 determines whether the calculated relative distance is smaller than a certain distance. If it is determined that the relative distance is smaller than the certain distance, the process advances to step S133.
  • step S133 the superimposition control unit 251 hides the one with the oldest time stamp based on the time stamps included in the metadata of the shooting instruction guide and the image object. That is, of the photographing instruction guide and the image object, the one with the earlier generation time is hidden, and only the one with the later generation time is displayed.
  • step S133 if it is determined in step S132 that the relative distance is not smaller than the certain distance, that is, if the photographing instruction guide and the image object are separated by more than the certain distance, step S133 is skipped.
  • the relative distance ⁇ d between the photographing instruction guide SGA and the image object POA is smaller than the distance D1.
  • the distance D1 is a distance such that the virtual objects overlap with each other and obstruct visual recognition, and in FIG. 18, it is assumed that ⁇ d ⁇ D1. Further, it is assumed that the time stamp of the photographing instruction guide SGA is t1, and the time stamp of the image object POA is t2.
  • t1>t2 that is, if the time stamp of the image object POA is older than the time stamp of the photographing instruction guide SGA, only the photographing instruction guide SGA with the newer time stamp is displayed. At this time, the visualization flag included in the metadata of the image object POA is updated from True to False.
  • the above-described processing can be applied not only to the display processing of the photographing instruction guide and the image object, but also to the display processing of the photographing instruction guides and the display processing of the image objects.
  • both the worker and the instructor can always check the latest photographing instruction guide or image object, and can easily check the progress of the work.
  • instructors in particular can easily check which parts of the object to be photographed have frequently updated information (images), allowing them to identify frequently checked parts and improve work processes. It becomes possible.
  • step S151 the superimposition control unit 251 calculates an evaluation value based on the relative distance between the imaging instruction guide superimposed on the captured image (developed in virtual space) and the image object.
  • step S152 the superimposition control unit 251 determines whether the calculated evaluation value is larger than a preset threshold.
  • step S152 if it is determined that the evaluation value is larger than the threshold value, the process proceeds to step S153, and the superimposition control unit 251 hides the shooting instruction guide.
  • step S152 determines whether the evaluation value is larger than (smaller than) the threshold value. If it is determined in step S152 that the evaluation value is not larger than (smaller than) the threshold value, the process proceeds to step S154, and the superimposition control unit 251 hides the image object.
  • the evaluation value Score is calculated based on the relative distance ⁇ d between the photographing instruction guide SGA and the image object POA, and threshold values D2 and D3 for distances having the relationship D2 ⁇ D3.
  • the evaluation value Score is calculated as 100.
  • the evaluation value Score is calculated as 100 ⁇ ( ⁇ d ⁇ D2)/(D3 ⁇ D2) ⁇ .
  • D3 ⁇ d the evaluation value Score is calculated as 0.
  • the evaluation value Score is, for example, equal to or higher than the threshold value 60, a word such as "OK!” is displayed on the image object POA, which is the photographing result, and the photographing instruction guide SGA is hidden. At this time, the visualization flag included in the metadata of the photography instruction guide SGA is updated from True to False.
  • the evaluation value Score is, for example, less than the threshold value 60, a word such as "NG" is displayed on the image object POA, which is the photographing result, and the image object POA is hidden.
  • the visualization flag included in the metadata of the image object POA is updated from True to False.
  • the evaluation value is calculated based on the relative distance ⁇ d between the photographing instruction guide and the image object.
  • the evaluation value is not limited to this, and the evaluation value may be calculated based on the relative attitude ⁇ between the shooting instruction guide and the image object, or the evaluation value may be calculated based on the relative distance ⁇ d and the relative attitude ⁇ between the shooting instruction guide and the image object. It's okay.
  • the AR device 130 automatically evaluates the photographing results, but the evaluation of the photographing results by the instructor may be fed back to the AR device 130.
  • the process in FIG. 21 is executed by the instructor evaluating the imaging result (image object) presented in the VR space (VRHMD 110).
  • the evaluation value (user evaluation value) in the VR space is transmitted from the VRHMD 110 to the AR device 130 via the server 150.
  • step S171 the communication control unit 247 acquires the user evaluation value in the VR space from the VRHMD 110.
  • step S172 the superimposition control unit 251 determines whether the acquired user evaluation value is larger than a preset threshold.
  • step S172 if it is determined that the user evaluation value is larger than the threshold value, the process proceeds to step S173, and the superimposition control unit 251 hides the shooting instruction guide.
  • step S172 determines whether the user evaluation value is larger than (smaller than) the threshold value. If it is determined in step S172 that the user evaluation value is not larger than (smaller than) the threshold value, the process proceeds to step S174, and the superimposition control unit 251 hides the image object.
  • the instructor clicks a button to evaluate the shooting result (image object POV) by checking the shooting instruction guide SGV and image object POV presented in the VR space (VRHMD 110). Press either BT1 or BT2.
  • the button BT1 is a UI that is operated to accept the photographic result
  • the button BT2 is a UI that is operated to reject the photographic result.
  • the AR device 130 displays the word "OK!” on the image object POA that is the shooting result, and hides the shooting instruction guide SGA. become.
  • the visualization flag included in the metadata of the photography instruction guide SGA is updated from True to False.
  • FIG. 23 is a diagram showing another configuration example of the three-dimensional space sharing system.
  • the three-dimensional space sharing system 100' shown in FIG. 23 is configured to include a smartphone 310 and an ARHMD 320 instead of the AR device 130 of the three-dimensional space sharing system 100.
  • the position and orientation information of a still image (image object) captured by the smartphone 310 can be acquired by cooperation with the ARHMD 320.
  • the position and orientation of the smartphone 310 can be estimated.
  • the position and orientation of the smartphone 310 when the still image was captured can be used as the position and orientation information of the image object.
  • the user can take a picture with the smartphone 310 at a position according to the AR guide frame. I can do it.
  • the position and orientation of the AR guide frame in the virtual space can be used as position and orientation information of the image object.
  • FIG. 24 is a diagram showing an example of a virtual object indicating the shooting order.
  • three photographing instruction guides SGA1, SGA2, and SGA3 are set in real space.
  • arrow images AA1 and AA2 indicating the photographing order at the corresponding photographing positions are displayed on the captured image along with photographing instruction guides SGA1, SGA2, and SGA3. Make it superimposed as a virtual object.
  • the operator can proceed with the photographing work in the order of the photographing positions corresponding to each of the photographing instruction guides SGA1, SGA2, and SGA3, as intended by the instructor.
  • image objects POV1, POV2, and POV3 corresponding to the photographed images photographed according to the photographing instruction guides SGA1, SGA2, and SGA3 are developed.
  • arrow images AV1 and AV2 indicating the order in which the images were taken at the corresponding shooting positions are displayed in the VR space along with the image objects POV1, POV2, and POV3. Allow it to be deployed as a virtual object.
  • the shooting instruction object presented in AR provides a shooting instruction guide (shooting position, shooting angle) is set.
  • the user at the second location can take a photograph at the photographing angle intended by the user at the first location. Furthermore, the user at the first location can check whether the user's intention has been conveyed to the user at the second location.
  • a three-dimensional image representing the shooting angle and shooting range from an arbitrary shooting position is developed in the virtual space as the shooting instruction guide, which is a virtual object. Any three-dimensional representation image representing the shooting angle from the position may be used.
  • a three-dimensional representation image is referred to as a virtual object that is three-dimensionally represented in a virtual space.
  • a shooting instruction guide SGP as a circular planar image as shown in FIG. 25 is displayed superimposed on the captured image. (deployed in virtual space).
  • the photographing instruction guide SGP is a planar image that has a surface directly facing the photographing direction and represents a photographing angle from an arbitrary photographing position.
  • the position and size of the photographing instruction guide SGP on the captured image are fixed, and only its posture changes depending on the posture of the AR device 130 (camera 231b).
  • the shooting instruction guide SGP may look like an ellipse as shown on the left side of FIG. 25 or a perfect circle as shown on the right side of FIG. 25. That is, the user (worker) determines the shooting range by checking the captured image displayed on the AR device 130, and in that state, adjusts the posture of the AR device 130 so that the shooting instruction guide SGP looks like a perfect circle. (shooting angle).
  • the photography instruction guide SGP also includes a circular center position guide Cp that indicates the center position of the photography range (the photography direction of the object to be photographed).
  • the center position guide Cp has a fixed position in the virtual space.
  • the user moves the AR device 130 (in such a way that the imaging instruction guide SGP appears to be a perfect circle) and positions the center position guide Cp at the center of the imaging instruction guide SGP guided by the dashed cross center line. Finely adjust the position of the camera 231b).
  • the operator can set the object to be photographed at the photographing position and photographing angle intended by the instructor. can be photographed.
  • the shooting instruction guide SGP and center position guide Cp as planar images are not limited to the display mode shown in FIG. 25.
  • the center position guide Cp may have a cross shape like the photographing instruction guide SGP1 shown in FIG. 26.
  • the photographing instruction guide SGP2 only a broken line guiding only the horizontal position may be shown instead of the center.
  • the shape of the photographing instruction guide SGP is not limited to a perfect circle, but may be any shape that can visually prompt the operator to adjust the photographing angle to the one intended by the instructor. Specifically, it may be a square like the photographing instruction guide SGP3, or it may be another regular polygon.
  • the worker will take pictures without being sure that the camera's shooting position and shooting angle at that time are the shooting position and shooting angle intended by the instructor. That is, with the photographing instruction guide SGA as a stereoscopic image, there is a possibility that detailed adjustment of the position and orientation of the camera cannot be made.
  • the photographing instruction guide SGP is displayed as a planar image.
  • the shooting instruction guide SGP has a fixed position and size on the captured image, ensuring visibility for the operator and making it possible to make detailed adjustments to the camera position and posture. becomes.
  • the position of the camera is adjusted so that the center position guide Cp is located at the center of the photographing instruction guide SGP guided by the broken line cross center line.
  • the center position guide Cp can be set within the center region CR displayed inside the photographing instruction guide SGP, as shown in FIG.
  • the position of the camera may be adjusted so that the camera is located at the right position.
  • step S95 process of calling a 3D model for guiding a photographing instruction
  • step S211 the client (AR device 130) determines whether the distance between the photography instruction guide and the camera in the virtual space is greater than a certain distance, based on the position and orientation information included in the photography instruction guide metadata.
  • step S211 If it is determined in step S211 that the distance between the photographing instruction guide and the camera is greater than a certain distance, the process proceeds to step S212, and the client saves the 3D model of the stereoscopic image from the recording unit 232 as the 3D model for the photographing instruction guide. call.
  • step S211 determines whether the distance between the photographing instruction guide and the camera is larger than (smaller than) the certain distance. If it is determined in step S211 that the distance between the photographing instruction guide and the camera is not larger than (smaller than) the certain distance, the process proceeds to step S213, and the client uses the 3D model of the planar image as the 3D model for the photographing instruction guide.
  • the model is called from the recording unit 232.
  • FIG. 31 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • the AR device 130 as an information processing apparatus to which the technology according to the present disclosure can be applied is realized by a computer 900 having the configuration shown in FIG. 31.
  • a CPU 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903 are interconnected by a bus 904.
  • An input/output interface 905 is further connected to the bus 904. Connected to the input/output interface 905 are an input section 906 consisting of a keyboard, a mouse, etc., and an output section 907 consisting of a display, speakers, etc. Further, connected to the input/output interface 905 are a storage section 908 made up of a hard disk or non-volatile memory, a communication section 909 made up of a network interface, etc., and a drive 910 that drives a removable medium 911.
  • the CPU 901 for example, loads a program stored in the storage unit 908 into the RAM 903 via the input/output interface 905 and the bus 904 and executes it, thereby performing the series of processes described above. will be held.
  • a program executed by the CPU 901 is installed in the storage unit 908 by being recorded on a removable medium 911 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the present disclosure can take the following configuration.
  • a display control unit that displays a captured image captured by a camera in a first space where an object to be photographed exists; Based on the photographing position and photographing angle of the object to be photographed set in a second space that is space-shared with the first space, the photographing angle is set at a position corresponding to the photographing position on the captured image.
  • An information processing device comprising: a superimposition control unit that superimposes and displays a photographing instruction guide as a virtual object to guide photographing at the camera.
  • the information processing device wherein the corresponding object is a virtual object in a virtual space.
  • the information processing device wherein the corresponding object is a real object that exists in a location different from the first space.
  • the information processing device wherein the first space and the second space share a three-dimensional space using a virtual origin.
  • the photographing instruction guide is a three-dimensional representation image representing at least the photographing angle from the photographing position.
  • the photographing instruction guide has a frustum-like shape with its lower base facing the photographing direction, or a columnar shape with one of its bottom faces facing the photographing direction, and the photographing angle from the photographing position.
  • the information processing device including a three-dimensional image representing a shooting range.
  • the photographing instruction guide includes a plane image representing the photographing angle from the photographing position and having a surface directly facing the photographing direction.
  • the superimposition control unit changes at least one of the size and orientation of the photographing instruction guide according to the position and orientation of the camera.
  • the superimposition control unit superimposes and displays the still image as the virtual object at a position corresponding to the predetermined position on the captured image.
  • the information processing device (11) The information processing device according to (10), wherein the superimposition control unit hides either the photographing instruction guide or the still image depending on a relative positional relationship between the photographing instruction guide and the still image. (12) The superimposition control unit determines which of the photographing instruction guide and the still image is to be hidden, according to an evaluation value calculated based on the relative positional relationship between the photographing instruction guide and the still image. The information processing device according to (11). (13) The superimposition control unit hides either the photographing instruction guide or the still image according to a user evaluation value in the second space with respect to the relative positional relationship between the photographing instruction guide and the still image. The information processing device according to (11).
  • the superimposition control unit hides the one of the photographing instruction guide and the still image that is generated earlier, when the relative distance between the photographing instruction guide and the still image is smaller than a certain distance. information processing equipment.
  • the superimposition control unit superimposes and displays, as the virtual object, an arrow image indicating a photographing order at the plurality of photographing positions corresponding to the plurality of photographing instruction guides, together with the plurality of photographing instruction guides, on the captured image.
  • the information processing device according to any one of (1) to (6).
  • the information processing apparatus transmits a still image taken by the camera at a predetermined position in the first space to the device via the network.
  • the still image is developed as the virtual object at a position corresponding to the predetermined position in the second space provided by the device.
  • the information processing device displaying a captured image captured by a camera in a first space in which an object to be photographed exists; Based on the photographing position and photographing angle of the object to be photographed set in a second space that is space-shared with the first space, the photographing angle is set at a position corresponding to the photographing position on the captured image.
  • a program that executes the process of superimposing a shooting instruction guide as a virtual object to guide shooting.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、指示者の意図した通りの撮影を実現することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 表示制御部は、撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、重畳制御部は、第１の空間と空間共有されている第２の空間において設定された撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、取り込み画像上の撮影位置に対応する位置に、撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する。本開示は、ＶＲ空間と実空間を同期させる三次元空間共有システムに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、指示者の意図した通りの撮影を実現できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　特許文献１には、以前に撮影した写真と同じ位置及びカメラアングルでユーザが写真撮影することを支援するための技術が開示されている。
特開２０１１－２３９３６１号公報
　ところで、遠隔地にいる指示者からの指示の下、現場にいる作業者が作業する場合において、作業者が、指示者の意図した通りに撮影することは容易ではなかった。
　本開示は、このような状況に鑑みてなされたものであり、指示者の意図した通りの撮影を実現できるようにするものである。
　本開示の情報処理装置は、撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示する表示制御部と、前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する重畳制御部とを備える情報処理装置である。
　本開示の情報処理方法は、情報処理装置が、撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する情報処理方法である。
　本開示のプログラムは、コンピュータに、撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する処理を実行させるためのプログラムである。
　本開示においては、撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像が表示され、前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドが仮想オブジェクトとして重畳表示される。
本開示に係る三次元空間共有システムの概要を示す図である。 三次元空間共有システムにおける動作フェーズの概要を示す図である。 指示フェーズから撮影フェーズへの移行について説明する図である。 撮影フェーズから確認フェーズへの移行について説明する図である。 撮影指示ガイドの概形のバリエーションを示す図である。 三次元空間共有システムの構成例を示す図である。 仮想オブジェクトのメタデータの例を示す図である。 ＶＲＨＭＤの構成例を示すブロック図である。 ＡＲデバイスの構成例を示すブロック図である。 三次元空間共有システム全体の動作の流れについて説明する図である。 サーバの動作の流れについて説明するフローチャートである。 クライアントの動作の流れについて説明するフローチャートである。 データ送信処理の流れについて説明するフローチャートである。 指定オブジェクトＩＤデータ要求処理の流れについて説明するフローチャートである。 データ受信処理の流れについて説明するフローチャートである。 ＡＲデバイスによる撮影処理の流れについて説明する図である。 仮想オブジェクト表示処理の流れについて説明するフローチャートである。 撮影指示ガイドと画像オブジェクトの表示例について説明する図である。 自動評価処理の流れについて説明するフローチャートである。 撮影指示ガイドと画像オブジェクトの表示例について説明する図である。 指示者評価処理の流れについて説明するフローチャートである。 撮影指示ガイドと画像オブジェクトの表示例について説明する図である。 三次元空間共有システムの他の構成例を示す図である。 撮影順序を示す仮想オブジェクトの例を示す図である。 平面画像としての撮影指示ガイドの例を示す図である。 平面画像のバリエーションを示す図である。 立体画像としての撮影指示ガイドの課題について説明する図である。 立体画像と平面画像を組み合わせた撮影指示について説明する図である。 平面画像の他の例を示す図である。 ３Ｄモデル呼び出し処理の流れについて説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．従来の課題
　２．本開示に係る技術の概要
　３．三次元空間共有システムの構成と動作
　４．ＡＲデバイスによる処理の詳細
　５．変形例
　６．コンピュータの構成例
＜１．従来の課題＞
　遠隔地にいる指示者からの指示の下、現場にいる作業者が作業する場合において、作業者が、指示者の意図した通りに撮影することは容易ではなかった。例えば、現場においてトラブルが発生したときなどに、指示者が、作業者に対して、所望する撮影アングルでトラブルの原因箇所を撮影するよう指示することは困難であった。
　その要因として、指示者は、作業者が撮影アングルを決める際に、カメラ（例えばスマートフォン）の位置や姿勢を口頭や文字で適切に伝えることが難しいことが挙げられる。また、作業者は、指示者により口頭や文字で説明を受けたとしても、専門用語や部品の名称など、指示者と共通の知識を共有していない場合には、説明の内容を正確に理解できないことも挙げられる。
　そこで、本開示に係る技術においては、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）を複合したｘＲ技術を用いた撮影アングル指示ＵＩ（User Interface）により、指示者の所望する撮影アングルでの撮影を実現できるようにする。
＜２．本開示に係る技術の概要＞
（三次元空間共有システム）
　図１は、本開示に係る三次元空間共有システムの概要を示す図である。
　図１に示される三次元空間共有システムにおいては、ＶＲ空間と実空間を同期させ、それぞれの空間にいるユーザが、仮想原点を用いた三次元空間共有により提示されるＵＩにより、互いの意図を理解できるようにする。具体的には、ＶＲ空間にいるユーザ（指示者）による撮影指示に対応する仮想オブジェクトが、実空間にいるユーザ（作業者）にＡＲ提示される。また、撮影指示に従って実空間にいるユーザによって撮影された撮影画像（静止画像）に対応する仮想オブジェクトが、ＶＲ空間にいるユーザに提示される。
　これにより、実空間にいるユーザは、ＶＲ空間にいるユーザが意図した撮影位置と撮影アングルで撮影することができる。また、ＶＲ空間にいるユーザは、実空間にいるユーザに意図が伝わったかどうかを確認することができる。
（動作フェーズ）
　図２を参照して、三次元空間共有システムにおける動作フェーズの概要について説明する。
　図２上段には、ＶＲ空間に存在するユーザＵ１の動作フェーズが示され、図２下段には、実空間に存在するユーザＵ２の動作フェーズが示されている。
　図２の例では、遠隔地にいる指示者であるユーザＵ１が、現場にいる作業者であるユーザＵ２に対して、実オブジェクトである撮影対象オブジェクト１０Ｒの撮影を指示する。ユーザＵ１は、ＶＲＨＭＤ（Head Mounted Display）を装着することで、ＶＲ空間において撮影を指示することができる。実空間においては、ＶＲ空間における仮想原点Ｏ１に対応する仮想原点Ｏ２が設定されることで、ＶＲ空間と実空間とが三次元空間共有される。
　まず、指示フェーズにおいて、ＶＲ空間にいるユーザＵ１は、撮影対象オブジェクト１０Ｒに対応する仮想オブジェクトである対応オブジェクト１０Ｖに対して、任意の撮影位置からの撮影アングルを表す立体画像である撮影指示ガイドＳＧＶを設定する。撮影指示ガイドＳＧＶの位置や姿勢などを表す撮影指示情報は、サーバを介して、ユーザＵ２が所持するスマートフォンやＡＲＨＭＤなどのＡＲデバイスに送信される。
　次いで、撮影フェーズにおいて、ユーザＵ２は、撮影対象オブジェクト１０Ｒを被写体として取り込まれている取り込み画像を、ＡＲデバイスに表示させる。取り込み画像上には、サーバからの撮影指示情報に基づいて、撮影指示ガイドＳＧＡがＡＲ提示（重畳表示）される。ユーザＵ２は、撮影指示ガイドＳＧＡに従って撮影対象オブジェクト１０Ｒを撮影する。撮影された撮影画像は、撮影時のＡＲデバイスの位置や姿勢を表すなど撮影対象情報とともに、サーバを介して、ユーザＵ１が装着するＶＲＨＭＤに送信される。
　そして、確認フェーズにおいて、ユーザＵ１は、仮想オブジェクトとしてＶＲ空間に展開された、ＡＲデバイスにより撮影された撮影画像に対応する画像オブジェクトＰＯＶを確認する。ＶＲ空間において、画像オブジェクトＰＯＶは、撮影時のＡＲデバイスの位置や姿勢に対応した位置や姿勢で配置される。
　各動作フェーズ間の移行時の詳細について説明する。
　図３は、指示フェーズから撮影フェーズへの移行について説明する図である。
　図３左に示されるように、ＶＲ空間においては、対応オブジェクト１０Ｖに対して、２つの撮影指示ガイドＳＧＶ１，ＳＧＶ２が設定されている。図中、対応オブジェクト１０Ｖより手前には、撮影指示ガイドを設定するための撮影指示オブジェクトＳＯが配置されている。ユーザＵ１は、ＶＲ空間内で、撮影指示オブジェクトＳＯを、所望の位置に所望の姿勢で配置し、撮影指示ボタンＳｂを押下することで、撮影指示ガイドを設定することができる。撮影指示ボタンＳｂが押下されたときの撮影指示オブジェクトＳＯの位置や姿勢が、実空間においてＡＲ提示される撮影指示ガイドに反映される。
　すなわち、図３右に示されるように、実空間においては、撮影対象オブジェクト１０Ｒに対して、３つの撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３が設定される。撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３は、ＶＲ空間において撮影指示ボタンＳｂが押下されたときの撮影指示オブジェクトＳＯの位置や姿勢が反映されてＡＲ提示される。
　図４は、撮影フェーズから確認フェーズへの移行について説明する図である。
　図４右に示されるように、実空間においては、撮影指示ガイドＳＧＡ１，ＳＧＡ２に従って撮影された撮影画像に対応する画像オブジェクトＰＯＡ１，ＰＯＡ２がＡＲ提示されている。図中、撮影対象オブジェクト１０Ｒより手前には、図３と同様、撮影指示ガイドＳＧＡ３が配置されている。ユーザＵ２は、撮影指示ガイドに従って、ＡＲデバイス（カメラ）の位置や姿勢を調整することで、ユーザＵ１の意図した撮影位置と撮影アングルで撮影することができる。撮影指示ガイドに従って撮影画像が撮影されたときのＡＲデバイス（カメラ）の位置や姿勢が、実空間においてＡＲ提示される画像オブジェクトＰＯＡ１，ＰＯＡ２や、ＶＲ空間において展開される画像オブジェクトに反映される。
　すなわち、図４左に示されるように、ＶＲ空間においては、撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３に従って撮影された撮影画像に対応する画像オブジェクトＰＯＶ１，ＰＯＶ２，ＰＯＶ３が展開される。画像オブジェクトＰＯＶ１，ＰＯＶ２，ＰＯＶ３は、実空間において、撮影指示ガイドに従って撮影画像が撮影されたときのＡＲデバイス（カメラ）の位置や姿勢が反映されて展開される。
　以上のようにして、ユーザＵ２は、ユーザＵ１が意図した撮影位置と撮影アングルで撮影することが可能となり、ユーザＵ１は、ユーザＵ２に意図が伝わったかどうかを確認することが可能となる。
　なお、実空間においてＡＲ提示されたり、ＶＲ空間に展開される画像オブジェクトは、それ単体では矩形平面状の仮想オブジェクトであるが、そのテクスチャ情報が撮影画像の画像データに差し替えられることで、画像として認識可能となる。
（撮影指示ガイドの概形）
　図５は、撮影指示ガイドの概形のバリエーションを示す図である。
　上述したように、撮影指示ガイドは、ＶＲ空間に展開されたり、実空間においてＡＲ提示される仮想オブジェクトであり、任意の撮影位置からの撮影アングルと撮影範囲を表す立体画像である。
　上述で説明した撮影指示ガイドは、図５に示される撮影指示ガイドＳＧ１のように、撮影方向（図中右方向）に対して下底面を向けた四角錐台状の形状を有する。撮影指示ガイドＳＧ１によれば、その下底面が向く方向によって撮影アングルが設定される。さらに、撮影指示ガイドＳＧ１によれば、その下底面から臨む範囲によって撮影範囲（画角）が設定される。また、撮影指示ガイドＳＧ１の下底面をなす矩形の大きさや縦横比を可変とすることで、撮影範囲が調整されるようにしてもよい。
　撮影指示ガイドは、撮影指示ガイドＳＧ２のように、撮影方向に対して下底面を向けた円錐台状の形状を有していてもよい。
　また、撮影指示ガイドは、撮影指示ガイドＳＧ３のように、撮影方向に対して底面の一方を向けた四角柱体状の形状を有していてもよいし、撮影指示ガイドＳＧ４のように、撮影方向に対して底面の一方を向けた円柱体状の形状を有していてもよい。
＜３．三次元空間共有システムの構成と動作＞
　以下においては、三次元空間共有システムの具体的な構成と動作について説明する。
（三次元空間共有システムの構成）
　図６は、三次元空間共有システムの構成例を示す図である。
　図６に示されるように、三次元空間共有システム１００は、ＶＲＨＭＤ１１０、ＡＲデバイス１３０、およびサーバ１５０を含むように構成される。三次元空間共有システム１００において、ＶＲＨＭＤ１１０とＡＲデバイス１３０は、それぞれ、インターネットなどのネットワークＮＷを介してサーバ１５０との間で、有線または無線による通信を行う。
　ＶＲＨＭＤ１１０は、例えばオフィスにいる指示者に装着され、指示者に対するＶＲ空間の提供を実現する。ＶＲＨＭＤ１１０は、あらかじめインストールされているアプリケーションを起動することで、上述した仮想原点を用いた三次元空間共有を実現する。ＶＲＨＭＤ１１０は、ＡＲデバイス１３０において撮影指示ガイドをＡＲ提示するための撮影指示情報をサーバ１５０に送信するとともに、サーバ１５０からのメタデータに対応した画像オブジェクトをＶＲ空間に展開する。
　なお、三次元空間共有システム１００において指示者に使用されるＶＲデバイスは、ＶＲＨＭＤ１１０に限らず、ＶＲゴーグルであってもよいし、コンピュータに接続された、全天球型や半天球型、ドーム型などの広視野ディスプレイなどであってもよい。
　ＡＲデバイス１３０は、例えば現場にいる作業者により使用され、作業者に対するＡＲ提示を実現する。ＡＲデバイス１３０もまた、あらかじめインストールされているアプリケーションを起動することで、上述した仮想原点を用いた三次元空間共有を実現する。ＡＲデバイス１３０は、サーバ１５０からのメタデータに対応した撮影指示ガイドをＡＲ提示するとともに、ＶＲＨＭＤ１１０により提供されるＶＲ空間において画像オブジェクトを展開するための撮影対象情報を、サーバ１５０に送信する。
　サーバ１５０は、ＶＲＨＭＤ１１０からの撮影指示情報や、ＡＲデバイス１３０からの撮影対象情報を、撮影指示ガイドや画像オブジェクトといった仮想オブジェクトに対応するメタデータとして、データベース（ＤＢ）１７０に登録する。また、サーバ１５０は、ＡＲデバイス１３０において撮影された撮影画像の画像データを、画像オブジェクトのメタデータと対応付けて、ＤＢ１７０に登録する。
　図７は、サーバ１５０において管理される仮想オブジェクトのメタデータの例を示す図である。
　仮想オブジェクトのメタデータには、オブジェクトＩＤ、位置姿勢情報、画像解像度、タイムスタンプ、ユーザ情報、可視化フラグ、およびオブジェクトタイプが設定される。
　オブジェクトＩＤは、対応する仮想オブジェクト（撮影指示ガイド、画像オブジェクト）を一意に特定するための識別情報である。
　位置姿勢情報は、仮想原点を基準とした当該仮想オブジェクトの位置と姿勢を表す情報である。位置姿勢情報としては、例えば仮想原点を基準とした三次元位置情報（ｘ，ｙ，ｚ）と姿勢情報（roll，yaw，pitch）からなる６ＤｏＦ情報が設定される。当該仮想オブジェクトが撮影指示ガイドである場合、位置姿勢情報は、三次元空間共有されている実空間における撮影位置と撮影アングルを示すことになる。
　画像解像度は、当該仮想オブジェクトの幅と高さを表す情報である。
　タイムスタンプは、当該仮想オブジェクトの生成が指示された日時を表す情報である。当該仮想オブジェクトが撮影指示ガイドである場合、タイムスタンプには、ＶＲＨＭＤ１１０において撮影指示ガイドが設定された日時が設定される。当該仮想オブジェクトが画像オブジェクトである場合、タイムスタンプには、ＡＲデバイス１３０において撮影画像が撮影された日時が設定される。
　ユーザ情報は、当該仮想オブジェクトの生成を指示したユーザを表す情報である。ユーザ情報としては、例えば当該仮想オブジェクトの生成が指示されたクライアント（ＶＲＨＭＤ１１０，ＡＲデバイス１３０）の名称（機種名）などが設定される。
　可視化フラグは、当該仮想オブジェクトを、クライアント（ＶＲＨＭＤ１１０，ＡＲデバイス１３０）において表示するか否かを表す情報である。可視化フラグとしてTrueが設定されている場合、当該仮想オブジェクトはクライアントにおいて表示され、可視化フラグとしてFalseが設定されている場合、当該仮想オブジェクトはクライアントにおいて表示されなくなる。
　オブジェクトタイプは、当該仮想オブジェクトの種類を表す情報である。具体的には、オブジェクトタイプは、当該仮想オブジェクトが、撮影指示ガイドであるか、または、画像オブジェクトであるかを表す情報である。
　次に、三次元空間共有システム１００における各クライアント（ＶＲＨＭＤ１１０，ＡＲデバイス１３０）の構成について説明する。
（ＶＲＨＭＤの構成）
　図８は、ＶＲＨＭＤ１１０の構成例を示すブロック図である。
　ＶＲＨＭＤ１１０は、センサ部２１１、記録部２１２、表示部２１３、音声出力部２１４、通信部２１５、および制御部２１６を備えている。
　センサ部２１１は、ＶＲＨＭＤ１１０を装着するユーザ（指示者）とその周囲をセンシングする。センサ部２１１は、自己位置推定用センサ２１１ａ、手姿勢推定用センサ２１１ｂ、および音センサ２１１ｃを含むように構成される。
　自己位置推定用センサ２１１ａは、加速度センサ、ジャイロセンサ、方位センサ、深度センサ（測距センサ）などから構成される。自己位置推定用センサ２１１ａによるセンシング結果は、ユーザの頭部の位置や姿勢の推定に用いられる。
　手姿勢推定用センサ２１１ｂは、深度センサ（測距センサ）や赤外線カメラなどから構成される。手姿勢推定用センサ２１１ｂによるセンシング結果は、ユーザの手の動きや姿勢の推定に用いられる。
　音センサ２１１ｃは、例えばユーザが発話した音声を収音するマイクロフォンから構成される。
　記録部２１２は、例えばフラッシュメモリなどから構成される。記録部２１２には、ＶＲＨＭＤ１１０によるＶＲ空間の提供に必要なプログラムやデータ、ＶＲ空間に展開される仮想オブジェクトの生成に用いられる３Ｄモデルなどが記録される。
　表示部２１３は、例えば非透過式のディスプレイなどから構成される。表示部２１３により提示されるＶＲ空間には、制御部２１６の制御の下、各種の仮想オブジェクトが展開される。
　音声出力部２１４は、スピーカなどから構成される。音声出力部２１４からは、制御部２１６の制御の下、表示部２１３により提示されるＶＲ空間に対応した音声が出力される。
　通信部２１５は、ネットワークＩ／Ｆなどから構成され、例えば無線ＬＡＮの規格に基づいた無線通信を行う。
　制御部２１６は、ＣＰＵ（Central Processing Unit）などプロセッサから構成され、ＶＲＨＭＤ１１０の各部を制御する。制御部２１６は、自己位置推定処理部２２１、手姿勢推定処理部２２２、アプリケーション実行部２２３、記録制御部２２４、表示制御部２２５、出力制御部２２６、および通信制御部２２７を備えている。制御部２１６が備える各機能ブロックは、記録部２１２に記録されているプログラムを実行することにより実現される。
　自己位置推定処理部２２１は、自己位置推定用センサ２１１ａによるセンシング結果に基づいて、ユーザの頭部の位置や姿勢を推定する。
　手姿勢推定処理部２２２は、手姿勢推定用センサ２１１ｂによるセンシング結果に基づいて、ユーザの手の動きや姿勢を推定する。
　アプリケーション実行部２２３は、記録部２１２に記録されているプログラム（アプリケーションプログラム）を実行することで、上述した仮想原点を用いた三次元空間共有を実現する。
　記録制御部２２４は、記録部２１２への各種データの記録や、記録部２１２からの各種データの読み出しを制御する。
　表示制御部２２５は、表示部２１３におけるＶＲ空間の提示や、ＶＲ空間における各種の仮想オブジェクトの展開を制御する。
　出力制御部２２６は、音声出力部２１４による音声の出力を制御する。
　通信制御部２２７は、通信部２１５による無線通信を制御することで、サーバ１５０との間でデータの送受信を行う。
（ＡＲデバイスの構成）
　図９は、ＡＲデバイス１３０の構成例を示すブロック図である。図９は、主にＡＲデバイス１３０がスマートフォンである場合の構成例を示すものとする。
　ＡＲデバイス１３０は、センサ部２３１、記録部２３２、表示部２３３、音声出力部２３４、通信部２３５、および制御部２３６を備えている。
　ＡＲデバイス１３０が備える各部は、ＶＲＨＭＤ１１０が備える各部と基本的に同様の機能を有する。
　センサ部２３１は、ＡＲデバイス１３０を使用するユーザ（作業者）とその周囲をセンシングする。センサ部２３１は、自己位置推定用センサ２３１ａ、カメラ２３１ｂ、および音センサ２３１ｃを含むように構成される。
　自己位置推定用センサ２３１ａと音センサ２３１ｃは、ＶＲＨＭＤ１１０のセンサ部２１１が備える自己位置推定用センサ２１１ａと音センサ２１１ｃと基本的に同様の機能を有するので、その説明は省略する。
　カメラ２３１ｂは、ＡＲデバイス１３０を使用するユーザ（作業者）の操作に基づいて、撮影対象オブジェクトが存在する実空間を撮影する。実空間においてカメラ２３１ｂにより取り込まれている取り込み画像は、表示部２３３にリアルタイムに表示される。
　制御部２３６は、ＣＰＵなどプロセッサから構成され、ＡＲデバイス１３０の各部を制御する。制御部２３６は、自己位置推定処理部２４１、撮影制御部２４２、アプリケーション実行部２４３、記録制御部２４４、表示制御部２４５、出力制御部２４６、および通信制御部２４７を備えている。制御部２３６が備える各機能ブロックは、記録部２３２に記録されているプログラムを実行することにより実現される。
　制御部２３６が備える撮影制御部２４２と表示制御部２４５以外の機能ブロックは、ＶＲＨＭＤ１１０の制御部２１６が備える自己位置推定処理部２２１、アプリケーション実行部２２３、記録制御部２２４、出力制御部２２６、および通信制御部２２７と基本的に同様の機能を有するので、その説明は省略する。
　撮影制御部２４２は、カメラ２３１ｂを制御することで、カメラ２３１ｂにより取り込まれた取り込み画像を取得する。また、撮影制御部２４２は、カメラ２３１ｂを制御することで、図示せぬ撮影ボタンが操作されたことに応じて、静止画像を撮影する。
　表示制御部２４５は、表示部２３３を制御することで、カメラ２３１ｂにより取り込まれた取り込み画像を表示する。表示制御部２４５は、重畳制御部２５１を有している。
　重畳制御部２５１は、実空間と三次元空間共有されているＶＲ空間において設定された撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、表示部２３３に表示されている取り込み画像上に、撮影指示ガイドを重畳表示する。撮影対象オブジェクトの撮影位置と撮影アングルは、ＶＲ空間に存在する、撮影対象オブジェクトに対応する対応オブジェクトに対して設定された撮影指示ガイドのメタデータ（位置姿勢情報）として取得される。取り込み画像において、位置姿勢情報で示される位置に、位置姿勢情報で示される姿勢で撮影指示ガイドが表示されることで、当該撮影位置における撮影アングルでの撮影が案内される。
　このとき、重畳制御部２５１は、カメラ２３１ｂの位置と姿勢に応じて、撮影指示ガイドの取り込み画像上での大きさと姿勢を変化させる。
　このような構成により、実空間の撮影対象オブジェクトの周囲に仮想的に配置された撮影指示ガイドが、作業者に提示されるようになる。作業者は、取り込み画像上の撮影指示ガイドの位置や姿勢、大きさを確認しながら、指示者の意図した撮影位置と撮影アングルで、撮影対象オブジェクトを撮影することができる。
　以下においては、三次元空間共有システムの動作について説明する。
（三次元空間共有システム全体の初期動作）
　図１０は、三次元空間共有システム全体の初期動作の流れについて説明する図である。
　ステップＳ１１乃至Ｓ１５は、例えばオフィスにいる指示者が、ＶＲＨＭＤ１１０を操作することで実行される。
　ＶＲＨＭＤ１１０は、ステップＳ１１において、アプリケーションを起動すると、ステップＳ１２において、ＤＢ情報要求をサーバ１５０に送信する。ＤＢ情報要求は、ＤＢ１７０において管理されている、ＶＲ空間に展開される仮想オブジェクトを生成するためのデータ（ＤＢデータ）を要求するための情報である。
　サーバ１５０は、ステップＳ１３において、ＤＢ情報要求に応じたＤＢデータをＤＢ１７０から呼び出すＤＢ情報要求処理を実行し、ステップＳ１４において、呼び出したＤＢデータをＶＲＨＭＤ１１０に送信する。
　ＶＲＨＭＤ１１０は、ステップＳ１５において、サーバ１５０からのＤＢデータに基づいて、ＶＲ空間に展開される仮想オブジェクトを生成する。
　一方、ステップＳ２１乃至Ｓ２６は、例えば現場にいる作業者が、ＡＲデバイス１３０を操作することで実行される。
　ＡＲデバイス１３０は、ステップＳ２１において、アプリケーションを起動すると、ステップＳ２２において、仮想原点を設定する。仮想原点は、実空間内に配置されたマーカに基づいて設定されてもよいし、撮影対象オブジェクトの特徴点を検出し、ＶＲ空間における対応オブジェクトの特徴点とのキャリブレーションによって設定されてもよい。仮想原点が設定された後、ＡＲデバイス１３０は、ステップＳ２３において、ＤＢ情報要求をサーバ１５０に送信する。ここでのＤＢ情報要求は、ＤＢ１７０において管理されている、実空間上でＡＲ提示される仮想オブジェクトを生成するためのＤＢデータを要求するための情報である。
　サーバ１５０は、ステップＳ２４において、ＤＢ情報要求に応じたＤＢデータをＤＢ１７０から呼び出すＤＢ情報要求処理を実行し、ステップＳ２５において、呼び出したＤＢデータをＡＲデバイス１３０に送信する。
　ＡＲデバイス１３０は、ステップＳ２６において、サーバ１５０からのＤＢデータに基づいて、実空間上でＡＲ提示される仮想オブジェクトを生成する。
　以上のように、ＡＲデバイス１３０においては、アプリケーション起動後に仮想原点が設定されることで、ＶＲ空間と実空間の三次元空間共有を実現することができる。
（サーバの動作）
　次に、図１１のフローチャートを参照して、サーバ１５０によるクライアント（ＶＲＨＭＤ１１０，ＡＲデバイス１３０）との通信処理の流れについて説明する。三次元空間共有システム１００においては、サーバ１５０の通信相手がＶＲＨＭＤ１１０とＡＲデバイス１３０のいずれであっても、基本的に同様の通信処理が実行される。
　ステップＳ３１において、サーバ１５０は、通信待機状態に移行する。
　ステップＳ３２において、サーバ１５０は、クライアントからの通信（通信の要求）があったか否かを判定する。クライアントからの通信がないと判定された場合、ステップＳ３３に進む。
　ステップＳ３３において、サーバ１５０は、通信相手のクライアントにおいて、ユーザにより通信の終了が指示されたか否かを判定する。通信の終了が指示されていないと判定されると、ステップＳ３１に戻り、以降の処理が繰り返される。
　一方、ステップＳ３３において、通信の終了が指示されたと判定されると、当該クライアントとの通信処理は終了する。
　さて、ステップＳ３２において、クライアントからの通信があったと判定された場合、ステップＳ３４に進む。
　ステップＳ３４において、サーバ１５０は、通信処理状態に移行する。
　ステップＳ３５において、サーバ１５０は、クライアントとの通信がどのような種類の通信であるかを判定する。クライアントとの通信には、ＤＢ情報要求、メタデータ要求、画像データ要求、およびクライアントからのデータ送信の４種類がある。
　クライアントとの通信がＤＢ情報要求である場合、ステップＳ３６に進み、サーバ１５０は、ＤＢ１７０からオブジェクトＩＤ一覧を呼び出す。オブジェクトＩＤ一覧は、三次元空間共有されているＶＲ空間と実空間（以降、併せて仮想空間ともいう）において展開されている全ての仮想オブジェクトのオブジェクトＩＤの一覧である。
　クライアントからの通信がメタデータ要求である場合、ステップＳ３７に進み、サーバ１５０は、ＤＢ１７０から指定オブジェクトＩＤのメタデータを呼び出す。メタデータ要求には、クライアントにおいて指定された仮想オブジェクトのオブジェクトＩＤ（以下、指定オブジェクトＩＤともいう）が含まれ、サーバ１５０により、その指定オブジェクトＩＤが設定されているメタデータが呼び出される。
　クライアントからの通信が画像データ要求である場合、ステップＳ３８に進み、サーバ１５０は、ＤＢ１７０から指定オブジェクトＩＤの画像データを呼び出す。画像データ要求には、指定オブジェクトＩＤとして、クライアントにおいて指定された画像オブジェクトのオブジェクトＩＤが含まれ、サーバ１５０により、その画像オブジェクトに対応付けられている画像データが呼び出される。
　ステップＳ３６，Ｓ３７，Ｓ３８において、ＤＢ１７０から各データが呼び出されると、ステップＳ３９に進み、サーバ１５０は、要求元のクライアントに、呼び出したデータを送信する。その後、ステップＳ３３に進む。
　また、クライアントからの通信がデータ送信である場合、ステップＳ４０に進み、サーバ１５０は、クライアントからの受信データが有効であるか否かを判定する。受信データには、上述した撮影指示情報や撮影対象情報からなるメタデータや画像データが含まれる。受信データが有効であると判定された場合、ステップＳ４１に進む。
　ステップＳ４１において、サーバ１５０は、当該受信データをＤＢ１７０に登録する。具体的には、サーバ１５０は、撮影指示ガイドや画像オブジェクトのメタデータや、画像オブジェクトに対応付けられた画像データを、ＤＢ１７０に登録する。その後、ステップＳ３３に進む。
　一方、ステップＳ４０において、受信データが有効でないと判定された場合、ステップＳ４１はスキップされて、ステップＳ３３に進む。
（クライアントの動作）
　次に、図１２のフローチャートを参照して、クライアント（ＶＲＨＭＤ１１０，ＡＲデバイス１３０）によるサーバ１５０との通信処理の流れについて説明する。三次元空間共有システム１００においては、ＶＲＨＭＤ１１０とＡＲデバイス１３０のいずれもが、基本的に同様の通信処理を実行する。
　ステップＳ５１において、クライアントは、ＤＢ更新タイマを起動する。ＤＢ更新タイマは、仮想オブジェクトを生成するためのＤＢデータを要求するＤＢ情報要求を定期的にサーバ１５０に送信するための時間を計時するタイマである。すなわち、ＤＢ更新タイマにより、仮想空間に展開される仮想オブジェクトの更新頻度が決定される。
　ステップＳ５２において、クライアントは、通信待機状態に移行する。
　ステップＳ５３において、クライアントは、ユーザによる入力があったか否かを判定する。ユーザによる入力は、例えばＶＲＨＭＤ１１０における撮影指示ボタンＳｂや図示せぬ物理ボタンの押下であったり、ＡＲデバイス１３０における撮影ボタンの操作であったりする。ユーザによる入力がないと判定された場合、ステップＳ５４に進む。
　ステップＳ５４において、クライアントは、ＤＢ更新タイマが一定値Ｔ１を超えたか否かを判定する。一定値Ｔ１は、仮想空間に展開される仮想オブジェクトの更新頻度の時間間隔を示す。ＤＢ更新タイマが一定値Ｔ１を超えていないと判定された場合、すなわち、ＤＢ情報要求をサーバ１５０に送信するタイミングには至っていない場合、ステップＳ５５に進む。
　ステップＳ５５において、クライアントは、受信したい指定オブジェクトＩＤのリストがあるか否かを判定する。受信したい指定オブジェクトＩＤのリストは、サーバ１５０からのオブジェクトＩＤ一覧の中で、その時点ではまだ当該クライアントの仮想空間に展開されていない仮想オブジェクトのオブジェクトＩＤのリストである。受信したい指定オブジェクトＩＤのリストがないと判定された場合、ステップＳ５６に進む。
　ステップＳ５６において、クライアントは、サーバ１５０からの受信データがあるか否かを判定する。サーバ１５０からの受信データは、オブジェクトＩＤ一覧であったり、仮想オブジェクトのメタデータであったり、画像データであったりする。サーバ１５０からの受信データがないと判定されると、ステップＳ５７に進む。
　ステップＳ５７において、クライアントは、ユーザにより通信の終了が指示されたか否かを判定する。通信の終了が指示されていないと判定されると、ステップＳ５２に戻り、以降の処理が繰り返される。
　一方、ステップＳ５７において、通信の終了が指示されたと判定されると、サーバ１５０との通信処理は終了する。
　さて、ステップＳ５３において、ユーザによる入力があったと判定された場合、ステップＳ５８に進む。
　ステップＳ５８において、クライアントは、データ送信状態に移行する。
　そして、ステップＳ５９において、クライアントは、データ送信処理を実行する。データ送信処理においては、クライアントからサーバ１５０に、撮影指示ガイドや画像オブジェクトのメタデータが送信されたり、画像オブジェクトに対応する画像データが送信されたりする。データ送信処理の詳細は、図１３のフローチャートを参照して後述する。データ送信処理が終了すると、ステップＳ６０に進む。
　また、ステップＳ５４において、ＤＢ更新タイマが一定値Ｔ１を超えたと判定された場合、すなわち、ＤＢ情報要求をサーバ１５０に送信するタイミングになった場合にも、ステップＳ６０に進む。
　ステップＳ６０において、クライアントは、ＤＢ情報要求状態に移行する。
　そして、ステップＳ６１において、クライアントは、ＤＢ情報要求をサーバ１５０に送信する。その後、ステップＳ５５に進む。
　さて、ステップＳ５５において、受信したい指定オブジェクトＩＤのリストがあると判定された場合、ステップＳ６２に進む。
　ステップＳ６２において、クライアントは、指定オブジェクトＩＤデータ要求状態に移行する。
　そして、ステップＳ６３において、クライアントは、指定オブジェクトＩＤデータ要求処理を実行する。指定オブジェクトＩＤデータ要求処理の詳細は、図１４のフローチャートを参照して後述する。指定オブジェクトＩＤデータ要求処理が終了すると、ステップＳ５６に進む。
　さて、ステップＳ５６において、サーバ１５０からの受信データがあると判定されると、ステップＳ６４に進む。
　ステップＳ６４において、クライアントは、データ受信状態に移行する。
　そして、ステップＳ６５において、クライアントは、データ受信処理を実行する。データ受信処理においては、サーバ１５０からのオブジェクトＩＤ一覧や、仮想オブジェクトのメタデータ、画像データが受信される。データ受信処理の詳細は、図１５のフローチャートを参照して後述する。データ受信処理が終了すると、ステップＳ５７に進む。
（データ送信処理の流れ）
　ここで、図１３のフローチャートを参照して、図１２のステップＳ５９において実行されるデータ送信処理の流れについて説明する。図１３の処理は、上述したように、ユーザにより、ＶＲＨＭＤ１１０において撮影指示ボタンＳｂや図示せぬコントローラの物理ボタンが押下されたり、ＡＲデバイス１３０において撮影ボタンが操作されたことに応じて実行される。
　ステップＳ７１において、クライアントは、デバイスに応じた撮影・記録処理を実行する。
　具体的には、クライアントがＶＲＨＭＤ１１０である場合、ＶＲ空間のスクリーンショットが記録される。クライアントがＡＲデバイス１３０のうちのスマートフォンである場合、取り込み画像上に重畳表示されている仮想オブジェクトが非表示にされた後、取り込み画像のスクリーンショットが記録される。その後、非表示にされた仮想オブジェクトが取り込み画像上に再び表示される。また、クライアントがＡＲデバイス１３０のうちのＡＲＨＭＤである場合、ＡＲＨＭＤに内蔵されているカメラにより画像が撮影されて記録される。
　以上のようにして、ＶＲ空間または実空間の画像が記録されると、ステップＳ７２に進む。
　ステップＳ７２において、クライアントは、仮想原点からのデバイスの位置姿勢（相対位置・相対姿勢）を記録する。
　例えば、クライアントがＶＲＨＭＤ１１０である場合、ユーザ（指示者）によってＶＲ空間上に配置される撮影指示オブジェクトＳＯの中心位置と姿勢が記録される。また、ＶＲ空間において、撮影指示オブジェクトＳＯに代えて、ユーザの手形状に応じた仮想オブジェクトが提示されるようにしてもよい。この場合、手形状に応じた仮想オブジェクトの中心位置と姿勢が記録される。クライアントがＡＲデバイス１３０である場合、ユーザ（作業者）が使用しているＡＲデバイス１３０の中心位置と姿勢が記録される。
　ステップＳ７３において、クライアントは、サーバ１５０に送信するメタデータや画像データに対応付けるユニークＩＤを生成する。ここで生成されたユニークＩＤは、図７を参照して説明したオブジェクトＩＤとなる。
　ステップＳ７４において、クライアントは、ユニークＩＤ（オブジェクトＩＤ）、デバイスの位置姿勢、オブジェクトタイプなどを含むメタデータを生成する。
　そして、ステップＳ７５において、クライアントは、メタデータや画像データをサーバ１５０に送信する。具体的には、クライアントがＶＲＨＭＤ１１０である場合、撮影指示ガイドのメタデータがサーバ１５０に送信される。クライアントがＡＲデバイス１３０である場合、画像オブジェクトのメタデータと画像データがサーバ１５０に送信される。
　以上のようにして、データ送信処理が実行される。
（指定オブジェクトＩＤデータ要求処理の流れ）
　次に、図１４のフローチャートを参照して、図１２のステップＳ６３において実行される指定オブジェクトＩＤデータ要求処理の流れについて説明する。
　ステップＳ８１において、クライアントは、受信したい指定オブジェクトＩＤのリストにデータがあるか否かを判定する。受信したい指定オブジェクトＩＤのリストにデータがあると判定された場合、ステップＳ８２に進む。
　ステップＳ８２において、クライアントは、受信したい指定オブジェクトＩＤのリストから１つのＩＤ（オブジェクトＩＤ）を抽出する。
　ステップＳ８３において、クライアントは、抽出したＩＤに基づいたメタデータ要求をサーバ１５０に送信する。
　そして、ステップＳ８４において、クライアントは、抽出したＩＤを受信したい指定オブジェクトＩＤのリストから削除する。その後、ステップＳ８１に戻り、受信したい指定オブジェクトＩＤのリストのデータが全て削除されるまで、メタデータ要求の送信が繰り返される。
　以上のようにしてメタデータ要求が送信されたことに応じて、サーバ１５０からは、受信したい指定オブジェクトＩＤが設定されているメタデータが送信されてくる。
（データ受信処理の流れ）
　そして、図１５のフローチャートを参照して、図１２のステップＳ６５において実行されるデータ受信処理の流れについて説明する。図１５の処理は、上述したように、サーバ１５０からの何らかの受信データがある場合に実行される。
　ステップＳ９１において、クライアントは、サーバ１５０からの受信データがどのような種類のデータであるかを判定する。上述したように、受信データには、オブジェクトＩＤ一覧、メタデータ、および画像データの３種類がある。
　受信データがオブジェクトＩＤ一覧である場合、ステップＳ９２に進み、クライアントは、表示済みオブジェクトＩＤのリストと、受信したオブジェクトＩＤ一覧を比較する。表示済みオブジェクトＩＤのリストは、当該クライアントの仮想空間に既に展開される仮想オブジェクトのオブジェクトＩＤのリストである。
　ステップＳ９３において、クライアントは、未表示オブジェクトＩＤを受信したい指定オブジェクトＩＤのリストに追加する。未表示オブジェクトＩＤは、受信したオブジェクトＩＤ一覧の中で、表示済みオブジェクトＩＤではないオブジェクトＩＤとなる。
　このようにして、クライアントにおいて、受信したい指定オブジェクトＩＤのリストが更新される。
　受信データがメタデータである場合、ステップＳ９４に進み、クライアントは、受信したメタデータに対応する仮想オブジェクトがどのような種類のオブジェクトであるかを判定する。上述したように、仮想オブジェクトには、撮影指示ガイドと画像データの２種類がある。
　受信したメタデータに対応する仮想オブジェクトが撮影指示ガイドである場合、ステップＳ９５に進み、クライアントは、撮影指示ガイド用の３Ｄモデルを記録部２１２または記録部２３２から呼び出す。
　一方、受信したメタデータに対応する仮想オブジェクトが画像オブジェクトである場合、ステップＳ９６に進み、クライアントは、画像オブジェクト用の３Ｄモデルを記録部２１２または記録部２３２から呼び出す。
　次いで、ステップＳ９７において、クライアントは、受信したメタデータのオブジェクトＩＤに基づいて画像データ要求をサーバ１５０に送信する。
　ステップＳ９５またはステップＳ９７の後、ステップＳ９８に進み、クライアントは、受信したメタデータの位置姿勢情報に基づいて、呼び出した３Ｄモデルを用いて、当該仮想オブジェクト（撮影指示ガイドまたは画像オブジェクト）を仮想空間に生成する。
　ステップＳ９９において、クライアントは、受信したメタデータのオブジェクトＩＤを表示済みオブジェクトＩＤのリストに追加する。
　このようにして、クライアントにおいて、撮影指示ガイドや画像オブジェクトといった仮想オブジェクトが展開される。
　また、受信データが画像データである場合、ステップＳ１００に進み、クライアントは、受信した画像データに設定されているＩＤ（オブジェクトＩＤ）を抽出する。
　ステップＳ１０１において、クライアントは、抽出されたＩＤに基づいて、生成済みの画像オブジェクト（クライアントにおいて展開されている画像オブジェクト）を検索する。
　ステップＳ１０２において、クライアントは、該当した画像オブジェクトのテクスチャ情報を、受信した画像データに差し替える。
　このようにして、クライアントにおいて、画像オブジェクトとして高精細な画像が表示される。
　以上のような処理により、三次元空間共有システム１００において、仮想原点を用いた三次元空間共有によるＵＩの提示が実現される。
＜４．ＡＲデバイスによる処理の詳細＞
　ここでは、指示者の意図した通りに撮影することが求められる作業者が使用するＡＲデバイス１３０による処理の詳細について説明する。
（撮影処理の流れ）
　まず、図１６のフローチャートを参照して、ＡＲデバイス１３０（図９）による撮影処理の流れについて説明する。図１６の処理は、図１２のフローチャートを参照して説明した通信処理が実行される中で実現され得る。
　ステップＳ１１１において、表示制御部２４５は、カメラ２３１ｂにより取り込まれている取り込み画像を表示部２３３に表示させる。
　ステップＳ１１２において、通信制御部２４７は、ＶＲ空間においてＶＲＨＭＤ１１０により設定された撮影指示ガイドのメタデータを、ネットワークＮＷを介してサーバ１５０から取得する（受信する）。
　ステップＳ１１３において、重畳制御部２５１は、サーバ１５０から取得された撮影指示ガイドのメタデータに基づいて、取り込み画像上の撮影位置に撮影指示ガイドを重畳表示する。ここでは、撮影指示ガイドのメタデータに含まれる位置姿勢情報で示される位置と姿勢に基づいて、取り込み画像上の撮影位置を表す位置に、撮影アングルを表す姿勢の撮影指示ガイドが表示される。
　ステップＳ１１４において、撮影制御部２４２は、ＡＲデバイス１３０が備える撮影ボタンが操作されたか否かに応じて、撮影が指示されたか否かを判定する。ステップＳ１１４は、撮影が指示されるまで繰り返される。撮影が指示されると、画像オブジェクトのメタデータとともに、撮影された静止画像が画像データとしてサーバ１５０に送信され、ステップＳ１１５に進む。
　ステップＳ１１５において、重畳制御部２５１は、画像オブジェクト（静止画像）のメタデータに基づいて、取り込み画像上の撮影が指示された位置に画像オブジェクトを重畳表示する。ここでは、画像オブジェクトのメタデータに含まれる位置姿勢情報で示される位置と姿勢の画像オブジェクトが表示される。画像オブジェクトは、そのテクスチャ情報が、静止画像としてサーバ１５０に送信された画像データに差し替えられて表示される。
　また、画像オブジェクトは、サーバ１５０（ネットワークＮＷ）を介して、通信制御部２４７によってＡＲデバイス１３０に送信されることで、仮想原点を用いて三次元空間共有されているＶＲ空間（ＶＲＨＭＤ１１０）においても同様にして表示される。
　以上の処理によれば、現場にいる作業者は、言葉による指示だけでは理解しづらい指示者の所望する撮影アングルの撮影であっても、ＡＲ提示された撮影指示ガイドを参照することで、指示者の意図した通りの撮影を実現することが可能となる。
　また、遠隔地にいる指示者は、事前に用意された３Ｄモデルの指示対象では得られない、リアルタイムな撮影対象の画像を得ることで、作業者が撮影した撮影位置や撮影アングルなど、作業者の意図を容易に理解することができる。また、指示者は、事前に用意された３Ｄモデルを俯瞰しながら、新たに所望する画像の撮影アングルを指示することができるので、作業の効率化を図ることができる。
　以下においては、撮影指示ガイドと画像オブジェクトの相対的位置関係に応じて、撮影指示ガイドと画像オブジェクトのいずれかを非表示にする例について説明する。
（タイムスタンプを用いたＵＩ提示）
　仮想オブジェクト（撮影指示ガイド、画像オブジェクト）の相対的位置関係に応じて、それぞれのメタデータに含まれるタイムスタンプを用いることで、より好適なＵＩの提示を実現することができる。
　ここで、図１７のフローチャートを参照して、メタデータに含まれるタイムスタンプを用いた仮想オブジェクト表示処理の流れについて説明する。
　ステップＳ１３１において、重畳制御部２５１は、取り込み画像上に重畳表示されている（仮想空間に展開されている）撮影指示ガイドと画像オブジェクトの相対距離を算出する。相対距離は、例えば、仮想オブジェクトそれぞれの重心座標同士の間の距離などとされる。
　ステップＳ１３２において、重畳制御部２５１は、算出した相対距離が一定距離より小さいか否かを判定する。相対距離が一定距離より小さいと判定された場合、ステップＳ１３３に進む。
　ステップＳ１３３において、重畳制御部２５１は、撮影指示ガイドと画像オブジェクトそれぞれのメタデータに含まれるタイムスタンプに基づいて、タイムスタンプが古い方を非表示にする。すなわち、撮影指示ガイドと画像オブジェクトのうちの生成時刻が早い方が非表示とされ、生成時刻が遅い方のみが表示される。
　なお、ステップＳ１３２において、相対距離が一定距離より小さくないと判定された場合、すなわち、撮影指示ガイドと画像オブジェクトとが一定距離より離れている場合、ステップＳ１３３はスキップされる。
　例えば、図１８に示されるように、撮影指示ガイドＳＧＡと画像オブジェクトＰＯＡの相対距離Δｄが距離Ｄ１より小さいか否かが判定される。距離Ｄ１は、仮想オブジェクト同士が重なることで視認の妨げとなるような距離とされ、図１８においては、Δｄ＜Ｄ１であるものとする。また、撮影指示ガイドＳＧＡのタイムスタンプはｔ１であり、画像オブジェクトＰＯＡのタイムスタンプはｔ２であるものとする。
　ここで、ｔ１＜ｔ２である場合、すなわち、撮影指示ガイドＳＧＡのタイムスタンプの方が画像オブジェクトＰＯＡのタイムスタンプより古い場合、タイムスタンプが新しい画像オブジェクトＰＯＡのみが表示される。このとき、撮影指示ガイドＳＧＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　一方、ｔ１＞ｔ２である場合、すなわち、画像オブジェクトＰＯＡのタイムスタンプの方が撮影指示ガイドＳＧＡのタイムスタンプより古い場合、タイムスタンプが新しい撮影指示ガイドＳＧＡのみが表示される。このとき、画像オブジェクトＰＯＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　なお、上述した処理は、ＡＲデバイス１３０だけでなく、ＶＲＨＭＤ１１０においても同様に実行され得る。
　また、上述した処理は、撮影指示ガイドと画像オブジェクトについての表示処理だけでなく、撮影指示ガイド同士についての表示処理や、画像オブジェクト同士についての表示処理にも適用することができる。
　以上の処理によれば、作業者と指示者はともに、常に最新の撮影指示ガイドまたは画像オブジェクトを確認することができ、作業の進捗状況を容易に確認することが可能となる。また、特に指示者は、撮影対象オブジェクトのどの箇所の情報（画像）が頻繁に更新されているのかを容易に確認できることにより、確認頻度が高い箇所を特定し、作業プロセスの改善を図ることが可能となる。
（撮影結果の評価）
　撮影指示ガイドと画像オブジェクトの相対的位置関係に応じて、作業者により適切な撮影が行われたかなど、撮影結果を評価することができる。
　ここで、図１９のフローチャートを参照して、ＡＲデバイス１３０における撮影結果の自動評価処理の流れについて説明する。
　ステップＳ１５１において、重畳制御部２５１は、取り込み画像上に重畳表示されている（仮想空間に展開されている）撮影指示ガイドと画像オブジェクトの相対距離に基づいて評価値を算出する。
　ステップＳ１５２において、重畳制御部２５１は、算出した評価値があらかじめ設定された閾値より大きいか否かを判定する。
　ステップＳ１５２において、評価値が閾値より大きいと判定された場合、ステップＳ１５３に進み、重畳制御部２５１は、撮影指示ガイドを非表示にする。
　一方、ステップＳ１５２において、評価値が閾値より大きくない（小さい）と判定された場合、ステップＳ１５４に進み、重畳制御部２５１は、画像オブジェクトを非表示にする。
　例えば、図２０に示されるように、撮影指示ガイドＳＧＡと画像オブジェクトＰＯＡの相対距離Δｄと、Ｄ２＜Ｄ３の関係を有する距離についての閾値Ｄ２，Ｄ３に基づいて評価値Scoreが算出される。
　Δｄ＜Ｄ２である場合、評価値Scoreは、１００と算出される。Ｄ２≦Δｄ≦Ｄ３である場合、評価値Scoreは、１００－｛（Δｄ－Ｄ２）／（Ｄ３－Ｄ２）｝として算出される。Ｄ３＜Δｄである場合、評価値Scoreは、０と算出される。
　そして、評価値Scoreが、例えば閾値６０以上である場合、撮影結果である画像オブジェクトＰＯＡに「ＯＫ！」などの文言が表示され、撮影指示ガイドＳＧＡが非表示になる。このとき、撮影指示ガイドＳＧＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　一方、評価値Scoreが、例えば閾値６０未満である場合、撮影結果である画像オブジェクトＰＯＡに「ＮＧ…」などの文言が表示され、画像オブジェクトＰＯＡが非表示になる。このとき、画像オブジェクトＰＯＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　上述した処理においては、撮影指示ガイドと画像オブジェクトの相対距離Δｄに基づいて評価値が算出されるものとした。これに限らず、撮影指示ガイドと画像オブジェクトの相対姿勢Δθに基づいて評価値が算出されてもよいし、撮影指示ガイドと画像オブジェクトの相対距離Δｄと相対姿勢Δθに基づいて評価値が算出されてもよい。
　以上においては、ＡＲデバイス１３０において撮影結果が自動で評価されるものとしたが、指示者による撮影結果の評価がＡＲデバイス１３０にフィードバックされてもよい。
　ここで、図２１のフローチャートを参照して、撮影結果の指示者評価処理の流れについて説明する。図２１の処理は、指示者が、ＶＲ空間（ＶＲＨＭＤ１１０）に提示される撮影結果（画像オブジェクト）を評価することで実行される。ＶＲ空間における評価値（ユーザ評価値）は、ＶＲＨＭＤ１１０から、サーバ１５０を介して、ＡＲデバイス１３０に送信される。
　ステップＳ１７１において、通信制御部２４７は、ＶＲＨＭＤ１１０からの、ＶＲ空間におけるユーザ評価値を取得する。
　ステップＳ１７２において、重畳制御部２５１は、取得されたユーザ評価値があらかじめ設定された閾値より大きいか否かを判定する。
　ステップＳ１７２において、ユーザ評価値が閾値より大きいと判定された場合、ステップＳ１７３に進み、重畳制御部２５１は、撮影指示ガイドを非表示にする。
　一方、ステップＳ１７２において、ユーザ評価値が閾値より大きくない（小さい）と判定された場合、ステップＳ１７４に進み、重畳制御部２５１は、画像オブジェクトを非表示にする。
　例えば、図２２に示されるように、指示者は、ＶＲ空間（ＶＲＨＭＤ１１０）に提示される撮影指示ガイドＳＧＶと画像オブジェクトＰＯＶを確認することで、撮影結果（画像オブジェクトＰＯＶ）を評価するためのボタンＢＴ１，ＢＴ２のいずれかを押下する。ボタンＢＴ１は、撮影結果をＯＫとするために操作されるＵＩであり、ボタンＢＴ２は、撮影結果をＮＧとするために操作されるＵＩである。
　そして、ＶＲ空間（ＶＲＨＭＤ１１０）において指示者によりボタンＢＴ１が押下された場合、ＡＲデバイス１３０においては、撮影結果である画像オブジェクトＰＯＡに「ＯＫ！」の文言が表示され、撮影指示ガイドＳＧＡが非表示になる。このとき、撮影指示ガイドＳＧＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　一方、ＶＲ空間（ＶＲＨＭＤ１１０）において指示者によりボタンＢＴ２が押下された場合、ＡＲデバイス１３０においては、撮影結果である画像オブジェクトＰＯＡに「Please Retake.」の文言が表示され、画像オブジェクトＰＯＡが非表示になる。このとき、画像オブジェクトＰＯＡのメタデータに含まれる可視化フラグがTrueからFalseに更新される。
　以上の処理によれば、作業者が撮影指示ガイドに従って撮影した場合において、得られた画像が指示者の意図した通りに撮影されているかが、作業者に対してリアルタイムにフィードバックされる。結果として、より正確な撮影位置と撮影アングルでの撮影を実現することが可能となる。
＜５．変形例＞
　以下においては、上述した実施の形態についての変形例について説明する。
（スマートフォンとＡＲＨＭＤの連携）
　作業者が使用するＡＲデバイスを、スマートフォンとＡＲＨＭＤのいずれか一方とするのではなく、その両方を連携させるようにしてもよい。
　図２３は、三次元空間共有システムの他の構成例を示す図である。
　図２３に示される三次元空間共有システム１００’は、三次元空間共有システム１００のＡＲデバイス１３０に代わって、スマートフォン３１０とＡＲＨＭＤ３２０を含むように構成される。
　このような構成においては、スマートフォン３１０が自己位置推定機能を有していなくとも、ＡＲＨＭＤ３２０との連携により、スマートフォン３１０により撮影された静止画像（画像オブジェクト）の位置姿勢情報を取得することができる。
　例えば、ＡＲＨＭＤ３２０に内蔵されているカメラを用いて、スマートフォン３１０のオブジェクトトラッキングを行うことで、スマートフォン３１０の位置と姿勢を推定することができる。この場合、静止画像が撮影されたときのスマートフォン３１０の位置と姿勢を、画像オブジェクトの位置姿勢情報として用いることができる。
　また、ＡＲＨＭＤ３２０に表示される実空間の取り込み画像上に、スマートフォン３１０の位置を指示するＡＲガイド枠を重畳表示することで、ＡＲガイド枠に従った位置でスマートフォン３１０による撮影をユーザに行わせることができる。この場合、仮想空間上のＡＲガイド枠の位置と姿勢を、画像オブジェクトの位置姿勢情報として用いることができる。
（撮影順序を示すＵＩの提示）
　仮想空間において複数の撮影指示ガイドや複数の画像オブジェクトが展開される場合、作業者が撮影すべき順序や、実際に作業者が撮影した順序を示す仮想オブジェクトがさらに提示されるようにしてもよい。
　図２４は、撮影順序を示す仮想オブジェクトの例を示す図である。
　図２４左に示されるように、実空間においては、３つの撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３が設定されている。このとき、指示者の意図する撮影順序が明確になるように、取り込み画像上に、撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３とともに、それぞれに対応する撮影位置での撮影順序を示す矢印画像ＡＡ１，ＡＡ２が仮想オブジェクトとして重畳表示されるようにする。
　これにより、作業者は、指示者が意図した通り、撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３それぞれに対応する撮影位置の順番で、撮影作業を進めることができる。
　また、図２４右に示されるように、ＶＲ空間においては、撮影指示ガイドＳＧＡ１，ＳＧＡ２，ＳＧＡ３に従って撮影された撮影画像に対応する画像オブジェクトＰＯＶ１，ＰＯＶ２，ＰＯＶ３が展開されている。このとき、実際に作業者の撮影した順序が明確になるように、ＶＲ空間上に、画像オブジェクトＰＯＶ１，ＰＯＶ２，ＰＯＶ３とともに、それぞれに対応する撮影位置での撮影順序を示す矢印画像ＡＶ１，ＡＶ２が仮想オブジェクトとして展開されるようにする。
　これにより、指示者は、作業者が意図した通りの順番で撮影作業を進めたか否かを確認することができる。
（実空間同士の三次元空間共有）
　以上においては、ＶＲ空間と実空間との間で、仮想原点を用いた三次元空間共有が実現されるものとした。これに限らず、実空間において互いに離れた場所同士の間で、仮想原点を用いた三次元空間共有が実現されてもよい。この場合、撮影対象オブジェクトが存在する場所（第１の地点）とは異なる場所（第２の地点）に存在する実オブジェクトに対して、ＡＲ提示された撮影指示オブジェクトにより撮影指示ガイド（撮影位置、撮影アングル）が設定される。
　このような構成においても、第２の地点にいるユーザは、第１の地点にいるユーザが意図した撮影アングルで撮影することができる。また、第１の地点にいるユーザは、第２の地点にいるユーザに意図が伝わったかどうかを確認することができる。
（平面画像による撮影指示）
　以上においては、仮想オブジェクトである撮影指示ガイドとして、任意の撮影位置からの撮影アングルと撮影範囲を表す立体画像が、仮想空間に展開されるものとしたが、撮影指示ガイドは、少なくとも任意の撮影位置からの撮影アングルを表す三次元表現画像であればよい。三次元表現画像は、仮想空間において三次元的に表現される仮想オブジェクトという。例えば、スマートフォンなどのように、ＡＲデバイス１３０自体で撮影範囲が限定される場合には、図２５に示されるような円形状の平面画像としての撮影指示ガイドＳＧＰが、取り込み画像上に重畳表示される（仮想空間に展開される）ようにしてもよい。
　撮影指示ガイドＳＧＰは、撮影方向に対して正対する面を有する、任意の撮影位置からの撮影アングルを表す平面画像である。撮影指示ガイドＳＧＰは、取り込み画像上での位置と大きさが固定とされ、ＡＲデバイス１３０（カメラ２３１ｂ）の姿勢に応じて、その姿勢のみが変化する。具体的には、撮影指示ガイドＳＧＰは、撮影位置におけるＡＲデバイス１３０の姿勢によって、図２５左に示されるように楕円形に見えたり、図２５右に示されるように正円形に見えたりする。すなわち、ユーザ（作業者）は、ＡＲデバイス１３０に表示される取り込み画像を確認することで撮影範囲を決定し、その状態で、撮影指示ガイドＳＧＰが正円形に見えるように、ＡＲデバイス１３０の姿勢（撮影アングル）を調整する。
　また、撮影指示ガイドＳＧＰには、撮影範囲の中心位置（撮影対象オブジェクトの撮影方向）を示す円形状の中心位置ガイドＣｐが含まれる。中心位置ガイドＣｐは、仮想空間上での位置が固定される。ユーザ（作業者）は、撮影指示ガイドＳＧＰが正円形に見える状態で、中心位置ガイドＣｐを、破線の十字中心線で案内される撮影指示ガイドＳＧＰの中心に位置するように、ＡＲデバイス１３０（カメラ２３１ｂ）の位置を微調整する。
　このようにして、作業者は、取り込み画像上の撮影指示ガイドＳＧＰの姿勢（形状）や、中心位置ガイドＣｐの位置を確認しながら、指示者の意図した撮影位置と撮影アングルで、撮影対象オブジェクトを撮影することができる。
　なお、平面画像としての撮影指示ガイドＳＧＰと中心位置ガイドＣｐは、図２５に示される表示態様に限られない。例えば、図２６に示される撮影指示ガイドＳＧＰ１のように、中心位置ガイドＣｐが十字型状を有していてもよい。また、撮影指示ガイドＳＧＰ２のように、その中心ではなく、水平方向の位置のみを案内する破線のみが示されるようにしてもよい。さらに、撮影指示ガイドＳＧＰの形状は、正円形に限らず、指示者の意図した撮影アングルへの調整を、作業者に視覚的に促すことができる形状であればよい。具体的には、撮影指示ガイドＳＧＰ３のように、正方形であってもよいし、その他の正多角形であってもよい。
（立体画像と平面画像を組み合わせた撮影指示）
　立体画像としての撮影指示ガイドＳＧＡは、三次元空間共有されている仮想空間におけるＡＲデバイス１３０（カメラ）との距離がある程度離れていれば、図２７左に示されるように、その全体像を確認することができる。しかしながら、カメラが所望の撮影位置へ移動し、撮影指示ガイドＳＧＡとカメラとの距離が一定距離より近づいてしまうと、図２７右に示されるように、撮影指示ガイドＳＧＡの全体像を確認することができなくなる。
　この場合、作業者は、そのときのカメラの撮影位置と撮影アングルが、指示者の意図した撮影位置と撮影アングルであるかの確証を持てずに、撮影を行うことになる。すなわち、立体画像としての撮影指示ガイドＳＧＡでは、カメラの位置や姿勢の詳細な調整ができないおそれがある。
　そこで、図２８に示されるように、カメラが所望の撮影位置へ移動し、撮影指示ガイドＳＧＡとカメラとの距離が一定距離（例えば５ｃｍ）より近づいた場合に、撮影指示ガイドＳＧＡに代えて、平面画像としての撮影指示ガイドＳＧＰが表示されるようにする。撮影指示ガイドＳＧＰは、取り込み画像上での位置と大きさが固定とされることから、作業者の視認性を担保することができ、カメラの位置や姿勢の詳細な調整を実現することが可能となる。
　なお、以上においては、中心位置ガイドＣｐが、破線の十字中心線で案内される撮影指示ガイドＳＧＰの中心に位置するように、カメラの位置が調整されるものとした。これ以外にも、高精度な撮影位置や撮影アングルが求められない場合には、図２９に示されるように、中心位置ガイドＣｐが、撮影指示ガイドＳＧＰの内側に表示される中心領域ＣＲ内に位置するように、カメラの位置が調整されるようにしてもよい。
　ここで、図３０のフローチャートを参照して、上述した立体画像と平面画像を組み合わせた撮影指示を実現する、３Ｄモデル呼び出し処理の流れについて説明する。図３０の処理は、図１５のデータ受信処理におけるステップＳ９５（撮影指示ガイド用の３Ｄモデルを呼び出す処理）として実行される。
　ステップＳ２１１において、クライアント（ＡＲデバイス１３０）は、撮影指示ガイドメタデータに含まれる位置姿勢情報に基づいて、仮想空間における撮影指示ガイドとカメラとの距離が一定距離より大きいか否かを判定する。
　ステップＳ２１１において、撮影指示ガイドとカメラとの距離が一定距離より大きいと判定された場合、ステップＳ２１２に進み、クライアントは、撮影指示ガイド用の３Ｄモデルとして、立体画像の３Ｄモデルを記録部２３２から呼び出す。
　一方、ステップＳ２１１において、撮影指示ガイドとカメラとの距離が一定距離より大きくない（小さい）と判定された場合、ステップＳ２１３に進み、クライアントは、撮影指示ガイド用の３Ｄモデルとして、平面画像の３Ｄモデルを記録部２３２から呼び出す。
　以上の処理によれば、カメラが所望の撮影位置へ移動し、撮影指示ガイドとカメラとの距離が一定距離より近づいた場合であっても、作業者の視認性を担保し、カメラの位置や姿勢の詳細な調整を実現することが可能となる。
＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　本開示に係る技術を適用し得る情報処理装置としてのＡＲデバイス１３０は、図３１に示される構成を有するコンピュータ９００により実現される。
　ＣＰＵ９０１，ＲＯＭ（Read Only Memory）９０２，ＲＡＭ（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続される。また、入出力インタフェース９０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部９０８、ネットワークインタフェースなどよりなる通信部９０９、リムーバブルメディア９１１を駆動するドライブ９１０が接続される。
　以上のように構成されるコンピュータでは、ＣＰＵ９０１が、例えば、記憶部９０８に記憶されているプログラムを入出力インタフェース９０５およびバス９０４を介してＲＡＭ９０３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ９０１が実行するプログラムは、例えばリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部９０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示する表示制御部と、
　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する重畳制御部と
　を備える情報処理装置。
（２）
　前記撮影位置と前記撮影アングルは、前記第２の空間に存在する、前記撮影対象オブジェクトに対応する対応オブジェクトに対して設定される
　（１）に記載の情報処理装置。
（３）
　前記対応オブジェクトは、仮想空間における仮想オブジェクトである
　（２）に記載の情報処理装置。
（４）
　前記対応オブジェクトは、前記第１の空間とは異なる場所に存在する実オブジェクトである
　（２）に記載の情報処理装置。
（５）
　前記第１の空間と前記第２の空間とは、仮想原点を用いて三次元空間共有される
　（１）に記載の情報処理装置。
（６）
　前記撮影指示ガイドは、少なくとも前記撮影位置からの前記撮影アングルを表す三次元表現画像である
　（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記撮影指示ガイドは、撮影方向に対して下底面を向けた錐台状、または、撮影方向に対して底面の一方を向けた柱体状の形状を有する、前記撮影位置からの前記撮影アングルと撮影範囲を表す立体画像を含む
　（６）に記載の情報処理装置。
（８）
　前記撮影指示ガイドは、撮影方向に対して正対する面を有する、前記撮影位置からの前記撮影アングルを表す平面画像を含む
　（６）に記載の情報処理装置。
（９）
　前記重畳制御部は、前記カメラの位置および姿勢に応じて、前記撮影指示ガイドの大きさおよび姿勢の少なくともいずれかを変化させる
　（７）または（８）に記載の情報処理装置。
（１０）
　前記重畳制御部は、前記第１の空間における所定位置において前記カメラにより静止画像が撮影された場合、前記取り込み画像上の前記所定位置に対応する位置に、前記静止画像を前記仮想オブジェクトとして重畳表示する
　（１）乃至（５）のいずれかに記載の情報処理装置。
（１１）
　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の相対的位置関係に応じて、前記撮影指示ガイドと前記静止画像のいずれかを非表示にする
　（１０）に記載の情報処理装置。
（１２）
　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の前記相対的位置関係に基づいて算出された評価値に応じて、前記撮影指示ガイドと前記静止画像のいずれを非表示にするかを決定する
　（１１）に記載の情報処理装置。
（１３）
　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の前記相対的位置関係に対する前記第２の空間におけるユーザ評価値に応じて、前記撮影指示ガイドと前記静止画像のいずれかを非表示にする
　（１１）に記載の情報処理装置。
（１４）
　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の相対距離が一定距離より小さい場合、前記撮影指示ガイドと前記静止画像のうちの生成時刻が早い方を非表示にする
　（１１）に記載の情報処理装置。
（１５）
　前記重畳制御部は、前記取り込み画像上に、複数の前記撮影指示ガイドとともに、複数の前記撮影指示ガイドに対応する複数の前記撮影位置での撮影順序を示す矢印画像を前記仮想オブジェクトとして重畳表示する
　（１）乃至（６）のいずれかに記載の情報処理装置。
（１６）
　前記第２の空間を提供するデバイスにおいて設定された前記撮影位置と前記撮影アングルを、ネットワークを介して取得する通信制御部をさらに備える
　（１）に記載の情報処理装置。
（１７）
　前記通信制御部は、前記第１の空間における所定位置において前記カメラにより撮影された静止画像を、前記ネットワークを介して前記デバイスに送信する
　（１６）に記載の情報処理装置。
（１８）
　前記静止画像は、前記デバイスにより提供される前記第２の空間における、前記所定位置に対応する位置に、前記仮想オブジェクトとして展開される
　（１７）に記載の情報処理装置。
（１９）
　情報処理装置が、
　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、
　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する
　情報処理方法。
（２０）
　コンピュータに、
　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、
　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する
　処理を実行させるためのプログラム。
　１００，１００’　三次元空間共有システム，　１１０　ＶＲＨＭＤ，　１３０　ＡＲデバイス，　１５０　サーバ，　１７０　ＤＢ，　２１６　制御部，　２２５　表示制御部，　２３６　制御部，　２４５　表示制御部，　２５１　重畳制御部，　３１０　スマートフォン，　３２０　ＡＲＨＭＤ

Claims (20)

  1. 　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示する表示制御部と、
    　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する重畳制御部と
    　を備える情報処理装置。
  2. 　前記撮影位置と前記撮影アングルは、前記第２の空間に存在する、前記撮影対象オブジェクトに対応する対応オブジェクトに対して設定される
    　請求項１に記載の情報処理装置。
  3. 　前記対応オブジェクトは、仮想空間における仮想オブジェクトである
    　請求項２に記載の情報処理装置。
  4. 　前記対応オブジェクトは、前記第１の空間とは異なる場所に存在する実オブジェクトである
    　請求項２に記載の情報処理装置。
  5. 　前記第１の空間と前記第２の空間とは、仮想原点を用いて三次元空間共有される
    　請求項１に記載の情報処理装置。
  6. 　前記撮影指示ガイドは、少なくとも前記撮影位置からの前記撮影アングルを表す三次元表現画像である
    　請求項１に記載の情報処理装置。
  7. 　前記撮影指示ガイドは、撮影方向に対して下底面を向けた錐台状、または、撮影方向に対して底面の一方を向けた柱体状の形状を有する、前記撮影位置からの前記撮影アングルと撮影範囲を表す立体画像を含む
    　請求項６に記載の情報処理装置。
  8. 　前記撮影指示ガイドは、撮影方向に対して正対する面を有する、前記撮影位置からの前記撮影アングルを表す平面画像を含む
    　請求項６に記載の情報処理装置。
  9. 　前記重畳制御部は、前記カメラの位置および姿勢に応じて、前記撮影指示ガイドの大きさおよび姿勢の少なくともいずれかを変化させる
    　請求項６に記載の情報処理装置。
  10. 　前記重畳制御部は、前記第１の空間における所定位置において前記カメラにより静止画像が撮影された場合、前記取り込み画像上の前記所定位置に対応する位置に、前記静止画像を前記仮想オブジェクトとして重畳表示する
    　請求項１に記載の情報処理装置。
  11. 　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の相対的位置関係に応じて、前記撮影指示ガイドと前記静止画像のいずれかを非表示にする
    　請求項１０に記載の情報処理装置。
  12. 　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の前記相対的位置関係に基づいて算出された評価値に応じて、前記撮影指示ガイドと前記静止画像のいずれを非表示にするかを決定する
    　請求項１１に記載の情報処理装置。
  13. 　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の前記相対的位置関係に対する前記第２の空間におけるユーザ評価値に応じて、前記撮影指示ガイドと前記静止画像のいずれかを非表示にする
    　請求項１１に記載の情報処理装置。
  14. 　前記重畳制御部は、前記撮影指示ガイドと前記静止画像の相対距離が一定距離より小さい場合、前記撮影指示ガイドと前記静止画像のうちの生成時刻が早い方を非表示にする
    　請求項１１に記載の情報処理装置。
  15. 　前記重畳制御部は、前記取り込み画像上に、複数の前記撮影指示ガイドとともに、複数の前記撮影指示ガイドに対応する複数の前記撮影位置での撮影順序を示す矢印画像を前記仮想オブジェクトとして重畳表示する
    　請求項１に記載の情報処理装置。
  16. 　前記第２の空間を提供するデバイスにおいて設定された前記撮影位置と前記撮影アングルを、ネットワークを介して取得する通信制御部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記通信制御部は、前記第１の空間における所定位置において前記カメラにより撮影された静止画像を、前記ネットワークを介して前記デバイスに送信する
    　請求項１６に記載の情報処理装置。
  18. 　前記静止画像は、前記デバイスにより提供される前記第２の空間における、前記所定位置に対応する位置に、前記仮想オブジェクトとして表示される
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が、
    　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、
    　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する
    　情報処理方法。
  20. 　コンピュータに、
    　撮影対象オブジェクトが存在する第１の空間においてカメラにより取り込まれている取り込み画像を表示し、
    　前記第１の空間と空間共有されている第２の空間において設定された前記撮影対象オブジェクトの撮影位置と撮影アングルに基づいて、前記取り込み画像上の前記撮影位置に対応する位置に、前記撮影アングルでの撮影を案内する撮影指示ガイドを仮想オブジェクトとして重畳表示する
    　処理を実行させるためのプログラム。
PCT/JP2023/008363 2022-03-24 2023-03-06 情報処理装置、情報処理方法、およびプログラム WO2023181887A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022047949 2022-03-24
JP2022-047949 2022-03-24

Publications (1)

Publication Number Publication Date
WO2023181887A1 true WO2023181887A1 (ja) 2023-09-28

Family

ID=88100631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008363 WO2023181887A1 (ja) 2022-03-24 2023-03-06 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023181887A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115578A (ja) * 2011-11-28 2013-06-10 Konica Minolta Business Technologies Inc サポートシステム
JP2015118101A (ja) * 2015-02-02 2015-06-25 キヤノン株式会社 情報処理装置および方法、プログラム
JP2017215816A (ja) * 2016-05-31 2017-12-07 株式会社リコー 情報表示装置、情報表示システム、情報表示方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115578A (ja) * 2011-11-28 2013-06-10 Konica Minolta Business Technologies Inc サポートシステム
JP2015118101A (ja) * 2015-02-02 2015-06-25 キヤノン株式会社 情報処理装置および方法、プログラム
JP2017215816A (ja) * 2016-05-31 2017-12-07 株式会社リコー 情報表示装置、情報表示システム、情報表示方法及びプログラム

Similar Documents

Publication Publication Date Title
EP3525473A1 (en) Panoramic image display control method and apparatus, and storage medium
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
JP4115117B2 (ja) 情報処理装置および方法
EP2629267A2 (en) Real-time compositing of live recording-based and computer graphics-based media streams
JP2010109783A (ja) 電子カメラ
CN110460893B (zh) 动态图像分发系统及其方法和记录介质
JP5067477B2 (ja) 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム
JP7074056B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US11778283B2 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
CN111061421B (zh) 一种画面投影方法、装置及计算机存储介质
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
WO2023181887A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022131778A5 (ja)
JP2017033299A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR102588858B1 (ko) 3d 투어 비교 표시 시스템
JP4742976B2 (ja) 遠隔指示システム、遠隔指示方法及びプログラム
EP4012654A2 (en) Feature determination, measurement, and virtualization from 2-d image capture
JP7297515B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4839858B2 (ja) 遠隔指示システム及び遠隔指示方法
WO2022004154A1 (ja) 撮影支援装置、方法およびプログラム
TWI611307B (zh) 適地性空間物件資料建立方法、顯示方法與應用系統
WO2023238759A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP7296164B1 (ja) 情報処理装置、方法、コンテンツ作成プログラム、およびコンテンツ再生プログラム
JP7494153B2 (ja) 生成装置、生成方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774486

Country of ref document: EP

Kind code of ref document: A1