WO2024105870A1 - 制御システム、制御方法、および記録媒体 - Google Patents

制御システム、制御方法、および記録媒体 Download PDF

Info

Publication number
WO2024105870A1
WO2024105870A1 PCT/JP2022/042806 JP2022042806W WO2024105870A1 WO 2024105870 A1 WO2024105870 A1 WO 2024105870A1 JP 2022042806 W JP2022042806 W JP 2022042806W WO 2024105870 A1 WO2024105870 A1 WO 2024105870A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
frame
space
virtual reality
imaging device
Prior art date
Application number
PCT/JP2022/042806
Other languages
English (en)
French (fr)
Inventor
佑樹 鶴岡
祐史 丹羽
峰 三宅
明彦 大仁田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/042806 priority Critical patent/WO2024105870A1/ja
Publication of WO2024105870A1 publication Critical patent/WO2024105870A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • This disclosure relates to control systems, etc.
  • images of the real world may be displayed.
  • Patent Document 1 describes displaying images on a head mounted display (HMD).
  • the images displayed on the HMD include a virtual reality space or an augmented reality space in which the interior space and the scenery seen from the tourist vehicle are combined, and characters, and that the scenery seen from the tourist vehicle is combined on the window of the moving part.
  • Patent document 2 also describes how, in order to have a conversation in a virtual reality space, a conversation partner is photographed with a virtual camera and the photographed image is displayed in a virtual window.
  • One example of the objective of this disclosure is to provide a control system that enhances the sense of realism.
  • the control system includes an acquisition means for acquiring data associating imaging device identification information that identifies an imaging device installed in real space with frame identification information that identifies a frame in virtual reality space, a generation means for generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame, based on the positional relationship in the virtual reality space between the user in the virtual reality space and the frame, and an output control means for displaying the generated image of the frame within the frame displayed on a display device.
  • a control method acquires data associating imaging device identification information that identifies an imaging device installed in real space with frame identification information that identifies a frame in virtual reality space, generates an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame based on a positional relationship in the virtual reality space between a user in the virtual reality space and the frame, and displays the generated image of the frame within the frame displayed on a display device.
  • a program causes a computer to execute a process of acquiring data associating imaging device identification information that identifies an imaging device installed in real space with frame identification information that identifies a frame in virtual reality space, generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame based on a positional relationship in the virtual reality space between a user in the virtual reality space and the frame, and displaying the generated image of the frame within the frame displayed on a display device.
  • Each program may be stored on a non-transitory computer-readable recording medium.
  • This disclosure makes it possible to improve the sense of realism.
  • FIG. 1 is a block diagram showing a configuration example of a control system according to a first embodiment; 4 is a flowchart showing an operation example of the control system according to the first embodiment;
  • FIG. 1 is an explanatory diagram showing an example of a dome-shaped display used as a display device.
  • FIG. 2 is an explanatory diagram showing an example of connection between a control system and a dome-type display, etc.
  • FIG. 1 is an explanatory diagram showing an example of an HMD used as a display device.
  • FIG. 2 is an explanatory diagram showing an example of connection between a control system and an HMD, etc.
  • FIG. 2 is an explanatory diagram showing an example of a seat of a moving object.
  • FIG. 11 is a block diagram showing a configuration example of a control system according to a second embodiment.
  • FIG. 1 is an explanatory diagram showing an example in which an imaging device is installed on a moving object.
  • 1 is an explanatory diagram showing an example of a correspondence relationship between an imaging device in real space and a window in a virtual reality space;
  • FIG. 11 is an explanatory diagram showing an example of an association table in which imaging devices are associated with windows;
  • FIG. 11 is an explanatory diagram showing an example of cutting out an image of a window from a captured image.
  • FIG. 1 is an explanatory diagram showing an example in which a plurality of imaging devices are installed on a moving object.
  • FIG. 1 is an explanatory diagram showing an example of a correspondence relationship between two imaging devices in real space and a window in a virtual reality space
  • 11 is an explanatory diagram showing an example of an association table in which a plurality of imaging devices are associated with windows
  • FIG. 10 is an explanatory diagram showing an example of generating an image of a window from images captured by a plurality of imaging devices
  • FIG. 11 is an explanatory diagram showing an example in which an image of a window is selected and generated from images captured by a plurality of imaging devices.
  • FIG. 1 is an explanatory diagram showing a display example of a dome-shaped display.
  • FIG. 13 is an explanatory diagram showing an example in which the voices of other users are graphically displayed;
  • FIG. 2 is an explanatory diagram illustrating an example of a hardware configuration of a computer
  • Virtual reality may also be referred to as VR (Virtual Reality).
  • a display device is caused to display, for example, a virtual reality space.
  • the type of display device is not particularly limited, and may be an HMD, a dome-type display, or the like.
  • the usage scenarios of the virtual reality space are not particularly limited.
  • Fig. 1 is a block diagram showing a configuration example of a control system according to the embodiment 1.
  • a control system 10 includes an acquisition unit 101, a generation unit 102, and an output control unit 103.
  • the acquisition unit 101 acquires data in which imaging device identification information that identifies an imaging device installed in real space is associated with frame identification information that identifies a frame in the VR space.
  • the type of imaging device is not particularly limited, and a 360-degree camera may be used.
  • the acquisition unit 101 may acquire data in which frame identification information that identifies a frame in the VR space that can be viewed by a user in the VR space is associated with imaging device identification information that identifies an imaging device installed in the real space from a database.
  • the acquisition unit 101 may acquire data via an input device or a communication network.
  • the frame may be the frame of a vehicle or a building in the VR space.
  • the vehicle is not particularly limited to a bus, an airplane, a train, a ship, etc.
  • the building is not particularly limited to a company, a school, a house, etc.
  • Examples of the frame include a window and a door.
  • the association of frame identification information and imaging device identification information may be expressed as the association of a frame with an imaging device for the sake of simplicity.
  • an imaging device identified by imaging device identification information associated with frame identification information that identifies a frame in a VR space may be referred to as an imaging device associated with the frame.
  • the generation unit 102 generates an image of the frame as seen by the user in the VR space from an image captured by an imaging device associated with the frame, based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space.
  • the positional relationship here includes the distance from the frame, the height position, and the horizontal position relative to the frame, such as left and right. A specific method of generating the image will be described in detail in the second embodiment.
  • the output control unit 103 displays the image of the generated frame within the frame in the VR space displayed on the display device.
  • (flowchart) 2 is a flowchart showing an example of an operation of the control system 10 according to the embodiment 1.
  • the acquisition unit 101 acquires data in which an imaging device installed in a real space is associated with a frame in a VR space (step S101).
  • the generation unit 102 generates an image of the frame in the VR space from an image captured by an imaging device associated with the frame in the VR space, based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space (step S102).
  • the output control unit 103 displays the generated image of the frame within the frame in the VR space (step S103).
  • the view seen from a frame such as a window or door of a building or vehicle varies depending on the user's position.
  • the view seen from a frame such as a window or door of a building or a vehicle may be from a fixed viewpoint.
  • the control system 10 generates an image of the frame in the VR space seen by the user in the VR space from an image captured by an imaging device associated with the frame in the VR space based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space.
  • the control system 10 displays the image of the generated frame within the frame in the VR space. This makes it possible to provide an image of the real space as seen from the user's position in the VR space. Therefore, the sense of realism can be improved.
  • FIG. 3 is an explanatory diagram showing an example of a dome-shaped display used as a display device.
  • a dome-shaped display 21 is given as an example of a display device.
  • a user sits in front of the dome-shaped display 21.
  • the projection device 2102 projects the image onto the screen 2101.
  • the imaging device 22 and the recording device 23 may be installed where the dome-shaped display 21 is installed.
  • the imaging device 22 and the recording device 23 are used to detect the direction of the user's face, the direction of the user's gaze, the user's movement, and the user's conversation.
  • the control system can detect the user's position and movement from the image captured by the imaging device 22.
  • the control system can detect the user's conversation from the sound obtained by the recording device 23.
  • an audio output device such as a speaker that outputs the voices of other users and the voices of a moving object is installed where the dome-shaped display 21 is installed.
  • a controller 24 may be installed where the dome-shaped display 21 is installed.
  • the controller 24 is, for example, an example of an input device that accepts user operations. For example, in the second embodiment, the controller 24 accepts input of the user's movement through the user's operation.
  • the number of imaging devices 22 and recording devices 23 is not particularly limited.
  • the imaging devices 22 may transmit captured images to a control system or the like.
  • the recording devices 23 may transmit audio to a control system or the like.
  • the dome-type display 21 is, for example, a device in which at least a portion of the screen 2101 is curved and is structured to cover the user's field of vision. Note that the dome-type display 21 does not have to be a complete dome shape such as 360 degrees, but may be missing a portion such as 180 degrees. That is, the dome-type display 21 may be a hemispherical dome shape. Also, the dome-type display 21 does not need to have a portion of the screen 2101 that is curved. In this way, the size and type of the dome-type display 21 are not particularly limited.
  • the dome-type display 21 may be a 180-degree dome-type display 21 or a 360-degree dome-type display 21.
  • the size of the dome-type display 21 may be about 1 meter to 2 meters in length, 1 meter to 2 meters in width, and 1 meter to 2 meters in height.
  • the installation location of the dome-shaped display 21 is not particularly limited.
  • the dome-shaped display 21 may be installed in the user's home, company, etc., or in a location where anyone can use it.
  • FIG. 4 is an explanatory diagram showing an example of a connection between the control system and the dome-shaped display 21 and the like.
  • the dome-shaped display 21, the imaging device 22, the sound recording device 23, and the controller 24 are installed in the user's home or a shared space.
  • the control system 20 is connected to the dome-shaped display 21, the imaging device 22, the sound recording device 23, the controller 24, and the like via a communication network.
  • an edge terminal device or the like may be installed on the user's side.
  • the edge terminal device may be connected to the dome-shaped display 21, the imaging device 22, the sound recording device 23, the controller 24, and the like via a communication network, and the control system 20 may be connected to the edge terminal device via the communication network or the like.
  • the imaging device 26 in real space may be installed on a moving body 25.
  • the imaging device 26 may also be attached to a robot arm or the like.
  • the imaging device 26 is connected to the control system 20 via a communication network. There is no particular limit to the number of imaging devices 26.
  • the control system 20 may also be configured as an entire system including a dome-shaped display 21, an imaging device 22, an audio recording device 23, an imaging device 26, and a controller 24.
  • the communication network through which the control system 20 is connected to the user's device may be the same as the communication network through which the control system 20 is connected to the mobile unit 25's device.
  • FIG. 5 is an explanatory diagram showing an example of an HMD used as a display device.
  • HMD27 is given as an example of a display device. In real space, a user wears HMD27.
  • the HMD 27 may have a function to detect, for example, the direction of the user's face, the direction of the user's gaze, and the user's movements.
  • the HMD 27 may also have a voice output function and a voice collection function.
  • the controller 24 may also be used to enable the user's movements to be input.
  • FIG. 6 is an explanatory diagram showing an example of a connection between the control system 20 and the HMD 27 and the like.
  • the control system 20 is connected to the HMD 27, the controller 24, and the like via a communication network.
  • an edge terminal device or the like may be installed on the user side.
  • the edge terminal device may be connected to the HMD 27, the controller 24, and the like via a communication network, and the control system 20 may be connected to the edge terminal device via the communication network or the like.
  • the imaging device 26 is installed on the moving body 25.
  • the imaging device 26 may also be attached to a robot arm or the like.
  • the imaging device 26 is connected to the control system 20 via a communication network. There is no particular limit to the number of imaging devices 26.
  • the control system 20 may also be configured as an entire system including the HMD 27, the imaging device 26, and the controller 24.
  • FIG. 7 is an explanatory diagram showing an example of seats on a moving body 25.
  • the window w1 in the VR space is the window w1 of a vehicle such as a bus or train, there may be seats in the VR space.
  • seat A is the seat of user X.
  • Seat B is the seat of user Y.
  • Seat C is the seat of user Z.
  • FIG. 8 is a block diagram showing an example of the configuration of the control system 20 according to the second embodiment.
  • the control system 20 includes an acquisition unit 201, a generation unit 202, an output control unit 203, a detection unit 204, an identification unit 205, a reception unit 206, a product determination unit 207, a registration unit 208, and a settlement unit 209.
  • control system 20 further includes a detection unit 204, an identification unit 205, a reception unit 206, a product determination unit 207, a registration unit 208, and a settlement unit 209.
  • the acquisition unit 201 has the function of the acquisition unit 101 according to the first embodiment as a basic function.
  • the generation unit 202 has the function of the generation unit 102 according to the first embodiment as a basic function.
  • the output control unit 203 has the function of the output control unit 103 according to the first embodiment as a basic function.
  • control system 20 has an association table 2001, a user DB (database) 2002, and a product DB 2003.
  • Each functional unit of the control system 20 can refer to and update various databases and tables as appropriate.
  • the association table 2001 stores data that associates the imaging device 26 in the real space with a window in the VR space.
  • the association table 2001 stores, for example, imaging device identification information that identifies the imaging device 26 and window identification information that identifies a window in association with each other.
  • the imaging device identification information may be capable of identifying the imaging device 26, and there is no particular limitation on the expression format of the imaging device identification information.
  • the window identification information may be capable of identifying the window, and there is no particular limitation on the expression format of the window identification information. Note that multiple imaging devices 26 may be associated with one window.
  • An example of the storage of the association table 2001 will be described later using drawings along with an example of installation of the imaging device 26.
  • the user DB 2002 also stores user information for each user.
  • user information include the user's name and an image of the user.
  • the image of the user may be a photograph of the actual user or an avatar, and is not particularly limited.
  • the image of the user is used, for example, as an image of the user in a VR space.
  • the user DB 2002 may store display device identification information that identifies the display device and user information in association with each other for each user.
  • the user DB 2002 may separately store display device identification information, user identification information that identifies the user, and user information in association with each other.
  • Product DB2003 also stores product information for each product.
  • Product DB2003 stores product identification information and product information in association with each other. There are no particular limitations on the product identification information as long as it is possible to identify the product.
  • Product information includes, for example, the product name, product price, product image, product features, etc., and is not particularly limited.
  • FIG. 9 is an explanatory diagram showing an example in which an imaging device 26 is installed on a moving body 25.
  • an imaging device 26 is installed on a moving body 25.
  • the moving body 25 is exemplified by a vehicle such as a truck, but is not limited to an airplane, train, drone, ship, etc.
  • FIG. 10 is an explanatory diagram showing an example of the correspondence between one imaging device 26 in real space and a window in VR space. Although an imaging device 26 in real space is not installed at the window w1 in the VR space, for ease of understanding, FIG. 10 shows the positional relationship between one imaging device 26 in real space and the window w1 in the VR space.
  • FIG. 11 is an explanatory diagram showing an example of an association table 2001 that associates imaging devices 26 with windows.
  • the association table 2001 stores imaging device IDs (Identifiers) and window IDs in association with each other.
  • the imaging device ID is an example of imaging device identification information that identifies the imaging device 26.
  • the window ID is an example of window identification information that identifies the window.
  • the imaging device ID "C0001” is associated with the window ID "w1.”
  • the imaging device identified by the imaging device ID “C0001” is imaging device 26 shown in FIG. 9.
  • the imaging device ID “C0002” is associated with the window ID "w2.”
  • the imaging device ID “C0003” is associated with the window ID "w3.”
  • the imaging device ID "C0004" is associated with the window ID "w4.”
  • the association table 2001 may store position information or location information indicating where the imaging device 26 is installed in real space, and orientation information indicating the orientation of the imaging device 26 in real space, in association with the imaging device ID.
  • the acquisition unit 201 acquires an association table 2001 as data that associates, for example, an imaging device 26 installed in real space with a window in the VR space.
  • the generation unit 202 generates an image of the window as seen by the user in the VR space from the image captured by the imaging device 26 associated with the window, based on the positional relationship in the VR space between the user in the VR space and the window in the VR space.
  • the generation unit 202 When there are multiple users, for example, the generation unit 202 generates an image of the window as seen by the user in the VR space from the image captured by the camera for each of the multiple users, based on the positional relationship in the VR space between the user in the VR space and the window in the VR space.
  • the generation unit 202 generates a new image of the frame seen by the user in the VR space based on the positional relationship between the user's position in the VR space and the position of the window in the VR space, and the orientation of the user in the VR space.
  • the orientation of the user refers to, for example, the orientation of the user's face or head, the direction of the user's gaze, etc.
  • the generation unit 202 may cut out an image of a window that is visible to the user in the VR space from the captured image based on the positional relationship in the VR space between the user in the VR space and the window in the VR space.
  • FIG. 12 is an explanatory diagram showing an example of cutting out an image of a window from a captured image.
  • the generation unit 202 cuts out an image of a window w1 seen by a user X in the VR space from the captured image based on the positional relationship in the VR space between the user X in the VR space and the window w1 in the VR space and the direction of the user's line of sight.
  • the generation unit 202 cuts out an image of the window w1 seen by the user X in the VR space from the captured image based on the positional relationship in the VR space between the user X in the VR space and the window w1 in the VR space and the direction of the user's line of sight.
  • the generation unit 202 generates a new image of the frame visible to the user in the VR space from the image captured by the imaging device 26 based on the positional relationship in the VR space between the user in the VR space and the window w1 in the VR space.
  • Generating a new image may involve adding other images to the captured image. More specifically, for example, the generation unit 202 may generate a new image to complement the captured image with images that are not visible due to weather conditions.
  • the generation unit 202 is not limited to combining, correcting, or complementing past images, and may also combine other images, text, etc. with the captured image.
  • each image generation method may be combined.
  • FIG. 13 is an explanatory diagram showing an example in which multiple imaging devices 26 are installed on a moving body 25.
  • multiple imaging devices 26-1 and 26-2 are installed at different positions on the moving body 25.
  • the imaging device 26 is a camera other than a 360-degree camera
  • the imaging devices 26-1 and 26-2 may be installed in the same position but facing different directions.
  • FIG. 14 is an explanatory diagram showing an example of the correspondence between two imaging devices 26 in real space and a window in VR space. Although an imaging device 26 is not installed at the window w1 in the VR space, for ease of understanding, FIG. 14 shows the positional relationship between the two imaging devices 26-1, 26-2 in real space and the window w1 in the VR space.
  • FIG. 15 is an explanatory diagram showing an example of an association table 2001 that associates multiple imaging devices 26 with windows.
  • the association table 2001 stores imaging device IDs (Identifiers) and window IDs in association with each other.
  • the imaging device ID is an example of imaging device identification information that identifies the imaging device 26.
  • the window ID is an example of window identification information that identifies the window.
  • the imaging device ID “C0001” is associated with the window ID "w1"
  • the imaging device ID “C0002” is associated with the window ID "w1”.
  • the imaging device identified by the imaging device ID “C0001” is the imaging device 26-1 shown in FIG. 13
  • the imaging device identified by the imaging device ID “C0002” is the imaging device 26-2 shown in FIG. 13.
  • the association table 2001 may store position information or location information indicating where each of the multiple imaging devices 26 is installed in real space, and orientation information indicating the orientation of the imaging device in real space, in association with the imaging device ID.
  • the acquisition unit 201 acquires an association table 2001 as data associating multiple image capture devices 26 installed at different positions in real space with one window in the VR space.
  • the generating unit 202 generates an image from images captured by the multiple imaging devices 26 associated with the window in the association table 2001, based on the positional relationship in the VR space between the user in the VR space and the window in the VR space.
  • the multiple imaging devices 26 associated with the window in the association table 2001 are multiple imaging devices 26 identified by each of the multiple imaging device IDs associated with the window ID in the association table 2001.
  • the generating unit 202 generates an image seen by the user in the VR space from a plurality of images based on the positional relationship in the VR space between the user in the VR space and a window in the VR space.
  • the generating unit 202 may synthesize the plurality of images and extract an image seen by the user in the VR space from the synthesized image.
  • the window is large, a large number of imaging devices 26 are installed so as to increase the density, so that the generating unit 202 can synthesize the plurality of images to generate a more detailed image.
  • the generating unit 202 may generate an image seen by the user in the VR space by cutting out an image seen by the user in the VR space from each of the plurality of images and synthesizing the cut-out plurality of images. Specifically, for example, the generating unit 202 may determine the coordinate position from which to cut out each of the plurality of images and synthesize the plurality of images based on the determined coordinate position. If the window is small and multiple imaging devices are installed without high density, the generation unit 202 can quickly generate a new image of the window visible to the user in the VR space because there is no need to synthesize the parts of the image that the user does not see.
  • FIG. 16 is an explanatory diagram showing an example of generating an image of a window from images captured by each of multiple imaging devices 26.
  • the generation unit 202 generates an image seen by user X in the VR space from images captured by multiple imaging devices 26 based on the positional relationship in the VR space between user X in the VR space and window w1 in the VR space and the direction of the user's line of sight.
  • the generation unit 202 generates an image seen by user X in the VR space from images captured by imaging devices 26-1 and images captured by imaging devices 26-2. Note that, although an example is given in FIG. 16 in which the ranges captured by the multiple images captured by imaging devices 26-1 and 26-2 do not overlap, there are also cases in which the ranges captured by the multiple images overlap. In such a case, there is no particular limitation on which image the generation unit 202 uses for the overlapping portion.
  • the generation unit 202 may synthesize multiple images to generate one image, and then extract from the one image an image that is visible to user X in the VR space.
  • the generation unit 202 may extract from each of the multiple images an image that is visible to user X in the VR space, and synthesize the multiple images after extraction.
  • the generation unit 202 generates an image seen by user X in the VR space from multiple images, in the same manner as for user X. This concludes the explanation of the example in FIG. 16.
  • the generation unit 202 selects an image including an image visible to the user in the VR space from the multiple images based on the positional relationship in the VR space between the user in the VR space and a window in the VR space. The generation unit 202 may then cut out an image that the user in the VR space can see outside the window in the VR space from the selected image.
  • FIG. 17 is an explanatory diagram showing an example of selecting and generating an image of a window from images captured by each of multiple imaging devices 26.
  • the generation unit 202 generates an image seen by user X in the VR space from images captured by multiple imaging devices 26 based on the positional relationship in the VR space between user X in the VR space and window w1 in the VR space, and the direction of the user's line of sight in the VR space.
  • the generation unit 202 selects the image captured by imaging device 26-1 from the images captured by imaging device 26-1 and the images captured by imaging device 26-2, based on the positional relationship in the VR space between user X in the VR space and window w1 in the VR space, and the direction of the user's line of sight in the VR space. Then, the generation unit 202 cuts out the image seen by user X in the VR space from the selected images.
  • the output control unit 203 displays the generated image within a frame in the VR space displayed on the display device.
  • the display device is not particularly limited, but examples include the HMD 27 and the dome-shaped display 21.
  • the dome-shaped display 21 is used as an example of the display device.
  • FIG. 18 is an explanatory diagram showing a display example of the dome-shaped display 21.
  • the dome-shaped display 21 displays an image of the inside of a vehicle in a VR space.
  • user X is shown in the VR space along with user Y, user Z, and window w1.
  • an image generated by the generation unit 202 is displayed in window w1.
  • a user moves in the VR space For example, there is an example where a user in the VR space moves in conjunction with the movement of the user in the real space, and an example where a user in the VR space moves by the user in the real space operating an input device such as the controller 24 in the real space.
  • Which example is used may be determined appropriately and is not particularly limited.
  • the display device is the HMD 27, there is a high possibility that either example will be used.
  • the display device is a dome-shaped display 21, there is a high possibility that a user in the VR space will be moved by operating an input device such as the controller 24.
  • the setting unit When starting use, the setting unit associates the user's position and orientation in real space with the user's position and orientation in the VR space.
  • the setting unit may store the associated information as a table in a storage means or the like.
  • the detection unit 204 detects the movement of the user in real space.
  • the movement of the user in real space includes facial movement, head movement, body movement, and the like. More specifically, the movement of the user includes changes in the position of the face, the position of the head, the direction of the face, the direction of the head, the direction of the line of sight, and the like.
  • the detection unit 204 may detect the movement of the user based on data detected by an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like provided in the HMD 27. If the display device is an HMD 27 or a dome-shaped display 21, the detection unit 204 may detect the movement of the user from an image captured by the imaging device 22.
  • the identification unit 205 identifies the new position and orientation of the user in the VR space based on the detected movement of the user.
  • the amount of movement of the user in the real space and the amount of movement of the user in the VR space are proportional, and the magnification is not particularly limited.
  • the amount of movement of the user in the VR space may be several times the amount of movement of the user in the real space.
  • the generation unit 202 generates a new image of the window as seen by the user in the VR space from the image captured by the imaging device 26 associated with the window, based on the user's new position in the VR space, the positional relationship in the VR space between the window in the VR space, and the user's new orientation in the VR space.
  • the reception unit 206 detects the user's movement in the VR space by receiving the user's movement in the VR space through the user's operation on the input device.
  • the input device may be the controller 24 or a terminal device, etc., and is not particularly limited.
  • the identification unit 205 identifies the new position and orientation of the user in the VR space based on the received movement of the user in the VR space.
  • the generation unit 202 generates a new image of the window as seen by the user in the VR space from the image captured by the imaging device 26 associated with the window, based on the user's new position in the VR space, the positional relationship in the VR space between the window in the VR space, and the user's new orientation in the VR space.
  • the generation unit 202 generates a new image of the window as seen by the user in the VR space from the image captured by the imaging device 26 associated with the window, based on the user's new position in the VR space, the positional relationship in the VR space between the window in the VR space, and the user's new orientation in the VR space.
  • a group trip by vehicle may be conducted in a VR space.
  • the users are travelers.
  • some of the users may know each other, while the other users may not know each other.
  • a group trip has the advantage of being able to share information, such as listening to conversations between users who are not acquainted with each other, it has the disadvantage of having to listen to conversations that are not of interest to users.
  • control system 20 may allow the user to selectively hear the audio.
  • the output control unit 203 causes a display device to display a graphic representing the voice of a user other than the user who is conversing with the user.
  • the output control unit 203 may cause the graphic to be displayed together with the voice, or may cause the graphic to be displayed with the voice muted.
  • the generation unit 202 generates a video in which a graphic representing the voice of another user is added to the captured video. Then, the output control unit 203 causes the generated video to be displayed on the display device.
  • Graphics refer to photographs, illustrations, figures, symbols, letters, etc.
  • Graphics may be graphics corresponding to audio.
  • Graphics corresponding to audio may differ in shape, size, color, pattern, etc. depending on the audio.
  • audio related to travel may have a different color than audio unrelated to travel.
  • the output control unit 203 may highlight graphics representing audio related to travel more than graphics representing audio unrelated to travel.
  • the pattern of audio related to travel may be different from the pattern of audio unrelated to travel.
  • users other than the user who is having a conversation with the user may be grouped in advance, or may be grouped according to the conversation.
  • “Grouped in advance” means that users who will travel together are registered in advance before use begins, and the users who are registered to travel together are treated as one group.
  • "grouped according to the conversation” means that if user X, user Y, and user Z are having a conversation, the users involved in the same conversation are grouped into one group. In this case, the groups change periodically.
  • FIG. 19 is an explanatory diagram showing an example of a graphic display of the voice of another user.
  • a speech bubble is used as the graphic.
  • the shape of the graphic is not limited to the shape of a speech bubble, and is not particularly limited as long as it is identifiable as representing voice.
  • FIG. 19 there are three speech bubbles. That is, in FIG. 19, there are three people speaking or three groups of conversations.
  • user Z is a user who is not conversing with user X, and the voice of user Z is assumed to be travel-related.
  • the voices of the other users are assumed to be voices unrelated to travel.
  • the output control unit 203 highlights graphics representing voices related to travel more than graphics representing voices unrelated to travel.
  • the size and pattern of the graphic are used for highlighting.
  • the size of the speech bubble representing user Z's voice is larger than the sizes of the other speech bubbles.
  • the pattern of the speech bubble representing user Z's voice is a dot pattern, whereas the patterns of the other speech bubble sizes are solid colors. In this way, the speech bubble representing user Z's voice is emphasized more than the other speech bubbles.
  • the color of the graphic may be used for highlighting.
  • the receiving unit 206 may also receive a selection of a graphic representing a voice through a user's operation.
  • the user's operation may be, for example, an operation via an input device, an operation according to the user's hand movement, or an operation according to the user's voice, and the operation method is not particularly limited.
  • the input device is, as described above, the controller 24 or a terminal device.
  • the user's hand movement can be detected, for example, from an image captured by the imaging device 26.
  • the user's voice can be obtained, for example, by a recording device.
  • the output control unit 203 outputs the voice represented by the graphic selected by the user.
  • the output control unit 203 may not display the graphic selected by the user.
  • the generation unit 202 adds a graphic other than the selected graphic to the captured image, and generates an image to which the selected graphic has not been added. Then, the output control unit 203 displays the generated image on the display device.
  • the output control unit 203 may output the conversation behind the user as audio, and display the conversation in front of the user graphically without audio output.
  • the front of the user is the direction in which the user is facing, and the rear of the user is the direction opposite to the direction in which the user is facing.
  • An example of a dome-type display 21 that does not cover the entire surface of the user is a 180-degree dome-type display 21.
  • FIG. 20 is an explanatory diagram showing an example of switching from graphic output to audio output.
  • the output control unit 203 causes the dome-shaped display 21 to display a speech bubble representing the voice of user Z.
  • the reception unit 206 receives the selection of a graphic through an operation by user X.
  • the output control unit 203 causes the voice of user Z represented by the selected graphic to be output as audio.
  • the reception unit 206 may also receive an output format for the voice of another user.
  • the output control unit 203 outputs the voice of another user in the received format.
  • the reception unit 206 may be able to select in stages between a graphic representing the voice and the voice.
  • the reception unit 206 may also be able to select the graphic in stages.
  • the output control unit 203 then switches the output in stages.
  • the output control unit 203 may switch in stages so that more detailed content of the voice is displayed, such as a graphic that represents a specific shape in color, or a graphic that represents the voice in text, etc.
  • group travel is just one example of a usage scenario.
  • it can also be used in scenarios where there are multiple users in a building.
  • Moving body 25 may also be a vehicle.
  • moving body 25 may be installed outside a window of an actual vehicle, and the vehicle in the VR space may be a reproduction of the actual vehicle.
  • the other users displayed in the virtual reality space may be people riding in the actual vehicle.
  • the vehicle in the real space may be equipped with an imaging device that captures the interior of the vehicle in the real space.
  • output control unit 203 may display the captured image of the interior of the vehicle as the interior of the vehicle in the virtual reality space displayed on the display device. Note that if an imaging device is captured in the internal image, generation unit 202 may generate an image corrected to remove the imaging device, and output control unit 203 may display the generated image as an image of the vehicle in the virtual reality space.
  • ⁇ Shopping> For example, shopping may take place during a trip in a VR space.
  • the product determination unit 207 determines recommended products from the products included in the product DB 2003.
  • the products included in the product DB 2003 are products identified by product identification information stored in the product DB 2003.
  • the product determination unit 207 determines products related to travel destinations as recommended products.
  • the product determination unit 207 may determine recommended products from among products related to travel destinations based on the user's conversation.
  • the output control unit 203 presents information about recommended products to the user.
  • the output control unit 203 may cause a display device to display information about recommended products, or may notify a terminal device of the user of information about recommended products.
  • products may be sold in a format similar to in-train or in-flight sales.
  • the output control unit 203 may then display a store clerk's avatar on the display device, and the store clerk's avatar may present information about recommended products.
  • the registration unit 208 accepts product registration through user operation.
  • the settlement unit 209 settles the registered product through user operation. Note that existing technology may be used for the product registration method and settlement method.
  • (flowchart) 21 is a flowchart showing an example of an operation of the control system 20 according to the second embodiment.
  • the movement of a user in the real space is linked to the movement of a user in the VR space will be described.
  • the acquisition unit 201 acquires data that associates imaging device identification information that identifies the imaging device 26 installed in the real space with frame identification information that identifies a frame in the VR space (step S201). For example, the acquisition unit 201 acquires an association table 2001 as this data.
  • the setting unit associates the user's position in the VR space with the user's position in the real space (step S202).
  • the generation unit 202 generates an image of the frame in the VR space from an image captured by the imaging device 26 associated with the frame in the VR space, based on the positional relationship in the VR space between the frame in the VR space and the user in the VR space, and the orientation of the user in the VR space (step S203).
  • the output control unit 203 displays the generated image of the frame within the frame in the VR space (step S204).
  • the detection unit 204 determines whether movement of the user in real space has been detected (step S205). If movement of the user in real space has not been detected (step S205: No), the detection unit 204 returns to step S205.
  • step S205 If movement of the user in real space is detected (step S205: Yes), the identification unit 205 identifies the new position and orientation of the user in the VR space (step S206) and returns to step S203. This generates a new image of the frame visible to the user in the VR space at the user's new position and orientation in the VR space.
  • the flowchart can be ended at any time.
  • the control system 20 cuts out an image of the frame visible to the user in the VR space from the image captured by the imaging device 26. This makes it possible to provide an image outside the frame that the user can see in the VR space.
  • the control system 20 generates a new image of the frame that the user can see in the VR space from the image captured by the imaging device 26, based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space. This makes it possible to provide an image outside the frame that the user can see in the VR space. It is also possible to supplement images that are not in the actual experience.
  • control system 20 when multiple imaging devices 26 installed at different positions are associated with a frame, the control system 20 generates an image of the frame visible to the user in the VR space from the multiple images. This makes it possible to provide an image outside the frame that can be seen by the user in the VR space.
  • control system 20 For each of the multiple users, the control system 20 generates an image of the frame seen by the user in the VR space from the image captured by the imaging device 26, based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space. This makes it possible to provide an image according to the user's position in the VR space from images captured by the same imaging device 26 installed in real space, even if there are multiple users in the VR space.
  • control system 20 generates a new image of the frame as seen by the user in the VR space based on the positional relationship in the VR space between the user in the VR space and the frame in the VR space, and the orientation of the user in the VR space. This makes it possible to provide an image that is closer to reality, since the image differs depending on the orientation of the user.
  • the control system 20 also detects the user's movement in real space, and identifies the user's position and orientation in the VR space based on the user's movement in real space. The control system 20 then generates a new image of the frame as seen by the user in the VR space based on the positional relationship in VR space between the user in the identified position and the frame in the VR space, and the new orientation. This allows the image to change depending on the user's up and down movements and left and right movements in real space, thereby improving the realism of the image seen outside the frame.
  • the control system 20 also accepts the movement of the user in the VR space through operations by the user in real space. Based on the accepted movement, the control system 20 then identifies the position and orientation of the user in the VR space, and generates a new image of the frame as seen by the user in the VR space based on the positional relationship in the VR space between the user in the identified position and the frame in the VR space, and the user's new orientation in the VR space. This allows the image to change depending on the user's up and down movements and left and right movements, etc., thereby improving the realism of the image seen outside the frame.
  • the frame may also be a window or a door.
  • the window may be a window of a vehicle or a window of a building. This allows the view seen from the window of a vehicle in the VR space to be changed depending on the user's position in the VR space. Also, the view seen from the window of a building in the VR space can be changed depending on the user's position in the VR space.
  • the door may be a window of a vehicle or a door of a building. This can improve the realism of the image seen outside the window or door. In the case of a door, when the door is open, the control system 20 may display the generated image inside the door.
  • the imaging device 26 may also be installed on a moving object 25 in real space. For example, as the moving object 25 moves, the image captured by the imaging device 26 also changes. For example, the view seen from the window of a building or vehicle changes as the moving object 25 moves. This makes it possible to provide a travel experience, etc.
  • the moving object 25 may also move in real time. This makes it possible to provide real-time images.
  • the control system 20 also graphically displays the voices of users other than the user who is conversing with the user. Users want to enjoy realistic images, or, in the case of travel, to enjoy a group trip on a vehicle. However, there are times when a user wants to hear what other users are saying and times when they don't want to hear it. For example, a user may want to hear information that is useful to the user. This allows, for example, the user to not be bothered by the conversations of other users as long as they don't look at the graphics. On the other hand, if the user is interested, they can simply look at the graphics. In this way, the control system 20 can provide a better video experience by combining the benefits of real travel with the benefits of VR space.
  • the control system 20 also outputs the sound represented by a graphic selected by the user from among the displayed graphics. For example, the user can check a conversation that interests them by audio.
  • the control system 20 does not display the graphic selected by the user. This allows the user to remove from view the graphic that represents the conversation in which the user is not interested.
  • control system 20 may output a conversation behind the user in the VR space as audio and display a conversation in front of the user in the VR space in graphics.
  • the control system 20 can accept an output format for the voices of other users, and outputs the voices of other users in the accepted output format.
  • the control system 20 can select the output format in stages, in the order of color, text, and sound. This allows the output format of the conversations of other users to be changed according to the interests of the user.
  • control system 20 may be configured to include each functional unit and part of the information.
  • control system 20 has some of the functions of a POS (Point of Sale) system, such as the registration unit 208 and the settlement unit 209.
  • POS Point of Sale
  • the POS system including the registration unit 208 and the settlement unit 209 may be configured to be connected to the control system 20 via a communication network.
  • each embodiment is not limited to the above-mentioned examples, and various modifications are possible.
  • the configuration of the control system 20 in each embodiment is not particularly limited.
  • the control system 20 may be realized by a single device, such as a single server.
  • the single device may be called a control device, information processing device, etc., and is not particularly limited.
  • the control system 20 in each embodiment may be realized by different devices depending on the function or data.
  • each functional unit may be configured by multiple servers and realized as the control system 20.
  • the control system 20 may be realized by a database server including each DB and a server having each functional unit.
  • each piece of information and each DB may include a portion of the above-mentioned information. Furthermore, each piece of information and each DB may include information other than the above-mentioned information. Each piece of information and each DB may be divided into more detailed pieces of DB or pieces of information. In this way, the method of realizing each piece of information and each DB is not particularly limited.
  • each screen is merely an example and is not particularly limited. Buttons, lists, check boxes, information display fields, input fields, etc. (not shown) may be added to each screen. Furthermore, the background color of the screen, etc. may be changed.
  • the process of generating information to be displayed on the display device may be performed by the output control units 103 and 203. This process may also be performed by the display device.
  • FIG. 22 is an explanatory diagram showing an example of a hardware configuration of a computer.
  • a part or all of each device can be realized by using any combination of a computer 80 and a program as shown in Fig. 22.
  • the computer 80 has, for example, a processor 801, a ROM (Read Only Memory) 802, a RAM (Random Access Memory) 803, and a storage device 804.
  • the computer 80 also has a communication interface 805 and an input/output interface 806.
  • Each component is connected to the other via, for example, a bus 807. Note that the number of each component is not particularly limited, and there may be one or more of each component.
  • the processor 801 controls the entire computer 80.
  • Examples of the processor 801 include a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • the computer 80 has a ROM 802, a RAM 803, and a storage device 804 as a storage unit.
  • Examples of the storage device 804 include a semiconductor memory such as a flash memory, a HDD (Hard Disk Drive), and a SSD (Solid State Drive).
  • the storage device 804 stores an OS (Operating System) program, an application program, and a program according to each embodiment.
  • the ROM 802 stores an application program and a program according to each embodiment.
  • the RAM 803 is used as a work area for the processor 801.
  • the processor 801 also loads programs stored in the storage device 804, ROM 802, etc. The processor 801 then executes each process coded in the program. The processor 801 may also download various programs via the communications network NT. The processor 801 also functions as a part or all of the computer 80. The processor 801 may then execute the processes or instructions in the illustrated flowchart based on the program.
  • the communication interface 805 is connected to a communication network NT, such as a LAN (Local Area Network) or a WAN (Wide Area Network), via a wireless or wired communication line.
  • the communication network NT may be composed of multiple communication networks NT.
  • the computer 80 is connected to an external device or an external computer 80 via the communication network NT.
  • the communication interface 805 serves as an interface between the communication network NT and the inside of the computer 80.
  • the communication interface 805 also controls the input and output of data from the external device or the external computer 80.
  • the input/output interface 806 is connected to at least one of an input device, an output device, and an input/output device.
  • the connection method may be wireless or wired.
  • Examples of the input device include a keyboard, a mouse, and a microphone.
  • Examples of the output device include a display device, a lighting device, and an audio output device that outputs audio.
  • Examples of the input/output device include a touch panel display.
  • the input device, output device, and input/output device may be built into the computer 80 or may be external.
  • the hardware configuration of the computer 80 is an example.
  • the computer 80 may have some of the components shown in FIG. 22.
  • the computer 80 may have components other than those shown in FIG. 22.
  • the computer 80 may have a drive device or the like.
  • the processor 801 may read out programs and data stored in a recording medium attached to the drive device or the like to the RAM 803. Examples of non-transient tangible recording media include optical disks, flexible disks, magnetic optical disks, and USB (Universal Serial Bus) memories.
  • the computer 80 may have input devices such as a keyboard and a mouse.
  • the computer 80 may have an output device such as a display.
  • the computer 80 may also have an input device, an output device, and an input/output device.
  • the computer 80 may also have various sensors (not shown). The type of sensor is not particularly limited.
  • the computer 80 may also have an imaging device capable of capturing images and videos.
  • each device may be implemented by any combination of a different computer and program for each component.
  • multiple components of each device may be implemented by any combination of a single computer and program.
  • each device may be realized by circuits for a specific application. Further, some or all of the components of each device may be realized by general-purpose circuits including a processor such as an FPGA (Field Programmable Gate Array). Further, some or all of the components of each device may be realized by a combination of circuits for a specific application and general-purpose circuits. Further, these circuits may be a single integrated circuit. Alternatively, these circuits may be divided into multiple integrated circuits. The multiple integrated circuits may be configured by being connected via a bus or the like.
  • each device may be realized by multiple computers, circuits, etc.
  • the multiple computers, circuits, etc. may be centralized or distributed.
  • control method described in each embodiment is realized by being executed by the control systems 10 and 20. Also, for example, the control method is realized by having a computer such as a server or a terminal device execute a program prepared in advance.
  • the programs described in each embodiment are recorded on a computer-readable recording medium such as a HDD, SSD, flexible disk, optical disk, magneto-optical disk, or USB memory.
  • the programs are then read from the recording medium by a computer and executed.
  • the programs may also be distributed via a communications network NT.
  • each component of the control systems 10 and 20 in each embodiment described above may be realized by dedicated hardware, such as a computer.
  • each component may be realized by software.
  • each component may be realized by a combination of hardware and software.
  • (Appendix 1) an acquisition means for acquiring data in which imaging device identification information for identifying an imaging device installed in real space is associated with frame identification information for identifying a frame in a virtual reality space; a generating means for generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame, based on a positional relationship in the virtual reality space between the user in the virtual reality space and the frame; an output control means for displaying an image of the generated frame within the frame displayed on a display device;
  • a control system comprising: (Appendix 2) the generating means extracts an image of the frame as seen by the user in the virtual reality space from the image captured by the imaging device based on a positional relationship in the virtual reality space between the user and the frame.
  • control system of claim 1 (Appendix 3) the generating means generates a new image of the frame as seen by the user in the virtual reality space from an image captured by the imaging device based on a positional relationship in the virtual reality space between the user and the frame. 2.
  • the acquiring means acquires data in which imaging device identification information for identifying each of a plurality of imaging devices installed at different positions is associated with the frame identification information for identifying the frame; the generation means generates an image of the frame as seen by the user in the virtual reality space from a plurality of images captured by the plurality of imaging devices identified by the plurality of imaging device identification information associated with the frame identification information that identifies the frame, based on a positional relationship in the virtual reality space between the user and the frame. 4.
  • a control system according to any one of claims 1 to 3.
  • the generation means generates, for each of a plurality of users, an image of the frame as seen by the user in the virtual reality space from an image captured by the imaging device, based on a positional relationship in the virtual reality space between the user and the frame. 5.
  • the generating means generates a new image based on a positional relationship in the virtual reality space between the user and the frame and an orientation of the user in the virtual reality space. 6.
  • (Appendix 7) a setting means for associating a position and orientation of the user in the real space with a position and orientation of the user in the virtual reality space; a detection means for detecting a movement of the user in the real space; an identification means for identifying a position and an orientation of the user in the virtual reality space based on a movement of the user in the real space; Equipped with the generating means generates a new image based on a positional relationship in the virtual reality space between the user at the specified position and the frame in the virtual reality space, and based on the specified orientation. 7.
  • a control system according to any one of claims 1 to 6.
  • (Appendix 8) a receiving means for receiving a movement of the user in the virtual reality space by an operation of the user in the real space; An identification means for identifying a position and an orientation of the user in the virtual reality space based on the received movement; Equipped with the generating means generates a new image based on a positional relationship in the virtual reality space between the user at the specified position and the frame, and based on the specified orientation.
  • the control system of claim 1. The frame is a window or a door.
  • the door is a vehicle door or a building door. 10.
  • the imaging device is installed on a moving body in the real space.
  • the control system of claim 10. the output control means displays a graphic representing a voice of a user other than the user who is conversing with the user in the virtual reality space; 12.
  • a control system according to any one of claims 1 to 11. (Appendix 13) a reception means for receiving a selection of a graphic by the user in the real space from among the graphics; Equipped with the output control means causes a sound represented by the selected graphic to be output as sound. 13.
  • (Appendix 14) a reception means for receiving a selection of a graphic by the user in the real space from among the graphics; Equipped with the output control means prevents the selected graphic from being displayed; 13.
  • the control system of claim 12. (Appendix 15) In the case where the display device is a hemispherical dome-type display, the output control means causes a conversation occurring behind the user in the virtual reality space to be output as audio, and causes a conversation occurring in front of the user in the virtual reality space to be displayed graphically; 15. The control system of any one of claims 12 to 14. (Appendix 16) a receiving means for receiving an output format for the voice of the other user; Equipped with The output control means outputs the voice of the other user in the received output format. 15. The control system of any one of claims 12 to 14.
  • (Appendix 17) acquiring data in which imaging device identification information for identifying an imaging device installed in real space is associated with frame identification information for identifying a frame in a virtual reality space; generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame, based on a positional relationship in the virtual reality space between a user in the virtual reality space and the frame; displaying an image of the generated frame within the frame displayed on a display device; Control methods.
  • Imaging device identification information for identifying an imaging device installed in real space is associated with frame identification information for identifying a frame in a virtual reality space; generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame, based on a positional relationship in the virtual reality space between a user in the virtual reality space and the frame; displaying an image of the generated frame within the frame displayed on a display device;
  • a non-transitory recording medium readable by the computer which records a program for executing a process.
  • Imaging device identification information for identifying an imaging device installed in real space is associated with frame identification information for identifying a frame in a virtual reality space
  • generating an image of the frame as seen by the user in the virtual reality space from an image captured by an imaging device identified by the imaging device identification information associated with the frame identification information that identifies the frame, based on a positional relationship in the virtual reality space between a user in the virtual reality space and the frame; displaying an image of the generated frame within the frame displayed on a display device; Execute the process.
  • Control system 21 Dome display 22 Imaging device 23 Sound recording device 24 Controller 25 Mobile object 26, 26-1, 26-2 Imaging device 80 Computer 101, 201 Acquisition unit 102, 202 Generation unit 103, 203 Output control unit 204 Detection unit 205 Identification unit 206 Reception unit 207 Product determination unit 208 Registration unit 209 Settlement unit 801 Processor 802 ROM 803 RAM 804 Storage device 805 Communication interface 806 Input/output interface 807 Bus 2101 Screen 2102 Projection device 2001 Association table 2002 User DB 2003 Product DB NT Communication network w1 Window X User Y User Z User

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

制御システムは、取得部と、生成部と、出力制御部とを備える。取得部は、現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得する。生成部は、仮想現実空間上の利用者と、枠と、の仮想現実空間上の位置関係に基づいて、枠を識別する枠識別情報に対応付けられた撮像装置識別情報によって識別される撮像装置によって撮像された映像から、仮想現実空間上の利用者から見える枠の映像を生成する。出力制御部は、表示装置に表示されている仮想現実空間上の枠内に、生成された枠の映像を表示させる。

Description

制御システム、制御方法、および記録媒体
　本開示は、制御システムなどに関する。
　仮想現実空間において、現実空間の映像を表示させる場合がある。
　例えば、特許文献１には、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に画像を表示させることが記載されている。具体的に、特許文献１には、ＨＭＤに表示される画像には、内部空間と観光用移動体から見える景色とが合成された仮想現実空間または拡張現実空間と、キャラクタとが含まれ、観光用移動体から見える景色は、移動部の窓に合成されることが記載されている。
　また、特許文献２には、仮想現実空間において、対話するために、仮想カメラで会話の相手を撮影し、撮影された映像を仮想窓に表示させることが記載されている。
特開２０２１－０５８５２８号公報 国際公開第２０２２／０９１８３２号
　例えば、仮想現実空間において、建物や乗り物の窓や扉などの枠から見える景色が固定視点であると、臨場感が低いという問題点がある。
　本開示の目的の一例は、臨場感の向上を図る制御システムなどを提供することにある。
　本開示の一態様における制御システムは、現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得する取得手段と、仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する生成手段と、表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる出力制御手段とを備える。
　本開示の一態様における制御方法は、現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる。
　本開示の一態様におけるプログラムは、コンピュータに、現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、処理を実行させる。
　各プログラムは、コンピュータが読み取り可能な非一時的な記録媒体に記憶されていてもよい。
　本開示によれば、臨場感の向上を図ることができる。
実施の形態１にかかる制御システムの一構成例を示すブロック図である。 実施の形態１にかかる制御システムの一動作例を示すフローチャートである。 表示装置として用いるドーム型ディスプレイの例を示す説明図である。 制御システムとドーム型ディスプレイなどとの接続例を示す説明図である。 表示装置として用いるＨＭＤの例を示す説明図である。 制御システムとＨＭＤなどとの接続例を示す説明図である。 移動体の座席例を示す説明図である。 実施の形態２にかかる制御システムの一構成例を示すブロック図である。 移動体に撮像装置が設置される例を示す説明図である。 現実空間上の一台の撮像装置と仮想現実空間上の窓との対応関係を表す例を示す説明図である。 撮像装置と窓とを対応付けた関連付テーブルの一例を示す説明図である。 撮像された映像から窓の映像を切り出す例を示す説明図である。 移動体に複数の撮像装置が設置される例を示す説明図である。 現実空間上の二台の撮像装置と仮想現実空間上の窓との対応関係を表す例を示す説明図である。 複数の撮像装置と窓とを対応付けた関連付テーブルの例を示す説明図である。 複数の撮像装置のそれぞれで撮像された映像から窓の映像を生成する例を示す説明図である。 複数の撮像装置のそれぞれで撮像された映像から窓の映像を選択して生成する例を示す説明図である。 ドーム型ディスプレイの表示例を示す説明図である。 他の利用者の音声をグラフィック表示させた例を示す説明図である。 グラフィック出力から音声出力に切り替える例を示す説明図である。 実施の形態２にかかる制御システムの一動作例を示すフローチャートである。 コンピュータのハードウェア構成例を示す説明図である。
　以下に図面を参照して、本開示にかかる制御システム、制御方法、プログラム、およびプログラムを記録する非一時的な記録媒体の実施の形態を詳細に説明する。本実施の形態は、開示の技術を限定するものではない。
　また、仮想現実をＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）と表す場合がある。また、制御システムでは、表示装置に、例えば仮想現実空間を表示させる。表示装置の種類は、ＨＭＤ、ドーム型ディスプレイなど特に限定されない。また、仮想現実空間の利用シーンは、特に限定されない。
　（実施の形態１）
　まず、実施の形態１では、制御システムの基本機能について説明する。図１は、実施の形態１にかかる制御システムの一構成例を示すブロック図である。例えば、制御システム１０は、取得部１０１と、生成部１０２と、出力制御部１０３とを備える。
　取得部１０１は、現実空間に設置された撮像装置を識別する撮像装置識別情報とＶＲ空間上の枠を識別する枠識別情報とを対応付けたデータを取得する。撮像装置の種類は、特に限定されないが、３６０度カメラなどが用いられてもよい。具体的なデータの取得方法として、取得部１０１は、データベースから、ＶＲ空間上の利用者が視認しうるＶＲ空間上の枠を識別する枠識別情報と、現実空間に設置された撮像装置を識別する撮像装置識別情報とを対応付けたデータを取得してもよい。または、取得部１０１は、入力装置や通信ネットワークを介して、データを取得してもよい。例えば、枠は、ＶＲ空間上の乗り物の枠や建物の枠であってもよい。乗り物は、バス、飛行機、電車、船など特に限定されない。建物は、会社、学校、家など特に限定されない。枠は、例えば窓や扉などが挙げられる。なお、以降の説明において、枠識別情報と撮像装置識別情報とを対応付けることについて、説明の簡略化のために、枠と撮像装置とを対応付けると表す場合がある。また、説明の簡略化のために、ＶＲ空間上の枠を識別する枠識別情報に対応付けられた撮像装置識別情報によって識別される撮像装置を、枠に対応付けられた撮像装置と表す場合がある。
　つぎに、生成部１０２は、ＶＲ空間上の利用者と、ＶＲ空間上の枠と、のＶＲ空間上の位置関係に基づいて、枠に対応付けられた撮像装置によって撮像された映像から、ＶＲ空間上の利用者から見える枠の映像を生成する。ここでの位置関係としては、枠からの距離、高さの位置、左右などの枠に対する水平の方向の位置などが挙げられる。具体的な映像の生成方法は、実施の形態２で詳細に説明する。
　出力制御部１０３は、表示装置に表示されているＶＲ空間上の枠内に、生成された枠の映像を表示させる。
　（フローチャート）
　図２は、実施の形態１にかかる制御システム１０の一動作例を示すフローチャートである。取得部１０１は、現実空間に設置された撮像装置とＶＲ空間上の枠とを対応付けたデータを取得する（ステップＳ１０１）。
　生成部１０２は、ＶＲ空間上の利用者と、ＶＲ空間上の枠とのＶＲ空間上の位置関係に基づいて、ＶＲ空間上の枠に対応付けられた撮像装置に撮像された映像から、ＶＲ空間上の枠の映像を生成する（ステップＳ１０２）。出力制御部１０３は、ＶＲ空間上の枠内に、生成された枠の映像を表示させる（ステップＳ１０３）。
　現実空間であれば、建物や乗り物の窓や扉などの枠から見える景色は、利用者の位置によって異なる。例えば、ＶＲ空間において、建物の窓や扉、乗り物の窓や扉などの枠から見える景色が固定視点である場合がある。このような場合、臨場感が低いという問題点がある。実施の形態１において、制御システム１０は、ＶＲ空間上の利用者と、ＶＲ空間上の枠と、のＶＲ空間上の位置関係に基づいて、ＶＲ空間上の枠に対応付けられた撮像装置によって撮像された映像から、ＶＲ空間上の利用者から見えるＶＲ空間上の枠の映像を生成する。そして、制御システム１０は、ＶＲ空間上の枠内に、生成された枠の映像を表示させる。これにより、ＶＲ空間上で利用者の位置から見えるような現実空間の映像を提供することができる。したがって、臨場感の向上を図ることができる。
　（実施の形態２）
　つぎに、実施の形態２について図面を参照して詳細に説明する。実施の形態２では、現実空間において撮像装置が移動体に設置され、ＶＲ空間の利用シーンとして旅行を例に挙げ、ＶＲ空間上の枠として乗り物の窓を例に挙げて説明する。以下、本実施の形態２の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
　図３は、表示装置として用いるドーム型ディスプレイの例を示す説明図である。図３では、表示装置として、ドーム型ディスプレイ２１を例に挙げている。現実空間では、例えば、利用者がドーム型ディスプレイ２１の前に座っている。
　ドーム型ディスプレイ２１が映像を表示するとは、投影装置２１０２がスクリーン２１０１に映像を投影することである。
　ドーム型ディスプレイ２１が設置される場所には、撮像装置２２と、録音装置２３と、が設置されてもよい。例えば、撮像装置２２と録音装置２３とは、利用者の顔の向き、利用者の視線の向き、利用者の動き、利用者の会話を検出するために用いられる。制御システムは、撮像装置２２によって撮像された映像から利用者の位置、利用者の動きを検出することができる。制御システムは、録音装置２３によって得られた音声から、利用者の会話を検出することができる。なお、さらに、図示しないが、ドーム型ディスプレイ２１が設置される場所には、他の利用者の音声や移動体における音声を出力するスピーカなどの音声出力装置が設置されている。また、ドーム型ディスプレイ２１が設置される場所には、コントローラ２４が設置されてもよい。コントローラ２４は、例えば、利用者の操作を受け付ける入力装置の一例である。例えば、実施の形態２において、コントローラ２４は、利用者の操作による利用者の移動の入力を受け付ける。
　撮像装置２２と録音装置２３とのそれぞれの数は、特に限定されない。例えば、撮像装置２２は、撮像した映像を制御システムなどに送信すればよい。また、録音装置２３は、音声を制御システムなどに送信すればよい。
　ドーム型ディスプレイ２１は、例えば、スクリーン２１０１の少なくとも一部が曲面になっていて、利用者の視界を覆うような構造になっている装置である。なお、ドーム型ディスプレイ２１は、例えば、３６０度のような完全なドーム状ではなく、１８０度のように一部分が欠けていてもよい。すなわち、ドーム型ディスプレイ２１は、半球のドーム形状であってもよい。また、ドーム型ディスプレイ２１は、スクリーン２１０１の一部分が湾曲してなくてもよい。このように、ドーム型ディスプレイ２１のサイズおよび種類は、特に限定されない。例えば、ドーム型ディスプレイ２１は、１８０度のドーム型ディスプレイ２１であってもよいし、３６０度のドーム型ディスプレイ２１であってもよい。また、例えば、ドーム型ディスプレイ２１のサイズは、縦１メートルから２メートル、横１メートルから２メートル、高さ１メートルから２メートル程度であってもよい。
　また、ドーム型ディスプレイ２１の設置場所は、特に限定されない。例えば、ドーム型ディスプレイ２１は、利用者の家、会社などに設置されていてもよいし、誰でも使えるような場所に設置されていてもよい。
　図４は、制御システムとドーム型ディスプレイ２１などとの接続例を示す説明図である。ドーム型ディスプレイ２１、撮像装置２２、録音装置２３、コントローラ２４は、利用者側の家や共有スペースなどに設置される。制御システム２０は、ドーム型ディスプレイ２１、撮像装置２２、録音装置２３、コントローラ２４などと通信ネットワークを介して接続される。なお、例えば、利用者側には、エッジ端末装置などが設置されてもよい。エッジ端末装置が、ドーム型ディスプレイ２１、撮像装置２２、録音装置２３、コントローラ２４などと通信ネットワークと接続され、制御システム２０は、エッジ端末装置と通信ネットワークなどを介して接続されてもよい。
　例えば、現実空間における撮像装置２６は、移動体２５に設置されてもよい。また、撮像装置２６は、ロボットアームなどに取り付けられていてもよい。撮像装置２６は、制御システム２０と通信ネットワークを介して接続される。撮像装置２６の数は、特に限定されない。
　また、制御システム２０は、ドーム型ディスプレイ２１、撮像装置２２、録音装置２３、撮像装置２６、コントローラ２４を備える全体のシステムとして構成されてもよい。
　また、制御システム２０が利用者側の装置と接続される通信ネットワークと、制御システム２０が移動体２５側の装置と接続される通信ネットワークとは、同一であってもよい。
　図５は、表示装置として用いるＨＭＤの例を示す説明図である。図５では、表示装置として、ＨＭＤ２７を例に挙げている。現実空間では、利用者がＨＭＤ２７を装着している。
　ＨＭＤ２７は、例えば、利用者の顔の向き、利用者の視線の向き、利用者の動きを検出可能な機能を備えていてもよい。また、ＨＭＤ２７は、音声出力機能や音声を集音する機能なども備えていてもよい。また、利用者の動きを入力可能とするためにコントローラ２４が用いられてもよい。
　図６は、制御システム２０とＨＭＤ２７などとの接続例を示す説明図である。制御システム２０は、ＨＭＤ２７、コントローラ２４などと通信ネットワークを介して接続される。なお、例えば、利用者側には、エッジ端末装置などが設置されてもよい。エッジ端末装置が、ＨＭＤ２７、コントローラ２４などと通信ネットワークと接続され、制御システム２０は、エッジ端末装置と通信ネットワークなどを介して接続されてもよい。
　例えば、図４と同様に、撮像装置２６は、移動体２５に設置される。また、撮像装置２６は、ロボットアームなどに取り付けられていてもよい。撮像装置２６は、制御システム２０と通信ネットワークを介して接続される。撮像装置２６の数は、特に限定されない。
　また、制御システム２０は、ＨＭＤ２７、撮像装置２６、コントローラ２４を備える全体のシステムとして構成されてもよい。
　図７は、移動体２５の座席例を示す説明図である。ＶＲ空間上における窓ｗ１が、バスや電車のような乗り物の窓ｗ１である場合において、ＶＲ空間には、座席がある場合がある。例えば、図７において、座席が、ＡからＤまである。ここで、座席Ａは、利用者Ｘの座席である。座席Ｂは、利用者Ｙの座席である。座席Ｃは、利用者Ｚの座席である。
　図８は、実施の形態２にかかる制御システム２０の一構成例を示すブロック図である。例えば、制御システム２０は、取得部２０１と、生成部２０２と、出力制御部２０３と、検出部２０４と、特定部２０５と、受付部２０６と、商品決定部２０７と、登録部２０８と、精算部２０９とを備える。
　制御システム２０は、実施の形態１にかかる制御システム１０に対して、さらに、検出部２０４と、特定部２０５と、受付部２０６と、商品決定部２０７と、登録部２０８と、精算部２０９と、が追加される。
　取得部２０１は、実施の形態１にかかる取得部１０１の機能を基本機能として有する。生成部２０２は、実施の形態１にかかる生成部１０２の機能を基本機能として有する。出力制御部２０３は、実施の形態１にかかる出力制御部１０３の機能を基本機能として有する。
　例えば、制御システム２０は、関連付テーブル２００１と、利用者ＤＢ（ＤａｔａＢａｓｅ）２００２と、商品ＤＢ２００３と、を有する。なお、制御システム２０の各機能部は、各種データベースやテーブルを適宜参照したり、更新することができる。
　関連付テーブル２００１は、現実空間上の撮像装置２６と、ＶＲ空間上の窓と、を対応付けるデータを記憶する。具体的に、関連付テーブル２００１は、例えば、撮像装置２６を識別する撮像装置識別情報と、窓を識別する窓識別情報と、を対応付けて記憶する。撮像装置識別情報は、撮像装置２６を識別可能であればよく、撮像装置識別情報の表現形式は特に限定されない。窓識別情報は、窓を識別可能であればよく、窓識別情報の表現形式は特に限定されない。なお、一つの窓に対して、複数の撮像装置２６が対応付けられてもよい。関連付テーブル２００１の記憶例については、撮像装置２６の設置例とともに図面を用いて後述する。
　また、利用者ＤＢ２００２は、利用者別に、利用者の情報を記憶する。利用者の情報は、例えば、利用者の名前、利用者の画像などが挙げられる。利用者の画像は、実際の利用者の写真であってもよいし、アバターであってもよく、特に限定されない。利用者の画像は、例えば、ＶＲ空間上の利用者の画像として用いられる。例えば、利用者ＤＢ２００２は、利用者別に、表示装置を識別する表示装置識別情報と、利用者の情報と、を関連付けて記憶してもよい。さらに、別途、利用者ＤＢ２００２は、表示装置識別情報と、利用者を識別する利用者識別情報と、利用者の情報と、を関連付けて記憶してもよい。
　また、商品ＤＢ２００３は、商品別に、商品の情報を記憶する。商品ＤＢ２００３は、商品識別情報と、商品の情報と、を関連付けて記憶する。商品識別情報は、商品を識別可能であれば、特に限定されない。商品の情報は、例えば、商品の名称、商品の価格、商品の画像、商品の特徴など特に限定されない。
　つぎに、現実空間上の撮像装置２６と、ＶＲ空間上の窓とを対応付ける例を具体的に挙げて、各機能部の処理について説明する。
　＜一台の撮像装置２６と窓との対応付け例＞
　まずは、現実空間上の一台の撮像装置２６と、ＶＲ空間上の窓とを対応付ける例について説明する。
　図９は、移動体２５に撮像装置２６が設置される例を示す説明図である。例えば、現実空間において、移動体２５には、撮像装置２６が設置されている。図９において、移動体２５は、トラックなどの車両を例に挙げているが、飛行機、電車、ドローン、船など特に限定されない。
　図１０は、現実空間上の一台の撮像装置２６とＶＲ空間上の窓との対応関係を表す例を示す説明図である。ＶＲ空間上の窓ｗ１には、現実空間にある撮像装置２６が設置されていないが、理解の容易化のために、図１０には、現実空間上の一台の撮像装置２６と、ＶＲ空間上の窓ｗ１と、の位置関係を表す。
　図１１は、撮像装置２６と窓とを対応付けた関連付テーブル２００１の一例を示す説明図である。関連付テーブル２００１は、撮像装置ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）と、窓ＩＤと、を対応付けて記憶する。ここで、撮像装置ＩＤは、撮像装置２６を識別する撮像装置識別情報の一例である。窓ＩＤは、窓を識別する窓識別情報の一例である。
　図１１において、撮像装置ＩＤ「Ｃ０００１」と、窓ＩＤ「ｗ１」とが対応付けられている。例えば、撮像装置ＩＤ「Ｃ０００１」によって識別される撮像装置が、図９に示す撮像装置２６である。撮像装置ＩＤ「Ｃ０００２」と、窓ＩＤ「ｗ２」とが対応付けられている。撮像装置ＩＤ「Ｃ０００３」と、窓ＩＤ「ｗ３」とが対応付けられている。撮像装置ＩＤ「Ｃ０００４」と、窓ＩＤ「ｗ４」とが対応付けられている。
　関連付テーブル２００１は、撮像装置２６が、現実空間においてどこに設置されたかを表す位置情報や場所情報、現実空間においてどのような向きに設置されたかを表す向き情報などを、撮像装置ＩＤに対応付けて記憶してもよい。
　取得部２０１は、例えば、現実空間に設置された撮像装置２６と、ＶＲ空間上の窓とを対応付けたデータとして、関連付テーブル２００１を取得する。
　つぎに、生成部２０２は、ＶＲ空間上の利用者と、ＶＲ空間上の窓と、のＶＲ空間上の位置関係に基づいて、窓に対応付けられた撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える窓の映像を生成する。
　複数の利用者がいる場合、例えば、生成部２０２は、複数の利用者のそれぞれについて、ＶＲ空間上の利用者と、ＶＲ空間上の窓と、のＶＲ空間上の位置関係に基づいて、カメラによって撮像された映像から、ＶＲ空間上で利用者から見える窓の映像を生成する。
　生成部２０２は、ＶＲ空間上の利用者の位置と、ＶＲ空間上の窓の位置と、の位置関係、およびＶＲ空間上の利用者の向きに基づいて、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。利用者の向きとは、例えば、利用者の顔や頭の向き、利用者の視線の向きなどである。
　具体的に、窓の映像を生成する方法として、例えば、生成部２０２は、ＶＲ空間上の利用者と、ＶＲ空間上の窓と、のＶＲ空間上の位置関係に基づいて、撮像された映像から、ＶＲ空間上で利用者から見える窓の映像を切り出してもよい。
　図１２は、撮像された映像から窓の映像を切り出す例を示す説明図である。図１２において、生成部２０２は、ＶＲ空間上の利用者ＸとＶＲ空間上の窓ｗ１とのＶＲ空間上の位置関係および利用者の視線の向きに基づいて、撮像された映像から、ＶＲ空間上の利用者Ｘから見える窓ｗ１の映像を切り出す。
　また、図１２において、生成部２０２は、ＶＲ空間上の利用者ＸとＶＲ空間上の窓ｗ１とのＶＲ空間上の位置関係および利用者の視線の向きに基づいて、撮像された映像から、ＶＲ空間上の利用者Ｘから見える窓ｗ１の映像を切り出す。
　窓の映像を生成する他の方法として、例えば、生成部２０２は、ＶＲ空間上の利用者と、ＶＲ空間上の窓ｗ１と、のＶＲ空間上の位置関係に基づいて、撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。新たな映像を生成するとは、撮像された映像に、他の映像を追加するなどあってもよい。より具体的に、例えば、生成部２０２は、撮像された映像に、天候によって見えない映像を補完するように、新たな映像を生成してもよい。生成部２０２は、過去の映像の合成、補正、補完に限られず、撮像された映像に、別の映像や文字などを合成してもよい。
　なお、各映像の生成方法は、組み合わせられてもよい。
　＜複数台の撮像装置２６と窓との対応付け例＞
　つぎに、現実空間上の複数台の撮像装置２６と、ＶＲ空間上の窓との対応付ける例について説明する。
　図１３は、移動体２５に複数の撮像装置２６が設置される例を示す説明図である。例えば、現実空間において、移動体２５には、二台の撮像装置２６－１，２６－２が互いに異なる位置に設置されている。
　なお、撮像装置２６が、３６０度カメラ以外のカメラである場合、撮像装置２６－１，２６－２は、同一の位置に、異なる向きに設置されてもよい。
　図１４は、現実空間上の二台の撮像装置２６とＶＲ空間上の窓との対応関係を表す例を示す説明図である。ＶＲ空間上の窓ｗ１には、撮像装置２６が設置されていないが、理解の容易化のために、図１４には、現実空間上の二台の撮像装置２６－１，２６－２と、ＶＲ空間上の窓ｗ１と、の位置関係を表す。
　図１５は、複数の撮像装置２６と窓とを対応付けた関連付テーブル２００１の例を示す説明図である。関連付テーブル２００１は、撮像装置ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）と、窓ＩＤと、を対応付けて記憶する。図１１の関連付テーブル２００１の例と同様に、図１５において、撮像装置ＩＤは、撮像装置２６を識別する撮像装置識別情報の一例である。窓ＩＤは、窓を識別する窓識別情報の一例である。
　図１５において、関連付テーブル２００１では、撮像装置ＩＤ「Ｃ０００１」と窓ＩＤ「ｗ１」とが対応付けられ、撮像装置ＩＤ「Ｃ０００２」と窓ＩＤ「ｗ１」とが対応付けられている。例えば、撮像装置ＩＤ「Ｃ０００１」によって識別される撮像装置が、図１３に示す撮像装置２６－１であり、撮像装置ＩＤ「Ｃ０００２」によって識別される撮像装置が、図１３に示す撮像装置２６－２である。
　なお、関連付テーブル２００１は、複数の撮像装置２６のそれぞれが、現実空間においてどこに設置されたかを表す位置情報や場所情報、現実空間においてどのような向きに設置されたかを表す向き情報などを、撮像装置ＩＤに対応付けて記憶してもよい。
　つぎに、取得部２０１は、現実空間において互いに異なる位置に設置された複数の撮像装置２６と、ＶＲ空間上の一つの窓と、を対応付けたデータとして、関連付テーブル２００１を取得する。
　生成部２０２は、ＶＲ空間上の利用者と、ＶＲ空間上の窓とのＶＲ空間上の位置関係に基づいて、関連付テーブル２００１において窓に対応付けられた複数の撮像装置２６によって撮像された映像から、映像を生成する。関連付テーブル２００１において窓に対応付けられた複数の撮像装置２６とは、関連付テーブル２００１において窓ＩＤに対応付けられた複数の撮像装置ＩＤのそれぞれによって識別される複数の撮像装置２６である。
　例えば、生成部２０２は、ＶＲ空間上の利用者と、ＶＲ空間上の窓とのＶＲ空間上の位置関係に基づいて、複数の映像から、ＶＲ空間上の利用者から見える映像を生成する。具体的に、複数の映像から利用者が見える映像を生成する方法として、生成部２０２は、複数の映像を合成し、合成した映像から、ＶＲ空間上の利用者から見える映像を切り出してもよい。窓が大きい場合に、密度が高くなるように大量の撮像装置２６が設置されることにより、生成部２０２が複数の映像を合成してより精微な映像を生成することができる。また、別の方法として、生成部２０２は、複数の映像のそれぞれから、ＶＲ空間上の利用者から見える映像を切り出し、切り出された複数の映像を合成することにより、ＶＲ空間上の利用者から見える映像を生成してもよい。なお、具体的に、例えば、生成部２０２は、複数の映像のそれぞれから、切り出す座標位置を決定し、決定した座標位置に基づいて、複数の映像を合成してもよい。窓が小さい場合に、密度が高くなく複数の撮像装置が設置されると、利用者が見ない映像部分を合成しなくてよいため、生成部２０２は、ＶＲ空間上の利用者から見える窓の新たな映像を短時間で生成することができる。
　図１６は、複数の撮像装置２６のそれぞれで撮像された映像から窓の映像を生成する例を示す説明図である。図１６において、生成部２０２は、ＶＲ空間上の利用者ＸとＶＲ空間上の窓ｗ１とのＶＲ空間上の位置関係および利用者の視線の向きに基づいて、複数の撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者Ｘから見える映像を生成する。図１６において、生成部２０２は、撮像装置２６－１によって撮像された映像と撮像装置２６－２によって撮像された映像とから、ＶＲ空間上の利用者Ｘから見える映像を生成する。なお、図１６において、撮像装置２６－１，２６－２によって撮像された複数の映像が撮像した範囲は、重複していない例を挙げているが、複数の映像が撮像した範囲が、重複している場合もある。このような場合、生成部２０２が重複部分についていずれの映像を用いるかは特に限定されない。
　より具体的に、生成部２０２は、複数の映像を合成して１つの映像を生成し、１つの映像から、ＶＲ空間上の利用者Ｘから見える映像を切り出してもよい。または、生成部２０２は、複数の映像のそれぞれから、ＶＲ空間上の利用者Ｘから見える映像を切り出し、切り出した後の複数の映像を合成してもよい。
　また、生成部２０２は、利用者Ｙについても利用者Ｘと同様に、複数の映像から、ＶＲ空間上の利用者Ｘから見える映像を生成する。以上で、図１６の例の説明を終了する。
　また、複数の映像から利用者が見える映像を生成する別の方法として、生成部２０２は、ＶＲ空間上の利用者とＶＲ空間上の窓とのＶＲ空間上の位置関係に基づいて複数の映像から、ＶＲ空間上の利用者が見える映像を含む映像を選択する。そして、生成部２０２は、選択した映像から、ＶＲ空間上の利用者がＶＲ空間上の窓の外に見える映像を切り出してもよい。
　図１７は、複数の撮像装置２６のそれぞれで撮像された映像から窓の映像を選択して生成する例を示す説明図である。図１７において、生成部２０２は、ＶＲ空間上の利用者ＸとＶＲ空間上の窓ｗ１とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の視線の向きに基づいて、複数の撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者Ｘから見える映像を生成する。具体的に、生成部２０２は、ＶＲ空間上の利用者ＸとＶＲ空間上の窓ｗ１とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の視線の向きに基づいて、撮像装置２６－１によって撮像された映像と撮像装置２６－２によって撮像された映像とから、撮像装置２６－１によって撮像された映像を選択する。そして、生成部２０２は、選択された映像から、ＶＲ空間上の利用者Ｘから見える映像を切り出す。
　以上、複数の映像から、ＶＲ空間上の利用者から見える映像を生成する例の説明を終了する。なお、一台の撮像装置２６と窓とが対応付けられた場合において説明した生成処理と、複数台の撮像装置２６と窓とが対応付けられた場合において説明した生成処理とは、適宜組み合わせられてもよい、
　つぎに、出力制御部２０３は、表示装置に表示されるＶＲ空間上の枠内に、生成された映像を表示させる。表示装置は、上述のように、特に限定されないが、ＨＭＤ２７やドーム型ディスプレイ２１が挙げられる。ここでは、表示装置としてドーム型ディスプレイ２１を例に挙げる。
　図１８は、ドーム型ディスプレイ２１の表示例を示す説明図である。例えば、ドーム型ディスプレイ２１には、ＶＲ空間上の乗り物の中の映像が表示されている。
　図１８において、より具体的に、ドーム型ディスプレイ２１には、利用者Ｘは、ＶＲ空間において、利用者Ｙ、利用者Ｚ、窓ｗ１が表示されている。そして、ＶＲ空間において、窓ｗ１には、生成部２０２によって生成された映像が表示されている。
　＜利用者の移動＞
　つぎに、ＶＲ空間上の利用者が移動する場合について説明する。例えば、現実空間の利用者の移動に連動させてＶＲ空間上の利用者を移動させる例と、現実空間のコントローラ２４などの入力装置に対する現実空間の利用者の操作によってＶＲ空間上の利用者を移動させる例とがある。なお、いずれの例が利用されるかは、適宜決定されればよく、特に限定されない。表示装置がＨＭＤ２７である場合、いずれの例も利用される可能性が高い。例えば、表示装置がドーム型ディスプレイ２１である場合、コントローラ２４などの入力装置に対する操作によってＶＲ空間上の利用者を移動させる可能性が高い。
　まず、現実空間上の利用者の移動に連動させる例について説明する。
　設定部は、利用開始時に、現実空間における利用者の位置および向きと、ＶＲ空間上の利用者の位置および向きと、を対応付ける。設定部は、対応付けた情報をテーブルとして記憶手段などに記憶させておいてもよい。
　つぎに、検出部２０４は、現実空間における利用者の移動を検出する。現実空間における利用者の移動は、顔の動き、頭の動き、体の動きなどである。また、より具体的に利用者の移動とは、顔の位置、頭の位置、顔の向き、頭の向き、視線の向きなどが変更することである。表示装置がＨＭＤ２７である場合、検出部２０４は、ＨＭＤ２７に備えられた加速度センサ、ジャイロセンサ、地磁気センサなどによって検出されたデータに基づいて、利用者の移動を検出してもよい。また、表示装置がＨＭＤ２７やドーム型ディスプレイ２１である場合、検出部２０４は、撮像装置２２によって撮像された画像から、利用者の移動を検出してよい。
　特定部２０５は、検出された利用者の移動に基づいて、ＶＲ空間上の利用者の新たな位置および向きを特定する。なお、例えば、現実空間における利用者の移動量とＶＲ空間における利用者の移動量とは、比例し、倍率などは特に限定されない。例えば、現実空間における利用者の移動量に対してＶＲ空間における利用者の移動量が数倍であってもよい。
　そして、生成部２０２は、ＶＲ空間上の利用者の新たな位置と、ＶＲ空間上の窓とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の新たな向きに基づいて、窓に対応付けられた撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える窓の新たな映像を生成する。
　つぎに、現実空間における利用者が入力装置を介してＶＲ空間の利用者を移動させる場合を例に挙げて説明する。例えば、受付部２０６は、入力装置に対する利用者の操作によってＶＲ空間における利用者の移動を受け付けることにより、ＶＲ空間における利用者の移動を検出する。なお、入力装置は、コントローラ２４であってもよいし、端末装置などであってもよく、特に限定されない。
　特定部２０５は、受け付けたＶＲ空間上の利用者の移動に基づいて、ＶＲ空間上の利用者の新たな位置および向きを特定する。
　そして、生成部２０２は、ＶＲ空間上の利用者の新たな位置と、ＶＲ空間上の窓とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の新たな向きに基づいて、窓に対応付けられた撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える窓の新たな映像を生成する。
　そして、生成部２０２は、ＶＲ空間上の利用者の新たな位置と、ＶＲ空間上の窓とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の新たな向きに基づいて、窓に対応付けられた撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える窓の新たな映像を生成する。
　＜音声のグラフィック表示＞
　例えば、ＶＲ空間において、乗り物による団体旅行が行われる場合がある。乗り物による団体旅行の場合、利用者は、旅行者である。団体旅行の場合、複数の利用者のうち一部の利用者は、知り合いであるが、他の利用者は、知り合いでない場合などがある。団体旅行では、知り合いでない利用者の会話などを聞くなど情報共有をできるというメリットがある一方、興味のない会話を聞かなければならないというデメリットがある。
　そこで、実施の形態２において、制御システム２０は、利用者が音声を選択的に聞こえるようにしてもよい。
　具体的に、例えば、出力制御部２０３は、利用者と会話している利用者以外の他の利用者の音声を表すグラフィックを、表示装置に表示させる。なお、例えば、出力制御部２０３は、音声とともにグラフィックを表示させてもよいし、音声をミュートにしてグラフィックを表示させてもよい。ここで、例えば、生成部２０２は、撮像された映像に、他の利用者の音声を表すグラフィックを追加した映像を生成する。そして、出力制御部２０３は、生成された映像を表示装置に表示させる。
　ここで、グラフィックとは、写真、イラスト、図形、記号、文字などである。グラフィックは、音声に応じたグラフィックであってもよい。音声に応じたグラフィックとは、音声に応じて、形状、サイズ、色、柄などが異なっていてもよい。グラフィックの色を例に挙げると、旅行に関する音声の色と、旅行と関係ないような音声の色とが異なっていてもよい。例えば、出力制御部２０３は、旅行に関する音声を表すグラフィックを、旅行と関係ないような音声を表すグラフィックよりも強調表示させてもよい。同様に、グラフィックの柄の場合、旅行に関する音声の柄と、旅行と関係ないような音声の柄とが異なっていてもよい。
　例えば、利用者と会話している利用者以外の他の利用者とは、予めグループ化されていてもよいし、会話に応じてグループ化されてもよい。予めグループ化されているとは、利用開始前に、一緒に旅行する利用者が予め登録され、一緒に旅行すると登録された利用者を一つのグループとして扱えばよい。例えば、会話に応じてグループ化されるとは、利用者Ｘと利用者Ｙと利用者Ｚとが会話していれば、同じ会話に含まれる利用者を一つのグループとしてグループ化させることである。この場合、グループは、定期的に変化する。
　図１９は、他の利用者の音声をグラフィック表示させた例を示す説明図である。例えば、図１９において、グラフィックとして、吹き出しが用いられている。なお、グラフィックの形状は、吹き出しの形状に限られず、音声を表すことが識別可能であれば、特に限定されない。
　図１９において、吹き出しは、３つある。すなわち、図１９において、３人の発話または３グループの会話がある。ここで、利用者Ｚは、利用者Ｘと会話していない利用者であり、利用者Ｚの音声は、旅行に関係する音声であるとする。一方、他の利用者の音声は、旅行に関係しない音声であるとする。例えば、出力制御部２０３は、旅行に関する音声を表すグラフィックを、旅行と関係ないような音声を表すグラフィックよりも強調表示させる。
　図１９において、強調表示として、グラフィックのサイズと柄とが用いられている。図１９において、利用者Ｚの音声を表す吹き出しのサイズは、他の吹き出しのサイズよりも大きい。また、利用者Ｚの音声を表す吹き出しの柄は、ドット柄であるのに対して、他の吹き出しのサイズの柄は、無地である。このように、利用者Ｚの音声を表す吹き出しは、他の吹き出しよりも強調されている。また、強調表示として、グラフィックの色が用いられてもよい。
　また、受付部２０６は、利用者の操作によって、音声を表すグラフィックの選択を受け付けてもよい。利用者の操作は、例えば、入力装置を介した操作であってもよいし、利用者の手の動きに応じた操作であってよいし、利用者の音声に応じた操作であってもよく、操作方法は、特に限定されない。なお、入力装置は、前述のように、コントローラ２４や端末装置などである。利用者の手の動きは、例えば、撮像装置２６によって撮像された画像から検出可能である。また、利用者の音声は、例えば、録音装置によって得られる。そして、出力制御部２０３は、利用者によって選択されたグラフィックが表す音声を音声出力させる。または、例えば、出力制御部２０３は、利用者によって選択されたグラフィックについての表示をさせないようにしてもよい。具体的に、例えば、生成部２０２は、撮像された映像に、選択されたグラフィック以外のグラフィックを追加し、選択されたグラフィックを追加していない映像を生成する。そして、出力制御部２０３は、生成された映像を表示装置に表示させる。
　また、例えば、表示装置が、利用者の全面を覆わないようなドーム型ディスプレイ２１の場合、出力制御部２０３は、利用者の後方の会話を音声出力させ、利用者の前方の会話を音声出力せずにグラフィックで表示させてもよい。利用者の前方とは、利用者が向いている方向であり、利用者の後方は、利用者が向いている方向と反対の方向である。なお、利用者の全面を覆わないようなドーム型ディスプレイ２１とは、例えば、１８０度のドーム型ディスプレイ２１などが挙げられる。
　図２０は、グラフィック出力から音声出力に切り替える例を示す説明図である。例えば、図２０において、出力制御部２０３は、ドーム型ディスプレイ２１に、利用者Ｚの音声を表す吹き出しで表示させている。受付部２０６は、利用者Ｘの操作により、グラフィックの選択を受け付ける。出力制御部２０３は、選択されたグラフィックが表す利用者Ｚの音声を音声出力させる。
　また、受付部２０６は、他の利用者の音声について出力形式を受け付けてもよい。出力制御部２０３は、他の利用者の音声を、受け付けた出力形式で行う。具体的に、例えば、受付部２０６は、音声を表すグラフィックと、音声と、を段階的に選択可能であってもよい。受付部２０６は、グラフィックについても段階的に選択可能であってもよい。そして、出力制御部２０３は、段階的に出力を切り替える。例えば、出力制御部２０３は、所定の形状を色で表したグラフィック、音声を文字で表したグラフィックなどのように段階的に音声のより詳細な内容が表示されるように切り替えてもよい。
　なお、団体旅行は、利用シーンの一例である。例えば、建物の中で、複数の利用者がいる場合などの利用シーンなどにおいても利用可能である。
　また、移動体２５は、乗り物であってもよい。例えば、移動体２５が乗り物である場合、移動体２５は、実際の乗り物の窓の外に設置され、ＶＲ空間上の乗り物が、実際の乗り物を再現したものであってもよい。仮想現実空間に表示される他の利用者が、実際の乗り物に乗っている人物であってもよい。このような場合に、現実空間の乗り物には、現実空間の乗り物の内部を撮影する撮像装置が設置されていてもよい。そして、出力制御部２０３は、表示装置に表示される仮想現実空間の乗り物の内部として、撮影された乗り物の内部の映像を表示させてもよい。なお、生成部２０２は、内部の映像に、撮像装置が映っている場合、撮像装置を消すように補正した映像を生成し、出力制御部２０３は、生成した映像を、仮想現実空間の乗り物の映像として表示させてもよい。
　＜買物＞
　例えば、ＶＲ空間における旅行中において、買物が行われてもよい。
　商品決定部２０７は、商品ＤＢ２００３に含まれる商品から推奨商品を決定する。ここで、商品ＤＢ２００３に含まれる商品とは、商品ＤＢ２００３に記憶された商品識別情報によって識別される商品である。具体的に、例えば、商品決定部２０７は、旅行先に関連する商品を推奨商品として決定する。また、商品決定部２０７は、旅行先に関連する商品のうち、利用者の会話に基づいて、推奨商品を決定してもよい。
　例えば、出力制御部２０３は、推奨商品の情報を利用者に提示する。具体的な提示方法として、出力制御部２０３は、表示装置に、推奨商品の情報を表示させてもよいし、利用者の端末装置などに推奨商品の情報を通知してもよい。
　例えば、車内販売や機内販売のような形式で商品を販売してもよい。そこで、また、出力制御部２０３は、表示装置に、店員のアバターを表示させ、店員のアバターが推奨商品の情報を提示してもよい。
　登録部２０８は、利用者の操作により、商品の登録を受け付ける。精算部２０９は、利用者の操作により、登録された商品の精算を行う。なお、商品の登録方法や精算方法については、既存の技術が用いられればよい。
　（フローチャート）
　図２１は、実施の形態２にかかる制御システム２０の一動作例を示すフローチャートである。ここでは、現実空間における利用者の移動と、ＶＲ空間における利用者の移動とが連動している例を挙げて説明する。
　まず、取得部２０１は、現実空間に設置される撮像装置２６を識別する撮像装置識別情報と、ＶＲ空間上の枠を識別する枠識別情報とを対応付けたデータを取得する（ステップＳ２０１）。例えば、取得部２０１は、このデータとして、関連付テーブル２００１を取得する。
　設定部は、初期設定として、ＶＲ空間上の利用者の位置と、現実空間上の利用者の位置とを対応付ける（ステップＳ２０２）。
　つぎに、生成部２０２は、ＶＲ空間上の枠とＶＲ空間上の利用者とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の向きに基づいて、ＶＲ空間上の枠に対応付けられた撮像装置２６によって撮像された映像から、ＶＲ空間上の枠の映像を生成する（ステップＳ２０３）。出力制御部２０３は、ＶＲ空間上の枠内に、生成された枠の映像を表示させる（ステップＳ２０４）。
　検出部２０４は、現実空間における利用者の移動を検出したかを判定する（ステップＳ２０５）。現実空間における利用者の移動が検出されていない場合（ステップＳ２０５：Ｎｏ）、検出部２０４は、ステップＳ２０５に戻る。
　現実空間における利用者の移動が検出された場合（ステップＳ２０５：Ｙｅｓ）、特定部２０５は、ＶＲ空間上の利用者の新たな位置および向きを特定し（ステップＳ２０６）、ステップＳ２０３へ戻る。これにより、ＶＲ空間上の利用者の新たな位置および向きにおけるＶＲ空間上の利用者から見える枠の新たな映像が生成される。
　なお、フローチャートについては、適宜終了すればよい。
　実施の形態２において、制御システム２０は、撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える枠の映像を切り出す。これにより、ＶＲ空間上で利用者が見え得る枠の外の映像を提供することができる。または、制御システム２０は、ＶＲ空間上の利用者と、ＶＲ空間上の枠とのＶＲ空間上の位置関係に基づいて、撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。これにより、ＶＲ空間上で利用者が見え得る枠の外の映像を提供することができる。また、実際の体験にない映像を補完することができる。
　また、互いに異なる位置に設置された複数の撮像装置２６と、枠とが対応付けられる場合、制御システム２０は、複数の映像から、ＶＲ空間上の利用者から見える枠の映像を生成する。これにより、ＶＲ空間上で利用者が見え得る枠の外の映像を提供することができる。
　また、制御システム２０は、複数の利用者のそれぞれについて、ＶＲ空間上の利用者と、ＶＲ空間上の枠とのＶＲ空間上の位置関係に基づいて、撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者から見える枠の映像を生成する。これにより、ＶＲ空間上に複数の利用者がいたとしても、現実空間に設置された同じ撮像装置２６によって撮像された映像から、ＶＲ空間上の利用者の位置に応じた映像を提供することができる。
　また、制御システム２０は、ＶＲ空間上の利用者とＶＲ空間上の枠とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の向きに基づいて、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。これにより、利用者の向きによって映像が異なるため、より現実に近い映像を提供することができる。
　また、制御システム２０は、現実空間における利用者の移動を検出し、現実空間における利用者の移動に基づいて、ＶＲ空間上の利用者の位置および向きを特定する。そして、制御システム２０は、特定された位置におけるＶＲ空間上の利用者と、ＶＲ空間上の枠とのＶＲ空間上の位置関係、および新たな向きに基づいて、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。これにより、現実空間における利用者の上下の動きや利用者の左右の動きなどによって映像が変化するため、枠の外に見える映像の臨場感の向上を図ることができる。
　また、制御システム２０は、現実空間における利用者の操作によって、ＶＲ空間上の利用者の移動を受け付ける。そして、制御システム２０は、受け付けた移動に基づいて、ＶＲ空間上の利用者の位置および向きを特定し、特定された位置におけるＶＲ空間上の利用者とＶＲ空間上の枠とのＶＲ空間上の位置関係、およびＶＲ空間上の利用者の新たな向きに基づいて、ＶＲ空間上の利用者から見える枠の新たな映像を生成する。これにより、利用者の上下の動きや利用者の左右の動きなどによって映像が変化するため、枠の外に見える映像の臨場感の向上を図ることができる。
　また、枠は、窓、または扉である。例えば、窓は、乗り物の窓、または、建物の窓であってもよい。これにより、ＶＲ空間上の乗り物の窓から見える景色を、ＶＲ空間上の利用者の位置によって変えることができる。また、ＶＲ空間上の建物の窓から見える景色を、ＶＲ空間上の利用者の位置によって変えることができる。同様に、扉は、乗り物の窓、または、建物の扉であってもよい。これにより、窓や扉の外に見える映像の臨場感の向上を図ることができる。なお、扉の場合、扉が開いている場合に、制御システム２０は、扉内に、生成された映像を表示させてもよい。
　また、撮像装置２６が、現実空間の移動体２５に設置されてもよい。例えば、移動体２５が移動することにより、撮像装置２６によって撮像された映像も変化する。例えば、建物や乗り物の窓から見える景色が、移動体２５の移動によって変化する。これにより、旅行体験などを提供することができる。また、移動体２５は、リアルタイムに移動していてもよい。これにより、リアルタイムの映像を提供することができる。
　また、制御システム２０は、利用者と会話している利用者以外の他の利用者の音声を、グラフィックで表示させる。利用者は、リアルな映像を楽しんだり、旅行であれば、乗り物に乗った団体旅行を楽しみたい。しかしながら、利用者は、乗り合わせた他の利用者の話を聞きたい場合もあれば、聞きたくない場合もある。例えば、利用者に有用な情報であれば聞きたい。これにより、例えば、利用者は、グラフィックを見なければ、他の利用者の会話が気にならなくなる。一方、利用者は、興味があれば、グラフィックを見ればよい。このように、制御システム２０は、現実の旅行の良さと、ＶＲ空間の良さとを組み合わせることで、よりよい映像体験を提供することができる。
　また、制御システム２０は、表示されたグラフィックのうち、利用者によって選択されたグラフィックが表す音声を音声出力させる。例えば、利用者は、興味がある会話について音声で確認することができる。
　制御システム２０は、グラフィックのうち、利用者によって選択されたグラフィックを表示させない。これにより、利用者は、興味がない会話を表すグラフィックを視界から消すことができる。
　また、表示装置が半球のドーム型ディスプレイ２１である場合に、制御システム２０は、ＶＲ空間上の利用者の後方の会話を音声出力させ、ＶＲ空間上の利用者の前方の会話をグラフィックで表示させてもよい。
　制御システム２０は、他の利用者の音声について出力形式を受け付け可能とし、他の利用者の音声を受け付けた出力形式で行う。例えば、制御システム２０は、色、文字、および音の順に段階的に出力形式を選択可能としてもよい。これにより、他の利用者の会話の出力形式を利用者の興味に応じて変更することができる。
　以上、各実施の形態の説明を終了する。各実施の形態は、適宜組み合わせて用いられてもよい。
　また、各実施の形態において、制御システム２０は、各機能部および情報の一部が含まれる構成であってもよい。実施の形態２において、制御システム２０は、登録部２０８、精算部２０９などのＰＯＳ（Ｐｏｉｎｔ　ｏｆ　Ｓａｌｅ）システムの一部の機能を有している例を挙げて説明した。登録部２０８および精算部２０９を備えるＰＯＳシステムと制御システム２０とが通信ネットワークを介して接続されるような構成であってもよい。
　また、各実施の形態については、上述した例に限られず、種々変更可能である。また、各実施の形態における制御システム２０の構成は特に限定されない。例えば、制御システム２０は、一台のサーバなど、一台の装置によって実現されてもよい。制御システム２０の各機能部が一台の装置によって実現される場合、例えば、一台の装置は、制御装置、情報処理装置などと呼ばれてもよいし、特に限定されない。または、各実施の形態における制御システム２０は、機能またはデータ別に異なる装置によって実現されてもよい。例えば各機能部は、複数のサーバによって構成され、制御システム２０として実現されてもよい。例えば、制御システム２０は、各ＤＢを含むデータベースサーバと、各機能部を有するサーバと、によって実現されてもよい。
　また、各実施の形態において、各情報や各ＤＢは、前述の情報の一部を含んでもよい。また、各情報や各ＤＢは、前述の情報以外の情報を含んでもよい。各情報や各ＤＢが、より詳細に、複数のＤＢや複数の情報に分けられてもよい。このように、各情報や各ＤＢの実現方法は、特に限定されない。
　また、各画面は、一例であり、特に限定されない。各画面において、図示しないボタン、リスト、チェックボックス、情報表示欄、入力欄などが追加されてもよい。また、画面の背景色などが、変更されてもよい。
　また、表示装置に表示させる情報などを生成する処理は、出力制御部１０３，２０３によって行われてもよい。また、この処理は、表示装置によって行われてもよい。
　（コンピュータのハードウェア構成例）
　つぎに、各実施の形態において説明した制御システム１０，２０などの各装置をコンピュータで実現した場合のハードウェア構成例について説明する。図２２は、コンピュータのハードウェア構成例を示す説明図である。例えば、各装置の一部または全部は、図２２に示すようなコンピュータ８０とプログラムとの任意の組み合わせを用いて実現することも可能である。
　コンピュータ８０は、例えば、プロセッサ８０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８０３と、記憶装置８０４と、を有する。また、コンピュータ８０は、通信インタフェース８０５と、入出力インタフェース８０６と、を有する。各構成部は、例えば、バス８０７を介してそれぞれ接続される。なお、各構成部の数は、特に限定されず、各構成部は１または複数である。
　プロセッサ８０１は、コンピュータ８０の全体を制御する。プロセッサ８０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などが挙げられる。コンピュータ８０は、記憶部として、ＲＯＭ８０２、ＲＡＭ８０３および記憶装置８０４などを有する。記憶装置８０４は、例えば、フラッシュメモリなどの半導体メモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などが挙げられる。例えば、記憶装置８０４は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）のプログラム、アプリケーションプログラム、各実施の形態にかかるプログラムなどを記憶する。または、ＲＯＭ８０２は、アプリケーションプログラム、各実施の形態にかかるプログラムなどを記憶する。そして、ＲＡＭ８０３は、プロセッサ８０１のワークエリアとして使用される。
　また、プロセッサ８０１は、記憶装置８０４、ＲＯＭ８０２などに記憶されたプログラムをロードする。そして、プロセッサ８０１は、プログラムにコーディングされている各処理を実行する。また、プロセッサ８０１は、通信ネットワークＮＴを介して各種プログラムをダウンロードしてもよい。また、プロセッサ８０１は、コンピュータ８０の一部または全部として機能する。そして、プロセッサ８０１は、プログラムに基づいて図示したフローチャートにおける処理または命令を実行してもよい。
　通信インタフェース８０５は、無線または有線の通信回線を通じて、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの通信ネットワークＮＴに接続される。なお、通信ネットワークＮＴは複数の通信ネットワークＮＴによって構成されてもよい。これにより、コンピュータ８０は、通信ネットワークＮＴを介して外部の装置や外部のコンピュータ８０に接続される。通信インタフェース８０５は、通信ネットワークＮＴとコンピュータ８０の内部とのインタフェースを司る。そして、通信インタフェース８０５は、外部の装置や外部のコンピュータ８０からのデータの入出力を制御する。
　また、入出力インタフェース８０６は、入力装置、出力装置、および入出力装置の少なくともいずれかに接続される。接続方法は、無線であってもよいし、有線であってもよい。入力装置は、例えば、キーボード、マウス、マイクなどが挙げられる。出力装置は、例えば、表示装置、点灯装置、音声を出力する音声出力装置などが挙げられる。また、入出力装置は、タッチパネルディスプレイなどが挙げられる。なお、入力装置、出力装置、および入出力装置などは、コンピュータ８０に内蔵されていてもよいし、外付けであってもよい。
　コンピュータ８０のハードウェア構成は一例である。コンピュータ８０は、図２２に示す一部の構成要素を有していてもよい。コンピュータ８０は、図２２に示す以外の構成要素を有していてもよい。例えば、コンピュータ８０は、ドライブ装置などを有してもよい。そして、プロセッサ８０１は、ドライブ装置などに装着された記録媒体に記憶されたプログラムやデータをＲＡＭ８０３に読み出してもよい。非一時的な有形な記録媒体としては、光ディスク、フレキシブルディスク、磁気光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどが挙げられる。また、前述の通り、例えば、コンピュータ８０は、キーボードやマウスなどの入力装置を有してもよい。コンピュータ８０は、ディスプレイなどの出力装置を有していてもよい。また、コンピュータ８０は、入力装置および出力装置と、入出力装置とをそれぞれ有してもよい。
　また、コンピュータ８０は、図示しない各種センサを有してもよい。センサの種類は特に限定されない。また、コンピュータ８０は、画像や映像を撮像可能な撮像装置を備えていてもよい。
　以上で、各装置のハードウェア構成の説明を終了する。また、各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素ごとにそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部または全部は、特定用途向けの回路で実現されてもよい。また、各装置の各構成要素の一部または全部は、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のようなプロセッサなどを含む汎用の回路によって実現されてもよい。また、各装置の各構成要素の一部または全部は、特定用途向けの回路や汎用の回路などの組み合わせによって実現されてもよい。また、これらの回路は、単一の集積回路であってもよい。または、これらの回路は、複数の集積回路に分割されてもよい。そして、複数の集積回路は、バスなどを介して接続されることにより構成されてもよい。
　また、各装置の各構成要素の一部または全部が複数のコンピュータや回路などにより実現される場合、複数のコンピュータや回路などは、集中配置されてもよいし、分散配置されてもよい。
　各実施の形態で説明した制御方法は、制御システム１０，２０が実行することにより実現される。また、例えば、制御方法は、予め用意されたプログラムをサーバや端末装置などのコンピュータが実行することにより実現される。
　各実施の形態で説明したプログラムは、ＨＤＤ、ＳＳＤ、フレキシブルディスク、光ディスク、磁気光ディスク、ＵＳＢメモリなどのコンピュータで読み取り可能な記録媒体に記録される。そして、プログラムは、コンピュータによって記録媒体から読み出されることによって実行される。また、プログラムは、通信ネットワークＮＴを介して配布されてもよい。
　以上説明した、各実施の形態における制御システム１０，２０の各構成要素は、コンピュータのように、その機能を専用のハードウェアで実現されてもよい。または、各構成要素は、ソフトウェアによって実現されてもよい。または、各構成要素は、ハードウェアおよびソフトウェアの組み合わせによって実現されてもよい。
　以上、各実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。各本開示の構成や詳細には、本開示のスコープ内で当業者が把握し得る様々な変更を適用した実施の形態を含み得る。本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、または置換した実施の形態を含み得る。例えば、特定の実施の形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施の形態に対しても適用され得る。例えば、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施の形態を実施するときには、その複数の動作の順番を内容的に支障しない範囲で変更することができる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されることができる。ただし、上記の実施の形態の一部または全部は、以下に限られない。
　（付記１）
　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得する取得手段と、
　前記仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する生成手段と、
　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる出力制御手段と、
　を備える制御システム。
（付記２）
　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を切り出す、
　付記１に記載の制御システム。
（付記３）
　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の新たな映像を生成する、
　付記１に記載の制御システム。
（付記４）
　前記取得手段は、互いに異なる位置に設置された複数の撮像装置のそれぞれを識別する撮像装置識別情報と、前記枠を識別する前記枠識別情報と、を対応付けたデータを取得し、
　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた複数の前記撮像装置識別情報によって識別される前記複数の撮像装置によって撮像された複数の映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する、
　付記１から３のいずれかに記載の制御システム。
（付記５）
　前記生成手段は、複数の利用者のそれぞれについて、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する、
　付記１から４のいずれかに記載の制御システム。
（付記６）
　前記生成手段は、前記仮想現実空間上の前記利用者と前記枠との前記仮想現実空間上の位置関係、および前記仮想現実空間上の前記利用者の向きに基づいて、新たな映像を生成する、
　付記１から５のいずれかに記載の制御システム。
（付記７）
　前記現実空間における前記利用者の位置および向きと、前記仮想現実空間上の前記利用者の位置および向きと、を対応付ける設定手段と、
　前記現実空間における前記利用者の移動を検出する検出手段と、
　前記現実空間における前記利用者の移動に基づいて、前記仮想現実空間上の前記利用者の位置および向きを特定する特定手段と、
　を備え、
　前記生成手段は、特定された前記位置における前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係、および特定された前記向きに基づいて、新たな映像を生成する、
　付記１から６のいずれかに記載の制御システム。
（付記８）
　前記現実空間における前記利用者の操作によって、前記仮想現実空間上の前記利用者の移動を受け付ける受付手段と、
　受け付けた前記移動に基づいて、前記仮想現実空間上の前記利用者の位置および向きを特定する特定手段と、
　を備え、
　前記生成手段は、特定された前記位置における前記仮想現実空間上の前記利用者と、前記枠との前記仮想現実空間上の位置関係、および特定された前記向きに基づいて、新たな映像を生成する、
　付記１から７のいずれかに記載の制御システム。
（付記９）
　前記枠は、窓、または扉である、
　付記１から８のいずれかに記載の制御システム。
（付記１０）
　前記窓は、乗り物の窓、または、建物の窓であり、
　前記扉は、乗り物の扉、または、建物の扉である、
　付記９に記載の制御システム。
（付記１１）
　前記撮像装置は、前記現実空間の移動体に設置される、
　付記１０に記載の制御システム。
（付記１２）
　前記出力制御手段は、前記仮想現実空間上の前記利用者と会話している利用者以外の他の利用者の音声を表すグラフィックを表示させる、
　付記１から１１のいずれかに記載の制御システム。
（付記１３）
　前記グラフィックのうち、前記現実空間における前記利用者によってグラフィックの選択を受け付ける受付手段、
　を備え、
　前記出力制御手段は、選択された前記グラフィックが表す音声を音声出力させる、
　付記１２に記載の制御システム。
（付記１４）
　前記グラフィックのうち、前記現実空間における前記利用者によってグラフィックの選択を受け付ける受付手段、
　を備え、
　前記出力制御手段は、選択された前記グラフィックについての表示をさせない、
　付記１２に記載の制御システム。
（付記１５）
　前記表示装置が、半球のドーム型のディスプレイである場合において、
　前記出力制御手段は、前記仮想現実空間上の前記利用者の後方の会話を音声出力させ、前記仮想現実空間上の前記利用者の前方の会話をグラフィックで表示させる、
　付記１２から１４のいずれかに記載の制御システム。
（付記１６）
　前記他の利用者の音声について出力形式を受け付ける受付手段、
　を備え、
　前記出力制御手段は、前記他の利用者の音声を、受け付けた出力形式で行う、
　付記１２から１４のいずれかに記載の制御システム。
（付記１７）
　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、
　仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、
　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、
　制御方法。
（付記１８）
　コンピュータに、
　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、
　仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、
　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、
　処理を実行させるプログラムを記録する、前記コンピュータが読み取り可能な非一時的な記録媒体。
（付記１９）
　コンピュータに、
　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、
　仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、
　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、
　処理を実行させる。
１０，２０　制御システム
２１　ドーム型ディスプレイ
２２　撮像装置
２３　録音装置
２４　コントローラ
２５　移動体
２６，２６－１，２６－２　撮像装置
８０　コンピュータ
１０１，２０１　取得部
１０２，２０２　生成部
１０３，２０３　出力制御部
２０４　検出部
２０５　特定部
２０６　受付部
２０７　商品決定部
２０８　登録部
２０９　精算部
８０１　プロセッサ
８０２　ＲＯＭ
８０３　ＲＡＭ
８０４　記憶装置
８０５　通信インタフェース
８０６　入出力インタフェース
８０７　バス
２１０１　スクリーン
２１０２　投影装置
２００１　関連付テーブル
２００２　利用者ＤＢ
２００３　商品ＤＢ
ＮＴ　通信ネットワーク
ｗ１　窓
Ｘ　利用者
Ｙ　利用者
Ｚ　利用者

Claims (18)

  1. 　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得する取得手段と、
    　前記仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する生成手段と、
    　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる出力制御手段と、
    　を備える制御システム。
  2. 　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を切り出す、
    　請求項１に記載の制御システム。
  3. 　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の新たな映像を生成する、
    　請求項１に記載の制御システム。
  4. 　前記取得手段は、互いに異なる位置に設置された複数の撮像装置のそれぞれを識別する撮像装置識別情報と、前記枠を識別する前記枠識別情報と、を対応付けたデータを取得し、
    　前記生成手段は、前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた複数の前記撮像装置識別情報によって識別される前記複数の撮像装置によって撮像された複数の映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する、
    　請求項１から３のいずれかに記載の制御システム。
  5. 　前記生成手段は、複数の利用者のそれぞれについて、前記仮想現実空間上の前記利用者の位置と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成する、
    　請求項１から４のいずれかに記載の制御システム。
  6. 　前記生成手段は、前記仮想現実空間上の前記利用者と前記枠との前記仮想現実空間上の位置関係、および前記仮想現実空間上の前記利用者の向きに基づいて、新たな映像を生成する、
    　請求項１から５のいずれかに記載の制御システム。
  7. 　前記現実空間における前記利用者の位置および向きと、前記仮想現実空間上の前記利用者の位置および向きと、を対応付ける設定手段と、
    　前記現実空間における前記利用者の移動を検出する検出手段と、
    　前記現実空間における前記利用者の移動に基づいて、前記仮想現実空間上の前記利用者の位置および向きを特定する特定手段と、
    　を備え、
    　前記生成手段は、特定された前記位置における前記仮想現実空間上の前記利用者と、前記枠と、の前記仮想現実空間上の位置関係、および特定された前記向きに基づいて、新たな映像を生成する、
    　請求項１から６のいずれかに記載の制御システム。
  8. 　前記現実空間における前記利用者の操作によって、前記仮想現実空間上の前記利用者の移動を受け付ける受付手段と、
    　受け付けた前記移動に基づいて、前記仮想現実空間上の前記利用者の位置および向きを特定する特定手段と、
    　を備え、
    　前記生成手段は、特定された前記位置における前記仮想現実空間上の前記利用者と、前記枠との前記仮想現実空間上の位置関係、および特定された前記向きに基づいて、新たな映像を生成する、
    　請求項１から７のいずれかに記載の制御システム。
  9. 　前記枠は、窓、または扉である、
    　請求項１から８のいずれかに記載の制御システム。
  10. 　前記窓は、乗り物の窓、または、建物の窓であり、
    　前記扉は、乗り物の扉、または、建物の扉である、
    　請求項９に記載の制御システム。
  11. 　前記撮像装置は、前記現実空間の移動体に設置される、
    　請求項１０に記載の制御システム。
  12. 　前記出力制御手段は、前記仮想現実空間上の前記利用者と会話している利用者以外の他の利用者の音声を表すグラフィックを表示させる、
    　請求項１から１１のいずれかに記載の制御システム。
  13. 　前記グラフィックのうち、前記現実空間における前記利用者によってグラフィックの選択を受け付ける受付手段、
    　を備え、
    　前記出力制御手段は、選択された前記グラフィックが表す音声を音声出力させる、
    　請求項１２に記載の制御システム。
  14. 　前記グラフィックのうち、前記現実空間における前記利用者によってグラフィックの選択を受け付ける受付手段、
    　を備え、
    　前記出力制御手段は、選択された前記グラフィックについての表示をさせない、
    　請求項１２に記載の制御システム。
  15. 　前記表示装置が、半球のドーム型のディスプレイである場合において、
    　前記出力制御手段は、前記仮想現実空間上の前記利用者の後方の会話を音声出力させ、前記仮想現実空間上の前記利用者の前方の会話をグラフィックで表示させる、
    　請求項１２から１４のいずれかに記載の制御システム。
  16. 　前記他の利用者の音声について出力形式を受け付ける受付手段、
    　を備え、
    　前記出力制御手段は、前記他の利用者の音声を、受け付けた出力形式で行う、
    　請求項１２から１４のいずれかに記載の制御システム。
  17. 　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、
    　仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、
    　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、
    　制御方法。
  18. 　コンピュータに、
    　現実空間に設置された撮像装置を識別する撮像装置識別情報と仮想現実空間上の枠を識別する枠識別情報とを対応付けたデータを取得し、
    　仮想現実空間上の利用者と、前記枠と、の前記仮想現実空間上の位置関係に基づいて、前記枠を識別する前記枠識別情報に対応付けられた前記撮像装置識別情報によって識別される撮像装置によって撮像された映像から、前記仮想現実空間上の前記利用者から見える前記枠の映像を生成し、
    　表示装置に表示されている前記枠内に、生成された前記枠の映像を表示させる、
    　処理を実行させるプログラムを記録する、前記コンピュータが読み取り可能な非一時的な記録媒体。
PCT/JP2022/042806 2022-11-18 2022-11-18 制御システム、制御方法、および記録媒体 WO2024105870A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/042806 WO2024105870A1 (ja) 2022-11-18 2022-11-18 制御システム、制御方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/042806 WO2024105870A1 (ja) 2022-11-18 2022-11-18 制御システム、制御方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2024105870A1 true WO2024105870A1 (ja) 2024-05-23

Family

ID=91084197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042806 WO2024105870A1 (ja) 2022-11-18 2022-11-18 制御システム、制御方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2024105870A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
US20170280124A1 (en) * 2016-03-11 2017-09-28 Hyperloop Transportation Technologies, Inc. Augmented windows

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
US20170280124A1 (en) * 2016-03-11 2017-09-28 Hyperloop Transportation Technologies, Inc. Augmented windows

Similar Documents

Publication Publication Date Title
US10776933B2 (en) Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
JP6782846B2 (ja) 仮想現実におけるオブジェクトの共同操作
US20180157321A1 (en) Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
GB2544885A (en) Communication system and method
KR102402580B1 (ko) 메타버스 환경에서의 영상 처리 시스템 및 방법
CN103105926A (zh) 多传感器姿势识别
JP2014225808A (ja) コメント情報生成装置およびコメント表示装置
WO2021196648A1 (zh) 交互对象的驱动方法、装置、设备以及存储介质
EP3739573B1 (en) Information processing device, information processing method, and program
US11543242B2 (en) Localization and visualization of sound
JP2017054337A (ja) 画像処理装置および方法
US11361497B2 (en) Information processing device and information processing method
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
JP2015507762A (ja) オーディオトラックの決定方法，装置およびコンピュータプログラム
US20210135892A1 (en) Automatic Detection Of Presentation Surface and Generation of Associated Data Stream
JP2016143310A (ja) 情報処理装置、画像処理方法及びプログラム
JP2012141779A (ja) 拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム
CN112887654B (zh) 一种会议设备、会议系统及数据处理方法
CN114286275A (zh) 一种音频处理方法及装置、存储介质
WO2024105870A1 (ja) 制御システム、制御方法、および記録媒体
EP3956752B1 (en) Semantic-augmented artificial-reality experience
WO2020234939A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024069779A1 (ja) 制御システム、制御方法、および記録媒体
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム