WO2021117552A1 - 情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021117552A1
WO2021117552A1 PCT/JP2020/044697 JP2020044697W WO2021117552A1 WO 2021117552 A1 WO2021117552 A1 WO 2021117552A1 JP 2020044697 W JP2020044697 W JP 2020044697W WO 2021117552 A1 WO2021117552 A1 WO 2021117552A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
camera
information
map information
Prior art date
Application number
PCT/JP2020/044697
Other languages
English (en)
French (fr)
Inventor
江島　公志
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021563877A priority Critical patent/JPWO2021117552A1/ja
Priority to US17/756,788 priority patent/US20220366661A1/en
Priority to CN202080083377.1A priority patent/CN114762007A/zh
Publication of WO2021117552A1 publication Critical patent/WO2021117552A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • This disclosure relates to information processing systems, information processing methods, and programs.
  • 3D images using 3D image data such as Computer Graphics (CG) are often used.
  • CG Computer Graphics
  • a three-dimensional image of camera work is required as if it was taken by a cameraman.
  • it is difficult to express an image as if it was taken by a cameraman in a three-dimensional image because it is necessary to generate three-dimensional translation / rotation information.
  • a technique of arranging a virtual camera which is a virtual camera, in a virtual space created by three-dimensional image data to generate a three-dimensional image as if the virtual space was shot by the virtual camera. It is being developed. According to such a virtual camera, a cameraman has a device that looks like a virtual camera, and by using a self-position estimation technique, it is possible to generate a highly realistic three-dimensional image of camera work.
  • this disclosure proposes an information processing system, an information processing method, and a program that can solve a problem due to an error in the map information when the map information is updated.
  • the information processing system changes the environment around the first device when the map information indicating the map of the environment around the first device in the real space is updated.
  • the estimation unit that estimates the position of the first device and the estimation unit that estimates the position of the first device.
  • a specific unit that specifies the position of a virtual camera provided in the virtual space associated with the real space, and an image of the virtual space corresponding to the shooting range of the camera at the position specified by the specific unit. It includes a video generation unit for generating.
  • the virtual camera system by rendering the virtual space within the shooting range of the virtual camera, it is possible to generate a three-dimensional image as if the virtual space was shot by the camera. Further, in the virtual camera system, since the cameraman holds and operates a device that looks like a virtual camera, it is possible to generate a highly realistic three-dimensional image of camera work.
  • Unreal Engine Virtual Camera Plugin is known as a technology for generating a three-dimensional image of a virtual space from a three-dimensional position and orientation of a device.
  • Motion Capture system that detects the movement of the device.
  • it is realized by a so-called outside-in method of recognizing a three-dimensional position and orientation of a device in a sensor or camera installed in advance in a shooting environment.
  • the outside-in method since the self-position and posture cannot be recognized unless the shooting environment is equipped with a sensor, a camera, or the like, there is a limitation that shooting can be performed only in the shooting environment.
  • the shooting environment is not restricted.
  • a sensor or camera for recognizing the self-position and posture is attached to the device.
  • the shooting environment is not limited.
  • the optimum map information is not created immediately, but the optimum map information can be obtained by collectively optimizing the past recognition results. Therefore, if the map is created and updated at the time of shooting, the self-position estimation result may become discontinuous due to the optimization process of the map information. Alternatively, there is a possibility that the movement locus of the device including the accumulation error is output at the time of shooting.
  • FIG. 1 is a diagram showing an example in the case where the self-position estimation result becomes discontinuous due to the optimization of the map information. Initially, it is assumed that the vehicle is moving as shown in FIG.
  • the self-position estimation technique the self-position is estimated based on the image data obtained by photographing the surrounding environment and the map information indicating the surrounding environment.
  • the self-position may change as shown in FIG. If the self-position changes, the shooting range of the virtual camera also changes, which may generate discontinuous images.
  • the map information before the update contains an error, when the cameraman moves while looking at the 3D image of the virtual camera, as shown in Fig. 1, a route different from the originally assumed route is taken. It may move. As a result, the shooting time may differ significantly from the initial assumption. Therefore, there is a demand for a technique capable of eliminating problems due to errors when map information is updated by optimization processing or the like.
  • the shooting location is a studio, etc.
  • the range in which the cameraman can move is fixed.
  • the cameraman moves a predetermined movement path in order to take a picture of a desired shooting target.
  • map information has not been updated due to optimization processing, etc., it is assumed that there is an error in the map information. Therefore, even if the cameraman moves on a predetermined route, there is a possibility that the desired shooting target is not shown on the display displaying the virtual space. In the first embodiment, it is assumed that the cameraman moves on a predetermined route even when the desired shooting target is not shown on the display.
  • FIG. 2 is a diagram showing a configuration example of the information processing system 1 according to the first embodiment of the present disclosure.
  • the information processing system 1 includes a photographing device 10, a three-dimensional image generation device 20, and a three-dimensional image storage device 30.
  • the photographing device 10 estimates the self-position and the posture estimated by SLAM (Simultaneous Localization and Mapping). Then, the photographing device 10 is a device that specifies an area for generating a three-dimensional image in the virtual space based on the estimation result. That is, the photographing device 10 is a device that specifies the photographing range of the virtual camera in the virtual space.
  • SLAM Simultaneous Localization and Mapping
  • the photographing device 10 includes a first camera 11, a second camera 12, an inertial measurement unit (IMU) 13, a position / orientation estimation unit 14, and a display 15.
  • IMU inertial measurement unit
  • the first camera 11 is a camera that captures a subject in the real space.
  • the photographing device 10 photographs a subject in the real space to generate a three-dimensional image in which the photographed subject in the real space is superimposed.
  • the first camera 11 generates a first camera image which is image data taken by itself.
  • the photographing device 10 may not have the first camera 11 when it is not necessary to photograph a subject in the real space.
  • the second camera 12 is a camera that captures an image used for estimating the self-position, posture, and the like of the photographing device 10.
  • the second camera 12 generates a second camera image which is image data taken by itself.
  • the inertial measurement unit 13 is a device having various sensors for measuring the motion state of the photographing device 10. For example, the inertial measurement unit 13 measures the angular velocity, acceleration, and the like. Then, the inertial measurement unit 13 generates IMU information including angular velocity, acceleration, and the like.
  • the position / orientation estimation unit 14 estimates the self-position and orientation of the photographing device 10 based on the map information showing the surrounding environment of the photographing device 10, the second camera image, and the IMU information.
  • the self-position is information indicating the horizontal position and the vertical position of the photographing device 10.
  • the posture is information indicating the inclination of the photographing device 10 expressed by the yaw angle, the roll angle, and the pitch angle.
  • the position / orientation estimation unit 14 generates position / orientation information indicating the position and orientation of the photographing device 10.
  • the position / orientation estimation unit 14 may recognize the position and orientation of the photographing device 10 in the virtual space based on the moving distance, the direction thereof, and the like.
  • the display 15 displays a three-dimensional image of the virtual space included in the shooting range of the virtual camera. That is, the display 15 displays the 3D image generated by the 3D image generator 20. As a result, the cameraman can grasp which position in the virtual space is being photographed.
  • the 3D image generation device 20 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera provided in the virtual space based on the position / orientation information output from the shooting device 10. Then, the 3D image generation device 20 transmits the generated 3D image to the photographing device 10 and the 3D image storage device 30.
  • the 3D image storage device 30 stores the 3D image generated by the 3D image generation device 20.
  • FIG. 3 is a diagram showing an example of a schematic configuration of the photographing device 10 according to the first embodiment of the present disclosure.
  • the first image storage unit 111 is a storage unit that stores the first camera image taken by the first camera 11. Then, the first image storage unit 111 transmits the first camera image to the three-dimensional image generation device 20.
  • the second image storage unit 121 is a storage unit that stores the second camera image taken by the second camera 12.
  • the IMU information storage unit 131 stores the IMU information generated by the inertial measurement unit 13.
  • the parameter storage unit 132 stores parameter information such as parameter values indicating the settings of the second camera 12 and the inertial measurement unit 13.
  • the setting of the second camera 12 includes a setting related to a shooting range such as an angle of view.
  • the setting of the inertial measurement unit 13 includes information such as noise of the inertial measurement unit 13 and a position where the inertial measurement unit 13 is attached.
  • the map generation unit 122 generates map information indicating the surrounding environment of the photographing device 10 based on the second camera image. Map information is information used for SLAM. Then, the map generation unit 122 stores the generated map information in the map information storage unit 123. In addition, the map generation unit 122 appropriately updates the map information stored in the map information storage unit 123, such as optimization processing.
  • the map generation unit 122 may generate map information based on not only the second camera image but also the second camera image and IMU information, or may generate map information based on other information. Good.
  • the position / orientation estimation unit 14 estimates the position and orientation of the photographing device 10 in the real space based on the map information, the second camera image, the IMU information, and the parameter information. More specifically, the position / orientation estimation unit 14 generates an image feature amount showing the feature points included in the second camera image. Then, the position / orientation estimation unit 14 estimates the self-position by comparing the map information with the image feature amount. Further, the position / orientation estimation unit 14 generates measurement information indicating the measurement result of the photographing device 10 based on the IMU information and the parameter information. Then, the position / posture estimation unit 14 estimates the self-position and the posture based on the measurement information. In this way, the position / orientation estimation unit 14 estimates the self-position and the attitude based on the map information, the image feature amount, and the measurement information.
  • the position / orientation estimation unit 14 generates position / orientation information indicating the position / orientation of the photographing device 10 when the self-position and attitude are estimated. Then, the position / orientation estimation unit 14 transmits the position / orientation information to the three-dimensional image generation device 20. Further, the position / orientation estimation unit 14 transmits the map information used for estimating the self-position and the attitude to the stereoscopic image generation device 20.
  • the position / orientation estimation unit 14 transmits the observation information obtained by observing the environment around the photographing device 10 in the real space to the stereoscopic image generator 20.
  • the observation information includes at least one of the image feature amount and the measurement information.
  • the position / orientation estimation unit 14 may separately transmit the image feature amount and the measurement information to the three-dimensional image generation device 20.
  • the position / orientation estimation unit 14 may transmit observation information including at least one of the second camera image and the IMU information instead of the image feature amount and the measurement information.
  • the video storage unit 151 stores the 3D image when the 3D image is received from the 3D image generator 20.
  • the display control unit 152 causes the display 15 to display the three-dimensional image stored in the image storage unit 151.
  • FIG. 4 is a diagram showing an example of a schematic configuration of the three-dimensional image generation device 20 according to the first embodiment of the present disclosure.
  • the position / orientation information acquisition unit 201 acquires the position / orientation information transmitted by the photographing device 10.
  • the position / attitude information acquisition unit 201 stores the acquired position / attitude information in the position / attitude information storage unit 202.
  • the position / attitude information storage unit 202 accumulates the position / attitude information acquired by the position / attitude information acquisition unit 201.
  • the map information acquisition unit 203 acquires the map information transmitted by the photographing device 10.
  • the map information acquisition unit 203 stores the acquired map information in the map information storage unit 204.
  • the map information storage unit 204 stores the map information acquired by the map information acquisition unit 203.
  • the measurement information acquisition unit 205 and the image feature amount acquisition unit 207 acquire the observation information obtained by observing the environment around the photographing device 10 in the real space. Then, the measurement information acquisition unit 205 and the image feature amount acquisition unit 207 store the observation information in the storage unit.
  • the observation information includes at least one of the image feature amount and the measurement information.
  • the measurement information acquisition unit 205 acquires the measurement information included in the observation information from the photographing device 10.
  • the measurement information acquisition unit 205 stores the acquired measurement information in the measurement information storage unit 206.
  • the measurement information storage unit 206 stores the measurement information acquired by the measurement information acquisition unit 205.
  • the image feature amount acquisition unit 207 acquires the image feature amount included in the observation information from the photographing device 10.
  • the image feature amount acquisition unit 207 stores the acquired image feature amount in the image feature amount storage unit 208.
  • the image feature amount storage unit 208 stores the image feature amount acquired by the image feature amount acquisition unit 207.
  • the three-dimensional image storage unit 209 stores the three-dimensional image data constituting the virtual space.
  • the three-dimensional image data may be point cloud data such as a point cloud, polygon mesh, texture, or volumetric data in which space is replaced with three-dimensional data. It may be other data, or it may be other data.
  • the 3D image generation unit 210 is based on the position and orientation of the photographing device 10 indicated by the position / orientation information output from the position / orientation information acquisition unit 201 and the 3D image data stored in the 3D image storage unit 209. Generates a 3D image of virtual space. More specifically, the stereoscopic image generation unit 210 specifies the position and orientation of the virtual camera provided in the virtual space associated with the real space based on the position and orientation of the photographing device 10 indicated by the position and orientation information. .. Then, the 3D image generation unit 210 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera at the specified position.
  • the reprocessing determination unit 211 determines whether or not the position / orientation re-estimation unit 212 is made to estimate the position of the photographing device 10 based on the updated map information. That is, the reprocessing determination unit 211 determines whether or not to specify the position and orientation of the virtual camera by the position and orientation of the photographing device 10 based on the updated map information. Then, the reprocessing determination unit 211 determines whether or not to regenerate the three-dimensional image of the virtual space included in the shooting range of the virtual camera based on the estimation result again. For example, the reprocessing determination unit 211 determines based on a flag indicating whether or not the map information has been updated by the optimization process or the like.
  • the 3D image storage unit 214 stores the 3D image generated by the 3D image generation unit 210.
  • the reprocessing determination unit 211 determines that the position and orientation of the photographing device 10 are estimated again, the stereoscopic image is not stored in the stereoscopic image storage unit 214. Further, the reprocessing determination unit 211 requests the position / orientation re-estimation unit 212 and the three-dimensional image reproduction unit 213 to reprocess.
  • the position / orientation re-estimation unit 212 updates the observation information stored in the measurement information storage unit 206 and the image feature amount storage unit 208 when the map information indicating the map of the surrounding environment of the photographing device 10 is updated, and after the update.
  • the position of the photographing device 10 is estimated based on the map information of. That is, the position / orientation re-estimation unit 212 re-estimates the position and orientation of the photographing device 10 based on the updated map information, measurement information, and image feature amount. More specifically, the position / orientation re-estimation unit 212 is based on the updated map information, the measurement information stored in the measurement information storage unit 206, and the image feature amount stored in the image feature amount storage unit 208. , Estimate the position and orientation of the photographing device 10. Then, the position / orientation re-estimation unit 212 outputs the updated position / orientation information indicating the position and orientation of the photographing device 10 in the updated map information.
  • the 3D image regeneration unit 213 specifies the position of the virtual camera provided in the virtual space associated with the real space based on the position of the photographing device 10 estimated by the position / orientation re-estimation unit 212. Then, the 3D image regeneration unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera at the specified position. More specifically, the 3D image regeneration unit 213 is the position and orientation of the virtual camera provided in the virtual space associated with the real space based on the position and orientation of the photographing device 10 indicated by the updated position and orientation information. To identify. The 3D image regeneration unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera at the specified position. Then, the 3D image reproduction unit 213 stores the generated 3D image in the 3D image storage unit 214.
  • the stereoscopic image regeneration unit 213 uses the virtual camera based on the position of the shooting device 10 estimated by the position / orientation re-estimation unit 212. Identify the trajectory of the virtual space in which the camera has moved. Then, the three-dimensional image regeneration unit 213 generates a three-dimensional image of the virtual space corresponding to the shooting range of the virtual camera that has moved the specified trajectory.
  • the 3D image storage unit 214 stores the 3D image generated by the 3D image generation unit 210 or the 3D image regeneration unit 213. Further, the 3D image storage unit 214 outputs a 3D image of the virtual space corresponding to the shooting range of the virtual camera. For example, the 3D image storage unit 214 transmits the 3D image to the photographing device 10 and the 3D image storage device 30.
  • FIG. 5 is a flowchart showing an example of a three-dimensional image generation process according to the first embodiment of the present disclosure.
  • the position / orientation estimation unit 14 of the photographing device 10 generates position / orientation information indicating the position and orientation of the photographing device 10 (step S1).
  • the 3D image generator 20 acquires various information output from the photographing device 10 (step S2). That is, the position / attitude information acquisition unit 201 acquires the position / attitude information.
  • the map information acquisition unit 203 acquires map information.
  • the measurement information acquisition unit 205 acquires the measurement information.
  • the image feature amount acquisition unit 207 acquires the image feature amount.
  • the 3D image generator 20 accumulates various acquired information (step S3). That is, the position / attitude information acquisition unit 201 stores the position / attitude information in the position / attitude information storage unit 202.
  • the map information acquisition unit 203 stores the map information in the map information storage unit 204.
  • the measurement information acquisition unit 205 stores the measurement information in the measurement information storage unit 206.
  • the image feature amount acquisition unit 207 stores the image feature amount in the image feature amount storage unit 208.
  • the 3D image generation unit 210 specifies the position and orientation of the virtual camera provided in the virtual space associated with the real space based on the position / orientation information (step S4).
  • the 3D image generation unit 210 generates a 3D image of the virtual space in the shooting range of the virtual camera at the specified position and posture (step S5).
  • the reprocessing determination unit 211 determines whether or not to execute the reprocessing (step S6). That is, the reprocessing determination unit 211 re-estimates the position and orientation of the photographing device 10 and determines whether or not to regenerate the three-dimensional image based on the re-estimated position and orientation.
  • the reprocessing determination unit 211 stores the stereoscopic image generated by the stereoscopic image generation unit 210 in the stereoscopic image storage unit 214 (step S7). ..
  • the position / orientation re-estimation unit 212 regenerates the position / orientation information of the photographing device 10 based on the accumulated information (step S8).
  • the 3D image regeneration unit 213 specifies the position and orientation of the virtual camera provided in the virtual space associated with the real space based on the newly generated position / orientation information (step S9).
  • the 3D image regeneration unit 213 regenerates the 3D image of the virtual space in the shooting range of the virtual camera at the specified position and posture (step S10).
  • the 3D image regeneration unit 213 stores the generated 3D image in the 3D image storage unit 214 (step S11).
  • the 3D image storage unit 214 transmits the stored 3D image to the photographing device 10 and the 3D image storage device 30 (step S12).
  • the information processing system 1 ends the three-dimensional image generation process.
  • the stereoscopic image generator 20 accumulates the observation information obtained by observing the surrounding environment by the photographing device 10. That is, the stereoscopic image generation device 20 includes image feature points showing feature points of the second camera image taken by the second camera 12, measurement information generated based on IMU information acquired by the inertial measurement unit 13, and the like. Accumulate.
  • the three-dimensional image generation device 20 re-estimates the position of the photographing device 10 based on the updated map information and the accumulated observation information. Further, the three-dimensional image generation device 20 specifies the position of the virtual camera in the virtual space based on the re-estimated position of the photographing device 10.
  • the three-dimensional image generation device 20 executes reprocessing to generate a three-dimensional image of the virtual space corresponding to the shooting range of the virtual camera existing at the specified position.
  • the three-dimensional image generation device 20 when the map information is generated, the three-dimensional image generation device 20 generates the three-dimensional image according to the updated map information. Therefore, when the map information is updated, the information processing system 1 generates a three-dimensional image corresponding to the updated map information, so that a problem due to an error can be eliminated.
  • the reprocessing determination unit 211 determines whether or not to execute the reprocessing depending on whether or not the difference between the map information before and after the update is equal to or greater than the threshold value.
  • the reprocessing determination unit 211 determines based on whether or not the difference in map information before and after the update is equal to or greater than the threshold value. More specifically, the reprocessing determination unit 211 determines the difference in the position of the photographing device 10 corresponding to the image which is a component of the map information and the three-dimensional point cloud included in the image in the previous figure information before and after the update. Judgment is made based on whether or not the sum with the difference in position is equal to or greater than the threshold value.
  • the map information includes a plurality of three-dimensional images showing the real space in three dimensions.
  • the reprocessing determination unit 211 sums the difference in the position / orientation information of the photographing device 10 when each three-dimensional image included in the map information is photographed and the difference in the position of the three-dimensional point cloud included in each three-dimensional image. Is calculated. Then, the reprocessing determination unit 211 determines whether or not the sum of the differences is equal to or greater than the threshold value. In this way, the reprocessing determination unit 211 determines whether or not to execute the reprocessing.
  • FIG. 6 is a flowchart showing an example of the reprocessing determination according to the first embodiment of the present disclosure.
  • the map information acquisition unit 203 acquires map information (step S21). Further, the map information acquisition unit 203 stores the acquired map information in the map information storage unit 204.
  • the map information acquisition unit 203 acquires the updated map information (step S22). Further, the map information acquisition unit 203 stores the updated map information in the map information storage unit 204.
  • the reprocessing determination unit 211 determines whether or not the difference in map information before and after the update is equal to or greater than the threshold value (step S23). When the difference between the map information before and after the update is equal to or greater than the threshold value (step S23; Yes), the reprocessing determination unit 211 determines that the reprocessing is to be executed (step S24).
  • step S23 When the difference between the map information before and after the update is less than the threshold value (step S23; No), the reprocessing determination unit 211 determines that the reprocessing is not executed (step S25).
  • the information processing system 1a ends the reprocessing determination.
  • whether or not the stereoscopic image generator 20a estimates the position of the photographing device 10 based on the updated map information. It is provided with a reprocessing determination unit 211 for determining whether or not. Therefore, the 3D image generator 20a can appropriately determine whether or not to reprocess.
  • the reprocessing determination unit 211 determines whether or not to execute the reprocessing depending on whether or not the difference between the position and orientation information before and after the update is equal to or greater than the threshold value.
  • the reprocessing determination unit 211 determines based on the degree of change in the position / orientation information estimated based on the map information before and after the update. More specifically, the reprocessing determination unit 211 indicates the position and position of the photographing device 10 indicated by the position / orientation information generated based on the map information before the update and the position / attitude information generated based on the map information after the update. Calculate the difference in posture. Further, the reprocessing determination unit 211 determines whether or not the difference is equal to or greater than the threshold value.
  • the reprocessing determination unit 211 determines that the reprocessing is executed when the difference is equal to or greater than the threshold value. That is, the reprocessing determination unit 211 determines that the reprocessing is executed because the position and the posture have changed significantly due to the update of the map information. On the other hand, the reprocessing determination unit 211 determines that the reprocessing is not executed when the difference is less than the threshold value.
  • FIG. 7 is a flowchart showing an example of the reprocessing determination according to the second modification of the first embodiment of the present disclosure.
  • the reprocessing determination unit 211 determines whether or not the map information has been updated by the optimization process or the like (step S31). For example, the reprocessing determination unit 211 determines whether or not the map information has been updated by comparing the map information stored in the map information storage unit 204.
  • the update determination method is not limited to this, and the reprocessing determination unit 211 may determine by acquiring a flag indicating whether or not the map generation unit 122 has updated the map information from the photographing device 10. It may be determined whether or not it has been updated by the method of.
  • the reprocessing determination unit 211 determines that the reprocessing is not executed because it is not necessary to execute the reprocessing (step S32).
  • the reprocessing determination unit 211 determines whether or not the difference between the position and orientation of the photographing device 10 indicated by the position / orientation information is equal to or greater than the threshold value (step S33). Specifically, the reprocessing determination unit 211 compares the position / orientation information generated based on the map information immediately before the update with the position / attitude information generated based on the map information immediately after the update. Therefore, it is determined whether or not the difference between the position and the posture of the photographing device 10 is equal to or greater than the threshold value.
  • step S33 When the difference between the position and the posture of the photographing device 10 is less than the threshold value (step S33; No), the reprocessing determination unit 211 proceeds to step S32 and determines that the reprocessing is not executed.
  • step S34 determines that the reprocessing is to be executed.
  • the information processing system 1b ends the reprocessing determination.
  • the stereoscopic image generator 20b has a degree of change in the position / orientation information estimated based on the map information before and after the update. Based on this, the necessity of reprocessing is determined. Therefore, the 3D image generator 20b can appropriately determine whether or not to reprocess.
  • the three-dimensional image generation device 20c according to the second embodiment is different from the first embodiment in that it includes a position / orientation correction unit 215.
  • the cameraman assumed that the image of the desired shooting target was taken by moving along a predetermined route.
  • the cameraman moves based on the three-dimensional image of the virtual space displayed on the display 15.
  • the cameraman confirms the three-dimensional image of the virtual space on the display 15. Therefore, the cameraman can generate a desired three-dimensional image.
  • the non-optimized map information is likely to contain errors. Therefore, the 3D image generated based on the non-optimized map information may have moved a longer distance than originally planned and may have been shot for a long time. Alternatively, the 3D image generated based on the non-optimized map information may be moved a shorter distance than originally planned and may have been shot for a short time. Therefore, although the generated three-dimensional image includes a desired shooting target, it may not fit in the originally planned time, or may not fit in the planned time.
  • the three-dimensional image generation device 20c includes a position / orientation correction unit 215 that corrects the position / orientation information.
  • the three-dimensional image reproduction unit 213 generates a three-dimensional image of the virtual space by generating a three-dimensional image for each position indicated by the position / orientation information corrected by the position / orientation correction unit 215. Therefore, the position / orientation correction unit 215 corrects the position / orientation information to thin out or add the position and orientation in which the photographing device 10 was present, so that the stereoscopic image reproduction unit 213 fits the desired time 3 It is possible to generate a dimensional image.
  • FIG. 8 is a diagram showing an example of a schematic configuration of the three-dimensional image generator 20c according to the second embodiment of the present disclosure.
  • the three-dimensional image generation device 20c according to the second embodiment is different from the three-dimensional image generation device 20 according to the first embodiment in that the position / orientation correction unit 215 is provided.
  • the position / orientation correction unit 215 corrects the position of the virtual camera when the map information indicating the map of the surrounding environment of the photographing device 10 is updated.
  • the position / orientation re-estimation unit 212 re-estimates the position and orientation of the photographing device 10. Then, the position and the posture of the virtual camera are specified based on the position and the posture of the photographing device 10. Therefore, the position / orientation correction unit 215 can correct the position and orientation of the virtual camera by correcting the position and orientation of the photographing device 10.
  • the position / orientation correction unit 215 acquires the video time indicating the time of the three-dimensional video. For example, the position / orientation correction unit 215 receives an input indicating the original movement path of the photographing device 10. Further, the position / posture correction unit 215 calculates the movement speed of the photographer from the position / posture information stored in the position / posture information storage unit 202. Then, the position / orientation correction unit 215 calculates the video time based on the original movement path of the photographing device 10 and the movement speed.
  • the position / orientation correction unit 215 is not limited to the original movement path of the photographing device 10, and may accept an input for designating the video time.
  • the position / orientation correction unit 215 corrects the position of the virtual camera based on the video time. That is, the position / orientation correction unit 215 performs correction to add or omit the position of the virtual camera so as to match the video time calculated by the position / orientation correction unit 215.
  • the position / orientation correction unit 215 thins out or adds position / orientation information so as to match the original shooting time.
  • the position / posture correction unit 215 may thin out the position / posture information at regular intervals, may thin out the position / posture information specified by the photographer or the like, or may be specified by another method.
  • the position / orientation information to be performed may be thinned out.
  • the position / posture correction unit 215 may add the position / posture information indicating the intermediate point of the front / rear position / posture information, or the position / posture information designated by the photographer or the like. May be added, or position / orientation information specified by other methods may be added.
  • the 3D image reproduction unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera at the position corrected by the position / orientation correction unit 215. More specifically, the 3D image regeneration unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera for each position and orientation of the virtual camera corrected by the position / orientation correction unit 215.
  • the stereoscopic image generator 20c is a virtual camera when the map information indicating the map of the environment around the photographing device 10 is updated.
  • the position / orientation correction unit 215 for correcting the position of the above is provided. Further, the position / orientation correction unit 215 corrects the position of the virtual camera by correcting the position / orientation information based on the video time. Then, the 3D image regeneration unit 213 generates a 3D image corresponding to the shooting range of the virtual camera for each corrected position of the virtual camera.
  • the three-dimensional image generation device 20c corrects the position of the virtual camera to generate the three-dimensional image when the map information is updated, so that the problem due to the error can be solved.
  • Modification 1 of the second embodiment In the second embodiment, the video time is changed by thinning out or adding the position / orientation information. In the first modification, the position of the image is changed by correcting the position / orientation information.
  • the position / orientation correction unit 215 prevents the generation of a discontinuous three-dimensional image by gradually correcting the position indicated by the position / orientation information.
  • the position / orientation correction unit 215 indicates the position before the update indicating the position of the photographing device 10 estimated based on the map information before the update, and the position after the update indicating the position of the photographing device 10 estimated based on the map information after the update. Correct the position of the virtual camera based on the position. That is, the position / orientation correction unit 215 corrects the position of the virtual camera by synthesizing the updated position and the updated position. More specifically, the position / orientation correction unit 215 combines the position / attitude information generated based on the map information before the update and the position / attitude information generated based on the updated map information. Generate. Then, the position / orientation correction unit 215 changes the composition ratio step by step when synthesizing the position / orientation information.
  • FIG. 9 is a diagram of an example of the processing content of the modified example 1 of the second embodiment of the present disclosure. It is assumed that the ratio of the position / attitude information generated based on the map information before the update is 100% until the time T1. However, at time T1, it is assumed that the difference between the position / orientation information generated based on the map information before the update and the position / attitude information generated based on the map information after the update becomes equal to or greater than the threshold value.
  • the position / orientation correction unit 215 combines the position / orientation information generated based on the map information before the update and the position / attitude information generated based on the updated map information. Generate. Further, the position / orientation correction unit 215 corrects the position of the virtual camera by combining the updated position and the updated position by gradually increasing the ratio of the updated position. That is, the position / orientation correction unit 215 generates position / orientation information in which the ratio of the position / attitude information generated based on the updated map information is increased between the time T1 and the time T2. Then, the position / orientation correction unit 215 sets the ratio of the position / orientation information generated based on the updated map information to 100%. Therefore, the position / orientation correction unit 215 prevents the generation of a discontinuous three-dimensional image.
  • the stereoscopic image generator 20d corrects the position of the virtual camera based on the map information before and after the update. That is, the three-dimensional image generation device 20d corrects the position of the virtual camera by synthesizing the positions of the virtual cameras before and after the update. Therefore, the three-dimensional image generation device 20d can solve the problem due to the error of the map information.
  • the second modification of the second embodiment starts synthesizing the position / orientation information generated based on the map information before the update and the position / attitude information generated based on the map information after the update. Accepts input to specify the time point.
  • FIG. 10 is a diagram of an example of the processing content of the modified example 2 of the second embodiment of the present disclosure.
  • the ratio of the position / attitude information generated based on the map information before the update is 100%.
  • the difference between the position / orientation information generated based on the map information before the update and the position / attitude information generated based on the map information after the update becomes equal to or greater than the threshold value.
  • the position / orientation correction unit 215 accepts an input for designating a start point for starting correction among the movement paths specified by the position of the photographing device 10 indicated by the position / orientation information stored in the position / attitude information storage unit 202. ..
  • the start point may be information indicating the time to start the correction, information indicating the position where the correction is started, or other information.
  • the position / orientation correction unit 215 starts the correction of the position of the virtual camera from the start point after the start of the correction of the position of the virtual camera. That is, in FIG. 10, the position / orientation correction unit 215 accepts an input for designating the time T4 at the starting store. Then, the position / posture correction unit 215 generates the position / posture information in which the ratio of the position / posture information generated based on the updated map information is increased between the time T4 and the time T5.
  • the three-dimensional image generator 20e starts synthesizing the positions of the virtual cameras from the designated start point.
  • the position of the virtual camera can be corrected while leaving the 3D image of the starting point. Therefore, the three-dimensional image generation device 20e can solve the problem caused by the error of the map information.
  • the stereoscopic image storage device 30 is realized by, for example, a computer 1000 having a configuration as shown in FIG.
  • FIG. 11 is a block diagram showing a hardware configuration of a computer according to the embodiment of the present disclosure.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an image processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes at least one function of each of the above-mentioned parts by executing a program loaded on the RAM 1200.
  • the HDD 1400 stores the program according to the present disclosure and data stored in at least one of the above-mentioned storage units.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing systems 1, 1a, 1b, 1c, 1d, and 1e include a position / orientation re-estimation unit 212, a three-dimensional image reproduction unit 213, and a three-dimensional image reproduction unit 213.
  • the position / orientation re-estimation unit 212 receives the observation information obtained by observing the environment around the photographing device 10 and the observation information obtained by observing the environment around the photographing device 10 when the map information indicating the map of the environment around the photographing device 10 in the real space is updated.
  • the position of the photographing device 10 is estimated based on the updated map information.
  • the three-dimensional image regeneration unit 213 specifies the position of the virtual camera provided in the virtual space associated with the real space based on the position of the photographing device 10 estimated by the position / orientation re-estimation unit 212.
  • the 3D image regeneration unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera at the position specified by the 3D image reproduction unit 213.
  • the information processing systems 1, 1a, 1b, 1c, 1d, and 1e can generate a three-dimensional image even when the map information is updated by the optimization process or the like.
  • the 3D image regeneration unit 213 identifies the trajectory of the virtual space in which the virtual camera has moved, based on the position of the photographing device 10 estimated by the position / orientation re-estimation unit 212.
  • the three-dimensional image regeneration unit 213 generates a three-dimensional image of the virtual space corresponding to the shooting range of the virtual camera that has moved the trajectory specified by the three-dimensional image reproduction unit 213.
  • the information processing systems 1, 1a, 1b, 1c, 1d, and 1e can generate continuous images even when the photographing device 10 instructs the movement of the virtual camera.
  • the reprocessing determination unit 211 determines whether or not the position / orientation re-estimation unit 212 is made to estimate the position of the photographing device 10 based on the updated map information.
  • the update of the map information is minor, it may not be necessary to re-estimate the position and orientation of the virtual camera and generate a three-dimensional image corresponding to the estimated position and orientation.
  • the information processing systems 1, 1a, 1b, 1c, 1d, and 1e can appropriately determine whether or not the processing should be performed again by the reprocessing determination unit 211.
  • the reprocessing determination unit 211 determines based on a flag indicating whether or not the map information has been updated. As a result, the information processing system 1 can appropriately determine whether or not the processing should be performed again by the reprocessing determination unit 211.
  • the reprocessing determination unit 211 determines based on the degree of change in the position / orientation information estimated based on the map information before and after the update, whereby the information processing system 1 determines whether the reprocessing determination unit 211 should perform processing again. It can be judged appropriately.
  • the reprocessing determination unit 211 determines based on whether or not the difference in map information before and after the update is equal to or greater than the threshold value, whereby the information processing system 1a determines whether the reprocessing determination unit 211 should perform processing again. It can be judged appropriately.
  • the reprocessing determination unit 211 sets the difference in the position of the photographing device 10 corresponding to the image which is a component of the map information and the difference in the position of the three-dimensional point group included in the image. The determination is made based on whether or not the sum is equal to or greater than the threshold value, whereby the information processing system 1a can appropriately determine whether or not the processing should be performed again by the reprocessing determination unit 211.
  • the 3D image storage unit 214 outputs a 3D image of the virtual space corresponding to the shooting range of the virtual camera.
  • the information processing system 1 displays the three-dimensional image of the virtual camera on the display 15 of the photographing device 10. Therefore, the cameraman can move while checking the three-dimensional image of the virtual space.
  • the position / orientation correction unit 215 corrects the position of the virtual camera when the map information indicating the map of the surrounding environment of the photographing device 10 is updated.
  • the three-dimensional image reproduction unit 213 generates a three-dimensional image of the virtual space corresponding to the shooting range of the virtual camera at the position corrected by the position / orientation correction unit 215.
  • the information processing systems 1, 1a, 1b, 1c, 1d, and 1e can correct the three-dimensional image.
  • the position / orientation correction unit 215 indicates the position before the update indicating the position of the photographing device 10 estimated based on the map information before the update, and the position after the update indicating the position of the photographing device 10 estimated based on the map information after the update. Correct the position of the virtual camera based on the position.
  • the information processing systems 1d and 1e generate a continuous 3D image by correcting the position of the virtual camera when the 3D image becomes discontinuous due to a change in the position of the virtual camera. Can be done.
  • the position / orientation correction unit 215 acquires the video time indicating the time of the three-dimensional video.
  • the position / orientation correction unit 215 corrects the position of the virtual camera based on the image time, whereby the information processing system 1c initially assumes the image time of the three-dimensional image generated based on the map information before the update. If it is different from the time you were doing, you can correct it to the time you originally expected.
  • the position / orientation correction unit 215 calculates the video time based on the original movement path of the photographing device 10 and the movement speed.
  • the position / orientation correction unit 215 performs correction to add or omit the position of the virtual camera so as to match the video time calculated by the position / orientation correction unit 215.
  • the 3D image reproduction unit 213 generates a 3D image of the virtual space corresponding to the shooting range of the virtual camera for each position of the virtual camera corrected by the position / orientation correction unit 215.
  • the information processing system 1c corrects the video time of the three-dimensional video generated based on the map information before the update to the initially expected time when the video time is different from the initially expected time. Can be done.
  • the position / orientation correction unit 215 corrects the position of the virtual camera by synthesizing the position before the update and the position after the update.
  • the information processing systems 1d and 1e can generate a continuous three-dimensional image by synthesizing the positions of the virtual cameras before and after the map information is updated.
  • the position / orientation correction unit 215 corrects the position of the virtual camera by combining the position before the update and the position after the update by gradually increasing the ratio of the position after the update.
  • the information processing systems 1d and 1e can generate a continuous three-dimensional image by stepwise synthesizing the positions of the virtual cameras before and after the map information is updated.
  • the position / orientation correction unit 215 starts the correction of the position of the virtual camera from the start point after the start of the correction of the position of the virtual camera.
  • the information processing system 1e can generate a continuous three-dimensional image while leaving the three-dimensional image that the cameraman wants to keep.
  • the present technology can also have the following configurations.
  • (1) When the map information showing the map of the environment around the first device in the real space is updated, the observation information obtained by observing the environment around the first device and the updated map information are added.
  • Based on the estimation unit that estimates the position of the first device Based on the position of the first device estimated by the estimation unit, a specific unit that specifies the position of a virtual camera provided in the virtual space associated with the real space, and a specific unit.
  • An image generation unit that generates an image of the virtual space corresponding to the shooting range of the camera at a position specified by the specific unit, and an image generation unit.
  • Information processing system equipped with (2)
  • the specific unit identifies the trajectory of the virtual space in which the camera has moved, based on the position of the first device estimated by the estimation unit.
  • the image generation unit generates an image of the virtual space corresponding to the shooting range of the camera that has moved the locus specified by the specific unit.
  • the estimation unit further includes a determination unit for determining whether or not to estimate the position of the first device based on the updated map information.
  • the determination unit determines based on a flag indicating whether or not the map information has been updated.
  • the determination unit determines based on the degree of change in the position / orientation information estimated based on the map information before and after the update.
  • the determination unit determines based on whether or not the difference between the map information before and after the update is equal to or greater than the threshold value.
  • the determination unit determines the difference in the position of the first device corresponding to the image which is a component of the map information and the difference in the position of the three-dimensional point cloud included in the image. Judgment based on whether the sum of The information processing system according to (6) above.
  • An output unit that outputs an image of the virtual space corresponding to the shooting range of the camera is further provided.
  • the information processing system according to any one of (1) to (7) above.
  • a correction unit for correcting the position of the camera when the map information indicating the map of the environment around the first device is updated is further provided.
  • the image generation unit generates an image of the virtual space corresponding to the shooting range of the camera at the position corrected by the correction unit.
  • the information processing system according to any one of (1) to (8) above.
  • the correction unit indicates a pre-update position indicating the position of the first device estimated based on the map information before update, and a position of the first device estimated based on the map information after update. Correct the position of the camera based on the updated position.
  • the information processing system according to (9) above. (11) It also has a time acquisition unit that acquires the video time, which indicates the video time. The correction unit corrects the position of the camera based on the video time.
  • the information processing system according to (9) above. (12)
  • the time acquisition unit calculates the video time based on the original movement locus of the first device and the movement speed.
  • the correction unit performs correction to add or omit the position of the camera so as to match the video time calculated by the time acquisition unit.
  • the image generation unit generates an image of the virtual space corresponding to the shooting range of the camera for each position of the camera corrected by the correction unit.
  • the correction unit corrects the position of the camera by synthesizing the pre-update position and the post-update position.
  • the information processing system according to (10) above.
  • the correction unit corrects the position of the camera by combining the pre-update position and the post-update position by gradually increasing the ratio of the post-update position.
  • the correction unit starts the correction of the position of the camera from the start point after the start point of starting the correction of the position of the camera.
  • (16) When the map information showing the map of the environment around the first device in the real space is updated, the observation information obtained by observing the environment around the first device and the updated map information are added. Based on this, the position of the first device is estimated and Based on the estimated position of the first device, the position of the virtual camera provided in the virtual space associated with the real space is specified.
  • Imaging device 1, 1a, 1b, 1c, 1d, 1e Information processing system 10 Imaging device 12 Second camera 13 Inertivity measurement unit 14 Position / orientation estimation unit 15 Display 20, 20a, 20b, 20c, 20d, 20e 3D image generator 30 3 Dimensional image storage device 152 Display control unit 201 Position / orientation information acquisition unit 202 Position / orientation information storage unit 203 Map information acquisition unit 205 Measurement information acquisition unit 207 Image feature amount acquisition unit 206 Measurement information storage unit 208 Image feature amount storage unit 209 3D Image storage unit 210 3D image generation unit 211 Reprocessing judgment unit 212 Position / orientation re-estimation unit 214 3D image storage unit 213 3D image reproduction unit 215 Position / orientation correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理システム（１）は、現実空間における第１デバイス（１０）の周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイス（１０）の周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイス（１０）の位置を推定する推定部（２１２）と、前記推定部（２１２）が推定した前記第１デバイス（１０）の位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部（２１３）と、前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部（２１３）と、を備える。

Description

情報処理システム、情報処理方法、及びプログラム
　本開示は、情報処理システム、情報処理方法、及びプログラムに関する。
　コンピュータグラフィックス（Computer　Graphics：ＣＧ）等の３次元画像データを使用した３次元映像が多用されるようになっている。このような３次元映像では、あたかもカメラマンが撮影したかのような、カメラワークの３次元映像が求められている。ところが、３次元映像において、カメラマンが撮影したかのような映像を表現しようとすると、３次元並進・回転情報を生成する必要があるため困難である。
　ここで、３次元画像データで作成された仮想空間内に仮想的なカメラであるバーチャルカメラを配置して、仮想空間内をあたかもバーチャルカメラで撮影したかのような３次元映像を生成する技術が開発されている。このようなバーチャルカメラによれば、バーチャルカメラに見立てたデバイスをカメラマンが持ち、自己位置推定技術を用いることで、リアリティの高いカメラワークの３次元映像を生成することができる。
特開２０１４－１９７３１７号公報
　しかしながら、自己位置推定技術において地図情報が更新された場合、更新前の地図情報に含まれる誤差によって想定外の３次元映像になってしまう場合がある。
　そこで、本開示では、地図情報が更新された場合に地図情報の誤差による不具合を解消することができる情報処理システム、情報処理方法、及びプログラムを提案する。
　上記の課題を解決するために、本開示にかかる情報処理システムは、現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定する推定部と、前記推定部が推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部と、前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部と、を備える。
地図情報の最適化により自己位置推定結果が非連続になった場合の一例を示す図である。 本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。 本開示の第１の実施形態に係る撮影デバイスの概略構成例を示す図である。 本開示の第１の実施形態に係る３次元映像合成装置の概略構成例を示す図である。 本開示の第１の実施形態に係る３次元映像の生成処理の一例を示すフローチャートである。 本開示の第１の実施形態の変形例１に係る再処理判定の一例を示すフローチャートである。 本開示の第１の実施形態の変形例２に係る再処理判定の一例を示すフローチャートである。 本開示の第２の実施形態に係る３次元映像合成装置の概略構成の一例を示す図である。 本開示の第２の実施形態の変形例１の処理内容の一例の図である。 本開示の第２の実施形態の変形例２の処理内容の一例の図である。 本開示の実施形態に係るコンピュータのハードウエア構成を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（第１の実施形態）
　近年、映画等においてＣＧ（Computer　Graphics）等の３次元画像データを使用した３次元映像が多用される。このような３次元映像では、あたかもカメラマンが撮影したかのようなカメラワークの３次元映像が求められている。しかし、カメラマンが撮影したかのようなカメラワークの３次元映像を生成するには、全ての時刻の３次元並進・回転情報を生成する必要がある。そのため、実際のカメラマンが撮影したような映像を生成するのは非常に困難である。
　これに対して、３次元画像データで作成された仮想空間内に仮想的なカメラであるバーチャルカメラを設けて、仮想空間内をあたかもバーチャルカメラで撮影したかのような３次元映像を生成する技術が開発されている。
　バーチャルカメラシステムでは、バーチャルカメラの撮影範囲内の仮想空間をレンダリングすることで、仮想空間内をあたかもカメラで撮影したかのような３次元映像を生成することができる。また、バーチャルカメラシステムでは、バーチャルカメラに見立てたデバイスをカメラマンが持ち操作を行うため、リアリティの高いカメラワークの３次元映像を生成することができる。
　ここで、デバイスの３次元位置及び姿勢から仮想空間の３次元映像を生成する技術としては、「Unreal　Engine　Virtual　Camera　Plugin」が知られている。
　これら技術は、デバイスの動きを検出するMotion　Captureシステムを用いて実現される。例えば、撮影環境に予め設置されたセンサやカメラにおいて、デバイスの３次元的な位置や姿勢を認識する、所謂Outside-in方式と呼ばれる技術により実現される。しかし、Outside-in方式の場合、センサやカメラ等が設置された撮影環境内でなければ自己位置及び姿勢を認識できないために、撮影環境内でなければ撮影を行うことができないという制限がある。
　そこで、撮影環境が制限されない所謂Inside-out方式への発展が予想されている。Inside-out方式の場合、自己位置及び姿勢を認識するためのセンサやカメラをデバイスに取り付ける。このように、Inside-out方式の場合、デバイス自身にセンサやカメラを有しているため、撮影環境は制限されなくなる。
　しかしながら、広い範囲で誤差なくカメラの位置及び姿勢を推定するには、一般的にデバイスの周囲の環境を示した地図情報を予め作成しておく必要がある。ところが、あらゆる撮影位置に対応する地図情報を作成するには、長い時間と手間が必要になり撮影時間と費用の増加につながる。
　これに対して、本番撮影時やリハーサル時に地図情報を作成する事で解決できるが、リハーサル時と本番との環境の違いにより地図情報の更新が必要となる場合がある。また、地図情報は、即座に最適なものが作成されるわけではなく、過去の認識結果をまとめて最適化を行う事で最適な地図情報となる。従って、撮影時に地図作成及び更新を行うと地図情報の最適化処理により自己位置推定結果が非連続になる可能性がある。または、撮影時に蓄積誤差を含むデバイスの移動軌跡が出力される可能性がある。
　ここで、図１は、地図情報の最適化により自己位置推定結果が非連続になった場合の一例を示す図である。当初、図１に示す軌跡のように移動していたとする。ここで、自己位置推定技術では、周囲の環境を撮影した画像データと、周囲の環境を示す地図情報とに基づいて、自己位置を推定している。
　そのため、地図情報に最適化処理が実行された場合、図１に示すように自己位置が変化する可能性がある。自己位置が変化すると、バーチャルカメラの撮影範囲も変わるため、非連続な映像を生成してしまう可能性がある。また、更新前の地図情報には誤差が含まれているため、バーチャルカメラの３次元映像を見てカメラマンが移動した場合、図１に示すように、当初想定していた経路とは異なる経路を移動してしまう場合がある。その結果、撮影時間が当初の想定とは大きく異なってしまう場合がある。そこで、地図情報が最適化処理等により更新された場合に、誤差による不具合を解消することが可能な技術が求められている。
　ここで、撮影場所がスタジオ等の場合、カメラマンが動ける範囲は決まっている。また、カメラマンは、所望の撮影対象の映像を撮るために、事前に定めらえた移動経路を移動する。
　地図情報が最適化処理等により更新されていない場合、地図情報に誤差があることが想定される。そのため、カメラマンが事前に決められた経路を移動しても、仮想空間を表示したディスプレイには、所望の撮影対象が写っていない可能性がある。第１の実施形態では、ディスプレイに所望の撮影対象が写っていない場合においても、カメラマンが事前に決められた経路を移動した場合を想定している。
　図２は、本開示の第１の実施形態に係る情報処理システム１の構成例を示す図である。情報処理システム１は、撮影デバイス１０、３次元映像生成装置２０、及び３次元映像保管装置３０を備える。
　撮影デバイス１０は、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）により推定した自己位置、及び姿勢を推定する。そして、撮影デバイス１０は、推定結果に基づいて、仮想空間上において３次元映像を生成する領域を特定する装置である。すなわち、撮影デバイス１０は、仮想空間においてバーチャルカメラの撮影範囲を特定する装置である。
　撮影デバイス１０は、第１カメラ１１、第２カメラ１２、慣性計測部（Inertial　Measurement　Unit：ＩＭＵ）１３、位置姿勢推定部１４、及びディスプレイ１５を備える。
　第１カメラ１１は、現実空間上の被写体を撮影するカメラである。撮影デバイス１０は、現実空間上の被写体を撮影することで、撮影した現実空間の被写体を重ねた３次元映像を生成させる。第１カメラ１１は、自身が撮影した画像データである第１カメラ画像を生成する。なお、撮影デバイス１０は、現実空間上の被写体を撮影する必要がない場合には、第１カメラ１１を有していなくてもよい。
　第２カメラ１２は、撮影デバイス１０の自己位置や、姿勢等の推定に用いられる画像を撮影するカメラである。第２カメラ１２は、自身が撮影した画像データである第２カメラ画像を生成する。
　慣性計測部１３は、撮影デバイス１０の運動状態を計測する各種センサを有する装置である。例えば、慣性計測部１３は、角速度、加速度等を計測する。そして、慣性計測部１３は、角速度、加速度等を含むＩＭＵ情報を生成する。
　位置姿勢推定部１４は、撮影デバイス１０の周囲の環境を示した地図情報と、第２カメラ画像と、ＩＭＵ情報とに基づいて、撮影デバイス１０の自己位置、及び姿勢を推定する。自己位置は、撮影デバイス１０の水平方向の位置、及び鉛直方向の位置を示す情報である。姿勢は、ヨー角、ロール角、及びピッチ角で表現される撮影デバイス１０の傾きを示す情報である。そして、位置姿勢推定部１４は、撮影デバイス１０の位置、及び姿勢を示す位置姿勢情報を生成する。なお、位置姿勢推定部１４は、移動距離やその方向等に基づいて、仮想空間上の撮影デバイス１０の位置及び姿勢を認識してもよい。
　ディスプレイ１５は、バーチャルカメラの撮影範囲に含まれる仮想空間の３次元映像を表示する。すなわち、ディスプレイ１５は、３次元映像生成装置２０が生成した３次元映像を表示する。これにより、カメラマンは、仮想空間上の何れの位置を撮影しているのかを把握することができる。
　３次元映像生成装置２０は、撮影デバイス１０から出力された位置姿勢情報に基づいて、仮想空間に設けられたバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。そして、３次元映像生成装置２０は、生成した３次元映像を撮影デバイス１０及び３次元映像保管装置３０に送信する。
　３次元映像保管装置３０は、３次元映像生成装置２０が生成した３次元映像を記憶する。
　次に、第１の実施形態に係る情報処理システム１の各装置の概略構成について説明する。ここで、図３は、本開示の第１の実施形態に係る撮影デバイス１０の概略構成の一例を示す図である。
　第１画像記憶部１１１は、第１カメラ１１が撮影した第１カメラ画像を記憶する記憶部である。そして、第１画像記憶部１１１は、第１カメラ画像を３次元映像生成装置２０に送信する。
　第２画像記憶部１２１は、第２カメラ１２が撮影した第２カメラ画像を記憶する記憶部である。
　ＩＭＵ情報記憶部１３１は、慣性計測部１３が生成したＩＭＵ情報を記憶する。
　パラメータ記憶部１３２は、第２カメラ１２及び慣性計測部１３の設定を示すパラメータ値等のパラメータ情報を記憶する。例えば、第２カメラ１２の設定には、画角等の撮影範囲に関する設定が含まれる。慣性計測部１３の設定には、慣性計測部１３のノイズや、慣性計測部１３が取り付けられている位置等の情報が含まれる。
　地図生成部１２２は、第２カメラ画像に基づいて、撮影デバイス１０の周囲の環境を示す地図情報を生成する。地図情報は、ＳＬＡＭに用いられる情報である。そして、地図生成部１２２は、生成した地図情報を地図情報記憶部１２３に記憶させる。また、地図生成部１２２は、地図情報記憶部１２３に記憶された地図情報に対して、最適化処理等の更新を適宜実行する。なお、地図生成部１２２は、第２カメラ画像だけでなく、第２カメラ画像及びＩＭＵ情報に基づいて、地図情報を生成してもよいし、他の情報に基づいて地図情報を生成してもよい。
　位置姿勢推定部１４は、地図情報、第２カメラ画像、ＩＭＵ情報、及びパラメータ情報に基づいて、現実空間における撮影デバイス１０の位置及び姿勢を推定する。更に詳しくは、位置姿勢推定部１４は、第２カメラ画像に含まれる特徴点が示された画像特徴量を生成する。そして、位置姿勢推定部１４は、地図情報と、画像特徴量とを比較することで自己位置を推定する。また、位置姿勢推定部１４は、ＩＭＵ情報、及びパラメータ情報に基づいて、撮影デバイス１０の計測結果を示す計測情報を生成する。そして、位置姿勢推定部１４は、計測情報に基づいて、自己位置及び姿勢を推定する。このように、位置姿勢推定部１４は、地図情報と、画像特徴量と、計測情報とに基づいて、自己位置及び姿勢を推定する。
　位置姿勢推定部１４は、自己位置及び姿勢を推定した場合に、撮影デバイス１０の位置及び姿勢を示す位置姿勢情報を生成する。そして、位置姿勢推定部１４は、位置姿勢情報を３次元映像生成装置２０に送信する。また、位置姿勢推定部１４は、自己位置及び姿勢の推定に使用した地図情報を３次元映像生成装置２０に送信する。
　また、位置姿勢推定部１４は、現実空間における撮影デバイス１０の周囲の環境を観測することで得られた観測情報を３次元映像生成装置２０に送信する。観測情報には、画像特徴量と、計測情報との少なくとも何れか一方が含まれている。また、位置姿勢推定部１４は、画像特徴量と、計測情報とを別々に３次元映像生成装置２０に送信してもよい。さらに、位置姿勢推定部１４は、画像特徴量と、計測情報とに代えて、第２カメラ画像とＩＭＵ情報との少なくとも何れが含まれる観測情報を送信してもよい。
　映像記憶部１５１は、３次元映像生成装置２０から３次元映像を受信した場合に、３次元映像を記憶する。表示制御部１５２は、映像記憶部１５１に記憶された３次元映像をディスプレイ１５に表示させる。
　ここで、図４は、本開示の第１の実施形態に係る３次元映像生成装置２０の概略構成の一例を示す図である。
　位置姿勢情報取得部２０１は、撮影デバイス１０が送信した位置姿勢情報を取得する。位置姿勢情報取得部２０１は、取得した位置姿勢情報を位置姿勢情報記憶部２０２に記憶させる。位置姿勢情報記憶部２０２は、位置姿勢情報取得部２０１が取得した位置姿勢情報を蓄積する。
　地図情報取得部２０３は、撮影デバイス１０が送信した地図情報を取得する。地図情報取得部２０３は、取得した地図情報を地図情報記憶部２０４に記憶させる。地図情報記憶部２０４は、地図情報取得部２０３が取得した地図情報を蓄積する。
　計測情報取得部２０５及び画像特徴量取得部２０７は、現実空間における撮影デバイス１０の周囲の環境を観測することで得られた観測情報を取得する。そして、計測情報取得部２０５及び画像特徴量取得部２０７は、観測情報を記憶部に蓄積する。ここで、観測情報には、画像特徴量と、計測情報との少なくとも何れか一方が含まれている。計測情報取得部２０５は、撮影デバイス１０から観測情報に含まれる計測情報を取得する。計測情報取得部２０５は、取得した計測情報を計測情報記憶部２０６に記憶させる。計測情報記憶部２０６は、計測情報取得部２０５が取得した計測情報を蓄積する。
　画像特徴量取得部２０７は、撮影デバイス１０から観測情報に含まれる画像特徴量を取得する。画像特徴量取得部２０７は、取得した画像特徴量を画像特徴量記憶部２０８に記憶させる。画像特徴量記憶部２０８は、画像特徴量取得部２０７が取得した画像特徴量を蓄積する。
　３次元画像記憶部２０９は、仮想空間を構成する３次元画像データを記憶する。３次元画像データは、ポイントクラウド等の点群データであってもよいし、ポリゴンメッシュであってもよいし、テクスチャーであってもよいし、空間を三次元データに置き換えたボリューメトリックデータであってもよいし、その他のデータであってもよい。
　３次元映像生成部２１０は、位置姿勢情報取得部２０１から出力された位置姿勢情報が示す撮影デバイス１０の位置及び姿勢、及び３次元画像記憶部２０９に記憶された３次元画像データに基づいて、仮想空間の３次元映像を生成する。更に詳しくは、３次元映像生成部２１０は、位置姿勢情報が示す撮影デバイス１０の位置及び姿勢に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置及び姿勢を特定する。そして、３次元映像生成部２１０は、特定した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。
　再処理判定部２１１は、位置姿勢再推定部２１２に更新後の地図情報に基づいて撮影デバイス１０の位置を推定させるか否かを判定する。すなわち、再処理判定部２１１は、更新後の地図情報に基づいて撮影デバイス１０の位置及び姿勢することで、バーチャルカメラの位置及び姿勢を特定するか否かを判定する。そして、再処理判定部２１１は、再度の推定結果に基づいて、バーチャルカメラの撮影範囲に含まれる仮想空間の３次元映像を再度生成するか否かを判定する。例えば、再処理判定部２１１は、最適化処理等により地図情報が更新されたか否かを示すフラグに基づいて判定する。
　再処理判定部２１１は、撮影デバイス１０の位置及び姿勢を再度推定しないと判定した場合に、３次元映像生成部２１０が生成した３次元映像を３次元映像記憶部２１４に記憶させる。一方、再処理判定部２１１は、撮影デバイス１０の位置及び姿勢を再度推定すると判定した場合に、３次元映像は３次元映像記憶部２１４に記憶させない。また、再処理判定部２１１は、位置姿勢再推定部２１２及び３次元映像再生成部２１３に再処理を要求する。
　位置姿勢再推定部２１２は、撮影デバイス１０の周囲の環境の地図を示す地図情報が更新された場合に、計測情報記憶部２０６及び画像特徴量記憶部２０８に蓄積された観測情報、及び更新後の地図情報に基づいて、撮影デバイス１０の位置を推定する。すなわち、位置姿勢再推定部２１２は、更新後の地図情報、計測情報、画像特徴量に基づいて、撮影デバイス１０の位置及び姿勢を再度推定する。更に詳しくは、位置姿勢再推定部２１２は、更新後の地図情報と、計測情報記憶部２０６に蓄積された計測情報と、画像特徴量記憶部２０８に蓄積された画像特徴量と、に基づいて、撮影デバイス１０の位置及び姿勢を推定する。そして、位置姿勢再推定部２１２は、更新後の地図情報における撮影デバイス１０の位置及び姿勢を示す更新後位置姿勢情報を出力する。
　３次元映像再生成部２１３は、位置姿勢再推定部２１２が推定した撮影デバイス１０の位置に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置を特定する。そして、３次元映像再生成部２１３は、特定した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。更に詳しくは、３次元映像再生成部２１３は、更新後位置姿勢情報が示す撮影デバイス１０の位置及び姿勢に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置及び姿勢を特定する。３次元映像再生成部２１３は、特定した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。そして、３次元映像再生成部２１３は、生成した３次元映像を３次元映像記憶部２１４に記憶させる。
　また、カメラマンが撮影デバイス１０を移動させたことに伴いバーチャルカメラが移動した場合、３次元映像再生成部２１３は、位置姿勢再推定部２１２が推定した撮影デバイス１０の位置に基づいて、バーチャルカメラが移動した仮想空間の軌跡を特定する。そして、３次元映像再生成部２１３は、特定した軌跡を移動したバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。
　３次元映像記憶部２１４は、３次元映像生成部２１０又は３次元映像再生成部２１３が生成した３次元映像を記憶する。また、３次元映像記憶部２１４は、バーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を出力する。例えば、３次元映像記憶部２１４は、３次元映像を撮影デバイス１０及び３次元映像保管装置３０に送信する。
　次に、第１の実施形態に係る情報処理システム１が実行する３次元映像を生成する処理について説明する。図５は、本開示の第１の実施形態に係る３次元映像の生成処理の一例を示すフローチャートである。
　撮影デバイス１０の位置姿勢推定部１４は、撮影デバイス１０の位置及び姿勢を示す位置姿勢情報を生成する（ステップＳ１）。
　３次元映像生成装置２０は、撮影デバイス１０から出力された各種情報を取得する（ステップＳ２）。すなわち、位置姿勢情報取得部２０１は、位置姿勢情報を取得する。地図情報取得部２０３は、地図情報を取得する。計測情報取得部２０５は、計測情報を取得する。画像特徴量取得部２０７は、画像特徴量を取得する。
　３次元映像生成装置２０は、取得した各種情報を蓄積する（ステップＳ３）。すなわち、位置姿勢情報取得部２０１は、位置姿勢情報を位置姿勢情報記憶部２０２に記憶させる。地図情報取得部２０３は、地図情報を地図情報記憶部２０４に記憶させる。計測情報取得部２０５は、計測情報を計測情報記憶部２０６に記憶させる。画像特徴量取得部２０７は、画像特徴量を画像特徴量記憶部２０８に記憶させる。
　３次元映像生成部２１０は、位置姿勢情報に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置及び姿勢を特定する（ステップＳ４）。
　３次元映像生成部２１０は、特定した位置及び姿勢にあるバーチャルカメラの撮影範囲の仮想空間の３次元映像を生成する（ステップＳ５）。
　再処理判定部２１１は、再処理を実行するか否かを判定する（ステップＳ６）。すなわち、再処理判定部２１１は、撮影デバイス１０の位置及び姿勢を再度推定し、再度推定した位置及び姿勢に基づいた３次元映像を再度生成するか否かを判定する。
　再処理を実行しないと判定した場合に（ステップＳ６；Ｎｏ）、再処理判定部２１１は、３次元映像生成部２１０が生成した３次元映像を３次元映像記憶部２１４に記憶させる（ステップＳ７）。
　再処理を実行すると判定した場合に（ステップＳ６；Ｙｅｓ）、位置姿勢再推定部２１２は、蓄積している各種情報に基づいて、撮影デバイス１０の位置姿勢情報を再度生成する（ステップＳ８）。
　３次元映像再生成部２１３は、新たに生成した位置姿勢情報に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置及び姿勢を特定する（ステップＳ９）。
　３次元映像再生成部２１３は、特定した位置及び姿勢にあるバーチャルカメラの撮影範囲の仮想空間の３次元映像を再度生成する（ステップＳ１０）。
　３次元映像再生成部２１３は、生成した３次元映像を３次元映像記憶部２１４に記憶させる（ステップＳ１１）。
　３次元映像記憶部２１４は、記憶した３次元映像を撮影デバイス１０や、３次元映像保管装置３０に送信する（ステップＳ１２）。
　以上により、情報処理システム１は、３次元映像の生成処理を終了する。
　以上のように、第１の実施形態に係る情報処理システム１によれば、３次元映像生成装置２０は、撮影デバイス１０が周囲の環境を観測することで得られた観測情報を蓄積する。すなわち、３次元映像生成装置２０は、第２カメラ１２が撮影した第２カメラ画像の特徴点が示された画像特徴点や、慣性計測部１３が取得したＩＭＵ情報に基づいて生成した計測情報等を蓄積する。３次元映像生成装置２０は、地図情報が最適化処理等により更新された場合に、更新後の地図情報と、蓄積していた観測情報とに基づいて、撮影デバイス１０の位置を再度推定する。また、３次元映像生成装置２０は、再度推定した撮影デバイス１０の位置に基づいて、バーチャルカメラの仮想空間上の位置を特定する。そして、３次元映像生成装置２０は、特定した位置に存在するバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する再処理を実行する。このように、３次元映像生成装置２０は、地図情報が生成された場合に、更新後の地図情報に応じた３次元映像を生成する。よって、情報処理システム１は、地図情報が更新された場合に、更新後の地図情報に応じた３次元映像を生成するため、誤差による不具合を解消することができる。
（第１の実施形態の変形例１）
　第１の実施形態の変形例１に係る再処理判定部２１１は、更新前後での地図情報の差分が閾値以上であるか否かにより再処理を実行するか否かを判定する。
　再処理判定部２１１は、更新前後での地図情報の差が閾値以上であるか否かに基づき判定する。更に詳しくは、再処理判定部２１１は、更新前後での前図情報において、地図情報の構成要素である画像に対応した撮影デバイス１０の位置の差分と、当該画像に含まれる３次元点群の位置の差分との和が閾値以上であるか否かに基づき判定する。
　ここで、地図情報には、現実空間を３次元で示した３次元画像が複数含まれている。再処理判定部２１１は、地図情報に含まれる各３次元画像を撮影した時の撮影デバイス１０の位置姿勢情報の差分と、各３次元画像に含まれる３次元点群の位置の差分との和を算出する。そして、再処理判定部２１１は、差分の和が閾値以上であるか否かを判定する。このようにして、再処理判定部２１１は、再処理を実行するか否かを判定する。
　次に、第１の実施形態の変形例１に係る情報処理システム１ａが実行する再処理判定について説明する。図６は、本開示の第１の実施形態の変形例１に係る再処理判定の一例を示すフローチャートである。
　地図情報取得部２０３は、地図情報を取得する（ステップＳ２１）。また、地図情報取得部２０３は、取得した地図情報を地図情報記憶部２０４に記憶させる。
　地図情報取得部２０３は、更新後の地図情報を取得する（ステップＳ２２）。また、地図情報取得部２０３は、更新後の地図情報を地図情報記憶部２０４に記憶させる。
　再処理判定部２１１は、更新前後での地図情報の差が閾値以上であるか否かを判定する（ステップＳ２３）。更新前後での地図情報の差が閾値以上である場合に（ステップＳ２３；Ｙｅｓ）、再処理判定部２１１は、再処理を実行すると判定する（ステップＳ２４）。
　更新前後での地図情報の差が閾値未満である場合に（ステップＳ２３；Ｎｏ）、再処理判定部２１１は、再処理は実行しないと判定する（ステップＳ２５）。
　以上により、情報処理システム１ａは、再処理判定を終了する。
　以上のように、第１の実施形態の変形例１に係る情報処理システム１ａによれば、３次元映像生成装置２０ａは、更新後の地図情報に基づいて撮影デバイス１０の位置を推定させるか否かを判定する再処理判定部２１１を備えている。よって、３次元映像生成装置２０ａは、再処理すべきか否かを適切に判断することができる。
（第１の実施形態の変形例２）
　第１の実施形態の変形例２に係る再処理判定部２１１は、更新前後での位置姿勢情報の差分が閾値以上であるか否かにより再処理を実行するか否かを判定する。
　再処理判定部２１１は、更新前後の地図情報に基づいて推定された位置姿勢情報の変化度合いに基づき判定する。更に詳しくは、再処理判定部２１１は、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報とが示す撮影デバイス１０の位置及び姿勢の差分を算出する。また、再処理判定部２１１は、差分が閾値以上であるか否かを判定する。
　再処理判定部２１１は、差分が閾値以上である場合に、再処理を実行すると判定する。すなわち、再処理判定部２１１は、地図情報が更新されたことにより、位置及び姿勢が大きく変化したため、再処理を実行すると判定する。一方、再処理判定部２１１は、差分が閾値未満である場合に、再処理は実行しないと判定する。
　次に、第１の実施形態に係る情報処理システム１ｂが実行する再処理判定について説明する。図７は、本開示の第１の実施形態の変形例２に係る再処理判定の一例を示すフローチャートである。
　再処理判定部２１１は、地図情報が最適化処理等により更新されたか否かを判定する（ステップＳ３１）。例えば、再処理判定部２１１は、地図情報記憶部２０４に記憶された各地図情報を比較することで更新されたか否かを判定する。なお、再処理判定部２１１は、更新判定方法はこれに限らず、地図生成部１２２が地図情報を更新した否かを示すフラグを撮影デバイス１０から取得することで判定してもよいし、他の方法により更新されたか否かを判定してもよい。
　地図情報が更新されていない場合（ステップＳ３１；Ｎｏ）、再処理判定部２１１は、再処理を実行する必要がないため、再処理を実行しないと判定する（ステップＳ３２）。
　地図情報が更新されている場合（ステップＳ３１；Ｙｅｓ）、再処理判定部２１１は、位置姿勢情報が示す撮影デバイス１０の位置及び姿勢の差分が閾値以上であるか否かを判定する（ステップＳ３３）。具体的には、再処理判定部２１１は、更新される直前の地図情報に基づいて生成された位置姿勢情報と、更新された直後の地図情報に基づいて生成された位置姿勢情報とを比較して、撮影デバイス１０の位置及び姿勢の差分が閾値以上であるか否かを判定する。
　撮影デバイス１０の位置及び姿勢の差分が閾値未満である場合に（ステップＳ３３；Ｎｏ）、再処理判定部２１１は、ステップＳ３２に移行して、再処理を実行しないと判定する。
　撮影デバイス１０の位置及び姿勢の差分が閾値以上である場合に（ステップＳ３３；Ｙｅｓ）、再処理判定部２１１は、再処理を実行すると判定する（ステップＳ３４）。
　以上により、情報処理システム１ｂは、再処理判定を終了する。
　以上のように、第１の実施形態の変形例２に係る情報処理システム１ｂによれば、３次元映像生成装置２０ｂは、更新前後の地図情報に基づいて推定された位置姿勢情報の変化度合いに基づき再処理の要否を判定する。よって、３次元映像生成装置２０ｂは、再処理すべきか否かを適切に判断することができる。
（第２の実施形態）
　第２の実施形態にかかる３次元映像生成装置２０ｃは、位置姿勢補正部２１５を備えている点が第１の実施形態と異なっている。
　第１の実施形態では、カメラマンは、事前に定めさえた経路を移動することで所望の撮影対象の映像を撮ることを想定していた。第２の実施形態では、カメラマンは、ディスプレイ１５に表示された仮想空間の３次元映像に基づいて、移動することを想定する。
　ここで、カメラマンは、仮想空間の３次元映像をディスプレイ１５により確認している。そのため、カメラマンは、所望の３次元映像が生成させることができる。ところが、最適化されていない地図情報には、誤差が含まれている可能性が高い。そのため、最適化されていない地図情報に基づいて生成された３次元映像は、当初の計画より長距離移動し、且つ長時間撮影されたものになっている場合がある。または、最適化されていない地図情報に基づいて生成された３次元映像は、当初の計画より短距離移動し、且つ短時間撮影されたものになっている場合がある。そのため、生成された３次元映像は、所望の撮影対象は含まれているが、当初計画していた時間に収まらなくなってしまう、又は、計画していた時間に足りなくなってしまう場合がある。
　そこで、第２の実施形態にかかる３次元映像生成装置２０ｃは、位置姿勢情報を補正する位置姿勢補正部２１５を備えている。ここで、３次元映像再生成部２１３は、位置姿勢補正部２１５が補正した位置姿勢情報が示す位置ごとに、３次元映像を生成することで、仮想空間の３次元映像を生成する。そのため、位置姿勢補正部２１５が位置姿勢情報を補正して、撮影デバイス１０が存在した位置及び姿勢を間引く、又は追加することで、３次元映像再生成部２１３は、所望の時間に適合する３次元映像を生成することができる。
　ここで、図８は、本開示の第２の実施形態に係る３次元映像生成装置２０ｃの概略構成の一例を示す図である。第２の実施形態に係る３次元映像生成装置２０ｃは、位置姿勢補正部２１５を備えている点が第１の実施形態に係る３次元映像生成装置２０とは異なっている。
　位置姿勢補正部２１５は、撮影デバイス１０の周囲の環境の地図を示す地図情報が更新された場合に、バーチャルカメラの位置を補正する。ここで、位置姿勢再推定部２１２は、撮影デバイス１０の位置及び姿勢を再度推定している。そして、バーチャルカメラは、撮影デバイス１０の位置及び姿勢に基づいて、位置及び姿勢が特定される。よって、位置姿勢補正部２１５は、撮影デバイス１０の位置及び姿勢を補正することで、バーチャルカメラの位置及び姿勢を補正することができる。
　更に詳しくは、位置姿勢補正部２１５は、３次元映像の時間を示す映像時間を取得する。例えば、位置姿勢補正部２１５は、撮影デバイス１０の本来の移動経路を示す入力を受け付ける。また、位置姿勢補正部２１５は、位置姿勢情報記憶部２０２に記憶された位置姿勢情報からカメラマンの移動速度を算出する。そして、位置姿勢補正部２１５は、撮影デバイス１０の本来の移動経路と、移動速度とに基づいて、映像時間を算出する。なお、位置姿勢補正部２１５は、撮影デバイス１０の本来の移動経路に限らず、映像時間を指定する入力を受け付けてもよい。
　また、位置姿勢補正部２１５は、映像時間に基づいて、バーチャルカメラの位置を補正する。すなわち、位置姿勢補正部２１５は、位置姿勢補正部２１５が算出した映像時間に適合するようにバーチャルカメラの位置を付加又は省く補正を実行する。位置姿勢補正部２１５は、本来の撮影時間に適合するように、位置姿勢情報を間引く又は追加する。位置姿勢情報を間引く場合に、位置姿勢補正部２１５は、一定間隔ごとに位置姿勢情報を間引いてもよいし、カメラマン等に指定された位置姿勢情報を間引いてもよいし、他の方法により特定される位置姿勢情報を間引いてもよい。また、位置姿勢情報を追加する場合に、位置姿勢補正部２１５は、例えば、前後の位置姿勢情報の中間点を示す位置姿勢情報を追加してもよいし、カメラマン等に指定された位置姿勢情報を追加してもよいし、他の方法により特定される位置姿勢情報を追加してもよい。
　３次元映像再生成部２１３は、位置姿勢補正部２１５が補正した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。更に詳しくは、３次元映像再生成部２１３は、位置姿勢補正部２１５が補正したバーチャルカメラの位置及び姿勢ごとに、バーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。
　以上のように、第２の実施形態に係る情報処理システム１ｃによれば、３次元映像生成装置２０ｃは、撮影デバイス１０の周囲の環境の地図を示す地図情報が更新された場合に、バーチャルカメラの位置を補正する位置姿勢補正部２１５を備えている。また、位置姿勢補正部２１５は、映像時間に基づいて位置姿勢情報を補正することで、バーチャルカメラの位置を補正する。そして、３次元映像再生成部２１３は、補正されたバーチャルカメラの位置ごとに、バーチャルカメラの撮影範囲に対応する３次元映像を生成する。このように、３次元映像生成装置２０ｃは、地図情報が更新された場合に、バーチャルカメラの位置を補正して３次元映像を生成するため、誤差による不具合を解消することができる。
（第２の実施形態の変形例１）
　第２の実施形態では、位置姿勢情報を間引く又は追加することにより映像時間を変更した。変形例１では、位置姿勢情報を補正することで、映像の位置を変更する。
　図１に示すように、地図情報が更新されると、バーチャルカメラの撮影位置が変化する。そして、地図情報が更新され、撮影位置も変化した場合においても、撮影を継続すると、３次元映像生成装置２０ｄは、非連続な３次元映像を生成してしまう。そこで、位置姿勢補正部２１５は、位置姿勢情報が示す位置を段階的に補正することで非連続な３次元映像を生成してしまうことを防止する。
　位置姿勢補正部２１５は、更新前の地図情報に基づいて推定された撮影デバイス１０の位置を示す更新前位置と、更新後の地図情報に基づいて推定された撮影デバイス１０の位置を示す更新後位置とに基づいて、バーチャルカメラの位置を補正する。すなわち、位置姿勢補正部２１５は、更新後位置と、更新後位置とを合成することでバーチャルカメラの位置を補正する。更に詳しくは、位置姿勢補正部２１５は、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報と、を合成した位置姿勢情報を生成する。そして、位置姿勢補正部２１５は、位置姿勢情報を合成する際に、合成比率を段階的に変更する。
　ここで、図９は、本開示の第２の実施形態の変形例１の処理内容の一例の図である。時間Ｔ１までは、更新前の地図情報に基づいて生成された位置姿勢情報の比率が１００％であったとする。しかし、時間Ｔ１において、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報との差異が閾値以上になったとする。
　この場合に、位置姿勢補正部２１５は、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報と、を合成した位置姿勢情報を生成する。また、位置姿勢補正部２１５は、更新後位置と、更新後位置とを合成する比率において、更新後位置の比率を段階的に増やす合成によりバーチャルカメラの位置を補正する。すなわち、位置姿勢補正部２１５は、時間Ｔ１から時間Ｔ２までの間で、更新後の地図情報に基づいて生成された位置姿勢情報の比率を増加させた位置姿勢情報を生成する。そして、位置姿勢補正部２１５は、更新後の地図情報に基づいて生成した位置姿勢情報の比率を１００％にする。よって、位置姿勢補正部２１５は、非連続な３次元映像を生成してしまうことを防止する。
　以上のように、第２の実施形態の変形例１にかかる情報処理システム１ｄによれば、３次元映像生成装置２０ｄは、更新前後の地図情報に基づいてバーチャルカメラの位置を補正する。すなわち、３次元映像生成装置２０ｄは、更新前後のバーチャルカメラの位置を合成することでバーチャルカメラの位置を補正する。よって、３次元映像生成装置２０ｄは、地図情報の誤差による不具合を解消することができる。
（第２の実施形態の変形例２）
　第２の実施形態の変形例１では、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報との差異が閾値以上になった場合に、位置姿勢情報の合成を開始した。
　しかし、３次元映像において、撮影対象が含まれる場面の前や、撮影対象が含まれる場面の最中に、位置姿勢情報の合成を開始されると、カメラマンが本来撮りたい映像が生成されなくなってしまう。そこで、第２の実施形態の変形例２は、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報と、の合成を開始する時点を指定する入力を受け付ける。
　ここで、図１０は、本開示の第２の実施形態の変形例２の処理内容の一例の図である。時間Ｔ３までは、更新前の地図情報に基づいて生成された位置姿勢情報の比率が１００％であったとする。しかし、時間Ｔ３において、更新前の地図情報に基づいて生成された位置姿勢情報と、更新後の地図情報に基づいて生成された位置姿勢情報と、の差異が閾値以上になったとする。
　とことが、時間Ｔ３まで、カメラマンが撮影した撮影対象が３次元映像に含まれている。そこで、位置姿勢補正部２１５は、位置姿勢情報記憶部２０２に蓄積された位置姿勢情報が示す撮影デバイス１０の位置により特定される移動経路のうち、補正を開始する開始点を指定する入力を受け付ける。ここで、開始点は、補正を開始する時間を示す情報であってもよいし、補正を開始する位置を示す情報であってもよいし、その他の情報であってもよい。
　位置姿勢補正部２１５は、バーチャルカメラの位置の補正を開始する開始点以降からバーチャルカメラの位置の補正を開始する。すなわち、図１０においては、位置姿勢補正部２１５は、開始店といて時間Ｔ４を指定する入力を受け付ける。そして、位置姿勢補正部２１５は、時間Ｔ４から時間Ｔ５までの間で、更新後の地図情報に基づいて生成された位置姿勢情報の比率を増加させた位置姿勢情報を生成する。
　以上のように、第２の実施形態の変形例２にかかる情報処理システム１ｅによれば、３次元映像生成装置２０ｅは、指定された開始点からバーチャルカメラの位置の合成を開始することで、開始点の３次元映像を残すことしつつ、バーチャルカメラの位置を補正することができる。よって、３次元映像生成装置２０ｅは、地図情報の誤差による不具合を解消することができる。
　上述してきた各実施形態に係る情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅを実現するための撮影デバイス１０、３次元映像生成装置２０、２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、及び３次元映像保管装置３０は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、本開示の実施形態に係るコンピュータのハードウエア構成を示すブロック図である。
　図１１に示すように、コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウエアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が上述した実施形態に係るサーバとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、上述した各部のうちの少なくとも１つの機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、上述した各記憶部のうちの少なくとも１つに格納されるデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
（効果）
　情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅは、位置姿勢再推定部２１２と、３次元映像再生成部２１３と、３次元映像再生成部２１３と、を備える。位置姿勢再推定部２１２は、現実空間における撮影デバイス１０の周囲の環境の地図を示す地図情報が更新された場合に、撮影デバイス１０の周囲の環境を観測することで得られた観測情報、及び更新後の地図情報に基づいて、撮影デバイス１０の位置を推定する。３次元映像再生成部２１３は、位置姿勢再推定部２１２が推定した撮影デバイス１０の位置に基づいて、現実空間に対応付けられた仮想空間に設けられたバーチャルカメラの位置を特定する。３次元映像再生成部２１３は、３次元映像再生成部２１３が特定した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。これにより、情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅは、地図情報が最適化処理等により更新された場合であっても３次元映像を生成することができる。
　３次元映像再生成部２１３は、位置姿勢再推定部２１２が推定した撮影デバイス１０の位置に基づいて、バーチャルカメラが移動した仮想空間の軌跡を特定する。３次元映像再生成部２１３は、３次元映像再生成部２１３が特定した軌跡を移動したバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。これにより、情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅは、撮影デバイス１０によりバーチャルカメラの移動が指示された場合においても、連続した映像を生成することができる。
　再処理判定部２１１は、位置姿勢再推定部２１２に更新後の地図情報に基づいて撮影デバイス１０の位置を推定させるか否かを判定する。ここで、地図情報の更新が軽微な場合、バーチャルカメラの位置及び姿勢を再度推定し、推定した位置及び姿勢に応じた３次元映像を生成する必要がない場合がある。情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅは、再処理判定部２１１により再度処理を行うべきかを適切に判定することができる。
　再処理判定部２１１は、地図情報が更新されたか否かを示すフラグに基づいて判定する。これにより、情報処理システム１は、再処理判定部２１１により再度処理を行うべきかを適切に判定することができる。
　再処理判定部２１１は、更新前後の地図情報に基づいて推定された位置姿勢情報の変化度合い基づき判定する、これにより、情報処理システム１は、再処理判定部２１１により再度処理を行うべきかを適切に判定することができる。
　再処理判定部２１１は、更新前後での地図情報の差が閾値以上であるか否かに基づき判定する、これにより、情報処理システム１ａは、再処理判定部２１１により再度処理を行うべきかを適切に判定することができる。
　再処理判定部２１１は、更新前後での地図情報において、地図情報の構成要素である画像に対応した撮影デバイス１０の位置の差分と、当該画像に含まれる３次元点群の位置の差分との和が閾値以上であるか否かに基づき判定する、これにより、情報処理システム１ａは、再処理判定部２１１により再度処理を行うべきかを適切に判定することができる。
　３次元映像記憶部２１４は、バーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を出力する。これにより、情報処理システム１は、バーチャルカメラの３次元映像を撮影デバイス１０のディスプレイ１５に表示させる。よって、カメラマンは、仮想空間の３次元映像を確認しながら移動することができる。
　位置姿勢補正部２１５は、撮影デバイス１０の周囲の環境の地図を示す地図情報が更新された場合に、バーチャルカメラの位置を補正する。３次元映像再生成部２１３は、位置姿勢補正部２１５が補正した位置にあるバーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。これにより、情報処理システム１、１ａ、１ｂ、１ｃ、１ｄ、１ｅは、３次元映像を補正することができる。
　位置姿勢補正部２１５は、更新前の地図情報に基づいて推定された撮影デバイス１０の位置を示す更新前位置と、更新後の地図情報に基づいて推定された撮影デバイス１０の位置を示す更新後位置とに基づいて、バーチャルカメラの位置を補正する。これにより、情報処理システム１ｄ、１ｅは、バーチャルカメラの位置の変化に伴い、３次元映像が非連続になった場合に、バーチャルカメラの位置を補正することで連続した３次元映像を生成することができる。
　位置姿勢補正部２１５は、３次元映像の時間を示す映像時間を取得する。位置姿勢補正部２１５は、映像時間に基づいて、バーチャルカメラの位置を補正する、これにより、情報処理システム１ｃは、更新前の地図情報に基づいて生成した３次元映像の映像時間が、当初想定していた時間と異なっている場合に、当初想定していた時間に補正することができる。
　位置姿勢補正部２１５は、撮影デバイス１０の本来の移動経路と、移動速度とに基づいて、映像時間を算出する。位置姿勢補正部２１５は、位置姿勢補正部２１５が算出した映像時間に適合するようにバーチャルカメラの位置を付加又は省く補正を実行する。３次元映像再生成部２１３は、位置姿勢補正部２１５が補正したバーチャルカメラの位置ごとに、バーチャルカメラの撮影範囲に対応する仮想空間の３次元映像を生成する。これにより、情報処理システム１ｃは、更新前の地図情報に基づいて生成した３次元映像の映像時間が、当初想定していた時間と異なっている場合に、当初想定していた時間に補正することができる。
　位置姿勢補正部２１５は、更新前位置と、更新後位置とを合成することでバーチャルカメラの位置を補正する。これにより、情報処理システム１ｄ、１ｅは、地図情報が更新される前後のバーチャルカメラの位置を合成することで、連続した３次元映像を生成することができる。
　位置姿勢補正部２１５は、更新前位置と、更新後位置とを合成する比率において、更新後位置の比率を段階的に増やす合成によりバーチャルカメラの位置を補正する。これにより、情報処理システム１ｄ、１ｅは、地図情報が更新される前後のバーチャルカメラの位置を段階的に合成することで、連続した３次元映像を生成することができる。
　位置姿勢補正部２１５は、バーチャルカメラの位置の補正を開始する開始点以降からバーチャルカメラの位置の補正を開始する。これにより、情報処理システム１ｅは、カメラマンが残したい３次元映像を残しつつ、連続した３次元映像を生成することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定する推定部と、
　前記推定部が推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部と、
　前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部と、
　を備える情報処理システム。
（２）
　前記特定部は、前記推定部が推定した前記第１デバイスの位置に基づいて、前記カメラが移動した前記仮想空間の軌跡を特定し、
　前記映像生成部は、前記特定部が特定した前記軌跡を移動した前記カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
　前記（１）に記載の情報処理システム。
（３）
　前記推定部に更新後の前記地図情報に基づいて前記第１デバイスの位置を推定させるか否かを判定する判定部を更に備える、
　前記（１）又は（２）に記載の情報処理システム。
（４）
　前記判定部は、前記地図情報が更新されたか否かを示すフラグに基づいて判定する、
　前記（３）に記載の情報処理システム。
（５）
　前記判定部は、更新前後の前記地図情報に基づいて推定された位置姿勢情報の変化度合い基づき判定する、
　前記（３）に記載の情報処理システム。
（６）
　前記判定部は、更新前後での前記地図情報の差が閾値以上であるか否かに基づき判定する、
　前記（３）に記載の情報処理システム。
（７）
　前記判定部は、更新前後での前記地図情報において、前記地図情報の構成要素である画像に対応した前記第１デバイスの位置の差分と、当該画像に含まれる３次元点群の位置の差分との和が閾値以上であるか否かに基づき判定する、
　前記（６）に記載の情報処理システム。
（８）
　前記カメラの前記撮影範囲に対応する前記仮想空間の映像を出力する出力部を更に備える、
　前記（１）から（７）の何れかに記載の情報処理システム。
（９）
　前記第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記カメラの位置を補正する補正部を更に備え、
　前記映像生成部は、前記補正部が補正した位置にある前記カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
　前記（１）から（８）の何れかに記載の情報処理システム。
（１０）
　前記補正部は、更新前の前記地図情報に基づいて推定された前記第１デバイスの位置を示す更新前位置と、更新後の前記地図情報に基づいて推定された前記第１デバイスの位置を示す更新後位置とに基づいて、前記カメラの位置を補正する、
　前記（９）に記載の情報処理システム。
（１１）
　映像の時間を示す映像時間を取得する時間取得部を更に備え、
　前記補正部は、前記映像時間に基づいて、前記カメラの位置を補正する、
　前記（９）に記載の情報処理システム。
（１２）
　前記時間取得部は、前記第１デバイスの本来の移動の軌跡と、移動速度とに基づいて、前記映像時間を算出し、
　前記補正部は、前記時間取得部が算出した前記映像時間に適合するように前記カメラの位置を付加又は省く補正を実行し、
　前記映像生成部は、前記補正部が補正した前記カメラの位置ごとに、当該カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
　前記（１１）に記載の情報処理システム。
（１３）
　前記補正部は、前記更新前位置と、前記更新後位置とを合成することで前記カメラの位置を補正する、
　前記（１０）に記載の情報処理システム。
（１４）
　前記補正部は、前記更新前位置と、前記更新後位置とを合成する比率において、前記更新後位置の比率を段階的に増やす合成により前記カメラの位置を補正する、
　前記（１３）に記載の情報処理システム。
（１５）
　前記補正部は、前記カメラの位置の補正を開始する開始点以降から前記カメラの位置の補正を開始する、
　前記（１３）又は（１４）に記載の情報処理システム。
（１６）
　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定し、
　推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定し、
　特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する、
　ことを含む情報処理方法。
（１７）
　コンピュータを、
　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定する推定部と、
　前記推定部が推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部と、
　前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部と、
　として機能させるためのプログラム。
　１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ　情報処理システム
　１０　撮影デバイス
　１２　第２カメラ
　１３　慣性計測部
　１４　位置姿勢推定部
　１５　ディスプレイ
　２０、２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ　３次元映像生成装置
　３０　３次元映像保管装置
　１５２　表示制御部
　２０１　位置姿勢情報取得部
　２０２　位置姿勢情報記憶部
　２０３　地図情報取得部
　２０５　計測情報取得部
　２０７　画像特徴量取得部
　２０６　計測情報記憶部
　２０８　画像特徴量記憶部
　２０９　３次元画像記憶部
　２１０　３次元映像生成部
　２１１　再処理判定部
　２１２　位置姿勢再推定部
　２１４　３次元映像記憶部
　２１３　３次元映像再生成部
　２１５　位置姿勢補正部

Claims (17)

  1. 　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定する推定部と、
    　前記推定部が推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部と、
    　前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部と、
    　を備える情報処理システム。
  2. 　前記特定部は、前記推定部が推定した前記第１デバイスの位置に基づいて、前記カメラが移動した前記仮想空間の軌跡を特定し、
    　前記映像生成部は、前記特定部が特定した前記軌跡を移動した前記カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
    　請求項１に記載の情報処理システム。
  3. 　前記推定部に更新後の前記地図情報に基づいて前記第１デバイスの位置を推定させるか否かを判定する判定部を更に備える、
    　請求項１に記載の情報処理システム。
  4. 　前記判定部は、前記地図情報が更新されたか否かを示すフラグに基づいて判定する、
    　請求項３に記載の情報処理システム。
  5. 　前記判定部は、更新前後の前記地図情報に基づいて推定された位置姿勢情報の変化度合い基づき判定する、
    　請求項３に記載の情報処理システム。
  6. 　前記判定部は、更新前後での前記地図情報の差が閾値以上であるか否かに基づき判定する、
    　請求項３に記載の情報処理システム。
  7. 　前記判定部は、更新前後での前記地図情報において、前記地図情報の構成要素である画像に対応した前記第１デバイスの位置の差分と、当該画像に含まれる３次元点群の位置の差分との和が閾値以上であるか否かに基づき判定する、
    　請求項６に記載の情報処理システム。
  8. 　前記カメラの前記撮影範囲に対応する前記仮想空間の映像を出力する出力部を更に備える、
    　請求項１に記載の情報処理システム。
  9. 　前記第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記カメラの位置を補正する補正部を更に備え、
    　前記映像生成部は、前記補正部が補正した位置にある前記カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
    　請求項１に記載の情報処理システム。
  10. 　前記補正部は、更新前の前記地図情報に基づいて推定された前記第１デバイスの位置を示す更新前位置と、更新後の前記地図情報に基づいて推定された前記第１デバイスの位置を示す更新後位置とに基づいて、前記カメラの位置を補正する、
    　請求項９に記載の情報処理システム。
  11. 　映像の時間を示す映像時間を取得する時間取得部を更に備え、
    　前記補正部は、前記映像時間に基づいて、前記カメラの位置を補正する、
    　請求項９に記載の情報処理システム。
  12. 　前記時間取得部は、前記第１デバイスの本来の移動の軌跡と、移動速度とに基づいて、前記映像時間を算出し、
    　前記補正部は、前記時間取得部が算出した前記映像時間に適合するように前記カメラの位置を付加又は省く補正を実行し、
    　前記映像生成部は、前記補正部が補正した前記カメラの位置ごとに、当該カメラの前記撮影範囲に対応する前記仮想空間の映像を生成する、
    　請求項１１に記載の情報処理システム。
  13. 　前記補正部は、前記更新前位置と、前記更新後位置とを合成することで前記カメラの位置を補正する、
    　請求項１０に記載の情報処理システム。
  14. 　前記補正部は、前記更新前位置と、前記更新後位置とを合成する比率において、前記更新後位置の比率を段階的に増やす合成により前記カメラの位置を補正する、
    　請求項１３に記載の情報処理システム。
  15. 　前記補正部は、前記カメラの位置の補正を開始する開始点以降から前記カメラの位置の補正を開始する、
    　請求項１３に記載の情報処理システム。
  16. 　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定し、
    　推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定し、
    　特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する、
    　ことを含む情報処理方法。
  17. 　コンピュータを、
    　現実空間における第１デバイスの周囲の環境の地図を示す地図情報が更新された場合に、前記第１デバイスの周囲の環境を観測することで得られた観測情報、及び更新後の前記地図情報に基づいて、前記第１デバイスの位置を推定する推定部と、
    　前記推定部が推定した前記第１デバイスの位置に基づいて、前記現実空間に対応付けられた仮想空間に設けられた仮想的なカメラの位置を特定する特定部と、
    　前記特定部が特定した位置にある前記カメラの撮影範囲に対応する前記仮想空間の映像を生成する映像生成部と、
    　として機能させるためのプログラム。
PCT/JP2020/044697 2019-12-10 2020-12-01 情報処理システム、情報処理方法、及びプログラム WO2021117552A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021563877A JPWO2021117552A1 (ja) 2019-12-10 2020-12-01
US17/756,788 US20220366661A1 (en) 2019-12-10 2020-12-01 Information processing system, information processing method, and program
CN202080083377.1A CN114762007A (zh) 2019-12-10 2020-12-01 信息处理系统、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-223185 2019-12-10
JP2019223185 2019-12-10

Publications (1)

Publication Number Publication Date
WO2021117552A1 true WO2021117552A1 (ja) 2021-06-17

Family

ID=76330228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044697 WO2021117552A1 (ja) 2019-12-10 2020-12-01 情報処理システム、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220366661A1 (ja)
JP (1) JPWO2021117552A1 (ja)
CN (1) CN114762007A (ja)
WO (1) WO2021117552A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287485A1 (en) * 2009-05-06 2010-11-11 Joseph Bertolami Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications
JP2013182523A (ja) * 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd 画像処理装置、画像処理システム、画像処理方法
WO2017168899A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理方法および情報処理装置
WO2018185972A1 (ja) * 2017-04-03 2018-10-11 三菱電機株式会社 マップデータ生成装置および方法
WO2018207426A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019003280A (ja) * 2017-06-12 2019-01-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7014205B2 (ja) * 2019-06-05 2022-02-01 株式会社デンソー 表示制御装置および表示制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287485A1 (en) * 2009-05-06 2010-11-11 Joseph Bertolami Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications
JP2013182523A (ja) * 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd 画像処理装置、画像処理システム、画像処理方法
WO2017168899A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理方法および情報処理装置
WO2018185972A1 (ja) * 2017-04-03 2018-10-11 三菱電機株式会社 マップデータ生成装置および方法
WO2018207426A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019003280A (ja) * 2017-06-12 2019-01-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUDO, AKIRA ET AL.: "A survey of the robustness of image features in different light source environments", IPSJ SIG TECHNICAL REPORTS: COMPUTER VISION AND IMAGE MEDIA(CVIM), 15 January 2015 (2015-01-15) *

Also Published As

Publication number Publication date
CN114762007A (zh) 2022-07-15
JPWO2021117552A1 (ja) 2021-06-17
US20220366661A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11748907B2 (en) Object pose estimation in visual data
JP4895857B2 (ja) 車両挙動再現方法
KR101518531B1 (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
KR101335391B1 (ko) 영상 합성 장치 및 그 방법
JP4947060B2 (ja) 画像合成装置、画像合成方法、プログラム
JP6736362B2 (ja) 画像処理装置、画像処理方法、プログラム
US10586378B2 (en) Stabilizing image sequences based on camera rotation and focal length parameters
WO2017140438A1 (en) A method of stabilizing a sequence of images
JP2004274701A (ja) 画像処理装置及び画像処理方法
CN112565725B (zh) 一种投影画面防抖方法、装置、投影设备及存储介质
Kamali et al. Stabilizing omnidirectional videos using 3d structure and spherical image warping
WO2021117552A1 (ja) 情報処理システム、情報処理方法、及びプログラム
CN111955005B (zh) 处理360度图像内容的方法和系统
WO2021117415A1 (ja) 情報処理システム、情報処理方法、及びプログラム
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
CN113139456A (zh) 电子设备状态跟踪方法、装置、电子设备及控制系统
JP2019149717A (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体
US11615582B2 (en) Enclosed multi-view visual media representation
KR101725932B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
KR20220155829A (ko) 영상 제작 시 합성 기법
CN115861430A (zh) 自由视角系统的检测方法、装置、设备及系统
JP2020107058A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899809

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563877

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20899809

Country of ref document: EP

Kind code of ref document: A1