WO2021131991A1 - 映像生成装置、映像生成方法および映像生成プログラム - Google Patents

映像生成装置、映像生成方法および映像生成プログラム Download PDF

Info

Publication number
WO2021131991A1
WO2021131991A1 PCT/JP2020/047058 JP2020047058W WO2021131991A1 WO 2021131991 A1 WO2021131991 A1 WO 2021131991A1 JP 2020047058 W JP2020047058 W JP 2020047058W WO 2021131991 A1 WO2021131991 A1 WO 2021131991A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
virtual
user
viewpoint image
image
Prior art date
Application number
PCT/JP2020/047058
Other languages
English (en)
French (fr)
Inventor
石川　毅
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/780,777 priority Critical patent/US20220414991A1/en
Priority to EP20906453.4A priority patent/EP4083991A4/en
Priority to CN202080087378.3A priority patent/CN114830184A/zh
Priority to JP2021567349A priority patent/JPWO2021131991A1/ja
Publication of WO2021131991A1 publication Critical patent/WO2021131991A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the present invention relates to a video generator, a video generation method, and a video generation program.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a video generation device, a video generation method, and a video generation program that can facilitate the generation of video content.
  • the video generation device includes a reception unit, a first generation unit, and a display control unit.
  • the reception unit accepts user operations.
  • the first generation unit moves the virtual camera in the three-dimensional virtual space based on the user operation received by the reception unit, so that the three-dimensional object in the three-dimensional virtual space is photographed by the virtual camera.
  • the display control unit arranges a virtual screen for displaying the camera viewpoint image generated by the first generation unit in the three-dimensional virtual space, and arranges the camera locus of the virtual camera in the three-dimensional virtual space. indicate.
  • FIG. 1 is a diagram showing an outline of a video generation method according to the first embodiment.
  • FIG. 2 is a diagram showing an example of an image displayed by the image generation method according to the first embodiment.
  • the video generation method according to the embodiment is executed by the video generation device 1 described later in FIG.
  • the three-dimensional virtual space may be an AR (Augmented Reality) space.
  • AR Augmented Reality
  • a user wears a display device 50 in the real world Sr and operates a controller 60 to operate a virtual camera 10 arranged in a three-dimensional virtual space (hereinafter, virtual space Sv). Show the scene.
  • virtual space Sv three-dimensional virtual space
  • the video generation method it is decided to facilitate the generation of the video content by shooting the video content in the virtual space Sv.
  • the display device 50 shown in FIG. 1 is a head-mounted display (hereinafter, also referred to as an HMD (Head Mount Display)), and by displaying an image generated by the image generation device 1 described later, the user (creator) can see the display device 50.
  • the virtual space Sv is provided.
  • the controller 60 shown in FIG. 1 is a remote control device in which the user performs various operations on the virtual camera 10 in the virtual space Sv in the real world Sr.
  • the virtual camera 10 in the virtual space Sv is moved according to the trajectory of the controller 60 in the real world Sr, or the orientation of the virtual camera 10 (camera) is adjusted according to the inclination of the controller 60. You can change the angle).
  • the user moves the virtual camera 10 by the controller 60 while visually recognizing the virtual space Sv displayed on the display device 50, so that the three-dimensional object 100 existing in the virtual space Sv is photographed by the virtual camera 10.
  • Create a camera viewpoint image The virtual space Sv image that can be seen by the user is 3D, whereas the virtual viewpoint image is a 2D image.
  • the virtual screen for displaying the camera viewpoint image is arranged in the virtual space Sv, and the camera locus of the virtual camera 10 is displayed in the virtual space Sv.
  • the camera viewpoint image and the camera locus during shooting are displayed on the display device 50. This enables the user to check the camera viewpoint image and the camera trajectory (camera work) in parallel with the shooting of the camera viewpoint image.
  • a virtual screen Sc1 is installed on the display screen of the display device 50, the current camera viewpoint image is displayed on the virtual screen Sc1, and the camera locus T is displayed in the virtual space Sv visible to the user. Indicates the case where it is done.
  • the virtual screen Sc1 is, for example, a screen that moves according to the posture of the user, and is always arranged at a position facing the user. Further, as shown in FIG. 2, the virtual screen Sc1 and the camera viewpoint image displayed on the virtual screen Sc1 are images having transparency. As a result, the user can visually recognize the inside of the virtual space Sv while checking the virtual camera image displayed on the virtual screen Sc1.
  • the virtual screen Sc2 may also be set on the outer wall of the virtual space Sv. In this case, the virtual screen Sc2 is visible to the user as part of the virtual space Sv.
  • the camera locus T is a line indicating the locus of the virtual camera 10. Therefore, the user can confirm the camera work of the virtual camera 10 by the camera locus T. Further, in the example of FIG. 2, the case where the icon A is displayed on the camera locus T is shown. As will be described later, the icon A indicates a point where a key frame is captured when the virtual camera image is shot.
  • the user can set a key frame by operating a button on the controller 60, and when the key frame is set, the icon A is added to the camera locus T.
  • the icon A is a diamond-shaped model is shown, but the icon A may be displayed by reducing the key frame, and the virtual camera at the time of shooting the key frame. It may suggest the orientation of 10.
  • the user selects the icon A, for example, it is possible to display the virtual camera image corresponding to the selected icon A on the virtual screen Sc1. That is, by displaying the icon A together with the camera locus T, the set key frame can be easily grasped.
  • the current virtual camera image and the camera locus T are displayed.
  • the user can confirm the current virtual camera image and the camera trajectory T in parallel when creating the camera image.
  • the moving image content can be easily generated if there is the data of the three-dimensional object 100.
  • the video generation method it is possible to facilitate the generation of video content.
  • the virtual camera image and the camera locus T are displayed on the display device 50
  • the present invention is not limited to this, and the virtual camera image and the camera locus T are displayed separately. It may be displayed on the device, or one or both of the virtual camera image and the camera locus T may be hidden.
  • FIG. 3 is a diagram showing an example of the appearance of the controller 60 according to the embodiment.
  • the controller 60 is composed of a left controller 60a and a right controller 60b.
  • the left controller 60a and the right controller 60b are each provided with a plurality of buttons.
  • a command is associated with each of the plurality of buttons, and the user can instruct the video generator of the corresponding command by pressing each button.
  • the left controller 60a can input various commands such as adjusting the playback time and playback speed, changing the scale of the user's viewpoint image, setting and canceling the attention point described later, and changing the user position in the virtual space Sv. it can.
  • the right controller 60b can input various commands such as moving the virtual camera 10, setting the camera angle of the virtual camera 10, changing the line-of-sight position in the user's viewpoint image, setting keyframes, and the like. Further, for example, by operating the left controller 60a and the right controller 60b at the same time, it is possible to change the scale of the virtual camera image.
  • controller 60 shown in FIG. 3 is an example and is not limited thereto.
  • the video generation device may accept the gesture operation of the user as the user operation.
  • the left controller 60a and the right controller 60b are not distinguished, they are simply described as "controller 60".
  • FIG. 4 is a block diagram of the video generator according to the embodiment. Note that FIG. 4 shows a display device 50 and a controller 60 in addition to the video generation device 1.
  • the controller 60 includes a gyro sensor 61, an acceleration sensor 62, and an operation button 63.
  • the gyro sensor 61 is a sensor that detects the angular velocities of the three axes that detect the movement of the controller 60.
  • the gyro sensor 61 is built in the left controller 60a and the right controller 60b.
  • the user can change the user viewpoint set in the virtual space Sv by moving the left controller 60a, and virtual in the virtual space Sv by moving the right controller 60b.
  • the camera 10 can be moved.
  • the acceleration sensor 62 is a sensor that detects the acceleration generated in the controller 60.
  • the operation button 63 is a plurality of buttons installed on the controller 60, and various commands are associated with each of the plurality of buttons.
  • the display device 50 includes a display unit 51, a gyro sensor 52, an acceleration sensor 53, a camera 54, and a speaker 55.
  • the display unit 51 is arranged in front of the user when the user's HMD is attached. Further, the display unit 51 may be composed of a light-shielding display surface or a translucent display surface. That is, the display device 50 is VR goggles, but may be AR goggles. Needless to say, the display device 50 is not limited to the HMD.
  • the gyro sensor 52 and the acceleration sensor 53 are sensors that detect the movement of the display device 50 and the acceleration generated in the display device 50, respectively. Since the display device 50 is an HMD, the gyro sensor 52 and the acceleration sensor 53 detect changes in the posture of the user wearing the display device 50.
  • the camera 54 is, for example, a camera that captures the front of the display device 50, in other words, a camera that captures the real-world Sr seen by the user.
  • the speaker 55 outputs audio based on the audio signal output from the video generator 1.
  • the image generation device 1 includes a storage unit 2 and a control unit 3.
  • the video generation device 1 may include a communication unit (not shown) for wirelessly or wiredly communicating with an external device, and an operation unit (not shown) for accepting user operations.
  • the storage unit 2 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 2 stores the three-dimensional video information 20, the key frame information 21, and the virtual camera video information 22.
  • the three-dimensional video information 20 is three-dimensional video content that is the source of the virtual camera video, and is information related to the video reproduced in the virtual space Sv.
  • the three-dimensional video information 20 includes information about a moving image of the three-dimensional object 100, information about a three-dimensional background moving image that is the background of the three-dimensional object 100, and the like.
  • the key frame information 21 is information related to a key frame (image) in the virtual camera image.
  • an example of the keyframe information 21 will be described with reference to FIG.
  • FIG. 5 is a diagram showing an example of keyframe information 21 according to the embodiment.
  • the keyframe information 21 associates "image ID”, “playback time”, “camera coordinates”, “point of interest”, “angle”, “screen size”, “depth of field”, and the like with each other. Information.
  • Image ID indicates an identifier that identifies a keyframe.
  • the “reproduction time” indicates the reproduction time of the three-dimensional object 100.
  • the “camera coordinates” indicate the coordinates in the virtual space Sv of the virtual camera 10 at the time of capturing the key frame.
  • Point of interest indicates the point of interest set in the virtual space Sv.
  • the posture of the virtual camera 10 is controlled so that the center of the angle of view of the virtual camera 10 faces the point of interest.
  • the "angle” indicates the camera angle of the virtual camera 10 at the time of capturing the key frame, that is, the angle of view of the virtual camera 10.
  • the "screen size” indicates the size of the three-dimensional object 100 reflected in the key frame. A specific example of the screen size will be described later with reference to FIG.
  • depth of field indicates the camera angle with respect to the three-dimensional object 100.
  • a specific example of the depth of field will be described later with reference to FIG. 7.
  • the keyframe information 21 shown in FIG. 5 is an example and is not limited thereto.
  • FIG. 6 is an explanatory diagram of the screen size.
  • FIG. 7 is an explanatory diagram of the depth of field.
  • the screen size is long shot (LS; Long Shot), full figure (FF; Full Figure), knee shot (KS; Knee Shot). ), Waist Shot (WS; Waist Shot).
  • the screen size is bust shot (BS; Bust Shot), up shot (US; Up Shot), close-up (CU; It is roughly divided into Close Up), Big Close Up (BCU; Big Close Up), and Detail Shot (Detail Shot).
  • the depth of field is roughly classified into “overhead view”, "medaka”, and "aori".
  • the bird's-eye view indicates that the cut is taken by looking down at the face of the subject from above, and the killifish indicates that the cut is taken from the height of the eyes of the subject.
  • the tilt indicates that the face of the subject is a cut taken from below.
  • the image generation device 1 associates the screen size and the depth of field with the keyframes as metadata according to the size of the three-dimensional object 100 reflected in the keyframe and the imaging direction with respect to the three-dimensional object 100.
  • an auxiliary line indicating the screen size may be displayed in the virtual space Sv.
  • the virtual camera 10 may be moved so as to shoot the three-dimensional object 100 with the screen size corresponding to the command. , The zoom ratio of the virtual camera 10 may be changed.
  • the virtual camera image information 22 is information related to a virtual camera image virtually captured by the virtual camera 10. At this time, the virtual camera image information 22 is information related to the virtual camera image in a state where the auxiliary image for shooting the virtual camera image such as the virtual screen Sc2 (see FIG. 1) is erased.
  • control unit 3 for example, a program stored in the video generator 1 is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with a RAM (Random Access Memory) or the like as a work area. It will be realized. Further, the control unit 3 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 3 includes a reception unit 30, a detection unit 31, a first generation unit 32, a second generation unit 33, a setting unit 34, a display control unit 35, and a correction unit 36. And realizes or executes the functions and actions of information processing described below.
  • the internal configuration of the control unit 3 is not limited to the configuration shown in FIG. 4, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the control unit 3 may be connected to a predetermined network by wire or wirelessly using, for example, a NIC (Network Interface Card) or the like, and may receive various information from an external server or the like via the network. Be prepared.
  • the reception unit 30 accepts user operations. Specifically, various operations on the controller 60 by the user are accepted as user operations.
  • the reception unit 30 receives a posture signal regarding the posture of the controller 60 from the gyro sensor 61 and the acceleration sensor 62 of the controller 60, and also receives a command from the operation button 63 of the controller 60. Further, the reception unit 30 receives the posture signal of the display device 50 from the gyro sensor 52 and the acceleration sensor 53 of the display device 50.
  • the detection unit 31 detects the posture of each of the controller 60 and the display device 50. Specifically, the detection unit 31 detects the posture of the controller 60 based on the posture signal of the controller 60, and detects the posture of the display device 50, that is, the user based on the posture signal of the display device 50.
  • the first generation unit 32 moves the virtual camera 10 in the virtual space Sv based on the user operation received by the reception unit 30, so that the three-dimensional object 100 in the virtual space Sv is photographed by the virtual camera 10. Generate a viewpoint image.
  • the first generation unit 32 moves the virtual camera 10 in the virtual space Sv in response to the attitude signal of the controller 60, so that the virtual camera 10 captures the virtual camera image in the virtual space Sv. Generate.
  • 8 and 9 are diagrams showing an example of the camera locus T according to the first embodiment.
  • the camera locus T which is the locus of the virtual camera 10 is drawn based on the movement operation of moving the controller 60 in the user's real world Sr.
  • the virtual camera 10 moves in the virtual space Sv corresponding to the locus drawn by the user with the controller 60, and the camera locus T is drawn. Then, the first generation unit 32 generates an image in the virtual space Sv that can be seen from the virtual camera 10 as a virtual camera image when the virtual camera 10 is moved along the camera trajectory T.
  • the first generation unit 32 determines the tilt of the virtual camera 10 according to the tilt of the controller 60. That is, the user can change the position of the virtual camera 10 by moving the controller 60 (right controller 60b), and can change the tilt of the virtual camera 10 by changing the tilt of the controller 60. ..
  • the image generation device 1 has a fixed mode in which the height of the virtual camera 10 is fixed.
  • the fixed mode for example, the virtual camera 10 moves in the virtual space Sv according to the trajectory of the controller 60 in a state where the height of the virtual camera 10 is fixed. That is, in the fixed mode, the movement in the roll direction by the virtual camera 10 is prohibited.
  • the virtual camera 10 moves on the virtual surface Pt having the same height in the virtual space Sv, and the camera locus T is drawn on the virtual surface Pt. That is, in the fixed mode, by disabling the vertical movement of the controller 60, the user can create a virtual camera image without worrying about the vertical blurring of the controller 60.
  • the case where the height is fixed in the fixed mode has been described here, the case is not limited to this, and the pitch and yaw of the virtual camera 10 may be fixed respectively.
  • FIG. 10 is a diagram showing an example of points of interest according to the embodiment.
  • the user can set the point of interest P in the virtual space Sv.
  • the user calls, for example, a setting command for setting the attention point P on the left controller 60a (see FIG. 3), and moves the left controller 60a, for example, to move the attention point to an arbitrary position in the virtual space Sv. P can be set.
  • the first generation unit 32 controls the posture of the virtual camera 10 so that the center of the angle of view of the virtual camera 10 faces the attention point P, while controlling the posture of the controller 60.
  • a virtual camera image is generated by moving the virtual camera 10 according to the locus.
  • the user can obtain the virtual camera image in which the attention point P is captured at any time by setting the attention point P. Further, in this case, the user can set the camera trajectory T without worrying about the orientation of the virtual camera 10 (that is, the inclination of the controller 60).
  • a prohibited area for prohibiting the entry of the virtual camera 10 is provided, and a warning image is displayed for the prohibited area when the entry of the virtual camera 10 is prohibited or when the virtual camera 10 enters the prohibited area. May be good.
  • FIG. 11 is a diagram showing an example of a prohibited area.
  • the case where the prohibited area Pa is the right half of the virtual space Sv is shown. Therefore, in the example shown in FIG. 11, the virtual camera 10 moves within the area of the left half in the virtual space Sv.
  • FIG. 12 is an explanatory diagram of the imaginary line. As shown in FIG. 12, for example, in a scene where Mr. A and Mr. B are facing each other, the image taken from the camera 1 behind Mr. A and the image taken from the camera 2 behind Mr. B are shown. The arrangement of Mr. A and Mr. B is reversed.
  • the line segment connecting Mr. A and Mr. B is set as an imaginary line.
  • the imaginary line may also be called an imaginary line.
  • the prohibited area Pa is set so as not to exceed the imaginary line. This makes it possible to generate a virtual camera image that is easy for the viewer to understand.
  • the prohibited area Pa may be set on the control unit 3 side or on the user side. Further, the prohibited area Pa may be dynamically set in consideration of the current position of the virtual camera 10 and the like. Further, the prohibited area Pa may be set in advance at the time of creating the three-dimensional object 100.
  • the second generation unit 33 generates a user viewpoint image that looks inside the virtual space Sv from the user viewpoint set in the virtual space Sv. Specifically, the second generation unit 33 moves the user viewpoint in the virtual space Sv according to the posture signal of the display device 50, and connects the images in the virtual space Sv seen from the user viewpoint at any time. , Generate a user-viewpoint image.
  • the reception unit 30 can receive various commands such as changing the scale of the virtual space Sv and rotating the virtual space Sv, and the second generation unit 33 reflects the commands received by the reception unit 30. Generate a user's viewpoint video.
  • the life-size mode is a mode for displaying the inside of the virtual space Sv in an actual size.
  • the life-size mode the user can view the user's viewpoint image as if he / she exists in the virtual space Sv.
  • the miniature mode is a mode in which the entire virtual space Sv is reduced and displayed.
  • the user can view the user's viewpoint image that allows a bird's-eye view of the virtual space Sv.
  • the reception unit 30 can also accept a user operation for finely adjusting the reduction rate of the virtual space Sv, and the second generation unit 33 finely adjusts the reduction rate according to the user operation received by the reception unit 30. It is also possible to generate a user-viewpoint video.
  • the second generation unit 33 may generate a user viewpoint image in which the user viewpoint is moved along the camera locus T of the virtual camera 10. In such a user-viewpoint image, the user can view the inside of the virtual space Sv seen from the virtual camera 10.
  • the setting unit 34 sets keyframes based on the user operation received by the reception unit 30.
  • the setting unit 34 adds information about the key frame to the key frame information 21.
  • the display control unit 35 arranges the virtual screens Sc1 and Sc2 for displaying the camera viewpoint image generated by the first generation unit 32 in the virtual space Sv, and displays the camera locus T of the virtual camera 10 in the virtual space Sv. To do.
  • the display control unit 35 sets the virtual screens Sc1 and Sc2 in the user viewpoint image generated by the second generation unit 33, and the virtual camera image generated by the first generation unit 32 on the virtual screens Sc1 and Sc2. Is displayed.
  • the display control unit 35 displays the camera locus T in the user viewpoint video by superimposing the camera locus T in the user viewpoint video, and when a key frame is set, the position where the key frame is shot. Icon A is displayed on.
  • the display control unit 35 can also display an auxiliary image that assists in shooting the virtual camera image in the user's viewpoint image or in the virtual screen Sc.
  • an auxiliary image that assists in shooting the virtual camera image in the user's viewpoint image or in the virtual screen Sc.
  • a specific example of the auxiliary image will be described with reference to FIGS. 13 to 15.
  • FIG. 13 to 15 are diagrams showing an example of an auxiliary image according to the embodiment.
  • the virtual screen Sc1 is also shown in addition to the menu screen Sm which is an auxiliary image.
  • the display control unit 35 displays a menu screen in the user's viewpoint image when the user performs a predetermined operation.
  • the menu screen Sm shows a case where six buttons associated with different commands are displayed. Further, as shown in FIG. 13, the virtual screen Sc1 is displayed at a position facing the user, whereas the menu screen is displayed at the lower left with respect to the virtual screen Sc1.
  • a seek bar B indicating a reproduction location of the camera viewpoint image is displayed on the virtual screen Sc1.
  • the user can easily grasp the current playback location (playback time) by the seek bar B.
  • the video generation device 1 can also accept a user operation for the seek bar B, and can change the playback location according to the user operation.
  • the user can operate the seek bar B.
  • changing the playback location includes displaying the virtual camera image of the playback time selected by the user and displaying keyframes in sequence according to the user operation. That is, the user can change the playback location at the playback time desired by the user and sequentially check the set keyframes.
  • the auxiliary image may include the virtual camera 10 and the angle-of-view images V1 and V2 showing the current angle of view of the virtual camera 10.
  • the display control unit 35 arranges the virtual camera 10 at a position set in the virtual space Sv, and superimposes the virtual camera 10 on the user viewpoint image when the virtual camera 10 is included in the user viewpoint image.
  • the display control unit 35 displays the virtual camera 10 on the user's viewpoint image in consideration of the orientation of the virtual camera 10 in the virtual space Sv, and displays the angle of view images V1 and V2 according to the current angle of view. To do.
  • the guide line Lw is a line that assists the locus of the virtual camera 10, and the user can draw an ideal camera locus T by moving the virtual camera 10 along the guide line Lw.
  • FIG. 15 shows a case where the guide line Lw includes a concentric circle formed along the contour of the hemisphere and a ridge line intersecting the concentric circle.
  • the intersection Cp between the concentric circles and the ridge line serves as an index when setting a key frame when the virtual camera 10 is moved along the guide line Lw.
  • the guide line Lw shown in FIG. 15 is an example and is not limited to this, and may include, for example, a straight line. Further, the concentric circles of the guide lines Lw may be expanded or the shape may be arbitrarily changed by the user operation.
  • the correction unit 36 corrects the camera trajectory T based on the key frame set by the user operation.
  • the first generation unit 32 regenerates the virtual camera viewpoint image based on the corrected camera locus T.
  • the virtual camera image regenerated by the first generation unit 32 is displayed on, for example, the virtual screen Sc1.
  • the user can confirm the virtual camera image edited by the image generation device 1.
  • the user can save the virtual camera image by performing a predetermined operation, and the saved virtual camera image is saved in the storage unit 2 as the virtual camera image information 22.
  • the correction unit 36 corrects the camera trajectory T by smoothly connecting the imaging coordinates of continuous keyframes along the time series. That is, in this case, when the user sets the key frame, the camera viewpoint image in which the camera locus T is corrected can be obtained. That is, in this case, the blurring of the camera trajectory T based on the user operation is automatically corrected.
  • the correction unit 36 corrects the camera trajectory T based on the added or deleted keyframe.
  • the addition of the key frame here means that a new key frame has been inserted during the playback time between consecutive key frames.
  • the correction unit 36 uses a line that smoothly connects the imaging position of the added key frame and the imaging position of the key frame before and after the added key frame in chronological order as a new camera trajectory.
  • the correction unit 36 uses a trajectory that smoothly connects the keyframes before and after the deleted keyframe as a new camera trajectory.
  • the correction unit 36 corrects the camera trajectory T based on the time-series changes related to continuous keyframes.
  • the time-series change with respect to the key frame refers to the time interval between the key frames and the distance interval of the imaging position of the key frame.
  • the correction unit 36 corrects the imaging position of one or a plurality of keyframes so that the time intervals of the keyframes become equal when the user performs a predetermined operation when the user edits the virtual camera image. That is, in this case, the correction unit 36 sets the virtual camera image at the shooting time at which the time intervals are equal in the corrected camera locus T as a key frame.
  • the correction unit 36 determines the imaging position of one or a plurality of keyframes so that the distance interval between the imaging positions of the keyframes becomes equal when the user performs a predetermined operation. That is, in this case, the correction unit 36 sets the virtual camera image at the shooting time at which the distance intervals of the imaging positions are equal in the corrected camera trajectory T as a key frame. In this way, the correction unit 36 can facilitate the editing of the virtual camera image by the user by correcting the key frame.
  • the correction unit 36 may correct the camera trajectory T by correcting the image pickup position of the key frame based on, for example, the guide line Lw shown in FIG.
  • the image pickup position of the key frame is indicated by the corresponding icon A, and the number attached to the end of the icon A indicates the order in which the key frame is imaged.
  • a keyframe corresponding to the icons A1 to A3 is set along the guide line Lw, and the keyframe corresponding to the icon A4 deviates from the guide line Lw.
  • the correction unit 36 corrects the image pickup position of the key frame so that the icon A4 is set on the guide line Lw. That is, in this case, the camera trajectory T is corrected as if all the keyframes were taken along the guide line Lw.
  • the correction unit 36 may correct the imaging position of the key frame so that the icon A is on the intersection Cp shown in FIG.
  • the correction unit 36 shoots the key frame on the intersection Cp closest to the current virtual camera 10.
  • the position of the virtual camera 10 may be corrected so as to be performed. That is, in this case, the virtual camera 10 moves as if the virtual camera 10 is attracted to the intersection Cp.
  • the correction unit 36 may perform the above processing not only on the intersection Cp but also on the guide line Lw.
  • the correction unit 36 may correct the camera trajectory T based on the trajectory drawn by the user operation.
  • the camera locus T1 from the icons A1 to A3 shows the case where the camera locus T1 is corrected by the correction unit 36 by the process already described, and the icons A3 to the icon A4 are shown. Refers to the case where the camera locus T2 is drawn by the user operation.
  • the user draws a locus with the right controller 60b as in the case of shooting the virtual camera image, and the camera locus T2 is set based on the locus. That is, in this case, since the user can set the camera locus T2 freehand, the camera work in the virtual viewpoint image can be expanded infinitely.
  • the camera locus T2 can also be realized by the user setting keyframes at extremely short intervals.
  • the correction unit 36 may automatically add keyframes from the virtual camera image.
  • a scene in which keyframes corresponding to icons A1 to A4 have already been set is shown.
  • the correction unit 36 extracts a recommended image from the virtual camera image based on the camera trajectory T before correction and sets it as a key frame.
  • the recommended image is extracted by using a predetermined image analysis algorithm.
  • the user may set in advance under what conditions the recommended image is extracted.
  • FIG. 18 shows a scene in which three images corresponding to icons A5 to A7 are newly added as keyframes. Then, when the key frame is added, the correction unit 36 corrects the camera locus T in the time series order of each key frame.
  • the camera locus T including the keyframe added by the automatic extraction is generated, so that the virtual camera image taken by the suitable camera work is obtained without the user setting the keyframe. be able to.
  • the correction unit 36 can change the illumination mode for the three-dimensional object 100 according to the user operation.
  • the illumination mode includes an illumination position with respect to the three-dimensional object 100, a range to be illuminated, a color temperature of illumination, and the like. By changing the lighting mode in this way, it is possible to realize various effects by lighting.
  • FIG. 19 is a flowchart showing a processing procedure executed by the video generator 1 according to the embodiment.
  • the processing procedure shown below is repeatedly executed by the control unit 3 when the virtual camera image is generated.
  • step S101 when the video generation device 1 advances the reproduction time of the three-dimensional object 100 including the virtual space Sv (step S101), it determines whether or not the Roll change is invalid (step S102).
  • step S102 is a process of determining whether or not the mode is the fixed mode described with reference to FIG.
  • step S102 When it is determined in the determination of step S102 that the Roll change is invalid (step S102, Yes), the image generator 1 maintains the horizontal direction according to the user operation, and the coordinates of the virtual camera 10 in the virtual space Sv. Is updated (step S103). Further, when the Roll change is effective in the determination in step S102 (step S102, No), the video generation device 1 updates the coordinates of the virtual camera 10 according to the locus of the controller 60 (step S104).
  • the video generator 1 determines whether or not the attention point P is set (step S105), and if the attention point P is set (step S105, Yes), pays attention to the angle of the virtual camera 10.
  • the point P is set to the shooting angle (step S106).
  • step S105 when the point of interest P is not set (step S105, No), the video generator 1 sets the angle of the virtual camera 10 according to the posture of the controller 60 (step S107).
  • the video generator 1 determines whether or not the keyframe setting has been accepted (step S108), and when the keyframe installation is accepted (step S108, Yes), saves the information about the keyframe (step S108). S109). If the keyframe setting is not accepted in the determination in step S108 (steps S108, No), the process in step S109 is omitted.
  • the video generation device 1 generates the camera viewpoint video at the current playback time (step S110) and the user viewpoint video at the current playback time based on the processing results from step S101 to step S107. (Step S111).
  • the user viewpoint image includes the camera locus T.
  • the video generation device 1 outputs the video generated in steps S110 and S111 to the display device 50 (step S112), and ends the process.
  • FIG. 20 is a diagram showing an outline of a video generation method according to a second embodiment.
  • FIG. 21 is a diagram showing an example of a display device according to the second embodiment.
  • the virtual space Sv is a VR space in the first embodiment, whereas the virtual space Sv is an AR space in the second embodiment.
  • the display device 50A is a smartphone.
  • the display device 50A is not limited to a smartphone, and may be any other device as long as it has a camera function capable of photographing the real world Sr. Needless to say, the display device 50A may be Ar goggles.
  • the display device 50A when a user photographs the real world Sr with the display device 50A, does the display device 50A have a three-dimensional object 100 virtually localized in the real world Sr in the real world Sr?
  • the virtual space Sa such as is displayed.
  • the user updates the display position of the three-dimensional object 100 according to the angle of view of the real world Sr captured by the display device 50A. That is, in this case, the display device 50A also has the functions of both the display device 50 and the controller 60 in the first embodiment.
  • the user can set the above-mentioned keyframes by operating the display device 50A, and the display device 50A can display the keyframes. Then, the user can adjust the angle of view of the key frame or the like by changing the inclination of the display device 50A.
  • a device such as a smartphone, which is more popular than the HMD, is used as the display device 50A.
  • the display device 50A is used as the display device 50A.
  • the background of the virtual space Sa is the real world Sr, it is possible to create a virtual viewpoint image with the user's favorite place as the background as long as there is data of the three-dimensional object 100. it can.
  • FIG. 22 is a block diagram of the video generator according to the second embodiment.
  • the video generation device 1A shown in FIG. 22 is different from the video generation device 1 according to the first embodiment in that it includes a 3D data generation unit 37.
  • the 3D data generation unit 37 generates 3D data from the background image of the virtual camera image generated by the first generation unit 32.
  • the 3D data generation unit 37 generates 3D data from the real world Sr photographed by the user using the display device 50A. That is, in the image generation device 1A according to the second embodiment, it is possible to generate a virtual viewpoint image for the user and generate 3D data from the background image.
  • the 3D data can be generated by appropriately using an existing algorithm.
  • the display device 50A and the device having a camera function may be separate devices.
  • the camera may be a flying object (so-called drone).
  • FIG. 23 is a hardware configuration diagram showing an example of a computer 1000 that realizes the function of the video generation device 1.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the reception unit 30 and the like by executing the program loaded on the RAM 1200.
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 2.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • (1) The reception department that accepts user operations and By moving the virtual camera in the three-dimensional virtual space based on the user operation received by the reception unit, a camera viewpoint image obtained by capturing the three-dimensional object in the three-dimensional virtual space with the virtual camera is generated.
  • 1 generator and A display control unit that arranges a virtual screen that displays the camera viewpoint image generated by the first generation unit in the three-dimensional virtual space and displays the camera trajectory of the virtual camera in the three-dimensional virtual space.
  • a video generator equipped with (2) It further includes a second generation unit that generates a user's viewpoint image of the inside of the three-dimensional virtual space from the user's viewpoint set in the three-dimensional virtual space.
  • the display control unit Displaying the camera trajectory on the user's viewpoint image, The video generator according to (1) above. (3) The display control unit A seek bar indicating the reproduction location of the camera viewpoint image is displayed on the virtual screen, and the reproduction location of the three-dimensional object and the camera viewpoint image is changed according to the user operation for the seek bar received by the reception unit. To do The video generator according to (1) or (2) above. (4) The reception department Accepting the movement operation to move the controller in the real space as a user operation, The first generation unit The camera viewpoint image in which the virtual camera is moved according to the trajectory of the controller is generated. The video generator according to any one of (1) to (3) above.
  • the first generation unit In the fixed mode in which the height of the virtual camera is fixed, the camera viewpoint image is generated by moving the virtual camera according to a user operation while fixing the height of the virtual camera.
  • the video generator according to any one of (1) to (4) above.
  • the reception department Accepting the setting of the point of interest for the 3D object as a user operation,
  • the first generation unit While controlling the posture of the virtual camera so that the center of the angle of view of the virtual camera faces the point of interest, the camera viewpoint image in which the virtual camera is moved according to a user operation is generated.
  • the video generator according to any one of (1) to (5) above.
  • the display control unit Display the menu screen in the 3D virtual space and display it.
  • the reception department Accepts user operations on the menu screen, The video generator according to any one of (1) to (6) above.
  • the reception department Accepts keyframe settings in the camera viewpoint image and accepts
  • the display control unit An icon indicating the imaging position of the key frame is displayed on the camera locus.
  • the video generator according to any one of (1) to (7) above.
  • a correction unit that corrects the camera trajectory based on the key frame set by the user operation is provided.
  • the first generation unit At the time of editing the camera viewpoint image, the camera viewpoint image corrected by the correction unit is regenerated by the virtual camera moving.
  • the display control unit A guide line that assists the trajectory of the virtual camera is displayed in the three-dimensional virtual space.
  • the correction unit The imaging position and imaging time of the keyframe are corrected so that the keyframe is set on the guide line, and the camera trajectory is corrected according to the corrected keyframe.
  • the video generator according to (10) above.
  • the correction unit Correct the imaging position of the keyframe so that the time interval of two or more consecutive keyframes or the distance interval of the imaging position of two or more consecutive keyframes is equal.
  • the video generator according to any one of (9) to (11) above.
  • the correction unit When the keyframe is added or deleted by a user operation, the camera trajectory is corrected based on the added or deleted keyframe.
  • the video generator according to any one of (9) to (12) above.
  • the correction unit Correct the camera trajectory based on the trajectory drawn by the user operation.
  • the video generator according to any one of (9) to (13) above.
  • the correction unit The lighting mode for the three-dimensional object is changed according to the lighting mode for the three-dimensional object set by the user operation.
  • the video generator according to any one of (9) to (14) above.
  • the first generation unit The camera viewpoint image is generated in which the screen size of the three-dimensional object is associated with the meta information for each frame in the camera viewpoint image.
  • the video generator according to any one of (1) to (15) above.
  • the reception department Further accepting user operations regarding the position and line-of-sight direction of the user's viewpoint in the three-dimensional virtual space,
  • the second generation unit The position and line-of-sight direction of the user's viewpoint in the three-dimensional virtual space are controlled based on the user's operation received by the reception unit.
  • the display control unit Displaying the user viewpoint image in which the user viewpoint is moved along the camera trajectory.
  • the computer accepts user operations and By moving the virtual camera based on the received user operation, a virtual viewpoint image obtained by capturing a three-dimensional object, which is a three-dimensional virtual space, is generated from the virtual camera. While displaying the generated virtual viewpoint image to the user, the camera trajectory of the virtual camera is displayed together with the three-dimensional object.
  • Video generation method (20)
  • the reception section that accepts user operations on the computer and Based on the user operation received by the reception unit, the generation unit generates a virtual viewpoint image obtained by capturing a three-dimensional object which is a three-dimensional image from the virtual camera by moving the virtual camera.
  • An image generation program that displays the virtual viewpoint image generated by the generation unit to the user and functions as a display control unit that displays the camera trajectory of the virtual camera together with the three-dimensional object.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実施形態に係る映像生成装置（１）は、受付部（３０）と、第１生成部（３２）と、表示制御部（３５）とを備える。受付部（３０）は、ユーザ操作を受け付ける。第１生成部（３２）は、受付部（３０）によって受け付けられたユーザ操作に基づいて３次元仮想空間（Ｓｖ）内の仮想カメラ（１０）を移動させることで、３次元仮想空間（Ｓｖ）内の３次元オブジェクト（１００）を仮想カメラ（１０）で撮影したカメラ視点映像を生成する。表示制御部（３５）は、第１生成部（３２）によって生成されたカメラ視点映像を表示する仮想スクリーン（Ｓｃ）を３次元仮想空間（Ｓｖ）内に配置するとともに、仮想カメラ（１０）のカメラ軌跡（Ｔ）を３次元仮想空間（Ｓｖ）内に表示する。

Description

映像生成装置、映像生成方法および映像生成プログラム
　本発明は、映像生成装置、映像生成方法および映像生成プログラムに関する。
　空間内の複数の位置から撮影される実映像に基づいて、任意の視点から空間内を見た動画コンテンツを生成する技術がある。
国際公開第２０１６／０８８４３７号
　しかしながら、従来技術では、動画コンテンツの生成を容易にするうえで改善の余地があった。従来技術においては、空間内を撮影するために多くの機材を必要とするため、一般ユーザが動画コンテンツを生成することが難しい。
　本発明は、上記に鑑みてなされたものであって、動画コンテンツの生成を容易にすることができる映像生成装置、映像生成方法および映像生成プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、実施形態に係る映像生成装置は、受付部と、第１生成部と、表示制御部とを備える。前記受付部は、ユーザ操作を受け付ける。前記第１生成部は、前記受付部によって受け付けられたユーザ操作に基づいて３次元仮想空間内の仮想カメラを移動させることで、前記３次元仮想空間内の３次元オブジェクトを前記仮想カメラで撮影したカメラ視点映像を生成する。前記表示制御部は、前記第１生成部によって生成された前記カメラ視点映像を表示する仮想スクリーンを前記３次元仮想空間内に配置するとともに、前記仮想カメラのカメラ軌跡を前記３次元仮想空間内に表示する。
　実施形態の一態様によれば、動画コンテンツの生成を容易にすることができる。
第１の実施形態に係る映像生成方法の概要を示す図である。 第１の実施形態に係る映像生成方法によって表示される映像の一例を示す図である。 第１の実施形態に係るリモコンの外観の一例を示す図である。 第１の実施形態に係る情報処理装置のブロック図である。 第１の実施形態に係るキーフレーム情報の一例を示す図である。 画面サイズの説明図である。 被写体深度の説明図である。 第１の実施形態に係るカメラ軌跡の一例を示す図である。 第１の実施形態に係るカメラ軌跡の一例を示す図である。 第１の実施形態に係る注目点の一例を示す図である。 第１の実施形態に係る禁止領域の一例を示す図である。 イマジナリーラインの説明図である。 第１の実施形態に係る補助画像の一例を示す図である。 第１の実施形態に係る補助画像の一例を示す図である。 第１の実施形態に係る補助画像の一例を示す図である。 第１の実施形態に係る補正部による処理の模式図である。 第１の実施形態に係る補正部による処理の模式図である。 第１の実施形態に係る補正部による処理の模式図である。 第１の実施形態に係る映像生成装置が実行する処理手順を示すフローチャートである。 第２の実施形態に係る映像処理方法の概要を示す図である。 第２の実施形態に係る表示装置の一例を示す図である。 第２の実施形態に係る映像生成装置のブロック図である。 映像生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
＜第１の実施形態＞
　まず、図１および図２を用いて、第１の実施形態に係る映像生成方法の概要について説明する。図１は、第１の実施形態に係る映像生成方法の概要を示す図である。図２は、第１の実施形態に係る映像生成方法によって表示される映像の一例を示す図である。なお、実施形態に係る映像生成方法は、図４にて後述する映像生成装置１によって実行される。
　また、以下では、３次元仮想空間がＶＲ（Virtual　Reality）空間である場合について説明するが、３次元仮想空間は、ＡＲ（Augmented　Reality）空間であってもよい。なお、３次元仮想空間をＡＲ空間とする場合については、第２の実施形態にて説明する。
　なお、図１には、実世界Ｓｒでユーザが表示装置５０を装着し、コントローラ６０を操作することで、３次元仮想空間（以下、仮想空間Ｓｖ）内に配置された仮想カメラ１０を操作する場面を示す。
　ところで、従来、例えば、映画などといった動画コンテンツを制作する場合に、多くの製作時間を必要としていた。例えば、動画コンテンツの製作者であるクリエータは、撮影した動画を確認し、イメージにあわせてカメラワークを構築しなおすなどといった作業を繰り返し行うことになる。また、実世界で動画コンテンツを制作する場合には、カメラワークに限界があるので、魅力的な動画コンテンツを製作するうえで足かせとなる。
　これに対して、実施形態に係る映像生成方法では、動画コンテンツの撮影を仮想空間Ｓｖ内で行うことで、動画コンテンツの生成を容易にすることとした。
　図１に示す表示装置５０は、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head　Mount　Display）とも記載する）であり、後述する映像生成装置１によって生成された映像を表示することで、ユーザ（クリエータ）に対して仮想空間Ｓｖを提供する。
　また、図１に示すコントローラ６０は、ユーザが実世界Ｓｒにおいて、仮想空間Ｓｖ内の仮想カメラ１０に対する各種操作を行う遠隔操作機器である。例えば、実施形態に係る映像生成方法では、実世界Ｓｒにおけるコントローラ６０の軌跡にあわせて、仮想空間Ｓｖ内における仮想カメラ１０を移動させたり、コントローラ６０の傾きにあわせて仮想カメラ１０の向き（カメラアングル）を変更したりすることができる。
　例えば、ユーザは、表示装置５０に表示された仮想空間Ｓｖを視認しつつ、コントローラ６０によって仮想カメラ１０を移動させることで、仮想空間Ｓｖ内に存在する３次元オブジェクト１００を仮想カメラ１０で撮影したカメラ視点映像を作成する。なお、ユーザから見える仮想空間Ｓｖの映像が３Ｄであるのに対して、仮想視点映像が２Ｄの映像となる。
　この際、上述のように、ユーザが、カメラ視点映像の撮影毎に、カメラ視点映像や、カメラワークを確認すると、それらの作業に多くの時間を割くおそれがあり、作業効率の低下を招くおそれがある。
　このため、実施形態に係る映像生成方法では、カメラ視点映像を表示する仮想スクリーンを仮想空間Ｓｖ内に配置するとともに、仮想カメラ１０のカメラ軌跡を仮想空間Ｓｖ内に表示することとした。
　つまり、実施形態に係る映像生成方法では、撮影中のカメラ視点映像およびカメラ軌跡を表示装置５０に表示する。これにより、ユーザがカメラ視点映像の撮影に並列して、カメラ視点映像およびカメラ軌跡（カメラワーク）の確認を行うことが可能となる。
　図２に示す例では、表示装置５０の表示画面に、仮想スクリーンＳｃ１が設置され、仮想スクリーンＳｃ１に現在のカメラ視点映像が表示されるとともに、ユーザから見える仮想空間Ｓｖ内にカメラ軌跡Ｔが表示される場合を示す。
　仮想スクリーンＳｃ１は、例えば、ユーザの姿勢に追従して移動するスクリーンであり、常にユーザと正対する位置に配置される。また、図２に示すように、仮想スクリーンＳｃ１と、仮想スクリーンＳｃ１に表示されるカメラ視点映像とは、透過性を有する画像である。これにより、ユーザは、仮想スクリーンＳｃ１に表示された仮想カメラ映像を確認しつつ、仮想空間Ｓｖ内を視認することができる。
　なお、図２に破線で示すように、仮想空間Ｓｖの外壁にも仮想スクリーンＳｃ２を設定することにしてもよい。この場合、ユーザからは、仮想スクリーンＳｃ２が仮想空間Ｓｖの一部として見えることになる。
　また、カメラ軌跡Ｔは、仮想カメラ１０の軌跡を示す線である。したがって、ユーザは、カメラ軌跡Ｔによって仮想カメラ１０のカメラワークを確認することができる。また、図２の例では、カメラ軌跡Ｔ上にアイコンＡが表示される場合を示す。アイコンＡは、後述するように、仮想カメラ映像の撮影時において、キーとなるキーフレームが撮像された地点を示す。
　例えば、ユーザは、コントローラ６０のボタンを操作することでキーフレームを設定することができ、キーフレームの設定を行うと、カメラ軌跡ＴにアイコンＡが追加される。なお、図２の例では、アイコンＡが菱形の模型である場合を示しているが、アイコンＡは、キーフレームを縮小して表示したものであってもよく、キーフレームを撮影時の仮想カメラ１０の向きを示唆するものであってもよい。
　また、ユーザがアイコンＡを選択した場合には、例えば、仮想スクリーンＳｃ１に選択されたアイコンＡに対応する仮想カメラ画像を表示することも可能である。すなわち、カメラ軌跡Ｔとともに、アイコンＡを表示することで、設定したキーフレームを容易に把握することができる。
　このように、実施形態に係る映像生成方法では、現在の仮想カメラ映像と、カメラ軌跡Ｔとを表示することとした。これにより、ユーザは、カメラ映像の作成時に、現在の仮想カメラ映像およびカメラ軌跡Ｔを平行して確認することができる。
　また、実施形態に係る映像生成方法では、仮想空間Ｓｖ内で仮想カメラ映像の撮影を行うので、３次元オブジェクト１００のデータがあれば、動画コンテンツを容易に生成することができる。
　したがって実施形態に係る映像生成方法によれば、動画コンテンツの生成を容易にすることができる。なお、図２の例では、仮想カメラ映像およびカメラ軌跡Ｔをそれぞれ表示装置５０に表示する場合について説明したが、これに限定されるものではなく、仮想カメラ映像およびカメラ軌跡Ｔをそれぞれ別々の表示装置に表示することにしてもよいし、仮想カメラ映像およびカメラ軌跡Ｔのうち、いずれか一方または双方を非表示設定とすることにしてもよい。
　次に、図３を用いて、実施形態に係るコントローラ６０について説明する。図３は、実施形態に係るコントローラ６０の外観の一例を示す図である。図３に示す例において、コントローラ６０は、左コントローラ６０ａと、右コントローラ６０ｂとによって構成される。
　また、図３に示す例において、左コントローラ６０ａおよび右コントローラ６０ｂには、それぞれ複数のボタンが設けられる。複数のボタンそれぞれには、コマンドが対応付けられており、ユーザは、各ボタンを押下することで、映像生成装置に対して対応するコマンドを指示することができる。
　例えば、左コントローラ６０ａでは、再生時間や再生速度の調節、ユーザ視点映像の縮尺の変更、後述する注目点の設定および解除、仮想空間Ｓｖ内におけるユーザ位置の変更などといった各種コマンドを入力することができる。
　また、右コントローラ６０ｂでは、仮想カメラ１０の移動および仮想カメラ１０のカメラアングルの設定、ユーザ視点映像における視線位置の変更、キーフレームの設定などといった各種コマンドを入力することができる。また、例えば、左コントローラ６０ａと右コントローラ６０ｂとをそれぞれ同時に操作すると、仮想カメラ映像の縮尺を変更することも可能である。
　なお、図３に示すコントローラ６０は、一例であり、これに限定されるものではない。また、例えば、コントローラ６０に代えて、ユーザのジェスチャー操作をユーザ操作として映像生成装置が受け付けることにしてもよい。また、以下では、左コントローラ６０ａと、右コントローラ６０ｂとを区別しない場合には、単に「コントローラ６０」と記載する。
　次に、図４を用いて、実施形態に係る映像生成装置の構成例について説明する。図４は、実施形態に係る映像生成装置のブロック図である。なお、図４には、映像生成装置１に加え、表示装置５０と、コントローラ６０とを示す。
　まず、コントローラ６０について説明する。図４に示す例において、コントローラ６０は、ジャイロセンサ６１と、加速度センサ６２と、操作ボタン６３とを備える。ジャイロセンサ６１は、コントローラ６０の動きを検出する３軸の角速度を検出するセンサである。例えば、ジャイロセンサ６１は、左コントローラ６０ａおよび右コントローラ６０ｂに内蔵される。
　例えば、ユーザは、左コントローラ６０ａを移動させたりすることで、仮想空間Ｓｖ内に設定されたユーザ視点を変更することができ、右コントローラ６０ｂを移動させたりすることで、仮想空間Ｓｖ内において仮想カメラ１０を移動させることができる。
　加速度センサ６２は、コントローラ６０に生じる加速度を検出するセンサである。操作ボタン６３は、コントローラ６０に設置された複数のボタンであり、複数のボタンそれぞれには、各種コマンドが対応付けられる。
　続いて、表示装置５０について説明する。図４に示す例において、表示装置５０は、表示部５１、ジャイロセンサ５２、加速度センサ５３、カメラ５４およびスピーカ５５を備える。
　上述のように、表示装置５０は、ＨＭＤであることから、表示部５１は、ユーザのＨＭＤの装着時にユーザの前方に配置される。また、表示部５１は、遮光性の表示面によって構成されていてもよく、透光性の表示面によって構成されていてもよい。すなわち、表示装置５０は、ＶＲゴーグルであるが、ＡＲゴーグルであってもよい。また、表示装置５０がＨＭＤに限定されるものではないことは言うまでもない。
　ジャイロセンサ５２および加速度センサ５３は、それぞれ表示装置５０の動きや、表示装置５０に生じる加速度を検出するセンサである。表示装置５０は、ＨＭＤであることからジャイロセンサ５２および加速度センサ５３は、表示装置５０を装着したユーザの姿勢の変化を検出することになる。
　カメラ５４は、例えば、表示装置５０の前方を撮像するカメラであり、言い換えれば、ユーザから見える実世界Ｓｒを撮像するカメラである。スピーカ５５は、映像生成装置１から出力された音声信号に基づいて音声を出力する。
　続いて、映像生成装置１について説明する。図４に示すように、映像生成装置１は、記憶部２と、制御部３とを備える。なお、映像生成装置１は、外部装置と無線または有線で通信を行うための通信部（図示せず）や、ユーザの操作を受け付ける操作部（図示せず）を備えていてもよい。
　記憶部２は、例えば、ＲＡＭ、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示す例では、記憶部２は、３次元映像情報２０と、キーフレーム情報２１と、仮想カメラ映像情報２２とを記憶する。
　３次元映像情報２０は、仮想カメラ映像の元となる３次元の映像コンテンツであり、仮想空間Ｓｖ内で再生される映像に関する情報である。３次元映像情報２０には、３次元オブジェクト１００の動画に関する情報や、３次元オブジェクト１００の背景となる３次元の背景動画に関する情報などが含まれる。
　キーフレーム情報２１は、仮想カメラ映像において、キーとなるフレーム（画像）に関する情報である。ここで、図５を用いて、キーフレーム情報２１の一例について説明する。図５は、実施形態に係るキーフレーム情報２１の一例を示す図である。
　図５に示す例において、キーフレーム情報２１は、「画像ＩＤ」、「再生時刻」、「カメラ座標」、「注目点」、「アングル」、「画面サイズ」、「被写体深度」などを互いに関連付けた情報である。
　「画像ＩＤ」は、キーフレームを識別する識別子を示す。「再生時刻」は、３次元オブジェクト１００の再生時刻を示す。「カメラ座標」は、キーフレームの撮像時における仮想カメラ１０の仮想空間Ｓｖ内における座標を示す。
　「注目点」は、仮想空間Ｓｖにおいて設定された注目点を示す。後述するように、注目点が設置された場合には、仮想カメラ１０の画角の中心が注目点を向くように仮想カメラ１０の姿勢が制御される。
　「アングル」は、キーフレームの撮像時における仮想カメラ１０のカメラアングル、すなわち、仮想カメラ１０の画角を示す。「画面サイズ」は、キーフレームに写る３次元オブジェクト１００の大きさを示す。なお、画面サイズの具体例については、図６を用いて後述する。
　また、「被写体深度」は、３次元オブジェクト１００に対するカメラアングルを示す。なお、被写体深度の具体例については、図７を用いて後述する。なお、図５に示すキーフレーム情報２１は、一例であり、これに限定されるものではない。
　次に、図６および図７を用いて、「画面サイズ」および「被写体深度」について説明する。図６は、画面サイズの説明図である。また、図７は、被写体深度の説明図である。図６の左図に示すように、被写体の全身を撮影したカットである場合、画面サイズは、ロングショット（ＬＳ；Long　Shot）、フルフィギュア（ＦＦ；Full　Figure）、ニーショット（ＫＳ；Knee　Shot）、ウエストショット（ＷＳ；Waist　Shot）に大別される。
　また、図６の右図に示すように、被写体の上半身を撮影したカットである場合、画面サイズは、バストショット（ＢＳ；Bust　Shot）、アップショット（ＵＳ；Up　Shot）、クローズアップ（ＣＵ；Close　Up）、ビッグクローズアップ（ＢＣＵ；Big　Close　Up）、ディテールショット（Ｄｅｔａｉｌ；Detail　Shot）に大別される。
　また、図７に示すように、被写体深度は、「俯瞰」、「めだか」、「あおり」に大別される。例えば、俯瞰は、被写体の顔を上側から俯瞰して撮影したカットであることを示し、めだかは、被写体の目の高さから被写体を撮影したカットであることを示す。また、あおりは、被写体の顔を下側から撮影したカットであることを示す。
　映像生成装置１は、キーフレームに写る３次元オブジェクト１００の大きさや３次元オブジェクト１００に対する撮像向きなどに応じて画面サイズや被写体深度をメタデータとしてキーフレームに対応付ける。
　なお、例えば、画面サイズを示す補助線を仮想空間Ｓｖ内に表示することにしてもよい。また、例えば、画面サイズを指定するコマンドを予め設定しておき、ユーザがコマンドを選択した場合には、コマンドに対応する画面サイズで３次元オブジェクト１００を撮影するように仮想カメラ１０を移動させたり、仮想カメラ１０のズーム率を変更したりすることにしてもよい。
　図４の説明に戻り、仮想カメラ映像情報２２について説明する。仮想カメラ映像情報２２は、仮想カメラ１０によって仮想的に撮影された仮想カメラ映像に関する情報である。この際、仮想カメラ映像情報２２は、例えば、仮想スクリーンＳｃ２（図１参照）などといった仮想カメラ映像の撮影の補助画像が消された状態の仮想カメラ映像に関する情報である。
　次に、制御部３について説明する。制御部３は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、映像生成装置１内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　図４に示すように、制御部３は、受付部３０と、検出部３１と、第１生成部３２と、第２生成部３３と、設定部３４と、表示制御部３５と、補正部３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部３は、例えばＮＩＣ（Network　Interface　Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。備える。
　受付部３０は、ユーザ操作を受け付ける。具体的には、ユーザによるコントローラ６０に対する各種操作をユーザ操作として受け付ける。受付部３０は、コントローラ６０のジャイロセンサ６１、加速度センサ６２からコントローラ６０の姿勢に関する姿勢信号を受け付けるとともに、コントローラ６０の操作ボタン６３からコマンドを受け付けることになる。また、受付部３０は、表示装置５０のジャイロセンサ５２や加速度センサ５３から表示装置５０の姿勢信号を受け付ける。
　検出部３１は、コントローラ６０および表示装置５０それぞれの姿勢を検出する。具体的には、検出部３１は、コントローラ６０の姿勢信号に基づき、コントローラ６０の姿勢を検出し、表示装置５０の姿勢信号に基づき、表示装置５０すなわちユーザの姿勢を検出する。
　第１生成部３２は、受付部３０によって受け付けられたユーザ操作に基づいて仮想空間Ｓｖ内の仮想カメラ１０を移動させることで、仮想空間Ｓｖ内の３次元オブジェクト１００を仮想カメラ１０で撮影したカメラ視点映像を生成する。
　具体的には、第１生成部３２は、コントローラ６０の姿勢信号に応じて、仮想カメラ１０を仮想空間Ｓｖ内で移動させることで、仮想カメラ１０で仮想空間Ｓｖ内を撮影した仮想カメラ映像を生成する。
　ここで、図８～図１２を用いて、第１生成部３２による処理の具体例について説明する。図８および図９は、第１の実施形態に係るカメラ軌跡Ｔの一例を示す図である。図８に示す例において、仮想カメラ１０の軌跡であるカメラ軌跡Ｔは、ユーザの実世界Ｓｒ内でコントローラ６０を移動させる移動操作に基づいて描かれる。
　すなわち、ユーザがコントローラ６０で描いた軌跡に対応させて、仮想カメラ１０が仮想空間Ｓｖ内を移動し、カメラ軌跡Ｔが描かれることになる。そして、第１生成部３２は、仮想カメラ１０をカメラ軌跡Ｔに沿って移動させた場合に、仮想カメラ１０から見える仮想空間Ｓｖ内の映像を仮想カメラ映像として生成する。
　この際、第１生成部３２は、コントローラ６０の傾きに応じて、仮想カメラ１０の傾きを決定する。すなわち、ユーザは、コントローラ６０（右コントローラ６０ｂ）を移動させることで、仮想カメラ１０の位置を変更することができ、コントローラ６０の傾きを変えることで、仮想カメラ１０の傾きを変更することができる。
　また、図９に示すように、実施形態に係る映像生成装置１は、仮想カメラ１０の高さを固定する固定モードを有する。固定モードにおいては、例えば、仮想カメラ１０の高さが固定された状態でコントローラ６０の軌跡にあわせて仮想カメラ１０が仮想空間Ｓｖ内を移動する。つまり、固定モードにおいては、仮想カメラ１０によるロール方向の移動を禁止することになる。
　したがって、仮想カメラ１０は、仮想空間Ｓｖ内における高さが等しい仮想面Ｐｔ上を移動し、仮想面Ｐｔ上にカメラ軌跡Ｔが描かれることになる。すなわち、固定モードにおいては、コントローラ６０の上下方向の移動を無効とすることで、ユーザは、コントローラ６０の上下方向のブレを気にすることなく、仮想カメラ映像を制作することができる。
　なお、ここでは、固定モードにおいて、高さを固定する場合について説明したが、これに限定されるものではなく、仮想カメラ１０のピッチ、ヨーをそれぞれ固定することにしてもよい。
　次に、図１０を用いて、注目点について説明する。図１０は、実施形態に係る注目点の一例を示す図である。図１０に示すように、ユーザは、仮想空間Ｓｖ内に注目点Ｐを設定することができる。
　より詳しくは、ユーザは、例えば、左コントローラ６０ａ（図３参照）で注目点Ｐを設定する設定コマンドを呼び出し、例えば、左コントローラ６０ａを移動させることで仮想空間Ｓｖ内の任意の位置に注目点Ｐを設定することができる。
　そして、第１生成部３２は、注目点Ｐが設定されていた場合には、仮想カメラ１０の画角の中心が注目点Ｐを向くように仮想カメラ１０の姿勢を制御しつつ、コントローラ６０の軌跡にあわせて仮想カメラ１０を移動させることで、仮想カメラ映像を生成する。
　つまり、この場合においては、ユーザは、注目点Ｐを設定することで、注目点Ｐが随時撮影された仮想カメラ映像を得ることができる。また、この場合、ユーザは、仮想カメラ１０の向き（すなわち、コントローラ６０の傾き）を気にすることなく、カメラ軌跡Ｔを設定することができる。
　また、仮想カメラ１０の進入を禁止した禁止領域を設け、禁止領域については、仮想カメラ１０の進入を禁止したり、仮想カメラ１０が禁止領域に進入した場合に、警告画像を表示することにしてもよい。
　図１１は、禁止領域の一例を示す図である。図１１に示す例では、禁止領域Ｐａが仮想空間Ｓｖの右半分である場合を示す。このため、図１１に示す例においては、仮想カメラ１０は、仮想空間Ｓｖにおける左半分の領域内を移動することになる。
　例えば、このような禁止領域Ｐａを設ける理由として、イマジナリーラインが挙げられる。図１２は、イマジナリーラインの説明図である。図１２に示すように、例えば、ＡさんとＢさんが互いに向き合っている場面において、Ａさんの背後にあるカメラ１から撮影した画像と、Ｂさんの背後にあるカメラ２から撮像した画像では、ＡさんとＢさんの配置が逆になる。
　このため、例えば、カメラ１で撮影した画像からカメラ２で撮影した画像へ切り替わると、視聴者は、瞬時に状況を把握することが困難となる。このため、ＡさんとＢさんとを結ぶ線分をイマジナリーラインとして設定する。なお、イマジナリーラインは、想像線とも称される場合がある。
　そして、図１１に示した例では、イマジナリーラインを超えないように、禁止領域Ｐａが設定される。これにより、視聴者による理解が容易な仮想カメラ映像を生成することができる。
　なお、禁止領域Ｐａについては、制御部３側で設定することにしてもよいし、あるいは、ユーザ側で設定することにしてもよい。また、禁止領域Ｐａについては、現在の仮想カメラ１０の位置などを考慮して、動的に設定することにしてもよい。また、禁止領域Ｐａは、３次元オブジェクト１００の作成時において予め設定されたものであってもよい。
　図４の説明に戻り、第２生成部３３について説明する。第２生成部３３は、仮想空間Ｓｖ内に設定されたユーザ視点から当該仮想空間Ｓｖ内を見たユーザ視点映像を生成する。具体的には、第２生成部３３は、表示装置５０の姿勢信号に応じて、仮想空間Ｓｖ内のユーザ視点を移動させるとともに、ユーザ視点から見える仮想空間Ｓｖ内の画像を随時繋ぎ合わせることで、ユーザ視点映像を生成する。
　この際、受付部３０は、仮想空間Ｓｖの縮尺の変更や、仮想空間Ｓｖの回転などといった各種コマンドを受け付けることができ、第２生成部３３は、受付部３０によって受け付けられたコマンドを反映させたユーザ視点映像を生成する。
　例えば、ユーザは、仮想空間Ｓｖの縮尺を変更する場合、等身大モードまたはミニチュアモードのいずれかのモードをデフォルトとして設定することができる。ここで、等身大モードは、仮想空間Ｓｖ内を実際のサイズで表示するモードである。ユーザは、等身大モードに設定することで、仮想空間Ｓｖ内にあたかも自身が存在しているようなユーザ視点映像を視聴することができる。
　また、ミニチュアモードは、仮想空間Ｓｖ全体を縮小して表示するモードである。ユーザは、ミニチュアモードに設定することで、仮想空間Ｓｖ内を俯瞰して眺めることができるユーザ視点映像を視聴することができる。
　なお、受付部３０は、仮想空間Ｓｖの縮小率を微調整するユーザ操作を受け付けることもでき、第２生成部３３は、受付部３０によって受け付けられたユーザ操作に応じて縮小率を微調整したユーザ視点映像を生成することも可能である。
　また、第２生成部３３は、仮想カメラ１０のカメラ軌跡Ｔに沿って、ユーザ視点を移動させたユーザ視点映像を生成するとも可能である。かかるユーザ視点映像においては、ユーザは、仮想カメラ１０から見える仮想空間Ｓｖ内を視聴することができる。
　設定部３４は、受付部３０によって受け付けられたユーザ操作に基づいて、キーフレームをそれぞれ設定する。設定部３４は、キーフレームを設定する場合、キーフレームに関する情報をキーフレーム情報２１に追加する。
　表示制御部３５は、第１生成部３２によって生成されたカメラ視点映像を表示する仮想スクリーンＳｃ１、Ｓｃ２を仮想空間Ｓｖ内に配置するとともに、仮想カメラ１０のカメラ軌跡Ｔを仮想空間Ｓｖ内に表示する。
　すなわち、表示制御部３５は、第２生成部３３によって生成されたユーザ視点映像内に仮想スクリーンＳｃ１、Ｓｃ２を設定するとともに、仮想スクリーンＳｃ１、Ｓｃ２に第１生成部３２によって生成された仮想カメラ映像を表示する。
　また、表示制御部３５は、ユーザ視点映像内にカメラ軌跡Ｔを重畳することで、ユーザ視点映像内にカメラ軌跡Ｔを表示し、キーフレームが設定された場合には、キーフレームを撮影した位置にアイコンＡを表示する。
　また、表示制御部３５は、仮想カメラ映像の撮影を補助する補助画像をユーザ視点映像内または仮想スクリーンＳｃ内に表示することもできる。ここで、図１３～図１５を用いて、補助画像の具体例について説明する。
　図１３～図１５は、実施形態に係る補助画像の一例を示す図である。なお、図１３では、補助画像であるメニュー画面Ｓｍに加え、仮想スクリーンＳｃ１をあわせて示す。図１３に示すように、表示制御部３５は、ユーザが所定の操作を行った場合に、ユーザ視点映像内にメニュー画面を表示する。
　図１３に示す例において、メニュー画面Ｓｍには、それぞれ異なるコマンドが対応付けられた６つのボタンが表示される場合を示す。また、図１３にように、仮想スクリーンＳｃ１がユーザと正対する位置に表示されるのに対して、メニュー画面は、仮想スクリーンＳｃ１に対して左下に表示される。
　これは、メニュー画面Ｓｍに対する各種操作を左コントローラ６０ａ（図３参照）で行うことを想定しているためである。より詳しくは、仮想空間Ｓｖ内に配置されたメニュー画面の各ボタンを実世界Ｓｒ内の左コントローラ６０ａを用いてタッチすることで、ユーザは、コマンド入力を行うことができる。
　つまり、左コントローラ６０ａによって操作しやすい位置にメニュー画面を表示することで、ユーザによるメニュー画面からのコマンド入力を容易にすることができる。
　また、図１３に示すように、仮想スクリーンＳｃ１には、カメラ視点映像の再生箇所を示すシークバーＢが表示される。これにより、ユーザは、シークバーＢによって現在の再生箇所（再生時刻）を容易に把握することができる。
　また、映像生成装置１では、シークバーＢに対するユーザ操作を受け付けることもでき、ユーザ操作に応じて再生箇所を変更することもできる。ここで、左コントローラ６０ａの操作ボタンを操作することによって、シークバーＢに対するユーザ操作を行うことができる。
　また、再生箇所を変更するとは、ユーザによって選択された再生時刻の仮想カメラ映像を表示することや、ユーザ操作に応じてキーフレームを順次表示することを含む。つまり、ユーザは、自身が希望する再生時刻に再生箇所を変更したり、設定したキーフレームを順次確認したりすることができる。
　また、図１４に示すように、補助画像は、仮想カメラ１０や、仮想カメラ１０の現在の画角を示す画角画像Ｖ１、Ｖ２を含むようにしてもよい。例えば、表示制御部３５は、仮想空間Ｓｖにおいて設定された位置に仮想カメラ１０を配置し、ユーザ視点映像に仮想カメラ１０が含まれる場合に、仮想カメラ１０をユーザ視点画像に重畳する。
　この際、表示制御部３５は、仮想空間Ｓｖにおける仮想カメラ１０の向きを考慮して、仮想カメラ１０をユーザ視点映像に表示するとともに、現在の画角にあわせて画角画像Ｖ１、Ｖ２を表示する。
　なお、図１４の例では、２種類の画角画像Ｖ１、Ｖ２を示したが、画角画像は、仮想空間Ｓｖにおける仮想カメラ１０の実際の画角にあわせて適宜変更することができる。
　また、図１５の例では、補助画像がガイド線Ｌｗである場合を示す。ガイド線Ｌｗは、仮想カメラ１０の軌跡を補助する線であり、ユーザは、ガイド線Ｌｗに沿って仮想カメラ１０を移動させることで、理想的なカメラ軌跡Ｔを描くことができる。
　なお、図１５の例では、ガイド線Ｌｗが半球の輪郭に沿って形成された同心円と、同心円と交差する稜線とを含む場合を示す。ここで、同心円と稜線との交点Ｃｐは、ガイド線Ｌｗに沿って仮想カメラ１０を移動させる場合に、キーフレームを設定する際の指標となる。
　すなわち、ユーザは、ガイド線Ｌｗに沿って仮想カメラ１０を移動させる場合に、交点Ｃｐ上でキーフレームの設定を行うことで、最終的なカメラ軌跡Ｔをガイド線Ｌｗに沿って設定することができる。なお、図１５に示すガイド線Ｌｗは、一例であり、これに限定されるものではなく、例えば、直線を含むようにしてもよい。また、ユーザ操作によって、ガイド線Ｌｗの同心円をそれぞれ広げたり、形状を任意に変更したりすることにしてもよい。
　図４の説明に戻り、補正部３６について説明する。補正部３６は、ユーザ操作によって設定されたキーフレームに基づいて、カメラ軌跡Ｔを補正する。なお、補正部３６によってカメラ軌跡Ｔが補正されると、第１生成部３２は、補正後のカメラ軌跡Ｔに基づいて、仮想カメラ視点映像を再生成することになる。
　そして、第１生成部３２によって再生成された仮想カメラ映像は、例えば、仮想スクリーンＳｃ１に表示される。これにより、ユーザは、映像生成装置１によって編集された仮想カメラ映像を確認することができる。また、ユーザは、所定の操作を行うことで、仮想カメラ映像をセーブすることができ、セーブした仮想カメラ映像が仮想カメラ映像情報２２として記憶部２に保存される。
　具体的には、補正部３６は、連続するキーフレームの撮像座標を時系列に沿って滑らかに繋いでいくことで、カメラ軌跡Ｔを補正する。すなわち、この場合においては、ユーザがキーフレームの設定を行うと、カメラ軌跡Ｔが補正されたカメラ視点映像を得ることができる。つまり、この場合においては、ユーザ操作に基づくカメラ軌跡Ｔのブレなどが自動的に補正されることになる。
　また、補正部３６は、ユーザ操作によって、キーフレームが追加または削除された場合に、追加または削除されたキーフレームに基づいてカメラ軌跡Ｔを補正する。なお、ここでのキーフレームの追加とは、連続するキーフレーム間の再生時刻の間に新たなキーフレームが挿入されたことを示す。
　補正部３６は、追加されたキーフレームの撮像位置と、追加されたキーフレームの前後のキーフレームの撮像位置とを時系列に沿って滑らかに繋いだ線を新たなカメラ軌跡とする。また、補正部３６は、キーフレームが削除された場合には、削除されたキーフレームの前後のキーフレームを滑らかに繋いだ軌跡を新たなカメラ軌跡とする。
　また、補正部３６は、連続するキーフレームに関する時系列変化に基づいて、カメラ軌跡Ｔを補正する。ここで、キーフレームに関する時系列変化とは、キーフレーム間の時間間隔、キーフレームの撮像位置の距離間隔を指す。
　補正部３６は、ユーザによる仮想カメラ映像の編集時において、ユーザが所定の操作を行うと、キーフレームの時間間隔が等しくなるように、１または複数のキーフレームの撮像位置を補正する。つまり、この場合においては、補正部３６は、補正したカメラ軌跡Ｔにおいて、時間間隔が等しくなる撮影時刻の仮想カメラ映像をキーフレームに設定する。
　同様に、補正部３６は、ユーザによる仮想カメラ映像の編集時において、ユーザが所定の操作を行うと、キーフレームの撮像位置の距離間隔が等しくなるように、１または複数のキーフレームの撮像位置を補正する。つまり、この場合においては、補正部３６は、補正したカメラ軌跡Ｔにおいて、撮像位置の距離間隔が等しくなる撮影時刻の仮想カメラ映像をキーフレームに設定する。このように、補正部３６は、キーフレームを補正することで、ユーザによる仮想カメラ映像の編集を容易にすることができる。
　また、補正部３６は、例えば、図１５に示したガイド線Ｌｗに基づいて、キーフレームの撮像位置を補正することで、カメラ軌跡Ｔを補正することにしてもよい。ここで、図１５～図１７を用いて、補正部３６による処理の一例について説明する。なお、以下では、キーフレームの撮像位置を対応するアイコンＡで示すとともに、アイコンＡの末尾に付した数字は、キーフレームを撮像した順序を示すものとする。
　図１５の例において、たとえば、ガイド線Ｌｗに沿って、アイコンＡ１～Ａ３に対応するキーフレームが設定され、アイコンＡ４に対応するキーフレームがガイド線Ｌｗから逸脱していた場合を示す。
　この場合、補正部３６は、アイコンＡ４がガイド線Ｌｗ上に設定されるように、キーフレームの撮像位置を補正する。すなわち、この場合においては、全てのキーフレームがガイド線Ｌｗに沿って撮影されたかのようにカメラ軌跡Ｔを補正することになる。
　このように、ガイド線Ｌｗに沿って、カメラ軌跡Ｔを補正することで、３次元オブジェクト１００を撮影するのに適したカメラ軌跡Ｔで仮想カメラ映像を生成することができる。なお、この場合においては、補正部３６は、図１５に示した交点Ｃｐ上にアイコンＡがくるようにキーフレームの撮像位置を補正することにしてもよい。
　また、上記のような補正を行うことを念頭にした場合には、ユーザがキーフレームを設定する際に、補正部３６は、現在の仮想カメラ１０から最も近くの交点Ｃｐ上でキーフレームが撮影されるように、仮想カメラ１０の位置を補正することにしてもよい。すなわち、この場合には、仮想カメラ１０が交点Ｃｐに吸い寄せられるかのように、仮想カメラ１０が移動すすることになる。なお、補正部３６は、交点Ｃｐのみならず、ガイド線Ｌｗに対して、上記の処理を行うことにしてもよい。
　また、上述のように、キーフレームに基づいて、カメラ軌跡Ｔを補正する場合には、補正されたカメラ軌跡Ｔがユーザの意図したカメラワークと異なる場合も想定される。このため、補正部３６は、ユーザ操作によって描かれた軌跡に基づいて、カメラ軌跡Ｔを補正することにしてもよい。
　具体的には、図１７に示す例では、アイコンＡ１からＡ３までのカメラ軌跡Ｔ１については、既に説明した処理によって、補正部３６が補正したカメラ軌跡Ｔである場合を示し、アイコンＡ３からアイコンＡ４については、ユーザ操作によって描かれたカメラ軌跡Ｔ２である場合を示す。
　なお、ユーザは、仮想カメラ映像の撮影時と同様に、右コントローラ６０ｂで軌跡を描くことで、かかる軌跡に基づいて、カメラ軌跡Ｔ２が設定される。つまり、この場合には、ユーザは、フリーハンドでカメラ軌跡Ｔ２を設定するとができるので、仮想視点映像におけるカメラワークを無限に拡張することができる。なお、カメラ軌跡Ｔ２については、ユーザが極短い間隔でキーフレームを設定することによっても実現可能である。
　また、図１８に示すように、補正部３６は、仮想カメラ映像からキーフレームを自動的に追加することにしてもよい。図１８の例では、既にアイコンＡ１～アイコンＡ４に対応するキーフレームが設定されていた場面を示す。
　例えば、この場合において、補正部３６は、補正前のカメラ軌跡Ｔに基づく仮想カメラ映像からおすすめ画像を抽出し、キーフレームに設定する。なお、おすすめの画像の抽出には、所定の画像解析アルゴリズムを用いることで行われる。また、どのような条件でおすすめ画像を抽出するかについては、ユーザが予め設定しておくことにしてもよい。
　図１８に示す例では、アイコンＡ５～アイコンＡ７に対応する３枚の画像を新たにキーフレームとして追加した場面を示す。そして、補正部３６は、キーフレームを追加すると、各キーフレームの時系列順序に沿ってカメラ軌跡Ｔを補正する。
　つまり、この場合には、自動抽出によって追加されたキーフレームを含むカメラ軌跡Ｔが生成されることになるので、ユーザがキーフレームを設定しなくとも適したカメラワークで撮影した仮想カメラ映像を得ることができる。
　その他、補正部３６は、ユーザ操作に応じて、３次元オブジェクト１００に対する照明態様を変更することも可能である。ここで、照明態様とは、３次元オブジェクト１００に対する照明ポジションや、照明を当てる範囲、照明の色温度などを含む。このように、照明態様を変更することで、照明による多様な演出を実現することができる。
　次に、図１９を用いて、実施形態に係る映像生成装置１が実行する処理手順について説明する。図１９は、実施形態に係る映像生成装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、仮想カメラ映像の生成時に、制御部３によって繰り返し実行される。
　図１９に示すように、まず、映像生成装置１は、仮想空間Ｓｖを含む３次元オブジェクト１００の再生時刻を進めると（ステップＳ１０１）、Ｒｏｌｌ変更無効中か否かを判定する（ステップＳ１０２）。なお、ステップＳ１０２の処理は、図９で説明した固定モードか否かを判定する処理である。
　映像生成装置１は、ステップＳ１０２の判定において、Ｒｏｌｌ変更無効中であると判定した場合（ステップＳ１０２，Ｙｅｓ）、ユーザ操作に応じて、水平方向を維持し、仮想空間Ｓｖにおける仮想カメラ１０の座標を更新する（ステップＳ１０３）。また、映像生成装置１は、ステップＳ１０２の判定において、Ｒｏｌｌ変更が有効であった場合（ステップＳ１０２，Ｎｏ）、コントローラ６０の軌跡に応じて仮想カメラ１０の座標を更新する（ステップＳ１０４）。
　続いて、映像生成装置１は、注目点Ｐが設定されているか否かを判定し（ステップＳ１０５）、注目点Ｐが設定されている場合（ステップＳ１０５，Ｙｅｓ）、仮想カメラ１０のアングルを注目点Ｐを撮影するアングルに設定する（ステップＳ１０６）。
　また、映像生成装置１は、ステップＳ１０５の判定において、注目点Ｐが設定されていない場合（ステップＳ１０５，Ｎｏ）、仮想カメラ１０のアングルをコントローラ６０の姿勢にあわせて設定する（ステップＳ１０７）。
　続いて、映像生成装置１は、キーフレームの設定を受け付けたか否かを判定し（ステップＳ１０８）、キーフレームの設置を受け付けた場合（ステップＳ１０８，Ｙｅｓ）、キーフレームに関する情報を保存する（ステップＳ１０９）。なお、ステップＳ１０８の判定において、キーフレームの設定を受け付けていない場合（ステップＳ１０８，Ｎｏ）、ステップＳ１０９の処理は、省略される。
　続いて、映像生成装置１は、ステップＳ１０１～ステップＳ１０７までの処理結果に基づいて、現在の再生時刻におけるカメラ視点映像を生成するとともに（ステップＳ１１０）、現在の再生時刻におけるユーザ視点映像を生成する（ステップＳ１１１）。なお、この際、ユーザ視点映像には、カメラ軌跡Ｔが含まれる。
　その後、映像生成装置１は、ステップＳ１１０およびステップＳ１１１にて生成した映像を表示装置５０へ出力して（ステップＳ１１２）、処理を終了する。
＜第２の実施形態＞
　次に、図２０および図２１を用いて、第２の実施形態に係る映像生成方法の概要について説明する。図２０は、第２の実施形態に係る映像生成方法の概要を示す図である。図２１は、第２の実施形態に係る表示装置の一例を示す図である。
　なお、第１の実施形態では仮想空間ＳｖがＶＲ空間であったのに対して、第２の実施形態では仮想空間ＳｖがＡＲ空間である点で異なる。
　図２０に示す例において、表示装置５０Ａは、スマートフォンである。なお、表示装置５０Ａは、スマートフォンに限定されず、実世界Ｓｒを撮影可能なカメラ機能を備えた機器であれば、その他の機器であってもよい。また、表示装置５０ＡがＡｒゴーグルであってもよいことは言うまでもない。
　図２０に示すように、例えば、ユーザが表示装置５０Ａで実世界Ｓｒを撮影すると、表示装置５０Ａには、実世界Ｓｒに仮想的に定位した３次元オブジェクト１００が実世界Ｓｒに存在しているかのような仮想空間Ｓａが表示される。
　図２１に示すように、例えば、ユーザは、表示装置５０Ａを動かすことで、表示装置５０Ａによって撮影される実世界Ｓｒの画角に応じて、３次元オブジェクト１００の表示位置が更新される。すなわち、この場合においては、表示装置５０Ａは、第１の実施形態における表示装置５０およびコントローラ６０の双方の機能を兼ねることになる。
　また、例えば、ユーザは、上述のキーフレームを表示装置５０Ａを操作することで設定することもでき、表示装置５０Ａにキーフレームを表示させることもできる。そして、ユーザは、表示装置５０Ａの傾きを変化させることで、キーフレームの画角等を調整することができる。
　このように、第２の実施形態に係る映像生成方法では、ＨＭＤよりも普及しているスマートフォンなどの機器を表示装置５０Ａとして用いる。これにより、多様なユーザが容易にカメラ視点映像を作成することが可能となる。また、第２の実施形態においては、仮想空間Ｓａの背景が実世界Ｓｒとなるので、３次元オブジェクト１００のデータさえあれば、ユーザが好きな場所を背景とする仮想視点映像を作成することができる。
　次に、図２２を用いて、第２の実施形態に係る映像生成装置の構成例について説明する。図２２は、第２の実施形態に係る映像生成装置のブロック図である。図２２に示す映像生成装置１Ａは、３Ｄデータ生成部３７を備える点で第１の実施形態に係る映像生成装置１と異なる。
　このため、図２２では、３Ｄデータ生成部３７について説明し、その他の構成については説明を省略することとする。３Ｄデータ生成部３７は、第１生成部３２によって生成される仮想カメラ映像の背景映像から３Ｄデータを生成する。
　言い換えれば、３Ｄデータ生成部３７は、ユーザが表示装置５０Ａを用いて撮影した実世界Ｓｒから３Ｄデータを生成する。つまり、第２の実施形態に係る映像生成装置１Ａにおいて、ユーザに対して仮想視点映像を生成するとともに、その背景映像から３Ｄデータを生成することができる。なお、３Ｄデータの生成には、既存のアルゴリズムを適宜用いることで行うことができる。
　これにより、多様な３次元仮想空間の３Ｄデータを生成することが可能となるので、多様な３次元空間を提供することが可能となる。なお、表示装置５０Ａとカメラ機能を備える機器とはそれぞれ別々の機器であってもよい。この場合、例えば、カメラを飛行体（いわゆるドローン）とすることにしてもよい。
　上述してきた各実施形態に係る映像生成装置、ＨＭＤ、コントローラ等の情報機器は、例えば図２３に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る映像生成装置１を例に挙げて説明する。図２３は、映像生成装置１の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る映像生成装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、受付部３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザ操作を受け付ける受付部と、
　前記受付部によって受け付けられたユーザ操作に基づいて３次元仮想空間内の仮想カメラを移動させることで、前記３次元仮想空間内の３次元オブジェクトを前記仮想カメラで撮影したカメラ視点映像を生成する第１生成部と、
　前記第１生成部によって生成された前記カメラ視点映像を表示する仮想スクリーンを前記３次元仮想空間内に配置するとともに、前記仮想カメラのカメラ軌跡を前記３次元仮想空間内に表示する表示制御部と
　を備える、映像生成装置。
（２）
　前記３次元仮想空間内に設定されたユーザ視点から当該３次元仮想空間内を見たユーザ視点映像を生成する第２生成部
　をさらに備え、
　前記表示制御部は、
　前記ユーザ視点映像に前記カメラ軌跡を表示する、
　上記（１）に記載の映像生成装置。
（３）
　前記表示制御部は、
　前記カメラ視点映像の再生箇所を示すシークバーを前記仮想スクリーンに表示し、前記受付部で受け付けられた前記シークバーに対するユーザ操作に応じて、前記３次元オブジェクトと、前記カメラ視点映像との再生箇所を変更する、
　上記（１）または（２）に記載の映像生成装置。
（４）
　前記受付部は、
　実空間内でコントローラを移動させる移動操作をユーザ操作として受け付け、
　前記第１生成部は、
　前記コントローラの軌跡にあわせて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
　上記（１）～（３）のいずれかに記載の映像生成装置。
（５）
　前記第１生成部は、
　前記仮想カメラの高さを固定する固定モードにおいて、前記仮想カメラの高さを固定しつつ、ユーザ操作に応じて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
　上記（１）～（４）のいずれかに記載の映像生成装置。
（６）
　前記受付部は、
　前記３次元オブジェクトに対する注目点の設定をユーザ操作として受け付け、
　前記第１生成部は、
　前記仮想カメラの画角の中心が前記注目点を向くように前記仮想カメラの姿勢を制御しつつ、ユーザ操作に応じて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
　上記（１）～（５）のいずれかに記載の映像生成装置。
（７）
　前記表示制御部は、
　前記３次元仮想空間内にメニュー画面を表示し、
　前記受付部は、
　前記メニュー画面に対するユーザ操作を受け付ける、
　上記（１）～（６）のいずれかに記載の映像生成装置。
（８）
　前記受付部は、
　前記カメラ視点映像におけるキーフレームの設定を受け付け、
　前記表示制御部は、
　前記カメラ軌跡に前記キーフレームの撮像位置を示すアイコンを表示する、
　上記（１）～（７）のいずれかに記載の映像生成装置。
（９）
　ユーザ操作によって設定された前記キーフレームに基づいて、前記カメラ軌跡を補正する補正部
　を備え、
　前記第１生成部は、
　前記カメラ視点映像の編集時において、前記補正部によって補正された前記カメラ軌跡を前記仮想カメラが移動した前記カメラ視点映像を再生成する、
　上記（８）に記載の映像生成装置。
（１０）
　前記表示制御部は、
　前記仮想カメラの軌跡を補助するガイド線を前記３次元仮想空間内に表示する、
　上記（９）に記載の映像生成装置。
（１１）
　前記補正部は、
　前記キーフレームが前記ガイド線上に設定されるように、前記キーフレームの撮像位置および撮像時刻を補正し、補正した前記キーフレームに応じて前記カメラ軌跡を補正する、
　上記（１０）に記載の映像生成装置。
（１２）
　前記補正部は、
　連続する２以上の前記キーフレームの時間間隔または連続する２以上の前記キーフレームの撮像位置の距離間隔が等しくなるように前記キーフレームの撮像位置を補正する、
　上記（９）～（１１）のいずれかに記載の映像生成装置。
（１３）
　前記補正部は、
　ユーザ操作によって、前記キーフレームが追加または削除された場合に、追加または削除された前記キーフレームに基づいて前記カメラ軌跡を補正する、
　上記（９）～（１２）のいずれかに記載の映像生成装置。
（１４）
　前記補正部は、
　ユーザ操作によって描かれた軌跡に基づいて、前記カメラ軌跡を補正する、
　上記（９）～（１３）のいずれかに記載の映像生成装置。
（１５）
　前記補正部は、
　ユーザ操作によって設定された前記３次元オブジェクトに対する照明態様に応じて、前記３次元オブジェクトに対する照明態様を変更する、
　上記（９）～（１４）のいずれかに記載の映像生成装置。
（１６）
　前記第１生成部は、
　前記カメラ視点映像におけるフレーム毎に前記３次元オブジェクトの画面サイズをメタ情報として対応付けた前記カメラ視点映像を生成する、
　上記（１）～（１５）のいずれかに記載の映像生成装置。
（１７）
　前記受付部は、
　前記３次元仮想空間内での前記ユーザ視点の位置及び視線方向に関するユーザ操作をさらに受け付け、
　前記第２生成部は、
　前記受付部で受け付けられた前記ユーザ操作に基づいて前記３次元仮想空間内での前記ユーザ視点の位置及び視線方向を制御する、
　上記（２）に記載の映像生成装置。
（１８）
　前記表示制御部は、
　前記ユーザ視点を前記カメラ軌跡に沿って移動させた前記ユーザ視点映像を表示する、
　上記（２）に記載の映像生成装置。
（１９）
　コンピュータが
　ユーザ操作を受け付け、
　受け付けたユーザ操作に基づいて、仮想カメラを移動させることで前記仮想カメラから３次元仮想空間である３次元オブジェクトを撮影した仮想視点映像を生成し、
　生成した前記仮想視点映像をユーザに対して表示しつつ、前記３次元オブジェクトとともに前記仮想カメラのカメラ軌跡を表示する、
　映像生成方法。
（２０）
　コンピュータを
　ユーザ操作を受け付ける受付部と、
　前記受付部によって受け付けられたユーザ操作に基づいて、仮想カメラを移動させることで前記仮想カメラから３次元映像である３次元オブジェクトを撮影した仮想視点映像を生成する生成部と、
　前記生成部によって生成された前記仮想視点映像をユーザに対して表示しつつ、前記３次元オブジェクトとともに前記仮想カメラのカメラ軌跡を表示する表示制御部と
　として機能させる、映像生成プログラム。
　　１、１Ａ　　　映像生成装置
　　１０　　　仮想カメラ
　　３０　　　受付部
　　３１　　検出部
　　３２　　第１生成部
　　３３　　第２生成部
　　３４　　設定部
　　３５　　表示制御部
　　３６　　補正部
　　３７　　３Ｄデータ生成部
　　５０、５０Ａ　　表示装置
　　６０　　コントローラ
　　Ｔ　　カメラ軌跡
　　Ｓｃ１　　仮想スクリーン

Claims (20)

  1. 　ユーザ操作を受け付ける受付部と、
    　前記受付部によって受け付けられたユーザ操作に基づいて３次元仮想空間内の仮想カメラを移動させることで、前記３次元仮想空間内の３次元オブジェクトを前記仮想カメラで撮影したカメラ視点映像を生成する第１生成部と、
    　前記第１生成部によって生成された前記カメラ視点映像を表示する仮想スクリーンを前記３次元仮想空間内に配置するとともに、前記仮想カメラのカメラ軌跡を前記３次元仮想空間内に表示する表示制御部と
    　を備える、映像生成装置。
  2. 　前記３次元仮想空間内に設定されたユーザ視点から当該３次元仮想空間内を見たユーザ視点映像を生成する第２生成部
    　をさらに備え、
    　前記表示制御部は、
    　前記ユーザ視点映像内に前記カメラ軌跡を表示する、
    　請求項１に記載の映像生成装置。
  3. 　前記表示制御部は、
    　前記カメラ視点映像の再生箇所を示すシークバーを前記仮想スクリーンに表示し、前記受付部で受け付けられた前記シークバーに対するユーザ操作に応じて、前記３次元オブジェクトと、前記カメラ視点映像との再生箇所を変更する、
    　請求項１に記載の映像生成装置。
  4. 　前記受付部は、
    　実空間内でコントローラを移動させる移動操作をユーザ操作として受け付け、
    　前記第１生成部は、
    　前記コントローラの軌跡にあわせて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
    　請求項１に記載の映像生成装置。
  5. 　前記第１生成部は、
    　前記仮想カメラの高さを固定する固定モードにおいて、前記仮想カメラの高さを固定しつつ、ユーザ操作に応じて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
    　請求項１に記載の映像生成装置。
  6. 　前記受付部は、
    　前記３次元オブジェクトに対する注目点の設定をユーザ操作として受け付け、
    　前記第１生成部は、
    　前記仮想カメラの画角の中心が前記注目点を向くように前記仮想カメラの姿勢を制御しつつ、ユーザ操作に応じて前記仮想カメラを移動させた前記カメラ視点映像を生成する、
    　請求項１に記載の映像生成装置。
  7. 　前記表示制御部は、
    　前記３次元仮想空間内にメニュー画面を表示し、
    　前記受付部は、
    　前記メニュー画面に対するユーザ操作を受け付ける、
    　請求項１に記載の映像生成装置。
  8. 　前記受付部は、
    　前記カメラ視点映像におけるキーフレームの設定を受け付け、
    　前記表示制御部は、
    　前記カメラ軌跡に前記キーフレームの撮像位置を示すアイコンを表示する、
    　請求項１に記載の映像生成装置。
  9. 　ユーザ操作によって設定された前記キーフレームに基づいて、前記カメラ軌跡を補正する補正部
    　を備え、
    　前記第１生成部は、
    　前記カメラ視点映像の編集時において、前記補正部によって補正された前記カメラ軌跡を前記仮想カメラが移動した前記カメラ視点映像を再生成する、
    　請求項８に記載の映像生成装置。
  10. 　前記表示制御部は、
    　前記仮想カメラの軌跡を補助するガイド線を前記３次元仮想空間内に表示する、
    　請求項９に記載の映像生成装置。
  11. 　前記補正部は、
    　前記キーフレームが前記ガイド線上に設定されるように、前記キーフレームの撮像位置および撮像時刻を補正し、補正した前記キーフレームに応じて前記カメラ軌跡を補正する、
    　請求項１０に記載の映像生成装置。
  12. 　前記補正部は、
    　連続する２以上の前記キーフレームの時間間隔または連続する２以上の前記キーフレームの撮像位置の距離間隔が等しくなるように前記キーフレームの撮像位置を補正する、
    　請求項９に記載の映像生成装置。
  13. 　前記補正部は、
    　ユーザ操作によって、前記キーフレームが追加または削除された場合に、追加または削除された前記キーフレームに基づいて前記カメラ軌跡を補正する、
    　請求項９に記載の映像生成装置。
  14. 　前記補正部は、
    　ユーザ操作によって描かれた軌跡に基づいて、前記カメラ軌跡を補正する、
    　請求項９に記載の映像生成装置。
  15. 　前記補正部は、
    　ユーザ操作によって設定された前記３次元オブジェクトに対する照明態様に応じて、前記３次元オブジェクトに対する照明態様を変更する、
    　請求項９に記載の映像生成装置。
  16. 　前記第１生成部は、
    　前記カメラ視点映像におけるフレーム毎に前記３次元オブジェクトの画面サイズをメタ情報として対応付けた前記カメラ視点映像を生成する、
    　請求項１に記載の映像生成装置。
  17. 　前記受付部は、
    　前記３次元仮想空間内での前記ユーザ視点の位置及び視線方向に関するユーザ操作をさらに受け付け、
    　前記第２生成部は、
    　前記受付部で受け付けられた前記ユーザ操作に基づいて前記３次元仮想空間内での前記ユーザ視点の位置及び視線方向を制御する、
    　請求項２に記載の映像生成装置。
  18. 　前記表示制御部は、
    　前記ユーザ視点を前記カメラ軌跡に沿って移動させた前記ユーザ視点映像を表示する、
    　請求項２に記載の映像生成装置。
  19. 　コンピュータが
    　ユーザ操作を受け付け、
    　受け付けたユーザ操作に基づいて、仮想カメラを移動させることで前記仮想カメラから３次元仮想空間である３次元オブジェクトを撮影した仮想視点映像を生成し、
    　生成した前記仮想視点映像をユーザに対して表示しつつ、前記３次元オブジェクトとともに前記仮想カメラのカメラ軌跡を表示する、
    　映像生成方法。
  20. 　コンピュータを
    　ユーザ操作を受け付ける受付部と、
    　前記受付部によって受け付けられたユーザ操作に基づいて、仮想カメラを移動させることで前記仮想カメラから３次元映像である３次元オブジェクトを撮影した仮想視点映像を生成する生成部と、
    　前記生成部によって生成された前記仮想視点映像をユーザに対して表示しつつ、前記３次元オブジェクトとともに前記仮想カメラのカメラ軌跡を表示する表示制御部と
    　として機能させる、映像生成プログラム。
PCT/JP2020/047058 2019-12-23 2020-12-16 映像生成装置、映像生成方法および映像生成プログラム WO2021131991A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/780,777 US20220414991A1 (en) 2019-12-23 2020-12-16 Video generation apparatus, method for generating video, and program of generating video
EP20906453.4A EP4083991A4 (en) 2019-12-23 2020-12-16 Image generation device, image generation method, and image generation program
CN202080087378.3A CN114830184A (zh) 2019-12-23 2020-12-16 视频生成装置、视频生成方法和视频生成程序
JP2021567349A JPWO2021131991A1 (ja) 2019-12-23 2020-12-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-232164 2019-12-23
JP2019232164 2019-12-23

Publications (1)

Publication Number Publication Date
WO2021131991A1 true WO2021131991A1 (ja) 2021-07-01

Family

ID=76573259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047058 WO2021131991A1 (ja) 2019-12-23 2020-12-16 映像生成装置、映像生成方法および映像生成プログラム

Country Status (5)

Country Link
US (1) US20220414991A1 (ja)
EP (1) EP4083991A4 (ja)
JP (1) JPWO2021131991A1 (ja)
CN (1) CN114830184A (ja)
WO (1) WO2021131991A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016006627A (ja) * 2014-05-28 2016-01-14 ソニー株式会社 画像処理装置と画像処理方法
WO2016088437A1 (ja) 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017093946A (ja) * 2015-11-27 2017-06-01 株式会社コロプラ 画像表示方法及びプログラム
JP2017181666A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2018106496A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018107793A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 仮想視点画像の生成装置、生成方法及びプログラム
US20190083885A1 (en) * 2017-09-19 2019-03-21 Canon Kabushiki Kaisha System and method of configuring a virtual camera
JP6522092B1 (ja) * 2017-12-06 2019-05-29 株式会社スクウェア・エニックス 表示システム及び表示方法
JP2019160318A (ja) * 2018-03-13 2019-09-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019168962A (ja) * 2018-03-23 2019-10-03 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3499897B1 (en) * 2016-08-10 2021-05-19 Panasonic Intellectual Property Corporation of America Camerawork generating method and video processing device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2016006627A (ja) * 2014-05-28 2016-01-14 ソニー株式会社 画像処理装置と画像処理方法
WO2016088437A1 (ja) 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017093946A (ja) * 2015-11-27 2017-06-01 株式会社コロプラ 画像表示方法及びプログラム
JP2017181666A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2018106496A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018107793A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 仮想視点画像の生成装置、生成方法及びプログラム
US20190083885A1 (en) * 2017-09-19 2019-03-21 Canon Kabushiki Kaisha System and method of configuring a virtual camera
JP6522092B1 (ja) * 2017-12-06 2019-05-29 株式会社スクウェア・エニックス 表示システム及び表示方法
JP2019160318A (ja) * 2018-03-13 2019-09-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019168962A (ja) * 2018-03-23 2019-10-03 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083991A4

Also Published As

Publication number Publication date
EP4083991A1 (en) 2022-11-02
CN114830184A (zh) 2022-07-29
US20220414991A1 (en) 2022-12-29
EP4083991A4 (en) 2023-06-28
JPWO2021131991A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
KR102032082B1 (ko) 데이지 체인 접속이 있는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
US9927948B2 (en) Image display apparatus and image display method
CN109565580B (zh) 信息处理设备、图像生成方法、控制方法和程序
CN109565582B (zh) 控制装置及其控制方法和计算机可读存储介质
EP2583449B1 (en) Mobile and server-side computational photography
US11783864B2 (en) Integration of audio into a multi-view interactive digital media representation
US20230410332A1 (en) Structuring visual data
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6523493B1 (ja) プログラム、情報処理装置、及び情報処理方法
KR20100043138A (ko) 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램
US11252398B2 (en) Creating cinematic video from multi-view capture data
JP6628343B2 (ja) 装置および関連する方法
CN114286142A (zh) 一种虚拟现实设备及vr场景截屏方法
JP2017208676A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
CN105324994A (zh) 用于生成多投影图像的方法和系统
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
KR20110103692A (ko) 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법
JP2022510658A (ja) 仮想カメラパスを決定するシステム及び方法
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20160344946A1 (en) Screen System
US20230353717A1 (en) Image processing system, image processing method, and storage medium
WO2021131991A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
EP4125044A2 (en) Image processing apparatus, image processing method, and program
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20906453

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567349

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020906453

Country of ref document: EP

Effective date: 20220725