WO2021070650A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021070650A1
WO2021070650A1 PCT/JP2020/036519 JP2020036519W WO2021070650A1 WO 2021070650 A1 WO2021070650 A1 WO 2021070650A1 JP 2020036519 W JP2020036519 W JP 2020036519W WO 2021070650 A1 WO2021070650 A1 WO 2021070650A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
image
virtual viewpoint
integration
cameras
Prior art date
Application number
PCT/JP2020/036519
Other languages
English (en)
French (fr)
Inventor
浅井　聡
陽 野々山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/766,078 priority Critical patent/US11954777B2/en
Priority to CN202080069533.9A priority patent/CN114502246A/zh
Publication of WO2021070650A1 publication Critical patent/WO2021070650A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6669—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera using a plurality of virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character change rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and particularly to an image processing device, an image processing method, and a program suitable for use when generating a moving image using a 3D model.
  • the image of the object based on an arbitrary viewpoint can be reproduced, so it is expected that the range of expression of the moving image will be expanded.
  • This technology was made in view of such a situation, and makes it possible to expand the range of expression of moving images generated by using a 3D model.
  • the image processing device on one side of the present technology includes a virtual camera setting unit that sets a virtual camera and a virtual viewpoint image generation unit that generates a virtual viewpoint image that is an image when a 3D object is viewed from the viewpoint of the virtual camera.
  • the virtual camera setting unit includes a compositing unit that generates a composite image based on the plurality of virtual viewpoint images, and a moving image generation unit that generates a moving image including the virtual viewpoint image or a frame based on the composite image. After arranging the plurality of the virtual cameras, at least one of the plurality of the virtual cameras is moved to integrate the plurality of the virtual cameras.
  • the image processing method of one aspect of the present technology is to set a virtual camera, generate a virtual viewpoint image which is an image when a 3D object is viewed from the viewpoint of the virtual camera, and synthesize based on the plurality of the virtual viewpoint images.
  • An image processing device that generates an image and generates a moving image including a frame based on the virtual viewpoint image or the composite image moves at least one of the virtual cameras after arranging the plurality of virtual cameras. Integrate the plurality of the virtual cameras.
  • the program of one aspect of the present technology sets a virtual camera, generates a virtual viewpoint image which is an image when a 3D object is viewed from the viewpoint of the virtual camera, and creates a composite image based on a plurality of the virtual viewpoint images.
  • a virtual viewpoint image which is an image when a 3D object is viewed from the viewpoint of the virtual camera
  • a plurality of virtual cameras are arranged, at least one of the plurality of virtual cameras is moved, and the plurality of the virtual cameras are integrated.
  • Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 10.
  • FIG. 1 is a block diagram showing an embodiment of an image processing device 11 to which the present technology is applied.
  • the image processing device 11 is a device that generates a moving image using a 3D model.
  • the type and generation method of the 3D model are not particularly limited.
  • the 3D model may be generated based on images taken from a plurality of directions so as to surround the periphery of a real object (subject), or may be artificially generated using computer graphics or the like. It may be an object.
  • the 3D model may be, for example, a model in which texture information is superimposed on polygons, or a model in which texture information is superimposed on a point cloud.
  • the number of objects (hereinafter referred to as 3D objects) in the 3D model is not particularly limited. That is, only one 3D object (for example, one person) may exist in the 3D model, or a plurality of 3D objects (for example, a plurality of people) may exist.
  • the image processing device 11 includes an input unit 21, an image processing unit 22, a storage unit 23, and a display unit 24.
  • the input unit 21 is provided with various input devices, for example, and is used for inputting data (for example, 3D model data) and instructions (for example, virtual camera setting instructions) necessary for processing of the image processing device 11.
  • the input unit 21 supplies the input data, instructions, and the like to the image processing unit 22 and stores the input data and instructions in the storage unit 23.
  • the virtual camera setting unit 31 sets the virtual camera used to generate the virtual viewpoint image based on the setting instruction or the like input by the user via the input unit 21. For example, the virtual camera setting unit 31 sets the position, orientation, focal length (angle of view), etc. of the virtual camera in the 3D space where the 3D model exists. The virtual camera setting unit 31 supplies the virtual camera setting information to the virtual viewpoint image generation unit 32.
  • the virtual viewpoint image generation unit 32 is based on the 3D model data input via the input unit 21 or stored in the storage unit 23 and the virtual camera set by the virtual camera setting unit 31. Generate a virtual viewpoint image.
  • the virtual viewpoint image is, for example, a virtual image when a 3D object in a 3D model is viewed from a viewpoint from a virtual camera (hereinafter referred to as a virtual viewpoint). More specifically, the virtual viewpoint image is a virtual image that is assumed to be obtained when a 3D object in the 3D model is photographed at a set focal length from the position and orientation of the virtual camera.
  • the virtual viewpoint image generation unit 32 supplies the generated virtual viewpoint image to the synthesis unit 33 and the moving image generation unit 34, or stores the generated virtual viewpoint image in the storage unit 23, if necessary.
  • the compositing unit 33 generates a compositing image based on virtual viewpoint images generated based on a plurality of different virtual cameras.
  • the compositing unit 33 supplies the generated composite image to the moving image generation unit 34 or stores it in the storage unit 23, if necessary.
  • the moving image generation unit 34 generates a frame based on the virtual viewpoint image or the composite image, and generates a moving image including the generated frame.
  • the moving image generation unit 34 stores the generated moving image in the storage unit 23 or supplies the generated moving image to the display unit 24, if necessary.
  • the display unit 24 includes, for example, a display including an LCD (Liquid Crystal Display), an organic EL display, or the like.
  • the display unit 24 displays a moving image supplied from the moving image generation unit 34, a moving image stored in the storage unit 23, a virtual viewpoint image, a composite image, and the like.
  • This process is started, for example, when the user inputs an instruction to generate a moving image via the input unit 21.
  • step S1 the virtual camera setting unit 31 sets the virtual camera.
  • the virtual camera setting unit 31 sets the position, orientation, focal length, etc. of the virtual camera in the 3D space based on the setting instruction input by the user via the input unit 21.
  • the virtual camera setting unit 31 sets the position, orientation, focal length, etc. of the virtual camera in the 3D space according to a preset algorithm, rule, or the like.
  • a plurality of virtual cameras may be arranged for one 3D object.
  • a virtual camera may be individually arranged for each 3D object, or a common virtual camera may be arranged for the plurality of 3D objects. ..
  • the virtual camera setting unit 31 generates virtual camera setting information and supplies it to the virtual viewpoint image generation unit 32.
  • the virtual camera setting information includes, for example, parameters such as the position, orientation, and focal length of each virtual camera in 3D space, and information about the target 3D object of each virtual camera.
  • step S2 the virtual viewpoint image generation unit 32 generates a virtual viewpoint image based on the set virtual camera.
  • the virtual viewpoint image generation unit 32 acquires the data of the 3D model including the 3D object for which the virtual viewpoint image is generated.
  • the 3D model data may be input from the outside via the input unit 21, or may be stored in the storage unit 23 in advance.
  • the virtual viewpoint image generation unit 32 generates a virtual viewpoint image for each combination of the virtual camera and the 3D object. That is, the virtual viewpoint image generation unit 32 generates a virtual viewpoint image when the target 3D object is viewed from the viewpoint (virtual viewpoint) of each virtual camera for each virtual camera.
  • step S3 the virtual viewpoint image generation unit 32 determines whether or not a plurality of virtual viewpoint images have been generated. If it is determined that a plurality of virtual viewpoint images have been generated, the process proceeds to step S4.
  • step S4 the compositing unit 33 generates a compositing image.
  • the virtual viewpoint image generation unit 32 supplies a plurality of virtual viewpoint images generated in the process of step S2 to the synthesis unit 33.
  • the compositing unit 33 generates a compositing image based on the acquired plurality of virtual viewpoint images.
  • the synthesis unit 33 supplies the generated composite image to the moving image generation unit 34.
  • the method of generating the composite image is not particularly limited.
  • the compositing unit 33 generates a compositing image by arranging a plurality of virtual viewpoint images.
  • the compositing unit 33 generates a composite image by superimposing a plurality of virtual viewpoint images.
  • the compositing unit 33 generates a compositing image by cutting out a region including a 3D object from each virtual viewpoint image and arranging it in one image.
  • step S5 the moving image generation unit 34 adds a frame based on the composite image to the moving image. Specifically, the moving image generation unit 34 generates a frame constituting the moving image based on the acquired composite image. At this time, for example, the moving image generation unit 34 may combine an image such as a background with a composite image, if necessary. The moving image generation unit 34 adds the generated frame as the latest frame to the moving image being generated.
  • step S3 determines whether one virtual viewpoint image has been generated. If it is determined in step S3 that one virtual viewpoint image has been generated, the process proceeds to step S6.
  • step S6 the moving image generation unit 34 adds a frame based on the virtual viewpoint image to the moving image.
  • the virtual viewpoint image generation unit 32 supplies the virtual viewpoint image generated in the process of step S2 to the moving image generation unit 34.
  • the moving image generation unit 34 generates a frame constituting the moving image based on the acquired virtual viewpoint image. At this time, for example, the moving image generation unit 34 may combine an image such as a background with a virtual viewpoint image, if necessary. The moving image generation unit 34 adds the generated frame as the latest frame to the moving image being generated.
  • step S7 the moving image generation unit 34 determines whether or not to end the process. If it is determined that the process is not completed, the process returns to step S1.
  • step S7 the processes of steps S1 to S7 are repeatedly executed until it is determined that the process is completed.
  • the virtual viewpoint image is generated based on the virtual camera, the composite image is generated as needed, and the process of adding the virtual viewpoint image or the frame based on the composite image to the moving image is repeated.
  • step S7 the moving image generation unit 34 determines that the process is terminated when, for example, an instruction to stop the generation of the moving image is input by the user via the input unit 21.
  • a moving image is generated using the 3D model.
  • 3D objects 101a to 3D objects 101e are arranged in the horizontal direction in the 3D space.
  • 3D objects 101 when it is not necessary to individually distinguish the 3D objects 101a to 3D objects 101e, they are simply referred to as 3D objects 101. Further, hereinafter, the surface on which the alphabet of each 3D object 101 is described is referred to as the front surface of each 3D object 101.
  • each 3D object 101 may be included in different 3D models or may be included in the same 3D model.
  • each object is photographed individually, and a plurality of 3D models including the 3D object 101 corresponding to each object are generated. Then, each 3D model including each 3D object 101 is individually arranged in the 3D space. Therefore, in this case, the relative position between each 3D object 101 in the 3D space is variable.
  • each object is photographed at the same time, and one 3D model including all 3D objects 101 corresponding to each object is generated. Then, a 3D model including all 3D objects 101 is arranged in the 3D space. Therefore, in this case, the relative position between each 3D object 101 in the 3D space is fixed.
  • the virtual camera setting unit 31 individually arranges the virtual cameras 102a to 102e with respect to the 3D objects 101a to 3D objects 101e.
  • the virtual camera 102 when it is not necessary to individually distinguish the virtual camera 102a to the virtual camera 102e, it is simply referred to as the virtual camera 102.
  • Each virtual camera 102 is arranged so as to face the front of the corresponding 3D object 101 at a position separated from the front of the corresponding 3D object 101 by a predetermined distance.
  • the virtual viewpoint image generation unit 32 generates a virtual viewpoint image including the corresponding 3D object 101 based on each virtual camera 102.
  • the compositing unit 33 generates a composite image obtained by synthesizing an image obtained by cutting out a rectangular area of the same size including each 3D object 101 from each virtual viewpoint image. Specifically, the compositing unit 33 generates a composite image 121-1 in which the images 122a-1 to 122e-1 are arranged side by side.
  • the image 122a-1 is an image obtained by cutting out a rectangular area including the 3D object 101a from the virtual viewpoint image generated based on the virtual camera 102a.
  • the image 122b-1 is an image obtained by cutting out a rectangular area including the 3D object 101b from the virtual viewpoint image generated based on the virtual camera 102b.
  • the image 122c-1 is an image obtained by cutting out a rectangular area including the 3D object 101c from the virtual viewpoint image generated based on the virtual camera 102c.
  • the image 122d-1 is an image obtained by cutting out a rectangular area including the 3D object 101d from the virtual viewpoint image generated based on the virtual camera 102d.
  • the image 122e-1 is an image obtained by cutting out a rectangular area including the 3D object 101e from the virtual viewpoint image generated based on the virtual camera 102e.
  • the moving image generation unit 34 generates a frame based on the composite image 121-1 and adds it to the moving image.
  • the virtual camera setting unit 31 moves each virtual camera 102 in the direction of integrating them into one.
  • the virtual camera 102c moves backward (in the direction away from the 3D object 101c) while facing the front of the 3D object 101c.
  • the virtual camera 102a and the virtual camera 102b move in a direction approaching the virtual camera 102c (diagonally to the right and backward) without changing the orientation.
  • the virtual camera 102d and the virtual camera 102e move in a direction approaching the virtual camera 102c (diagonally to the left and backward) without changing the orientation.
  • the virtual viewpoint image generation unit 32 generates a plurality of virtual viewpoint images including each 3D object 101 based on each virtual camera 102 until each virtual camera 102 is integrated.
  • the compositing unit 33 generates a composite image obtained by synthesizing an image obtained by cutting out a rectangular area of the same size including each 3D object 101 from each virtual viewpoint image. Specifically, the compositing unit 33 generates a composite image 121-2 in which the images 122a-2 to 122e-2 are arranged side by side.
  • the image 122a-2 is an image obtained by cutting out a rectangular area including the 3D object 101a from the virtual viewpoint image generated based on the virtual camera 102a.
  • the image 122b-2 is an image obtained by cutting out a rectangular area including the 3D object 101b from the virtual viewpoint image generated based on the virtual camera 102b.
  • the image 122c-2 is an image obtained by cutting out a rectangular area including the 3D object 101c from the virtual viewpoint image generated based on the virtual camera 102c.
  • the image 122d-2 is an image obtained by cutting out a rectangular area including the 3D object 101d from the virtual viewpoint image generated based on the virtual camera 102d.
  • the image 122e-2 is an image obtained by cutting out a rectangular area including the 3D object 101e from the virtual viewpoint image generated based on the virtual camera 102e.
  • the moving image generation unit 34 generates a frame based on the composite image 121-2 and adds it to the moving image.
  • the virtual camera setting unit 31 finally integrates each virtual camera 102 into the virtual camera 102f.
  • the number of frames of the moving image generated before each virtual camera 102 is integrated into the virtual camera 102f is arbitrary. That is, at an arbitrary point on the orbit in which each virtual camera 102 moves, a virtual viewpoint image based on each virtual camera is generated, a composite image based on the virtual viewpoint image is generated, and a frame of a moving image based on the composite image is generated. It is possible to do. By repeating this process, frames of a virtual viewpoint image, a composite image, and a moving image are generated at each point on the orbit in which each virtual camera 102 moves. That is, a plurality of frames of the virtual viewpoint image, the composite image, and the moving image are generated.
  • the virtual viewpoint image generation unit 32 generates the virtual viewpoint images 121-N including the 3D objects 101a to 3D objects 101e shown in FIG. 8 based on the virtual camera 102f.
  • the moving image generation unit 34 generates a frame based on the virtual viewpoint image 121-N and adds it to the moving image.
  • the frame based on the composite image based on the plurality of virtual viewpoint images corresponding to each virtual camera before integration and the frame based on the virtual viewpoint image corresponding to the virtual camera after integration are continuous.
  • each 3D object 101 may be moving or stationary while each virtual camera 102 is moving.
  • different virtual cameras are arranged for each 3D object 101, and while moving in the direction in which each virtual camera is integrated, a frame of a moving image based on a composite image based on a plurality of virtual viewpoint images corresponding to each virtual camera. Is generated. A video frame based on the virtual viewpoint image corresponding to the virtual camera after each virtual camera is integrated is generated.
  • the number of 3D objects 101 is arbitrary. For example, it is possible to reduce the number of 3D objects 101 to one.
  • each virtual camera 102 moves so as to be finally integrated. In this case, the same 3D object is included in each virtual viewpoint image.
  • the number of virtual cameras 102 can be set to any number of 2 or more. Further, the number of 3D objects 101 and the number of virtual cameras 102 do not necessarily have to match.
  • one or more virtual cameras 102 are arranged so as to include a plurality of 3D objects 101 within the angle of view.
  • each virtual camera 102 may be arranged so as to include all the 3D objects 101 within the angle of view, and then each virtual camera 102 may be moved so as to be integrated.
  • each virtual viewpoint image will include a plurality of the same 3D objects.
  • not all virtual cameras 102 need to move.
  • the other virtual cameras 102 may move in the direction of the fixed virtual camera 102, and each virtual camera 102 may be integrated.
  • the virtual cameras 102 may be integrated in order.
  • each virtual camera 102 may be integrated into the virtual camera 102f and then separated again.
  • the virtual camera setting unit 31 arranges three virtual cameras (not shown) around the 3D object 142 so as to surround the 3D object 142.
  • the three virtual cameras are arranged around the 3D object 142 at the same angle (ie, 120 degree intervals).
  • the virtual viewpoint image generation unit 32 generates three virtual viewpoint images including the same 3D object based on each virtual camera.
  • the 3D objects in each virtual viewpoint image are images viewed from virtual viewpoints that differ by 120 degrees.
  • the compositing unit 33 cuts out an image of a 3D object from each virtual viewpoint image and combines it into one image to generate a composite image. For example, as shown in FIG. 9, the compositing unit 33 synthesizes the 3D objects 142a to 3D objects 142c (images) extracted from each virtual viewpoint image in the composite image 141.
  • the compositing unit 33 arranges the 3D objects 142a to 3D objects 142c around the axes at equal intervals (that is, at 120-degree intervals) around a predetermined vertical axis in the composite image 141.
  • the moving image generation unit 34 generates a frame based on the composite image 141 and adds it to the moving image.
  • the virtual camera setting unit 31 fixes the position and orientation of each virtual camera.
  • the compositing unit 33 synthesizes the 3D objects 142a to 3D objects 142c into the composite image so as to rotate around the above-mentioned axis while maintaining the interval of 120 degrees, for example, between the frames.
  • the 3D object 142a to the 3D object 142a in which the same 3D object 142 is viewed from different virtual viewpoints have an effect of rotating around a predetermined axis like a kaleidoscope.
  • the number of virtual cameras can be set to any number of 2 or more.
  • the placement of the virtual camera is arbitrary.
  • the virtual cameras do not necessarily have to be evenly spaced around the 3D object.
  • the virtual camera may be moved.
  • a plurality of virtual cameras may be rotated around the 3D object around the 3D object.
  • the virtual camera setting unit 31 arranges different virtual cameras with respect to a plurality of 3D objects so as to have the same positional relationship. That is, the virtual camera setting unit 31 arranges each virtual camera in the same position and orientation for each 3D object.
  • the virtual viewpoint image generation unit 32 repeats the process of generating a plurality of virtual viewpoint images individually including each 3D object at the same timing based on each virtual camera.
  • the moving image generation unit 34 selects one from the virtual viewpoint images including different 3D objects, generates a frame based on the selected virtual viewpoint image, and repeats the process of adding to the moving image. At this time, for example, the moving image generation unit 34 continuously generates a plurality of frames based on the virtual viewpoint image including a certain 3D object, and then continuously generates a plurality of frames based on the virtual viewpoint image including another 3D object. Generate.
  • the 3D object can be instantly displayed on the moving image by switching the virtual viewpoint image used for generating the moving image.
  • the effect is as if they were replaced.
  • the person 162 which is a 3D object in the frame 161 of FIG. 10, appears to be instantly replaced by a different person in the next frame.
  • the virtual camera setting unit 31 arranges the virtual camera so that the virtual viewpoint matches the viewpoint of each person.
  • the virtual viewpoint image generation unit 32 repeats the process of generating a plurality of virtual viewpoint images viewed from each person's viewpoint at the same timing based on each virtual camera.
  • the moving image generation unit 34 selects one from a plurality of virtual viewpoint images based on the virtual viewpoint, generates a frame based on the selected virtual viewpoint image, and repeats the process of adding to the moving image. At this time, for example, the moving image generation unit 34 continuously generates a plurality of frames based on the virtual viewpoint image viewed from the viewpoint of a certain person, and then generates a plurality of frames based on the virtual viewpoint image viewed from the viewpoint of another person. Generate frames continuously.
  • the range of expression of the moving image generated by using the 3D model can be expanded.
  • the number, arrangement, movement, etc. of the virtual cameras mentioned above are examples, and can be changed arbitrarily.
  • the number, type, arrangement, movement, etc. of the above-mentioned 3D objects are also examples, and can be changed arbitrarily.
  • FIG. 11 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 and installed in the recording unit 1008 via a wired or wireless transmission medium. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • the virtual camera setting section that sets the virtual camera and A virtual viewpoint image generation unit that generates a virtual viewpoint image, which is an image when a 3D object is viewed from the viewpoint of the virtual camera, and a virtual viewpoint image generation unit.
  • a compositing unit that generates a composite image based on the plurality of virtual viewpoint images, It is provided with a moving image generation unit that generates a moving image including a frame based on the virtual viewpoint image or the composite image.
  • the virtual camera setting unit is an image processing device that integrates a plurality of the virtual cameras by arranging the plurality of the virtual cameras and then moving at least one of the plurality of the virtual cameras.
  • the virtual viewpoint image generation unit is a plurality of pre-integration virtual viewpoint images which are the virtual viewpoint images based on each of the virtual cameras before integration, and after integration which is the virtual viewpoint image based on the virtual camera after integration. Generate a virtual viewpoint image and The synthesis unit generates a pre-integration composite image which is the composite image based on the plurality of pre-integration virtual viewpoint images.
  • the virtual viewpoint image generation unit generates a plurality of frames of the plurality of pre-integration virtual viewpoint images based on each of the virtual cameras until the virtual cameras are integrated.
  • the synthesis unit generates the pre-integration composite image of a plurality of frames based on the plurality of pre-integration virtual viewpoint images of each frame.
  • the image processing apparatus according to (2), wherein the moving image generation unit generates a plurality of frames of the pre-integration frame based on the pre-integration composite image of each frame.
  • Each of the pre-integration virtual viewpoint images contains different 3D objects.
  • the image processing device according to any one of (2) to (4) above, wherein the integrated virtual viewpoint image includes all the different 3D objects.
  • the compositing unit generates the composite image obtained by compositing the images of the 3D objects in the pre-integration virtual viewpoint images.
  • each of the pre-integration virtual viewpoint image and the post-integration virtual viewpoint image includes the same 3D object.
  • each of the pre-integration virtual viewpoint image and the post-integration virtual viewpoint image includes the same plurality of 3D objects.
  • the virtual camera setting unit arranges a plurality of the virtual cameras so as to surround the 3D object.
  • the virtual viewpoint image generation unit generates a plurality of the virtual viewpoint images based on each of the virtual cameras.
  • the compositing unit generates the composite image in which the image of the 3D object in each virtual viewpoint image is arranged around a predetermined axis, and rotates the image of the 3D object around the axis between frames.
  • the image processing apparatus according to any one of (1) to (8), wherein the moving image generation unit generates a moving image including a plurality of frames based on the composite image of each frame.
  • the virtual camera setting unit equalizes the angle intervals between the virtual cameras centered on the 3D object.
  • the virtual camera setting unit arranges different virtual cameras for a plurality of 3D objects so as to have the same positional relationship.
  • the virtual viewpoint image generation unit generates a plurality of the virtual viewpoint images including each of the 3D objects based on each of the virtual cameras.
  • the moving image generation unit generates a frame based on the virtual viewpoint image selected from the plurality of virtual viewpoint images, and switches the virtual viewpoint image used for generating the frame in the middle of the moving image (1) to (1).
  • the image processing apparatus according to any one of 10).
  • (12) The image processing device according to any one of (1) to (11) above, wherein the virtual camera setting unit sets the position and orientation of the virtual camera in a 3D space in which a 3D object is arranged.
  • the image processing device wherein the virtual camera setting unit further sets the focal length of the virtual camera.
  • a virtual camera is set, a virtual viewpoint image which is an image when a 3D object is viewed from the viewpoint of the virtual camera is generated, a composite image based on a plurality of the virtual viewpoint images is generated, and the virtual viewpoint image or the said An image processing device that generates a moving image containing a frame based on a composite image
  • An image processing method in which after arranging a plurality of the virtual cameras, at least one of the plurality of the virtual cameras is moved to integrate the plurality of the virtual cameras.
  • a virtual camera is set, a virtual viewpoint image which is an image when a 3D object is viewed from the viewpoint of the virtual camera is generated, a composite image based on a plurality of the virtual viewpoint images is generated, and the virtual viewpoint image or the said To the computer of the image processing device that generates a moving image containing a frame based on a composite image, A program for arranging a plurality of the virtual cameras and then moving at least one of the plurality of the virtual cameras to execute a process of integrating the plurality of the virtual cameras.
  • 11 image processing device 12 image processing unit, 31 virtual camera setting unit, 32 virtual viewpoint image generation unit, 33 composition unit, 34 video generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、３Ｄモデルを用いて生成する動画の表現の幅を広げることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。 画像処理装置は、仮想カメラの設定を行う仮想カメラ設定部と、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成する仮想視点画像生成部と、複数の前記仮想視点画像に基づく合成画像を生成する合成部と、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する動画生成部とを備え、前記仮想カメラ設定部は、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する。本技術は、例えば、動画の編集を行う装置に適用できる。

Description

画像処理装置、画像処理方法、及び、プログラム
　本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、３Ｄモデルを用いて動画を生成する場合に用いて好適な画像処理装置、画像処理方法、及び、プログラムに関する。
　近年、オブジェクト（被写体）の周囲を囲むように配置した複数のカメラにより撮影した画像に基づいて、オブジェクトの３Ｄモデルを生成し、生成した３Ｄモデルを用いて、任意の視点からオブジェクトを見た画像を再現する技術の普及が進んでいる（例えば、特許文献１参照）。
国際公開第２０１８／１５０９３３号
　上述した技術を用いれば、任意の視点に基づくオブジェクトの画像を再現できるため、動画の表現の幅が広がると想定される。
　本技術は、このような状況に鑑みてなされたものであり、３Ｄモデルを用いて生成する動画の表現の幅を広げることができるようにするものである。
　本技術の一側面の画像処理装置は、仮想カメラの設定を行う仮想カメラ設定部と、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成する仮想視点画像生成部と、複数の前記仮想視点画像に基づく合成画像を生成する合成部と、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する動画生成部とを備え、前記仮想カメラ設定部は、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する。
　本技術の一側面の画像処理方法は、仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置が、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する。
　本技術の一側面のプログラムは、仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置のコンピュータに、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する処理を実行させる。
　本技術の一側面においては、複数の仮想カメラが配置された後、複数の前記仮想カメラの少なくとも１つが動かされ、複数の前記仮想カメラが統合される。
本技術を適用した画像処理装置の構成例を示すブロック図である。 動画生成処理を説明するためのフローチャートである。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第１の具体例を説明するための図である。 動画の生成方法の第２の具体例を説明するための図である。 動画の生成方法の第３の具体例を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　図１乃至図１０を参照して、本技術の実施の形態について説明する。
　　＜画像処理装置の構成例＞
　図１は、本技術を適用した画像処理装置１１の一実施の形態を示すブロック図である。
　画像処理装置１１は、３Ｄモデルを用いて動画を生成する装置である。
　なお、３Ｄモデルの種類や生成方法は、特に制限されない。例えば、３Ｄモデルは、現実のオブジェクト（被写体）の周囲を取り囲むように複数の方向から撮影した画像に基づいて生成されたものであってもよいし、コンピュータグラフィック等を用いて人工的に生成されたものであってもよい。また、前者の場合、３Ｄモデルは、例えば、ポリゴンにテクスチャ情報を重畳したモデルであってもよいし、ポイントクラウドにテクスチャ情報を重畳したモデルであってもよい。
　また、３Ｄモデル内のオブジェクト（以下、３Ｄオブジェクトと称する）の数は、特に制限されない。すなわち、３Ｄモデル内に１つの３Ｄオブジェクト（例えば、１人の人）のみが存在してもよいし、複数の３Ｄオブジェクト（例えば、複数の人）が存在してもよい。
　画像処理装置１１は、入力部２１、画像処理部２２、記憶部２３、及び、表示部２４を備える。
　入力部２１は、例えば、各種の入力デバイスを備え、画像処理装置１１の処理に必要なデータ（例えば、３Ｄモデルのデータ）や指示（例えば、仮想カメラの設定指示）等の入力に用いられる。入力部２１は、入力されたデータや指示等を画像処理部２２に供給したり、記憶部２３に記憶させたりする。
　仮想カメラ設定部３１は、入力部２１を介してユーザにより入力される設定指示等に基づいて、仮想視点画像の生成に用いる仮想カメラの設定を行う。例えば、仮想カメラ設定部３１は、３Ｄモデルが存在する３Ｄ空間内における仮想カメラの位置、向き、焦点距離（画角）等の設定を行う。仮想カメラ設定部３１は、仮想カメラの設定情報を仮想視点画像生成部３２に供給する。
　仮想視点画像生成部３２は、入力部２１を介して入力される、又は、記憶部２３に記憶されている３Ｄモデルのデータ、及び、仮想カメラ設定部３１により設定された仮想カメラに基づいて、仮想視点画像を生成する。
　仮想視点画像は、例えば、仮想カメラからの視点（以下、仮想視点と称する）から３Ｄモデル内の３Ｄオブジェクトを見た場合の仮想の画像である。より具体的には、仮想視点画像は、仮想カメラの位置及び向きから、設定された焦点距離で３Ｄモデル内の３Ｄオブジェクトを撮影した場合に得られると仮定される仮想の画像である。
　仮想視点画像生成部３２は、生成した仮想視点画像を、必要に応じて、合成部３３及び動画生成部３４に供給したり、記憶部２３に記憶させたりする。
　合成部３３は、複数の異なる仮想カメラに基づいて生成された仮想視点画像に基づいて合成画像を生成する。合成部３３は、必要に応じて、生成した合成画像を動画生成部３４に供給したり、記憶部２３に記憶させたりする。
　動画生成部３４は、仮想視点画像又は合成画像に基づくフレームを生成し、生成したフレームを含む動画を生成する。動画生成部３４は、必要に応じて、生成した動画を記憶部２３に記憶させたり、表示部２４に供給したりする。
　表示部２４は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ等からなるディスプレイを備える。表示部２４は、動画生成部３４から供給される動画、並びに、記憶部２３に記憶されている動画、仮想視点画像、及び、合成画像等の表示を行う。
　　＜動画生成処理＞
　次に、図２のフローチャートを参照して、画像処理装置１１により実行される動画生成処理について説明する。
　この処理は、例えば、ユーザが、入力部２１を介して、動画の生成の指示を入力したとき開始される。
　ステップＳ１において、仮想カメラ設定部３１は、仮想カメラの設定を行う。例えば、仮想カメラ設定部３１は、入力部２１を介して、ユーザにより入力される設定指示に基づいて、３Ｄ空間内における仮想カメラの位置、向き、焦点距離等を設定する。或いは、例えば、仮想カメラ設定部３１は、事前に設定されたアルゴリズムやルール等に従って、３Ｄ空間内における仮想カメラの位置、向き、焦点距離等を設定する。
　このとき、例えば、１つの３Ｄオブジェクトに対して、複数の仮想カメラが配置されてもよい。また、例えば、複数の３Ｄオブジェクトが処理対象である場合、各３Ｄオブジェクトに対して個別に仮想カメラが配置されてもよいし、複数の３Ｄオブジェクトに対して共通の仮想カメラが配置されてもよい。
　仮想カメラ設定部３１は、仮想カメラの設定情報を生成し、仮想視点画像生成部３２に供給する。仮想カメラの設定情報は、例えば、各仮想カメラの３Ｄ空間内の位置、向き、焦点距離等のパラメータ、及び、各仮想カメラの対象となる３Ｄオブジェクトに関する情報を含む。
　ステップＳ２において、仮想視点画像生成部３２は、設定された仮想カメラに基づいて、仮想視点画像を生成する。
　具体的には、仮想視点画像生成部３２は、仮想視点画像を生成する対象となる３Ｄオブジェクトを含む３Ｄモデルのデータを取得する。３Ｄモデルのデータは、例えば、入力部２１を介して外部から入力されてもよいし、予め記憶部２３に記憶されていてもよい。
　そして、仮想視点画像生成部３２は、仮想カメラと３Ｄオブジェクトの組合せ毎に、仮想視点画像を生成する。すなわち、仮想視点画像生成部３２は、仮想カメラ毎に、各仮想カメラの視点（仮想視点）から対象となる３Ｄオブジェクトを見た場合の仮想視点画像を生成する。
　ステップＳ３において、仮想視点画像生成部３２は、複数の仮想視点画像を生成したか否かを判定する。複数の仮想視点画像を生成したと判定された場合、処理はステップＳ４に進む。
　ステップＳ４において、合成部３３は、合成画像を生成する。
　具体的には、仮想視点画像生成部３２は、ステップＳ２の処理で生成した複数の仮想視点画像を合成部３３に供給する。
　合成部３３は、取得した複数の仮想視点画像に基づいて、合成画像を生成する。合成部３３は、生成した合成画像を動画生成部３４に供給する。
　なお、合成画像の生成方法は、特に限定されない。例えば、合成部３３は、複数の仮想視点画像を並べることにより、合成画像を生成する。例えば、合成部３３は、複数の仮想視点画像を重ねることにより、合成画像を生成する。例えば、合成部３３は、各仮想視点画像から３Ｄオブジェクトを含む領域を切り出して、１つの画像内に配置することにより、合成画像を生成する。
　ステップＳ５において、動画生成部３４は、合成画像に基づくフレームを動画に追加する。具体的には、動画生成部３４は、取得した合成画像に基づいて、動画を構成するフレームを生成する。このとき、例えば、動画生成部３４は、必要に応じて、背景等の画像を合成画像に合成するようにしてもよい。動画生成部３４は、生成したフレームを最新のフレームとして生成中の動画に追加する。
　その後、処理はステップＳ７に進む。
　一方、ステップＳ３において、１つの仮想視点画像を生成したと判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、動画生成部３４は、仮想視点画像に基づくフレームを動画に追加する。
　具体的には、仮想視点画像生成部３２は、ステップＳ２の処理で生成した仮想視点画像を動画生成部３４に供給する。
　動画生成部３４は、取得した仮想視点画像に基づいて、動画を構成するフレームを生成する。このとき、例えば、動画生成部３４は、必要に応じて、背景等の画像を仮想視点画像に合成するようにしてもよい。動画生成部３４は、生成したフレームを最新のフレームとして生成中の動画に追加する。
　その後、処理はステップＳ７に進む。
　ステップＳ７において、動画生成部３４は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ７において、処理を終了すると判定されるまで、ステップＳ１乃至ステップＳ７の処理が繰り返し実行される。これにより、仮想カメラに基づいて仮想視点画像が生成され、必要に応じて合成画像が生成され、仮想視点画像又は合成画像に基づくフレームが動画に追加される処理が繰り返される。
　一方、ステップＳ７において、動画生成部３４は、例えば、入力部２１を介して、ユーザにより動画の生成の停止の指示が入力された場合、処理を終了すると判定する。
　その後、動画生成処理は終了する。
　以上のようにして、３Ｄモデルを用いて動画が生成される。
　　＜動画の生成方法の具体例＞
　次に、図３乃至図１０を参照して、動画の生成方法の具体例について説明する。
　まず、図３乃至図８を参照して、動画の生成方法の第１の具体例について説明する。
　図３の例では、３Ｄ空間内において、３Ｄオブジェクト１０１ａ乃至３Ｄオブジェクト１０１ｅが横方向に並べられている。
　以下、３Ｄオブジェクト１０１ａ乃至３Ｄオブジェクト１０１ｅを個々に区別する必要がない場合、単に３Ｄオブジェクト１０１と称する。また、以下、各３Ｄオブジェクト１０１のアルファベットが記載されている面を、各３Ｄオブジェクト１０１の正面とする。
　なお、各３Ｄオブジェクト１０１は、異なる３Ｄモデルに含まれていてもよいし、同じ３Ｄモデルに含まれていてもよい。
　前者の場合、例えば、各オブジェクトがそれぞれ個別に撮影され、各オブジェクトに対応する３Ｄオブジェクト１０１をそれぞれ含む複数の３Ｄモデルが生成される。そして、各３Ｄオブジェクト１０１をそれぞれ含む各３Ｄモデルが、３Ｄ空間内に個別に配置される。従って、この場合、３Ｄ空間内における各３Ｄオブジェクト１０１間の相対位置は可変である。
　後者の場合、例えば、各オブジェクトが同時に撮影され、各オブジェクトに対応する３Ｄオブジェクト１０１を全て含む１つの３Ｄモデルが生成される。そして、全ての３Ｄオブジェクト１０１を含む３Ｄモデルが、３Ｄ空間内に配置される。従って、この場合、３Ｄ空間内における各３Ｄオブジェクト１０１間の相対位置は固定される。
　そして、仮想カメラ設定部３１は、３Ｄオブジェクト１０１ａ乃至３Ｄオブジェクト１０１ｅに対して、仮想カメラ１０２ａ乃至仮想カメラ１０２ｅをそれぞれ個別に配置する。
　以下、仮想カメラ１０２ａ乃至仮想カメラ１０２ｅを個々に区別する必要がない場合、単に仮想カメラ１０２と称する。
　各仮想カメラ１０２は、それぞれ対応する３Ｄオブジェクト１０１の正面から所定の距離だけ離れた位置において、対応する３Ｄオブジェクト１０１の正面を向くように配置される。
　次に、仮想視点画像生成部３２は、各仮想カメラ１０２に基づいて、それぞれ対応する３Ｄオブジェクト１０１を含む仮想視点画像を生成する。
　次に、図４に示されるように、合成部３３は、各３Ｄオブジェクト１０１を含む同じ大きさの矩形の領域を各仮想視点画像から切り取った画像を合成した合成画像を生成する。具体的には、合成部３３は、画像１２２ａ－１乃至画像１２２ｅ－１が横に並べられた合成画像１２１－１を生成する。
　なお、画像１２２ａ－１は、仮想カメラ１０２ａに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ａを含む矩形の領域が切り取られた画像である。画像１２２ｂ－１は、仮想カメラ１０２ｂに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｂを含む矩形の領域が切り取られた画像である。画像１２２ｃ－１は、仮想カメラ１０２ｃに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｃを含む矩形の領域が切り取られた画像である。画像１２２ｄ－１は、仮想カメラ１０２ｄに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｄを含む矩形の領域が切り取られた画像である。画像１２２ｅ－１は、仮想カメラ１０２ｅに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｅを含む矩形の領域が切り取られた画像である。
　そして、動画生成部３４は、合成画像１２１－１に基づくフレームを生成し、動画に追加する。
　次に、図５に示されるように、仮想カメラ設定部３１は、各仮想カメラ１０２を１つに統合する方向に移動させる。
　具体的には、仮想カメラ１０２ｃは、３Ｄオブジェクト１０１ｃの正面を向いたまま後方（３Ｄオブジェクト１０１ｃから離れる方向）に移動する。仮想カメラ１０２ａ及び仮想カメラ１０２ｂは、図内の矢印１０３で示されるように、向きを変えずに、仮想カメラ１０２ｃに近づく方向（右斜め後ろ方向）に移動する。仮想カメラ１０２ｄ及び仮想カメラ１０２ｅは、図内の矢印１０４で示されるように、向きを変えずに、仮想カメラ１０２ｃに近づく方向（左斜め後ろ方向）に移動する。
　次に、仮想視点画像生成部３２は、各仮想カメラ１０２が統合されるまでの間に、各仮想カメラ１０２に基づいて、各３Ｄオブジェクト１０１を含む複数の仮想視点画像を生成する。
　次に、図６に示されるように、合成部３３は、各３Ｄオブジェクト１０１を含む同じ大きさの矩形の領域を各仮想視点画像から切り取った画像を合成した合成画像を生成する。具体的には、合成部３３は、画像１２２ａ－２乃至画像１２２ｅ－２が横に並べられた合成画像１２１－２を生成する。
　なお、画像１２２ａ－２は、仮想カメラ１０２ａに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ａを含む矩形の領域が切り取られた画像である。画像１２２ｂ－２は、仮想カメラ１０２ｂに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｂを含む矩形の領域が切り取られた画像である。画像１２２ｃ－２は、仮想カメラ１０２ｃに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｃを含む矩形の領域が切り取られた画像である。画像１２２ｄ－２は、仮想カメラ１０２ｄに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｄを含む矩形の領域が切り取られた画像である。画像１２２ｅ－２は、仮想カメラ１０２ｅに基づいて生成された仮想視点画像から３Ｄオブジェクト１０１ｅを含む矩形の領域が切り取られた画像である。
　そして、動画生成部３４は、合成画像１２１－２に基づくフレームを生成し、動画に追加する。
　その後、図７に示されるように、仮想カメラ設定部３１は、最終的に各仮想カメラ１０２を仮想カメラ１０２ｆに統合させる。
　なお、各仮想カメラ１０２が仮想カメラ１０２ｆに統合されるまでの間に生成される動画のフレーム数は任意である。すなわち、各仮想カメラ１０２が移動する軌道上の任意のポイントにおいて、各仮想カメラにそれぞれ基づく仮想視点画像を生成し、仮想視点画像に基づく合成画像を生成し、合成画像に基づく動画のフレームを生成することが可能である。この処理が繰り返されることにより、各仮想カメラ１０２が移動する軌道上の各ポイントにおいて、仮想視点画像、合成画像、及び、動画のフレームが生成される。すなわち、仮想視点画像、合成画像、及び、動画のフレームが、複数フレーム生成される。
　そして、仮想視点画像生成部３２は、仮想カメラ１０２ｆに基づいて、図８に示される、３Ｄオブジェクト１０１ａ乃至３Ｄオブジェクト１０１ｅを含む仮想視点画像１２１－Ｎを生成する。
　また、動画生成部３４は、仮想視点画像１２１－Ｎに基づくフレームを生成し、動画に追加する。これにより、統合前の各仮想カメラに対応する複数の仮想視点画像に基づく合成画像に基づくフレームと、統合後の仮想カメラに対応する仮想視点画像に基づくフレームとが連続する。
　なお、各３Ｄオブジェクト１０１は、各仮想カメラ１０２の移動中に、動いていてもよいし、静止していてもよい。
　以上のように、３Ｄオブジェクト１０１毎に異なる仮想カメラが配置され、各仮想カメラが統合する方向に移動しながら、各仮想カメラにそれぞれ対応する複数の仮想視点画像に基づく合成画像に基づく動画のフレームが生成される。各仮想カメラが統合された後の仮想カメラに対応する仮想視点画像に基づく動画のフレームが生成される。
　これにより、動画を観るユーザに対して、例えば、異なる空間に個別に存在する複数のオブジェクト（例えば、人）が、１つの空間に自然に移動するような視覚効果を与えることができる。
　なお、３Ｄオブジェクト１０１の数は任意である。例えば、３Ｄオブジェクト１０１の数を１つにすることも可能である。
　３Ｄオブジェクトの数を１つにした場合、例えば、１つの３Ｄオブジェクト１０１に対して、仮想視点が異なる複数の仮想カメラ１０２が配置される。そして、各仮想カメラ１０２が最終的に統合するように移動する。この場合、各仮想視点画像にそれぞれ同じ３Ｄオブジェクトが含まれるようになる。
　また、仮想カメラ１０２の数も、２以上の任意の数に設定することが可能である。また、３Ｄオブジェクト１０１の数と仮想カメラ１０２の数とは、必ずしも一致する必要はない。
　仮想カメラ１０２の数が３Ｄオブジェクト１０１の数より少ない場合、例えば、１以上の仮想カメラ１０２が、画角内に複数の３Ｄオブジェクト１０１を含むように配置される。
　また、例えば、それぞれ全ての３Ｄオブジェクト１０１を画角内に含むように各仮想カメラ１０２を配置し、その後、各仮想カメラ１０２を統合するように移動させてもよい。この場合、各仮想視点画像に、それぞれ複数の同じ３Ｄオブジェクトが含まれるようになる。
　さらに、必ずしも全ての仮想カメラ１０２が移動する必要はない。例えば、１つの仮想カメラ１０２を固定したまま、他の仮想カメラ１０２が固定した仮想カメラ１０２の方向に移動し、各仮想カメラ１０２が統合するようにしてもよい。
　また、必ずしも全ての仮想カメラ１０２が統合する必要はなく、一部の仮想カメラ１０２のみ統合するようにしてもよい。
　さらに、必ずしも全ての仮想カメラ１０２が同時に統合する必要はなく、例えば、順番に仮想カメラ１０２が統合していくようにしてもよい。
　また、例えば、各仮想カメラ１０２が仮想カメラ１０２ｆに統合した後に、再度分離するようにしてもよい。
　次に、図９を参照して、動画の生成方法の第２の具体例について説明する。
　この例では、例えば、仮想カメラ設定部３１は、３Ｄオブジェクト１４２を中心にして、３Ｄオブジェクト１４２の周囲を囲むように、３台の仮想カメラ（不図示）を配置する。例えば、３台の仮想カメラは、３Ｄオブジェクト１４２を中心にして、同じ角度の間隔（すなわち、１２０度間隔）で配置される。
　仮想視点画像生成部３２は、各仮想カメラに基づいて、同じ３Ｄオブジェクトを含む仮想視点画像を３つ生成する。各仮想視点画像内の３Ｄオブジェクトは、それぞれ１２０度異なる仮想視点から見た画像となる。
　合成部３３は、各仮想視点画像から３Ｄオブジェクトの画像を切り出し、１つの画像に合成することにより、合成画像を生成する。例えば、合成部３３は、図９に示されるように、各仮想視点画像から抽出した３Ｄオブジェクト１４２ａ乃至３Ｄオブジェクト１４２ｃ（の画像）を合成画像１４１内に合成する。
　このとき、合成部３３は、合成画像１４１内の所定の垂直方向の軸を中心にして、３Ｄオブジェクト１４２ａ乃至３Ｄオブジェクト１４２ｃを軸の周囲に等間隔（すなわち、１２０度間隔）に配置する。
　動画生成部３４は、合成画像１４１に基づくフレームを生成し、動画に追加する。
　以後、上述した処理が繰り返し実行される。
　このとき、例えば、仮想カメラ設定部３１は、各仮想カメラの位置及び向きを固定する。
　また、合成部３３は、例えば、フレーム間において、３Ｄオブジェクト１４２ａ乃至３Ｄオブジェクト１４２ｃを、１２０度の間隔を保ったまま、上述した軸の周りを回転させるように合成画像に合成する。
　その結果、動画内において、同じ３Ｄオブジェクト１４２を異なる仮想視点から見た３Ｄオブジェクト１４２ａ乃至３Ｄオブジェクト１４２ａが、所定の軸の周りを万華鏡のように回転するような効果が生じる。
　なお、仮想カメラの数は、２以上の任意の数に設定することが可能である。
　また、仮想カメラの配置も任意である。例えば、必ずしも、仮想カメラを３Ｄオブジェクトの周囲に等間隔に配置する必要はない。
　さらに、仮想カメラを移動させるようにしてもよい。例えば、複数の仮想カメラを、３Ｄオブジェクトを中心にして、３Ｄオブジェクトの周囲を回転させるようにしてもよい。
　次に、図１０を参照して、動画の生成方法の第３の具体例について説明する。
　この例では、例えば、仮想カメラ設定部３１は、複数の３Ｄオブジェクトに対して、異なる仮想カメラを同様の位置関係になるように配置する。すなわち、仮想カメラ設定部３１は、各３Ｄオブジェクトに対して、各仮想カメラを同様の位置及び向きに配置する。
　仮想視点画像生成部３２は、各仮想カメラに基づいて、各３Ｄオブジェクトを個別に含む複数の仮想視点画像を同じタイミングで生成する処理を繰り返す。
　動画生成部３４は、異なる３Ｄオブジェクトを含む仮想視点画像の中から１つを選択して、選択した仮想視点画像に基づくフレームを生成し、動画に追加する処理を繰り返す。このとき、例えば、動画生成部３４は、ある３Ｄオブジェクトを含む仮想視点画像に基づくフレームを複数フレーム連続して生成した後、他の３Ｄオブジェクトを含む仮想視点画像に基づくフレームを複数フレーム連続して生成する。
　ここで、上述したように、各３Ｄオブジェクトに対して仮想カメラが同様の位置及び向きに配置されているので、動画の生成に用いる仮想視点画像を切り替えることにより、動画上で３Ｄオブジェクトが瞬時に入れ替わったような効果が生じる。例えば、図１０のフレーム１６１内の３Ｄオブジェクトである人１６２が、次のフレームにおいて、異なる人に瞬時に入れ替わったように見える。
　次に、動画の生成方法の第４の具体例について説明する。
　例えば、３Ｄオブジェクトとして複数の人が３Ｄ空間内に配置される場合、仮想カメラ設定部３１は、仮想視点が各人の視点と一致するように仮想カメラを配置する。
　仮想視点画像生成部３２は、各仮想カメラに基づいて、各人の視点から見た複数の仮想視点画像を同じタイミングで生成する処理を繰り返す。
　動画生成部３４は、複数の仮想視点に基づく仮想視点画像の中から１つを選択して、選択した仮想視点画像に基づくフレームを生成し、動画に追加する処理を繰り返す。このとき、例えば、動画生成部３４は、ある人の視点から見た仮想視点画像に基づくフレームを複数フレーム連続して生成した後、他の人の視点から見た仮想視点画像に基づくフレームを複数フレーム連続して生成する。
　これにより、３Ｄ空間内に存在する人の視点から他の人を見た画像が再現されるとともに、画像の再現に用いる視点を瞬時に切り替えることができる。
　以上のようにして、３Ｄモデルを用いて生成する動画の表現の幅を広げることができる。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　上述した仮想カメラの数、配置、動き等は、その一例であり、任意に変更することが可能である。
　また、上述した３Ｄオブジェクトの数、種類、配置、動き等も、その一例であり、任意に変更することが可能である。
　＜＜３．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　仮想カメラの設定を行う仮想カメラ設定部と、
　前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成する仮想視点画像生成部と、
　複数の前記仮想視点画像に基づく合成画像を生成する合成部と、
　前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する動画生成部と
　を備え、
　前記仮想カメラ設定部は、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
　画像処理装置。
（２）
　前記仮想視点画像生成部は、統合前の各前記仮想カメラにそれぞれ基づく前記仮想視点画像である複数の統合前仮想視点画像、及び、統合後の前記仮想カメラに基づく前記仮想視点画像である統合後仮想視点画像を生成し、
　前記合成部は、前記複数の統合前仮想視点画像に基づく前記合成画像である統合前合成画像を生成し、
　前記動画生成部は、前記統合前合成画像に基づくフレームである統合前フレーム、及び、前記統合後仮想視点画像に基づくフレームである統合後フレームを含む動画を生成する
　前記（１）に記載の画像処理装置。
（３）
　前記仮想視点画像生成部は、各前記仮想カメラが統合されるまでの間に、各前記仮想カメラに基づく前記複数の統合前仮想視点画像を複数フレーム生成し、
　前記合成部は、各フレームの前記複数の統合前仮想視点画像にそれぞれ基づいて、複数フレームの前記統合前合成画像を生成し、
　前記動画生成部は、各フレームの前記統合前合成画像にそれぞれ基づいて、複数フレームの前記統合前フレームを生成する
　前記（２）に記載の画像処理装置。
（４）
　前記動画生成部は、前記統合前フレームと前記統合後フレームが連続する動画を生成する
　前記（２）又は（３）に記載の画像処理装置。
（５）
　各前記統合前仮想視点画像は、それぞれ異なる３Ｄオブジェクトを含み、
　前記統合後仮想視点画像は、前記異なる３Ｄオブジェクトを全て含む
　前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記合成部は、各前記統合前仮想視点画像内の各前記３Ｄオブジェクトの画像を合成した前記合成画像を生成する
　前記（５）に記載の画像処理装置。
（７）
　各前記統合前仮想視点画像及び前記統合後仮想視点画像は、同じ３Ｄオブジェクトを含む
　前記（２）乃至（４）のいずれかに記載の画像処理装置。
（８）
　各前記統合前仮想視点画像及び前記統合後仮想視点画像は、同じ複数の３Ｄオブジェクトを含む
　前記（７）に記載の画像処理装置。
（９）
　前記仮想カメラ設定部は、３Ｄオブジェクトの周囲を囲むように複数の前記仮想カメラを配置し、
　前記仮想視点画像生成部は、各前記仮想カメラにそれぞれ基づく複数の前記仮想視点画像を生成し、
　前記合成部は、各前記仮想視点画像内の前記３Ｄオブジェクトの画像を所定の軸の周りに配置した前記合成画像を生成するとともに、フレーム間で前記３Ｄオブジェクトの画像を前記軸を中心に回転させ、
　前記動画生成部は、各フレームの前記合成画像にそれぞれ基づく複数のフレームを含む動画を生成する
　前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　前記仮想カメラ設定部は、前記３Ｄオブジェクトを中心とする各前記仮想カメラの間の角度の間隔を等しくする
　前記（９）に記載の画像処理装置。
（１１）
　前記仮想カメラ設定部は、複数の３Ｄオブジェクトに対して、それぞれ異なる前記仮想カメラを同様の位置関係になるように配置し、
　前記仮想視点画像生成部は、各前記仮想カメラに基づいて、各前記３Ｄオブジェクトをそれぞれ含む複数の前記仮想視点画像を生成し、
　前記動画生成部は、複数の前記仮想視点画像の中から選択した前記仮想視点画像に基づくフレームを生成するとともに、フレームの生成に用いる前記仮想視点画像を動画の途中で切り替える
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記仮想カメラ設定部は、３Ｄオブジェクトが配置されている３Ｄ空間内における前記仮想カメラの位置及び向きを設定する
　前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
　前記仮想カメラ設定部は、前記仮想カメラの焦点距離をさらに設定する
　前記（１２）に記載の画像処理装置。
（１４）
　仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置が、
　複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
　画像処理方法。
（１５）
　仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置のコンピュータに、
　複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
　処理を実行させるプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　画像処理装置，　１２　画像処理部，　３１　仮想カメラ設定部，　３２　仮想視点画像生成部，　３３　合成部，　３４　動画生成部

Claims (15)

  1. 　仮想カメラの設定を行う仮想カメラ設定部と、
    　前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成する仮想視点画像生成部と、
    　複数の前記仮想視点画像に基づく合成画像を生成する合成部と、
    　前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する動画生成部と
    　を備え、
    　前記仮想カメラ設定部は、複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
    　画像処理装置。
  2. 　前記仮想視点画像生成部は、統合前の各前記仮想カメラにそれぞれ基づく前記仮想視点画像である複数の統合前仮想視点画像、及び、統合後の前記仮想カメラに基づく前記仮想視点画像である統合後仮想視点画像を生成し、
    　前記合成部は、前記複数の統合前仮想視点画像に基づく前記合成画像である統合前合成画像を生成し、
    　前記動画生成部は、前記統合前合成画像に基づくフレームである統合前フレーム、及び、前記統合後仮想視点画像に基づくフレームである統合後フレームを含む動画を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記仮想視点画像生成部は、各前記仮想カメラが統合されるまでの間に、各前記仮想カメラに基づく前記複数の統合前仮想視点画像を複数フレーム生成し、
    　前記合成部は、各フレームの前記複数の統合前仮想視点画像にそれぞれ基づいて、複数フレームの前記統合前合成画像を生成し、
    　前記動画生成部は、各フレームの前記統合前合成画像にそれぞれ基づいて、複数フレームの前記統合前フレームを生成する
    　請求項２に記載の画像処理装置。
  4. 　前記動画生成部は、前記統合前フレームと前記統合後フレームが連続する動画を生成する
    　請求項２に記載の画像処理装置。
  5. 　各前記統合前仮想視点画像は、それぞれ異なる３Ｄオブジェクトを含み、
    　前記統合後仮想視点画像は、前記異なる３Ｄオブジェクトを全て含む
    　請求項２に記載の画像処理装置。
  6. 　前記合成部は、各前記統合前仮想視点画像内の各前記３Ｄオブジェクトの画像を合成した前記合成画像を生成する
    　請求項５に記載の画像処理装置。
  7. 　各前記統合前仮想視点画像及び前記統合後仮想視点画像は、同じ３Ｄオブジェクトを含む
    　請求項２に記載の画像処理装置。
  8. 　各前記統合前仮想視点画像及び前記統合後仮想視点画像は、同じ複数の３Ｄオブジェクトを含む
    　請求項７に記載の画像処理装置。
  9. 　前記仮想カメラ設定部は、３Ｄオブジェクトの周囲を囲むように複数の前記仮想カメラを配置し、
    　前記仮想視点画像生成部は、各前記仮想カメラにそれぞれ基づく複数の前記仮想視点画像を生成し、
    　前記合成部は、各前記仮想視点画像内の前記３Ｄオブジェクトの画像を所定の軸の周りに配置した前記合成画像を生成するとともに、フレーム間で前記３Ｄオブジェクトの画像を前記軸を中心に回転させ、
    　前記動画生成部は、各フレームの前記合成画像にそれぞれ基づく複数のフレームを含む動画を生成する
    　請求項１に記載の画像処理装置。
  10. 　前記仮想カメラ設定部は、前記３Ｄオブジェクトを中心とする各前記仮想カメラの間の角度の間隔を等しくする
    　請求項９に記載の画像処理装置。
  11. 　前記仮想カメラ設定部は、複数の３Ｄオブジェクトに対して、それぞれ異なる前記仮想カメラを同様の位置関係になるように配置し、
    　前記仮想視点画像生成部は、各前記仮想カメラに基づいて、各前記３Ｄオブジェクトをそれぞれ含む複数の前記仮想視点画像を生成し、
    　前記動画生成部は、複数の前記仮想視点画像の中から選択した前記仮想視点画像に基づくフレームを生成するとともに、フレームの生成に用いる前記仮想視点画像を動画の途中で切り替える
    　請求項１に記載の画像処理装置。
  12. 　前記仮想カメラ設定部は、３Ｄオブジェクトが配置されている３Ｄ空間内における前記仮想カメラの位置及び向きを設定する
    　請求項１に記載の画像処理装置。
  13. 　前記仮想カメラ設定部は、前記仮想カメラの焦点距離をさらに設定する
    　請求項１２に記載の画像処理装置。
  14. 　仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置が、
    　複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
    　画像処理方法。
  15. 　仮想カメラの設定を行い、前記仮想カメラの視点から３Ｄオブジェクトを見た場合の画像である仮想視点画像を生成し、複数の前記仮想視点画像に基づく合成画像を生成し、前記仮想視点画像又は前記合成画像に基づくフレームを含む動画を生成する画像処理装置のコンピュータに、
    　複数の前記仮想カメラを配置した後、複数の前記仮想カメラの少なくとも１つを動かして、複数の前記仮想カメラを統合する
    　処理を実行させるプログラム。
PCT/JP2020/036519 2019-10-10 2020-09-28 画像処理装置、画像処理方法、及び、プログラム WO2021070650A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/766,078 US11954777B2 (en) 2019-10-10 2020-09-28 Image processing apparatus, image processing method, and program
CN202080069533.9A CN114502246A (zh) 2019-10-10 2020-09-28 图像处理装置、图像处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019186746 2019-10-10
JP2019-186746 2019-10-10

Publications (1)

Publication Number Publication Date
WO2021070650A1 true WO2021070650A1 (ja) 2021-04-15

Family

ID=75437253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036519 WO2021070650A1 (ja) 2019-10-10 2020-09-28 画像処理装置、画像処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11954777B2 (ja)
CN (1) CN114502246A (ja)
WO (1) WO2021070650A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244936A (ja) * 2008-03-28 2009-10-22 Konami Digital Entertainment Co Ltd 画像生成装置、広視野画像生成方法、および、プログラム
JP2013220137A (ja) * 2012-04-13 2013-10-28 Square Enix Co Ltd ビデオゲーム処理装置、およびビデオゲーム処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004045734A1 (ja) * 2002-11-20 2004-06-03 Sega Corporation ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体
US20140038708A1 (en) * 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
JP6526605B2 (ja) * 2016-07-26 2019-06-05 セコム株式会社 仮想カメラ画像生成装置
JP7200678B2 (ja) 2017-02-20 2023-01-10 ソニーグループ株式会社 画像処理装置および画像処理方法
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6425780B1 (ja) * 2017-09-22 2018-11-21 キヤノン株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244936A (ja) * 2008-03-28 2009-10-22 Konami Digital Entertainment Co Ltd 画像生成装置、広視野画像生成方法、および、プログラム
JP2013220137A (ja) * 2012-04-13 2013-10-28 Square Enix Co Ltd ビデオゲーム処理装置、およびビデオゲーム処理プログラム

Also Published As

Publication number Publication date
US11954777B2 (en) 2024-04-09
US20220343575A1 (en) 2022-10-27
CN114502246A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN106598229B (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
JP5160741B2 (ja) ３ｄグラフィック処理装置及びこれを利用した立体映像表示装置
US20130321586A1 (en) Cloud based free viewpoint video streaming
US20220046183A1 (en) High-speed video from camera arrays
JP2007096951A (ja) 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
CN105959666A (zh) 一种虚拟现实系统中分享3d影像的方法和装置
JP5059986B2 (ja) 画像生成方法、画像生成プログラム及び画像投影装置
CN107343206B (zh) 支持多视角观看的视频生成方法、装置、介质和电子设备
TWI813098B (zh) 用於新穎視圖合成之神經混合
CN105224288A (zh) 双目三维图形渲染方法及相关系统
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
US11557087B2 (en) Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
KR20200084265A (ko) 타임 슬라이스 영상을 편집하는 장치, 방법 및 컴퓨터 프로그램
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
CN104935866A (zh) 实现视频会议的方法、合成设备和系统
WO2021070650A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN111818265A (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
US11579746B2 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
JP2008167310A (ja) 裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体
JP2023524901A (ja) 表示装置、システム、および方法
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2002300612A (ja) 画像生成装置、プログラム及び情報記憶媒体
CN113767649A (zh) 生成音频输出信号

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20874955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20874955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP