WO2020129659A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- WO2020129659A1 WO2020129659A1 PCT/JP2019/047540 JP2019047540W WO2020129659A1 WO 2020129659 A1 WO2020129659 A1 WO 2020129659A1 JP 2019047540 W JP2019047540 W JP 2019047540W WO 2020129659 A1 WO2020129659 A1 WO 2020129659A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- model
- strobe
- key
- image
- key object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Definitions
- the present technology relates to an image processing device, an image processing method, and a program, for example, generation of a strobe image using a 3D model.
- a method for generating a stroboscopic image showing a subject (image) taken at a plurality of times has been proposed. Since the subject at a plurality of times is reflected in the strobe image, it is possible to easily grasp the movement and trajectory of the subject.
- Patent Document 1 is a technique for generating a strobe image from a two-dimensional moving image, and there is a limit to the ability to generate and edit the strobe image.
- the present technology has been made in view of such a situation, and makes it possible to generate a strobe image.
- the image processing device or the program of the present technology generates a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints from the viewpoint images at a plurality of times, and a plurality of times of the object.
- the generating unit, the generation unit, the key object as a reference for arranging the 3D model in the three-dimensional space Is a program for causing a computer to function as an image processing device that arranges 3D models of different objects in the strobe model according to the degree of object association.
- the image processing method of the present technology generates a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints from the viewpoint images at a plurality of times to generate a 3D model of the object at a plurality of times.
- the method includes generating a strobe model arranged in a three-dimensional space, and the strobe according to an object degree of association representing a relation between a key object serving as a reference for arranging the 3D model in the three-dimensional space and an object different from the key object. It is an image processing method in which a 3D model of the different object is arranged in a model.
- a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints is generated from the viewpoint images at a plurality of times, and A strobe model is generated in which 3D models of objects at multiple times are arranged in a three-dimensional space.
- a 3D model of the different object is arranged in the strobe model according to an object degree of association indicating a relationship between a key object that serves as a reference for arranging the 3D model in the three-dimensional space and an object different from the key object.
- image processing device and the display device may be independent devices, or may be internal blocks forming one device.
- the program can be provided by being transmitted via a transmission medium or by being recorded in a recording medium.
- FIG. 3 is a block diagram showing a configuration example of a generation device 12.
- FIG. 3 is a block diagram showing a configuration example of a display device 13.
- FIG. 9 is a flowchart illustrating an example of a generation process performed by the generation device 12.
- 9 is a flowchart illustrating an example of a display process performed by the display device 13. It is a figure which shows the example of an unnatural 3D strobe image. It is a figure which shows the example of a natural 3D strobe image. It is a figure which shows the example of the frame of the viewpoint image of a strobe area.
- FIG 8 is a diagram showing an example of generation of a strobe model using frames at times t1 to t9 as strobe sections. It is a figure which shows the example of a display of the 3D strobe image produced
- FIG. 5 is a diagram illustrating transmission of a composite image that forms a strobe model from a generation device 12 to a display device 13. It is a block diagram which shows the structural example of other embodiment of the image processing system to which this technique is applied.
- 3 is a block diagram showing a configuration example of a generation device 112.
- FIG. 3 is a block diagram showing a configuration example of a display device 113.
- FIG. 9 is a flowchart illustrating an example of a generation process performed by the generation device 112.
- 9 is a flowchart illustrating an example of display processing performed by the display device 113.
- FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present technology is applied.
- a free viewpoint image in which the appearance when an object, which is a subject in a three-dimensional space, is viewed from a virtual viewpoint (virtual viewpoint) is reproduced from a real image.
- a 3D model as free viewpoint data is generated. Then, from the 3D model, a free viewpoint image when an object is viewed from a virtual viewpoint is generated and displayed.
- the image processing system in FIG. 1 includes a photographing device 11, a generation device 12, and a display device 13.
- the image capturing device 11 is composed of at least a plurality of cameras and captures an object from a plurality of viewpoints.
- a plurality of cameras that configure the imaging device 11 are arranged so as to surround the object, and each camera shoots the object from the viewpoint as the position where the camera is arranged.
- the photographing device 11 can be provided with a plurality of distance measuring devices in addition to a plurality of cameras.
- the distance measuring device can be arranged at the same position (viewpoint) as the camera, or can be arranged at a position different from the camera.
- the distance measuring device measures the distance from the position (viewpoint) where the distance measuring device is arranged to the object, and generates a depth image which is a 2D image having a depth which is information relating to the distance as a pixel value.
- the depth image is supplied from the photographing device 11 to the generation device 12.
- the distance to the object is measured by using the viewpoint image of two viewpoints out of the viewpoint images of the plurality of viewpoints by the principle of triangulation. , Depth images can be generated.
- the generation device 12 is, for example, a server on the cloud.
- the generation device 12 generates the object designation UI information and transmits it to the display device 13.
- the object designation UI information is information about a UI that is a clue for the user of the display device 13 to designate an object (subject) for which a strobe model is to be generated.
- the strobe model is 3D data in which 3D models of the same object (subject) at a plurality of frames (time) of a viewpoint image are arranged in (a 3D model of) a three-dimensional space photographed by the photographing device 11.
- the generation device 12 uses the viewpoint images of a plurality of viewpoints supplied from the imaging device 11 according to the object designation information, the strobe range information, and the strobe time information transmitted from the display device 13, and the like, and uses the strobe model. To generate. Further, the generation device 12 transmits the strobe model to the display device 13.
- the object designation information is information that represents the object designated by the user as an object (subject) (hereinafter also referred to as a key object) that serves as a reference for arranging the 3D model in the strobe model.
- the strobe range information is information representing a spatial range of an object which is a target object (hereinafter also referred to as a target object) in which a 3D model is arranged in a strobe model together with a key object.
- the strobe time information is information representing a section of a frame for which a strobe model is to be generated (hereinafter, also referred to as strobe section).
- the display device 13 is, for example, a client such as a PC (Personal Computer), a TV (television receiver), or a mobile terminal such as a smartphone.
- the display device 13 displays the object designation UI according to the object designation UI information transmitted from the generation device 12.
- the display device 13 sets the object designation information, the strobe range information, and the strobe time information in accordance with the user's operation on the object designation UI or the like, and sends the information to the generation device 12.
- the display device 13 is a 2D image (here, a 2D image for the left eye and a 2D image for the right eye) as a 3D strobe image obtained by shooting the strobe model transmitted from the generation device 12 with a virtual camera. Is generated as a free viewpoint image (data) and is displayed.
- the generation device 12 and the display device 13 can be configured as separate devices, or can be configured as one device (for example, a PC (Personal Computer) or the like).
- FIG. 2 is a block diagram showing a configuration example of the generation device 12 of FIG.
- the generation device 12 includes a 3D model generation unit 21, a flash model generation unit 22, an object designation UI information generation unit 23, and a communication unit 24.
- the 3D model generation unit 21 generates a 3D model, which is free viewpoint data, in frame units from viewpoint images and depth images of a plurality of viewpoints from the photographing device 11.
- the 3D model generation unit 21 generates a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints from viewpoint images at a plurality of times, and a 3D model of an object at a plurality of times in a three-dimensional space. It functions as a part of the generation unit that generates the strobe model placed in.
- 3D model means a wide range of 3D image data that can generate free viewpoint images.
- a set of viewpoint images and depth images from a plurality of viewpoints from the photographing device 11 can be directly adopted.
- 3D data having a 3D shape model which is information of a three-dimensional shape and color information, or a set of 2D images and depth images of a plurality of viewpoints may be adopted. it can.
- the 3D model generation unit 21 sets a set of viewpoint images and depth images from a plurality of viewpoints from the photographing device 11. Is output as a 3D model.
- the 3D model generation unit 21 When 3D data including a 3D shape model and color information is adopted as the 3D model, the 3D model generation unit 21 generates viewpoint images from a plurality of viewpoints from the photographing device 11 and depth images from the plurality of viewpoints. By using it, modeling is performed using Visual Hull, etc. to generate a 3D shape model of the object shown in the viewpoint image, and output as a 3D model.
- the 3D model generation unit 21 uses the depth images of the plurality of viewpoints from the image capturing apparatus 11 to capture the image. A depth image of the viewpoint of the viewpoint image from 11 can be generated.
- the 3D model generation unit 21 When adopting a set of 2D images and depth images of a plurality of viewpoints as the 3D model, the 3D model generation unit 21 generates the 3D model having the 3D shape model and the color information as described above, for example. , A set of a 2D image and a depth image viewed from a plurality of viewpoints (the viewpoints may be the same as or different from the camera constituting the image capturing apparatus 11) may be generated. Then, the 3D model generation unit 21 outputs a set of 2D images and depth images of the plurality of viewpoints as a 3D model.
- the 3D model output by the 3D model generation unit 21 is supplied to the strobe model generation unit 22 and the object designation UI information generation unit 23.
- the 3D model it is possible to reduce the data amount of the 3D model by adopting a set of 2D images and depth images of a plurality of viewpoints, as compared to a 3D model having a 3D shape model.
- a technique for generating and transmitting a set of 2D images and depth images of a plurality of viewpoints as a 3D model is described in International Publication No. 2017/082076 previously proposed by the applicant.
- a set of 2D images from multiple viewpoints and depth images as a 3D model is targeted for 2D images such as MVCD (Multiview and depth video coding), AVC (Advanced Video Coding), and HEVC (High Efficiency Video Coding).
- MVCD Multiview and depth video coding
- AVC Advanced Video Coding
- HEVC High Efficiency Video Coding
- the 3D model (representation format) is roughly classified into a model called View Independent (hereinafter also referred to as VI model) and a model called View Dependent (hereinafter also referred to as VD model).
- VI model View Independent
- VD model View Dependent
- the VD model is, for example, a 3D model in which information about a three-dimensional shape such as a 3D shape model and information about an image serving as a texture are separate.
- color is added by mapping a texture image on the 3D shape model (texture mapping).
- texture mapping texture mapping
- the VI model is, for example, a 3D model in which polygons and points as constituent elements of information about a three-dimensional shape have color information.
- the VI model includes, for example, a set of a colored point cloud, a 3D shape model, and a UV map as color information of the 3D shape model. According to the VI model, the colors of polygons and points are observed from any (virtual) viewpoint.
- the strobe model generation unit 22 determines the viewpoint images of a plurality of viewpoints from the photographing apparatus 11 and the 3D model generation unit 21 according to the object designation information, the strobe range information, and the strobe time information supplied from the communication unit 24.
- the 3D model from is used to generate a stroboscopic model in which 3D models of the same object in multiple frames (at different times) of the viewpoint image are arranged in (the 3D model of) the perspective image.
- the strobe model generation unit 22 selects a frame used for generating a strobe model (hereinafter, also referred to as a generation frame) from the frames in the strobe section represented by the strobe time information. Further, the strobe model generation unit 22 sets the key object represented by the object designation information as the target object. Further, the strobe model generation unit 22 determines that the object relevance is equal to or higher than a threshold value according to the object relevance indicating the degree of relevance between the key object and an object other than the key object (hereinafter also referred to as a non-key object) reflected in the generation frame. The non-key object of is set as the target object.
- the strobe model generation unit 22 matches the strobe range information, and the positional relationship (distance) between the key object and the non-key object as the degree of object association with the positional relationship to the range represented by the strobe range information. Set the target object to the non-key object.
- the object degree of association in addition to the positional relationship between the key object and the non-key object, for example, a value representing the role of the key object and the non-key object, the function, the relationship of the property, or the like can be adopted. ..
- the viewpoint image is an image of a soccer match
- the key object is a field player who keeps a soccer ball
- the goalkeeper of the opponent team as a non-key object is the other player. It is possible to adopt (set) a high degree of object association as compared with.
- the object degree of association it is possible to adopt a value representing a different type of association for each object.
- the positional relationship between the key object and the non-key object is adopted as the degree of object relevance
- a value indicating the relation between the roles of the key object and the non-key object. Can be adopted as the object relevance.
- the strobe model generation unit 22 generates a strobe model in which the 3D model of the target object shown in the generation frame is arranged and supplies it to the communication unit 24.
- the strobe model generation unit 22 generates a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints from viewpoint images at a plurality of times, and a 3D model of the object at a plurality of times in a three-dimensional space. It functions as the rest of the generator that generates the strobe model placed in.
- the object designation UI information generation unit 23 generates object designation UI information using the viewpoint image from the photographing device 11 and the 3D model from the 3D model generation unit 21 and supplies it to the communication unit 24.
- the communication unit 24 communicates with the display device 13. That is, the communication unit 24 transmits the object designation UI information from the object designation UI information generation unit 23 and the strobe model from the strobe model generation unit 22 to the display device 13. Further, the communication unit 24 receives the object designation information, the strobe range information, and the strobe time information transmitted from the display device 13, and supplies them to the strobe model generation unit 22.
- FIG. 3 is a block diagram showing a configuration example of the display device 13 of FIG.
- the display device 13 includes a communication unit 31, an effect processing unit 32, a free viewpoint image generation unit 33, a display unit 34, a camera work setting unit 35, an operation unit 36, an object designation information setting unit 37, a strobe range information setting unit 38, and , And a flash time information setting unit 39.
- the communication unit 31 communicates with the generation device 12. That is, the communication unit 31 sends the object designation information from the object designation information setting unit 37, the strobe range information from the strobe range information setting unit 38, and the strobe time information from the strobe time information setting unit 39 to the generation device 12. Send. Further, the communication unit 31 receives the object designation UI information and the strobe model transmitted from the generation device 12. The communication unit 31 supplies the strobe model to the effect processing unit 32, and supplies the object designation UI information to the display unit 34 and the object designation information setting unit 37.
- the effect processing unit 32 performs an effect process on the 3D model (of the target object) arranged in the strobe model from the communication unit 31 in accordance with, for example, the operation of the operation unit 36 by the user, and the free viewpoint image generation unit 33. Supply to.
- the effect processing unit 32 uses, as a reference 3D model, for example, a 3D model at the latest time among the 3D models of the objects arranged in the strobe model or a 3D model specified according to the user's operation. It is possible to perform effect processing on one or both of the past and future 3D models than the 3D model.
- a reference 3D model for example, a 3D model at the latest time among the 3D models of the objects arranged in the strobe model or a 3D model specified according to the user's operation. It is possible to perform effect processing on one or both of the past and future 3D models than the 3D model.
- the free-viewpoint image generation unit 33 generates a 3D strobe image moving image that is a 2D image obtained by shooting the strobe model from the effect processing unit 32 with a virtual camera according to the camerawork from the camerawork setting unit 35. It is generated as (data of) a free viewpoint image and is supplied to the display unit 34.
- the free-viewpoint image generation unit 33 renders an image of the strobe model viewed from the shooting position included in the camerawork from the camerawork setting unit 35 to generate a moving image of the 3D strobe image as the free-viewpoint image. To do.
- the strobe image is an image showing one or more same objects (images) taken at a plurality of times.
- a strobe image in which an object appears in a 2D image is also called a 2D strobe image
- a 2D image in which a 3D model of an object is seen that is, a 2D image in which the strobe model is viewed from a predetermined viewpoint is also called a 3D strobe image.
- the free viewpoint image generation unit 33 generates a 3D strobe image.
- the display unit 34 displays an object designation UI serving as a clue for designating an object (subject) for which a strobe model is to be generated, according to the object designation UI information from the communication unit 31. Further, the display unit 34 displays the 3D strobe image from the free viewpoint image generation unit 33.
- the display unit 34 can be composed of, for example, a 2D head-mounted display, a 2D monitor, a 3D head-mounted display, a 3D monitor, or the like.
- a 3D head-mounted display or monitor is, for example, a display device that realizes stereoscopic viewing by displaying a 2D image for the left eye and a 2D image for the right eye.
- the camerawork setting unit 35 sets the camerawork of the virtual camera when a 3D strobe image is generated by shooting a strobe model with the virtual camera according to the operation of the operation unit 36 by the user, and generates a free viewpoint image. Supply to the part 33.
- the camera work of the virtual camera is information about all the operations (procedures) for shooting when shooting with the virtual camera.
- the shooting position of the virtual camera can be represented by, for example, the coordinates of the xyz coordinate system as the world coordinate system, and the shooting posture of the virtual camera can be represented by the rotation angle around each axis of the xyz coordinate system.
- the operation unit 36 is operated by the user and supplies operation information according to the user's operation to necessary blocks.
- the operation unit 36 can be configured integrally with the display unit 34, for example, by a touch panel or the like. However, the operation unit 36 may be configured separately from the display unit 34.
- the object designation information setting unit 37 sets the object designation information according to the operation of the operation unit 36 by the user and supplies it to the communication unit 31.
- the strobe range information setting unit 38 sets strobe range information according to the operation of the operation unit 36 by the user and supplies it to the communication unit 31.
- the strobe time information setting unit 39 sets strobe time information according to the operation of the operation unit 36 by the user and supplies it to the communication unit 31.
- a non-key object having an object degree of association with the key object equal to or greater than a threshold is set as the target object, and the 3D model of the target object is set.
- the arranged strobe model is generated. With such a strobe model, an effective 3D strobe image can be generated.
- the user when performing tactical analysis or coaching of sports performed by multiple people, when displaying a relay image of a sports game to a fan, etc., the user is not only the player designated as the key object but also the player around the player. It is possible to generate a 3D stroboscopic image that also shows players.
- the viewpoint image is an image of a soccer match
- the soccer ball or another field player when the user designates the field player holding the soccer ball as the key object, the field player near the field player as the key object. Even if the user does not specify a soccer ball or other field player existing in the field as a key object, the soccer ball or another field player generates a 3D strobe image that appears together with the field player as a key object. be able to.
- FIG. 4 is a flowchart illustrating an example of a generation process performed by the generation device 12 of FIG.
- step S11 the generation device 12 obtains viewpoint images (and depth images) of a plurality of viewpoints photographed by the photographing device 11.
- the generation device 12 supplies the viewpoint images of the plurality of viewpoints to the 3D model generation unit 21, the strobe model generation unit 22, and the object designation UI information generation unit 23, and the processing proceeds from step S11 to step S12.
- the viewpoint images of a plurality of viewpoints captured by the image capturing device 11 can be obtained by the display device 13 and transmitted from the display device 13 to the generating device 12.
- step S12 the 3D model generation unit 21 generates a 3D model of an object shown in a viewpoint image on a frame-by-frame basis by using viewpoint images of a plurality of viewpoints.
- the 3D model generation unit 21 supplies the 3D model of the object to the strobe model generation unit 22 and the object designation UI information generation unit 23, and the process proceeds to step S13.
- step S13 the object designation UI information generation unit 23 generates the object designation UI information by using the viewpoint image and the 3D model from the 3D model generation unit 21 as necessary.
- the object designation UI information generation unit 23 supplies the object designation UI information to the communication unit 24, and the processing proceeds from step S13 to step S14.
- step S14 the communication unit 24 transmits the object designation UI information from the object designation UI information generation unit 23 to the display device 13, and the process proceeds to step S15.
- step S15 the communication unit 24 waits for the object designation information, the strobe range information, and the strobe time information to be transmitted from the display device 13, and then the object designation information, the strobe range information, and the strobe range information. Receive time information.
- the communication unit 24 supplies the object designation information, the strobe range information, and the strobe time information to the strobe model generation unit 22, and the processing proceeds from step S15 to step S16.
- step S16 the strobe model generation unit 22 uses the viewpoint image and the 3D model from the 3D model generation unit 21 according to the object designation information, the strobe range information, and the strobe time information from the communication unit 24. Generate a strobe model.
- the strobe model generation unit 22 sets the target object for arranging the 3D model in the strobe model from the objects shown in the viewpoint image according to the object designation information and the strobe range information.
- the strobe model generation unit 22 selects a generation frame used for generating a strobe model from the frames of the strobe section represented by the strobe time information.
- the same number of 3D models of the same object as the number of frames in the strobe section are overlapped and arranged in the strobe model.
- the strobe image may be difficult to see.
- the strobe model generation unit 22 can select some frames from the frames in the strobe section as generation frames and generate a strobe model using the generation frames (3D model of the object reflected in).
- the strobe model generation unit 22 can select, as a generation frame, a frame in which the degree of interference of the 3D model of the target object is equal to or less than a threshold value from the frames in the strobe section, for example. That is, the strobe model generation unit 22 calculates the degree of interference that represents the degree of overlap between the 3D models when the 3D model of the target object reflected in the frame of the strobe section is arranged in the three-dimensional space. The degree of interference is calculated, for example, as 100% when the 3D models of arbitrary two frames completely overlap in the three-dimensional space and 0% when they do not overlap at all.
- the strobe model generation unit 22 selects a frame whose degree of interference is equal to or less than a predetermined threshold as a generation frame.
- a frame in which the degree of interference of the 3D model is less than or equal to the threshold value is selected as the generation frame, and the strobe model in which the 3D model of the target object reflected in the generation frame is arranged is generated.
- a frame in the strobe section can be simply selected as a generation frame for every predetermined number of frames.
- the strobe model generation unit 22 uses the 3D model of the target object reflected in the plurality of generation frames selected from the frames of the strobe section as, for example, the background (3D model) of the three-dimensional space when the target object is photographed. To generate the strobe model placed in.
- the strobe model generation unit 22 supplies the strobe model to the communication unit 24, and the process proceeds from step S16 to step S17.
- step S17 the communication unit 24 transmits the strobe model from the strobe model generation unit 22 to the display device 13, and the generation process ends.
- FIG. 5 is a flowchart illustrating an example of display processing performed by the display device 13 of FIG.
- step S31 the communication unit 31 waits for the object designation UI information to be transmitted from the generation device 12, and then receives the object designation UI information.
- the communication unit 31 supplies the object designation UI information to the display unit 34 and the object designation information setting unit 37, and the process proceeds from step S31 to step S32.
- step S32 the display unit 34 displays the object designation UI serving as a clue for designating the object for which the strobe model is to be generated, in accordance with the object designation UI information from the communication unit 31, and the process proceeds to step S33. ..
- step S33 the object designation information setting unit 37 sets a key object according to the user's operation on the object designation UI displayed on the display unit 34. Furthermore, the object designation information setting unit 37 sets (generates) object designation information representing a key object. Then, the object designation information setting unit 37 supplies the object designation information to the communication unit 31, and the process proceeds from step S33 to step S34.
- step S34 the strobe range information setting unit 38 sets strobe range information according to a user operation and supplies the strobe range information to the communication unit 31, and the process proceeds to step S35.
- step S35 the strobe time information setting unit 39 sets strobe time information according to the user's operation and supplies the strobe time information to the communication unit 31, and the process proceeds to step S36.
- step S36 the communication unit 31 generates the object designation information from the object designation information setting unit 37, the strobe range information from the strobe range information setting unit 38, and the strobe time information from the strobe time information setting unit 39. 12, and the process proceeds to step S37.
- step S37 the communication unit 31 waits for the strobe model to be transmitted from the generation device 12, and then receives the strobe model.
- the communication unit 31 supplies the strobe model from the generation device 12 to the effect processing unit 32, and the processing proceeds from step S37 to step S38.
- step S38 the effect processing unit 32 performs effect processing on the 3D model (of the target object) arranged in the strobe model according to the user's operation. For example, the effect processing unit 32 selects one of the past and the future from the reference 3D model designated according to the user's operation or the like among the 3D models at a plurality of times (generation frames) arranged in the strobe model. Perform effect processing on both 3D models.
- the effect processing unit 32 supplies the strobe model (on which the 3D model is placed) after the effect processing to the free viewpoint image generation unit 33, and the process proceeds from step S38 to step S39.
- the effect processing unit 32 can supply the free-viewpoint image generation unit 33 without performing effect processing on the strobe model, for example, according to a user operation or the like.
- step S39 the camerawork setting unit 35 sets the camerawork of the virtual camera according to the user operation, the state of the 3D model of the target object placed in the strobe model, and the like.
- the camerawork setting unit 35 supplies the camerawork to the free viewpoint image generation unit 33, and the processing proceeds from step S39 to step S40.
- step S40 the free viewpoint image generation unit 33 renders the strobe model from the effect processing unit 32 as a 3D strobe image captured by a virtual camera according to the camerawork from the camerawork setting unit 35. To generate. Then, the free viewpoint image generation unit 33 supplies the 3D strobe image to the display unit 34, and the processing proceeds from step S40 to step S41.
- step S41 the display unit 34 displays the 3D strobe image from the free viewpoint image generation unit 33, and the display process ends.
- the display unit 34 displays a 2D image, which is a 3D strobe image, in which 3D models of objects appear in a plurality of generated frames viewed from the shooting position of the strobe model by the virtual camera.
- FIG. 6 is a diagram showing an example of an unnatural 3D strobe image.
- FIG. 6 shows a 3D strobe image generated from a strobe model generated by using five of the viewpoint image frames in which a ball as an object is rolling from the front side to the back side as a generation frame. An example is shown.
- the 3D model of the ball reflected in the generated frame of 5 frames is arranged (rendering) so that the 3D model that is later in time has priority. Therefore, the 3D model (of the ball) that is later in time is located so as to hide the 3D model that is closer to the front in time, although it is located in the back. As a result, the 3D strobe image in FIG. 6 is an unnatural image.
- FIG. 7 is a diagram showing an example of a natural 3D strobe image.
- FIG. 7 shows a 3D strobe image generated from a strobe model generated by using five of the viewpoint image frames in which a ball as an object is rolling from the front side to the back side as a generation frame. An example is shown.
- the 3D model of the ball reflected in the generated frame of 5 frames is arranged so that the 3D model on the front side has priority. Therefore, the 3D model on the front side is arranged so as to hide the 3D model on the back side, that is, the 3D model on the front side is preferentially displayed. As a result, the 3D strobe image in FIG. 7 is a natural image.
- the free viewpoint image generation unit 33 generates a 3D strobe image in which the 3D model of the object on the front side is preferentially reflected as described above by using the depth (depth) of the 3D model of each object arranged in the strobe model. Yes (shoot with a virtual camera).
- FIG. 8 is a diagram showing an example of a frame of a viewpoint image in a strobe section.
- nine frames from time t1 to t9 are the viewpoint image frames in the strobe section.
- the ball as an object is rolling from left to right.
- FIG. 9 is a diagram showing an example of generation of a strobe model using frames at times t1 to t9 as strobe sections.
- the frames at times t1 to t9 as the strobe section are selected as the generation frames, and are set as generation frames for viewpoint images of a plurality of viewpoints.
- a 3D model of the ball as an object reflected in the frames at times t1, t3, t5, t7, and t9 is generated.
- a strobe model in which the 3D model of the ball reflected in the frames at times t1, t3, t5, t7, and t9 as the generation frame is arranged is generated.
- FIG. 10 is a diagram showing a display example of a 3D strobe image generated by photographing a strobe model with a virtual camera.
- a frame in which the 3D model of the ball as an object appears in the frames at times t1, t3, and t5 a frame in which the 3D model of the ball as an object in the frames at times t1, t3, t5, and t7 appears, and , A frame in which a 3D model of a ball as an object is reflected in the frames at times t1, t3, t5, t7, and t9 can be generated and sequentially displayed.
- the shooting position of the virtual camera that shoots the strobe model is not changed, but the shooting position of the virtual camera can be changed according to the camera work.
- a strobe model in which a 3D model of a ball as an object reflected in the frames at times t1, t3, t5, t7, and t9 is arranged can be photographed by the virtual camera while changing the photographing position.
- the viewpoint for viewing the strobe model is changed, and a 3D strobe image with a different camera angle is displayed.
- FIG. 11 is a diagram illustrating a 3D model that is a target of effect processing in the effect processing unit 32 of FIG. 3 in the strobe model.
- the effect processing unit 32 selects one or both of the past and future from the reference 3D model among the 3D models of the objects reflected in the plurality of generated frames as the plurality of times selected from the frames of the strobe section. You can perform effect processing on 3D models.
- the target model which is the target 3D model for effect processing, is specified by the effect direction indicating the time direction (past direction and future direction) with respect to the reference 3D model and the effect distance indicating the distance from the reference 3D model.
- past direction past, future direction future, or both past direction past and future direction future can be set.
- effect processing is performed from the reference 3D model to the past direction 3D model.
- future direction future is set as the effect direction, the effect processing is performed from the reference 3D model to the future 3D model.
- past direction past and future direction future are set as the effect directions, effect processing is performed from the reference 3D model to the past direction 3D model and the future direction 3D model.
- the effect distance can be specified by the number of 3D models from the reference 3D model, number, distance distance, or time time.
- 3D models arranged in the strobe model that is, the number of models that are number number or more apart from the reference 3D model of the (object) 3D models reflected in the generation frame used to generate the strobe model
- Another 3D model can be designated as the target model.
- a 3D model that is more than the distance distance from the reference 3D model can be designated as the target model.
- a 3D model that is more than time time away from the reference 3D model can be designated as the target model.
- the effect processing unit 32 targets a 3D model that is away from the reference 3D model by the number of models number, distance distance, or time or more in the past direction, the future direction, or both the past and future directions. Performs effect processing as a model.
- effect processing will be performed from the reference 3D model to the past 3D model.
- the strobe model is generated using many 3D models.
- a strobe model generated using many 3D models may be difficult to see.
- the 3D model at a time that is a certain time or more before the reference 3D model is temporal. It may interfere with (viewing) the (future) 3D model that follows, or the 3D model of another object.
- a strobe model generated using a large number of 3D models when an object moves so as to draw a similar trajectory, for example, the object is a bar and performs so-called large wheels (rear wheels or front wheels).
- large wheels rear wheels or front wheels
- the 3D model that precedes in time (past) and the 3D model that follows in time draw similar trajectories, which may make it difficult to understand the passage of time.
- the data amount of the 3D model becomes large, and the amount of processing required to display the strobe model (free viewpoint image generated from the strobe model) becomes large.
- the effect processing unit 32 provides an easy-to-see strobe model by performing effect processing on the 3D model arranged in the strobe model, and reduces the amount of strobe model data and the amount of processing required to display the strobe model. You can
- FIG. 12 is a diagram illustrating a specific example of effect processing.
- effect processes represented by effect modes 0, 1, 2, 3, 3, 4, 5, 5, 6, 7, 8, 9, 10, 10, 11, 12, 13, and 14 as effect processes.
- effect modes 1 to 14 the effect direction and effect distance described in FIG. 11 can be set.
- the effect processing is performed assuming that, for example, past direction past is set as the effect direction by default.
- Effect mode 0 indicates that no effect processing is performed.
- Effect mode 1 represents the effect processing that makes the 3D model transparent.
- all the target models can be made transparent with the same transparency, or gradually made transparent, that is, the 3D model (target The more transparent the model, the more transparent it can be.
- How to make the 3D model transparent can be specified by, for example, defining a parameter associated with the effect mode 1 and specifying the parameter. Note that when the transparency is 100%, the target model is completely transparent, and in this case, the effect processing result of the effect mode 1 is substantially the same as that of the effect mode 4 described later.
- Effect mode 2 represents the effect processing that gradually disappears the 3D model.
- Effect mode 3 represents effect processing that reduces the number of textures in the 3D model (the number of 2D images used as textures).
- the effect processing of effect mode 3 it is possible to reduce the number of textures of the target model to the same number, or to reduce it gradually, that is, as the 3D model distant from the reference 3D model in time or distance, the texture You can also reduce the number.
- How to reduce the number of textures in the 3D model can be specified by, for example, defining a parameter associated with the effect mode 3 and using the parameter.
- the 3D model on which texture mapping is performed that is, the VD model, is targeted, and the VI model on which texture mapping is not performed is not targeted.
- Effect mode 4 represents the effect processing that erases the 3D model.
- Effect mode 5 represents an effect process that reduces at least one of the brightness and saturation of the 3D model.
- the luminance and the saturation of the target model can be reduced by the same ratio or can be gradually reduced, that is, the 3D that is distant from the reference 3D model in time or distance. It is possible to increase the ratio of decreasing the luminance and the saturation of the model. How to reduce the luminance and saturation of the 3D model and which of the luminance and saturation are to be reduced can be specified by, for example, defining parameters associated with the effect mode 5.
- Effect mode 6 represents effect processing that limits the number of 3D models placed in the strobe model.
- the 3D model placed in the strobe model is limited to only the 3D models other than the target model among the 3D models of the generated frame.
- Effect mode 7 represents an effect process for converting a 3D model into low polygons, that is, an effect process for reducing the number of meshes (polygons) of the 3D model.
- effect processing of effect mode 7 it is possible to reduce the number of meshes of the target model to the same number, or to reduce it gradually, that is, the 3D model that is distant from the reference 3D model in time or distance, The number can be reduced.
- How to reduce the number of meshes of the 3D model can be specified by, for example, defining a parameter associated with the effect mode 7 and specifying the parameter.
- effect processing in effect mode 7 applies to 3D models that are composed of polygons, not 3D models that are not composed of polygons, that is, wireframes, for example.
- Effect modes 8 and 9 represent effect processing that changes the representation format of the 3D model.
- the effect mode 8 represents an effect process for changing a 3D model composed of polygons into a wireframe.
- Effect mode 9 represents an effect process that changes the representation format of the 3D model from View Dependent to View Independent, that is, an effect process that changes the VD model to a VI model (for example, point cloud).
- Effect mode 10 represents an effect process that erases the 3D model and leaves a trace of the 3D model.
- Effect mode 11 represents the effect processing that changes the texture (texture material) of the 3D model.
- the texture to be changed to the texture of the 3D model can be specified by, for example, defining a parameter associated with the effect mode 11 and specifying the parameter.
- Effect mode 12 represents the effect processing that blurs the (shape) of the 3D model.
- the degree of blurring of the 3D model can be specified by, for example, defining a parameter associated with the effect mode 12 and specifying the parameter.
- Effect mode 13 represents effect processing that changes the color of the 3D model.
- the color of the 3D model to be changed can be specified by, for example, defining a parameter associated with the effect mode 13, and specifying the parameter.
- Effect mode 14 represents effect processing that changes the size of the 3D model.
- the extent to which the size of the 3D model is changed can be specified by, for example, defining a parameter associated with the effect mode 14.
- effect direction and effect distance can be set, but the default effect direction and effect distance can be defined as necessary.
- past direction past can be defined as the default effect direction for effect modes 1 to 10.
- the 3D model that is one model or more away from the reference 3D model in the past direction, that is, the 3D model before the next 3D model in the past direction of the reference 3D model.
- the effect processing of effect mode 1 is performed with the model as the target model.
- distance default 5[m] can be defined as the default effect distance in effect mode 4.
- effect processing of effect mode 4 is performed on the 3D model that is more than 5 m away from the reference 3D model in the past direction.
- the effect processing of the effect mode 5 is performed for the 3D model that is more than 10 seconds away from the reference 3D model in the past direction.
- the 3D model that is more than 3 models away from the reference 3D model in the past direction that is, the 3D model before the third 3D model in the past direction of the reference 3D model
- the effect processing of effect mode 7 is performed with the 3D model as the target model.
- a plurality of effect modes can be set. For example, regarding the effect processing, when the effect modes 1 and 3 are set, the effect processing that makes the 3D model transparent and reduces the number of textures is performed.
- FIG. 13 is a diagram illustrating a 3D model generated by the 3D model generation unit 21 of FIG.
- the 3D model generated by the 3D model generation unit 21 includes a 3D model in which a 3D shape (three-dimensional shape) and a texture are integrated, a 3D model in which the 3D shape and the texture are separate, and a 2D image of a plurality of viewpoints. There is a set with depth image, etc.
- 3D model There is a colored point cloud as a 3D model in which the 3D shape and texture are integrated.
- 3D model in which 3D shape and texture are separate a set of 3D shape model (mesh (polygon) or point cloud) and 2D images of multiple viewpoints as texture, UV as 3D shape model and texture There is a set with a map, etc.
- a set of colored point cloud, 3D shape model and UV map as texture is a VI model, and a set of 3D shape model and 2D image of multiple viewpoints as texture, or 2D of multiple viewpoints
- the set of images and depth images is a VD model.
- MPEG 3D models in which 3D shapes and textures are integrated standardization of encoding methods is planned for MPEG.
- the encoding method is standardized as MPEG-4 AFX (Animation Framework eXtension).
- a set of 2D images and depth images of a plurality of viewpoints can be coded by a coding method for 2D images such as HEVC (High Efficiency Video Coding).
- FIG. 14 is a diagram showing an example of setting the target object.
- a method of setting the target object for example, there is a method in which the user specifies the 3D model of the target object.
- the vertical axis represents time and the horizontal axis represents viewpoint.
- viewpoint images of a plurality of viewpoints are shown for each frame.
- the user when adopting a method in which the user specifies the 3D model of the target object, for each frame (generation frame) of the viewpoint image, using viewpoint images of a plurality of viewpoints, A 3D model of the object that appears in the frame is generated.
- the 3D model may be either a VD model or a VI model. Then, the user manually specifies the 3D model of the target object (or the object) for each frame.
- the user has to manually specify the 3D model of the target object for each frame, which is troublesome.
- the burden is heavy.
- the generation device 12 generates the object designation UI information, and the display device 13 displays the object designation UI according to the object designation UI information.
- the user can easily specify the target object by using the object specifying UI.
- FIG. 15 is a diagram showing an example of the object designation UI displayed according to the object designation UI information.
- a free viewpoint image (a still image or a moving image) of an object in which a 3D model generated by the 3D model generation unit 21 is viewed from a predetermined viewpoint
- a free viewpoint image as the object designation UI a free viewpoint image with a texture or a free viewpoint image without a texture can be adopted.
- the viewpoint can be changed according to the operation of the user (the operation unit 36).
- the viewpoint image itself in which the object is reflected can be adopted as the object designation UI.
- the object designation UI a bird's-eye view image showing an object (a symbol representing the object), which is a bird's-eye view of a scene shown in the viewpoint image, can be adopted.
- Which of the free viewpoint image with texture, the free viewpoint image without texture, the viewpoint image and the bird's eye image as the object designation UI to be displayed on the display device 13 is determined according to, for example, a user operation. You can choose.
- the object designation information setting unit 37 sets a target object designated by the user as a key object according to a user operation, and sets (generates) object designation information representing the key object.
- the target object set as the key object does not need to be specified for each frame.
- a plurality of objects can be specified as the target objects set in the key object. That is, a plurality of objects can be set as the key object.
- the user can easily designate a desired object as a target object to be a key object by operating the object designating UI.
- the target object specified by the user is set as the key object, but the key object can perform analysis processing of a viewpoint image and the like and can perform the analysis processing according to the result of the analysis processing.
- a viewpoint image showing a soccer match a player who keeps a soccer ball can be recognized and the player can be set as a key object through analysis processing.
- the user performs an operation on the object designation UI to specify the key object as well as the target object according to the spatial range of the object, that is, the positional relationship as the degree of object association with the key object.
- the strobe range information setting unit 38 sets strobe range information indicating the spatial range of the object set as the target object according to the user's operation.
- FIG. 16 illustrates the object designation UI information and the object designation information.
- the object designation UI information generated by the object designation UI information generation unit 23 includes an object designation UI and object information.
- the object information exists for each frame such as a free-viewpoint image as an object designation UI, and an object ID that identifies an object (subject) reflected in the frame and the position information of the object, for example, coordinates in a 2D coordinate system. (u, v) are associated and configured.
- the object designation information setting unit 37 (FIG. 3) recognizes the object ID of the key object designated by the user's operation on the object designation UI from the object information, and uses the list of the object IDs of the key objects as the object designation information. Set.
- the strobe model generation unit 22 of the generation device 12 refers to the object information generated by the object designation UI information generation unit 23 and identifies the key object represented by the object ID as the object designation information.
- FIG. 17 is a diagram illustrating a first example of strobe range information.
- strobe range information indicating the spatial range of the target object (object set as the target object)
- information indicating the range based on the key object and objects other than the key object (non-key object) are included.
- Information indicating the reference range can be adopted.
- the information indicating the range based on the key object for example, the radius of a circle (sphere) centered on the key object, that is, the distance from the key object can be adopted.
- the information indicating the range based on the non-key object for example, the radius of a circle centered on the non-key object, that is, the distance from the non-key object can be adopted.
- the strobe range information is set only in the key object.
- the strobe range information is set for each non-key object.
- the distance from the non-key object as the strobe range information may be different or the same for each non-key object.
- FIG. 17 shows an example of setting the target object when the distance from the key object is adopted as strobe range information.
- FIG. 17 shows a state in which the three-dimensional space shown in the viewpoint image is viewed from above.
- objects o1, o2, o3, and object o1 is set as the key object. Therefore, objects o2 and o3 are non-key objects.
- the distance r1 from the key object is set in the strobe range information.
- the non-key object o2 is located closer to the key object o1 than the distance r1, and the non-key object o3 is located farther to the key object o1 than the distance r1.
- the key object o1 and the object o2 whose distance from the key object o1 is within the distance r1 as the flash range information are the target objects. Is set.
- the object o3 is not set as the target object because the distance from the key object o1 exceeds the distance r1 as the strobe range information.
- the strobe range information setting unit 38 sets strobe range information according to the operation of the operation unit 36 by the user, and also according to the key object (specified by the object ID) represented by the object designation information.
- the flash range information can be set.
- the strobe range information setting unit 38 sets the strobe range information according to the key object, a different distance for each key object can be set in the strobe range information.
- the viewpoint image is an image of a soccer match shot
- different distances are set between the player and the soccer ball as key objects, and the player and the soccer ball.
- a player can be set to a predetermined distance
- a soccer ball can be set to a distance that is longer than the distance set to the player.
- FIG. 18 is a diagram illustrating a second example of strobe range information.
- FIG. 18 shows an example of setting the target object when the distance from the non-key object is adopted as the strobe range information.
- FIG. 18 shows a state in which the three-dimensional space shown in the viewpoint image is viewed from above.
- the objects o2 and o3 are non-key objects, as in FIG.
- the non-key object o2 is located closer to the key object o1 than the non-key object o3
- the non-key object o3 is closer to the key object o1 than the non-key object o2. It is located at a great distance. In this respect, the same applies to FIG.
- the distances r2 and r3 from the non-key objects o2 and o3 are set in the strobe range information.
- the distance r3 is farther than the distance r2.
- the key object o1 and the object o3 whose distance to the key object o1 is within the distance r3 as the flash range information are the target objects. Is set.
- the object o2 is not set as the target object because the distance to the key object o1 exceeds the distance r2 as the strobe range information of the non-key object o2.
- the non-key object o2 that is closer to the key object o1 depending on how to set the distance from the non-key object as the strobe range information.
- a non-key object o3 that is far from the key object o1 can be set as the target object.
- the strobe range information of the goalkeeper of the opponent team as a non-key object is used.
- the distance can be set to a longer (predicted) distance than the distance to the field player holding the soccer ball.
- the field player who keeps the soccer ball as the key object and the goal keeper of the opponent team as the non-key object are the target objects, and the field player (the 3D model) that keeps the soccer ball.
- a 3D strobe image of at least the goalkeeper (3D model) of the opponent team as a non-key object can be generated.
- FIG. 19 is a diagram for explaining strobe time information.
- the strobe time information represents a strobe section which is a section of a frame for which a strobe model is generated.
- the user can specify the strobe section by, for example, specifying the first frame and the last frame of the strobe section, or by inputting the time code of the first frame and the last frame of the strobe section.
- FIG. 20 is a diagram illustrating a first example of setting the target object according to the positional relationship between the key object and the non-key object as the degree of object association.
- the user specifies a certain object (two objects in FIG. 20) among the objects reflected in the generation frame t#n as the key object (target object to be the key object).
- the strobe model generation unit 22 sets only the key object as the target object.
- FIG. 21 is a diagram illustrating a second example of setting the target object according to the positional relationship between the key object and the non-key object as the degree of object association.
- the user specifies a certain object (one object in FIG. 21) among the objects reflected in the frame t#n as the key object.
- the strobe model generation unit 22 determines that the distance from the key object is the strobe range of the key object and the non-key object appearing in the generation frame t#n in which the key object is designated.
- a non-key object (indicated by a shaded circle in the figure) within a predetermined distance as information is set as a target object.
- FIG. 22 is a diagram illustrating a third example of setting the target object according to the positional relationship between the key object and the non-key object as the degree of object association.
- the user specifies a certain object (one object in FIG. 22) among the objects reflected in the generated frame t#n as the key object.
- the strobe model generation unit 22 determines that the distance from the key object among the key object and the non-key object reflected in the generation frame t#n in which the key object is designated is the strobe range.
- a non-key object (indicated by a shaded circle in the figure) within a predetermined distance as information is set as a target object.
- the strobe model generation unit 22 selects the non-key object appearing in the generation frame t#na one frame before the generation frame t#n in which the key object is specified and the generation frame t#n+b one frame after.
- a non-key object (indicated by a shaded circle in the figure) whose distance from the key object is within a predetermined distance as the strobe range information is set as a target object.
- the distance to the key object is a non-key object within a predetermined distance.
- the distance to the key object is a non-key within a predetermined distance.
- the non-key object or the key object is indicated by a dotted line in the figure.
- the distance to the key object may fall within a predetermined distance, and the target object may be set.
- the distance from the key object is set as the strobe range information.
- a non-key object within a predetermined distance of can be set as a target object.
- FIG. 23 is a diagram illustrating a fourth example of setting the target object according to the positional relationship between the key object and the non-key object as the degree of object association.
- the user specifies the object o4 of the objects o1 to o7 shown in the generated frame t#n as the key object.
- the strobe model generation unit 22 selects the key object o4 and the non-key objects o1 to o3 and o5 to o7 among the non-key objects o1 to o3 and o5 in the generation frame t#n in which the key object o4 is designated.
- a non-key object o2 whose distance from the key object o4 is within a predetermined distance as strobe range information is set as a target object.
- the strobe model generation unit 22 sets the object o2 set as the target object among the non-key objects o1 to o3 and o5 to o7 in the generation frame t#n in which the key object o4 is designated as the key object. Set to the corresponding semi-key object. Then, the strobe model generation unit 22 generates the non-key objects o1 to o3 and o5 to o7 in the generation frame t#na one frame before the generation frame t#n in which the key object is specified, and the generation one frame after.
- the non-key object whose distance from the semi-key object o2 is within the predetermined distance as the strobe range information is set as the target object. To do.
- the quasi-key object o2 is moving as shown by the dotted arrow in the figure. Therefore, in FIG. 23, in the generated frame t#n-a, the object o1 exists as a non-key object whose distance from the semi-key object o2 is within the predetermined distance as the strobe range information. Furthermore, in the generation frame t#n+b, the object o7 exists as a non-key object whose distance from the quasi-key object o2 is within the predetermined distance as the strobe range information.
- the non-key object o1 appearing in the generation frame t#na and the non-key object appearing in the generation frame t#n+b The object o7 is set as the target object.
- the key object o4 is used as a root node, and within the generation frame t#n in which the key object o4 is specified, within a predetermined distance from the key object o4 as strobe range information.
- a certain non-key object o2 becomes a node belonging to the root node.
- the non-key object o2 corresponding to the node belonging to the root node Therefore, the non-key objects o1 and o7 within the predetermined distance as the strobe range information become the nodes belonging to the node corresponding to the non-key object o2. Then, the objects o1, o2, o4, and o7 corresponding to the respective nodes of the tree structure composed of the above nodes are set as the target objects.
- the fourth example of setting the target object in addition to this, for example, it is possible to repeatedly increase the number of nodes for generation frames two or more frames before or after the generation frame t#n in which the key object is designated. That is, the objects o1 and o7 are set as quasi-key objects, and among the non-key objects reflected in the generation frame t#na two frames before the generation frame t#n in which the key object is designated and the generation frame two frames after It is possible to repeatedly set the non-key object whose distance from the quasi-key objects o2 and o7 is within the predetermined distance as the strobe range information as the target object.
- the target object can be set by combining the third example (FIG. 22) and the fourth example (FIG. 23).
- FIG. 24 is a diagram showing a first example of camerawork set by the camerawork setting unit 35 of FIG.
- the shooting position, shooting posture, and camera parameters of the virtual camera can be set for each time. For example, an image obtained by shooting a strobe model with a virtual camera at one time becomes one frame of a 3D strobe image.
- the shooting position, shooting posture, and camera parameter of the virtual camera at each time can be set according to the user's operation, or according to the distribution of the 3D model of the target object placed in the strobe model, etc. It can also be done automatically.
- shooting posture and shooting position can be included in the camera parameters as part of the camera parameters.
- FIG. 25 is a diagram illustrating an example of setting parameters related to the angle of view (zoom magnification) of camera parameters as camera work.
- a camera parameter in which only the target object is included within the angle of view that is, an object that is not the target object (hereinafter, non-target object) It is possible to set a parameter that (also called an object) does not fall within the angle of view as much as possible.
- the parameter related to the angle of view can be set according to the user's operation, or automatically according to the distribution of the 3D model of the target object placed in the strobe model.
- FIG. 26 is a diagram showing a second example of camerawork set by the camerawork setting unit 35 of FIG.
- the camera work includes the shooting position of the virtual camera when shooting the strobe model (hereinafter also referred to as the shooting start position) and the shooting position of the virtual camera when shooting the strobe model (hereinafter, shooting end). (Also referred to as a position), the shooting postures of the virtual cameras at the shooting end position and the shooting end position, and camera parameters can be set. Further, as the camera work, the center of rotation when the virtual camera is moved from the shooting start position to the shooting end position can be set. The center of rotation when moving the virtual camera from the shooting start position to the shooting end position can be represented by the coordinates of the xyz coordinate system as the world coordinate system.
- the shooting start position and the shooting end position, the shooting posture of each virtual camera at the shooting end position and the shooting end position, and the setting of the camera parameters can be performed according to the user's operation. It can also be automatically performed according to the distribution of the 3D model of the target object placed in the model.
- the center of rotation can be set according to the user's operation, or can be automatically set according to, for example, the distribution of the 3D model of the target object placed in the strobe model.
- the position of the center of gravity of the 3D model placed in the strobe model can be set as the rotation center. it can.
- FIG. 27 is a diagram showing an example of movement of the virtual camera when the second example of camera work is adopted.
- the position OO of the center of gravity of the target object is set as the center of rotation for camera work.
- a moving route for moving the virtual camera a route for moving from the shooting start position to the shooting end position on the circumference of a circle centered on the rotation center OO can be adopted.
- the shooting position is interpolated on the movement route from the shooting start position to the shooting end position by using the shooting start position and the shooting end position when shooting the flash model with the virtual camera.
- the shooting attitudes of the shooting start positions and the shooting end positions are used to interpolate the shooting attitudes of the shooting positions, and the camera parameters of the shooting positions are interpolated using the camera parameters of the shooting start position and the shooting end position.
- the stroboscopic model is shot with each camera parameter by the virtual camera in each shooting posture.
- the 3D strobe image can be effectively shown to the user. That is, the user can view the temporal change of the target object from various viewpoints in the size of the object that is easy to see.
- FIG. 28 is a diagram illustrating a first example of the amount of data of the strobe model transmitted from the generation device 12 to the display device 13.
- the strobe model will be as many VI models as the number of target objects in the generated frame. It is arranged for a few minutes. Therefore, the amount of data of the strobe model is equal to the number of generation frames of the amount of data of the VI model corresponding to the number of target objects.
- FIG. 29 is a diagram illustrating a second example of the data amount of the strobe model.
- the strobe model is a texture-mapped target object. It consists of several 3D shape models arranged by the number of generated frames.
- the amount of data of the 3D shape model of the strobe model is equal to the number of generated frames of the amount of data of the 3D shape model corresponding to the number of target objects.
- texture mapping when texture mapping is performed on the 3D shape model of each target object reflected in each generation frame, as a texture, the generation frames of viewpoint images of each viewpoint, that is, the number of viewpoints ⁇ the number of generation frames of viewpoint images. A frame (generated frame) is required.
- texture mapping can be performed if the strobe model has a texture of the target object on which the 3D model is arranged.
- texture mapping of the target object where the 3D model is placed in the strobe model is taken into consideration so that the front side is preferentially reflected in consideration of the depth of the target object reflected in the generation frame. It is assumed that this is performed using a composite image in which a plurality of generated frames used for (1) are combined. Such a composite image is generated for each viewpoint. Further, in the texture mapping of the stroboscopic model using the composite image for each viewpoint, the camera parameters (shooting position, focal length, etc.) for each viewpoint when the viewpoint image that is the source of the composite image is captured are required.
- the data amount of the strobe model is the same as the number of generated frames and the number of viewpoints of the number of 3D shape model data items of the target object.
- the data amount is the sum of the image data amount and the camera parameter data amount for the number of viewpoints.
- VD model when adopting a set of 2D images and depth images of a plurality of viewpoints, 2D images and depth images of a plurality of viewpoints, like the viewpoint image of each viewpoint as the texture, It can be handled as a composite image.
- FIG. 30 is a diagram illustrating the transmission of the composite image forming the strobe model from the generation device 12 to the display device 13.
- the entire composite image is transmitted from the generation device 12 to the display device 13, and a part of the area including the target object is cut out from the composite image, and the part of the area is included in the composite image. Can be sent instead.
- FIG. 31 is a block diagram showing a configuration example of another embodiment of an image processing system to which the present technology is applied.
- the image processing system includes a photographing device 11, a generation device 112, and a display device 113.
- the image processing system in FIG. 31 is common to the case in FIG.
- the image processing system of FIG. 31 is different from the case of FIG. 1 in that a generation device 112 and a display device 113 are provided instead of the generation device 12 and the display device 13, respectively.
- the generation device 112 Like the generation device 12, the generation device 112 generates the object designation UI information and transmits it to the display device 13. Further, like the generating device 12, the generating device 112 also generates a strobe model according to the object designation information, the strobe range information, and the strobe time information transmitted from the display device 113.
- the generation device 112 generates a 3D strobe image obtained by shooting the strobe model with a virtual camera according to camera work set according to camera work operation information transmitted from the display device 113, It is transmitted to the display device 113.
- the camerawork operation information is information indicating an operation performed by the user regarding camerawork.
- the display device 113 displays the object designation UI according to the object designation UI information transmitted from the generation device 112. Further, similarly to the display device 13, the display device 113 sets the object designation information, the strobe range information, and the strobe time information according to the user's operation on the object designation UI or the like, and transmits the object designation information, the strobe time information, and the like to the generation device 112.
- the display device 113 also sends camerawork operation information to the generation device 112 in response to a user operation. Furthermore, the display device 113 displays the 3D strobe image transmitted from the generation device 112.
- FIG. 32 is a block diagram showing a configuration example of the generation device 112 of FIG.
- the generation device 112 includes a 3D model generation unit 21, a flash model generation unit 22, an object designation UI information generation unit 23, and a communication unit 24. Furthermore, the generation device 112 includes an effect processing unit 132, a free viewpoint image generation unit 133, and a camera work setting unit 135.
- the generation device 112 is common to the generation device 12 of FIG. 2 in that the generation device 112 includes the 3D model generation unit 21, the strobe model generation unit 22, the object designation UI information generation unit 23, and the communication unit 24. However, the generation device 112 differs from the generation device 12 in that an effect processing unit 132, a free viewpoint image generation unit 133, and a camera work setting unit 135 are newly provided.
- a strobe model is supplied from the strobe model generation unit 22 to the effect processing unit 132.
- the effect processing unit 132 performs the effect processing on the 3D model (of the target object) arranged in the strobe model from the strobe model generation unit 22, and causes the free viewpoint image generation unit 133 to perform the effect processing.
- Supply the effect processing unit 132 can perform predetermined effect processing in the generation device 113, for example.
- the effect processing unit 132 can perform effect processing according to the operation of the user of the display device 113, for example.
- the free-viewpoint image generation unit 133 captures the strobe model from the effect processing unit 132 with a virtual camera according to the camerawork from the camerawork setting unit 135.
- a 3D strobe image (moving image) that is the obtained 2D image is generated as (a data item of) a free viewpoint image, and is supplied to the communication unit 24.
- the camerawork setting unit 135 sets the camerawork of the virtual camera in accordance with the camerawork operation information supplied from the communication unit 24, as in the camerawork setting unit 35 of FIG. Supply.
- the communication unit 24 in FIG. 32 transmits a 3D strobe image to the display device 113 instead of the strobe model. Further, the communication unit 24 in FIG. 32 receives the camera work operation information transmitted from the display device 113 and supplies the camera work operation information to the camera work setting unit 135. In this respect, the communication unit 24 of FIG. 32 is different from the case of FIG.
- FIG. 33 is a block diagram showing a configuration example of the display device 113 of FIG.
- the display device 113 includes a communication unit 31, a display unit 34, an operation unit 36, an object designation information setting unit 37, a strobe range information setting unit 38, and a strobe time information setting unit 39.
- the display device 113 includes the communication unit 31, the display unit 34, the operation unit 36, the object designation information setting unit 37, the strobe range information setting unit 38, and the strobe time information setting unit 39. It is common to the device 13. However, the display device 113 is different from the display device 13 in that the effect processing unit 32, the free viewpoint image generation unit 33, and the camera work setting unit 35 are not provided.
- the communication unit 31 receives the 3D strobe image transmitted from the generation device 112 and supplies it to the display unit 34.
- the operation unit 36 supplies camerawork operation information indicating the operation to the communication unit 31 according to the operation performed by the user with respect to the camerawork.
- the communication unit 31 transmits the camerawork operation information from the operation unit 36 to the generation device 112.
- the display device 113 is different from the display device 13 in the above points.
- FIG. 34 is a flowchart illustrating an example of a generation process performed by the generation device 112 of FIG. 32.
- steps S111 to S116 the same processes as steps S11 to S16 in FIG. 4 are performed, respectively. Then, the strobe model generated by the strobe model generation unit 22 in step S116 is supplied to the effect processing unit 132, and the process proceeds from step S116 to step S117.
- step S117 the effect processing unit 132 performs effect processing on the 3D model (of the target object) placed in the strobe model from the strobe model generation unit 22.
- the effect processing unit 132 supplies the strobe model (on which the 3D model is arranged) after the effect processing to the free viewpoint image generation unit 133, and the processing proceeds from step S117 to step S118.
- step S118 the communication unit 24 waits for the camerawork operation information to be transmitted from the display device 113, receives the camerawork operation information, and supplies the camerawork operation information to the camerawork setting unit 135.
- the camerawork setting unit 135 sets the camerawork of the virtual camera according to the camerawork operation information from the communication unit 24.
- the camerawork setting unit 135 supplies the camerawork to the free viewpoint image generation unit 133, and the processing proceeds from step S118 to step S119.
- step S119 the free viewpoint image generation unit 133 renders the strobe model from the effect processing unit 132 into a free viewpoint image as a 3D strobe image captured by the virtual camera according to the camerawork from the camerawork setting unit 135. To generate. Then, the free viewpoint image generation unit 133 supplies the 3D strobe image to the communication unit 24, and the processing proceeds from step S119 to step S120.
- step S120 the communication unit 24 transmits the 3D strobe image from the free viewpoint image generation unit 133 to the display device 113, and the generation process ends.
- FIG. 35 is a flowchart illustrating an example of display processing performed by the display device 113 of FIG. 33.
- steps S131 to S136 the same processes as steps S31 to S36 in FIG. 5 are performed.
- step S137 the communication unit 31 waits until the camera work operation information is supplied from the operation unit 36, transmits the camera work operation information to the generation device 112, and the process proceeds to step S138.
- step S138 the communication unit 31 waits for the 3D strobe image to be transmitted from the generation device 112, and then receives the 3D strobe image.
- the communication unit 31 supplies the 3D strobe image from the generation device 112 to the display unit 34, and the processing proceeds from step S138 to step S139.
- step S139 the display unit 34 displays the 3D strobe image from the communication unit 31, and the display process ends.
- the generation device 112 performs effect processing, camera work setting, and 3D strobe image generation (rendering), effect processing, camera work setting, and 3D strobe image generation are performed.
- the load on the display device 113 can be reduced.
- the series of processes described above can be performed by hardware or software.
- a program forming the software is installed in a general-purpose computer or the like.
- FIG. 36 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
- the program can be recorded in advance in a hard disk 905 or a ROM 903 as a recording medium built in the computer.
- the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
- Such removable recording medium 911 can be provided as so-called package software.
- examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
- the program can be installed in the computer from the removable recording medium 911 as described above, or downloaded to the computer via a communication network or a broadcasting network and installed in the built-in hard disk 905. That is, the program is wirelessly transferred from a download site to a computer via an artificial satellite for digital satellite broadcasting, or is transferred to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
- a network such as a LAN (Local Area Network) or the Internet by wire.
- the computer has a built-in CPU (Central Processing Unit) 902, and an input/output interface 910 is connected to the CPU 902 via a bus 901.
- CPU Central Processing Unit
- the CPU 902 executes the program stored in the ROM (Read Only Memory) 903 according to the instruction input by the user operating the input unit 907 or the like via the input/output interface 910. .. Alternatively, the CPU 902 loads a program stored in the hard disk 905 into a RAM (Random Access Memory) 904 and executes it.
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 902 performs the processing according to the above-described flowchart or the processing performed by the configuration of the block diagram described above. Then, the CPU 902 outputs the processing result, for example, via the input/output interface 910, from the output unit 906 or transmitted from the communication unit 908, and further recorded on the hard disk 905, as necessary.
- the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like.
- the output unit 906 includes an LCD (Liquid Crystal Display), a speaker, and the like.
- the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
- the program may be processed by one computer (processor) or may be processed by a plurality of computers in a distributed manner. Further, the program may be transferred to a remote computer and executed.
- the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
- the present technology can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
- each step described in the above flow chart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the generation unit arranges a 3D model of the different object in the strobe model according to an object degree of association representing a relation between a key object serving as a reference for arranging the 3D model in the three-dimensional space and the key object.
- Image processing device With a generator that generates The generation unit arranges a 3D model of the different object in the strobe model according to an object degree of association representing a relation between a key object serving as a reference for arranging the 3D model in the three-dimensional space and the key object.
- ⁇ 2> The image processing device according to ⁇ 1>, wherein the generation unit sets a target object to which the 3D model is to be arranged in the strobe model according to the object association degree.
- the generation unit sets the key object to the target object according to a positional relationship between the key object and a non-key object other than the key object.
- the generation unit sets the non-key object within a predetermined distance from the key object as the target object.
- the generation unit includes, in one frame, the non-key object whose distance to the key object is within a predetermined distance, and the non-key object whose distance to the key object is within a predetermined distance in another frame. Is set to the target object.
- ⁇ 6> The generation unit is configured such that the non-key object whose distance to the key object is within a predetermined distance and the non-key object whose distance to the key object is within a predetermined distance are within a predetermined distance.
- ⁇ 7> The image processing device according to any one of ⁇ 4> to ⁇ 6>, wherein the predetermined distance is set for each of the key objects or each of the non-key objects.
- ⁇ 8> The image processing device according to any one of ⁇ 1> to ⁇ 7>, wherein the key object is set according to a user operation.
- ⁇ 9> The image processing apparatus according to ⁇ 8>, wherein an object designated by a user is set as the key object for a UI (User Interface) in which the object appears.
- UI User Interface
- a strobe model in which a 3D model of an object generated from a plurality of viewpoint images captured from a plurality of viewpoints is generated from the viewpoint images at a plurality of times and the 3D models of the object at a plurality of times are arranged in a three-dimensional space.
- the program to do.
- a 3D model of an object at a plurality of times generated from a plurality of viewpoint images captured from a plurality of viewpoints represents a relationship with a key object that serves as a reference for arranging the 3D model in a strobe model arranged in a three-dimensional space.
- An image processing apparatus comprising: a strobe model generation unit configured to generate a strobe model in which a 3D model of a target object to which the 3D model is to be placed is set in the strobe model, the strobe model being set according to an object degree of association.
- a strobe model generation unit configured to generate a strobe model in which a 3D model of a target object to which the 3D model is to be placed is set in the strobe model, the strobe model being set according to an object degree of association.
- ⁇ A3> The image processing device according to ⁇ A2>, wherein the strobe model generation unit sets the non-key object to the target object according to a positional relationship between the key object and a non-key object other than the key object.
- ⁇ A4> The image processing device according to ⁇ A3>, wherein the strobe model generation unit sets the non-key object within a predetermined distance from the key object as the target object.
- ⁇ A5> The strobe model generation unit is configured such that, in one frame, the non-key object whose distance to the key object is within a predetermined distance, and in another frame, the non-key object whose distance to the key object is within a predetermined distance.
- the image processing apparatus according to ⁇ A4>, wherein an object and an object are set as the target object.
- the strobe model generation unit is configured such that a distance between the non-key object within a predetermined distance from the key object and the non-key object within a predetermined distance from the key object is within a predetermined distance.
- the image processing device according to ⁇ A4>, wherein the other non-key object is set as the target object.
- ⁇ A7> The image processing device according to any one of ⁇ A4> to ⁇ A6>, wherein the predetermined distance is set for each of the key objects or each of the non-key objects.
- ⁇ A8> The image processing device according to any one of ⁇ A1> to ⁇ A7>, in which the key object is set according to a user operation.
- ⁇ A9> The image processing apparatus according to ⁇ A8>, wherein an object designated by a user is set as the key object for a UI (User Interface) in which the object appears.
- UI User Interface
- a 3D model of an object at a plurality of times generated from a plurality of viewpoint images captured from a plurality of viewpoints represents a relationship with a key object that serves as a reference for arranging the 3D model in a strobe model arranged in a three-dimensional space.
- An image processing method comprising: generating the strobe model in which a 3D model of a target object for which the 3D model is to be arranged is set in the strobe model, which is set according to an object degree of association.
- a 3D model of an object at a plurality of times generated from a plurality of viewpoint images captured from a plurality of viewpoints represents a relationship with a key object that serves as a reference for arranging the 3D model in a strobe model arranged in a three-dimensional space.
- 11 shooting device 12 generation device, 13 display device, 21 3D model generation unit, 22 strobe model generation unit, 23 object designation UI information generation unit, 24, 31 communication unit, 32 effect processing unit, 33 free viewpoint image generation unit, 34 display unit, 35 camera work setting unit, 36 operation unit, 37 object specification information setting unit, 38 strobe range information setting unit, 39 strobe time information setting unit, 112 generating device, 113 display device, 132 effect processing unit, 133 free Viewpoint image generation part, 135 camera work setting part, 901 bus, 902 CPU, 903 ROM, 904 RAM, 905 hard disk, 906 output part, 907 input part, 908 communication part, 909 drive, 910 input/output interface, 911 removable recording medium
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本技術は、3Dモデルを用いたストロボ画像を生成することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。 複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルが生成される。ストロボモデルの生成にあたっては、ストロボモデルに3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトが設定される。
Description
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、例えば、3Dモデルを用いたストロボ画像の生成に関する。
複数の時刻に撮影された被写体(像)が映るストロボ画像を生成する方法が提案されている(例えば、特許文献1を参照)。ストロボ画像には、複数の時刻の被写体が映るので、被写体の動きや軌跡を容易に把握することができる。
しかしながら、特許文献1は、2次元の動画像からストロボ画像を生成する技術であり、ストロボ画像の生成や編集できることには限界がある。
本技術は、このような状況に鑑みてなされたものであり、ストロボ画像を生成することができるようにするものである。
本技術の画像処理装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する画像処理方法である。
本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルが複数の時刻の前記視点画像から生成されて、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルが生成される。前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルが配置される。
なお、画像処理装置や表示装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
<本技術を適用した画像処理システムの一実施の形態>
図1は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
図1の画像処理システムでは、実写の画像から、仮想的な視点(仮想視点)から3次元空間の被写体であるオブジェクトを見たときの見え方が再現された自由視点画像を生成することができる自由視点データとしての3Dモデルが生成される。そして、その3Dモデルから、仮想視点からオブジェクトを見たときの自由視点画像が生成されて表示される。
図1の画像処理システムは、撮影装置11、生成装置12、及び、表示装置13を有する。
撮影装置11は、少なくとも複数のカメラで構成され、複数の視点から、オブジェクトの撮影を行う。例えば、撮影装置11を構成する複数のカメラは、オブジェクトを囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、オブジェクトを撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像(動画)は、フレーム単位で、撮影装置11から生成装置12に供給される。
ここで、撮影装置11には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置(視点)に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置(視点)から、オブジェクトまでの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影装置11から生成装置12に供給される。
なお、撮影装置11に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの2視点の視点画像を用いて、三角測量の原理により、オブジェクトまでの距離を測定し、デプス画像を生成することができる。
生成装置12は、例えば、クラウド上のサーバである。生成装置12は、オブジェクト指定UI情報を生成し、表示装置13に送信する。オブジェクト指定UI情報とは、表示装置13のユーザが、ストロボモデルを生成するオブジェクト(被写体)を指定するための手がかりとなるUIに関する情報である。ストロボモデルとは、撮影装置11で撮影された3次元空間(の3Dモデル)に、視点画像の複数のフレーム(時刻)の同一のオブジェクト(被写体)の3Dモデルが配置された3Dデータである。
生成装置12は、表示装置13から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、撮影装置11から供給される複数の視点の視点画像等を用いて、ストロボモデルを生成する。さらに、生成装置12は、ストロボモデルを、表示装置13に送信する。
オブジェクト指定情報とは、ストロボモデルに3Dモデルを配置する基準となるオブジェクト(被写体)(以下、キーオブジェクトともいう)として、ユーザが指定したオブジェクトを表す情報である。ストロボ範囲情報とは、キーオブジェクトとともに、ストロボモデルに3Dモデルを配置する対象のオブジェクト(以下、対象オブジェクトともいう)となるオブジェクトの空間的な範囲を表す情報である。ストロボ時間情報とは、ストロボモデルを生成する対象のフレームの区間(以下、ストロボ区間ともいう)を表す情報である。
表示装置13は、例えば、PC(Personal Computer)や、TV(テレビジョン受像機)、スマートフォン等の携帯端末等のクライアントである。表示装置13は、生成装置12から送信されてくるオブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。表示装置13は、オブジェクト指定UI等に対するユーザの操作に応じて、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を設定し、生成装置12に送信する。
また、表示装置13は、生成装置12から送信されてくるストロボモデルを、仮想カメラで撮影することにより得られる3Dストロボ画像としての2D画像(ここでは、左目用の2D画像及び右目用の2D画像のセットを含む)を、自由視点画像(のデータ)として生成して表示する。
なお、生成装置12及び表示装置13は、それぞれを別個の装置として構成することもできるし、1個の装置(例えば、PC(Personal Computer)等)として構成することもできる。
<生成装置12の構成例>
図2は、図1の生成装置12の構成例を示すブロック図である。
生成装置12は、3Dモデル生成部21、ストロボモデル生成部22、オブジェクト指定UI情報生成部23、及び、通信部24を有する。
3Dモデル生成部21は、撮影装置11からの複数の視点の視点画像とデプス画像とから、自由視点データである3Dモデルを、フレーム単位で生成する。3Dモデル生成部21は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の視点画像から生成して、オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部の一部として機能する。
ここでは、3Dモデルとは、広く、自由視点画像を生成することができる3D画像のデータを意味する。3Dモデルとしては、例えば、撮影装置11からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、3Dモデルとしては、その他、例えば、3次元の形状の情報である3D形状モデルと色の情報とを有する3Dデータや、複数の視点の2D画像とデプス画像とのセットを採用することができる。
3Dモデルとして、撮影装置11からの複数の視点の視点画像とデプス画像とのセットを採用する場合、3Dモデル生成部21は、撮影装置11からの複数の視点の視点画像とデプス画像とのセットを、3Dモデルとして出力する。
3Dモデルとして、3D形状モデルと色の情報とを有する3Dデータを採用する場合、3Dモデル生成部21は、撮影装置11からの複数の視点の視点画像と、その複数の視点のデプス画像とを用いて、Visual Hull等によりモデリングを行って、視点画像に映るオブジェクトの3D形状モデル等を生成し、3Dモデルとして出力する。なお、撮影装置11からのデプス画像の視点が、撮影装置11からの視点画像の視点と異なる場合、3Dモデル生成部21は、撮影装置11からの複数の視点のデプス画像を用いて、撮影装置11からの視点画像の視点のデプス画像を生成することができる。
3Dモデルとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、3Dモデル生成部21は、例えば、上述したように、3D形状モデルと色の情報とを有する3Dモデルを生成し、その3Dモデルを、複数の視点(撮影装置11を構成するカメラと同一の視点でも良いし、異なる視点でも良い)から見た2D画像とデプス画像とのセットを生成する。そして、3Dモデル生成部21は、その複数の視点の2D画像とデプス画像とのセットを、3Dモデルとして出力する。
3Dモデル生成部21が出力する3Dモデルは、ストロボモデル生成部22、及び、オブジェクト指定UI情報生成部23に供給される。
なお、3Dモデルとしては、3D形状モデルを有する3Dモデルよりも、複数の視点の2D画像とデプス画像とのセットを採用することにより、3Dモデルのデータ量を少なくすることができる。3Dモデルとして、複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。3Dモデルとしての複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD(Multiview and depth video coding)や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。
ここで、3Dモデル(の表現形式)には、大きく分けて、View Independentと呼ばれるモデル(以下、VIモデルともいう)と、View Dependentと呼ばれるモデル(以下、VDモデルともいう)とがある。
VDモデルは、例えば、3D形状モデル等の3次元の形状に関する情報と、テクスチャとなる画像の情報とが別になっている3Dモデルである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング(テクスチャマッピング)されることにより、色が付される。VDモデルによれば、(仮想)視点によって異なるオブジェクトの表面の反射の具合等を表現することができる。
VIモデルは、例えば、3次元の形状に関する情報の構成要素としてのポリゴンや点が、色の情報を有している3Dモデル等である。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの(仮想)視点から見ても、ポリゴンや点が有する色が観測される。
ストロボモデル生成部22は、通信部24から供給されるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、撮影装置11からの複数の視点の視点画像、及び、3Dモデル生成部21からの3Dモデルを用い、視点画像に映る3次元空間(の3Dモデル)に、視点画像の複数のフレーム(異なる時刻)の同一のオブジェクトの3Dモデルが配置されたストロボモデルを生成する。
すなわち、ストロボモデル生成部22は、ストロボ時間情報が表すストロボ区間のフレームから、ストロボモデルの生成に用いるフレーム(以下、生成フレームともいう)を選択する。また、ストロボモデル生成部22は、オブジェクト指定情報が表すキーオブジェクトを、対象オブジェクトに設定する。さらに、ストロボモデル生成部22は、生成フレームに映るキーオブジェクト以外のオブジェクト(以下、非キーオブジェクトともいう)とキーオブジェクトとの関連の度合いを表すオブジェクト関連度に応じて、オブジェクト関連度が閾値以上の非キーオブジェクトを、対象オブジェクトに設定する。
例えば、ストロボモデル生成部22は、ストロボ範囲情報、及び、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係(距離)に応じて、その位置関係が、ストロボ範囲情報が表す範囲にマッチする非キーオブジェクトを、対象オブジェクトを設定する。
ここで、オブジェクト関連度としては、キーオブジェクトと非キーオブジェクトとの位置関係の他、例えば、キーオブジェクトと非キーオブジェクトとの役割や、機能、性質等の関連を表す値を採用することができる。例えば、視点画像が、サッカーの試合を撮影した画像である場合において、キーオブジェクトが、サッカーボールをキープしているフィールドプレーヤであるときには、非キーオブジェクトとしての相手チームのゴールキーパについては、他の選手と比較して、高いオブジェクト関連度を採用(設定)することができる。また、オブジェクト関連度としては、オブジェクトごとに、異なる種類の関連を表す値を採用することができる。例えば、ある非キーオブジェクトについては、キーオブジェクトと非キーオブジェクトとの位置関係を、オブジェクト関連度として採用し、他の非キーオブジェクトについては、キーオブジェクトと非キーオブジェクトとの役割の関連を表す値を、オブジェクト関連度として採用することができる。
ストロボモデル生成部22は、生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成し、通信部24に供給する。ストロボモデル生成部22は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の視点画像から生成して、オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部の残りとして機能する。
オブジェクト指定UI情報生成部23は、撮影装置11からの視点画像や、3Dモデル生成部21からの3Dモデルを用いて、オブジェクト指定UI情報を生成し、通信部24に供給する。
通信部24は、表示装置13との間で通信を行う。すなわち、通信部24は、オブジェクト指定UI情報生成部23からのオブジェクト指定UI情報や、ストロボモデル生成部22からのストロボモデルを、表示装置13に送信する。また、通信部24は、表示装置13から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を受信し、ストロボモデル生成部22に供給する。
<表示装置13の構成例>
図3は、図1の表示装置13の構成例を示すブロック図である。
表示装置13は、通信部31、エフェクト処理部32、自由視点画像生成部33、表示部34、カメラワーク設定部35、操作部36、オブジェクト指定情報設定部37、ストロボ範囲情報設定部38、及び、ストロボ時間情報設定部39を有する。
通信部31は、生成装置12との間で通信を行う。すなわち、通信部31は、オブジェクト指定情報設定部37からのオブジェクト指定情報、ストロボ範囲情報設定部38からのストロボ範囲情報、及び、ストロボ時間情報設定部39からのストロボ時間情報を、生成装置12に送信する。また、通信部31は、生成装置12から送信されてくるオブジェクト指定UI情報及びストロボモデルを受信する。通信部31は、ストロボモデルを、エフェクト処理部32に供給し、オブジェクト指定UI情報を、表示部34、及び、オブジェクト指定情報設定部37に供給する。
エフェクト処理部32は、例えば、ユーザによる操作部36の操作等に応じて、通信部31からのストロボモデルに配置された(対象オブジェクトの)3Dモデルにエフェクト処理を行い、自由視点画像生成部33に供給する。
例えば、エフェクト処理部32は、ストロボモデルに配置されたオブジェクトの3Dモデルのうちの、例えば、最新の時刻の3Dモデルや、ユーザの操作に応じて指定された3Dモデルを基準3Dモデルとして、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。
自由視点画像生成部33は、エフェクト処理部32からのストロボモデルを、カメラワーク設定部35からのカメラワークに応じて仮想カメラで撮影することにより得られる2D画像である3Dストロボ画像の動画を、自由視点画像(のデータ)として生成し、表示部34に供給する。
すなわち、自由視点画像生成部33は、ストロボモデルを、カメラワーク設定部35からのカメラワークに含まれる撮影位置から見た画像をレンダリングすることにより、自由視点画像としての3Dストロボ画像の動画を生成する。
ここで、ストロボ画像とは、複数の時刻に撮影された1つ以上の同一のオブジェクト(像)が映る画像である。2D画像に映るオブジェクトが映るストロボ画像を、2Dストロボ画像ともいい、オブジェクトの3Dモデルが映る2D画像、すなわち、ストロボモデルを所定の視点から見た2D画像を、3Dストロボ画像ともいう。自由視点画像生成部33では、3Dストロボ画像が生成される。
表示部34は、通信部31からのオブジェクト指定UI情報に応じて、ストロボモデルを生成するオブジェクト(被写体)を指定するための手がかりとなるオブジェクト指定UIを表示する。また、表示部34は、自由視点画像生成部33からの3Dストロボ画像を表示する。
表示部34は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成することができる。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。
カメラワーク設定部35は、ユーザによる操作部36の操作等に応じて、仮想カメラによりストロボモデルを撮影することにより3Dストロボ画像を生成するときの仮想カメラのカメラワークを設定し、自由視点画像生成部33に供給する。
仮想カメラのカメラワークとは、仮想カメラで撮影を行うときの、その撮影の一切の作業(手順)に関する情報であり、例えば、仮想カメラの位置(撮影位置)や、姿勢(撮影姿勢)(撮影方向)、画角(ズーム倍率)等のカメラパラメータ等を含む。仮想カメラの撮影位置は、例えば、ワールド座標系としてのxyz座標系の座標等で表すことができ、仮想カメラの撮影姿勢は、xyz座標系の各軸回りの回転角等で表すことができる。
操作部36は、ユーザによって操作され、ユーザの操作に応じた操作情報を、必要なブロックに供給する。なお、操作部36は、例えば、タッチパネル等によって、表示部34と一体的に構成することができる。但し、操作部36は、表示部34とは別に構成することもできる。
オブジェクト指定情報設定部37は、ユーザによる操作部36の操作に応じて、オブジェクト指定情報を設定し、通信部31に供給する。
ストロボ範囲情報設定部38は、ユーザによる操作部36の操作に応じて、ストロボ範囲情報を設定し、通信部31に供給する。
ストロボ時間情報設定部39は、ユーザによる操作部36の操作に応じて、ストロボ時間情報を設定し、通信部31に供給する。
ここで、生成装置12では、図2で説明したように、キーオブジェクトの他、キーオブジェクトとのオブジェクト関連度が閾値以上の非キーオブジェクトが、対象オブジェクトに設定され、その対象オブジェクトの3Dモデルが配置されたストロボモデルが生成される。このようなストロボモデルによれば、効果的な3Dストロボ画像を生成することができる。
例えば、複数人で行うスポーツの戦術分析やコーチングを行う場合、ファンにスポーツの試合の中継画像を見せる場合等において、ユーザが、キーオブジェクトとして指定した選手だけでなく、その選手の周辺にいる他の選手も映る3Dストロボ画像を生成することができる。また、例えば、視点画像が、サッカーの試合を撮影した画像である場合に、ユーザが、サッカーボールをキープしているフィールドプレーヤを、キーオブジェクトとして指定したときには、そのキーオブジェクトとしてのフィールドプレーヤの近くに存在するサッカーボールや、他のフィールドプレーヤ等を、ユーザがキーオブジェクトとして指定しなくても、それらのサッカーボールや他のフィールドプレーヤが、キーオブジェクトとしてのフィールドプレーヤとともに映る3Dストロボ画像を生成することができる。
<生成処理>
図4は、図2の生成装置12が行う生成処理の例を説明するフローチャートである。
生成処理では、ステップS11において、生成装置12は、撮影装置11で撮影された複数の視点の視点画像(及びデプス画像)を得る。生成装置12は、複数の視点の視点画像を、3Dモデル生成部21、ストロボモデル生成部22、及び、オブジェクト指定UI情報生成部23に供給し、処理は、ステップS11からステップS12に進む。なお、撮影装置11で撮影された複数の視点の視点画像は、表示装置13で得て、表示装置13から生成装置12に送信することができる。
ステップS12では、3Dモデル生成部21は、複数の視点の視点画像等を用いて、視点画像に映るオブジェクトの3Dモデルを、フレーム単位で生成する。3Dモデル生成部21は、オブジェクトの3Dモデルを、ストロボモデル生成部22、及び、オブジェクト指定UI情報生成部23に供給して、処理は、ステップS13に進む。
ステップS13では、オブジェクト指定UI情報生成部23が、視点画像や、3Dモデル生成部21からの3Dモデルを必要に応じて用いて、オブジェクト指定UI情報を生成する。オブジェクト指定UI情報生成部23は、オブジェクト指定UI情報を、通信部24に供給し、処理は、ステップS13からステップS14に進む。
ステップS14では、通信部24が、オブジェクト指定UI情報生成部23からのオブジェクト指定UI情報を、表示装置13に送信し、処理は、ステップS15に進む。
ステップS15では、通信部24が、表示装置13から、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報が送信されてくるのを待って、それらのオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を受信する。通信部24は、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を、ストロボモデル生成部22に供給し、処理は、ステップS15からステップS16に進む。
ステップS16では、ストロボモデル生成部22は、視点画像、及び、3Dモデル生成部21からの3Dモデルを用い、通信部24からのオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、ストロボモデルを生成する。
すなわち、ストロボモデル生成部22は、オブジェクト指定情報及びストロボ範囲情報に応じて、視点画像に映るオブジェクトから、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトを設定する。
また、ストロボモデル生成部22は、ストロボ時間情報が表すストロボ区間のフレームから、ストロボモデルの生成に用いる生成フレームを選択する。
ここで、ストロボ区間の全フレームを生成フレームとして、ストロボモデルの生成に用いると、ストロボモデルには、ストロボ区間のフレーム数と同一の数の、同一のオブジェクトの3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることがある。
そこで、ストロボモデル生成部22は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム(に映るオブジェクトの3Dモデル)を用いて、ストロボモデルを生成することができる。
ストロボモデル生成部22は、例えば、ストロボ区間のフレームから、対象オブジェクトの3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボモデル生成部22は、ストロボ区間のフレームに映る対象オブジェクトの3Dモデルを、3次元空間に配置した状態での、3Dモデルどうしの重なり具合を表す干渉度を算出する。干渉度は、例えば、3次元空間において、任意の2フレームの3Dモデルが完全に重なる場合を100%とするとともに、まったく重ならない場合を0%として算出される。そして、ストロボモデル生成部22は、干渉度が所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成することにより、ストロボモデルにおいて、3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることを抑制することができる。
なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームとして選択することができる。
ストロボモデル生成部22は、ストロボ区間のフレームから選択された複数の生成フレームに映る対象オブジェクトの3Dモデルが、例えば、その対象オブジェクトが撮影されたときの3次元空間としての背景(の3Dモデル)に配置されたストロボモデルを生成する。
ストロボモデル生成部22は、ストロボモデルを、通信部24に供給し、処理は、ステップS16からステップS17に進む。
ステップS17では、通信部24は、ストロボモデル生成部22からのストロボモデルを、表示装置13に送信し、生成処理は終了する。
<表示処理>
図5は、図3の表示装置13が行う表示処理の例を説明するフローチャートである。
表示処理では、ステップS31において、通信部31は、生成装置12から、オブジェクト指定UI情報が送信されてくるのを待って、そのオブジェクト指定UI情報を受信する。通信部31は、オブジェクト指定UI情報を、表示部34、及び、オブジェクト指定情報設定部37に供給し、処理は、ステップS31からステップS32に進む。
ステップS32では、表示部34は、通信部31からのオブジェクト指定UI情報に応じて、ストロボモデルを生成するオブジェクトを指定するための手がかりとなるオブジェクト指定UIを表示し、処理は、ステップS33に進む。
ステップS33では、オブジェクト指定情報設定部37は、表示部34に表示されたオブジェクト指定UIに対するユーザの操作に応じて、キーオブジェクトを設定する。さらに、オブジェクト指定情報設定部37は、キーオブジェクトを表すオブジェクト指定情報を設定(生成)する。そして、オブジェクト指定情報設定部37は、オブジェクト指定情報を、通信部31に供給し、処理は、ステップS33からステップS34に進む。
ステップS34では、ストロボ範囲情報設定部38は、ユーザの操作に応じて、ストロボ範囲情報を設定して、通信部31に供給し、処理は、ステップS35に進む。
ステップS35では、ストロボ時間情報設定部39は、ユーザの操作に応じて、ストロボ時間情報を設定して、通信部31に供給し、処理は、ステップS36に進む。
ステップS36では、通信部31は、オブジェクト指定情報設定部37からのオブジェクト指定情報、ストロボ範囲情報設定部38からのストロボ範囲情報、及び、ストロボ時間情報設定部39からのストロボ時間情報を、生成装置12に送信し、処理は、ステップS37に進む。
ステップS37では、通信部31は、生成装置12からストロボモデルが送信されてくるのを待って、そのストロボモデルを受信する。通信部31は、生成装置12からのストロボモデルを、エフェクト処理部32に供給し、処理は、ステップS37からステップS38に進む。
ステップS38では、エフェクト処理部32は、ユーザの操作に応じて、ストロボモデルに配置された(対象オブジェクトの)3Dモデルに、エフェクト処理を行う。例えば、エフェクト処理部32は、ストロボモデルに配置された複数の時刻(生成フレーム)の3Dモデルのうちの、ユーザの操作等に応じて指定された基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行う。
エフェクト処理部32は、エフェクト処理後の(3Dモデルが配置された)ストロボモデルを、自由視点画像生成部33に供給し、処理は、ステップS38から、ステップS39に進む。なお、エフェクト処理部32では、例えば、ユーザの操作等に応じて、ストロボモデルにエフェクト処理を行わずに、自由視点画像生成部33に供給することができる。
ステップS39では、カメラワーク設定部35が、ユーザの操作やストロボモデルに配置された対象オブジェクトの3Dモデルの状態等に応じて、仮想カメラのカメラワークを設定する。カメラワーク設定部35は、カメラワークを、自由視点画像生成部33に供給し、処理は、ステップS39からステップS40に進む。
ステップS40では、自由視点画像生成部33は、エフェクト処理部32からのストロボモデルを、カメラワーク設定部35からのカメラワークに応じて仮想カメラにより撮影した3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部33は、3Dストロボ画像を、表示部34に供給して、処理は、ステップS40からステップS41に進む。
ステップS41では、表示部34は、自由視点画像生成部33からの3Dストロボ画像を表示し、表示処理は終了する。これにより、表示部34では、3Dストロボ画像としての、仮想カメラによるストロボモデルの撮影位置から見た複数の生成フレームに映るオブジェクトの3Dモデルが映る2D画像が表示される。
<3Dストロボ画像の生成>
図6は、不自然な3Dストロボ画像の例を示す図である。
図6は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの5フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
図6では、5フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置(レンダリング)されている。そのため、時間的に後の(ボールの)3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図6の3Dストロボ画像は、不自然な画像になっている。
図7は、自然な3Dストロボ画像の例を示す図である。
図7は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの5フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
図7では、5フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、図7の3Dストロボ画像は、自然な画像になっている。
自由視点画像生成部33は、ストロボモデルに配置された各オブジェクトの3Dモデルのデプス(奥行)を用いて、以上のような、手前側のオブジェクトの3Dモデルが優先的に映る3Dストロボ画像を生成する(仮想カメラにより撮影する)。
図8は、ストロボ区間の視点画像のフレームの例を示す図である。
図8では、時刻t1ないしt9の9フレームが、ストロボ区間の視点画像のフレームになっている。時刻t1ないしt9のフレームには、オブジェクトとしてのボールが左から右に転がっていく様子が映っている。
図9は、ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。
図9では、ストロボ区間としての時刻t1ないしt9のフレームのうちの、時刻t1,t3,t5,t7、及び、t9のフレームが生成フレームに選択され、複数の視点の視点画像の生成フレームとしての時刻t1,t3,t5,t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが生成される。そして、生成フレームとしての時刻t1,t3,t5,t7、及び、t9のフレームに映るボールの3Dモデルが配置されたストロボモデルが生成される。
図10は、仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。
3Dストロボ画像の動画としては、図9のストロボモデルから、時刻t1のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1及びt3のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1,t3、及び、t5のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1,t3,t5、及び、t7のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、並びに、時刻t1,t3,t5,t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成し、順次表示することができる。
図10の3Dストロボ画像では、ストロボモデルを撮影する仮想カメラの撮影位置が変更されていないが、仮想カメラの撮影位置は、カメラワークに応じて変更することができる。例えば、時刻t1,t3,t5,t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが配置されたストロボモデルを、撮影位置を変更しながら、仮想カメラで撮影することができる。撮影位置が変更される場合には、ストロボモデルを見る視点が変更され、カメラアングルが変化する3Dストロボ画像が表示される。
<エフェクト処理の対象となる3Dモデル>
図11は、ストロボモデルにおいて、図3のエフェクト処理部32でのエフェクト処理の対象となる3Dモデルを説明する図である。
エフェクト処理部32は、ストロボモデルにおいて、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームに映るオブジェクトの3Dモデルのうちの、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。
エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向(過去方向及び未来方向)を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。
エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。
エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。
エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。
モデル数numberによれば、ストロボモデルに配置された3Dモデル、すなわち、ストロボモデルの生成に用いられた生成フレームに映る(オブジェクトの)3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。
距離distanceによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。
時間timeによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。
エフェクト処理部32は、ストロボモデルにおいて、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして、エフェクト処理を行う。
以下では、説明を簡単にするため、特に断らない限り、エフェクト処理は、基準3Dモデルから過去方向の3Dモデルに行うこととする。
ここで、ストロボ区間が長く、多数のフレームが生成フレームとして選択される場合、ストロボモデルは、多数の3Dモデルを用いて生成される。
多数の3Dモデルを用いて生成されるストロボモデルは、見にくい画像になることがある。
例えば、多数の3Dモデルを用いて生成されるストロボモデルでは、そのストロボモデルに配置された所定のオブジェクトの3Dモデルのうちの、基準3Dモデルから一定時間以上前の時刻の3Dモデルが、時間的に後行する(未来の)3Dモデルや、他のオブジェクトの3Dモデルの(視聴の)妨げになることがある。
また、多数の3Dモデルを用いて生成されるストロボモデルでは、オブジェクトが同じような軌跡を描くように移動する場合、例えば、オブジェクトが、鉄棒で、いわゆる大車輪(後方車輪又は前方車輪)を行っている場合、時間的に先行する(過去の)3Dモデルと、時間的に後行する3Dモデルとが、同じような軌跡を描くため、時間経過が分かりにくくなることがある。
さらに、多数の3Dモデルを用いて生成されるストロボモデルでは、3Dモデルのデータ量が大になり、ストロボモデル(から生成される自由視点画像)を表示するのに要する処理量が大になる。
エフェクト処理部32において、ストロボモデルに配置された3Dモデルにエフェクト処理を行うことで、見やすいストロボモデルを提供し、また、ストロボモデルのデータ量や、ストロボモデルの表示に要する処理量を削減することができる。
<エフェクト処理の具体例>
図12は、エフェクト処理の具体例を説明する図である。
図12では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14で表されるエフェクト処理がある。エフェクトモード1ないし14については、図11で説明したエフェクト方向及びエフェクト距離を設定することができる。
なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理が行われる。
エフェクト距離は、図11で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。
エフェクトモード0は、エフェクト処理を行わないこと表す。
エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル(対象モデル)ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100%とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。
エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。
エフェクトモード3は、3Dモデルのテクスチャ数(テクスチャとして使用する2D画像の数)を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。
なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。
エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。
エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。
エフェクトモード6は、ストロボモデルに配置される3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボモデルに配置する3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。
エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数(ポリゴン数)を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。
なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。
エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。
すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤーフレームに変更するエフェクト処理を表す。
エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル(例えば、ポイントクラウド)に変更するエフェクト処理を表す。
エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。
エフェクトモード11は、3Dモデルのテクスチャ(テクスチャマテリアル)を変更するエフェクト処理を表す。3Dモデルのテクスチャを、どのようなテクスチャに変更するかは、例えば、エフェクトモード11に付随するパラメータを定義し、そのパラメータによって指定することができる。
エフェクトモード12は、3Dモデルの(形状)をぼかすエフェクト処理を表す。3Dモデルぼかす程度は、例えば、エフェクトモード12に付随するパラメータを定義し、そのパラメータによって指定することができる。
エフェクトモード13は、3Dモデルの色を変更するエフェクト処理を表す。3Dモデルの色を、どのような色に変更するかは、例えば、エフェクトモード13に付随するパラメータを定義し、そのパラメータによって指定することができる。
エフェクトモード14は、3Dモデルのサイズを変更するエフェクト処理を表す。3Dモデルのサイズを変更する程度は、例えば、エフェクトモード14に付随するパラメータを定義し、そのパラメータによって指定することができる。
エフェクトモード1ないし14については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。
例えば、エフェクトモード1ないし10のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。
また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。
この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に1モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。
さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。
この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。
また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。
この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。
さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。
この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に3モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の3番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。
なお、エフェクト処理部32が行うエフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。
<3Dモデル>
図13は、図2の3Dモデル生成部21が生成する3Dモデルを説明する図である。
3Dモデル生成部21が生成する3Dモデルとしては、3D形状(3次元の形状)とテクスチャとが一体的な3Dモデルや、3D形状とテクスチャとが別個の3Dモデル、複数の視点の2D画像とデプス画像とのセット等がある。
ここで、3D形状とテクスチャとが一体的な3Dモデルとしては、色付きのポイントクラウドがある。3D形状とテクスチャとが別個の3Dモデルとしては、3次元形状モデル(メッシュ(ポリゴン)やポイントクラウド)とテクスチャとしての複数の視点の2D画像とのセットや、3次元形状モデルとテクスチャとしてのUVマップとのセット等がある。
色付きのポイントクラウドや、3次元形状モデルとテクスチャとしてのUVマップとのセットは、VIモデルであり、3次元形状モデルとテクスチャとしての複数の視点の2D画像とのセットや、複数の視点の2D画像とデプス画像とのセットは、VDモデルである。
3D形状とテクスチャとが一体的な3Dモデルについては、MPEGにおいて、符号化方式の規格化が予定されている。3D形状とテクスチャとが別個の3Dモデルについては、MPEG-4 AFX (Animation Framework eXtension) として、符号化方式が規格化されている。複数の視点の2D画像とデプス画像とのセットについては、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。
<対象オブジェクトの設定>
図14は、対象オブジェクトの設定の例を示す図である。
対象オブジェクトを設定する方法としては、例えば、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法がある。
図14において、縦軸は、時間を表し、横軸は、視点を表す。図14では、複数の視点の視点画像が、フレームごとに示されている。
対象オブジェクトを設定する方法として、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法を採用する場合には、視点画像の各フレーム(生成フレーム)について、複数の視点の視点画像を用いて、フレームに映るオブジェクトの3Dモデルが生成される。3Dモデルは、VDモデル及びVIモデルのいずれであってもよい。そして、ユーザは、フレームごとに、対象オブジェクト(とするオブジェクト)の3Dモデルを、マニュアルで指定する。
以上のように、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法では、ユーザは、対象オブジェクトの3Dモデルを、フレームごとに、マニュアルで指定しなければならず、面倒であり、ユーザの負担が大である。
そこで、生成装置12は、オブジェクト指定UI情報を生成し、表示装置13は、オブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。ユーザは、オブジェクト指定UIを用いることにより、対象オブジェクトを、容易に指定することができる。
図15は、オブジェクト指定UI情報に応じて表示されるオブジェクト指定UIの例を示す図である。
オブジェクト指定UIとしては、3Dモデル生成部21で生成される3Dモデルを所定の視点から見た、オブジェクトが映る自由視点画像(の静止画又は動画)を採用することができる。オブジェクト指定UIとしての自由視点画像としては、テクスチャがある自由視点画像を採用することもできるし、テクスチャがない自由視点画像を採用することもできる。なお、オブジェクト指定UIとしての自由視点画像については、ユーザ(による操作部36)の操作に応じて、視点を変更することができる。
また、オブジェクト指定UIとしては、オブジェクトが映る視点画像そのものを採用することができる。さらに、オブジェクト指定UIとしては、視点画像に映るシーンを俯瞰した、オブジェクト(オブジェクトを表すシンボル)が映る俯瞰画像を採用することができる。
表示装置13において、オブジェクト指定UIとしてのテクスチャがある自由視点画像、テクスチャがない自由視点画像、視点画像、及び、俯瞰画像のうちのいずれを表示するかは、例えば、ユーザの操作等に応じて選択することができる。
ユーザは、操作部36を操作することにより、オブジェクト指定UIに対して、オブジェクト指定UIに表示されたオブジェクトから、対象オブジェクトを指定する。オブジェクト指定情報設定部37は、ユーザの操作に応じて、ユーザが指定した対象オブジェクトを、キーオブジェクトに設定し、そのキーオブジェクトを表すオブジェクト指定情報を設定(生成)する。キーオブジェクトに設定される対象オブジェクトは、フレームごとに指定する必要はない。キーオブジェクトに設定される対象オブジェクトとしては、複数のオブジェクトを指定することができる。すなわち、キーオブジェクトとしては、複数のオブジェクトを設定することができる。
以上のように、オブジェクト指定UIを表示することにより、ユーザは、オブジェクト指定UIに対する操作を行うことで、所望のオブジェクトを、キーオブジェクトとなる対象オブジェクトに、容易に指定することができる。
なお、ここでは、ユーザが指定した対象オブジェクトを、キーオブジェクトに設定することとしたが、キーオブジェクトは、視点画像等の解析処理を行い、その解析処理の結果に応じて行うことができる。例えば、サッカーの試合が映る視点画像については、解析処理によって、サッカーボールをキープしている選手を認識し、その選手をキーオブジェクトに設定することができる。
また、ユーザは、オブジェクト指定UIに対する操作を行うことで、キーオブジェクトを指定する他、対象オブジェクトとなるオブジェクトの空間的な範囲、すなわち、キーオブジェクトとのオブジェクト関連度としての位置関係に応じて対象オブジェクトに設定されるオブジェクトの空間的な範囲を指定することができる。この場合、ストロボ範囲情報設定部38は、ユーザの操作に応じて、対象オブジェクトに設定されるオブジェクトの空間的な範囲を表すストロボ範囲情報を設定する。
図16は、オブジェクト指定UI情報とオブジェクト指定情報とを説明するである。
オブジェクト指定UI情報生成部23(図2)において生成されるオブジェクト指定UI情報には、オブジェクト指定UIと、オブジェクト情報とが含まれる。
オブジェクト情報は、オブジェクト指定UIとしての自由視点画像等のフレームごとに存在し、そのフレームに映るオブジェクト(被写体)を特定するオブジェクトIDと、そのオブジェクトの位置情報としての、例えば、2D座標系の座標(u,v)とが対応付けられて構成される。
オブジェクト指定情報設定部37(図3)は、オブジェクト指定UIに対するユーザの操作により指定されたキーオブジェクトのオブジェクトIDを、オブジェクト情報から認識し、そのキーオブジェクトのオブジェクトIDのリストを、オブジェクト指定情報として設定する。
生成装置12(図2)のストロボモデル生成部22は、オブジェクト指定UI情報生成部23において生成されたオブジェクト情報を参照し、オブジェクト指定情報としてのオブジェクトIDが表すキーオブジェクトを特定する。
<ストロボ範囲情報>
図17は、ストロボ範囲情報の第1の例を説明する図である。
対象オブジェクトとなるオブジェクト(対象オブジェクトに設定されるオブジェクト)の空間的な範囲を表すストロボ範囲情報としては、キーオブジェクトを基準とする範囲を表す情報や、キーオブジェクト以外のオブジェクト(非キーオブジェクト)を基準とする範囲を表す情報を採用することができる。
キーオブジェクトを基準とする範囲を表す情報としては、例えば、キーオブジェクトを中心とする円(球)の半径、すなわち、キーオブジェクトからの距離を採用することができる。非キーオブジェクトを基準とする範囲を表す情報としては、例えば、非キーオブジェクトを中心とする円の半径、すなわち、非キーオブジェクトからの距離を採用することができる。
キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報は、キーオブジェクトにのみ設定される。非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報は、非キーオブジェクトごとに設定される。ストロボ範囲情報としての非キーオブジェクトからの距離は、非キーオブジェクトごとに異なっていてもよいし、同一であってもよい。
図17は、キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合の、対象オブジェクトの設定の例を示している。
図17では、視点画像に映る3次元空間を上から俯瞰した状態が示されている。
図17では、3個のオブジェクトo1, o2, o3が存在し、オブジェクトo1がキーオブジェクトに設定されている。したがって、オブジェクトo2及びo3は、非キーオブジェクトである。図17では、キーオブジェクトからの距離r1が、ストロボ範囲情報に設定されている。そして、非キーオブジェクトo2は、キーオブジェクトo1に対して、距離r1よりも近い距離に位置し、非キーオブジェクトo3は、キーオブジェクトo1に対して、距離r1よりも遠い距離に位置している。
この場合、ストロボモデル生成部22(図2)では、オブジェクトo1ないしo3のうちの、キーオブジェクトo1と、キーオブジェクトo1からの距離がストロボ範囲情報としての距離r1以内のオブジェクトo2とが対象オブジェクトに設定される。オブジェクトo3は、キーオブジェクトo1からの距離が、ストロボ範囲情報としての距離r1を超えるため、対象オブジェクトには設定されない。
なお、ストロボ範囲情報設定部38(図3)は、ユーザによる操作部36の操作に応じて、ストロボ範囲情報を設定する他、オブジェクト指定情報が表す(オブジェクトIDによって特定される)キーオブジェクトに応じて、ストロボ範囲情報を設定することができる。ストロボ範囲情報設定部38において、キーオブジェクトに応じて、ストロボ範囲情報を設定する場合、キーオブジェクトごとに異なる距離を、ストロボ範囲情報に設定することができる。
例えば、視点画像が、サッカーの試合を撮影した画像である場合において、選手とサッカーボールとが、キーオブジェクトに設定されたときには、キーオブジェクトとしての選手とサッカーボールとで異なる距離を、選手とサッカーボールとのストロボ範囲情報に設定することができる。例えば、選手には、あらかじめ決められた所定の距離を設定し、サッカーボールには、選手に設定された距離よりも長い距離を設定することができる。
図18は、ストロボ範囲情報の第2の例を説明する図である。
図18は、非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合の、対象オブジェクトの設定の例を示している。
図18では、図17と同様に、視点画像に映る3次元空間を上から俯瞰した状態が示されている。
さらに、図18では、図17と同様に、3個のオブジェクトo1ないしo3が存在し、オブジェクトo1がキーオブジェクトに設定されている。したがって、オブジェクトo2及びo3は、図17と同様に、非キーオブジェクトである。また、図18では、非キーオブジェクトo2は、キーオブジェクトo1に対して、非キーオブジェクトo3よりも近い距離に位置し、非キーオブジェクトo3は、キーオブジェクトo1に対して、非キーオブジェクトo2よりも遠い距離に位置している。この点、図17でも同様である。
図18では、非キーオブジェクトo2及びo3からの距離r2及びr3が、ストロボ範囲情報に設定されている。距離r3は、距離r2よりも遠い距離になっている。この場合、ストロボモデル生成部22(図2)では、オブジェクトo1ないしo3のうちの、キーオブジェクトo1と、キーオブジェクトo1までの距離がストロボ範囲情報としての距離r3以内のオブジェクトo3とが対象オブジェクトに設定される。オブジェクトo2は、キーオブジェクトo1までの距離が、非キーオブジェクトo2のストロボ範囲情報としての距離r2を超えるため、対象オブジェクトには設定されない。
以上のように、非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報としての非キーオブジェクトからの距離の設定の仕方によって、キーオブジェクトo1からの距離が近い非キーオブジェクトo2ではなく、キーオブジェクトo1からの距離が遠い非キーオブジェクトo3を、対象オブジェクトに設定することができる。
例えば、視点画像が、サッカーの試合を撮影した画像である場合において、キーオブジェクトが、サッカーボールをキープしているフィールドプレーヤであるときには、非キーオブジェクトとしての相手チームのゴールキーパのストロボ範囲情報としての距離を、サッカーボールをキープしているフィールドプレーヤまでの距離より長い(と予測される)距離に設定することができる。この場合、キーオブジェクトとしての、サッカーボールをキープしているフィールドプレーヤと、非キーオブジェクトとしての相手チームのゴールキーパとが、対象オブジェクトとなり、サッカーボールをキープしているフィールドプレーヤ(の3Dモデル)と、非キーオブジェクトとしての相手チームのゴールキーパ(の3Dモデル)とが、少なくとも映る3Dストロボ画像を生成することができる。
<ストロボ時間情報>
図19は、ストロボ時間情報を説明する図である。
ストロボ時間情報は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間を表す。ユーザは、例えば、ストロボ区間の先頭のフレーム及び最後のフレームを指定することや、ストロボ区間の先頭のフレーム及び最後のフレームのタイムコードを入力すること等により、ストロボ区間を指定することができる。
<オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係(距離)に応じた対象オブジェクトの設定>
図20は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第1の例を説明する図である。
図20では、ユーザが、生成フレームt#nに映るオブジェクトのうちの、あるオブジェクト(図20では2個のオブジェクト)を、キーオブジェクト(となる対象オブジェクト)に指定している。
対象オブジェクトの設定の第1の例では、ストロボモデル生成部22は、キーオブジェクトだけを、対象オブジェクトに設定する。
図21は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第2の例を説明する図である。
図21では、ユーザが、フレームt#nに映るオブジェクトのうちの、あるオブジェクト(図21では1個のオブジェクト)を、キーオブジェクトに指定している。
対象オブジェクトの設定の第2の例では、ストロボモデル生成部22は、キーオブジェクトと、キーオブジェクトが指定された生成フレームt#nに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト(図中、斜線を付した丸で示す)とを、対象オブジェクトに設定する。
図22は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第3の例を説明する図である。
図22では、ユーザが、生成フレームt#nに映るオブジェクトのうちの、あるオブジェクト(図22では1個のオブジェクト)を、キーオブジェクトに指定している。
対象オブジェクトの設定の第3の例では、ストロボモデル生成部22は、キーオブジェクトと、キーオブジェクトが指定された生成フレームt#nに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト(図中、斜線を付した丸で示す)とを、対象オブジェクトに設定する。
さらに、ストロボモデル生成部22は、キーオブジェクトが指定された生成フレームt#nの1フレーム前の生成フレームt#n-aに映る非キーオブジェクト、及び、1フレーム後の生成フレームt#n+bに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト(図中、斜線を付した丸で示す)を、対象オブジェクトに設定する。
以上のように、対象オブジェクトの設定の第3の例では、1の生成フレームとしてのキーオブジェクトが指定された生成フレームt#nにおいて、キーオブジェクトとの距離が所定の距離内の非キーオブジェクトと、他の生成フレームとしての、生成フレームt#nの1フレーム前の生成フレームt#n-aや1フレーム後の生成フレームt#n+bにおいて、キーオブジェクトとの距離が所定の距離内の非キーオブジェクトとが、対象オブジェクトに設定される。
この場合、キーオブジェクトが指定された生成フレームt#nにおいて、キーオブジェクトとの距離が所定の距離内にない非キーオブジェクトであっても、その非キーオブジェクトやキーオブジェクトが、図中、点線の矢印で示すように動いているときには、他の生成フレームにおいて、キーオブジェクトとの距離が所定の距離内になって、対象オブジェクトに設定されることがある。
なお、対象オブジェクトの設定の第3の例では、その他、例えば、キーオブジェクトが指定された生成フレームt#nの2フレーム以上前又は後の生成フレームにおいて、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを、対象オブジェクトに設定することができる。
図23は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第4の例を説明する図である。
図23では、ユーザが、生成フレームt#nに映るオブジェクトo1ないしo7のうちの、オブジェクトo4を、キーオブジェクトに指定している。
対象オブジェクトの設定の第4の例では、ストロボモデル生成部22は、キーオブジェクトo4と、キーオブジェクトo4が指定された生成フレームt#nに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、キーオブジェクトo4からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo2とを、対象オブジェクトに設定する。
さらに、ストロボモデル生成部22は、キーオブジェクトo4が指定された生成フレームt#nに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、対象オブジェクトに設定されたオブジェクトo2を、キーオブジェクトに準ずる準キーオブジェクトに設定する。そして、ストロボモデル生成部22は、キーオブジェクトが指定された生成フレームt#nの1フレーム前の生成フレームt#n-aに映る非キーオブジェクトo1ないしo3及びo5ないしo7、及び、1フレーム後の生成フレームt#n+bに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを、対象オブジェクトに設定する。
図23では、準キーオブジェクトo2が、図中点線の矢印で示すように動いている。そのため、図23では、生成フレームt#n-aにおいて、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトとして、オブジェクトo1が存在する。さらに、生成フレームt#n+bにおいて、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトとして、オブジェクトo7が存在する。
その結果、対象オブジェクトの設定の第4の例では、キーオブジェクトo4及び準キーオブジェクトo2の他、生成フレームt#n-aに映る非キーオブジェクトo1、及び、生成フレームt#n+bに映る非キーオブジェクトo7が、対象オブジェクトに設定される。
対象オブジェクトの設定の第4の例では、キーオブジェクトo4を、ルートノードとし、そのキーオブジェクトo4が指定された生成フレームt#nにおいて、キーオブジェクトo4から、ストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo2が、ルートノードに属するノードとなる。さらに、キーオブジェクトo4が指定された生成フレームt#nの1フレーム前の生成フレームt#n-a及び1フレーム後の生成フレームt#n+bにおいて、ルートノードに属するノードに対応する非キーオブジェクトo2から、ストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo1及びo7が、非キーオブジェクトo2に対応するノードに属するノードとなる。そして、以上のようなノードで構成される木構造の各ノードに対応するオブジェクトo1,o2,o4,o7が、対象オブジェクトに設定される。
なお、対象オブジェクトの設定の第4の例では、その他、例えば、キーオブジェクトが指定された生成フレームt#nの2フレーム以上前又は後の生成フレームについても繰り返しノードを増やしていくことができる。すなわち、オブジェクトo1及びo7を、準キーオブジェクトに設定し、キーオブジェクトが指定された生成フレームt#nの2フレーム前の生成フレームt#n-a及び2フレーム後の生成フレームに映る非キーオブジェクトのうちの、準キーオブジェクトo2及びo7からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを対象オブジェクトに設定することを繰り返すことができる。また、対象オブジェクトの設定は、第3の例(図22)と第4の例(図23)とを組み合わせて行うことができる。
<カメラワーク>
図24は、図3のカメラワーク設定部35で設定されるカメラワークの第1の例を示す図である。
カメラワークとしては、各時刻について、仮想カメラの撮影位置、撮影姿勢、及び、カメラパラメータを設定することができる。例えば、1時刻に、ストロボモデルを仮想カメラで撮影することにより得られる画像が、3Dストロボ画像の1フレームとなる。
各時刻についての仮想カメラの撮影位置、撮影姿勢、及び、カメラパラメータの設定は、ユーザの操作に応じて行うこともできるし、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。
なお、撮影姿勢及び撮影位置は、カメラパラメータの一部として、カメラパラメータに含めることができる。
図25は、カメラワークとしてのカメラパラメータのうちの画角(ズーム倍率)に関するパラメータの設定の例を説明する図である。
仮想カメラの画角に関するパラメータ(焦点距離(fx,fy))としては、図25に示すように、対象オブジェクトのみがなるべく画角内に入るカメラパラメータ、すなわち、対象オブジェクトでないオブジェクト(以下、非対象オブジェクトともいう)がなるべく画角内に入らないパラメータを設定することができる。
画角に関するパラメータの設定は、ユーザの操作に応じて行う他、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うことができる。
図26は、図3のカメラワーク設定部35で設定されるカメラワークの第2の例を示す図である。
カメラワークとしては、ストロボモデルの撮影を開始するときの仮想カメラの撮影位置(以下、撮影開始位置ともいう)、及び、ストロボモデルの撮影を終了するときの仮想カメラの撮影位置(以下、撮影終了位置ともいう)、並びに、撮影終了位置と撮影終了位置とのそれぞれの仮想カメラの撮影姿勢、及び、カメラパラメータを設定することができる。さらに、カメラワークとしては、仮想カメラを、撮影開始位置から撮影終了位置まで移動させるときの回転中心を設定することができる。仮想カメラを撮影開始位置から撮影終了位置まで移動させるときの回転中心は、ワールド座標系としてのxyz座標系の座標で表すことができる。
撮影開始位置及び撮影終了位置、並びに、撮影終了位置と撮影終了位置とのそれぞれの仮想カメラの撮影姿勢、及び、カメラパラメータの設定は、ユーザの操作に応じて行うこともできるし、例えば、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。
同様に、回転中心の設定も、ユーザの操作に応じて行うこともできるし、例えば、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。回転中心の設定を、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布に応じて行う場合には、例えば、ストロボモデルに配置される3Dモデルの重心の位置を、回転中心に設定することができる。
図27は、カメラワークの第2の例を採用する場合の仮想カメラの移動の例を示す図である。
図27では、対象オブジェクトの重心の位置OOが、カメラワークとしての回転中心に設定されている。仮想カメラを移動する移動ルートとしては、回転中心OOを中心とする円の円周上を、撮影開始位置から撮影終了位置まで移動するルートを採用することができる。
カメラワークの第2の例を採用する場合、仮想カメラによるストロボモデルの撮影時に、撮影開始位置及び撮影終了位置を用いて、撮影開始位置から撮影終了位置までの移動ルート上に、撮影位置が補間される。さらに、撮影開始位置及び撮影終了位置の撮影姿勢を用いて、各撮影位置の撮影姿勢が補間されるとともに、撮影開始位置及び撮影終了位置のカメラパラメータを用いて、各撮影位置のカメラパラメータが補間される。そして、各撮影位置において、各撮影姿勢の仮想カメラにより、各カメラパラメータで、ストロボモデルが撮影される。
以上のように、仮想カメラの画角や撮影位置等のカメラワークを設定することにより、ユーザに、3Dストロボ画像を効果的に見せることができる。すなわち、ユーザは、対象オブジェクトの時間的な変化を、様々な視点から、見やすいオブジェクトの大きさで視聴することができる。
<ストロボモデルのデータ量>
図28は、生成装置12から表示装置13に送信されるストロボモデルのデータ量の第1の例を説明する図である。
例えば、3Dモデルとして、3次元形状モデルとUVマップとのセットや、色付きのポイントクラウド等のVIモデルを採用する場合には、ストロボモデルは、対象オブジェクトの数分のVIモデルが、生成フレームの数分だけ配置されて構成される。したがって、ストロボモデルのデータ量は、対象オブジェクトの数分のVIモデルのデータ量の、生成フレームの数分になる。図28では、生成フレームが、時刻t=0,1,2の3フレームになっている。
図29は、ストロボモデルのデータ量の第2の例を説明する図である。
例えば、3Dモデルとして、3次元形状モデルと、テクスチャマッピングに用いられるテクスチャとしての各視点の視点画像とのセット等のVDモデルを採用する場合には、ストロボモデルは、テクスチャマッピングされた対象オブジェクトの数分の3D形状モデルが、生成フレームの数分だけ配置されて構成される。
この場合、ストロボモデルの3D形状モデルのデータ量は、対象オブジェクトの数分の3D形状モデルのデータ量の、生成フレームの数分になる。図29では、生成フレームが、時刻t=0,1,2の3フレームになっている。
ここで、各生成フレームに映る各対象オブジェクトの3D形状モデルにテクスチャマッピングを行う場合には、テクスチャとして、各視点の視点画像の生成フレーム、すなわち、視点数×生成フレームの数分の視点画像のフレーム(生成フレーム)が必要である。但し、ストロボモデルについては、そのストロボモデルに3Dモデルが配置される対象オブジェクトのテクスチャがあればテクスチャマッピングを行うことができる。
そこで、ここでは、例えば、ストロボモデルに3Dモデルが配置される対象オブジェクトのテクスチャマッピングを、生成フレームに映る対象オブジェクトの奥行を考慮して、手前側が優先的に映るように、(ストロボモデルの生成に用いる複数の)生成フレームを合成した合成画像を用いて行うこととする。このような合成画像は、視点ごとに生成される。また、視点ごとの合成画像を用いたストロボモデルのテクスチャマッピングでは、合成画像の元となる視点画像が撮影されたときの視点ごとのカメラパラメータ(撮影位置や焦点距離等)が必要となる。
したがって、合成画像を用いて、ストロボモデルのテクスチャマッピングを行う場合、ストロボモデルのデータ量は、対象オブジェクトの数分の3D形状モデルのデータ量の、生成フレームの数分に、視点数分の合成画像のデータ量と、視点数分のカメラパラメータのデータ量とを加算したデータ量となる。
なお、VDモデルとして、複数の視点の2D画像とデプス画像とのセットを採用する場合には、複数の視点の2D画像及びデプス画像は、上述のテクスチャとしての各視点の視点画像と同様に、合成画像にして扱うことができる。
図30は、生成装置12から表示装置13への、ストロボモデルを構成する合成画像の送信を説明する図である。
合成画像については、その合成画像の全部を、生成装置12から表示装置13に送信する他、合成画像から、対象オブジェクトを含む一部の領域を切り出し、その一部の領域を、合成画像の全部に代えて送信することができる。
以上のように、合成画像の一部の領域を送信する場合には、合成画像の全部を送信する場合に比較して、ストロボモデルのデータ量を抑制することができる。
<本技術を適用した画像処理システムの他の一実施の形態>
図31は、本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。
なお、図中、図1の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図31において、画像処理システムは、撮影装置11、生成装置112、及び、表示装置113を有する。
したがって、図31の画像処理システムは、撮影装置11を有する点で、図1の場合と共通する。但し、図31の画像処理システムは、生成装置12、及び、表示装置13に代えて、生成装置112、及び、表示装置113がそれぞれ設けられている点で、図1の場合と相違する。
生成装置112は、生成装置12と同様に、オブジェクト指定UI情報を生成し、表示装置13に送信する。また、生成装置112は、生成装置12と同様に、表示装置113から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、ストロボモデルを生成する。
さらに、生成装置112は、ストロボモデルを、表示装置113から送信されてくるカメラワーク操作情報に応じて設定されるカメラワークに応じて仮想カメラで撮影することにより得られる3Dストロボ画像を生成し、表示装置113に送信する。カメラワーク操作情報とは、カメラワークに関してユーザが行った操作を表す情報である。
表示装置113は、表示装置13と同様に、生成装置112から送信されてくるオブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。さらに、表示装置113は、表示装置13と同様に、オブジェクト指定UI等に対するユーザの操作に応じて、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を設定し、生成装置112に送信する。
また、表示装置113は、ユーザの操作に応じて、カメラワーク操作情報を、生成装置112に送信する。さらに、表示装置113は、生成装置112から送信されてくる3Dストロボ画像を表示する。
<生成装置112の構成例>
図32は、図31の生成装置112の構成例を示すブロック図である。
なお、図中、図2の生成装置12と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
生成装置112は、3Dモデル生成部21、ストロボモデル生成部22、オブジェクト指定UI情報を生成部23、及び、通信部24を有する。さらに、生成装置112は、エフェクト処理部132、自由視点画像生成部133、及び、カメラワーク設定部135を有する。
したがって、生成装置112は、3Dモデル生成部21、ストロボモデル生成部22、オブジェクト指定UI情報を生成部23、及び、通信部24を有する点で、図2の生成装置12と共通する。但し、生成装置112は、エフェクト処理部132、自由視点画像生成部133、及び、カメラワーク設定部135が新たに設けられている点で、生成装置12と相違する。
エフェクト処理部132には、ストロボモデル生成部22からストロボモデルが供給される。
エフェクト処理部132は、図3のエフェクト処理部32と同様に、ストロボモデル生成部22からのストロボモデルに配置された(対象オブジェクトの)3Dモデルにエフェクト処理を行い、自由視点画像生成部133に供給する。なお、エフェクト処理部132では、例えば、生成装置113であらかじめ決められたエフェクト処理を行うことができる。また、エフェクト処理部132では、例えば、表示装置113のユーザの操作に応じたエフェクト処理を行うことができる。
自由視点画像生成部133は、図3の自由視点画像生成部133と同様に、エフェクト処理部132からのストロボモデルを、カメラワーク設定部135からのカメラワークに応じて仮想カメラで撮影することにより得られる2D画像である3Dストロボ画像(の動画)を、自由視点画像(のデータ)として生成し、通信部24に供給する。
カメラワーク設定部135は、通信部24から供給されるカメラワーク操作情報に応じて、図3のカメラワーク設定部35と同様に、仮想カメラのカメラワークを設定し、自由視点画像生成部133に供給する。
なお、図32の通信部24は、ストロボモデルに代えて、3Dストロボ画像を、表示装置113に送信する。また、図32の通信部24は、表示装置113から送信されてくるカメラワーク操作情報を受信し、カメラワーク設定部135に供給する。かかる点で、図32の通信部24は、図2の場合と相違する。
<表示装置113の構成例>
図33は、図31の表示装置113の構成例を示すブロック図である。
なお、図中、図3の場合と対応する部分には、同一の符号を付してあり、以下では、その説明は、適宜省略する。
表示装置113は、通信部31、表示部34、操作部36、オブジェクト指定情報設定部37、ストロボ範囲情報設定部38、及び、ストロボ時間情報設定部39を有する。
したがって、表示装置113は、通信部31、表示部34、操作部36、オブジェクト指定情報設定部37、ストロボ範囲情報設定部38、及び、ストロボ時間情報設定部39を有する点で、図3の表示装置13と共通する。但し、表示装置113は、エフェクト処理部32、自由視点画像生成部33、カメラワーク設定部35が設けられていない点で、表示装置13と相違する。
表示装置113において、通信部31は、生成装置112から送信されてくる3Dストロボ画像を受信し、表示部34に供給する。また、操作部36は、カメラワークに関してユーザが行った操作に応じて、その操作を表すカメラワーク操作情報を、通信部31に供給する。通信部31は、操作部36からのカメラワーク操作情報を、生成装置112に送信する。以上の点で、表示装置113は、表示装置13と相違する。
<生成処理>
図34は、図32の生成装置112が行う生成処理の例を説明するフローチャートである。
生成処理では、ステップS111ないしS116において、図4のステップS11ないしS16とそれぞれ同様の処理が行われる。そして、ストロボモデル生成部22がステップS116で生成したストロボモデルは、エフェクト処理部132に供給され、処理は、ステップS116からステップS117に進む。
ステップS117では、エフェクト処理部132は、ストロボモデル生成部22からのストロボモデルに配置された(対象オブジェクトの)3Dモデルに、エフェクト処理を行う。エフェクト処理部132は、エフェクト処理後の(3Dモデルが配置された)ストロボモデルを、自由視点画像生成部133に供給し、処理は、ステップS117から、ステップS118に進む。
ステップS118では、通信部24が、表示装置113からカメラワーク操作情報が送信されてくるのを待って、そのカメラワーク操作情報を受信し、カメラワーク設定部135に供給する。カメラワーク設定部135は、通信部24からのカメラワーク操作情報に応じて、仮想カメラのカメラワークを設定する。カメラワーク設定部135は、カメラワークを、自由視点画像生成部133に供給し、処理は、ステップS118からステップS119に進む。
ステップS119では、自由視点画像生成部133は、エフェクト処理部132からのストロボモデルを、カメラワーク設定部135からのカメラワークに応じて仮想カメラにより撮影した3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部133は、3Dストロボ画像を、通信部24に供給して、処理は、ステップS119からステップS120に進む。
ステップS120では、通信部24は、自由視点画像生成部133からの3Dストロボ画像を、表示装置113に送信し、生成処理は終了する。
<表示処理>
図35は、図33の表示装置113が行う表示処理の例を説明するフローチャートである。
表示処理では、ステップS131ないしS136において、図5のステップS31ないしS36とそれぞれ同様の処理が行われる。
そして、ステップS137において、通信部31は、操作部36からカメラワーク操作情報が供給されるのを待って、そのカメラワーク操作情報を、生成装置112に送信し、処理は、ステップS138に進む。
ステップS138では、通信部31は、生成装置112から3Dストロボ画像が送信されてくるのを待って、その3Dストロボ画像を受信する。通信部31は、生成装置112からの3Dストロボ画像を、表示部34に供給して、処理は、ステップS138からステップS139に進む。
ステップS139では、表示部34は、通信部31からの3Dストロボ画像を表示し、表示処理は終了する。
図31の画像処理システムでは、生成装置112において、エフェクト処理、カメラワークの設定、及び、3Dストロボ画像の生成(レンダリング)が行われるので、エフェクト処理、カメラワークの設定、及び、3Dストロボ画像の生成が表示装置13で行われる図1の画像処理システムと比較して、表示装置113の負荷を低減することができる。
<本技術を適用したコンピュータの説明>
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図36は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク905やROM903に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ909によって駆動されるリムーバブル記録媒体911に格納(記録)しておくことができる。このようなリムーバブル記録媒体911は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体911としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体911からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク905にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)902を内蔵しており、CPU902には、バス901を介して、入出力インタフェース910が接続されている。
CPU902は、入出力インタフェース910を介して、ユーザによって、入力部907が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)903に格納されているプログラムを実行する。あるいは、CPU902は、ハードディスク905に格納されたプログラムを、RAM(Random Access Memory)904にロードして実行する。
これにより、CPU902は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU902は、その処理結果を、必要に応じて、例えば、入出力インタフェース910を介して、出力部906から出力、あるいは、通信部908から送信、さらには、ハードディスク905に記録等させる。
なお、入力部907は、キーボードや、マウス、マイク等で構成される。また、出力部906は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
<1>
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理装置。
<2>
前記生成部は、前記オブジェクト関連度に応じて、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトを設定する
<1>に記載の画像処理装置。
<3>
前記生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記キーオブジェクトを、前記対象オブジェクトに設定する
<2>に記載の画像処理装置。
<4>
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
<3>に記載の画像処理装置。
<5>
前記生成部は、1のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<4>に記載の画像処理装置。
<6>
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<4>に記載の画像処理装置。
<7>
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
<4>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記キーオブジェクトは、ユーザの操作に応じて設定される
<1>ないし<7>のいずれかに記載の画像処理装置。
<9>
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
<8>に記載の画像処理装置。
<10>
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、
前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理方法。
<11>
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部として、コンピュータを機能させるためのプログラムであり、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
プログラム。
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理装置。
<2>
前記生成部は、前記オブジェクト関連度に応じて、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトを設定する
<1>に記載の画像処理装置。
<3>
前記生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記キーオブジェクトを、前記対象オブジェクトに設定する
<2>に記載の画像処理装置。
<4>
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
<3>に記載の画像処理装置。
<5>
前記生成部は、1のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<4>に記載の画像処理装置。
<6>
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<4>に記載の画像処理装置。
<7>
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
<4>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記キーオブジェクトは、ユーザの操作に応じて設定される
<1>ないし<7>のいずれかに記載の画像処理装置。
<9>
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
<8>に記載の画像処理装置。
<10>
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、
前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理方法。
<11>
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部として、コンピュータを機能させるためのプログラムであり、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
プログラム。
<A1>
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部を備える
画像処理装置。
<A2>
前記ストロボモデル生成部は、前記オブジェクト関連度に応じて、前記対象オブジェクトを設定する
<A1>に記載の画像処理装置。
<A3>
前記ストロボモデル生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記非キーオブジェクトを、前記対象オブジェクトに設定する
<A2>に記載の画像処理装置。
<A4>
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
<A3>に記載の画像処理装置。
<A5>
前記ストロボモデル生成部は、1のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<A4>に記載の画像処理装置。
<A6>
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<A4>に記載の画像処理装置。
<A7>
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
<A4>ないし<A6>のいずれかに記載の画像処理装置。
<A8>
前記キーオブジェクトは、ユーザの操作に応じて設定される
<A1>ないし<A7>のいずれかに記載の画像処理装置。
<A9>
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
<A8>に記載の画像処理装置。
<A10>
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成する
ことを含む画像処理方法。
<A11>
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部
として、コンピュータを機能させるためのプログラム。
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部を備える
画像処理装置。
<A2>
前記ストロボモデル生成部は、前記オブジェクト関連度に応じて、前記対象オブジェクトを設定する
<A1>に記載の画像処理装置。
<A3>
前記ストロボモデル生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記非キーオブジェクトを、前記対象オブジェクトに設定する
<A2>に記載の画像処理装置。
<A4>
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
<A3>に記載の画像処理装置。
<A5>
前記ストロボモデル生成部は、1のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<A4>に記載の画像処理装置。
<A6>
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
<A4>に記載の画像処理装置。
<A7>
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
<A4>ないし<A6>のいずれかに記載の画像処理装置。
<A8>
前記キーオブジェクトは、ユーザの操作に応じて設定される
<A1>ないし<A7>のいずれかに記載の画像処理装置。
<A9>
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
<A8>に記載の画像処理装置。
<A10>
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成する
ことを含む画像処理方法。
<A11>
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部
として、コンピュータを機能させるためのプログラム。
11 撮影装置, 12 生成装置, 13 表示装置, 21 3Dモデル生成部, 22 ストロボモデル生成部, 23 オブジェクト指定UI情報生成部, 24,31 通信部, 32 エフェクト処理部, 33 自由視点画像生成部, 34 表示部, 35 カメラワーク設定部, 36 操作部, 37 オブジェクト指定情報設定部, 38 ストロボ範囲情報設定部, 39 ストロボ時間情報設定部, 112 生成装置, 113 表示装置, 132 エフェクト処理部, 133 自由視点画像生成部, 135 カメラワーク設定部, 901 バス, 902 CPU, 903 ROM, 904 RAM, 905 ハードディスク, 906 出力部, 907 入力部, 908 通信部, 909 ドライブ, 910 入出力インタフェース, 911 リムーバブル記録媒体
Claims (11)
- 複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理装置。 - 前記生成部は、前記オブジェクト関連度に応じて、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトを設定する
請求項1に記載の画像処理装置。 - 前記生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記非キーオブジェクトを、前記対象オブジェクトに設定する
請求項2に記載の画像処理装置。 - 前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
請求項3に記載の画像処理装置。 - 前記生成部は、1のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
請求項4に記載の画像処理装置。 - 前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
請求項4に記載の画像処理装置。 - 前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
請求項4に記載の画像処理装置。 - 前記キーオブジェクトは、ユーザの操作に応じて設定される
請求項1に記載の画像処理装置。 - オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
請求項8に記載の画像処理装置。 - 複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、
前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理方法。 - 複数の視点から撮影された複数の視点画像から生成されるオブジェクトの3Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部として、コンピュータを機能させるためのプログラムであり、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/309,645 US11557087B2 (en) | 2018-12-19 | 2019-12-05 | Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-237566 | 2018-12-19 | ||
JP2018237566A JP2022028091A (ja) | 2018-12-19 | 2018-12-19 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020129659A1 true WO2020129659A1 (ja) | 2020-06-25 |
Family
ID=71101428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/047540 WO2020129659A1 (ja) | 2018-12-19 | 2019-12-05 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11557087B2 (ja) |
JP (1) | JP2022028091A (ja) |
WO (1) | WO2020129659A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023085139A1 (ja) * | 2021-11-12 | 2023-05-19 | ソニーグループ株式会社 | データ処理装置、データ処理方法、およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024046244A (ja) * | 2022-09-22 | 2024-04-03 | キヤノン株式会社 | 画像処理システム、画像処理方法及びコンピュータプログラム |
US11875447B1 (en) * | 2023-05-26 | 2024-01-16 | Illuscio, Inc. | Systems and methods for color correcting three-dimensional objects formed by point cloud data points |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005517253A (ja) * | 2001-11-02 | 2005-06-09 | サーノフ・コーポレーション | 潜入型見張りを提供する方法及び装置 |
JP2016219968A (ja) * | 2015-05-19 | 2016-12-22 | 日本放送協会 | 多視点映像表現装置及びそのプログラム |
JP2018182566A (ja) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6115052A (en) * | 1998-02-12 | 2000-09-05 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
EP1287518B1 (en) * | 2000-04-07 | 2010-09-15 | Dartfish SA | Automated stroboscoping of video sequences |
JP2007259477A (ja) | 2002-09-30 | 2007-10-04 | Toshiba Corp | 画像合成方法、画像合成装置、画像合成プログラム |
US20120002112A1 (en) * | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
US9210468B2 (en) * | 2011-03-22 | 2015-12-08 | Sony Corporation | System and method for effectively implementing a stroboscopic visual effect |
US8719687B2 (en) * | 2011-12-23 | 2014-05-06 | Hong Kong Applied Science And Technology Research | Method for summarizing video and displaying the summary in three-dimensional scenes |
US10620610B2 (en) * | 2015-07-28 | 2020-04-14 | Autodesk, Inc. | Techniques for generating motion sculpture models for three-dimensional printing |
CA3004241A1 (en) | 2015-11-11 | 2017-05-18 | Sony Corporation | Encoding apparatus and encoding method, decoding apparatus and decoding method |
JP6320488B1 (ja) * | 2016-11-07 | 2018-05-09 | ヤフー株式会社 | 仮想現実提供システム、仮想現実提供方法、仮想現実提供装置、およびプログラム |
KR20180092495A (ko) * | 2017-02-09 | 2018-08-20 | 한국전자통신연구원 | 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 |
JP6433559B1 (ja) * | 2017-09-19 | 2018-12-05 | キヤノン株式会社 | 提供装置および提供方法、プログラム |
JP2019057836A (ja) * | 2017-09-21 | 2019-04-11 | キヤノン株式会社 | 映像処理装置、映像処理方法、コンピュータプログラム、及び記憶媒体 |
WO2019208702A1 (ja) * | 2018-04-27 | 2019-10-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置 |
-
2018
- 2018-12-19 JP JP2018237566A patent/JP2022028091A/ja active Pending
-
2019
- 2019-12-05 US US17/309,645 patent/US11557087B2/en active Active
- 2019-12-05 WO PCT/JP2019/047540 patent/WO2020129659A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005517253A (ja) * | 2001-11-02 | 2005-06-09 | サーノフ・コーポレーション | 潜入型見張りを提供する方法及び装置 |
JP2016219968A (ja) * | 2015-05-19 | 2016-12-22 | 日本放送協会 | 多視点映像表現装置及びそのプログラム |
JP2018182566A (ja) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置 |
Non-Patent Citations (1)
Title |
---|
ENOMOTO, AKIHITO ET AL.: "Augmented reality presentation system for multiple sports video based on camera tracking by using field pattern", IEICE TECHNICAL REPORT, vol. 108, no. 363, December 2008 (2008-12-01), pages 111 - 116 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023085139A1 (ja) * | 2021-11-12 | 2023-05-19 | ソニーグループ株式会社 | データ処理装置、データ処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11557087B2 (en) | 2023-01-17 |
US20220036644A1 (en) | 2022-02-03 |
JP2022028091A (ja) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10692288B1 (en) | Compositing images for augmented reality | |
US9721385B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
US10546181B2 (en) | Method and device for generating data for two-dimensional or three-dimensional depiction of at least part of an object and for generating the two-dimensional or three-dimensional depiction of the at least one part of the object | |
WO2020129659A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US11514654B1 (en) | Calibrating focus/defocus operations of a virtual display based on camera settings | |
JP6778163B2 (ja) | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 | |
US11204495B2 (en) | Device and method for generating a model of an object with superposition image data in a virtual environment | |
WO2023207452A1 (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US11158073B2 (en) | System for image compositing including training with custom synthetic data | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
WO2020166376A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20220114784A1 (en) | Device and method for generating a model of an object with superposition image data in a virtual environment | |
JP2018116421A (ja) | 画像処理装置および画像処理方法 | |
JP2020119262A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11468653B2 (en) | Image processing device, image processing method, program, and display device | |
US11682175B2 (en) | Previsualization devices and systems for the film industry | |
WO2022244131A1 (ja) | 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造 | |
US11627297B1 (en) | Method for image processing of image data for a two-dimensional display wall with three-dimensional objects | |
JP2024022484A (ja) | 生成装置、生成方法及びプログラム | |
JP2022093262A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19898435 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19898435 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |