WO2021006047A1 - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

表示制御装置、表示制御方法、及び、プログラム Download PDF

Info

Publication number
WO2021006047A1
WO2021006047A1 PCT/JP2020/024970 JP2020024970W WO2021006047A1 WO 2021006047 A1 WO2021006047 A1 WO 2021006047A1 JP 2020024970 W JP2020024970 W JP 2020024970W WO 2021006047 A1 WO2021006047 A1 WO 2021006047A1
Authority
WO
WIPO (PCT)
Prior art keywords
strobe
model
display control
strobe model
image
Prior art date
Application number
PCT/JP2020/024970
Other languages
English (en)
French (fr)
Inventor
康 池田
祐一 荒木
哲也 菊川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021006047A1 publication Critical patent/WO2021006047A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present technology relates to a display control device, a display control method, and a program, and more particularly to, for example, a display control device, a display control method, and a program that facilitate comparison of objects displayed in a free-viewpoint image.
  • a method of generating a strobe image showing an object (subject) taken at a plurality of times has been proposed (see, for example, Patent Document 1). Since objects at multiple times are shown in the strobe image, the movement and trajectory of the objects can be easily grasped.
  • This technology was made in view of such a situation, and makes it easy to compare objects.
  • the display control device or program of the present technology is a first strobe model and a first strobe model in which 3D models of objects at a plurality of times generated from a plurality of viewpoint images taken from a plurality of viewpoints are arranged in a three-dimensional space.
  • the composite strobe model is provided with a display control unit for displaying a 3D strobe image taken by a virtual camera of a composite strobe model synthesized with two strobe models, and the composite strobe model is a 3D strobe image generated by using the first strobe model.
  • the first strobe model and the second strobe model so that the strobe reproduction time of the first strobe model and the strobe reproduction time of the 3D strobe image generated by using the second strobe model match a predetermined target reproduction time.
  • a display control device that is a strobe model in which one or both of the strobe models are interpolated and / or time is adjusted by thinning out, or a program for operating a computer as such a display control device.
  • the display control method of the present technology is a first strobe model and a second strobe model in which 3D models of objects at multiple times generated from a plurality of viewpoint images taken from a plurality of viewpoints are arranged in a three-dimensional space.
  • the composite strobe model includes displaying a 3D strobe image taken by a virtual camera, and the composite strobe model includes a strobe playback time of a 3D strobe image generated by using the first strobe model and a strobe playback time.
  • One or both of the first strobe model and the second strobe model so that the strobe reproduction time of the 3D strobe image generated by using the second strobe model matches a predetermined target reproduction time.
  • This is a display control method that is a strobe model in which time adjustment is performed by interpolation and / or thinning out.
  • 3D models of objects at multiple times generated from multiple viewpoint images taken from multiple viewpoints are combined with a first strobe model and a second strobe model arranged in a three-dimensional space.
  • a 3D strobe image of the composite strobe model taken with a virtual camera is displayed.
  • the synthetic strobe model the strobe reproduction time of the 3D strobe image generated by using the first strobe model and the strobe reproduction time of the 3D strobe image generated by using the second strobe model are predetermined.
  • the strobe model is a strobe model in which one or both of the first strobe model and the second strobe model are interpolated and / or time-matched by thinning out so as to match the target reproduction time of the above.
  • the display control device may be an independent device or an internal block constituting one device.
  • the program can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the free viewpoint data generated from the live image is used to display an image that can be seen when an object (subject) in three-dimensional space is viewed from a predetermined viewpoint, that is, an object from a predetermined viewpoint.
  • a 2D image obtained by projecting a viewing volume in a three-dimensional space represented by free viewpoint data is generated and displayed on a projection plane perpendicular to the line-of-sight direction when viewed.
  • This 2D image can be called a free viewpoint image because the viewpoint can be freely determined and generated. Since the viewpoint (including the line-of-sight direction) required for generating the free viewpoint image can be virtually set regardless of the user's actual viewpoint, such a viewpoint is also referred to as a virtual viewpoint.
  • the video content of the free viewpoint data has the same degree of freedom in the time direction as the video content of the 2D image, and also has a virtual viewpoint, that is, a virtual camera that captures the free viewpoint data (three-dimensional space represented by). It has a degree of freedom in the shooting position and shooting posture (shooting direction).
  • the shooting position of the virtual camera can be represented by, for example, the coordinates of the xyz coordinate system as the world coordinate system, and the shooting posture of the virtual camera can be represented by the rotation angle or the like around each axis of the world coordinate system.
  • the shooting position of the virtual camera can be moved in the x-axis, y-axis, and z-axis directions, and the shooting posture of the virtual camera can be rotated around the x-axis, y-axis, and z-axis. Since it is possible, there is a degree of freedom of 6DoF (Degree of Freedom) in the shooting position and shooting posture of the virtual camera. Therefore, with respect to the free viewpoint data, there are a total of 7 degrees of freedom, which are 1 degree of freedom in the time direction and 6 degrees of freedom in the shooting position and shooting posture (virtual viewpoint) of the virtual camera.
  • 6DoF Degree of Freedom
  • the free-viewpoint image generated by projecting the free-viewpoint data (viewing volume in the three-dimensional space represented by) on the projection surface with respect to the virtual viewpoint is as if it were virtual from the virtual viewpoint.
  • the free viewpoint data on the projection plane with respect to the virtual viewpoint is equivalent to shooting the free viewpoint data (the three-dimensional space represented by) from the virtual viewpoint with a virtual camera.
  • projecting the free viewpoint data onto the projection surface with respect to the virtual viewpoint to generate the free viewpoint image can be compared to shooting the free viewpoint data with a virtual camera arranged in the virtual viewpoint. .. Therefore, in the present embodiment, the generation of the free viewpoint image will be described as appropriate by comparing it to the shooting of the free viewpoint data with a virtual camera.
  • a virtual camera that captures free-viewpoint data is also called a virtual camera.
  • the image processing system of FIG. 1 includes a photographing device 11, a content server 12, and a playback device 13.
  • the photographing device 11 is composed of at least a plurality of cameras, and photographs an object from a plurality of viewpoints.
  • a plurality of cameras constituting the photographing device 11 are arranged so as to surround the object, and each camera photographs the object from the viewpoint as the position where the camera is arranged.
  • the photographing device 11 can be provided with a plurality of distance measuring devices in addition to the plurality of cameras.
  • the distance measuring device can be arranged at the same position (viewpoint) as the camera, or can be arranged at a different position from the camera.
  • the distance measuring device measures the distance from the position (viewpoint) where the distance measuring device is arranged to the object, and generates a depth image which is a 2D image whose pixel value is the depth which is information about the distance.
  • the depth image is supplied from the photographing device 11 to the content server 12.
  • the distance to the object is measured by the principle of triangulation using the viewpoint images of two viewpoints out of the viewpoint images of a plurality of viewpoints. , Depth images can be generated.
  • the content server 12 is, for example, a web server or a server on the cloud.
  • the content server 12 generates moving image content of free viewpoint data by using, for example, viewpoint images of a plurality of viewpoints supplied from the photographing device 11. Further, the content server 12 arranges 3D models of the same object in a plurality of frames (time) of the viewpoint image in (3D model) of the three-dimensional space photographed by the photographing device 11 using the free viewpoint data. Generate a strobe model.
  • the content server 12 transmits the moving image content of the free viewpoint data and the strobe model (file) to the playback device 13 in response to the request from the playback device 13.
  • the strobe model is free viewpoint data, but in the present embodiment, it will be described separately from the free viewpoint data as appropriate.
  • the playback device 13 is, for example, a client of a mobile terminal such as a PC (Personal Computer), a TV (television receiver), or a smartphone.
  • the playback device 13 requests and acquires video content of free viewpoint data and a strobe model from the content server 12. Further, the playback device 13 generates and displays a 3D strobe image of the strobe model viewed from the virtual viewpoint and a free viewpoint image of the free viewpoint data viewed from the virtual viewpoint.
  • the 3D strobe image is a free-viewpoint image, but in an unimplemented embodiment, the description will be given separately from the free-viewpoint image as appropriate.
  • the content server 12 and the playback device 13 can be configured as separate devices, or the entire content server 12 and the playback device 13 can be configured as one device (for example, a PC (Personal Computer) or the like). It can also be configured.
  • a PC Personal Computer
  • FIG. 2 is a block diagram showing a configuration example of the content server 12 of FIG.
  • the content server 12 has a free viewpoint data generation unit 21, a strobe model generation unit 22, a storage unit 23, and a communication unit 24.
  • the free viewpoint data generation unit 21 uses the viewpoint images of a plurality of viewpoints from the photographing device 11 and also uses the depth images as necessary to generate free viewpoint data in frame units, thereby moving the free viewpoint data into moving images. Generate content.
  • the free viewpoint data means a wide range of 3D image data (3D data) that can generate a free viewpoint image.
  • 3D data for example, a set of viewpoint images and depth images of a plurality of viewpoints from the photographing device 11 can be adopted as they are.
  • 3D data for example, 3D data having a 3D shape model which is information on a three-dimensional shape and color information, or a set of a 2D image and a depth image of a plurality of viewpoints should be adopted. Can be done.
  • the free viewpoint data generation unit 21 includes the viewpoint images and depth images of the plurality of viewpoints from the photographing device 11. The set of is used as it is as free viewpoint data.
  • the free viewpoint data generation unit 21 models by Visual Hull or the like using the viewpoint images of a plurality of viewpoints from the photographing device 11. To generate a 3D shape model of the object reflected in the viewpoint image, and use it as free viewpoint data together with the viewpoint images of a plurality of viewpoints as textures.
  • the free viewpoint data generation unit 21 obtains 3D data having a 3D shape model and color information, for example, as described above.
  • a set of a 2D image and a depth image viewed from a plurality of viewpoints (the same viewpoint as the camera constituting the photographing device 11 or different viewpoints) is generated as free viewpoint data. To do.
  • the free viewpoint data generation unit 21 generates the moving image content of the free viewpoint data and supplies it to the strobe model generation unit 22 and the storage unit 23.
  • the amount of free viewpoint data can be reduced by adopting a set of 2D images and depth images of a plurality of viewpoints as compared with 3D data having a 3D shape model.
  • a technique for generating and transmitting a set of 2D images and depth images of a plurality of viewpoints as free viewpoint data is described in International Publication No. 2017/082076 previously proposed by the applicant.
  • a set of 2D images of multiple viewpoints and depth images as free viewpoint data includes, for example, 2D images such as MVCD (Multiview and depth video coding), AVC (Advanced Video Coding), and HEVC (High Efficiency Video Coding). It can be encoded by the target coding method.
  • the free viewpoint data includes a 3D model called View Independent (hereinafter, also referred to as VI model) and a 3D model called View Dependent (hereinafter, also referred to as VD model).
  • VI model View Independent
  • VD model View Dependent
  • the VD model is 3D data in which information on a three-dimensional shape such as a 3D shape model and information on an image as a texture are separated.
  • the 3D shape model is colored by mapping an image to be a texture (texture mapping).
  • the VD model it is possible to express the degree of reflection on the surface of an object that differs depending on the (virtual) viewpoint.
  • the VD model is called View Dependent because its appearance depends on the viewpoint.
  • the VI model is, for example, 3D data in which polygons and points as components of information on a three-dimensional shape have color information.
  • a VI model for example, there is a set of a colored point cloud, a 3D shape model, and a UV map as color information of the 3D shape model.
  • the colors of polygons and points are observed from any (virtual) viewpoint.
  • the VI model is called View Independent because its appearance does not depend on the viewpoint.
  • the strobe model generation unit 22 uses the free viewpoint data from the free viewpoint data generation unit 21 to display the same object in a plurality of frames (different times) of the viewpoint image in the three-dimensional space (3D model) reflected in the viewpoint image. Generate a strobe model in which a 3D model, which is free viewpoint data, is placed.
  • the strobe model generation unit 22 selects a frame to be used for generating the strobe model (hereinafter, also referred to as a generation frame) from the frame of the strobe section which is the section of the target frame for generating the strobe model. Further, the strobe model generation unit 22 sets one or more of the objects displayed in the generation frame as the target object (hereinafter, also referred to as the target object) for arranging the 3D model in the strobe model. Then, the strobe model generation unit 22 generates a strobe model in which the 3D model of the target object displayed in the generation frame is arranged, and supplies the strobe model to the storage unit 23.
  • a generation frame a frame to be used for generating the strobe model
  • the strobe model generation unit 22 sets one or more of the objects displayed in the generation frame as the target object (hereinafter, also referred to as the target object) for arranging the 3D model in the strobe model.
  • the strobe model generation unit 22
  • all the moving objects reflected in the generation frame can be set as the target objects. Further, in the strobe model generation unit 22, for example, among the moving objects displayed in the generation frame, the object specified by the user of the reproduction device 13 can be set as the target object.
  • the strobe model generation unit 22 can attach the frame of the strobe section used for generating the strobe model or the free viewpoint data of the generation frame to the strobe model. That is, for example, the strobe model file can include the frame of the strobe section used for generating the strobe model or the free viewpoint data of the generated frame. In the present embodiment, the strobe model is accompanied by the free viewpoint data (frame of the strobe section or the generation frame) used for generating the strobe model.
  • the storage unit 23 stores the video content of the free viewpoint data from the free viewpoint data generation unit 21 and the strobe model from the strobe model generation unit 22.
  • the communication unit 24 communicates with the playback device 13. For example, the communication unit 24 transmits the moving image content and the strobe model of the free viewpoint data stored in the storage unit 23 to the reproduction device 13 in response to a request from the reproduction device 13.
  • the free viewpoint data generation unit 21 and the strobe model generation unit 22 can be provided in the reproduction device 13.
  • FIG. 3 is a block diagram showing a configuration example of the playback device 13 of FIG.
  • the playback device 13 includes a communication unit 31, a storage unit 32, a display control unit 33, a display unit 34, and a UI (User Interface) unit 35.
  • the communication unit 31 communicates with the content server 12. For example, the communication unit 31 transmits a video content of free viewpoint data and a request for a strobe model in response to an operation of the UI unit 35. Further, the communication unit 31 receives the moving image content and the strobe model of the free viewpoint data transmitted from the content server 12 in response to the request, and supplies the video content and the strobe model to the storage unit 32.
  • the storage unit 32 stores the video content and strobe model of the free viewpoint data from the communication unit 31. Further, the storage unit 32 stores the strobe model (synthetic strobe model) supplied from the display control unit 33.
  • the display control unit 33 generates a 2D image of the free viewpoint data (three-dimensional space represented by) stored in the storage unit 32 as a free viewpoint image (data) viewed from a virtual viewpoint, and the display unit 34 generates the free viewpoint image (data).
  • the display is controlled.
  • the display control unit 33 generates a 3D strobe image (3D CG (Computer Graphics)), which is a 2D image of the strobe model stored in the storage unit 32 from a virtual viewpoint, as a free viewpoint image, and the display unit 33. Display control to be displayed on 34 is performed.
  • 3D CG Computer Graphics
  • the display control unit 33 generates a synthetic strobe model in which a plurality of strobe models stored in the storage unit 32 are combined. Then, the display control unit 33 generates a 3D strobe image of the composite strobe model viewed from a virtual viewpoint (photographed by a virtual camera) as a free viewpoint image, and performs display control to display the composite strobe model on the display unit 34.
  • the display control unit 33 includes a free viewpoint image generation unit 41, a virtual viewpoint setting unit 42, and a composition unit 43.
  • the free viewpoint image generation unit 41 views the free viewpoint data (three-dimensional space represented by) stored in the storage unit 32 as a 2D image (positioned at the virtual viewpoint) viewed from the virtual viewpoint supplied from the virtual viewpoint setting unit 42.
  • a 2D image obtained by taking a picture with a virtual camera (including a set of a 2D image for the left eye and a 2D image for the right eye) is generated (rendered) as a free viewpoint image and supplied to the display unit 34.
  • the free viewpoint image generation unit 41 is a 3D strobe which is a 2D image of the strobe model stored in the storage unit 32 and the synthetic strobe model supplied from the synthesis unit 43 viewed from the virtual viewpoint from the virtual viewpoint setting unit 42.
  • the image is generated as a free viewpoint image and supplied to the display unit 34.
  • the strobe image is an image in which one or more identical objects (images) taken at a plurality of times are reflected.
  • a strobe image showing an object reflected in a 2D image is also called a 2D strobe image
  • a 2D image showing a 3D model of an object that is, a 2D image of a strobe model viewed from a predetermined viewpoint is also called a 3D strobe image.
  • the free viewpoint image generation unit 41 generates a 3D strobe image.
  • the virtual viewpoint setting unit 42 sets the shooting position and shooting posture of the virtual camera when the strobe model is shot by the virtual camera, that is, the virtual viewpoint, and supplies the virtual viewpoint to the free viewpoint image generation unit 41.
  • the virtual viewpoint can be set according to the user's operation, for example.
  • the user's operation includes the user's state (position and posture) and gesture in addition to the operation of the UI unit 35 by the user.
  • the user's state can be detected on the head-mounted display, for example, when the display unit 34 is composed of the head-mounted display.
  • the synthesis unit 43 generates a synthetic strobe model in which a plurality of strobe models stored in the storage unit 32 are combined, and supplies the composite strobe model to the storage unit 32 and the free viewpoint image generation unit 41.
  • two or more strobe models can be synthesized, but in the following, for the sake of simplicity, two strobe models, a first strobe model and a second strobe model, are to be synthesized.
  • a synthetic strobe model is generated by synthesizing the two strobe models.
  • the two strobe models to be synthesized are also hereinafter referred to as strobe models A and B.
  • strobe models for example, two strobe models out of the three or more strobe models are synthesized, and the synthetic strobe model obtained by the synthesis is still synthesized. It can be done by repeating the synthesis with one strobe model.
  • a new synthetic strobe model can be generated by using the synthetic strobe model stored in the storage unit 32 as the first strobe model or the second strobe model.
  • the time during which the 3D strobe image generated using the strobe model is displayed is referred to as the strobe playback time.
  • the strobe playback time is equal to, for example, the time of the strobe section.
  • the strobe In the generation of the synthetic strobe model, the strobe so that the strobe reproduction time of the strobe model A and the strobe reproduction time of the strobe model B match the predetermined target strobe reproduction time (hereinafter, also referred to as the target reproduction time). It is possible to generate a synthetic strobe model in which one or both of the models A and B are interpolated and / or timed by thinning out.
  • the generation of the synthetic strobe model it is possible to generate a synthetic strobe model in which one or both of the strobe models A and B are arranged at predetermined positions in the three-dimensional space.
  • the generation of the synthetic strobe model it is possible to generate a synthetic strobe model in which the overlap display control is performed to deal with the overlap of the 3D models of the strobe models A and B in the synthetic strobe model.
  • the strobe models A and B to be synthesized include strobe models of the same or different objects on the same or different time axes.
  • the strobe models A and B to be synthesized include, secondly, strobe models of different objects on the same time axis at the same or different times. As the strobe models A and B to be synthesized, there are third strobe models of the same object on different time axes. As the strobe models A and B to be synthesized, there are fourth strobe models of different objects on different time axes.
  • the same time axis means, for example, the time axis of a certain video content
  • the different time axis means, for example, the time axis of each of two different video contents.
  • strobe models in two different time zones in which the object # 1 of the video content # 1 is displayed can be combined.
  • a strobe model in an arbitrary time zone in which the object # 1 is displayed and a strobe model in an arbitrary time zone in which the object # 2 is displayed are combined. Can be targeted. Furthermore, in the video content # 1, the strobe model with object # 1 as the target object and the strobe model with object # 2 as the target object in the time zone in which both objects # 1 and # 2 are displayed are combined. can do.
  • a strobe model in any time zone in which 1 is displayed can be used as a synthesis target.
  • the strobe model in an arbitrary time zone in which the object # 1 is displayed and in the video content # 2 in which the object # 2 different from the object # 1 is shot, the object # 2 A strobe model in any time zone in which is reflected can be a synthesis target.
  • the display unit 34 displays a 3D strobe image or other free viewpoint image from the free viewpoint image generation unit 41.
  • the display unit 34 can be configured by, for example, a 2D head-mounted display, a 2D monitor, a 3D head-mounted display, a 3D monitor, or the like.
  • a 3D head-mounted display or monitor is a display device that realizes stereoscopic vision by displaying, for example, a 2D image for the left eye and a 2D image for the right eye.
  • the UI unit 35 is operated by the user and supplies an operation signal according to the user's operation to a necessary block.
  • the UI unit 35 can be integrally configured with the display unit 34 by, for example, a touch panel or the like. Further, the UI unit 35 can be configured as a mouse, a controller, or the like separate from the display unit 34.
  • the playback device 13 may at least have a function of communicating with the outside, a function of displaying an image, and a function of accepting a user's operation.
  • other functions for example, the functions realized by the display control unit 33, can be provided in, for example, the content server 12, the server on the cloud, and the like.
  • FIG. 4 is a flowchart illustrating an example of processing performed by the content server 12 of FIG.
  • step S11 the content server 12 obtains viewpoint images (and depth images) of a plurality of viewpoints shot by the shooting device 11 in frame units.
  • the content server 12 supplies viewpoint images of a plurality of viewpoints to the free viewpoint data generation unit 21, and the process proceeds from step S11 to step S12.
  • step S12 the free viewpoint data generation unit 21 generates free viewpoint data in frame units using viewpoint images of a plurality of viewpoints, and supplies the free viewpoint data to the strobe model generation unit 22 and the storage unit 23.
  • the storage unit 23 stores moving image content (video content of free viewpoint data) composed of free viewpoint data in frame units from the free viewpoint data generation unit 21. After that, the process proceeds from step S12 to step S13.
  • step S13 the strobe model generation unit 22 generates a strobe model using the free viewpoint data from the free viewpoint data generation unit 21.
  • the strobe model generation unit 22 sets the strobe section, which is the section of the target frame for generating the strobe model. For example, the entire section of the moving image content of the free viewpoint data, the section from the scene change to immediately before the next scene change, the section designated by the playback device 13 according to the user's operation, and the like are set as the strobe section.
  • the strobe model generation unit 22 sets the target object for arranging the 3D model on the strobe model from the object reflected in the viewpoint image. For example, an object moving at a predetermined speed or higher, an object designated by the playback device 13 in response to a user operation, and the like are set as target objects.
  • the strobe model generation unit 22 selects a generation frame to be used for generating the strobe model from the frames of the strobe section.
  • the same number of 3D models of the same object as the number of frames of the strobe section are overlapped and arranged in the strobe model, and 3D.
  • the strobe image may be difficult to see.
  • the strobe model generation unit 22 can select some frames as generation frames from the frames of the strobe section, and generate a strobe model using the generation frames (3D model of the object reflected in).
  • the strobe model generation unit 22 can select, for example, a frame in which the interference degree of the 3D model is equal to or less than the threshold value from the frames in the strobe section as the generation frame. That is, the strobe model generation unit 22 calculates the degree of interference indicating the degree of overlap between the 3D models in a state where the 3D model of the target object reflected in the frame of the strobe section is arranged in the three-dimensional space.
  • the degree of interference is calculated, for example, in a three-dimensional space, where 100% is the case where 3D models of arbitrary two frames completely overlap, and 0% is the case where they do not overlap at all.
  • the strobe model generation unit 22 selects a frame whose interference degree is equal to or less than a predetermined threshold value as a generation frame.
  • a frame whose 3D model interference degree is equal to or less than the threshold is selected as a generation frame, and a strobe model in which the 3D model of the target object reflected in the generation frame is arranged is generated.
  • the 3D models are arranged so as to overlap each other, and it is possible to prevent the 3D strobe image from becoming an image that is difficult to see.
  • the frame of the strobe section can be simply selected as the generation frame for each predetermined number of frames. Further, in the selection of the generation frame, all the frames in the strobe section can be selected as the generation frame.
  • the strobe model generation unit 22 uses the free viewpoint data from the free viewpoint data generation unit 21, and when the 3D model of the target object reflected in a plurality of generation frames selected from the frames of the strobe section is photographed. Generates a strobe model placed on the background (3D model) as a 3D space.
  • the strobe model generation unit 22 supplies the storage unit 23 with a strobe model generated using the free viewpoint data from the free viewpoint data generation unit 21.
  • the storage unit 23 stores the strobe model from the strobe model generation unit 22, and the process proceeds from step S13 to step S14.
  • step S14 the communication unit 24 transmits, for example, the moving image content of the free viewpoint data stored in the storage unit 23 and the strobe model to the playback device 13 in response to a request from the playback device 13, and the processing is performed. finish.
  • FIG. 5 is a flowchart illustrating an example of processing performed by the playback device 13 of FIG.
  • step S31 the communication unit 31 requests the content server 12 for the video content of the free viewpoint data and the strobe model in response to the user's operation, and the process proceeds to step S32.
  • step S32 the communication unit 31 waits for the video content or strobe model of the free viewpoint data to be transmitted from the content server 12, and then receives the video content or strobe model of the free viewpoint data.
  • the communication unit 31 supplies the moving image content and the strobe model of the free viewpoint data from the content server 12 to the storage unit 32 and stores them, and the process proceeds from step S32 to step S33.
  • step S33 the free viewpoint image generation unit 41 views the free viewpoint data or the strobe model stored in the storage unit 32 from the virtual viewpoint supplied from the virtual viewpoint setting unit 42, for example, in response to a user operation or the like. It is generated by rendering a free viewpoint image.
  • step S33 the synthesis unit 43 generates a synthetic strobe model in which the strobe models A and B stored in the storage unit 32 are combined, supplies the composite strobe model to the free viewpoint image generation unit 41, and stores the strobe models A and B as necessary. It is supplied to the unit 32 and stored.
  • the free viewpoint image generation unit 41 generates a composite strobe model from the synthesis unit 43 by rendering a free viewpoint image as a 3D strobe image viewed from a virtual viewpoint supplied from the virtual viewpoint setting unit 42.
  • step S33 the process proceeds from step S33 to step S34, and the free viewpoint image generation unit 41 supplies the free viewpoint image (including the 3D strobe image) generated in step S33 to the display unit 34 for display.
  • FIG. 6 is a diagram showing an example of an unnatural 3D strobe image.
  • FIG. 6 shows a 3D strobe image generated from a strobe model generated by using 5 of the frames of the viewpoint image of a ball as an object rolling from the front side to the back side as a generation frame. An example is shown.
  • the 3D model of the ball reflected in the generated frame of 5 frames is arranged (rendered) so as to give priority to the later 3D model in terms of time. Therefore, the 3D model (of the ball) behind in time is arranged so as to hide the 3D model in front of in time even though it is located in the back side. As a result, the 3D strobe image of FIG. 6 is an unnatural image.
  • FIG. 7 is a diagram showing an example of a natural 3D strobe image.
  • FIG. 7 shows a 3D strobe image generated from a strobe model generated by using 5 frames out of 5 frames of a viewpoint image of a ball as an object rolling from the front side to the back side as a generation frame. An example is shown.
  • the 3D model of the ball reflected in the 5-frame generation frame is arranged so as to give priority to the 3D model on the front side. Therefore, the 3D model on the front side is arranged so as to hide the 3D model on the back side, that is, the 3D model on the front side is preferentially displayed. As a result, the free-viewpoint image is a natural image.
  • the free-viewpoint image generation unit 41 uses the depth (depth) of each 3D model of the object placed on the strobe model to generate a 3D strobe image in which the 3D model of the object on the front side is preferentially reflected as described above. (Shoot with a virtual camera).
  • FIG. 8 is a diagram showing an example of a frame of a viewpoint image of a strobe section.
  • 9 frames at times t1 to t9 are frames for the viewpoint image of the strobe section.
  • the frame at times t1 to t9 shows the ball as an object rolling from left to right.
  • a frame of a viewpoint image of a certain viewpoint is illustrated in order to avoid complicating the figure.
  • FIG. 9 is a diagram showing an example of generating a strobe model using a frame at times t1 to t9 as a strobe section.
  • the frames at times t1 to t9 as the strobe section are selected as the generation frames, and the frames at multiple viewpoints are used as the generation frames.
  • a 3D model of the ball as an object reflected in the frames at times t1, t3, t5, t7, and t9 is generated.
  • a strobe model in which the 3D model of the ball reflected in the frames of the times t1, t3, t5, t7, and t9 as the generation frame is arranged is generated.
  • FIG. 10 is a diagram showing an example of displaying a 3D strobe image generated by shooting a strobe model with a virtual camera.
  • a 3D strobe image it is possible to generate and display a frame in which a 3D model of the ball as an object reflected in a frame at time t1, t3, t5, t7, and t9 is reflected.
  • a frame in which the 3D model of the ball as an object reflected in the frame at time t1 is displayed, and a frame in which the 3D model of the ball as an object reflected in the frames at time t1 and t3 is displayed.
  • a frame showing a 3D model of the ball as an object in frames t1, t3, and t5 a frame showing a 3D model of the ball as an object in frames t1, t3, t5, and t7
  • Times t1, t3, t5, t7, and t9 can generate frames that show the 3D model of the ball as an object and display them in sequence.
  • a 3D strobe image is generated (rendered) using the strobe model at time t1 in which the 3D model of the ball as an object reflected in the frame at time t1 is placed, and then the time t1
  • a 3D strobe image is generated using the strobe model at time t3 in which the 3D model of the ball as an object reflected in the frame at time t3 is placed in the strobe model of, and similarly, the strobe model at the immediately preceding time is used.
  • a 3D model of the ball as an object to be reflected in the frame at the next time is arranged.
  • the 3D model of the ball as an object reflected in the frames at times t1, t3, t5, t7, and t9 is sequentially rendered. It can be done by adding more.
  • a 3D strobe image of a moving image showing the trajectory of the movement of the object is displayed.
  • the shooting position and shooting posture of the virtual camera that shoots the strobe model are not changed, but the shooting position and shooting posture of the virtual camera can be changed as needed.
  • the viewpoint at which the strobe model is viewed is changed, and a 3D strobe image with a changing camera angle is displayed.
  • FIG. 11 is a diagram illustrating reproduction of a 3D strobe image of a moving image generated by using a strobe model.
  • a of FIG. 11 is a diagram for explaining the strobe playback time.
  • the strobe playback time is the playback time of a 3D strobe image of a moving image, that is, the generation of a 3D strobe image having a predetermined frame rate such as a frame rate for capturing a viewpoint image with a shooting device 11 using a strobe model, for example. It means the time when the 3D strobe image of the predetermined frame rate is displayed at the predetermined frame rate.
  • the strobe playback time is equal to, for example, the time obtained by dividing the number of frames in the strobe section by the frame rate, that is, the time in the strobe section.
  • the strobe section of the strobe model is 300 frames and the frame rate is 59.97 frames / sec
  • the strobe in which the 3D model of the object reflected in the frame of the strobe section is arranged is arranged.
  • the strobe playback time of the model is approximately 5.002 ( ⁇ 300 / 59.97) seconds.
  • FIG. 11B is a diagram for explaining the playback start timing for starting the playback of the 3D strobe image.
  • the file format of the strobe model is not standardized. Therefore, any format can be adopted as the file format of the strobe model.
  • the 3D models of the target objects arranged in the strobe model are simply arranged sequentially in the frame order (time order) of the strobe section without adding a time stamp. It can be used as a file format for strobe models.
  • the 3D models of the target objects arranged in the frame order are read in order from the file in which the strobe model is stored, and the strobe model in which the read 3D models are sequentially arranged is read.
  • the playback start timing of the 3D strobe image can be specified, for example, by describing the playback start frame at which the playback of the 3D strobe image is started as the metadata of the strobe model.
  • the playback start timing is specified by the metadata
  • the 3D model in which the 3D models of the target objects appearing in the frames after the playback start frame described in the metadata are sequentially arranged is used in 3D.
  • a strobe image is generated.
  • a 3D strobe image should be generated with the first frame of the strobe section as the playback start timing. Can be done.
  • C of FIG. 11 is a diagram for explaining display control for hiding the 3D model of the target object in the reproduction of the 3D strobe image.
  • the 3D models of the target objects arranged in chronological order are read out in order from the file in which the strobe model is stored, and the read 3D model is displayed.
  • a 3D strobe image can be generated using the sequentially arranged strobe models.
  • the display control for hiding the 3D model can be specified, for example, by describing the frame in which the 3D model (corresponding to the target object) to be hidden is displayed as the metadata of the strobe model.
  • the display control for hiding the 3D model can be performed, for example, by omitting the rendering of the 3D model of the target object displayed in the frame described in the metadata in the generation (rendering) of the 3D strobe image.
  • FIG. 12 is a diagram showing an example of a 3D strobe image.
  • a 3D strobe image is generated with the bat reflected in the scene where the batter is swinging with the bat as the target object.
  • a 3D strobe image can be generated with the batter as the target object in addition to the bat.
  • the target object can be divided into several parts as needed, and each part can be treated separately with an ID (Identification).
  • ID Identity
  • the batter's body as the target object can be divided into several parts such as the upper body, the arm, and the lower body excluding the arm.
  • the parts in which the target object is divided it is possible to select whether or not to display the 3D strobe image for each part, and when displaying the parts, whether or not to highlight them.
  • the 3D model of only the first frame of the generated frames is displayed in the 3D strobe image
  • the 3D models of all the frames of the generated frames are displayed in 3D.
  • the 3D strobe image can be generated while gradually shifting the 3D model of the bat and the batter reflected in each generation frame in the horizontal direction and the like. If the 3D strobe image is generated without shifting the 3D model of the bat and the batter reflected in each generation frame, the batters reflected in the 3D strobe image may almost overlap and be difficult to see. By generating a 3D strobe image while gradually shifting the 3D model of the bat and the batter reflected in each generation frame in the horizontal direction, etc., the range in which the batters reflected in the 3D strobe image overlap becomes smaller, and the batter reflected in the 3D strobe image. Can be suppressed from becoming difficult to see.
  • FIG. 13 is a diagram illustrating an example of application of the synthetic strobe model.
  • the synthetic strobe model can be used for sports training such as pitching training for baseball players.
  • a composite strobe model can be generated by targeting the strobe model A of the first pitching scene of the same pitcher and the strobe model B of the second pitching scene as synthesis targets.
  • the synthetic strobe model it becomes easy to compare the pitching forms of the first pitch and the second pitch and the trajectory of the ball.
  • the pitching motion speed, the ball speed, etc. are different in the strobe models A and B, it may be difficult to understand the difference between the first pitch and the second pitch in the synthetic strobe model.
  • the strobe model A and the strobe model B are arranged at separate positions in the synthetic strobe model, and the first pitch is also performed. It may be difficult to understand the difference between the pitch and the second pitch.
  • the synthesis unit 43 synthesizes the strobe models A and B so that the difference between the first pitch and the second pitch can be easily understood by time adjustment, alignment, overlap display control, and the like. Can be generated.
  • the synthetic strobe model can compare the first swing and the second swing in the batter's swing training, and the first jump and 2 in figure skating. It can be used to compare with the first jump.
  • FIG. 14 is a diagram illustrating an example of reproducing a 3D strobe image.
  • a in FIG. 14 shows an example of setting the strobe section.
  • the sections of frames # 1 to # 7 are set as strobe sections.
  • the frame rate is assumed to be, for example, 1 frame / sec.
  • the strobe section is a section of 7 seconds.
  • FIG. 14 shows an example of selecting a generated frame.
  • frames # 1, # 3, # 5, and # 7 are selected as generation frames.
  • C in FIG. 14 shows an example of strobe model generation.
  • the strobe model # 1 + 2 + 3 + ... represents the strobe model in which the 3D model of the target object reflected in the (generated) frames # 1, # 2, # 3, ... is arranged.
  • the strobe model is generated for each frame according to the frame rate of the frame of the strobe section, that is, for each of frames # 1 to # 7 of the strobe section.
  • strobe model # 1 in which the 3D model of the target object reflected in the generated frame # 1 between the beginning of the strobe section and frame # 1 is arranged is generated.
  • strobe model # 1 in which the 3D model of the target object reflected in the generated frame # 1 between the beginning of the strobe section and frame # 2 is arranged is generated.
  • strobe model # 1 + 3 in which the 3D model of the target object reflected in the generated frames # 1 and # 3 from the beginning of the strobe section to frame # 3 is generated is generated.
  • strobe model # 1 + 3 in which the 3D model of the target object reflected in the generated frames # 1 and # 3 between the beginning of the strobe section and frame # 4 is placed is generated.
  • strobe model # 1 + 3 + 5 in which the 3D model of the target object reflected in the generated frames # 1, # 3, and # 5 between the beginning of the strobe section and frame # 5 is arranged. Is generated.
  • strobe model # 1 + 3 + 5 in which the 3D model of the target object reflected in the generated frames # 1, # 3, and # 5 between the beginning of the strobe section and frame # 6 is arranged. Is generated.
  • the strobe playback time of the 3D strobe image generated using the strobe model generated from frames # 1 to # 7 (generated frame selected from) of the strobe section of 7 seconds is 7 seconds, which is equal to the strobe section.
  • the strobe playback time of the 3D strobe image is also referred to as the strobe playback time of the strobe model used to generate the 3D strobe image.
  • D in FIG. 14 shows an example of generating a 3D strobe image using a strobe model.
  • the 3D strobe image # 1 + 2 + 3 + ... is a 3D strobe image generated by using the strobe model # 1 + 2 + 3 + ..., that is, the strobe model # 1 + 2 + 3.
  • the strobe model # 1 + 2 + 3 + ... + M where the 3D model of the frame # M + 1, # M + 2, ..., #N (target object reflected in) is not placed.
  • 3D strobe image # 1 + 2 + 3 + ⁇ ⁇ ⁇ + M generated by shooting with a virtual camera is the rendering for the strobe model # 1 + 2 + 3 + ⁇ ⁇ ⁇ + N. It can be generated by excluding the 3D models of frames # M + 1, # M + 2, ..., #N from the rendering target.
  • 3D strobe images # 1, # 1 + 2, # 1 + 2 + 3, ... .. .. , # 1 + 2 + ⁇ ⁇ ⁇ + N can be generated by generating the strobe model # 1 + 2 + 3 + ⁇ ⁇ ⁇ + N, and the strobe model # 1, # 1 + 2, # 1 + 2 +3 ,. .. .. , # 1 + 2 + ⁇ ⁇ ⁇ It is not necessary to generate all of + N.
  • strobe models # 1, # 1 + 2, # 1 + 2 + 3, for each frame in the strobe section. .. .. , # 1 + 2 + ⁇ ⁇ ⁇ + N is generated, and each strobe model # 1, # 1 + 2, # 1 + 2 + 3, ... .. .. , # 1 + 2 + ⁇ ⁇ ⁇ + N, each 3D strobe image # 1, # 1 + 2, # 1 + 2 + 3,. .. .. , # 1 + 2 + ⁇ ⁇ ⁇ + N will be generated.
  • a 3D strobe image is generated using the strobe model generated for that frame.
  • 3D strobe images # 1 + 3 are generated using strobe model # 1 + 3.
  • 3D strobe images # 1 + 3 + 5 are generated using the strobe model # 1 + 3 + 5.
  • a 3D strobe image # 1 + 3 + 5 + 7 is generated using the strobe model # 1 + 3 + 5 + 7.
  • E in FIG. 14 shows an example of displaying a 3D strobe image.
  • 3D strobe images for frames # 1 to frame # 7 generated as described in D of FIG. 14 are sequentially displayed at the frame rate of the frame in the strobe section.
  • the display time of the 3D strobe image generated by using the strobe model in which the 3D model of the target object reflected in the frames # 1 to # 7 of the strobe section is arranged is the strobe section (time). Is equal to 7 seconds.
  • FIG. 15 is a diagram illustrating an example of reproduction of a 3D strobe image generated from a frame of a certain strobe section A.
  • a in FIG. 15 shows the setting of the strobe section A.
  • the section of 5 seconds of frames # a1 to # a5 is set as the strobe section A.
  • FIG. 15 shows an example of selecting a generated frame from frames # a1 to # a5 of the strobe section A.
  • the frames # a1, # a3, and # a5 are selected as the generation frames.
  • FIG. 15 shows the generation of the strobe model from the strobe section A (generation frame).
  • strobe model # a1 + a3 in which the 3D model of the target object reflected in the generated frames # a1 and # a3 is arranged is generated.
  • strobe model # a1 + a3 + a5 is generated in which the 3D model of the target object reflected in the generated frames # a1, # a3, # a5 is arranged.
  • strobe model # a1 strobe model # a1, strobe model # a1, strobe model # a1 + a3, strobe model # a1 + a3, strobe model # a1 + a3 + a5 generated for frames # a1 to # a5 of strobe section A.
  • the series for 5 frames is also referred to as strobe model A.
  • FIG. 15 shows the generation of a 3D strobe image using the strobe model A.
  • a 3D strobe image # a1 is generated for frames # a1 and # a2 of the strobe section using the strobe model # a1 in the same manner as in the case of FIG.
  • a 3D strobe image # a1 + a3 is generated using the strobe model # a1 + a3.
  • a 3D strobe image # a1 + a3 + a5 is generated using the strobe model # a1 + a3 + a5.
  • 3D strobe image # a1, 3D strobe image # a1, 3D strobe image # a1 + a3, 3D strobe image # a1 + a3, 3D strobe image # a1 + a3 + a5 generated using the strobe model A The series for 5 frames is also referred to as 3D strobe image A.
  • FIG. 15 shows an example of displaying the 3D strobe image A.
  • the 3D strobe image A generated as described in D of FIG. 15 is sequentially displayed at the frame rate of the frame of the strobe section A.
  • the strobe reproduction time of the 3D strobe image A generated by using the strobe model A generated from the strobe section A is 5 seconds, which is equal to the strobe section A.
  • FIG. 16 is a diagram illustrating an example of reproducing a 3D strobe image generated from a frame in a strobe section B different from the strobe section A.
  • a in FIG. 16 shows the setting of the strobe section B.
  • FIG. 16 shows an example of selecting a generated frame from frames # b1 to # b9 of the strobe section B.
  • the frames # b1, # b5, and # b9 are selected as the generation frames.
  • FIG. 16 shows the generation of the strobe model from the strobe section B (generation frame).
  • strobe model # b1 + b5 in which the 3D model of the target object reflected in the generated frames # b1 and # b5 is arranged is generated.
  • strobe model # b1 + b5 + b9 in which the 3D model of the target object reflected in the generated frames # b1, # b5, # b9 is arranged is generated.
  • Strobe model # b1 + b5, strobe model # b1 + b5, strobe model # b1 + b5 + b9 9 frames are also described as strobe model B.
  • FIG. 16 shows the generation of a 3D strobe image using the strobe model B.
  • a 3D strobe image # b1 is generated using the strobe model # b1 for frames # b1 to # b4 of the strobe section in the same manner as in the case of FIG.
  • a 3D strobe image # b1 + b5 is generated using the strobe model # b1 + b5.
  • a 3D strobe image # b1 + b5 + b9 is generated using the strobe model # b1 + b5 + b9.
  • 3D strobe image # b1, 3D strobe image # b1, 3D strobe image # b1, 3D strobe image # b1, 3D strobe image # b1 + b5, 3D strobe image # b1 + generated using the strobe model B The series of 9 frames of b5, 3D strobe image # b1 + b5, 3D strobe image # b1 + b5, 3D strobe image # b1 + b5 + b9 is also described as 3D strobe image B.
  • E in FIG. 16 shows an example of displaying the 3D strobe image B.
  • the 3D strobe image A generated as described in D of FIG. 16 is sequentially displayed at the frame rate of the frame of the strobe section B.
  • the strobe reproduction time of the 3D strobe image B generated by using the strobe model B generated from the strobe section B is 9 seconds, which is equal to the strobe section B.
  • the synthesis unit 43 can generate a synthetic strobe model in which the strobe models A and B are time-matched.
  • the strobe reproduction time of the 3D strobe image A generated by using the strobe model A and the strobe reproduction time of the 3D strobe image B generated by using the strobe model B are predetermined.
  • One or both of the strobe models A and B are interpolated and / or thinned out so as to match the target reproduction time of.
  • the target playback time for example, one strobe playback time of the strobe models A and B to be synthesized, a time specified by the user by operating the UI unit 35, and the like can be adopted.
  • FIG. 17 is a diagram illustrating an example of time adjustment of strobe models A and B.
  • the strobe reproduction time (5 seconds) of the shorter strobe model A of the strobe reproduction times of the strobe models A and B is set as the target reproduction time.
  • the strobe playback time (5 seconds) of the strobe model A matches the target playback time (5 seconds), and the strobe playback time (9 seconds) of the strobe model B is longer than the target playback time. Therefore, the strobe model B is thinned out so that the strobe reproduction time of the strobe model B matches the target reproduction time.
  • the thinning out of the strobe model B can be performed so that the frames of the 3D strobe image thinned out by the thinning out of the strobe model B are distributed as uniformly as possible. Further, the thinning of the strobe model B can be performed so that, for example, in the 3D strobe image generated by using the strobe model B, there are as few frames as possible in which the same image is displayed.
  • strobe model # b1 for strobe section frames # b2 and # b3 and strobe section frames # b6 and # b7 In the series of 9 frames of strobe model # b1 + b5 and strobe model # b1 + b5 + b9, strobe model # b1 for strobe section frames # b2 and # b3, and strobe section frames # b6 and # b7.
  • the strobe model # b1 + b5 for is thinned out.
  • the strobe model B after thinning out will be a series of 5 frames of strobe model # b1, strobe model # b1, strobe model # b1 + b5, strobe model # b1 + b5, and strobe model # b1 + b5 + b9.
  • the strobe reproduction time of the strobe model B after thinning corresponds to the target reproduction time, which in turn corresponds to the strobe reproduction time of the strobe model A.
  • the strobe reproduction time of the strobe model A and the strobe reproduction time of the strobe model B are adjusted to match the target reproduction time, and the time is adjusted.
  • a synthetic strobe model is generated by synthesizing the combined strobe models A and B.
  • the generation of the synthetic strobe model by synthesizing the strobe models A and B after the time adjustment is performed by strobe model # a1, strobe model # a1, strobe model # a1 + a3, strobe model # a1 + a3, strobe model as strobe model A.
  • strobe model # a1 + b1, strobe model # a1 + b1, strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3) + (b1 + b3), strobe model # A series of 5 frames of (a1 + a3 + a5) + (b1 + b3 + b5) is generated as a synthetic strobe model in which strobe models A and B after time adjustment are combined.
  • FIG. 18 is a diagram illustrating another example of time adjustment of the strobe models A and B.
  • the strobe playback time (9 seconds) of the longer strobe model B is set as the target playback time.
  • the strobe playback time (9 seconds) of the strobe model B matches the target playback time (9 seconds), and the strobe playback time (5 seconds) of the strobe model A is shorter than the target playback time. Therefore, the strobe model A is interpolated (repeat) so that the strobe reproduction time of the strobe model A matches the target reproduction time.
  • Interpolation of the strobe model A can be performed so that the frames of the 3D strobe image interpolated by the interpolation of the strobe model A are distributed as uniformly as possible.
  • the strobe model # a1, the strobe model # a1, the strobe model # a1 + a3, the strobe model # a1 + a3, and the strobe model # a1 + a3 + a5 as the strobe model A have a series of five frames. Between the frame # a2 and the frame # a3 of the section, the strobe model # a1 for the immediately preceding frame # a2 is interpolated by two frames.
  • strobe model # a1 + a3 for the immediately preceding frame # a4 is interpolated by two frames between the frame # a4 and the frame # a5 in the strobe section.
  • the strobe model A after interpolation is strobe model # a1, strobe model # a1, strobe model # a1, strobe model # a1, strobe model # a1, strobe model # a1 + a3, strobe model # a1 + a3, strobe model # a1 + a3, strobe model. It is a series of 9 frames of model # a1 + a3 and strobe model # a1 + a3 + a5.
  • the strobe reproduction time of the strobe model A after interpolation corresponds to the target reproduction time, and thus corresponds to the strobe reproduction time of the strobe model B.
  • the compositing unit 43 adjusts the strobe reproduction time of the strobe model A and the strobe reproduction time of the strobe model B to match the target reproduction time by interpolating the strobe model A, and the time is adjusted.
  • a synthetic strobe model is generated by synthesizing the combined strobe models A and B.
  • strobe model # a1 The generation of a synthetic strobe model that combines the strobe models A and B after time adjustment is performed by strobe model # a1, strobe model # a1, strobe model # a1, strobe model # a1, strobe model # as strobe model A after interpolation.
  • strobe model # a1 + b1, strobe model # a1 + b1, strobe model # a1 + b1, strobe model # a1 + b1, strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3) + (b1 + b3), strobe model # (a1 + a3 + a5) ) + (B1 + b3 + b5) for 9 frames is generated as a synthetic strobe model that combines the strobe models A and B after time adjustment.
  • the strobe model interpolation can be performed using the free viewpoint data of frames other than the generated frame, if any.
  • the interpolation between the strobe model # a1 and the strobe model # a1 + a3 is not performed by the strobe model # a1 if there is free viewpoint data of the frame # a2. It can be done by strobe model # a1 + a2.
  • the strobe playback time of the strobe model can be adjusted to match the target playback time longer than the strobe playback time, not only the strobe model can be interpolated but also the strobe model can be thinned out.
  • the strobe model # a1, strobe model # a1, and strobe model as the strobe model A are used.
  • the strobe model # a1 for the strobe section frame # a2 is thinned out and replaced with the strobe model # a1. It is possible to interpolate the strobe model # a1 + a2 for 3 frames.
  • FIG. 19 is a diagram illustrating the generation of a synthetic strobe model in which the strobe models A and B are time-matched.
  • the strobe reproduction time D1 of the strobe model A and the strobe reproduction time D2 of the strobe model B are different.
  • the strobe reproduction time of the strobe model A and the strobe reproduction time of the strobe model B can be adjusted to match the target reproduction time D3.
  • the strobe reproduction time D1 of the strobe model A and the strobe reproduction time D2 of the strobe model B are time-adjusted to match a predetermined target reproduction time D3, and the strobe models A and B after the time adjustment are adjusted.
  • a synthesized synthetic strobe model has been generated.
  • Time adjustment is performed by interpolation and / or thinning of one or both of strobe models A and B.
  • the time adjustment can be performed by interpolation, thinning, or both interpolation and thinning of the strobe model A. Further, the time adjustment can be performed by interpolation, thinning, or both interpolation and thinning of the strobe model B. Further, the time adjustment is performed by a combination of either interpolation, thinning, or interpolation and thinning of strobe model A and interpolation, thinning, or both interpolation and thinning of strobe model B. Can be done.
  • FIG. 20 is a flowchart illustrating an example of processing for setting the time adjustment for the strobe model A.
  • step S111 the synthesis unit 43 determines whether the strobe reproduction time D1 of the strobe model A is smaller than the target reproduction time D3.
  • step S111 If it is determined in step S111 that the strobe reproduction time D1 of the strobe model A is smaller than the target reproduction time D3, the process proceeds to step S112.
  • step S112 the synthesis unit 43 sets, for example, to perform time adjustment by interpolation of the strobe model A so that the strobe reproduction time D1 of the strobe model A matches the target reproduction time D3, and the process ends. ..
  • the strobe model A has a strobe reproduction time D1 that matches the target reproduction time D3 when a synthetic strobe that combines the strobe models A and B is generated. Interpolation is done.
  • step S111 if it is determined in step S111 that the strobe reproduction time D1 of the strobe model A is not smaller than the target reproduction time D3, the process proceeds to step S113.
  • step S113 the synthesis unit 43 determines whether the strobe reproduction time D1 of the strobe model A is larger than the target reproduction time D3.
  • step S113 If it is determined in step S113 that the strobe reproduction time D1 of the strobe model A is larger than the target reproduction time D3, the process proceeds to step S114.
  • step S114 the synthesis unit 43 sets, for example, to perform time adjustment by thinning out the strobe model A so that the strobe reproduction time D1 of the strobe model A matches the target reproduction time D3, and the process ends. ..
  • the strobe model A strobe model A has a strobe reproduction time D1 that matches the target reproduction time D3 when a synthetic strobe that combines the strobe models A and B is generated. Thinning is done.
  • step S113 when it is determined that the strobe reproduction time D1 of the strobe model A is not larger than the target reproduction time D3, that is, when the strobe reproduction time D1 of the strobe model A matches the target reproduction time D3.
  • the process proceeds to step S115.
  • step S115 the synthesis unit 43 sets that the time adjustment of the strobe model A is unnecessary, and the process ends.
  • the time adjustment of the strobe model A is not performed when the synthetic strobe in which the strobe models A and B are combined is generated.
  • the time adjustment setting process is performed for the strobe model A, but the time adjustment setting process is also performed for the strobe model B.
  • FIG. 21 is a diagram illustrating an example of alignment of the strobe model.
  • the positions of the 3D models of the strobe models A and B are determined.
  • a synthetic strobe model in which strobe models A and B are combined is generated while maintaining the same state, the 3D model of strobe model A and the 3D model of strobe model B are arranged at distant positions in the synthetic strobe model and compared. It can be difficult to do.
  • the generation of the synthetic strobe model it is possible to perform alignment in which one or both of the strobe models A and B are arranged at a predetermined target position in the three-dimensional space.
  • the position of the 3D model of the strobe model B is set as the target position, and the 3D model of the strobe model A is placed at the target position.
  • the 3D model of the strobe model A and the strobe model B are aligned.
  • a part of the 3D model of is overlapped (overlapping).
  • FIG. 22 is a diagram illustrating an example of display control based on the position of the 3D model of the synthetic strobe model.
  • the distance between the 3D models of the strobe model A and the distance between the 3D models of the strobe model B may differ greatly depending on the moving speed of the target object.
  • the strobe model A generated with the ball as the target object
  • the strobe model B generated with the ball as the target object, the ball as the target object
  • the spacing between 3D models can vary significantly.
  • display control can be performed based on the position of the 3D model.
  • the display control In the display control based on the position of the 3D model, the display control is placed at a position that matches the position (hereinafter, also referred to as a designated position) set by some method such as user operation in the 3D model of the synthetic strobe model. Display control is performed so that only the 3D model is displayed or hidden in the 3D strobe image.
  • the position conforming to the designated position means, for example, a position matching the designated position or a position within a predetermined distance from the designated position.
  • the position in the depth direction is set to the designated positions d1 and d2 in the synthetic strobe model.
  • the designated position for example, the position of the 3D model of one of the strobe models A and B to be synthesized can be adopted.
  • the designated position in addition to all positions in the three directions of xyz, only the position in one or two directions out of the three directions of xyz can be specified.
  • both the alignment of the strobe model of FIG. 21 and the display control based on the position of the 3D model of FIG. 22 can be applied.
  • FIG. 23 is a diagram illustrating an example of displaying a 3D strobe image to which the alignment of the strobe model and the display control based on the position of the 3D model are applied.
  • the 3D models of the strobe models A and B are moved closer to each other as shown in FIG. In addition to displaying, only 3D models close to the specified position can be displayed.
  • the strobe model alignment and display control based on the position of the 3D model even if the 3D model of the strobe model A and the 3D model of the strobe model B are separated, the 3D models of the strobe models A and B are supported. It is possible to make it easier to compare the target objects.
  • FIG. 24 is a diagram illustrating an example of overlapping display control.
  • the overlap display control can be performed, for example, when the 3D models of the strobe models A and B overlap each other in the synthetic strobe model.
  • the strobe when the target objects have (almost) the same shape and the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B draw almost the same trajectory, the strobe If the arrangement position of the 3D model of the model A and the arrangement position of the 3D model of the strobe model B are (almost) the same, in the synthetic strobe model in which the strobe models A and B are combined, the 3D model of the strobe model A is used.
  • the arrangement of the strobe model B and the arrangement of the 3D model of the strobe model B may almost overlap, making it difficult to understand the difference.
  • one or both of the strobe models A and B are moved (arranged) and displayed at a position where the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B do not overlap.
  • Overlapping display control can be performed.
  • the overlap display control in which one or both of the strobe models A and B is moved to a position where the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B do not overlap is also referred to as a separation display control.
  • the strobe model A of the scene where the first jump was shot and the second jump are shot.
  • the separation display control when generating a synthetic strobe model that combines the strobe model B of the scene that was created, there is no overlap of figure skater between the first jump and the second jump in 3D.
  • a strobe image can be displayed, and it is possible to easily compare the first jump with the second jump.
  • one of the strobe models A and B is moved in a direction in which the amount of movement is as small as possible, and the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B are arranged. It can be prevented from overlapping.
  • FIG. 25 is a diagram illustrating an example of separation display control.
  • a vector (hereinafter, also referred to as a locus vector) that approximates the arrangement of the 3D models is generated.
  • a locus vector for example, a vector can be adopted in which the start point of the 3D model arrangement of the strobe model is the start point and the end point of the 3D model arrangement is the end point.
  • the outer product of the trajectory vector A of the strobe model A and the trajectory vector B of the strobe model B is calculated. Then, for example, one of the strobe models A and B is moved in the direction of the vector as the outer product of the locus vectors A and B. One of the strobe models is moved until there is no overlap between the banding box surrounding the 3D model of the strobe model A and the banding box surrounding the 3D model of the strobe model B.
  • the 3D model of the strobe model A is used.
  • the amount of movement of one strobe model is large so that the surrounding banding box and the banding box surrounding the 3D model of the strobe model B do not overlap.
  • the banding box surrounding the 3D model of the strobe model A and the 3D model of the strobe model B are used.
  • the amount of movement of one strobe model can be reduced so that it does not overlap with the surrounding banding box.
  • one strobe model can be moved until the 3D model of strobe model A and the 3D model of strobe model B do not overlap, instead of the banding box.
  • one of the strobe models is moved until the 3D model of strobe model A and the 3D model of strobe model B do not overlap, the virtual when generating a 3D strobe image using the synthetic strobe model is used.
  • a 3D strobe image may be obtained in which the 3D model of the strobe model A and the 3D model of the strobe model B appear to overlap.
  • the 3D model of the strobe model A is compared with the case where the 3D models do not overlap. , It is possible to suppress the acquisition of a 3D strobe image that appears as if a part of the strobe model B overlaps with the 3D model.
  • FIG. 26 is a diagram illustrating another example of overlapping display control.
  • the overlap display control in addition to the separation display control, in the synthetic strobe model, the part of one strobe model A and strobe model B in which the 3D models overlap each other does not overlap with the other strobe model is emphasized. It is possible to perform highlighting control for displaying.
  • the target objects have (almost) the same shape, and the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B are substantially the same.
  • a synthetic strobe model that combines the strobe models A and B. Then, the arrangement of the 3D models of the strobe model A and the arrangement of the 3D models of the strobe model B may almost overlap, and the difference may be difficult to understand.
  • highlighting control can be performed to highlight the part of one of the strobe models A and the strobe model B that does not overlap with the other strobe model.
  • Non-overlapping parts can be detected using, for example, the (three-dimensional) position information of the 3D model of the strobe model.
  • FIG. 27 is a diagram illustrating a specific example of highlighting control.
  • the highlighting control for example, one of the strobe model A and the strobe model B, for example, the strobe model A is used as the reference strobe model, and the strobe model B which is not the reference strobe model is combined with the strobe model A which is the reference strobe model. Boxels that do not overlap are detected as non-overlapping parts. Then, the highlighting control is set so that the non-overlapping portion is highlighted in the 3D strobe image.
  • the boxel that does not overlap with the strobe model A that is the reference strobe model uses, for example, the position information of the 3D model to determine whether the strobe model B overlaps with the strobe model A. Can be detected by performing the strobe model B in units of boxels.
  • the detection (and overlap determination) of voxels that do not overlap with the strobe model A is not performed in one voxel unit, but in a plurality of voxels such as two or four. It can be done in units.
  • the separation display control of the overlap display control for example, when the same figure skater makes two jumps of the same type at almost the same place on the skating rink, the first jump and 2 It is possible to display a 3D strobe image in which the figure skater does not overlap with the second jump, and it is possible to easily compare the first jump with the second jump.
  • the highlighting control of the overlapping display control for example, the first jump and the second jump when the same figure skater makes two jumps of the same type at almost the same place on the skating rink. A slight difference from the second jump can be easily confirmed.
  • the overlap display control can be performed not on the entire target object but on the parts obtained by dividing the target object as described in FIG.
  • FIG. 28 is a block diagram showing a configuration example of the synthesis unit 43 of FIG.
  • the synthesis unit 43 includes a time adjustment setting unit 111, an alignment setting unit 112, an overlap display control setting unit 113, a storage unit 114, and a synthesis strobe model generation unit 115.
  • time adjustment setting unit 111, the alignment setting unit 112, and the overlap display control setting unit 113 are not all provided in the synthesis unit 43, but only a part thereof can be provided. That is, one of the time adjustment setting unit 111, the alignment setting unit 112, and the overlap display control setting unit 113 can be provided in the synthesis unit 43, and the time adjustment setting unit 111 and the alignment setting unit 112 can be provided. , And two of the overlapping display control setting units 113 can be provided in the compositing unit 43.
  • the time adjustment setting unit 111 uses the strobe models A and B as synthesis targets stored in the storage unit 32 in response to the user's operation, that is, the operation signal supplied from the UI unit 35, and the strobe model A and Set the time adjustment of B (FIG. 19).
  • the time adjustment setting unit 111 uses information representing the time adjustment processing content determined by the time adjustment setting as the time adjustment setting information in the alignment setting unit 112, the overlap display control setting unit 113, and the storage unit 114. Supply.
  • the alignment setting unit 112 uses the strobe models A and B stored in the storage unit 32 and the time adjustment setting information from the time adjustment setting unit 111 in response to the operation signal or the like supplied from the UI unit 35. , Set the alignment of strobe models A and B after time adjustment.
  • the alignment setting unit 112 uses the strobe models A and B stored in the storage unit 32 and the time adjustment setting information from the time adjustment setting unit 111 to perform the time adjustment. Recognize B. Then, the alignment setting unit 112 sets the alignment (FIG. 21) of the strobe models A and B after the time adjustment according to the operation signal or the like supplied from the UI unit 35.
  • the alignment setting unit 112 sets the display control (FIG. 22) based on the position of the 3D model according to the operation signal or the like supplied from the UI unit 35.
  • the alignment setting unit 112 contains information including information representing the alignment processing content determined by the alignment setting and information representing the display control processing content determined by the display control setting based on the position of the 3D model. , The alignment setting information is supplied to the overlapping display control setting unit 113 and the storage unit 114.
  • the overlapping display control setting unit 113 receives strobe models A and B stored in the storage unit 32, time adjustment setting information from the time adjustment setting unit 111, and a position according to an operation signal or the like supplied from the UI unit 35. Using the alignment setting information from the alignment setting unit 112, the overlap display control (FIGS. 24 and 26) of the synthetic strobe model in which the strobe models A and B after the time adjustment and the alignment are combined is set.
  • the overlap display control setting unit 113 includes strobe models A and B stored in the storage unit 32, time adjustment setting information from the time adjustment setting unit 111, and alignment setting information from the alignment setting unit 112. Is used to recognize strobe models A and B that have been time-aligned and have been aligned. Then, the overlap display control setting unit 113 sets the overlap display control of the synthetic strobe model in which the strobe models A and B after the time adjustment and the alignment are combined according to the operation signal or the like supplied from the UI unit 35.
  • the overlap display control setting unit 113 sets the separation display control (FIG. 24) or the highlight display control (FIG. 26) according to the operation signal or the like supplied from the UI unit 35.
  • the overlap display control setting unit 113 supplies information representing the processing content of the overlap display control determined by the overlap display control setting to the storage unit 114 as the setting information of the overlap display control.
  • the storage unit 114 strobes the time adjustment setting information from the time adjustment setting unit 111, the alignment setting information from the alignment setting unit 112, and the overlap display control setting information from the overlap display control setting unit 113. Store as metadata for models A and B.
  • the synthetic strobe model generation unit 115 performs time adjustment and alignment using the strobe models A and B stored in the storage unit 32 and the setting information stored as metadata in the storage unit 114, and is a 3D model.
  • a synthetic strobe model in which strobe models A and B are combined and in which display control and overlapping display control are set based on the position of is generated.
  • the synthetic strobe model generation unit 115 supplies the synthetic strobe model to the free viewpoint image generation unit 41 and, if necessary, supplies the synthetic strobe model to the storage unit 32 for storage.
  • the synthetic strobe model stored in the storage unit 32 can then be used as a synthesis target.
  • FIG. 29 is a flowchart illustrating an example of processing for generating a synthetic strobe model performed by the synthesis unit 43.
  • step S121 the time adjustment setting unit 111, the alignment setting unit 112, the overlap display control setting unit 113, and the synthesis strobe model generation unit 115 of the synthesis unit 43 are strobe models as synthesis targets stored in the storage unit 32. Acquired by reading A and B, the process proceeds to step S122.
  • step S122 the time adjustment setting unit 111 sets the time adjustment of the strobe models A and B using the strobe models A and B acquired in step S121.
  • the time adjustment setting unit 111 uses information representing the time adjustment processing content determined by the time adjustment setting as the time adjustment setting information in the alignment setting unit 112, the overlap display control setting unit 113, and the storage unit 114. Supply.
  • the storage unit 114 stores the time adjustment setting information from the time adjustment setting unit 111, and the process proceeds from step S122 to step S123.
  • step S123 the alignment setting unit 112 uses the strobe models A and B acquired in step S121 and the time adjustment setting information from the time adjustment setting unit 111 to display the strobe models A and B after alignment. Set the alignment. Further, the alignment setting unit 112 sets the display control based on the position of the 3D model.
  • the alignment setting unit 112 contains information including information representing the alignment processing content determined by the alignment setting and information representing the display control processing content determined by the display control setting based on the position of the 3D model.
  • the alignment setting information is supplied to the overlapping display control setting unit 113 and the storage unit 114.
  • the storage unit 114 stores the alignment setting information from the alignment setting unit 112, and the process proceeds from step S123 to step S124.
  • step S124 the overlap display control setting unit 113 sets the strobe models A and B acquired in step S121, the time adjustment setting information from the time adjustment setting unit 111, and the alignment setting information from the alignment setting unit 112. Is used to set the overlap display control of the synthetic strobe model in which the strobe models A and B after the time adjustment and the alignment are combined.
  • the overlap display control setting unit 113 supplies information representing the processing content of the overlap display control determined by the overlap display control setting to the storage unit 114 as the setting information of the overlap display control.
  • the storage unit 114 stores the setting information of the overlap display control from the overlap display control setting unit 113, and the process proceeds from step S124 to step S125.
  • step S125 the synthetic strobe model generation unit 115 performs time adjustment and alignment using the strobe models A and B acquired in step S121 and the setting information stored in the storage unit 114, and performs time adjustment and alignment of the 3D model.
  • a synthetic strobe model in which strobe models A and B are combined with position-based display control and overlapping display control settings is generated.
  • the synthetic strobe model generation unit 115 supplies the synthetic strobe model to the free viewpoint image generation unit 41, and the process ends.
  • the free-viewpoint image generation unit 41 generates and displays a 3D strobe image as a free-viewpoint image viewed from the virtual viewpoint from the virtual viewpoint setting unit 42 (FIG. 3) by generating the composite strobe model from the composite strobe model generation unit 115. It is supplied to the unit 34 (FIG. 3). In the generation of the 3D strobe image, display control and overlapping display control based on the position of the 3D model set in the composite strobe model are performed.
  • the display unit 34 displays the 3D strobe image in which the display control and the overlap display control based on the position of the 3D model are performed when the composite strobe model in which the time adjustment and the alignment have been performed is viewed from a virtual viewpoint. ..
  • FIG. 30 is a flowchart illustrating an example of processing for setting the time adjustment in step S122 of FIG. 29.
  • step S131 the time adjustment setting unit 111 determines whether or not to perform time adjustment according to the operation signal supplied from the UI unit 35.
  • step S131 If it is determined in step S131 that the time adjustment is not performed, that is, if, for example, the user operates the UI unit 35 so as not to perform the time adjustment, the process proceeds to step S132.
  • step S132 the time adjustment setting unit 111 sets that time adjustment is unnecessary, and the process ends.
  • step S131 when it is determined in step S131 that the time is adjusted, that is, when, for example, the user operates the UI unit 35 so as to perform the time adjustment, the process proceeds to step S133.
  • step S133 the time adjustment setting unit 111 determines whether or not the user operates the UI unit 35 to specify the reproduction time for reproducing the synthetic strobe model.
  • step S133 If it is determined in step S133 that the user has specified the reproduction time for reproducing the synthetic strobe model, the process proceeds to step S134.
  • step S134 the time adjustment setting unit 111 sets the playback time specified by the user as the target playback time, and the process proceeds to step S137.
  • step S133 determines whether the user has not specified the reproduction time for reproducing the synthetic strobe model. If it is determined in step S133 that the user has not specified the reproduction time for reproducing the synthetic strobe model, the process proceeds to step S135.
  • step S135 the time adjustment setting unit 111 determines whether or not the user has selected one of the strobe models A and B to be synthesized by operating the UI unit 35.
  • step S135 If it is determined in step S135 that neither of the strobe models A and B has been selected, the process returns to step S133, and the same process is repeated thereafter.
  • step S135 If it is determined in step S135 that either the strobe model A or B has been selected by the user, the process proceeds to step S136.
  • step S136 the time adjustment setting unit 111 sets the strobe reproduction time of the strobe model determined to be selected in step S135 among the strobe models A and B as the target reproduction time, and the process is performed in step S137. move on.
  • step S137 the time adjustment setting unit 111 performs time adjustment for interpolating and / or thinning out one or both of the strobe models A and B so that the strobe reproduction time of the strobe models A and B matches the target reproduction time. Is set to be performed, and the process ends.
  • FIG. 31 is a flowchart illustrating an example of the process of setting the alignment in step S123 of FIG. 29.
  • step S151 the alignment setting unit 112 determines whether or not to perform alignment according to the operation signal supplied from the UI unit 35.
  • step S151 If it is determined in step S151 that the alignment is not performed, that is, if, for example, the user operates the UI unit 35 so as not to perform the alignment, the process proceeds to step S152.
  • step S152 the alignment setting unit 112 sets that alignment is not necessary, and the process proceeds to step S161 of FIG.
  • step S151 when it is determined in step S151 that the alignment is to be performed, that is, when, for example, the user operates the UI unit 35 so as to perform the alignment, the process proceeds to step S153.
  • step S153 the alignment setting unit 112 determines whether or not the user has specified a position in the three-dimensional space by operating the UI unit 35.
  • step S153 If it is determined in step S153 that the user has specified the position, the process proceeds to step S154.
  • step S154 the alignment setting unit 112 sets the position specified by the user as the target position, and the process proceeds to step S157.
  • step S153 If it is determined in step S153 that the user has not specified the position, the process proceeds to step S155.
  • step S155 the alignment setting unit 112 determines whether or not the user has selected one of the strobe models A and B to be synthesized by operating the UI unit 35.
  • step S155 If it is determined in step S155 that the user has not selected either of the strobe models A and B, the process returns to step S153, and the same process is repeated thereafter.
  • step S155 If it is determined in step S155 that either the strobe model A or B has been selected by the user, the process proceeds to step S156.
  • step S156 the alignment setting unit 112 sets the position of the strobe model determined to be selected in step S155 among the strobe models A and B to the target position, and the process proceeds to step S157.
  • step S157 the alignment setting unit 112 sets the alignment for arranging the strobe models A and B at the target positions, and the process proceeds to step S161 in FIG.
  • FIG. 32 is a flowchart following FIG. 31.
  • step S161 the alignment setting unit 112 determines whether to perform display control based on the position of the 3D model according to the operation signal supplied from the UI unit 35.
  • step S161 When it is determined in step S161 that the display control based on the position of the 3D model is not performed, that is, when the user operates the UI unit 35 so as not to perform the display control based on the position of the 3D model, for example.
  • the process proceeds to step S162.
  • step S162 the alignment setting unit 112 sets that display control based on the position of the 3D model is unnecessary, and the process ends.
  • step S161 when it is determined that the display control is performed based on the position of the 3D model, that is, when the user operates the UI unit 35 so as to perform the display control based on the position of the 3D model, for example.
  • the process proceeds to step S163.
  • step S163 the alignment setting unit 112 determines whether or not the user has specified a position (one or more) in the three-dimensional space by operating the UI unit 35.
  • step S163 If it is determined in step S163 that the user has specified the position, the process proceeds to step S164.
  • step S164 the alignment setting unit 112 sets the position designated by the user to the designated position, and the process proceeds to step S167.
  • step S163 If it is determined in step S163 that the user has not specified the position, the process proceeds to step S165.
  • step S165 the alignment setting unit 112 determines whether or not the user has selected one of the strobe models A and B to be synthesized by operating the UI unit 35.
  • step S165 If it is determined in step S165 that the user has not selected either of the strobe models A and B, the process returns to step S163, and the same process is repeated thereafter.
  • step S165 If it is determined in step S165 that the user has selected which of the strobe models A and B, the process proceeds to step S166.
  • step S166 the alignment setting unit 112 sets the position of each 3D model of the strobe model determined to be selected in step S165 among the strobe models A and B to the designated position, and the process is performed in step S167. Proceed to.
  • step S167 the alignment setting unit 112 performs a synthetic strobe model (a 3D strobe image generated using) that combines the strobe models A and B after time adjustment and alignment as display control based on the position of the 3D model.
  • a synthetic strobe model (a 3D strobe image generated using) that combines the strobe models A and B after time adjustment and alignment as display control based on the position of the 3D model.
  • it is set to display the 3D model at the position corresponding to the designated position and hide the other 3D model, and the process ends.
  • FIG. 33 is a flowchart illustrating an example of processing for setting the overlap display control in step S124 of FIG. 29.
  • step S180 the overlap display control setting unit 113 determines whether or not there is an overlapping portion where the 3D model of the strobe model A and the 3D model of the strobe model B overlap in the strobe models A and B after the time adjustment and the alignment. To do.
  • step S180 If it is determined in step S180 that there is no overlapping portion, the process proceeds to step S182.
  • step S182 the overlap display control setting unit 113 sets that the overlap display control is unnecessary, and the process ends.
  • step S180 If it is determined in step S180 that there is an overlapping portion, the process proceeds to step S181.
  • step S181 the overlap display control setting unit 113 determines whether or not the reference strobe model has been selected according to the operation signal supplied from the UI unit 35.
  • step S181 When it was determined in step S181 that the reference strobe model was not selected, that is, the user did not operate the UI unit 35 to select either strobe models A or B as the reference strobe model. If so, the process proceeds to step S182.
  • step S182 as described above, it is set that the overlap display control is unnecessary, and the process ends.
  • step S181 when it is determined that the reference strobe model has been selected, that is, when the user operates the UI unit 35 so as to select either the strobe models A or B as the reference strobe model. The process proceeds to step S183.
  • step S183 the overlap display control setting unit 113 determines whether or not the part of the target object corresponding to the 3D model of the strobe model (the other strobe model) that is not the reference strobe model of the strobe models A and B is selected. judge.
  • step S183 If it is determined in step S183 that the part has been selected, that is, if the user operates the UI unit 35 so as to select the part, the process proceeds to step S184.
  • step S184 the overlap display control setting unit 113 sets the part selected by the user as the target part of the overlap display control, and the process proceeds to step S185.
  • step S183 If it is determined in step S183 that no part has been selected, the process skips step S184 and proceeds to step S185.
  • step S185 the overlap display control setting unit 113 determines whether or not to perform the separation display control.
  • step S185 If it is determined in step S185 that the separation display control is to be performed, that is, if the user operates the UI unit 35 so as to perform the separation display control, the process proceeds to step S186.
  • step S186 the overlap display control setting unit 113 detects the overlap with the reference strobe model for the other strobe model of the strobe models A and B that is not the reference strobe model, and the process proceeds to step S187.
  • step S186 the overlap of the target part of the other strobe model with the reference strobe model is detected.
  • step S187 the overlap display control setting unit 113 of the reference strobe model and the other strobe model (strobe models A and B) until the other strobe model does not overlap with the reference strobe model detected in step S186. It is set to perform the separation display control that moves in the direction of the outer product of the locus vector, and the process ends.
  • step S185 if it is determined in step S185 that the separation display control is not performed, that is, if the user does not operate the UI unit 35 so as to perform the separation display control, the process proceeds to step S188.
  • step S188 the overlap display control setting unit 113 determines whether or not to perform highlighting control.
  • step S188 if it is determined that the highlighting control is not performed, that is, if the user does not operate the UI unit 35 so as to perform the highlighting control, the process ends.
  • step S188 when it is determined that the highlighting control is performed, that is, when the user operates the UI unit 35 so as to perform the highlighting control, the process proceeds to step S189.
  • step S189 the overlap display control setting unit 113 detects a non-overlapping portion of the strobe models A and B that is not the reference strobe model and does not overlap with the reference strobe model, and the process proceeds to step S190. ..
  • step S189 non-overlapping non-overlapping parts of the reference strobe model are detected for the target parts of the other strobe model.
  • step S190 the overlap display control setting unit 113 sets to perform highlighting control for highlighting the non-overlapping portion, and the process ends.
  • the series of processes of the display control unit 33 described above can be performed by hardware or software.
  • the programs constituting the software are installed on a general-purpose computer or the like.
  • FIG. 34 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a composite strobe model that combines a first strobe model and a second strobe model in which 3D models of objects at multiple times generated from multiple viewpoint images taken from multiple viewpoints are arranged in a three-dimensional space. Equipped with a display control unit that displays 3D strobe images taken with a virtual camera
  • the strobe reproduction time of the 3D strobe image generated by using the first strobe model and the strobe reproduction time of the 3D strobe image generated by using the second strobe model are predetermined.
  • a display control device which is a strobe model in which one or both of the first strobe model and the second strobe model are interpolated and / or timed by thinning out so as to match the target playback time of the above.
  • the target playback time is the strobe playback time of one of the first strobe model and the second strobe model.
  • the synthetic strobe model is a strobe model in which one or both of the first strobe model and the second strobe model are arranged at predetermined target positions in the three-dimensional space.
  • ⁇ 4> The display control device according to ⁇ 3>, wherein the target position is the position of the 3D model of one of the first strobe model and the second strobe model.
  • ⁇ 5> The display control device according to any one of ⁇ 1> to ⁇ 4>, wherein the display control unit displays the 3D model at a position suitable for a predetermined designated position in the synthetic strobe model in the 3D strobe image.
  • ⁇ 6> The display control device according to ⁇ 5>, wherein the designated position is the position of the 3D model of one of the first strobe model and the second strobe model.
  • the display control unit highlights in the 3D strobe image a portion of one strobe model of the first strobe model and the second strobe model of the synthetic strobe model that does not overlap with the other strobe model.
  • the display control device according to any one of ⁇ 1> to ⁇ 6>.
  • ⁇ 8> The display control device according to ⁇ 7>, wherein the display control unit detects a portion of the one strobe model that does not overlap with the other strobe model in units of a plurality of voxels.
  • the synthetic strobe model includes one or both of the first strobe model and the second strobe model as a sequence of 3D models of the first strobe model and a sequence of 3D models of the second strobe model.
  • the display control device according to ⁇ 1> which is a strobe model in which the strobe models are moved to positions where they do not overlap.
  • the synthetic strobe model is the first strobe model and the second strobe in the direction of the outer product of the trajectory vectors that approximate the arrangement of the 3D models of the first strobe model and the second strobe model, respectively.
  • the display control device according to ⁇ 9> which is a strobe model in which one of the strobe models of the model is moved.
  • a composite strobe model that combines a first strobe model and a second strobe model in which 3D models of objects at multiple times generated from multiple viewpoint images taken from multiple viewpoints are arranged in a three-dimensional space.
  • the strobe reproduction time of the 3D strobe image generated by using the first strobe model and the strobe reproduction time of the 3D strobe image generated by using the second strobe model are predetermined.
  • a display control method which is a strobe model in which one or both of the first strobe model and the second strobe model are interpolated and / or timed by thinning out so as to match the target playback time of the above.
  • a composite strobe model that combines a first strobe model and a second strobe model in which 3D models of objects at multiple times generated from multiple viewpoint images taken from multiple viewpoints are arranged in a three-dimensional space.
  • the strobe reproduction time of the 3D strobe image generated by using the first strobe model and the strobe reproduction time of the 3D strobe image generated by using the second strobe model are predetermined.
  • a computer as a display control device, which is a strobe model in which one or both of the first strobe model and the second strobe model are interpolated and / or time-adjusted by thinning out so as to match the target playback time of the above.
  • 11 shooting device 12 content server, 13 playback device, 21 free viewpoint data generation unit, 22 strobe model generation unit, 23 storage unit, 24, 31 communication unit, 32 storage unit, 33 display control unit, 34 display unit, 35 UI Unit, 41 free viewpoint image generation unit, 42 virtual viewpoint setting unit, 43 composition unit, 111 time adjustment setting unit, 112 alignment setting unit, 113 overlap display control setting unit, 114 storage unit, 115 composite strobe model generation unit, 901 Bus, 902 CPU, 903 ROM, 904 RAM, 905 hard disk, 906 output unit, 907 input unit, 908 communication unit, 909 drive, 910 input / output interface, 911 removable recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、オブジェクトの比較をしやすくすることができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。 複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像が表示される。合成ストロボモデルは、第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、第１のストロボモデル及び第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルになっている。本技術は、ストロボ画像の表示に適用することができる。

Description

表示制御装置、表示制御方法、及び、プログラム
　本技術は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、自由視点画像に映るオブジェクトの比較をしやすくする表示制御装置、表示制御方法、及び、プログラムに関する。
　複数の時刻に撮影されたオブジェクト（被写体）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻のオブジェクトが映るので、オブジェクトの動きや軌跡を、容易に把握することができる。
特開2007-259477号公報
　近年、仮想視点から3次元空間を見たときの見え方が再現された自由視点画像が注目されている。自由視点画像については、自由視点画像に映るオブジェクトの比較をしやすくすることができれば便利である。
　本技術は、このような状況に鑑みてなされたものであり、オブジェクトの比較をしやすくすることができるようにするものである。
　本技術の表示制御装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させる表示制御部を備え、前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムである。
　本技術の表示制御方法は、複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させることを含み、前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである表示制御方法である。
　本技術においては、複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像が表示される。前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルになっている。
　なお、表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 コンテンツサーバ１２の構成例を示すブロック図である。 再生装置１３の構成例を示すブロック図である。 コンテンツサーバ１２が行う処理の例を説明するフローチャートである。 再生装置１３が行う処理の例を説明するフローチャートである。 不自然な3Dストロボ画像の例を示す図である。 自然な3Dストロボ画像の例を示す図である。 ストロボ区間の視点画像のフレームの例を示す図である。 ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。 仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。 ストロボモデルを用いて生成される動画の3Dストロボ画像の再生を説明する図である。 3Dストロボ画像の例を示す図である。 合成ストロボモデルの用途の例を説明する図である。 3Dストロボ画像の再生の例を説明する図である。 あるストロボ区間Ａのフレームから生成される3Dストロボ画像の再生の例を説明する図である。 ストロボ区間Ａとは異なるストロボ区間Ｂのフレームから生成される3Dストロボ画像の再生の例を説明する図である。 ストロボモデルＡ及びＢの時間合わせの例を説明する図である。 ストロボモデルＡ及びＢの時間合わせの他の例を説明する図である。 ストロボモデルＡ及びＢの時間合わせが行われた合成ストロボモデルの生成を説明する図である。 ストロボモデルＡを対象とする時間合わせの設定の処理の例を説明するフローチャートである。 ストロボモデルの位置合わせの例を説明する図である。 合成ストロボモデルの3Dモデルの位置に基づく表示制御の例を説明する図である。 ストロボモデルの位置合わせと、3Dモデルの位置に基づく表示制御とを適用した3Dストロボ画像の表示の例を説明する図である。 重なり表示制御の例を説明する図である。 離間表示制御の例を説明する図である。 重なり表示制御の他の例を説明する図である。 強調表示制御の具体例を説明する図である。 合成部４３の構成例を示すブロック図である。 合成部４３が行う合成ストロボモデルの生成の処理の例を説明するフローチャートである。 ステップＳ１２２の時間合わせの設定の処理の例を説明するフローチャートである。 ステップＳ１２３の位置合わせの設定の処理の例を説明するフローチャートである。 図３１に続くフローチャートである。 ステップＳ１２４の重なり表示制御の設定の処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した画像処理システムの一実施の形態＞
　図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図１の画像処理システムでは、実写の画像から生成された自由視点データを用いて、所定の視点から3次元空間のオブジェクト（被写体）を見たときに見える画像、すなわち、所定の視点からオブジェクトを見たときの視線方向に垂直な投影面に、自由視点データにより表現される3次元空間内のビューイングボリュームを投影して得られる2D画像が生成されて表示される。この2D画像は、視点を自由に決めて生成することができるので、自由視点画像と呼ぶことができる。自由視点画像の生成にあたって必要となる視点（視線方向を含む）は、ユーザの実際の視点に関係なく仮想的に設定することができるので、かかる視点を、仮想視点ともいう。
　自由視点データの動画コンテンツは、2D画像の動画コンテンツと同様に、時間方向の自由度を有する他に、仮想視点、すなわち、自由視点データ（によって表現される3次元空間）を撮影する仮想カメラの撮影位置及び撮影姿勢（撮影方向）の自由度を有する。仮想カメラの撮影位置は、例えば、ワールド座標系としてのxyz座標系の座標等で表すことができ、仮想カメラの撮影姿勢は、ワールド座標系の各軸回りの回転角等で表すことができる。仮想カメラの撮影位置については、x軸、y軸、及び、z軸の方向への移動が可能であり、仮想カメラの撮影姿勢については、x軸、y軸、及び、z軸回りの回転が可能であるから、仮想カメラの撮影位置及び撮影姿勢には、6DoF(Degree of Freedom)の自由度がある。したがって、自由視点データについては、時間方向の１の自由度と、仮想カメラの撮影位置及び撮影姿勢（仮想視点）の６の自由度との、合計で７の自由度がある。ここで、仮想視点に対する投影面に、自由視点データ（により表現される3次元空間内のビューイングボリューム）を投影することにより生成される自由視点画像としては、あたかも、仮想視点から、仮想的なカメラで、自由視点データの撮影を行ったかのような2D画像を得ることができる。したがって、仮想視点に対する投影面に、自由視点データを投影することは、仮想視点から、仮想的なカメラで、自由視点データ（により表現される3次元空間）を撮影することに相当する、ということができる。すなわち、仮想視点に対する投影面に、自由視点データを投影して、自由視点画像を生成することは、仮想視点に配置された仮想的なカメラで、自由視点データを撮影することに例えることができる。そこで、本実施の形態では、自由視点画像の生成を、仮想的なカメラでの自由視点データの撮影に例えて、適宜、説明を行う。また、自由視点データを撮影する仮想的なカメラを、仮想カメラともいう。
　図１の画像処理システムは、撮影装置１１、コンテンツサーバ１２、及び、再生装置１３を有する。
　撮影装置１１は、少なくとも複数のカメラで構成され、複数の視点から、オブジェクトの撮影を行う。例えば、撮影装置１１を構成する複数のカメラは、オブジェクトを囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、オブジェクトを撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（の動画）は、フレーム単位で、撮影装置１１からコンテンツサーバ１２に供給される。
　ここで、撮影装置１１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、オブジェクトまでの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影装置１１からコンテンツサーバ１２に供給される。
　なお、撮影装置１１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの2視点の視点画像を用いて、三角測量の原理により、オブジェクトまでの距離を測定し、デプス画像を生成することができる。
　コンテンツサーバ１２は、例えば、webサーバやクラウド上のサーバである。コンテンツサーバ１２は、例えば、撮影装置１１から供給される複数の視点の視点画像等を用いて、自由視点データの動画コンテンツを生成する。さらに、コンテンツサーバ１２は、自由視点データを用いて、撮影装置１１で撮影された3次元空間（の3Dモデル）に、視点画像の複数のフレーム（時刻）の同一のオブジェクトの3Dモデルが配置されたストロボモデルを生成する。コンテンツサーバ１２は、再生装置１３からの要求に応じて、自由視点データの動画コンテンツや、ストロボモデル（のファイル）を、再生装置１３に送信する。なお、ストロボモデルは、自由視点データであるが、本実施の形態では、適宜、自由視点データと分けて説明を行う。
　再生装置１３は、例えば、PC(Personal Computer)や、TV（テレビジョン受像機）、スマートフォン等の携帯端末等のクライアントである。再生装置１３は、コンテンツサーバ１２に対して、自由視点データの動画コンテンツや、ストロボモデルを要求して取得する。さらに、再生装置１３は、ストロボモデルを仮想視点から見た3Dストロボ画像や、自由視点データを仮想視点から見た自由視点画像を生成して表示させる。なお、3Dストロボ画像は、自由視点画像であるが、未実施の形態では、適宜、自由視点画像と分けて説明を行う。
　ここで、コンテンツサーバ１２及び再生装置１３は、図１に示したように、それぞれを別個の装置として構成することもできるし、全体を1個の装置（例えば、PC(Personal Computer)等）として構成することもできる。
＜コンテンツサーバ１２の構成例＞
　図２は、図１のコンテンツサーバ１２の構成例を示すブロック図である。
　コンテンツサーバ１２は、自由視点データ生成部２１、ストロボモデル生成部２２、記憶部２３、及び、通信部２４を有する。
　自由視点データ生成部２１は、撮影装置１１からの複数の視点の視点画像を用いるとともにデプス画像を必要に応じて用いて、自由視点データを、フレーム単位で生成することにより、自由視点データの動画コンテンツを生成する。
　ここでは、自由視点データとは、広く、自由視点画像を生成することができる3D画像のデータ（3Dデータ）を意味する。自由視点データとしては、例えば、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、自由視点データとしては、その他、例えば、3次元の形状の情報である3D形状モデルと色の情報とを有する3Dデータや、複数の視点の2D画像とデプス画像とのセットを採用することができる。
　自由視点データとして、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、自由視点データ生成部２１は、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま、自由視点データとする。
　自由視点データとして、3D形状モデルと色の情報とを有する3Dデータを採用する場合、自由視点データ生成部２１は、撮影装置１１からの複数の視点の視点画像を用いて、Visual Hull等によりモデリングを行って、視点画像に映るオブジェクトの3D形状モデル等を生成し、テクスチャとなる複数の視点の視点画像とともに、自由視点データとする。
　自由視点データとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、自由視点データ生成部２１は、例えば、上述したように、3D形状モデルと色の情報とを有する3Dデータを生成し、その3Dデータを、複数の視点（撮影装置１１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを、自由視点データとして生成する。
　自由視点データ生成部２１は、以上のようにして、自由視点データの動画コンテンツを生成し、ストロボモデル生成部２２、及び、記憶部２３に供給する。
　なお、自由視点データとしては、3D形状モデルを有する3Dデータよりも、複数の視点の2D画像とデプス画像とのセットを採用することにより、自由視点データのデータ量を少なくすることができる。自由視点データとして、複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。自由視点データとしての複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。
　ここで、自由視点データ（の表現形式）には、View Independentと呼ばれる3Dモデル（以下、VIモデルともいう）と、View Dependentと呼ばれる3Dモデル（以下、VDモデルともいう）とがある。
　VDモデルは、例えば、3D形状モデル等の3次元の形状に関する情報と、テクスチャとなる画像の情報とが別になっている3Dデータである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なるオブジェクトの表面の反射の具合等を表現することができる。VDモデルは、見えが視点に依存するので、View Dependentと呼ばれる。
　VIモデルは、例えば、3次元の形状に関する情報の構成要素としてのポリゴンや点が、色の情報を有している3Dデータ等である。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。VIモデルは、見えが視点に依存しないので、View Independentと呼ばれる。
　ストロボモデル生成部２２は、自由視点データ生成部２１からの自由視点データを用い、視点画像に映る3次元空間（の3Dモデル）に、視点画像の複数のフレーム（異なる時刻）の同一のオブジェクトの自由視点データである3Dモデルが配置されたストロボモデルを生成する。
　すなわち、ストロボモデル生成部２２は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間のフレームから、ストロボモデルの生成に用いるフレーム（以下、生成フレームともいう）を選択する。さらに、ストロボモデル生成部２２は、生成フレームに映るオブジェクトのうちの１以上のオブジェクトを、ストロボモデルに3Dモデルを配置する対象のオブジェクト（以下、対象オブジェクトともいう）に設定する。そして、ストロボモデル生成部２２は、生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成し、記憶部２３に供給する。
　なお、ストロボモデル生成部２２では、例えば、生成フレームに映る、動いているオブジェクトのすべてを、対象オブジェクトに設定することができる。また、ストロボモデル生成部２２では、例えば、生成フレームに映る、動いているオブジェクトのうちの、再生装置１３のユーザによって指定されたオブジェクトを、対象オブジェクトに設定することができる。
　さらに、ストロボモデル生成部２２では、ストロボモデルに、そのストロボモデルの生成に用いられたストロボ区間のフレーム、又は、生成フレームの自由視点データを付随させることができる。すなわち、例えば、ストロボモデルのファイルの中には、そのストロボモデルの生成に用いられたストロボ区間のフレーム、又は、生成フレームの自由視点データを含めることができる。本実施の形態では、ストロボモデルには、そのストロボモデルの生成に用いられた（ストロボ区間のフレーム、又は、生成フレームの）自由視点データが付随することとする。
　記憶部２３は、自由視点データ生成部２１からの自由視点データの動画コンテンツや、ストロボモデル生成部２２からのストロボモデルを記憶する。
　通信部２４は、再生装置１３との間で通信を行う。通信部２４は、例えば、再生装置１３からの要求に応じて、記憶部２３に記憶された自由視点データの動画コンテンツやストロボモデルを、再生装置１３に送信する。
　なお、自由視点データ生成部２１やストロボモデル生成部２２は、再生装置１３に設けることができる。
　＜再生装置１３の構成例＞
　図３は、図１の再生装置１３の構成例を示すブロック図である。
　再生装置１３は、通信部３１、記憶部３２、表示制御部３３、表示部３４、及び、UI(User Interface)部３５を有する。
　通信部３１は、コンテンツサーバ１２との間で通信を行う。通信部３１は、例えば、UI部３５の操作に応じて、自由視点データの動画コンテンツやストロボモデルの要求を送信する。また、通信部３１は、その要求に応じて、コンテンツサーバ１２から送信されてくる自由視点データの動画コンテンツやストロボモデルを受信し、記憶部３２に供給する。
　記憶部３２は、通信部３１からの自由視点データの動画コンテンツやストロボモデルを記憶する。また、記憶部３２は、表示制御部３３から供給されるストロボモデル（合成ストロボモデル）を記憶する。
　表示制御部３３は、記憶部３２に記憶された自由視点データ（によって表現される3次元空間）を、仮想視点から見た2D画像を、自由視点画像（のデータ）として生成し、表示部３４に表示させる表示制御を行う。
　また、表示制御部３３は、記憶部３２に記憶されたストロボモデルを仮想視点から見た2D画像である3Dストロボ画像（3DのCG(Computer Graphics)）を、自由視点画像として生成し、表示部３４に表示させる表示制御を行う。
　さらに、表示制御部３３は、記憶部３２に記憶された複数のストロボモデルを合成した合成ストロボモデルを生成する。そして、表示制御部３３は、合成ストロボモデルを仮想視点から見た（仮想カメラで撮影した）3Dストロボ画像を、自由視点画像として生成し、表示部３４に表示させる表示制御を行う。
　表示制御部３３は、自由視点画像生成部４１、仮想視点設定部４２、及び、合成部４３を有する。
　自由視点画像生成部４１は、記憶部３２に記憶された自由視点データ（によって表現される3次元空間）を、仮想視点設定部４２から供給される仮想視点から見た2D画像（仮想視点に位置する仮想カメラで撮影することにより得られる2D画像）（左目用の2D画像及び右目用の2D画像のセットを含む）等を、自由視点画像として生成（レンダリング）し、表示部３４に供給する。
　また、自由視点画像生成部４１は、記憶部３２に記憶されたストロボモデルや、合成部４３から供給される合成ストロボモデルを仮想視点設定部４２からの仮想視点から見た2D画像である3Dストロボ画像を、自由視点画像として生成し、表示部３４に供給する。
　ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一のオブジェクト（像）が映る画像である。2D画像に映るオブジェクトが映るストロボ画像を、2Dストロボ画像ともいい、オブジェクトの3Dモデルが映る2D画像、すなわち、ストロボモデルを所定の視点から見た2D画像を、3Dストロボ画像ともいう。自由視点画像生成部４１では、3Dストロボ画像が生成される。
　仮想視点設定部４２は、仮想カメラによりストロボモデルを撮影するときの仮想カメラの撮影位置及び撮影姿勢、すなわち、仮想視点を設定し、自由視点画像生成部４１に供給する。仮想視点は、例えば、ユーザの操作に応じて設定することができる。ユーザの操作には、ユーザによるUI部３５の操作の他、ユーザの状態（位置及び姿勢）やジェスチャが含まれる。ユーザの状態は、例えば、表示部３４がヘッドマウントディスプレイで構成される場合には、そのヘッドマウントディスプレイにおいて検出することができる。
　合成部４３は、記憶部３２に記憶された複数のストロボモデルを合成した合成ストロボモデルを生成し、記憶部３２及び自由視点画像生成部４１に供給する。
　合成部４３では、２個以上のストロボモデルを合成することができるが、以下では、説明を簡単にするため、第１のストロボモデルと第２のストロボモデルとの２個のストロボモデルを合成対象として、その２個のストロボモデルを合成した合成ストロボモデルを生成することとする。合成対象とする２個のストロボモデルを、以下、ストロボモデルＡ及びＢとも表現する。
　なお、３個以上のストロボモデルの合成は、例えば、その３個以上のストロボモデルのうちの２個のストロボモデルの合成を行い、その合成により得られる合成ストロボモデルと、まだ合成が行われていない１個のストロボモデルとの合成を行うことを繰り返すことにより行うことができる。
　合成部４３では、記憶部３２に記憶された合成ストロボモデルを、第１のストロボモデル又は第２のストロボモデルとして用いて、新たな合成ストロボモデルを生成することができる。
　ここで、ストロボモデルを用いて生成される3Dストロボ画像が表示される時間を、ストロボ再生時間ということとする。ストロボ再生時間は、デフォルトでは、例えば、ストロボ区間の時間に等しい。
　合成ストロボモデルの生成では、ストロボモデルＡのストロボ再生時間と、ストロボモデルＢのストロボ再生時間とが、所定の目標とするストロボ再生時間（以下、目標再生時間ともいう）に一致するように、ストロボモデルＡ及びＢの一方又は両方の補間及び／又は間引きによる時間合わせが行われた合成ストロボモデルを生成することができる。
　さらに、合成ストロボモデルの生成では、ストロボモデルＡ及びＢの一方又は両方を3次元空間内の所定の位置に配置する位置合わせが行われた合成ストロボモデルを生成することができる。
　また、合成ストロボモデルの生成では、合成ストロボモデルにおける、ストロボモデルＡ及びＢそれぞれの3Dモデルどうしの重なりに対処する重なり表示制御が行われる合成ストロボモデルを生成することができる。
　時間合わせ、位置合わせ、及び、重なり表示制御の詳細については、後述する。
　合成対象となるストロボモデルＡ及びＢとしては、同一又は異なる時間軸上の、同一又は異なるオブジェクトのストロボモデルがある。
　すなわち、合成対象となるストロボモデルＡ及びＢとしては、第１に、同一の時間軸上の同一のオブジェクトの、異なる時間（帯）のストロボモデルがある。合成対象となるストロボモデルＡ及びＢとしては、第２に、同一の時間軸上の異なるオブジェクトの、同一又は異なる時間のストロボモデルがある。合成対象となるストロボモデルＡ及びＢとしては、第３に、異なる時間軸上の同一のオブジェクトのストロボモデルがある。合成対象となるストロボモデルＡ及びＢとしては、第４に、異なる時間軸上の異なるオブジェクトのストロボモデルがある。
　同一の時間軸とは、例えば、ある動画コンテンツの時間軸を意味し、異なる時間軸とは、例えば、異なる２つの動画コンテンツのそれぞれの時間軸を意味する。
　例えば、オブジェクト#1を撮影した動画コンテンツ#1において、その動画コンテンツ#1のオブジェクト#1が映る異なる２つの時間帯のストロボモデルを、合成対象とすることができる。
　また、例えば、異なるオブジェクト#1及び#2を撮影した動画コンテンツ#１において、オブジェクト#1が映る任意の時間帯のストロボモデルと、オブジェクト#2が映る任意の時間帯のストロボモデルとを、合成対象とすることができる。さらに、動画コンテンツ#１において、オブジェクト#1及び#2の両方が映る時間帯の、オブジェクト#1を対象オブジェクトとするストロボモデルと、オブジェクト#2を対象オブジェクトとするストロボモデルとを、合成対象とすることができる。
　また、例えば、オブジェクト#1を撮影した異なる動画コンテンツ#1及び#2のうちの、動画コンテンツ#1において、オブジェクト#1が映る任意の時間帯のストロボモデルと、動画コンテンツ#2において、オブジェクト#1が映る任意の時間帯のストロボモデルとを、合成対象とすることができる。
　さらに、例えば、オブジェクト#1を撮影した動画コンテンツ#1において、オブジェクト#1が映る任意の時間帯のストロボモデルと、オブジェクト#1と異なるオブジェクト#2を撮影した動画コンテンツ#2において、オブジェクト#2が映る任意の時間帯のストロボモデルとを、合成対象とすることができる。
　表示部３４は、自由視点画像生成部４１からの3Dストロボ画像その他の自由視点画像等を表示する。
　表示部３４は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成することができる。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。
　UI部３５は、ユーザによって操作され、ユーザの操作に応じた操作信号を、必要なブロックに供給する。なお、UI部３５は、例えば、タッチパネル等によって、表示部３４と一体的に構成することができる。また、UI部３５は、表示部３４とは別個のマウスやコントローラ等として構成することもできる。
　なお、再生装置１３は、外部との通信を行う機能、画像を表示する機能、及び、ユーザの操作を受け付ける機能を、少なくとも有していればよい。図３において、その他の機能、例えば、表示制御部３３によって実現される機能は、例えば、コンテンツサーバ１２や、クラウド上のサーバ等に設けることができる。
　＜コンテンツサーバ１２の処理＞
　図４は、図２のコンテンツサーバ１２が行う処理の例を説明するフローチャートである。
　ステップＳ１１において、コンテンツサーバ１２は、撮影装置１１で撮影された複数の視点の視点画像（及びデプス画像）をフレーム単位で得る。コンテンツサーバ１２は、複数の視点の視点画像を、自由視点データ生成部２１に供給し、処理は、ステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、自由視点データ生成部２１は、複数の視点の視点画像等を用いて、自由視点データを、フレーム単位で生成し、ストロボモデル生成部２２、及び、記憶部２３に供給する。記憶部２３は、自由視点データ生成部２１からのフレーム単位の自由視点データで構成される動画コンテンツ（自由視点データの動画コンテンツ）を記憶する。その後、処理は、ステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、ストロボモデル生成部２２は、自由視点データ生成部２１からの自由視点データを用い、ストロボモデルを生成する。
　すなわち、ストロボモデル生成部２２は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間を設定する。例えば、自由視点データの動画コンテンツの全区間や、シーンチェンジから次のシーンチェンジの直前までの区間、ユーザの操作に応じて再生装置１３から指定される区間等が、ストロボ区間に設定される。
　また、ストロボモデル生成部２２は、視点画像に映るオブジェクトから、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトを設定する。例えば、所定の速度以上で動いているオブジェクトや、ユーザの操作に応じて再生装置１３から指定されるオブジェクト等が、対象オブジェクトに設定される。
　さらに、ストロボモデル生成部２２は、ストロボ区間のフレームから、ストロボモデルの生成に用いる生成フレームを選択する。
　ここで、ストロボ区間の全フレームを生成フレームとして、ストロボモデルの生成に用いると、ストロボモデルには、ストロボ区間のフレーム数と同一の数の、同一のオブジェクトの3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることがある。
　そこで、ストロボモデル生成部２２は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映るオブジェクトの3Dモデル）を用いて、ストロボモデルを生成することができる。
　ストロボモデル生成部２２は、例えば、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボモデル生成部２２は、ストロボ区間のフレームに映る対象オブジェクトの3Dモデルを、3次元空間に配置した状態での、3Dモデルどうしの重なり具合を表す干渉度を算出する。干渉度は、例えば、3次元空間において、任意の２フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、ストロボモデル生成部２２は、干渉度が所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成することにより、ストロボモデルにおいて、3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることを抑制することができる。
　なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームとして選択することができる。また、生成フレームの選択では、ストロボ区間のフレームすべてを、生成フレームとして選択することができる。
　ストロボモデル生成部２２は、自由視点データ生成部２１からの自由視点データを用い、ストロボ区間のフレームから選択された複数の生成フレームに映る対象オブジェクトの3Dモデルが、その対象オブジェクトが撮影されたときの3次元空間としての背景（の3Dモデル）に配置されたストロボモデルを生成する。
　ストロボモデル生成部２２は、自由視点データ生成部２１からの自由視点データを用いて生成されたストロボモデルを、記憶部２３に供給する。記憶部２３は、ストロボモデル生成部２２からのストロボモデルを記憶し、処理は、ステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、通信部２４は、例えば、再生装置１３からの要求に応じて、記憶部２３に記憶された自由視点データの動画コンテンツ、及び、ストロボモデルを、再生装置１３に送信し、処理は終了する。
　＜再生装置１３の処理＞
　図５は、図３の再生装置１３が行う処理の例を説明するフローチャートである。
　ステップＳ３１において、通信部３１は、例えば、ユーザの操作に応じて、自由視点データの動画コンテンツや、ストロボモデルを、コンテンツサーバ１２に要求し、処理は、ステップＳ３２に進む。
　ステップＳ３２では、通信部３１は、コンテンツサーバ１２から、自由視点データの動画コンテンツやストロボモデルが送信されてくるのを待って、その自由視点データの動画コンテンツやストロボモデルを受信する。通信部３１は、コンテンツサーバ１２からの自由視点データの動画コンテンツやストロボモデルを、記憶部３２に供給して記憶させ、処理は、ステップＳ３２からステップＳ３３に進む。
　ステップＳ３３では、自由視点画像生成部４１は、例えば、ユーザの操作等に応じて、記憶部３２に記憶された自由視点データ又はストロボモデルを、仮想視点設定部４２から供給される仮想視点から見た自由視点画像をレンダリングすることにより生成する。
　又は、ステップＳ３３では、合成部４３が、記憶部３２に記憶されたストロボモデルＡ及びＢを合成した合成ストロボモデルを生成し、自由視点画像生成部４１に供給するとともに、必要に応じて、記憶部３２に供給して記憶させる。
　自由視点画像生成部４１は、合成部４３からの合成ストロボモデルを、仮想視点設定部４２から供給される仮想視点から見た3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。
　その後、処理は、ステップＳ３３からステップＳ３４に進み、自由視点画像生成部４１は、ステップＳ３３で生成された自由視点画像（3Dストロボ画像を含む）を、表示部３４に供給して表示させる。
　＜3Dストロボ画像の生成＞
　図６は、不自然な3Dストロボ画像の例を示す図である。
　図６は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
　図６では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（レンダリング）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図６の3Dストロボ画像は、不自然な画像になっている。
　図７は、自然な3Dストロボ画像の例を示す図である。
　図７は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
　図７では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、自由視点画像は、自然な画像になっている。
　自由視点画像生成部４１は、ストロボモデルに配置されたオブジェクトの各3Dモデルのデプス（奥行）を用いて、以上のような、手前側のオブジェクトの3Dモデルが優先的に映る3Dストロボ画像を生成する（仮想カメラにより撮影する）。
　図８は、ストロボ区間の視点画像のフレームの例を示す図である。
　図８では、時刻t1ないしt9の９フレームが、ストロボ区間の視点画像のフレームになっている。時刻t1ないしt9のフレームには、オブジェクトとしてのボールが左から右に転がっていく様子が映っている。図８では、図が煩雑になるのを避けるため、ある1視点の視点画像のフレームを図示してある。
　図９は、ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。
　図９では、ストロボ区間としての時刻t1ないしt9のフレームのうちの、時刻t1，t3，t5，t7、及び、t9のフレームが生成フレームに選択され、複数の視点の視点画像の生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが生成される。そして、生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るボールの3Dモデルが配置されたストロボモデルが生成される。
　図１０は、仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。
　3Dストロボ画像としては、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成して表示することができる。
　また、3Dストロボ画像としては、図１０に示すように、時刻t1のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1及びt3のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3、及び、t5のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3，t5、及び、t7のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、並びに、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成し、順次表示することができる。
　図１０の3Dストロボ画像の表示は、時刻t1のフレームに映るオブジェクトとしてのボールの3Dモデルが配置された時刻t1のストロボモデルを用いて3Dストロボ画像を生成し（レンダリングし）、その後、時刻t1のストロボモデルに、時刻t3のフレームに映るオブジェクトとしてのボールの3Dモデルが配置された時刻t3のストロボモデルを用いて3Dストロボ画像を生成し、以下、同様に、直前の時刻のストロボモデルに、次の時刻のフレームに映るオブジェクトとしてのボールの3Dモデルが配置されたストロボモデルを用いて3Dストロボ画像を生成することを繰り返すことで、行うことができる。又は、図１０の3Dストロボ画像の表示は、図９のストロボモデルにおいて、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルを、順次、レンダリングの対象に追加していくことで、行うことができる。
　本実施の形態では、図１０のように、オブジェクトの動きの軌跡が分かる動画の3Dストロボ画像の表示を行うこととする。
　なお、図１０の3Dストロボ画像では、ストロボモデルを撮影する仮想カメラの撮影位置及び撮影姿勢が変更されていないが、仮想カメラの撮影位置及び撮影姿勢は、必要に応じて変更することができる。ストロボモデルを、撮影位置や撮影姿勢を変更しながら、仮想カメラで撮影することにより、ストロボモデルを見る視点が変更され、カメラアングルが変化する3Dストロボ画像が表示される。
　＜3Dストロボ画像の再生＞　
　図１１は、ストロボモデルを用いて生成される動画の3Dストロボ画像の再生を説明する図である。
　図１１のＡは、ストロボ再生時間を説明する図である。
　ストロボ再生時間とは、動画の3Dストロボ画像の再生時間、すなわち、例えば、ストロボモデルを用いて、撮影装置１１で視点画像を撮影するフレームレート等の所定のフレームレートの3Dストロボ画像の生成が行われ、その所定のフレームレートの3Dストロボ画像が所定のフレームレートで表示される時間を意味する。ストロボ再生時間は、デフォルトでは、例えば、ストロボ区間のフレーム数をフレームレートで除算して得られる時間、すなわち、ストロボ区間の時間に等しい。
　例えば、図１１のＡに示すように、ストロボモデルのストロボ区間が300フレームである場合、フレームレートが59.97フレーム／秒であれば、そのストロボ区間のフレームに映るオブジェクトの3Dモデルが配置されたストロボモデルのストロボ再生時間（ストロボモデルを用いて生成される3Dストロボ画像が表示されるストロボ再生時間）は、約5.002（≒300/59.97）秒になる。
　図１１のＢは、3Dストロボ画像の再生を開始する再生開始タイミングを説明する図である。
　現在、ストロボモデルのファイルフォーマットについては、標準化されていない。したがって、ストロボモデルのファイルフォーマットとしては、任意のフォーマットを採用することができる。
　例えば、図１１のＢに示すように、ストロボモデルに配置される対象オブジェクトの3Dモデルを、特にタイムスタンプを付すことなく、単に、ストロボ区間のフレーム順（時間順）にシーケンシャルに並べることを、ストロボモデルのファイルフォーマットとして採用することができる。この場合、3Dストロボ画像の再生では、例えば、ストロボモデルが格納されたファイルから、フレーム順に並べられた対象オブジェクトの3Dモデルを、順番に読み出し、その読み出した3Dモデルが順次配置されたストロボモデルを用いて、3Dストロボ画像を生成することができる。
　3Dストロボ画像の再生開始タイミングは、例えば、3Dストロボ画像の再生を開始する再生開始フレームを、ストロボモデルのメタデータとして記述することにより指定することができる。再生開始タイミングがメタデータにより指定される場合、3Dストロボ画像の再生では、メタデータに記述された再生開始フレーム以降のフレームに映る対象オブジェクトの3Dモデルが順次配置されたストロボモデルを用いて、3Dストロボ画像が生成される。
　なお、メタデータがない場合、又は、メタデータがあっても、メタデータに、再生開始フレームの記述がない場合、ストロボ区間の最初のフレームを、再生開始タイミングとして、3Dストロボ画像を生成することができる。
　図１１のＣは、3Dストロボ画像の再生において、対象オブジェクトの3Dモデルを非表示にする表示制御を説明する図である。
　図１１のＢで説明したように、3Dストロボ画像の再生では、ストロボモデルが格納されたファイルから、時間順に並べられた対象オブジェクトの3Dモデルを、順番に読み出し、その読み出された3Dモデルが順次配置されたストロボモデルを用いて、3Dストロボ画像を生成することができる。
　かかる3Dストロボ画像の再生では、任意の3Dモデルを非表示にする表示制御を行うことができる。3Dモデルを非表示にする表示制御は、例えば、非表示にする3Dモデル（に対応する対象オブジェクト）が映るフレームを、ストロボモデルのメタデータとして記述することにより指定することができる。3Dストロボ画像の再生では、メタデータに記述されたフレームに映る対象オブジェクトの3Dモデルを非表示にする表示制御を行うことができる。3Dモデルを非表示にする表示制御は、例えば、3Dストロボ画像の生成（レンダリング）において、メタデータに記述されたフレームに映る対象オブジェクトの3Dモデルのレンダリングを省略することで行うことができる。
　＜パーツを対象とする3Dストロボ画像の生成＞
　図１２は、3Dストロボ画像の例を示す図である。
　図１２では、打者がバットを持ってスイングしているシーンに映るバットを、対象オブジェクトとして、3Dストロボ画像が生成されている。
　図１２のような打者がバットを持ってスイングしているシーンについては、バットの他、打者をも対象オブジェクトとして、3Dストロボ画像を生成することができる。
　対象オブジェクトは、必要に応じて、幾つかのパーツに分割し、各パーツについては、ID(Identification)を付して区別して扱うことができる。例えば、打者を対象オブジェクトとする場合、その対象オブジェクトとしての打者の体は、腕の除く上半身、腕、及び、下半身等の幾つかのパーツに分割することができる。対象オブジェクトを分割したパーツについては、パーツごとに、3Dストロボ画像への表示の有無や、表示する場合には、強調表示の有無等を選択することができる。
　例えば、腕の除く上半身、及び、下半身については、生成フレームのうちの最初のフレームだけの3Dモデルを、3Dストロボ画像に表示し、腕については、生成フレームのすべてのフレームの3Dモデルを、3Dストロボ画像に表示することで、腕の動きを確認しやすい3Dストロボ画像を表示することができる。
　なお、バット及び打者を対象オブジェクトとする場合には、各生成フレームに映るバット及び打者の3Dモデルを、水平方向等に徐々にずらしながら、3Dストロボ画像を生成することができる。各生成フレームに映るバット及び打者の3Dモデルをずらさずに、3Dストロボ画像を生成すると、3Dストロボ画像に映る打者がほとんど重なり、見にくくなることがある。各生成フレームに映るバット及び打者の3Dモデルを、水平方向等に徐々にずらしながら、3Dストロボ画像を生成することで、3Dストロボ画像に映る打者が重なる範囲が小さくなり、3Dストロボ画像に映る打者が見にくくなることを抑制することができる。
　＜合成ストロボモデルの用途＞
　図１３は、合成ストロボモデルの用途の例を説明する図である。
　合成ストロボモデルは、例えば、野球選手の投球のトレーニング等のスポーツのトレーニングに利用することができる。
　例えば、同一の投手の１回目の投球シーンのストロボモデルＡと、２回目の投球シーンのストロボモデルＢとを、合成対象として、合成ストロボモデルを生成することができる。この場合、合成ストロボモデルによれば、１回目の投球と２回目の投球との投球フォームや、ボールの軌跡の比較がしやすくなる。
　但し、例えば、ストロボモデルＡ及びＢにおいて、投球の動作速度や、ボールの速度等が異なる場合、合成ストロボモデルにおいて、１回目の投球と２回目の投球との差異が分かりにくくなることがある。また、例えば、１回目の投球と２回目の投球とが異なる場所で行われた場合、合成ストロボモデルにおいて、ストロボモデルＡとストロボモデルＢとが離れた位置に配置され、やはり、１回目の投球と２回目の投球との差異が分かりにくくなることがある。
　そこで、合成部４３は、時間合わせや、位置合わせ、重なり表示制御等によって、１回目の投球と２回目の投球との差異が分かりやすくなるように、ストロボモデルＡ及びＢを合成した合成ストロボモデルを生成することができる。
　合成ストロボモデルは、以上のような投球のトレーニングの他、例えば、打者のスイングのトレーニングにおいて、１回目のスイングと２回目のスイングとを比較することや、フィギュアスケートにおいて、１回目のジャンプと２回目のジャンプとを比較すること等に利用することができる。
　＜時間合わせ＞
　図１４は、3Dストロボ画像の再生の例を説明する図である。
　図１４のＡは、ストロボ区間の設定の例を示している。
　図１４のＡでは、フレーム#1ないし#7の区間がストロボ区間に設定されている。ここで、以下では、説明を簡単にするため、フレームレートが、例えば、１フレーム／秒であることとする。この場合、図１４のＡでは、ストロボ区間は、７秒の区間である。
　図１４のＢは、生成フレームの選択の例を示している。
　図１４のＢでは、ストロボ区間内のフレーム#1ないし#7のうちの、フレーム#1，#3，#5，#7が、生成フレームに選択されている。
　図１４のＣは、ストロボモデルの生成の例を示している。
　ここで、ストロボモデル#1+2+3+・・・は、（生成）フレーム#1，#2，#3，・・・に映る対象オブジェクトの3Dモデルが配置されたストロボモデルを表す。
　ストロボモデルは、例えば、ストロボ区間のフレームのフレームレートに従った各フレーム、すなわち、ストロボ区間のフレーム#1ないし#7それぞれについて生成される。
　ストロボ区間のフレーム#1については、ストロボ区間の先頭からフレーム#1までの間の生成フレーム#1に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1が生成される。
　ストロボ区間のフレーム#2については、ストロボ区間の先頭からフレーム#2までの間の生成フレーム#1に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1が生成される。
　ストロボ区間のフレーム#3については、ストロボ区間の先頭からフレーム#3までの間の生成フレーム#1及び#3に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1+3が生成される。
　ストロボ区間のフレーム#4については、ストロボ区間の先頭からフレーム#4までの間の生成フレーム#1，#3に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1+3が生成される。
　ストロボ区間のフレーム#5については、ストロボ区間の先頭からフレーム#5までの間の生成フレーム#1，#3，#5に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1+3+5が生成される。
　ストロボ区間のフレーム#6については、ストロボ区間の先頭からフレーム#6までの間の生成フレーム#1，#3，#5に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1+3+5が生成される。
　ストロボ区間のフレーム#7については、ストロボ区間の先頭からフレーム#7までの間の生成フレーム#1，#3，#5，#7に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#1+3+5+7が生成される。
　７秒のストロボ区間のフレーム#1ないし#7（から選択された生成フレーム）から生成されるストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間は、ストロボ区間に等しい７秒である。ここで、3Dストロボ画像のストロボ再生時間を、その3Dストロボ画像の生成に用いられるストロボモデルのストロボ再生時間ともいう。
　図１４のＤは、ストロボモデルを用いた3Dストロボ画像の生成の例を示している。
　ここで、3Dストロボ画像#1+2+3+・・・は、ストロボモデル#1+2+3+・・・を用いて生成される3Dストロボ画像、すなわち、ストロボモデル#1+2+3+・・・を、仮想カメラにより撮影する（レンダリングする）ことにより生成される3Dストロボ画像を表す。
　なお、例えば、Ｎフレームのストロボ区間の、そのＮフレームを生成フレームとして生成されるストロボモデル#1+2+3+・・・+Nに配置されたＮフレームの生成フレームに映る対象オブジェクトの3Dモデルのうちの、フレーム#M+1，#M+2，・・・，#N（に映る対象オブジェクト）の3Dモデルが配置されていないストロボモデル#1+2+3+・・・+Mを、仮想カメラにより撮影することにより生成される3Dストロボ画像#1+2+3+・・・+Mは、ストロボモデル#1+2+3+・・・+Nを対象とするレンダリングにおいて、フレーム#M+1，#M+2，・・・，#Nの3Dモデルを、レンダリングの対象から除外することで生成することができる。
　したがって、3Dストロボ画像#1，#1+2，#1+2+3，．．．，#1+2+・・・+Nの生成にあたっては、ストロボモデル#1+2+3+・・・+Nを生成すれば良く、ストロボモデル#1，#1+2，#1+2+3，．．．，#1+2+・・・+Nのすべてを生成する必要はない。
　但し、ここでは、説明の便宜上、ストロボ区間の各フレームについて、ストロボモデル#1，#1+2，#1+2+3，．．．，#1+2+・・・+Nを生成し、各ストロボモデル#1，#1+2，#1+2+3，．．．，#1+2+・・・+Nを用いて、各3Dストロボ画像#1，#1+2，#1+2+3，．．．，#1+2+・・・+Nを生成することとする。
　ストロボ区間の各フレームについては、そのフレームについて生成されたストロボモデルを用いて3Dストロボ画像が生成される。
　したがって、図１４では、ストロボ区間のフレーム#1及び#2については、ストロボモデル#1を用いて、3Dストロボ画像#1が生成される。
　フレーム#3及び#4については、ストロボモデル#1+3を用いて、3Dストロボ画像#1+3が生成される。
　フレーム#5及び#6については、ストロボモデル#1+3+5を用いて、3Dストロボ画像#1+3+5が生成される。
　フレーム#7については、ストロボモデル#1+3+5+7を用いて、3Dストロボ画像#1+3+5+7が生成される。
　図１４のＥは、3Dストロボ画像の表示の例を示している。
　図１４では、図１４のＤで説明したように生成されたフレーム#1ないしフレーム#7についての3Dストロボ画像が、ストロボ区間のフレームのフレームレートで順次表示される。
　したがって、ストロボ区間のフレーム#1ないし#7に映る対象オブジェクトの3Dモデルが配置されたストロボモデルを用いて生成される3Dストロボ画像の表示時間、すなわち、ストロボ再生時間は、ストロボ区間（の時間）に等しい７秒である。
　図１５は、あるストロボ区間Ａのフレームから生成される3Dストロボ画像の再生の例を説明する図である。
　図１５のＡは、ストロボ区間Ａの設定を示している。
　図１５のＡでは、フレーム#a1ないし#a5の５秒の区間がストロボ区間Ａに設定されている。
　図１５のＢは、ストロボ区間Ａのフレーム#a1ないし#a5からの生成フレームの選択の例を示している。
　図１５のＢでは、ストロボ区間Ａ内のフレーム#a1ないし#a5のうちの、フレーム#a1，#a3，#a5が、生成フレームに選択されている。
　図１５のＣは、ストロボ区間Ａ（の生成フレーム）からのストロボモデルの生成を示している。
　図１５のＣでは、図１４の場合と同様にして、ストロボ区間Ａのフレーム#a1及び#a2については、生成フレーム#a1に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#a1が生成される。
　ストロボ区間Ａのフレーム#a3及び#a4については、生成フレーム#a1及び#a3に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#a1+a3が生成される。
　ストロボ区間Ａのフレーム#a5については、生成フレーム#a1，#a3，#a5に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#a1+a3+a5が生成される。
　ここで、ストロボ区間Ａのフレーム#a1ないし#a5について生成されるストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の５フレーム分の系列を、ストロボモデルＡとも記載する。
　図１５のＤは、ストロボモデルＡを用いた3Dストロボ画像の生成を示している。
　図１５のＤでは、図１４の場合と同様にして、ストロボ区間のフレーム#a1及び#a2については、ストロボモデル#a1を用いて、3Dストロボ画像#a1が生成される。
　フレーム#a3及び#a4については、ストロボモデル#a1+a3を用いて、3Dストロボ画像#a1+a3が生成される。
　フレーム#a5については、ストロボモデル#a1+a3+a5を用いて、3Dストロボ画像#a1+a3+a5が生成される。
　ここで、ストロボモデルＡを用いて生成される3Dストロボ画像#a1、3Dストロボ画像#a1、3Dストロボ画像#a1+a3、3Dストロボ画像#a1+a3、3Dストロボ画像#a1+a3+a5の５フレーム分の系列を、3Dストロボ画像Ａとも記載する。
　図１５のＥは、3Dストロボ画像Ａの表示の例を示している。
　図１５では、図１５のＤで説明したように生成された3Dストロボ画像Ａが、ストロボ区間Ａのフレームのフレームレートで順次表示される。
　したがって、ストロボ区間Ａから生成されたストロボモデルＡを用いて生成される3Dストロボ画像Ａのストロボ再生時間は、ストロボ区間Ａに等しい５秒である。
　図１６は、ストロボ区間Ａとは異なるストロボ区間Ｂのフレームから生成される3Dストロボ画像の再生の例を説明する図である。
　図１６のＡは、ストロボ区間Ｂの設定を示している。
　図１６のＡでは、５秒のストロボ区間Ａより長い、フレーム#b1ないし#b9の９秒の区間がストロボ区間Ｂに設定されている。
　図１６のＢは、ストロボ区間Ｂのフレーム#b1ないし#b9からの生成フレームの選択の例を示している。
　図１６のＢでは、ストロボ区間Ｂ内のフレーム#b1ないし#b9のうちの、フレーム#b1，#b5，#b9が、生成フレームに選択されている。
　図１６のＣは、ストロボ区間Ｂ（の生成フレーム）からのストロボモデルの生成を示している。
　図１６のＣでは、図１４の場合と同様にして、ストロボ区間Ｂのフレーム#b1ないし#b4については、生成フレーム#b1に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#b1が生成される。
　ストロボ区間Ｂのフレーム#b5ないし#b8については、生成フレーム#b1及び#b5に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#b1+b5が生成される。
　ストロボ区間Ｂのフレーム#b9については、生成フレーム#b1，#b5，#b9に映る対象オブジェクトの3Dモデルが配置されたストロボモデル#b1+b5+b9が生成される。
　ここで、ストロボ区間Ｂのフレーム#b1ないし#b9について生成されるストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5+b9の９フレーム分の系列を、ストロボモデルＢとも記載する。
　図１６のＤは、ストロボモデルＢを用いた3Dストロボ画像の生成を示している。
　図１６のＤでは、図１４の場合と同様にして、ストロボ区間のフレーム#b1ないし#b4については、ストロボモデル#b1を用いて、3Dストロボ画像#b1が生成される。
　フレーム#b5ないし#b8については、ストロボモデル#b1+b5を用いて、3Dストロボ画像#b1+b5が生成される。
　フレーム#b9については、ストロボモデル#b1+b5+b9を用いて、3Dストロボ画像#b1+b5+b9が生成される。
　ここで、ストロボモデルＢを用いて生成される3Dストロボ画像#b1、3Dストロボ画像#b1、3Dストロボ画像#b1、3Dストロボ画像#b1、3Dストロボ画像#b1+b5、3Dストロボ画像#b1+b5、3Dストロボ画像#b1+b5、3Dストロボ画像#b1+b5、3Dストロボ画像#b1+b5+b9の９フレーム分の系列を、3Dストロボ画像Ｂとも記載する。
　図１６のＥは、3Dストロボ画像Ｂの表示の例を示している。
　図１６では、図１６のＤで説明したように生成された3Dストロボ画像Ａが、ストロボ区間Ｂのフレームのフレームレートで順次表示される。
　したがって、ストロボ区間Ｂから生成されたストロボモデルＢを用いて生成される3Dストロボ画像Ｂのストロボ再生時間は、ストロボ区間Ｂに等しい９秒である。
　図１５及び図１６に示したストロボ再生時間が異なるストロボモデルＡ及びＢを合成対象として、ストロボモデルＡ及びＢを合成した合成ストロボモデルを生成する場合、ストロボモデルＡ及びＢを、単純に合成すると、対象オブジェクトの比較がしづらいことがある。
　そこで、合成部４３は、ストロボモデルＡ及びＢの時間合わせを行った合成ストロボモデルを生成することができる。
　ストロボモデルＡ及びＢの時間合わせでは、ストロボモデルＡを用いて生成される3Dストロボ画像Ａのストロボ再生時間と、ストロボモデルＢを用いて生成される3Dストロボ画像Ｂのストロボ再生時間とが、所定の目標再生時間に一致するように、ストロボモデルＡ及びＢの一方又は両方の補間及び／又は間引きが行われる。
　目標再生時間としては、例えば、合成対象のストロボモデルＡ及びＢの一方のストロボ再生時間や、ユーザがUI部３５を操作することにより指定した時間等を採用することができる。
　図１７は、ストロボモデルＡ及びＢの時間合わせの例を説明する図である。
　図１７の時間合わせでは、ストロボモデルＡ及びＢのストロボ再生時間のうちの、短い方のストロボモデルＡのストロボ再生時間（５秒）が、目標再生時間に設定される。
　この場合、ストロボモデルＡのストロボ再生時間（５秒）は、目標再生時間（５秒）に一致し、ストロボモデルＢのストロボ再生時間（９秒）は、目標再生時間よりも長い時間となる。そのため、ストロボモデルＢのストロボ再生時間が目標再生時間に一致するように、ストロボモデルＢの間引きが行われる。
　ストロボモデルＢの間引きは、例えば、ストロボモデルＢの間引きにより間引かれる3Dストロボ画像のフレームがなるべく均一に分布するように行うことができる。さらに、ストロボモデルＢの間引きは、例えば、ストロボモデルＢを用いて生成される3Dストロボ画像において、同一の画像が表示されるフレームがなるべくなくなるように行うことができる。
　図１７では、ストロボモデルＢとしてのストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5+b9の９フレーム分の系列において、ストロボ区間のフレーム#b2及び#b3についてのストロボモデル#b1、並びに、ストロボ区間のフレーム#b6及び#b7についてのストロボモデル#b1+b5が間引かれている。
　間引き後のストロボモデルＢは、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5+b9の５フレーム分の系列になる。間引き後のストロボモデルＢのストロボ再生時間は、目標再生時間に一致し、ひいては、ストロボモデルＡのストロボ再生時間に一致する。
　合成部４３では、以上のように、ストロボモデルＢの間引きにより、ストロボモデルＡのストロボ再生時間と、ストロボモデルＢのストロボ再生時間とを、目標再生時間に一致させる時間合わせが行われ、その時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルが生成される。
　時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルの生成は、ストロボモデルＡとしてのストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の５フレーム分の系列と、間引き後のストロボモデルＢとしてのストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5+b9の５フレーム分の系列とを、フレーム単位で合成することにより行われる。
　その結果、ストロボモデル#a1+b1、ストロボモデル#a1+b1、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3+a5)+(b1+b3+b5)の５フレーム分の系列が、時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルとして生成される。
　図１８は、ストロボモデルＡ及びＢの時間合わせの他の例を説明する図である。
　図１８の時間合わせでは、ストロボモデルＡ及びＢのストロボ再生時間のうちの、長い方のストロボモデルＢのストロボ再生時間（９秒）が、目標再生時間に設定される。
　この場合、ストロボモデルＢのストロボ再生時間（９秒）は、目標再生時間（９秒）に一致し、ストロボモデルＡのストロボ再生時間（５秒）は、目標再生時間よりも短い時間となる。そのため、ストロボモデルＡのストロボ再生時間が目標再生時間に一致するように、ストロボモデルＡの補間（リピート）が行われる。
　ストロボモデルＡの補間は、例えば、ストロボモデルＡの補間により補間される3Dストロボ画像のフレームがなるべく均一に分布するように行うことができる。
　図１８では、ストロボモデルＡとしてのストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の５フレーム分の系列において、ストロボ区間のフレーム#a2とフレーム#a3との間に、直前のフレーム#a2についてのストロボモデル#a1が、２フレーム分だけ補間されている。
　さらに、図１８では、ストロボモデルＡとしてのストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の５フレーム分の系列において、ストロボ区間のフレーム#a4とフレーム#a5との間に、直前のフレーム#a4についてのストロボモデル#a1+a3が、２フレーム分だけ補間されている。
　補間後のストロボモデルＡは、ストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の９フレーム分の系列になる。補間後のストロボモデルＡのストロボ再生時間は、目標再生時間に一致し、ひいては、ストロボモデルＢのストロボ再生時間に一致する。
　合成部４３では、以上のように、ストロボモデルＡの補間により、ストロボモデルＡのストロボ再生時間と、ストロボモデルＢのストロボ再生時間とを、目標再生時間に一致させる時間合わせが行われ、その時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルが生成される。
　時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルの生成は、補間後のストロボモデルＡとしてのストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の９フレーム分の系列と、ストロボモデルＢとしてのストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5、ストロボモデル#b1+b5+b9の９フレーム分の系列とを、フレーム単位で合成することにより行われる。
　その結果、ストロボモデル#a1+b1、ストロボモデル#a1+b1、ストロボモデル#a1+b1、ストロボモデル#a1+b1、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3)+(b1+b3)、ストロボモデル#(a1+a3+a5)+(b1+b3+b5)の９フレーム分の系列が、時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルとして生成される。
　なお、ストロボモデルの補間は、生成フレーム以外のフレームの自由視点データがあれば、その自由視点データを用いて行うことができる。
　例えば、図１８のストロボモデルＡにおいて、ストロボモデル#a1と、ストロボモデル#a1+a3との間の補間は、フレーム#a2の自由視点データがあれば、ストロボモデル#a1によって行うのではなく、ストロボモデル#a1+a2によって行うことができる。
　また、ストロボモデルのストロボ再生時間を、そのストロボ再生時間より長い目標再生時間に一致させる時間合わせでは、ストロボモデルの補間だけでなく、間引きを行うことができる。
　例えば、図１８のストロボモデルＡのストロボ再生時間を、目標再生時間としてのストロボモデルＢのストロボ再生時間に一致させる時間合わせでは、ストロボモデルＡとしてのストロボモデル#a1、ストロボモデル#a1、ストロボモデル#a1+a3、ストロボモデル#a1+a3、ストロボモデル#a1+a3+a5の５フレーム分の系列において、ストロボ区間のフレーム#a2についてのストロボモデル#a1を間引き、そのストロボモデル#a1に代えて、３フレーム分のストロボモデル#a1+a2を補間することができる。
　図１９は、ストロボモデルＡ及びＢの時間合わせが行われた合成ストロボモデルの生成を説明する図である。
　図１９において、ストロボモデルＡのストロボ再生時間D1と、ストロボモデルＢのストロボ再生時間D2とは、異なっている。
　ストロボモデルＡ及びＢを合成した合成ストロボモデルの生成では、ストロボモデルＡのストロボ再生時間と、ストロボモデルＢのストロボ再生時間とを、目標再生時間D3に一致させる時間合わせを行うことができる。
　図１９では、ストロボモデルＡのストロボ再生時間D1と、ストロボモデルＢのストロボ再生時間D2とを、所定の目標再生時間D3に一致させる時間合わせが行われ、時間合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルが生成されている。
　時間合わせは、ストロボモデルＡ及びＢの一方又は両方の補間及び／又は間引きにより行われる。
　すなわち、時間合わせは、ストロボモデルＡの補間、間引き、又は、補間と間引きとの両方により行うことができる。また、時間合わせは、ストロボモデルＢの補間、間引き、又は、補間と間引きとの両方により行うことができる。さらに、時間合わせは、ストロボモデルＡの補間、間引き、又は、補間と間引きとの両方のいずれかと、ストロボモデルＢの補間、間引き、又は、補間と間引きとの両方のいずれかとの組み合わせにより行うことができる。
　ストロボモデルＡ及びＢの時間合わせを行うことにより、ストロボ再生時間が異なるストロボモデルＡ及びＢそれぞれの3Dモデルに対応する対象オブジェクトどうしの比較をしやすくすることができる。
　例えば、同一の投手が行った投球モーションの速さが異なる２回の投球の比較がしやすくなる。その結果、その２回の投球の差異を、容易に見つけることができる。
　図２０は、ストロボモデルＡを対象とする時間合わせの設定の処理の例を説明するフローチャートである。
　ステップＳ１１１において、合成部４３は、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より小さいかどうかを判定する。
　ステップＳ１１１において、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より小さいと判定された場合、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、合成部４３は、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3に一致するように、例えば、ストロボモデルＡの補間による時間合わせを行うことを設定し、処理は終了する。ステップＳ１１２の設定が行われた場合、ストロボモデルＡ及びＢを合成した合成ストロボを生成するときに、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3に一致するように、ストロボモデルＡの補間が行われる。
　一方、ステップＳ１１１において、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より小さくないと判定された場合、処理は、ステップＳ１１３に進む。
　ステップＳ１１３では、合成部４３は、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より大きいかどうかを判定する。
　ステップＳ１１３において、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より大きいと判定された場合、処理は、ステップＳ１１４に進む。
　ステップＳ１１４では、合成部４３は、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3に一致するように、例えば、ストロボモデルＡの間引きによる時間合わせを行うことを設定し、処理は終了する。ステップＳ１１４の設定が行われた場合、ストロボモデルＡ及びＢを合成した合成ストロボを生成するときに、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3に一致するように、ストロボモデルＡの間引きが行われる。
　一方、ステップＳ１１３において、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3より大きくないと判定された場合、すなわち、ストロボモデルＡのストロボ再生時間D1が、目標再生時間D3に一致する場合、処理は、ステップＳ１１５に進む。
　ステップＳ１１５では、合成部４３は、ストロボモデルＡの時間合わせが不要であることを設定し、処理は、終了する。ステップＳ１１５の設定が行われた場合、ストロボモデルＡ及びＢを合成した合成ストロボを生成するときに、ストロボモデルＡの時間合わせは行われない。
　図２０では、時間合わせの設定の処理が、ストロボモデルＡを対象として行われるが、時間合わせの設定の処理は、ストロボモデルＢも対象として行われる。
　＜位置合わせ＞　
　図２１は、ストロボモデルの位置合わせの例を説明する図である。
　ストロボモデルＡの3Dモデル（ストロボモデルＡに配置された3Dモデル）と、ストロボモデルＢの3Dモデルとが、離れた位置に配置されている場合、ストロボモデルＡ及びＢそれぞれの3Dモデルの位置をそのまま維持して、ストロボモデルＡ及びＢを合成した合成ストロボモデルを生成すると、合成ストロボモデルにおいて、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとが、離れた位置に配置され、比較しにくいことがある。
　そこで、合成ストロボモデルの生成では、ストロボモデルＡ及びＢの一方又は両方を3次元空間内の所定の目標位置に配置する位置合わせを行うことができる。
　例えば、ストロボモデルＡ及びＢの3Dモデルどうしが近い位置に配置されるように、ストロボモデルＡ及びＢの一方又は両方の3Dモデルを所定の目標位置に配置（移動）する位置合わせを行うことで、ストロボモデルＡの3Dモデル（に対応する対象オブジェクト）と、ストロボモデルＢの3Dモデル（に対応する対象オブジェクト）との比較を行いやすい3Dストロボ画像が得られる合成ストロボモデルを生成することができる。
　図２１では、ストロボモデルＢの3Dモデルの位置を目標位置として、ストロボモデルＡの3Dモデルを、目標位置に配置する位置合わせが行われ、これにより、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとの一部が重複した（重なり合った）状態になっている。
　図２２は、合成ストロボモデルの3Dモデルの位置に基づく表示制御の例を説明する図である。
　ストロボモデルＡ及びＢを合成した合成ストロボモデルでは、対象オブジェクトの移動速度によって、ストロボモデルＡの3Dモデルどうしの間隔と、ストロボモデルＢの3Dモデルどうしの間隔とが大きく異なることがある。例えば、速球を投げたシーンについて、ボールを対象オブジェクトとして生成されたストロボモデルＡと、スローボールを投げたシーンについて、ボールを対象オブジェクトとして生成されたストロボモデルＢとでは、対象オブジェクトとしてのボールの3Dモデルどうしの間隔が大きく異なることがある。この場合、合成ストロボモデルを用いて生成される3Dストロボ画像において、ストロボモデルＡの3Dモデルに対応するボールと、ストロボモデルＢの3Dモデルに対応するボールと（の軌跡等）を、比較しにくいことがある。
　そこで、合成ストロボモデルについては、3Dモデルの位置に基づく表示制御を行うことができる。
　3Dモデルの位置に基づく表示制御では、合成ストロボモデルの3Dモデルのうちの、例えば、ユーザの操作等の何らかの方法によって設定された位置（以下、指定位置ともいう）に適合する位置に配置された3Dモデルだけが、3Dストロボ画像において表示されるように、又は、非表示となるように、表示制御が行われる。
　指定位置に適合する位置とは、例えば、指定位置に一致する位置、又は、指定位置から所定の距離内の位置を意味する。
　3Dモデルの位置に基づく表示制御によれば、例えば、奥行方向の位置d1，d2、及び、d3を指定位置として指定することにより、合成ストロボモデルにおいて、奥行き方向の位置が、指定位置d1，d2，d3に適合する位置にある3Dモデルだけが、3Dストロボ画像において表示される。したがって、合成対象のストロボモデルＡの3DモデルとストロボモデルＢの3Dモデルとの比較がしやすくなる。
　なお、指定位置としては、その他、例えば、合成対象のストロボモデルＡ及びＢのうちの一方のストロボモデルの3Dモデルの位置等を採用することができる。指定位置では、xyzの3方向のすべての位置の他、xyzの3方向のうちの1方向又は2方向の位置だけを指定することができる。
　また、合成ストロボモデルを用いて生成される3Dストロボ画像の表示には、図２１のストロボモデルの位置合わせと、図２２の3Dモデルの位置に基づく表示制御との両方を適用することができる。
　図２３は、ストロボモデルの位置合わせと、3Dモデルの位置に基づく表示制御とを適用した3Dストロボ画像の表示の例を説明する図である。
　3Dストロボ画像の表示に、ストロボモデルの位置合わせと、3Dモデルの位置に基づく表示制御との両方を適用することにより、図２３に示すように、ストロボモデルＡ及びＢの3Dモデルを近い位置に表示するとともに、かつ、指定位置に近い3Dモデルだけを表示することができる。
　ストロボモデルの位置合わせや3Dモデルの位置に基づく表示制御によれば、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとが離れていても、ストロボモデルＡ及びＢそれぞれの3Dモデルに対応する対象オブジェクトどうしの比較をしやすくすることができる。
　例えば、同一の投手が行ったブルペンでの投球、及び、試合のマウンドでの投球等の、異なる場所での２回の投球の比較がしやすくなる。その結果、その２回の投球の差異を、容易に見つけることができる。
　＜重なり表示制御＞
　図２４は、重なり表示制御の例を説明する図である。
　重なり表示制御は、例えば、合成ストロボモデルにおいて、ストロボモデルＡ及びＢの3Dモデルどうしに重なりが生じる場合に行うことができる。
　例えば、ストロボモデルＡ及びＢにおいて、対象オブジェクトが（ほぼ）同一形状であり、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが、ほぼ同一の軌跡を描く場合、ストロボモデルＡの3Dモデルの並び位置と、ストロボモデルＢの3Dモデルの並びの位置とが（ほぼ）一致していると、ストロボモデルＡ及びＢを合成した合成ストロボモデルでは、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが、ほぼ重なり、差異が分かりにくくなることがある。
　そこで、合成ストロボモデルについては、ストロボモデルＡ及びＢの一方又は両方を、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが重ならない位置に移動（配置）して表示させる重なり表示制御を行うことができる。ストロボモデルＡ及びＢの一方又は両方を、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが重ならない位置に移動する重なり表示制御を、離間表示制御ともいう。
　例えば、同一のフィギュアスケート選手が、スケートリンクのほぼ同一の場所で、同一種類のジャンプを２回行った場合に、１回目のジャンプを撮影したシーンのストロボモデルＡと、２回目のジャンプを撮影したシーンのストロボモデルＢとを合成した合成ストロボモデルを生成するときに、離間表示制御を行うことで、１回目のジャンプと、２回目のジャンプとの間で、フィギュアスケート選手の重なりがない3Dストロボ画像を表示することができ、１回目のジャンプと２回目のジャンプとの比較をしやすくすることができる。
　離間表示制御では、例えば、ストロボモデルＡ及びＢの一方のストロボモデルを、なるべく移動量が少ない方向に移動して、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが重ならないようにすることができる。
　図２５は、離間表示制御の例を説明する図である。
　離間表示制御では、まず、ストロボモデルＡ及びＢそれぞれについて、3Dモデルの並びを近似するベクトル（以下、軌跡ベクトルともいう）が生成される。軌跡ベクトルとしては、例えば、ストロボモデルの3Dモデルの並びの始点を始点とし、3Dモデルの並びの終点を終点とするベクトルを採用することができる。
　離間表示制御では、ストロボモデルＡの軌跡ベクトルＡと、ストロボモデルＢの軌跡ベクトルＢとの外積が算出される。そして、軌跡ベクトルＡ及びＢの外積としてのベクトルの方向に、例えば、ストロボモデルＡ及びＢの一方のストロボモデルが移動される。一方のストロボモデルの移動は、ストロボモデルＡの3Dモデルを囲むバンディングボックスと、ストロボモデルＢの3Dモデルを囲むバンディングボックスとに、重なりがなくなるまで行われる。
　ここで、ストロボモデルＡ及びＢの一方のストロボモデルを、任意の方向に移動する場合、その任意の方向が、例えば、他方のストロボモデルの並びの方向であるときには、ストロボモデルＡの3Dモデルを囲むバンディングボックスと、ストロボモデルＢの3Dモデルを囲むバンディングボックスとが重ならないようにするのに、一方のストロボモデルを移動する移動量が大になる。
　これに対して、一方のストロボモデルの移動を、軌跡ベクトルＡ及びＢの外積としてのベクトルの方向に行う場合には、ストロボモデルＡの3Dモデルを囲むバンディングボックスと、ストロボモデルＢの3Dモデルを囲むバンディングボックスとが重ならないようにするのに、一方のストロボモデルを移動する移動量を小さくすることができる。
　なお、一方のストロボモデルの移動は、バンディングボックスではなく、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとが重ならなくなるまで行うことができる。但し、一方のストロボモデルの移動を、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとが重ならなくなるまで行う場合には、合成ストロボモデルを用いて3Dストロボ画像を生成するときの仮想視点によっては、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとの一部が重なっているかのように見える3Dストロボ画像が得られることがある。
　これに対して、一方のストロボモデルの移動を、3Dモデルを囲むバンディングボックスが重ならなくなるまで行う場合には、3Dモデルが重ならなくなるまで行う場合に比較して、ストロボモデルＡの3Dモデルと、ストロボモデルＢの3Dモデルとの一部が重なっているかのように見える3Dストロボ画像が得られることを抑制することができる。
　図２６は、重なり表示制御の他の例を説明する図である。
　重なり表示制御としては、離間表示制御の他、合成ストロボモデルにおいて、3Dモデルどうしの重なりがあるストロボモデルＡ及びストロボモデルＢの一方のストロボモデルのうちの、他方のストロボモデルと重ならない部分を強調表示させる強調表示制御を行うことができる。
　例えば、図２４で説明したように、ストロボモデルＡ及びＢにおいて、対象オブジェクトが（ほぼ）同一形状であり、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが、ほぼ同一の軌跡を描く場合、ストロボモデルＡの3Dモデルの並び位置と、ストロボモデルＢの3Dモデルの並びの位置とが（ほぼ）一致していると、ストロボモデルＡ及びＢを合成した合成ストロボモデルでは、ストロボモデルＡの3Dモデルの並びと、ストロボモデルＢの3Dモデルの並びとが、ほぼ重なり、差異が分かりにくくなることがある。
　そこで、合成ストロボモデルについては、ストロボモデルＡ及びストロボモデルＢの一方のストロボモデルのうちの、他方のストロボモデルと重ならない部分を強調表示する強調表示制御を行うことができる。
　強調表示制御では、ストロボモデルＡ及びストロボモデルＢの一方のストロボモデルである、例えば、ストロボモデルＢにおいて、他方のストロボモデルであるストロボモデルＡと重ならない非重複部分が3Dストロボ画像において強調表示されるように、非重複部分の表示が制御される。非重複部分（及び重なる部分）は、例えば、ストロボモデルの3Dモデルの（3次元の）位置情報を用いて検出することができる。
　図２７は、強調表示制御の具体例を説明する図である。
　強調表示制御では、例えば、ストロボモデルＡ及びストロボモデルＢのうちの一方である、例えば、ストロボモデルＡを基準ストロボモデルとして、基準ストロボモデルでないストロボモデルＢにおいて、基準ストロボモデルであるストロボモデルＡと重ならないボクセルが、非重複部分として検出される。そして、非重複部分が3Dストロボ画像において強調表示されるように、強調表示制御が設定される。
　非重複部分の強調表示としては、輝度を本来の値よりも所定値だけ高くすることや、点滅させること、特定の色にすること等を採用することができる。
　基準ストロボモデルでないストロボモデルＢにおいて、基準ストロボモデルであるストロボモデルＡと重ならないボクセルは、例えば、3Dモデルの位置情報を用いて、ストロボモデルＢがストロボモデルＡと重なるかどうかを判定する重なり判定を、ストロボモデルＢのボクセル単位で行うことにより検出することができる。
　但し、計算量を削減するために、ストロボモデルＢにおいて、ストロボモデルＡと重ならないボクセルの検出（及び重なり判定）は、１個のボクセル単位ではなく、２個や４個等の複数のボクセルの単位で行うことができる。
　重なり表示制御によれば、同じような動作の２つのシーンにおけるオブジェクトどうしの比較をしやすくすることができる。
　重なり表示制御のうちの離間表示制御によれば、例えば、同一のフィギュアスケート選手が、スケートリンクのほぼ同一の場所で、同一種類のジャンプを２回行った場合に、１回目のジャンプと、２回目のジャンプとの間で、フィギュアスケート選手の重なりがない3Dストロボ画像を表示することができ、１回目のジャンプと２回目のジャンプとの比較をしやすくすることができる。
　また、重なり表示制御のうちの強調表示制御によれば、例えば、同一のフィギュアスケート選手が、スケートリンクのほぼ同一の場所で、同一種類のジャンプを２回行った場合の１回目のジャンプと２回目のジャンプとの間の僅かな差異を容易に確認することができる。
　なお、重なり表示制御は、対象オブジェクトの全体ではなく、図１２で説明した、対象オブジェクトを分割したパーツを対象に行うことができる。
　例えば、ダンス教室の教師と生徒とのそれぞれがダンスを行ったダンスシーンにおいて、教師及び生徒を対象オブジェクトに設定し、その対象オブジェクトの全体を対象として、強調表示制御を行う場合には、教師及び生徒の身体の全体の中で、相違がある部分すべてが強調表示される。このように、教師及び生徒の身体の全体の中で、相違がある部分すべてが強調表示されるのでは、例えば、教師と生徒とのステップの相違を確認したい場合に、却って、ステップの相違が分かりにくくなることがあり得る。
　そこで、例えば、教師及び生徒のパーツとしての足だけを対象に、強調表示制御を行うことにより、教師と生徒とのステップの差異を容易に確認することができる。
　＜合成部４３の構成例＞
　図２８は、図３の合成部４３の構成例を示すブロック図である。
　合成部４３は、時間合わせ設定部１１１、位置合わせ設定部１１２、重なり表示制御設定部１１３、記憶部１１４、及び、合成ストロボモデル生成部１１５を有する。
　なお、時間合わせ設定部１１１、位置合わせ設定部１１２、及び、重なり表示制御設定部１１３については、そのすべてを、合成部４３に設けるのではなく、一部だけを設けることができる。すなわち、時間合わせ設定部１１１、位置合わせ設定部１１２、及び、重なり表示制御設定部１１３のうちの１つを、合成部４３に設けることもできるし、時間合わせ設定部１１１、位置合わせ設定部１１２、及び、重なり表示制御設定部１１３のうちの２つを、合成部４３に設けることができる。
　時間合わせ設定部１１１は、ユーザの操作、すなわち、UI部３５から供給される操作信号等に応じ、記憶部３２に記憶された合成対象としてのストロボモデルＡ及びＢを用いて、ストロボモデルＡ及びＢの時間合わせ（図１９）の設定を行う。
　時間合わせ設定部１１１は、時間合わせの設定により定めた時間合わせの処理内容を表す情報を、時間合わせの設定情報として、位置合わせ設定部１１２、重なり表示制御設定部１１３、及び、記憶部１１４に供給する。
　位置合わせ設定部１１２は、UI部３５から供給される操作信号等に応じ、記憶部３２に記憶されたストロボモデルＡ及びＢ、並びに、時間合わせ設定部１１１からの時間合わせの設定情報を用いて、時間合わせ後のストロボモデルＡ及びＢの位置合わせの設定を行う。
　例えば、位置合わせ設定部１１２は、記憶部３２に記憶されたストロボモデルＡ及びＢ、並びに、時間合わせ設定部１１１からの時間合わせの設定情報を用いて、時間合わせが行われたストロボモデルＡ及びＢを認識する。そして、位置合わせ設定部１１２は、UI部３５から供給される操作信号等に応じ、時間合わせ後のストロボモデルＡ及びＢの位置合わせ（図２１）の設定を行う。
　また、位置合わせ設定部１１２は、UI部３５から供給される操作信号等に応じ、3Dモデルの位置に基づく表示制御（図２２）の設定を行う。
　位置合わせ設定部１１２は、位置合わせの設定により定めた位置合わせの処理内容を表す情報、及び、3Dモデルの位置に基づく表示制御の設定により定めた表示制御の処理内容を表す情報を含む情報を、位置合わせの設定情報として、重なり表示制御設定部１１３及び記憶部１１４に供給する。
　重なり表示制御設定部１１３は、UI部３５から供給される操作信号等に応じ、記憶部３２に記憶されたストロボモデルＡ及びＢ、時間合わせ設定部１１１からの時間合わせの設定情報、並びに、位置合わせ設定部１１２からの位置合わせの設定情報を用いて、時間合わせ及び位置合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルの重なり表示制御（図２４及び図２６）の設定を行う。
　例えば、重なり表示制御設定部１１３は、記憶部３２に記憶されたストロボモデルＡ及びＢ、時間合わせ設定部１１１からの時間合わせの設定情報、並びに、位置合わせ設定部１１２からの位置合わせの設定情報を用いて、時間合わせが行われ、さらに、位置合わせが行われたストロボモデルＡ及びＢを認識する。そして、重なり表示制御設定部１１３は、UI部３５から供給される操作信号等に応じ、時間合わせ及び位置合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルの重なり表示制御の設定を行う。
　すなわち、重なり表示制御設定部１１３は、UI部３５から供給される操作信号等に応じ、離間表示制御（図２４）又は強調表示制御（図２６）の設定を行う。
　重なり表示制御設定部１１３は、重なり表示制御の設定により定めた重なり表示制御の処理内容を表す情報を、重なり表示制御の設定情報として、記憶部１１４に供給する。
　記憶部１１４は、時間合わせ設定部１１１からの時間合わせの設定情報、位置合わせ設定部１１２からの位置合わせの設定情報、及び、重なり表示制御設定部１１３からの重なり表示制御の設定情報を、ストロボモデルＡ及びＢのメタデータとして記憶する。
　合成ストロボモデル生成部１１５は、記憶部３２に記憶されたストロボモデルＡ及びＢ、並びに、記憶部１１４にメタデータとして記憶された設定情報を用いて、時間合わせや位置合わせが行われ、3Dモデルの位置に基づく表示制御や重なり表示制御の設定が行われた、ストロボモデルＡ及びＢを合成した合成ストロボモデルを生成する。合成ストロボモデル生成部１１５は、合成ストロボモデルを、自由視点画像生成部４１に供給するとともに、必要に応じて、記憶部３２に供給して記憶させる。
　記憶部３２に記憶された合成ストロボモデルは、その後、合成対象として用いることができる。
　図２９は、合成部４３が行う合成ストロボモデルの生成の処理の例を説明するフローチャートである。
　ステップＳ１２１において、合成部４３の時間合わせ設定部１１１、位置合わせ設定部１１２、重なり表示制御設定部１１３、及び、合成ストロボモデル生成部１１５は、記憶部３２に記憶された合成対象としてのストロボモデルＡ及びＢを読み出すことにより取得し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２では、時間合わせ設定部１１１は、ステップＳ１２１で取得したストロボモデルＡ及びＢを用いて、ストロボモデルＡ及びＢの時間合わせの設定を行う。時間合わせ設定部１１１は、時間合わせの設定により定めた時間合わせの処理内容を表す情報を、時間合わせの設定情報として、位置合わせ設定部１１２、重なり表示制御設定部１１３、及び、記憶部１１４に供給する。記憶部１１４は、時間合わせ設定部１１１からの時間合わせの設定情報を記憶し、処理は、ステップＳ１２２からステップＳ１２３に進む。
　ステップＳ１２３では、位置合わせ設定部１１２は、ステップＳ１２１で取得したストロボモデルＡ及びＢ、並びに、時間合わせ設定部１１１からの時間合わせの設定情報を用いて、位置合わせ後のストロボモデルＡ及びＢの位置合わせの設定を行う。さらに、位置合わせ設定部１１２は、3Dモデルの位置に基づく表示制御の設定を行う。
　位置合わせ設定部１１２は、位置合わせの設定により定めた位置合わせの処理内容を表す情報、及び、3Dモデルの位置に基づく表示制御の設定により定めた表示制御の処理内容を表す情報を含む情報を、位置合わせの設定情報として、重なり表示制御設定部１１３及び記憶部１１４に供給する。記憶部１１４は、位置合わせ設定部１１２からの位置合わせの設定情報を記憶し、処理は、ステップＳ１２３からステップＳ１２４に進む。
　ステップＳ１２４では、重なり表示制御設定部１１３は、ステップＳ１２１で取得したストロボモデルＡ及びＢ、時間合わせ設定部１１１からの時間合わせの設定情報、並びに、位置合わせ設定部１１２からの位置合わせの設定情報を用いて、時間合わせ及び位置合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデルの重なり表示制御の設定を行う。
　重なり表示制御設定部１１３は、重なり表示制御の設定により定めた重なり表示制御の処理内容を表す情報を、重なり表示制御の設定情報として、記憶部１１４に供給する。記憶部１１４は、重なり表示制御設定部１１３からの重なり表示制御の設定情報を記憶し、処理は、ステップＳ１２４からステップＳ１２５に進む。
　ステップＳ１２５では、合成ストロボモデル生成部１１５は、ステップＳ１２１で取得したストロボモデルＡ及びＢ、並びに、記憶部１１４に記憶された設定情報を用いて、時間合わせや位置合わせが行われ、3Dモデルの位置に基づく表示制御や重なり表示制御の設定が行われた、ストロボモデルＡ及びＢを合成した合成ストロボモデルを生成する。合成ストロボモデル生成部１１５は、合成ストロボモデルを、自由視点画像生成部４１に供給して、処理は終了する。
　自由視点画像生成部４１では、合成ストロボモデル生成部１１５からの合成ストロボモデルを、仮想視点設定部４２（図３）からの仮想視点から見た自由視点画像としての3Dストロボ画像が生成され、表示部３４（図３）に供給される。3Dストロボ画像の生成では、合成ストロボモデルに設定された3Dモデルの位置に基づく表示制御や重なり表示制御が行われる。
　これにより、表示部３４では、時間合わせや位置合わせが行われた合成ストロボモデルを仮想視点から見た、3Dモデルの位置に基づく表示制御や重なり表示制御が行われた3Dストロボ画像が表示される。
　図３０は、図２９のステップＳ１２２の時間合わせの設定の処理の例を説明するフローチャートである。
　ステップＳ１３１において、時間合わせ設定部１１１は、UI部３５から供給される操作信号に応じて、時間合わせを行うかどうかを判定する。
　ステップＳ１３１において、時間合わせを行わないと判定された場合、すなわち、例えば、ユーザが、時間合わせを行わないように、UI部３５を操作した場合、処理は、ステップＳ１３２に進む。
　ステップＳ１３２では、時間合わせ設定部１１１は、時間合わせが不要であることを設定し、処理は終了する。
　一方、ステップＳ１３１において、時間合わせを行うと判定された場合、すなわち、例えば、ユーザが、時間合わせを行うように、UI部３５を操作した場合、処理は、ステップＳ１３３に進む。
　ステップＳ１３３では、時間合わせ設定部１１１は、ユーザがUI部３５を操作することにより、合成ストロボモデルを再生する再生時間を指定したかどうかを判定する。
　ステップＳ１３３において、ユーザが、合成ストロボモデルを再生する再生時間を指定したと判定された場合、処理は、ステップＳ１３４に進む。
　ステップＳ１３４では、時間合わせ設定部１１１は、ユーザが指定した再生時間を、目標再生時間に設定し、処理は、ステップＳ１３７に進む。
　また、ステップＳ１３３において、ユーザが、合成ストロボモデルを再生する再生時間を指定していないと判定された場合、処理は、ステップＳ１３５に進む。
　ステップＳ１３５では、時間合わせ設定部１１１は、ユーザがUI部３５を操作することにより、合成対象のストロボモデルＡ及びＢのいずれかを選択したかどうかを判定する。
　ステップＳ１３５において、ユーザが、ストロボモデルＡ及びＢのいずれをも選択していないと判定された場合、処理は、ステップＳ１３３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１３５において、ユーザが、ストロボモデルＡ及びＢのいずれがを選択したと判定された場合、処理は、ステップＳ１３６に進む。
　ステップＳ１３６では、時間合わせ設定部１１１は、ストロボモデルＡ及びＢのうちの、ステップＳ１３５で選択されたと判定されたストロボモデルのストロボ再生時間を、目標再生時間に設定し、処理は、ステップＳ１３７に進む。
　ステップＳ１３７では、時間合わせ設定部１１１は、ストロボモデルＡ及びＢのストロボ再生時間が、目標再生時間に一致するように、ストロボモデルＡ及びＢの一方又は両方の補間及び／又は間引きを行う時間合わせを行うことを設定し、処理は終了する。
　図３１は、図２９のステップＳ１２３の位置合わせの設定の処理の例を説明するフローチャートである。
　ステップＳ１５１において、位置合わせ設定部１１２は、UI部３５から供給される操作信号に応じて、位置合わせを行うかどうかを判定する。
　ステップＳ１５１において、位置合わせを行わないと判定された場合、すなわち、例えば、ユーザが、位置合わせを行わないように、UI部３５を操作した場合、処理は、ステップＳ１５２に進む。
　ステップＳ１５２では、位置合わせ設定部１１２は、位置合わせが不要であることを設定し、処理は、図３２のステップＳ１６１に進む。
　一方、ステップＳ１５１において、位置合わせを行うと判定された場合、すなわち、例えば、ユーザが、位置合わせを行うように、UI部３５を操作した場合、処理は、ステップＳ１５３に進む。
　ステップＳ１５３では、位置合わせ設定部１１２は、ユーザがUI部３５を操作することにより、3次元空間内の位置を指定したかどうかを判定する。
　ステップＳ１５３において、ユーザが、位置を指定したと判定された場合、処理は、ステップＳ１５４に進む。
　ステップＳ１５４では、位置合わせ設定部１１２は、ユーザが指定した位置を、目標位置に設定し、処理は、ステップＳ１５７に進む。
　また、ステップＳ１５３において、ユーザが、位置を指定していないと判定された場合、処理は、ステップＳ１５５に進む。
　ステップＳ１５５では、位置合わせ設定部１１２は、ユーザがUI部３５を操作することにより、合成対象のストロボモデルＡ及びＢのいずれかを選択したかどうかを判定する。
　ステップＳ１５５において、ユーザが、ストロボモデルＡ及びＢのいずれをも選択していないと判定された場合、処理は、ステップＳ１５３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１５５において、ユーザが、ストロボモデルＡ及びＢのいずれがを選択したと判定された場合、処理は、ステップＳ１５６に進む。
　ステップＳ１５６では、位置合わせ設定部１１２は、ストロボモデルＡ及びＢのうちの、ステップＳ１５５で選択されたと判定されたストロボモデルの位置を、目標位置に設定し、処理は、ステップＳ１５７に進む。
　ステップＳ１５７では、位置合わせ設定部１１２は、ストロボモデルＡ及びＢを目標位置に配置する位置合わせを行うことを設定し、処理は、図３２のステップＳ１６１に進む。
　図３２は、図３１に続くフローチャートである。
　ステップＳ１６１において、位置合わせ設定部１１２は、UI部３５から供給される操作信号に応じて、3Dモデルの位置に基づく表示制御を行うかどうかを判定する。
　ステップＳ１６１において、3Dモデルの位置に基づく表示制御を行わないと判定された場合、すなわち、例えば、ユーザが、3Dモデルの位置に基づく表示制御を行わないように、UI部３５を操作した場合、処理は、ステップＳ１６２に進む。
　ステップＳ１６２では、位置合わせ設定部１１２は、3Dモデルの位置に基づく表示制御が不要であることを設定し、処理は終了する。
　一方、ステップＳ１６１において、3Dモデルの位置に基づく表示制御を行うと判定された場合、すなわち、例えば、ユーザが、3Dモデルの位置に基づく表示制御を行うように、UI部３５を操作した場合、処理は、ステップＳ１６３に進む。
　ステップＳ１６３では、位置合わせ設定部１１２は、ユーザがUI部３５を操作することにより、3次元空間内の（１以上の）位置を指定したかどうかを判定する。
　ステップＳ１６３において、ユーザが、位置を指定したと判定された場合、処理は、ステップＳ１６４に進む。
　ステップＳ１６４では、位置合わせ設定部１１２は、ユーザが指定した位置を、指定位置に設定し、処理は、ステップＳ１６７に進む。
　また、ステップＳ１６３において、ユーザが、位置を指定していないと判定された場合、処理は、ステップＳ１６５に進む。
　ステップＳ１６５では、位置合わせ設定部１１２は、ユーザがUI部３５を操作することにより、合成対象のストロボモデルＡ及びＢのいずれかを選択したかどうかを判定する。
　ステップＳ１６５において、ユーザが、ストロボモデルＡ及びＢのいずれをも選択していないと判定された場合、処理は、ステップＳ１６３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１６５において、ユーザが、ストロボモデルＡ及びＢのいずれがを選択したと判定された場合、処理は、ステップＳ１６６に進む。
　ステップＳ１６６では、位置合わせ設定部１１２は、ストロボモデルＡ及びＢのうちの、ステップＳ１６５で選択されたと判定されたストロボモデルの各3Dモデルの位置を、指定位置に設定し、処理は、ステップＳ１６７に進む。
　ステップＳ１６７では、位置合わせ設定部１１２は、3Dモデルの位置に基づく表示制御として、時間合わせ及び位置合わせ後のストロボモデルＡ及びＢを合成した合成ストロボモデル（を用いて生成される3Dストロボ画像）において、ストロボモデルＡ及びＢの3Dモデルのうちの、指定位置に適合する位置の3Dモデルを表示し、他の3Dモデルを非表示にすることを行うことを設定し、処理は終了する。
　図３３は、図２９のステップＳ１２４の重なり表示制御の設定の処理の例を説明するフローチャートである。
　ステップＳ１８０において、重なり表示制御設定部１１３は、時間合わせ及び位置合わせ後のストロボモデルＡ及びＢにおいて、ストロボモデルＡの3DモデルとストロボモデルＢの3Dモデルとが重なる重複部分があるかどうかを判定する。
　ステップＳ１８０において、重複部分がないと判定された場合、処理は、ステップＳ１８２に進む。
　ステップＳ１８２では、重なり表示制御設定部１１３は、重なり表示制御が不要であることを設定し、処理は終了する。
　また、ステップＳ１８０において、重複部分があると判定された場合、処理は、ステップＳ１８１に進む。
　ステップＳ１８１では、重なり表示制御設定部１１３は、UI部３５から供給される操作信号に応じて、基準ストロボモデルが選択されたかどうかを判定する。
　ステップＳ１８１において、基準ストロボモデルが選択されていないと判定された場合、すなわち、ユーザが、ストロボモデルＡ及びＢのいずれかを、基準ストロボモデルとして選択するように、UI部３５を操作しなかった場合、処理は、ステップＳ１８２に進む。
　ステップＳ１８２では、上述したように、重なり表示制御が不要であることが設定され、処理は終了する。
　また、ステップＳ１８１において、基準ストロボモデルが選択されたと判定された場合、すなわち、ユーザが、ストロボモデルＡ及びＢのいずれかを、基準ストロボモデルとして選択するように、UI部３５を操作した場合、処理は、ステップＳ１８３に進む。
　ステップＳ１８３では、重なり表示制御設定部１１３は、ストロボモデルＡ及びＢのうちの基準ストロボモデルでない方のストロボモデル（他方のストロボモデル）の3Dモデルに対応する対象オブジェクトのパーツが選択されたかどうかを判定する。
　ステップＳ１８３において、パーツが選択されたと判定された場合、すなわち、ユーザが、パーツを選択するように、UI部３５を操作した場合、処理は、ステップＳ１８４に進む。
　ステップＳ１８４では、重なり表示制御設定部１１３は、ユーザが選択したパーツを、重なり表示制御の対象パーツに設定し、処理は、ステップＳ１８５に進む。
　また、ステップＳ１８３において、パーツが選択されなかったと判定された場合、処理は、ステップＳ１８４をスキップして、ステップＳ１８５に進む。
　ステップＳ１８５では、重なり表示制御設定部１１３は、離間表示制御を行うかどうかを判定する。
　ステップＳ１８５において、離間表示制御を行うと判定された場合、すなわち、ユーザが、離間表示制御を行うように、UI部３５を操作した場合、処理は、ステップＳ１８６に進む。
　ステップＳ１８６では、重なり表示制御設定部１１３は、ストロボモデルＡ及びＢのうちの基準ストロボモデルでない他方のストロボモデルについて、基準ストロボモデルとの重なりを検出し、処理は、ステップＳ１８７に進む。
　なお、ステップＳ１８４で対象パーツが設定されている場合、ステップＳ１８６では、他方のストロボモデルの対象パーツについて、基準ストロボモデルとの重なりが検出される。
　ステップＳ１８７では、重なり表示制御設定部１１３は、他方のストロボモデルを、ステップＳ１８６で検出された基準ストロボモデルとの重なりがなくなるまで、基準ストロボモデル及び他方のストロボモデル（ストロボモデルＡ及びＢ）の軌跡ベクトルの外積の方向に移動する離間表示制御を行うことを設定し、処理は終了する。
　一方、ステップＳ１８５において、離間表示制御を行わないと判定された場合、すなわち、ユーザが、離間表示制御を行うように、UI部３５を操作しなかった場合、処理は、ステップＳ１８８に進む。
　ステップＳ１８８では、重なり表示制御設定部１１３は、強調表示制御を行うかどうかを判定する。
　ステップＳ１８８において、強調表示制御を行わないと判定された場合、すなわち、ユーザが、強調表示制御を行うように、UI部３５を操作しなかった場合、処理は終了する。
　また、ステップＳ１８８において、強調表示制御を行うと判定された場合、すなわち、ユーザが、強調表示制御を行うように、UI部３５を操作した場合、処理は、ステップＳ１８９に進む。
　ステップＳ１８９では、重なり表示制御設定部１１３は、ストロボモデルＡ及びＢのうちの基準ストロボモデルでない他方のストロボモデルについて、基準ストロボモデルと重ならない非重複部分を検出し、処理は、ステップＳ１９０に進む。
　なお、ステップＳ１８４で対象パーツが設定されている場合、ステップＳ１８９では、他方のストロボモデルの対象パーツについて、基準ストロボモデルの重ならない非重複部分が検出される。
　ステップＳ１９０では、重なり表示制御設定部１１３は、非重複部分を強調表示する強調表示制御を行うことを設定し、処理は終了する。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した表示制御部３３の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図３４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させる表示制御部を備え、
　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
　表示制御装置。
　＜２＞
　前記目標再生時間は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記ストロボ再生時間である
　＜１＞に記載の表示制御装置。
　＜３＞
　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方を前記3次元空間内の所定の目標位置に配置する位置合わせが行われたストロボモデルである
　＜１＞に記載の表示制御装置。
　＜４＞
　前記目標位置は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記3Dモデルの位置である
　＜３＞に記載の表示制御装置。
　＜５＞
　前記表示制御部は、前記合成ストロボモデルにおける所定の指定位置に適合する位置にある前記3Dモデルを、前記3Dストロボ画像において表示させる
　＜１＞ないし＜４＞のいずれかに記載の表示制御装置。
　＜６＞
　前記指定位置は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記3Dモデルの位置である
　＜５＞に記載の表示制御装置。
　＜７＞
　前記表示制御部は、前記合成ストロボモデルにおける前記第１のストロボモデル及び前記第２のストロボモデルの一方のストロボモデルのうちの、他方のストロボモデルと重ならない部分を前記3Dストロボ画像において強調表示させる
　＜１＞ないし＜６＞のいずれかに記載の表示制御装置。
　＜８＞
　前記表示制御部は、前記一方のストロボモデルのうちの、前記他方のストロボモデルと重ならない部分を、複数のボクセル単位で検出する
　＜７＞に記載の表示制御装置。
　＜９＞
　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方を、前記第１のストロボモデルの3Dモデルの並びと、前記第２のストロボモデルの3Dモデルの並びとが重ならない位置に移動したストロボモデルである
　＜１＞に記載の表示制御装置。
　＜１０＞
　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルそれぞれの、前記3Dモデルの並びを近似する軌跡ベクトルの外積の方向に、前記第１のストロボモデル及び前記第２のストロボモデルの一方のストロボモデルを移動したストロボモデルである
　＜９＞に記載の表示制御装置。
　＜１１＞
　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させることを含み、
　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
　表示制御方法。
　＜１２＞
　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させる表示制御部を備え、
　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
　表示制御装置として、コンピュータを機能させるためのプログラム。
　１１　撮影装置，　１２　コンテンツサーバ，　１３　再生装置，　２１　自由視点データ生成部，　２２　ストロボモデル生成部，　２３　記憶部，　２４，３１　通信部，　３２　記憶部，　３３　表示制御部，　３４　表示部，　３５　UI部，　４１　自由視点画像生成部，　４２　仮想視点設定部，　４３　合成部，　１１１　時間合わせ設定部，　１１２　位置合わせ設定部，　１１３　重なり表示制御設定部，　１１４　記憶部，　１１５　合成ストロボモデル生成部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (12)

  1. 　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させる表示制御部を備え、
    　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
    　表示制御装置。
  2. 　前記目標再生時間は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記ストロボ再生時間である
    　請求項１に記載の表示制御装置。
  3. 　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方を前記3次元空間内の所定の目標位置に配置する位置合わせが行われたストロボモデルである
    　請求項１に記載の表示制御装置。
  4. 　前記目標位置は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記3Dモデルの位置である
    　請求項３に記載の表示制御装置。
  5. 　前記表示制御部は、前記合成ストロボモデルにおける所定の指定位置に適合する位置にある前記3Dモデルを、前記3Dストロボ画像において表示させる
    　請求項１に記載の表示制御装置。
  6. 　前記指定位置は、前記第１のストロボモデル及び前記第２のストロボモデルの一方の前記3Dモデルの位置である
    　請求項５に記載の表示制御装置。
  7. 　前記表示制御部は、前記合成ストロボモデルにおける前記第１のストロボモデル及び前記第２のストロボモデルの一方のストロボモデルのうちの、他方のストロボモデルと重ならない部分を前記3Dストロボ画像において強調表示させる
    　請求項１に記載の表示制御装置。
  8. 　前記表示制御部は、前記一方のストロボモデルのうちの、前記他方のストロボモデルと重ならない部分を、複数のボクセル単位で検出する
    　請求項７に記載の表示制御装置。
  9. 　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方を、前記第１のストロボモデルの3Dモデルの並びと、前記第２のストロボモデルの3Dモデルの並びとが重ならない位置に移動したストロボモデルである
    　請求項１に記載の表示制御装置。
  10. 　前記合成ストロボモデルは、前記第１のストロボモデル及び前記第２のストロボモデルそれぞれの、前記3Dモデルの並びを近似する軌跡ベクトルの外積の方向に、前記第１のストロボモデル及び前記第２のストロボモデルの一方のストロボモデルを移動したストロボモデルである
    　請求項９に記載の表示制御装置。
  11. 　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させることを含み、
    　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
    　表示制御方法。
  12. 　複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置された第１のストロボモデルと第２のストロボモデルとを合成した合成ストロボモデルを仮想カメラで撮影した3Dストロボ画像を表示させる表示制御部を備え、
    　前記合成ストロボモデルは、前記第１のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間と、前記第２のストロボモデルを用いて生成される3Dストロボ画像のストロボ再生時間とが、所定の目標再生時間に一致するように、前記第１のストロボモデル及び前記第２のストロボモデルの一方又は両方の補間及び／又は間引きによる時間合わせが行われたストロボモデルである
    　表示制御装置として、コンピュータを機能させるためのプログラム。
PCT/JP2020/024970 2019-07-08 2020-06-25 表示制御装置、表示制御方法、及び、プログラム WO2021006047A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019126687 2019-07-08
JP2019-126687 2019-07-08

Publications (1)

Publication Number Publication Date
WO2021006047A1 true WO2021006047A1 (ja) 2021-01-14

Family

ID=74114687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024970 WO2021006047A1 (ja) 2019-07-08 2020-06-25 表示制御装置、表示制御方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2021006047A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10172009A (ja) * 1996-12-13 1998-06-26 Hitachi Ltd ３次元ｃｇアニメーション作成装置及び作成方法
WO2018066382A1 (ja) * 2016-10-06 2018-04-12 ソニー株式会社 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
JP2019153863A (ja) * 2018-03-01 2019-09-12 ソニー株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
JP2020086983A (ja) * 2018-11-27 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10172009A (ja) * 1996-12-13 1998-06-26 Hitachi Ltd ３次元ｃｇアニメーション作成装置及び作成方法
WO2018066382A1 (ja) * 2016-10-06 2018-04-12 ソニー株式会社 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
JP2019153863A (ja) * 2018-03-01 2019-09-12 ソニー株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
JP2020086983A (ja) * 2018-11-27 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US9939887B2 (en) Avatar control system
US11257233B2 (en) Volumetric depth video recording and playback
US10659685B2 (en) Control of viewing angles for 360-degree video playback
US9396588B1 (en) Virtual reality virtual theater system
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US8928659B2 (en) Telepresence systems with viewer perspective adjustment
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP3749227B2 (ja) 立体画像処理方法および装置
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020213426A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2019121224A (ja) プログラム、情報処理装置、及び情報処理方法
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR20200057484A (ko) 입체 스트라이크 존 표시 방법 및 장치
CN111712859A (zh) 用于生成视图图像的装置和方法
WO2018173207A1 (ja) 情報処理装置
WO2021006047A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
US20200257112A1 (en) Content generation apparatus and method
US20220206668A1 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
JP7365132B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
US11995784B2 (en) Image processing device and image processing method
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
US20210400255A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20837107

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20837107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP