WO2020032113A1 - 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体 - Google Patents

画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体 Download PDF

Info

Publication number
WO2020032113A1
WO2020032113A1 PCT/JP2019/031151 JP2019031151W WO2020032113A1 WO 2020032113 A1 WO2020032113 A1 WO 2020032113A1 JP 2019031151 W JP2019031151 W JP 2019031151W WO 2020032113 A1 WO2020032113 A1 WO 2020032113A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
model
image
data
input
Prior art date
Application number
PCT/JP2019/031151
Other languages
English (en)
French (fr)
Inventor
山本　智幸
恭平 池田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US17/266,170 priority Critical patent/US20210304494A1/en
Priority to JP2020535842A priority patent/JPWO2020032113A1/ja
Priority to CN201980053488.5A priority patent/CN112567431A/zh
Publication of WO2020032113A1 publication Critical patent/WO2020032113A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Definitions

  • One embodiment of the present invention relates to an image processing device, a display device, an image processing method, a control program, and a recording medium that generate a 3D model based on depth data including different types of depth.
  • DynamicFusion In the field of CG, a method called DynamicFusion for constructing a 3D model (three-dimensional model) by integrating input depths is being studied.
  • the purpose of DynamicFusion is mainly to construct a 3D model in which noise is removed in real time from a captured input depth.
  • an input depth acquired from a sensor is integrated into a common reference 3D model after compensating for deformation of a three-dimensional shape. This enables generation of a precise 3D model from low resolution and high noise depth.
  • Patent Document 1 discloses a technique of outputting an image of an arbitrary viewpoint by inputting a multi-view color image and a corresponding multi-view depth image at a pixel level.
  • JP-A-2013-30898 Japanese Unexamined Patent Publication
  • the depth type cannot be easily determined on the playback device side, and it is difficult to use the depth type to improve the quality of the 3D model and apply it to a user's request.
  • the present invention has been made in view of the above problems, and has as its object to generate and reproduce a 3D model and an image using depth data including depths of different types.
  • an image processing apparatus obtains depth data including a plurality of input depths of different types, which are input depths indicating a three-dimensional shape of an imaging target. And a 3D model generation unit that generates a 3D model by referring to at least one of the plurality of different input depths included in the depth data acquired by the acquisition unit.
  • a 3D data generation device is a device that generates 3D data, and is input with an image acquisition unit that acquires a plurality of depth images from an imaging device.
  • a depth data configuration unit configured to configure depth data using at least one of the plurality of depth images acquired by the image acquisition unit with reference to a user request.
  • a 3D model and an image based on depth data including depths of different types are generated and reproduced.
  • FIG. 1 is a schematic diagram for explaining an outline of a first embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to a first embodiment of the present invention.
  • FIG. 1 is a schematic diagram for explaining an outline of a first embodiment of the present invention.
  • FIG. 3 is a diagram for explaining depth information according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of depth data processed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of depth data processed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of depth data processed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of depth data processed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a
  • FIG. 3 is a block diagram illustrating a configuration of a 3D model generation unit according to the first embodiment of the present invention.
  • FIG. 7 is a diagram for describing derivation of a 3D point group corresponding to depth and integration of depth by the 3D model generation unit according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration example of depth data referred to by a 3D model generation unit according to the first embodiment of the present invention. It is a block diagram showing the composition of the 3D model generation part concerning the modification of Embodiment 1 of the present invention.
  • FIG. 9 is a diagram illustrating a configuration example of depth data referred to by a 3D model generation unit according to a modification of the first embodiment of the present invention.
  • FIG. 7 is a diagram for describing derivation of a 3D point group corresponding to depth and integration of depth by the 3D model generation unit according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration example of depth
  • FIG. 9 is a diagram illustrating a configuration example of depth data referred to by a 3D model generation unit according to a modification of the first embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a configuration example of depth data referred to by a 3D model generation unit according to a modification of the first embodiment of the present invention.
  • FIG. 11 is a diagram for describing depth, which is referred to by a 3D model generation unit according to a modification of the first embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating a configuration of a reproducing unit included in the image processing device according to the second embodiment of the present invention. It is a block diagram showing the composition of the 3D data generation device concerning Embodiment 3 of the present invention.
  • FIG. 1 is a schematic diagram for explaining the outline of the first embodiment of the present invention.
  • the following (1) to (3) are executed as main steps performed by the image processing apparatus in the first embodiment.
  • the image processing apparatus acquires depth data composed of depths of different types.
  • the image processing device refers to the acquired depth data and generates data for extracting a specific type of depth.
  • the image processing apparatus generates a 3D model by extracting and using the depth type from the data configured in (2).
  • FIG. 2 is a block diagram illustrating a configuration of the display device 1 according to the present embodiment.
  • the display device 1 includes an image processing device 2 and a display unit 3.
  • the image processing device 2 includes an image processing unit 4 and a storage unit 5, and the image processing unit 4 includes a reception unit 6, an acquisition unit 7, a reproduction unit 10, a viewpoint depth combination unit 12, and a reproduction viewpoint image combination unit 13. It has.
  • the accepting unit 6 accepts a reproduction viewpoint (information about the reproduction viewpoint) from outside the image processing apparatus 2.
  • the acquisition unit 7 acquires 3D data including a depth data, which indicates a three-dimensional shape.
  • the depth data includes a plurality of input depths of different types and input depth related information represented by camera parameters.
  • the 3D data may additionally include image data to be captured.
  • image data in the specification of the present application indicates an image obtained by photographing a target from a specific viewpoint. Further, the image in the present specification includes a still image and a moving image. The type of the input depth will be described later.
  • the reproducing unit 10 includes the depth extracting unit 8 and the 3D model generating unit 9.
  • the depth extraction unit 8 receives the 3D data from the acquisition unit 7, and extracts a plurality of input depths and camera parameters for each time from the 3D data. The extracted depth for each time and camera parameters are output to the 3D model generation unit 9.
  • the 3D model generation unit 9 generates a 3D model with reference to at least one of a plurality of input depths of different types received from the depth extraction unit 8 and a camera parameter.
  • the 3D model is a model representing a target 3D shape, and is a model of a mesh expression as one mode.
  • a 3D model that does not include color information is also referred to as a colorless model.
  • the viewpoint depth synthesizing unit 12 refers to the reproduction viewpoint received by the reception unit 6 and the 3D model generated by the 3D model generation unit 9 and calculates a reproduction viewpoint depth that is a depth from the reproduction viewpoint to each part of the shooting target. Combine.
  • the playback viewpoint image synthesizing unit 13 refers to the playback viewpoint received by the reception unit 6, the image data acquired by the acquisition unit 7, and the playback viewpoint depth synthesized by the viewpoint depth synthesis unit 12, and performs shooting from the playback viewpoint.
  • a playback viewpoint image indicating the target is synthesized.
  • the display unit 3 displays the playback viewpoint image synthesized by the playback viewpoint image synthesis unit 13.
  • the storage unit 5 stores the 3D model generated by the 3D model generation unit 9.
  • FIG. 3 shows a photographed image, depth data, depth, and depth camera information for each frame.
  • the star mark in the photographed image is the photographing target, and the triangular marks C1 to C4 indicate the photographing device (camera) for photographing the photographing target and the photographing range.
  • the image composed of the depth data D1 and the image composed of D2 to D4 are the depth images acquired by the cameras C1 to C4 in the captured images, respectively.
  • the depth data includes the following information.
  • Depth image an image in which a depth value is assigned to each pixel, each time 0 to Nd sheets
  • Depth information Depth image configuration and additional information for each time Also, the depth information includes the following information.
  • Depth image number Depth partial image information
  • Depth partial image information includes the following information.
  • Depth partial image area position in the depth image
  • Position and orientation of the camera spatial position and orientation of the camera corresponding to the depth partial image
  • Depth type information The orientation of the camera indicates the direction in which the camera is facing, , A vector representing a camera direction in a specific coordinate system, or an angle of the camera direction with respect to a reference direction.
  • the depth type information includes the following information. -Main screen flag-View point group identification information-Rendering method-Projection type-Sampling time
  • Depth type information contains at least one of the main screen flag, viewpoint group identification information, rendering method, projection type, and sampling time. I just need.
  • the depth information is not limited to each time in frame units, but may be stored in sequence units or predetermined time interval units, and may be transmitted from an encoder that encodes an image to a decoder that decodes the image. Further, a configuration may be employed in which depth information received in units of a sequence and a predetermined time section is specified for each frame.
  • DD1 to D4 of the depth are the depths extracted from the depth image of the depth data, respectively.
  • the depth camera information C1 to C4 in FIG. 3 are information on the spatial position and attitude of the camera extracted from the depth data, and C1 to C4 correspond to the depths D1 to D4, respectively.
  • the depth data is configured by a depth data forming unit 44 included in a 3D data generation device 41 described below, and transmitted by the 3D data generation device 41 as 3D data including depth data.
  • the transmitted 3D data is acquired by the acquisition unit 7 of the image processing device 1.
  • a configuration example of the depth data will be described.
  • the depth data acquired by the acquisition unit 7 may be different for each frame unit.
  • 4A shows a configuration example of depth data
  • -NumDepthImage 2 Indicates the number of depth images included in the depth data. Here, it refers to one depth image including the depth D1 and one depth image including the depths D21, D22, D23, and D24, that is, two images in total.
  • -NumDepthPortions: 1 Indicates the number of depths that are assigned to DepthImageInfo [0] and are included in the depth image. Since only the depth D1 is included in the depth image, it is “1”.
  • -DepthPortionInfo [0]: Represents depth information of the depth (depth D1 in this case) included in the depth image, -Size: ⁇ x: 0, y: 0, w: 640, h: 480 ⁇ Indicates that an area in the depth image corresponding to the depth D1 is an area of w ⁇ h pixels with the coordinates (x, y) at the upper left.
  • -Pose Pose (R1, t1) Indicates a camera position and a posture, and is represented by a displacement t1 from the reference position and a rotation R1 from the reference posture.
  • PinHole (520, 520, 320, 240) Indicates that the projection type is projection by a pinhole camera model, and the numbers indicate camera internal parameters.
  • -primary_depth True Is a main screen flag. When the main screen flag is True, the depth is reflected on the main screen. When the flag is False, the depth image is not reflected on the main screen.
  • the main screen is a screen used preferentially in the application, and corresponds to, for example, a screen displayed on the display unit 3 of the display device 1 when there is no explicit instruction of the reproduction viewpoint from the user. .
  • -DepthImageInfo [1] Refers to a depth image including depths D21, D22, D23 and D24
  • the subsequent depth information is the same as the information of the depth image including D1, and thus the description is omitted.
  • the depth data acquired by the acquisition unit 7 includes a plurality of input depths of different types in association with each of a plurality of regions on the depth image.
  • the type of the input depth is distinguished by four rectangular areas on the depth image, and the depth data is configured so that the depth of the same type fits in the rectangular area on the depth image.
  • the type of the input depth is classified depending on, for example, the viewpoint of the camera, the direction in which the camera is facing, whether it is for generating a base model, or for generating a detailed model.
  • the depth data having a configuration in which a plurality of input depths of different types are associated with each of a plurality of regions on the depth image a depth of a specific type can be easily extracted for each region according to the purpose. Therefore, there is no need to perform the process of extracting all the depth partial images, and the processing amount is reduced.
  • the setting of the size and number of the plurality of regions is not particularly limited, but is preferably set for each unit from which the depth can be extracted from the encoded data.
  • a plurality of regions be set as rectangular regions and each region be set as a tile.
  • a depth partial image group can be extracted.
  • the processing data amount and processing time are reduced as compared with the case of decoding.
  • a plurality of regions may be slices in video encoding.
  • the 3D model generation unit 9 may derive the type of each input depth included in the depth data.
  • the type of each input depth is, for example, a type classified according to the viewpoint of the camera, the direction in which the camera is facing, whether it is for generating a base model or for generating a detailed model.
  • the unit 9 derives which type of depth is included in the depth data.
  • the type of the input depth included in the depth data can be determined, and the specific type of input depth can be used for 3D model generation.
  • the 3D model generation unit 9 may derive correspondence information indicating the correspondence between the type of the input depth and the area on the depth image. For example, when the depth data is configured so that the input depth of the same type fits in a rectangular area on the depth image, the correspondence information indicates which type of depth fits in which rectangular area.
  • FIG. 5 shows an example in which depth data is formed by a space.
  • the star mark in FIG. 5 is a photographing target, and the figure shown by a triangle is a camera that photographs the photographing target.
  • FIG. 5A shows an example of the structure of depth data in a case where the space is divided into four equal parts and depths close to the viewpoint of the camera are treated as the same group. For example, since the cameras C2a and C2b have close spatial positions and the viewpoints of the cameras are close, the depths D2a and D2b corresponding to the cameras C2a and C2b, respectively, are configured as the same depth group.
  • the 3D model generation unit 9 derives that the type of the input depth of the present example is a group of depths with close camera viewpoints, and the cameras C2a and C2b with close camera viewpoints have the depths D2a and C2a in the depth data area. It is derived that it corresponds to the area of D2b.
  • FIG. 5B is an example of the configuration of depth data in the case where depths in which the camera is facing are close are treated as the same group.
  • the cameras C1a and C1b have different shooting targets but face the same direction, so that the depths D1a and D1b corresponding to the cameras C1a and C1b, respectively, are configured as the same depth group.
  • FIG. 5C is a configuration example of depth data in a case where the depth includes two types of depths, that is, a depth for generating a base model and a depth for generating a detailed model, and the depth for generating a detailed model is treated as the same group. .
  • the depths D4a, D4b, and D4c corresponding to C4a, C4b, and C4c are treated as the same depth group.
  • the depth for generating a base model is a depth for generating an outline model of an imaging target
  • the depth for generating a detailed model is a depth for generating details of an imaging target as a 3D model. Only the missing shape information is supplemented.
  • the depth data acquired by the acquisition unit 7 is configured such that a plurality of input depths of different types do not change the correspondence between the type of the input depth and the area on the depth image in a predetermined time interval.
  • the depth data is configured so that the spatial configuration of the type of the input depth does not change in a predetermined time section.
  • the module is, for example, a decoder that decodes encoded data.
  • a depth image is decoded using a decoder that decodes encoded data in which random access is set at fixed intervals
  • the spatial configuration of the depth type does not change, the depth of the random access section corresponding to the depth type is not changed. Data can be selected and decoded.
  • the 3D model generation unit 9 may derive the type of each input depth included in the depth data, as in the above (depth data configuration example: spatial alignment).
  • the type of each input depth is, for example, a type classified according to the viewpoint of the camera, the direction in which the camera is facing, whether it is for generating a base model or for generating a detailed model.
  • the unit 9 derives which type of depth is included in the depth data.
  • the type of the input depth included in the depth data can be determined, and the specific type of input depth can be used for 3D model generation.
  • the 3D model generation unit 9 may derive correspondence information indicating the correspondence between the type of the input depth and the area on the depth image.
  • the correspondence information indicates which area on the depth image the input depth type corresponds to in a predetermined time section unit.
  • FIG. 6 shows an example in which depth data is constituted by time intervals.
  • FIG. 6A shows a spatial configuration of a depth type
  • FIG. 6B shows a configuration of depth data in a random access GOP (Group @ of @ Pictures) section.
  • GOP Group @ of @ Pictures
  • I pictures that can be randomly accessed and P pictures that cannot be randomly accessed are periodically arranged in a fixed time section.
  • the spatial configuration of the depth type is not changed from the randomly accessible I picture to the section to the next I picture.
  • the depth data is a depth image composed of the depth D1 corresponding to the camera C1 in FIG.
  • the depth data is composed of a depth image composed of the depth D1 and a depth image composed of the depth D4, and the depth data is updated.
  • the 3D model generation unit 9 derives that the type of the input depth in this example is a depth group in which the viewpoint of the camera is close, and from the first I picture, one of the second I pictures It is derived that up to the previous picture, the cameras C2a and C2b whose camera viewpoints are close correspond to the areas of the depths D2a and D2b in the area of the depth data.
  • Example of depth data configuration arrangement of depth information according to type
  • depth information is arranged in different places such as a sequence unit, a GOP unit, and a frame unit according to the type of depth. That is, the unit to be transmitted differs depending on the type of depth.
  • the arrangement method as an example, the depth information of the depth of the basic type is set in a long time section (for example, a sequence unit), and the depth information of the other types of depth is set in a short time section (for example, a frame unit). Be placed.
  • FIG. 7 shows an example in which depth information is arranged according to the type of depth.
  • the upper 3D data shown in FIG. 7 is depth data acquired from the 3D data generation device 41.
  • depth data depth information, base depth data, and detailed depth data are stored in different locations for each type. I have.
  • the lower 3D data (for base reproduction) shown in FIG. 7 is depth data for generating a base model, and is depth data obtained by extracting depth information and depth information in sequence units from the upper 3D data.
  • the depth information is arranged in different places such as the sequence unit, the GOP unit, and the frame unit according to the type of the depth, so that the base model depth is synthesized based on the sequence unit depth information, and 3D
  • the model generation unit 9 can generate an outline of the 3D model with a small processing amount. Therefore, even a playback terminal having low processing performance can play back the 3D model, and can play back the 3D model at high speed.
  • depth information applied to a long section is included in a system layer such as a content MPD (Media Presentation Presentation) corresponding to MPEG-DASH, and depth information applied to a short section is included in, for example, SEI (Supplemental Enhancement Information).
  • SEI Supplemental Enhancement Information
  • Such a configuration may be included in the information of the coding layer.
  • FIG. 8 shows a block diagram of the 3D model generation unit 9.
  • the 3D model generation unit 9 includes a projection unit 20 and a depth integration unit 21.
  • the depth and the depth type information are input to the projection unit 20.
  • the projection unit 20 converts each input depth into a 3D point group with reference to the depth type information, and outputs the 3D point group and the depth type information to the depth integration unit 21.
  • the depth integration unit 21 generates and outputs a 3D model at each time by integrating a plurality of 3D point groups input from the projection unit 20 with reference to the depth type information.
  • the 3D model is a model including at least target shape information, and is a model of a mesh expression having no color information (colorless model) as one mode. Specific processing performed by the projection unit 20 and the depth integration unit 21 will be described below.
  • FIG. 9 is a diagram for describing derivation of a 3D point cloud corresponding to depth and integration of depth.
  • the projection unit 20 executes the following for each pixel constituting the depth corresponding to the depth. Convert the pixel position (u, v) of the target pixel and the depth value recorded in the pixel into three-dimensional spatial coordinates (x, y, z) to derive a 3D spatial position. Convert the 3D space position in the camera coordinate system to the 3D space position in the global coordinate system using the camera posture direction corresponding to the depth image.
  • the depth integration unit 21 integrates the 3D point cloud using the depth type information in the following procedure.
  • TSDF Truncated ⁇ Signature ⁇ Distance ⁇ Function indicates the distance from the surface of the object.
  • the TSDF and weight of the voxel including the target 3D point are updated.
  • -Weight_sum weight_sum + weight
  • the depth type included in the depth data will be described.
  • the depth data of this example includes a main viewpoint depth, which is a depth corresponding to an important viewpoint position (main viewpoint) during 3D model reproduction, and other sub-viewpoint depths.
  • the important viewpoint position is, for example, a specified viewpoint position during 3D model reproduction or an initial viewpoint position.
  • the depth integration unit 21 processes the primary viewpoint depth in preference to the secondary viewpoint depth.
  • the depth integration unit 21 preferentially processes the main viewpoint depth over the sub viewpoint depth, thereby generating a 3D model with high quality when viewed from the vicinity of the main viewpoint with low delay. be able to.
  • the processing procedure of this example is as follows.
  • the depth integration unit 21 generates and presents a 3D model using only the main viewpoint depth.
  • the depth integration unit 21 generates a 3D model using the main viewpoint depth and the sub viewpoint depth, and replaces the generated 3D model with the presented 3D model.
  • the main viewpoint is the initial viewpoint
  • the range in which the viewpoint can move is limited. Therefore, even if a 3D model is generated only with the main viewpoint depth that is closely related to the 3D model viewed from the main viewpoint, the deterioration of the quality does not occur. small.
  • the depth integration unit 21 generates a 3D model by giving priority to the main viewpoint depth over the sub viewpoint depth.
  • Weights based on the viewpoint depth or the sub viewpoint depth are added, and a larger weight is set for the main viewpoint depth.
  • the identification information of the main viewpoint / sub-view depth is not explicitly transmitted, and the depth of the area including the upper left pixel of the first depth in the decoding order is regarded as the main viewpoint depth, and the other depths are regarded as the sub-view depth. Is also good.
  • the depth can be generated in a shorter decoding order to generate the 3D model with a smaller delay. can do.
  • the depth data of the present example includes a depth for generating a base model and a depth for generating a detailed model.
  • the base model generation depth is also referred to as base depth
  • the detailed model generation depth is also referred to as detailed depth.
  • the base depth data corresponds to a depth image captured from a fixed or continuously changing viewpoint position.
  • the detailed depth data may take different viewpoints and projection parameters at each time.
  • the base depth can be reproduced as a grayscale video, and the photographing target can be confirmed without integrating the 3D model.
  • the base depth data can be easily used for other purposes such as color image segmentation.
  • the lack of shape information can be supplemented with only the base depth, and the quality of the 3D model can be improved.
  • FIG. 10 shows a captured image for each frame and depth data when the depth data includes a base depth and a detailed depth.
  • the camera C1 is at a fixed position even when the frame changes, and the base depth D1 corresponding to the camera C1 is also fixed.
  • the number and position of the cameras other than the camera C1 change for each frame, and the detailed depths D2 to D6 corresponding to the cameras C2 to C6 other than the camera C1 change with the frame.
  • FIG. 11 is a block diagram illustrating a configuration of the 3D model generation unit 9 according to the present modification.
  • the 3D model generation unit 9 includes a detailed depth projection unit 30, a detailed depth integration unit 31, a base depth projection unit 32, and a base depth integration unit 33.
  • the base depth projection unit 32 converts the input base depth into a 3D point cloud with reference to the depth type information, and outputs the 3D point group to the base depth integration unit 33.
  • the base depth integration unit 33 generates a base model by integrating the input plurality of 3D point groups and depth type information, and outputs the base model to the detailed depth integration unit 31.
  • the detailed depth projection unit 30 converts the input detailed depth into a 3D point group with reference to the depth type information, and outputs the converted 3D point group to the detailed depth integrating unit 31.
  • the detailed depth integration unit 31 generates a 3D model by integrating the 3D point group input from the detailed depth projection unit 30, the depth type information, and the 3D point group input from the base depth integration unit. Output.
  • FIG. 12 is a diagram for explaining depth data when images are taken by two cameras having different resolutions, that is, depth ranges.
  • D1 is a depth with a sampling interval of 1 mm
  • D2 is a depth with a sampling interval of 4 mm.
  • D1 and D2 overlaps, it is possible to acquire the depth of the detailed shape of the photographing target, which cannot be acquired only by the camera corresponding to D2.
  • the 3D model generating unit 9 creates shape information of a wide area of the imaging target as a depth image having a depth value of a wide range, and generates a depth image having a wide range of depth values. Shape information can be created as a depth image of a narrow range. As a result, a 3D model that reproduces the shape outline and the shape details of the specific area can be generated.
  • the method using the base depth and the detailed depth described with reference to FIG. 11 and the method using a different depth range can be used in combination.
  • the base depth using a fixed wide depth value range, by using a variable narrow depth value range in the detailed depth, obtain the information of the target shape outline in the base depth,
  • the information of the shape details of the target can be acquired by the detail depth. That is, the entire 3D model can be expressed only with the base depth, and scalability of reproducing the shape details can be realized by adding the detailed depth.
  • the depth data of this example includes a depth to which the same time as that of the frame is added, and a depth to which a reference time different from that of the frame is added.
  • the depth given the same time as that of the frame is used as a deformation compensation depth for deforming the 3D model.
  • a depth to which a reference time different from that of the frame is added is used for generating a 3D model as a depth for constructing a reference model.
  • a depth at a time at which a 3D model can be generated with high accuracy is selected and deformed using the deformation compensation depth to generate a 3D model with few holes caused by occlusion. it can.
  • FIG. 13 is a diagram for explaining depth data including depth to which the same time as a frame is added and depth to which a reference time different from that of a frame is added in this example.
  • the depth D1 is used for deforming the 3D model
  • the depths D2 to D5 are used for generating the 3D model.
  • the depth data includes depths at different sampling times.
  • depth type sampling time (part 1)
  • the depth data includes a depth provided with the same time as the frame and a depth provided with a reference time different from the frame. is there.
  • the difference is that, in this example, the depth given the same time as the frame is used as the depth for the main viewpoint detail, and the depth given the reference time different from the frame is used as the base depth.
  • the base depth is used for base model construction in a frame at a time that matches the given time.
  • FIG. 14 is a diagram for explaining depth data including depth provided with the same time as the frame and depth provided with a reference time different from that of the frame in this example.
  • the depth data includes a depth created from a different projection.
  • the projection determines the correspondence between points in space and pixel positions of the camera. Conversely, when the projections are different, the points of the space corresponding to the pixels are different even if the camera position and the pixel position are the same.
  • the projection is determined by a combination of a plurality of camera parameters, and includes, for example, a camera angle of view, a resolution, a projection method (for example, a pinhole model, a cylindrical projection, etc.), a projection parameter (focal length, a camera optical axis center corresponding point on an image, Position).
  • the projection it is possible to control the range of a target that can be photographed with an image even at the same resolution. Accordingly, since the depth data includes depths created by different projections, information of necessary shape data can be expressed by a small number of depths according to the arrangement of the shooting target, so that the data amount of the depth data can be reduced. .
  • FIG. 15 shows depths created by a plurality of different projections in this example.
  • a mark indicates an imaging target, and there are two imaging targets.
  • the depth data of FIG. 15 includes a depth D3 corresponding to an image captured by a wide-angle camera (image captured by wide-angle projection) that shows the entire two imaging objects, and an image captured by a narrow-angle camera (images obtained by narrow-angle projection) that shows the respective imaging objects. (Depths D1 and D2) corresponding to captured images.
  • the depth data includes the depth of the wide-angle projection that shows the entire shooting target and the depth of the narrow-angle projection that shows the individual shooting targets. The positional relationship and the detailed shape of each photographing target can be reproduced simultaneously.
  • FIG. 16 is a block diagram illustrating the configuration of the playback unit 10 according to the present embodiment.
  • the reproducing unit 10 according to the present embodiment includes a depth extracting unit 8 and a 3D model generating unit 9 as in the first embodiment, but the depth extracting unit 8 includes, in addition to the 3D data, Is also input, and the 3D model generation unit 9 generates a 3D model with further reference to the user request.
  • the user request is, for example, as follows.
  • the reproducing unit 10 constructs a 3D model using only the base depth (base model construction) in accordance with a user request (viewpoint position), and constructs a 3D model using both the base depth and the detailed depth (detailed model construction). ) And switch.
  • base model construction may be applied when the viewpoint position is far from the imaging target
  • detailed model construction may be applied when the viewpoint position is near the imaging target.
  • the depth extraction unit 8 switches between the base model construction and the detailed model construction according to the user's viewpoint position and applies the switching between the base model construction and the detailed model construction. Can be. Further, the quality of the base model is lower than that of the detailed model, but it is effective when the viewpoint position of the user is far, since the quality degradation when the viewpoint image is synthesized is low. Conversely, when the viewpoint positions are close, a high-quality model can be reproduced by applying the detailed model construction.
  • the specific procedure of this example is as follows. -Deriving the distance between the viewpoint position specified by the user request and the position of the shooting target-Example of the position of the shooting target: -Median value or average value of the position of points in 3D space corresponding to the depth value of the main depth-Comparison of the distance between the model representative position and viewpoint position received separately, the position of the shooting target, and a predetermined threshold value of the distance If it is less than the threshold, build a detailed model; if it is more than the threshold, build a base model.
  • the viewpoint position requested by the user is a viewpoint position requested by the user in reproduction, and does not necessarily need to be the user viewpoint position at each time.
  • the user can set a viewpoint position at a predetermined time interval and set another viewpoint position as a viewpoint to be generated at each time.
  • the user request is a viewpoint position and a device performance request
  • the reproducing unit 10 selects a base depth and a detailed depth according to the user request and synthesizes a 3D model.
  • the reproducing unit 10 gives the highest priority to using the number of depths that satisfies the device performance requirements, and then selects and uses the depth in the order of the base depth and the depth closer to the viewpoint.
  • a high-quality 3D model can be constructed from the user's point of view within a range that the device performance satisfies.
  • Depth extraction unit 8 determines the number of depths or the number of depth pixels that can be processed based on device performance requirements.
  • the 3D model generation unit 9 constructs the 3D model. Construction
  • the proximity between the depth and the viewpoint is a distance between a representative position (average, median value, corresponding point position of the central pixel, etc.) of a point in the 3D space corresponding to the depth pixel and the viewpoint.
  • the priority may be determined using the optical axis direction of the camera corresponding to each depth as the priority of selection of the base depth and the detailed depth. Specifically, a vector having a small angle between the vector from the user viewpoint to the depth representative point and the camera optical axis vector (vector from the camera position) may be preferentially selected.
  • FIG. 17 is a block diagram illustrating a configuration of the 3D data generation device according to the present embodiment.
  • the 3D data generation device 41 includes an image acquisition unit 42, a depth image group recording unit 43, a depth data configuration unit 44, a user request processing unit 45, and a 3D data integration unit 46.
  • the image acquisition unit 42 acquires a plurality of depth images input from an imaging device such as a camera that captures an imaging target.
  • the image acquisition unit 42 outputs the input depth image to the depth image group recording unit 43.
  • the depth image group recording unit 43 records the depth image input from the image acquisition unit 42.
  • the recorded depth image is appropriately output to the depth data forming unit 44 according to a signal from the user request processing unit 45.
  • the user request processing unit 45 starts processing according to a user request. For example, the following process is performed by the depth data forming unit 44 and the 3D data integrating unit 46 for each reproduction time.
  • the depth data configuration unit 44 configures depth data including a plurality of depths of different types using at least one of the depth images recorded in the depth image group recording unit 43 with reference to the user request.
  • the 3D data integration unit 46 integrates the depth data and outputs it as 3D data. Note that the image acquisition unit 42 does not necessarily acquire the depth image for each user request, but acquires the necessary depth image in advance and acquires the depth image. A configuration in which the information is recorded in the group recording unit 43 may be used.
  • the depth data forming unit 44 selects the depth included in the 3D data generated according to the viewpoint position of the user, and forms the depth data. Specifically, when the distance between the photographing target and the user is large, the depth data forming unit 44 includes a large number of depths facing the user among the depths of the photographing target, and includes depths in other directions. Composes relatively little depth data.
  • the depth data forming unit 44 selects the depth in which direction to use as the depth forming the depth image according to the user's viewpoint position. It is possible to generate a 3D model in which the quality of a portion observed from the position periphery is high.
  • a viewpoint depth image is recorded.
  • the depth data forming unit 44 selects a depth according to the following a to c methods according to the distance between the user's viewpoint and the shooting target.
  • the main viewpoint depth is a depth corresponding to an important viewpoint position (main viewpoint) at the time of reproducing the 3D model
  • the sub viewpoint depth is a depth corresponding to other than the main viewpoint.
  • the distance between the user's viewpoint and the shooting target is less than 1 Main viewpoint depth: distance 1, depth in the nearest direction Secondary viewpoint depth: distance 4 between the user viewpoint and the object to be photographed is less than 3 Main viewpoint depth: distance 3, distance in the nearest direction Depth Secondary viewpoint depth: Depth in the nearest direction at distance 1 + Depth in the proximal direction at distance 3 c) Distance between the user viewpoint and the shooting target is 3 or more Primary viewpoint depth: Distance 5, depth in the nearest direction Viewing depth: depth in the nearest direction at distances 1 and 3 + depth in the proximity direction at distance 3 (control of transmission area)
  • the user is a content provider
  • the depth data configuration unit 44 configures the depth data by selecting the depth to be included in the 3D data according to the request of the content provider.
  • the depth data forming unit 44 selects a depth including 3D data in response to a request from the content provider, thereby excluding a depth including a specific area in the 3D model to be restored from the 3D data.
  • a 3D model in which the region is not reproduced can be constructed.
  • the depth data forming unit 44 increases the depth of the shooting target to which the viewer who views the reproduced 3D model is to pay attention, and reduces the depth of the other shooting targets, thereby maintaining the data amount and maintaining the data amount.
  • the target 3D model can be restored with high accuracy.
  • Examples of the specific area include, but are not limited to, an area that the content creator does not want the viewer to see, an area where only specific users such as confidential information can be viewed, and a user such as sexual and violence should be viewed There is an area that is determined not to be.
  • control block (3D model generation unit 9) of the image processing device 2 and the control block (particularly, the depth data configuration unit 44) of the 3D data generation device 41 are logic circuits (hardware) formed on an integrated circuit (IC chip) or the like. ) Or by software.
  • the image processing device 2 and the 3D data generation device 41 include a computer that executes instructions of a program that is software for realizing each function.
  • This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the program. Then, in the computer, the object of the present invention is achieved by the processor reading the program from the recording medium and executing the program.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium include “temporary tangible media” such as ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, and programmable logic circuits. Further, a RAM (Random Access Memory) for expanding the program may be further provided.
  • the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the image processing device is an acquisition unit that acquires depth data including a plurality of input depths of different types, which are input depths indicating a three-dimensional shape of an imaging target, and an acquisition unit that acquires the depth data.
  • a 3D model generation unit that generates a 3D model by referring to at least one of the plurality of different input depths included in the depth data.
  • a plurality of input depths of different types are associated with each of a plurality of regions on a depth image. May be included.
  • the image processing apparatus is the image processing apparatus according to aspect 2, wherein the depth data acquired by the acquisition unit includes a plurality of input depths of different types in a predetermined time interval. , May be included so that the correspondence with the area on the depth image does not change.
  • the 3D model generation unit derives association information indicating association between the type of the input depth and an area on the depth image. Is also good.
  • the 3D model generation unit may derive a type of each input depth included in the depth data.
  • the image processing apparatus in any one of the aspects 1 to 5, wherein the 3D model generation unit converts each input depth included in the depth data into a 3D point group, A depth integration unit that generates each time 3D model from the 3D point group with reference to the type of the input depth may be provided.
  • the 3D model generation unit may generate a 3D model by further referring to a user request.
  • the 3D data generation device is a device that generates 3D data, and refers to an image acquisition unit that acquires a plurality of depth images from an imaging device, A depth data forming unit configured to form depth data including a plurality of depths of different types using at least one of the plurality of depth images acquired by the image acquiring unit.
  • the image processing apparatus may be realized by a computer.
  • the computer is operated as each unit (software element) included in the image processing apparatus, so that the image processing apparatus is provided to the computer.
  • the present invention also includes a control program for an image processing apparatus to be realized by a computer, and a computer-readable recording medium on which the program is recorded.
  • Image processing device 7 Acquisition unit 9 3D model generation unit 20 Projection unit 21 Depth integration unit 41 3D data generation device 42 Image acquisition unit 44 Depth data configuration unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像を生成し、再生することを目的とする。画像処理装置（２）は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部（７）と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部（９）とを備える。

Description

画像処理装置、３Ｄデータ生成装置、制御プログラム及び記録媒体
　本発明の一態様は、異なる種別のデプスを含むデプスデータによる３Ｄモデルを生成する画像処理装置、表示装置、画像処理方法、制御プログラム及び記録媒体に関する。
　ＣＧの分野では、入力デプスを統合することで３Ｄモデル（３次元モデル）構築するＤｙｎａｍｉｃＦｕｓｉｏｎという手法が検討されている。ＤｙｎａｍｉｃＦｕｓｉｏｎの目的は、主に、撮影した入力デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。ＤｙｎａｍｉｃＦｕｓｉｏｎでは、センサから取得される入力デプスを３次元形状の変形を補償した上で共通の参照３Ｄモデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。
　また、特許文献１には、多視点カラー画像と、画素レベルで対応する多視点デプス画像とを入力することで任意視点の画像を出力する技術が開示されている。
日本国公開特許公報「特開２０１３－３０８９８号公報」
　しかしながら、上述のような従来技術は、デプスデータを受信して３Ｄモデルを構築するシステムにおいて、利用されるデプスデータの種別が限定されており、撮影対象及びユーザの要求に合致した種別のデプスを用いてデプスデータが構築できないという問題がある。
　また、デプスデータが複数のデプスを含む場合であっても、デプス種別が再生装置側で容易に判別できず、３Ｄモデルの品質向上及びユーザの要求への適用に利用することが困難である。
　本発明は、上記の問題点に鑑みてなされたものであり、種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像の生成と再生を目的とする。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスの少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部とを備えている。
　上記の課題を解決するために、本発明の一態様に係る３Ｄデータ生成装置は、３Ｄデータを生成する装置であって、撮像機器から複数のデプス画像を取得する画像取得部と、入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いてデプスデータを構成するデプスデータ構成部とを備えている。
　本発明の一態様によれば、種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像を生成し、再生する。
本発明の実施形態１の概要を説明するための概略図である。 本発明の実施形態１に係る表示装置の構成を示すブロック図である。 本発明の実施形態１の概要を説明するための概略図である。 本発明の実施形態１のデプス情報を説明するための図である。 本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。 本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。 本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。 本発明の実施形態１に係る３Ｄモデル生成部の構成を示すブロック図である。 本発明の実施形態１に係る３Ｄモデル生成部による、デプスに対応する３Ｄ点群の導出及びデプスの統合を説明するための図である。 本発明の実施形態１に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。 本発明の実施形態１の変形例に係る３Ｄモデル生成部の構成を示すブロック図である。 本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。 本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。 本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。 本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスを説明するための図である。 本発明の実施形態２に係る画像処理装置が備える再生部の構成を示すブロック図である。 本発明の実施形態３に係る３Ｄデータ生成装置の構成を示すブロック図である。
　以下、本発明の実施形態について、詳細に説明する。
　＜実施形態１＞
　まず、本発明の実施形態１の概要について図１を参照して説明する。図１は、本発明の実施形態１の概要を説明するための概略図である。実施形態１において画像処理装置が行う主な工程としては、以下の（１）～（３）が実行される。
　（１）画像処理装置は、種別が異なるデプスから構成されるデプスデータを取得する。
　（２）画像処理装置は、取得したデプスデータを参照し、特定種別のデプスの抽出をするためのデータを生成する。
　（３）画像処理装置は、（２）で構成したデータからデプス種別を抽出し、利用することにより、３Ｄモデルを生成する。
　〔画像処理装置〕
　本実施形態に係る画像処理装置２について、図２を参照して詳細に説明する。図２は、本実施形態に係る表示装置１の構成を示すブロック図である。図２に示すように、表示装置１は、画像処理装置２及び表示部３を備えている。画像処理装置２は、画像処理部４及び記憶部５を備えており、画像処理部４は、受付部６、取得部７、再生部１０、視点デプス合成部１２、及び再生視点画像合成部１３を備えている。
　受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける。
　取得部７は、３次元形状を示す、デプスデータを含む３Ｄデータを取得する。デプスデータは、種別の異なる複数の入力デプス、および、カメラパラメータに代表される入力デプスの関連情報を含む。３Ｄデータは、撮影対象の画像データを追加で含んでいてもよい。なお、本願明細書における用語「画像データ」とは、特定の視点から対象を撮影した画像を示す。また、本願明細書における画像は、静止画像及び動画像を含む。入力デプスの種別については、後述する。
　再生部１０は、デプス抽出部８及び３Ｄモデル生成部９を備える。
　デプス抽出部８は、取得部７から３Ｄデータを受け取り、３Ｄデータから時刻毎の複数の入力デプスと、カメラパラメータとをそれぞれ抽出する。抽出した、時刻毎のデプスと、カメラパラメータとは、３Ｄモデル生成部９に出力される。
　３Ｄモデル生成部９は、デプス抽出部８から受け取った種別の異なる複数の入力デプスのうち少なくとも何れかと、カメラパラメータとを参照して３Ｄモデルを生成する。ここで、３Ｄモデルとは、対象の３Ｄ形状を表すモデルであり、一形態としてメッシュ表現のモデルである。特に、色情報を含まない３Ｄモデルを無色モデルとも呼称する。
　視点デプス合成部１２は、受付部６が受け付けた再生視点と、３Ｄモデル生成部９が生成した３Ｄモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する。
　再生視点画像合成部１３は、受付部６が受け付けた再生視点と、取得部７が取得した画像データと、視点デプス合成部１２が合成した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する。
　表示部３は、再生視点画像合成部１３が合成した再生視点画像を表示する。
　記憶部５は、３Ｄモデル生成部９が生成した３Ｄモデルを記憶する。
　（画像処理方法）
　本実施形態に係る画像処理装置２による画像処理方法について、図３を参照して説明する。図３は、フレーム毎の撮影イメージ、デプスデータ、デプス及びデプスカメラ情報を示す。
　撮影イメージの☆マークは撮影対象であり、Ｃ１～Ｃ４の三角形マークは撮影対象を撮影するための撮像機器（カメラ）と撮影範囲を示している。フレームｔ＝３において、デプスデータのＤ１から構成される画像、Ｄ２～Ｄ４から構成される画像は、それぞれ、撮影イメージにおけるカメラＣ１～Ｃ４が取得したデプス画像である。デプスデータには、以下の情報が含まれる。
・デプス画像：各画素にデプス値が割り当てられた画像、各時刻０～Ｎｄ枚
・デプス情報：時刻毎のデプス画像の構成及び付加情報
また、デプス情報には、以下の情報が含まれる。
・デプス画像枚数
・デプス部分画像情報
デプス部分画像情報には、以下の情報が含まれる。
・デプス部分画像領域：デプス画像内の位置
・カメラの位置及び姿勢：デプス部分画像に対応するカメラの空間位置及び姿勢
・デプス種別情報
カメラの姿勢とは、カメラの向いている方向を表し、例えば、特定の座標系におけるカメラ方向を表すベクトルや、基準方向に対するカメラ方向の角度により表現される。
デプス種別情報には以下の情報が含まれる。
・主画面フラグ
・視点グループ識別情報
・レンダリング方法
・プロジェクション種別
・サンプリング時刻
デプス種別情報には、主画面フラグ、視点グループ識別情報、レンダリング方法、プロジェクション種別及びサンプリング時刻のうち少なくとも１つが含まれていればよい。
　デプス情報は、フレーム単位で時刻毎に限らず、シーケンス単位又は所定の時間区間の単位に納められ、画像を符号化するエンコーダから画像を復号するデコーダへ送信される構成でもよい。また、シーケンス及び所定の時間区間単位で受信したデプス情報を、フレーム毎に指定する構成でもよい。
　デプスのＤ１～Ｄ４は、それぞれデプスデータのデプス画像から抽出したデプスである。
　また、図３のデプスカメラ情報Ｃ１～Ｃ４は、デプスデータから抽出した、カメラの空間位置及び姿勢の情報であり、Ｃ１～Ｃ４それぞれが、デプスのＤ１～Ｄ４と対応する。
　デプスデータは、後述する３Ｄデータ生成装置４１が備えるデプスデータ構成部４４によって構成され、３Ｄデータ生成装置４１によって、デプスデータを含む３Ｄデータとして送信される。送信された３Ｄデータは、画像処理装置１の取得部７が取得する。以下に、デプスデータの構成例について記載する。
　（デプスデータ構成例：フレーム単位）
　取得部７が取得するデプスデータは、フレーム単位毎に異なっていてもよい。図４（ａ）は、デプスデータの構成例、図４（ｂ）は、フレームｔ＝３におけるデプス情報、図４（ｃ）は、フレームｔ＝５におけるデプス情報を示す。
　本例のデプスデータ構成について、図４（ａ）に示すｔ＝３のときのデプスデータと、図４（ｂ）のデプス情報とを参照して説明する。
‐ＮｕｍＤｅｐｔｈＩｍａｇｅ：２
は、デプスデータに含まれるデプス画像の枚数を示す。ここでは、デプスＤ１を含むデプス画像１枚と、デプスＤ２１、Ｄ２２、Ｄ２３及びＤ２４を含むデプス画像１枚の計２枚を指す。
‐ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［０］：
は、デプスＤ１を含むデプス画像を指し、
‐ＮｕｍＤｅｐｔｈＰｏｒｔｉｏｎｓ：１
は、ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［０］が割り当てられデプス画像に含まれるデプスの数を示す。デプス画像に含まれるのは、デプスＤ１のみであるため、「１」である。
‐ＤｅｐｔｈＰｏｒｔｉｏｎＩｎｆｏ［０］：
は、デプス画像に含まれるデプス（ここではデプスＤ１）のデプス情報を表し、
‐ｓｉｚｅ：｛ｘ：０，ｙ：０，ｗ：６４０，ｈ：４８０｝
は、デプスＤ１に相当するデプス画像中の領域が座標（ｘ，ｙ）を左上とするｗ×ｈ画素の領域であることを示す。
‐ｐｏｓｅ：Ｐｏｓｅ（Ｒ１，ｔ１）
は、カメラ位置、姿勢を示し、基準位置から変位ｔ１、基準姿勢からの回転Ｒ１で表される。
‐ｐｒｏｊｅｃｔｉｏｎ：ＰｉｎＨｏｌｅ（５２０，５２０，３２０，２４０）
は、プロジェクション種別がピンホールカメラモデルによる投影であることを示し、数字は、カメラ内部パラメータを示す。ここで、カメラ内部パラメータは、ｆｘ＝ｆｙ＝５２０、ｃｘ＝３２０、ｃｙ＝２４０である。
-ｐｒｉｍａｒｙ＿ｄｅｐｔｈ：Ｔｒｕｅ
は、主画面フラグであり、主画面フラグがＴｒｕｅである場合は、デプスが主画面に映り、Ｆａｌｓｅである場合は、デプス画像が主画面に映らないことを示す。ここで、主画面とは、アプリケーションにおいて優先的に使用される画面であり、例えば、ユーザからの明示的な再生視点の指示がない場合に表示装置１の表示部３が表示する画面に対応する。
　また、同様に、
‐ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［１］：
は、デプスＤ２１、Ｄ２２、Ｄ２３及びＤ２４を含むデプス画像を指し、
‐ＮｕｍＤｅｐｔｈＰｏｒｔｉｏｎｓ：４
は、ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［１］が割り当てられたデプス画像に、Ｄ２１、Ｄ２２、Ｄ２３及びＤ２４の４つのデプスが含まれるため「４」である。以降のデプス情報は、Ｄ１を含むデプス画像の情報と同様であるため説明を省略する。
　（デプスデータ構成例：空間アラインメント）
　取得部７が取得するデプスデータには、種別の異なる複数の入力デプスがデプス画像上の複数の領域の各々に対応付けて含まれている。例えば、入力デプスの種別は、デプス画像上の４つの矩形領域によって区別されており、同一種別のデプスが、デプス画像上の矩形領域に収まるようにデプスデータが構成される。入力デプスの種別は、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによって種別がわけられる。
　このように種別の異なる複数の入力デプスがデプス画像上の複数の領域の各々に対応づけられた構成のデプスデータを使用することにより、目的に応じて特定種別のデプスを領域毎に容易に抽出して処理することができるため、全てのデプス部分画像を抽出する処理が不要となり、処理量が軽減するという効果を奏する。
　複数の領域の大きさ及び数等の設定については、特に限定されないが、符号化されたデータからデプスを抽出できる単位毎に設定されることが好ましい。例えば、複数の領域を矩形領域とし、それぞれの領域をタイルとして設定されることが好ましい。このように矩形領域を映像符号化（例えばHEVC: High Efficient Video Coding）におけるタイルと一致させることで、当該タイルのみを復号することで、デプス部分画像群を抽出することができるため、画像全体を復号する場合に比べて処理データ量及び処理時間が軽減する。また、例えば、複数の領域を映像符号化におけるスライスとしてもよい。
　３Ｄモデル生成部９は、デプスデータに含まれる各入力デプスの種別を導出してもよい。
　各入力デプスの種別とは、上述したように、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによってわけられた種別であり、３Ｄモデル生成部９は、デプスデータに、どの種別のデプスが含まれるかを導出する。
　このような構成により、デプスデータに含まれる入力デプスの種別を判定することができ、特定種別の入力デプスを３Ｄモデル生成に利用することができる。
　また、３Ｄモデル生成部９は、入力デプスの種別と、デプス画像上の領域との対応付けを示す対応情報を導出してもよい。例えば、入力された同一種別のデプスが、デプス画像上の矩形領域に収まるようにデプスデータが構成される場合、対応情報は、どの種別のデプスが、どの矩形領域に収まっているかを示す。
　このような構成により、入力デプスの種別が、どのデプス画像上の領域に対応するか判断することができる。
　デプス種別とデプスデータ構成例について以下に説明する。図５は、空間によってデプスデータが構成される例を示す。図５の★マークは撮影対象であり、三角形で示される図形は撮影対象を撮影するカメラである。図５（ａ）は、空間を４等分した上で、カメラの視点が近いデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ２ａ及びＣ２ｂは、空間位置が近く、カメラの視点が近いため、カメラＣ２ａ及びＣ２ｂそれぞれに対応するデプスＤ２ａ及びＤ２ｂは、同一のデプスのグループとして構成されている。３Ｄモデル生成部９は、本例の入力デプスの種別が、カメラの視点が近いデプスのグループであることを導出し、カメラ視点が近いカメラＣ２ａ及びＣ２ｂが、デプスデータの領域中のデプスＤ２ａ及びＤ２ｂの領域に対応することを導出する。
　図５（ｂ）は、カメラの向いている方向が近いデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ１ａ及びＣ１ｂは、撮影対象は異なるが、同じ方向を向いているため、カメラＣ１ａ及びＣ１ｂそれぞれに対応するデプスＤ１ａ及びＤ１ｂは、同一のデプスのグループとして構成されている。
　図５（ｃ）は、デプスにベースモデル生成用デプス及び詳細モデル生成用デプスの２種類のデプスが含まれ、詳細モデル生成用のデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ４ａ、Ｃ４ｂ、及び、Ｃ４ｃは、全て詳細モデル生成用のデプスであるため、Ｃ４ａ、Ｃ４ｂ、及び、Ｃ４ｃに対応するデプスＤ４ａ、Ｄ４ｂ、及び、Ｄ４ｃは、同一のデプスのグループとして扱う。ベースモデル生成用デプスは、撮影対象の概形モデルを生成するためのデプスであり、詳細モデル生成用デプスは、撮影対象の細部を３Ｄモデルとして生成するためのデプスであり、ベースモデル生成用デプスのみでは不足する形状情報を補う。
　（デプスデータ構成例：時間アラインメント）
　取得部７が取得するデプスデータは、種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、デプス画像上の領域との対応が変化しないように構成されている。例えば、所定の時間区間で、入力デプスの種別の空間構成が変化しないようにデプスデータが構成されている。
　このような構成のデプスデータを使用することにより、時間区間単位でデプスデータを処理するモジュールを利用する場合に、特定のデプス種別のみに対応するデプスデータを選択して入力することができるため、当該モジュールにおける処理量が低減する。モジュールとは、例えば、符号化データを復号するデコーダである。
　例えば、ランダムアクセスが一定間隔に設定された符号化データを復号するデコーダを用いてデプス画像を復号する場合、デプス種別の空間構成が変化しないのであれば、デプス種別に対応するランダムアクセス区間のデプスデータを選択して復号することができる。
　３Ｄモデル生成部９は、上述した（デプスデータ構成例：空間アラインメント）と同様に、デプスデータに含まれる各入力デプスの種別を導出してもよい。
　各入力デプスの種別とは、上述したように、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによってわけられた種別であり、３Ｄモデル生成部９は、デプスデータに、どの種別のデプスが含まれるかを導出する。
　このような構成により、デプスデータに含まれる入力デプスの種別を判定することができ、特定種別の入力デプスを３Ｄモデル生成に利用することができる。
　また、３Ｄモデル生成部９は、入力デプスの種別と、デプス画像上の領域との対応付けを示す対応情報を導出してもよい。ここで、対応情報は、入力されたデプスの種別が、所定の時間区画単位におけるデプス画像上のどの領域に対応するかを示す。
　このような構成により、入力デプスの種別が、どのデプス画像上の領域に対応するか判断することができる。
　図６は、時間区間によってデプスデータが構成される例を示す。図６（ａ）は、デプス種別の空間構成を示し、図６（ｂ）は、ランダムアクセスＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）区間における、デプスデータの構成を示す。通常、画像を符号化する場合、一定の時間区画でランダムアクセス可能なＩピクチャと、ランダムアクセスできないＰピクチャとが周期的に並ぶ。本例では、ランダムアクセス可能なＩピクチャから、次のＩピクチャまでの区間までは、デプス種別の空間構成は変化させない。図６（ｂ）の１つ目のＩピクチャから、２つ目のＩピクチャの１つ前のピクチャまでは、デプスデータは、図６（ａ）のカメラＣ１に対応するデプスＤ１からなるデプス画像と、カメラＣ２ａ及びＣ２ｂに対応するデプスＤ２ａ及びＤ２ｂからなるデプス画像とから構成される。２つ目のＩピクチャからは、デプスデータは、デプスＤ１からなるデプス画像と、デプスＤ４からなるデプス画像とから構成され、デプスデータが更新される。また、３Ｄモデル生成部９は、本例の入力デプスの種別が、カメラの視点が近いデプスのグループであることを導出し、１つ目のＩピクチャから、２つ目のＩピクチャの１つ前のピクチャまでは、カメラ視点が近いカメラＣ２ａ及びＣ２ｂが、デプスデータの領域中のデプスＤ２ａ及びＤ２ｂの領域に対応することを導出する。
　（デプスデータ構成例：種別に応じたデプス情報の配置）
　取得部７が取得するデプスデータは、デプスの種別に応じてシーケンス単位、ＧＯＰ単位及びフレーム単位等の異なる場所にデプス情報が配置される。すなわち、デプスの種別に応じて送信される単位が異なる。配置の方法としては、一例として、基本的な種別のデプスのデプス情報は長い時間区間（例えば、シーケンス単位）に、それ以外の種別のデプスのデプス情報は短い時間区間（例えば、フレーム単位）に配置される。図７は、デプスの種別に応じてデプス情報が配置される例を示す。
　図７に示す上部の３Ｄデータは、３Ｄデータ生成装置４１から取得したデプスデータであり、該デプスデータには、デプス情報、ベースデプスデータ、及び詳細デプスデータが種別毎に異なる場所に格納されている。
　図７に示すように、基本的な種別のデプスであるベースモデル生成用デプス数及びカメラ姿勢は、シーケンス単位の情報として固定して配置される。また、詳細モデル生成用デプスの数とカメラ姿勢はフレーム毎に変更して配置されてもよい。すなわち、図７に示すように、フレームｔ＝０におけるデプス情報、ベースデプスデータ及び詳細デプスデータは、フレームｔ＝１におけるデプス情報、ベースデプスデータ及び詳細デプスデータとは異なる情報が格納されてもよい。
　また、図７に示す下部の３Ｄデータ（ベース再生用）は、ベースモデルを生成するためのデプスデータであり、上部の３Ｄデータからシーケンス単位のデプス情報及びデプス情報を抽出したデプスデータである。
　このように、デプスの種別に応じてシーケンス単位、ＧＯＰ単位及びフレーム単位等の異なる場所にデプス情報が配置されることにより、シーケンス単位のデプス情報に基づいて、ベースモデル用デプスが合成され、３Ｄモデル生成部９が少ない処理量で３Ｄモデルの概形を生成することができる。従って、処理性能が低い再生端末でも３Ｄモデルを再生することができ、高速に３Ｄモデルを再生することができる。
　また、長区間に適用するデプス情報を、例えばＭＰＥＧ－ＤＡＳＨに対応するコンテンツＭＰＤ（Ｍｅｄｉａ　Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ）のようなシステム層に含め、短区間に適用するデプス情報を、例えばＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）のような符号化層の情報に含める構成にしてもよい。このようにデプスデータが構成されることによって、システムレベルでベースモデル再生に必要な情報を抽出することができる。
　〔３Ｄモデル生成部〕
　図８は、３Ｄモデル生成部９のブロック図を示す。３Ｄモデル生成部９は、図８に示すように、プロジェクション部２０と、デプス統合部２１とを備える。プロジェクション部２０には、デプスと、デプス種別情報とが入力される。プロジェクション部２０は、入力される各デプスを、デプス種別情報を参照して３Ｄ点群に変換し、３Ｄ点群と、デプス種別情報とを、デプス統合部２１に出力する。デプス統合部２１は、プロジェクション部２０より入力された複数の３Ｄ点群を、デプス種別情報を参照して統合することで、各時刻の３Ｄモデルを生成して出力する。ここで、３Ｄモデルとは、少なくとも対象の形状情報を含むモデルであり、一形態として色情報を持たないメッシュ表現のモデル（無色モデル）である。プロジェクション部２０と、デプス統合部２１とが行う具体的な処理については以下に記載する。
　（３Ｄ点群の導出手順及びデプス統合手順（その１））
　図９は、デプスに対応する３Ｄ点群の導出及びデプスの統合を説明するための図である。まず、プロジェクション部２０では、デプスに対応デプスを構成する画素毎に以下を実行する。
・対象画素の画素位置（ｕ、ｖ）と、画素に記録されたデプス値を、３次元空間座標（ｘ、ｙ、ｚ）に変換し、３Ｄ空間位置を導出する。
・デプス画像に対応するカメラ姿勢方向を用いてカメラ座標系における３Ｄ空間位置をグローバル座標系における３Ｄ空間位置に変換する。
　また、デプス統合部２１では、以下に示す手順で、３Ｄ点群を、デプス種別情報を利用して統合する。
　（Ｓ１）空間を立方体であるボクセル単位に区切り、ボクセル単位のＴＳＤＦ／ｗｅｉｇｈｔ＿ｓｕｍをゼロクリアする。ＴＳＤＦ：Ｔｒｕｎｃａｔｅｄ　Ｓｉｇｎｅｓ　Ｄｉｓｔａｎｃｅ　Ｆｕｎｃｔｉｏｎは、物体の表面からの距離を示す。
　（Ｓ２）複数のデプスのうち、各デプスに対応する３点群毎に（Ｓ３）を実行する。
　（Ｓ３）対象３Ｄ点群に含まれる点（ｘ、ｙ、ｚ）毎に（Ｓ４）を実行する。
　（Ｓ４）対象３Ｄ点群を含むボクセルのＴＳＤＦ、及び、ウェイトを更新する。
‐ｗｅｉｇｈｔ　＝　１．０　＊　α　＊　β
　‐α：カメラ光軸と法線の角度差
　　０　＜＝　α　＜＝　１、角度差が大きいほど小さな値
　‐β：３Ｄ点と、ボクセル中心の法線とに垂直な面上の距離
　　０　＜＝　β　＜＝　１、距離が近いほど大きい値
‐ＴＳＤＦ　＝ＴＳＤＦ　＋　ｔｒｕｎｃ（ｎ・（ｐｄ－ｐｖ））＊ｗｅｉｇｈｔ
　‐ｎ：対象３Ｄ点の法線
　‐ｐｄ：対象３Ｄ点の空間位置
　‐ｐｖ：ボクセル中心の位置
　‐ｔｒｕｎｃ（）：規定の距離によるクリップ
‐つまり、法線に沿った対象３Ｄ点から、ボクセル中心の距離に相当する値をＴＳＤＦに加算する。
‐ｗｅｉｇｈｔ＿ｓｕｍ　＝　ｗｅｉｇｈｔ＿ｓｕｍ　＋　ｗｅｉｇｈｔ
　（Ｓ５）各ボクセルのＴＳＤＦをｗｅｉｇｈｔ＿ｓｕｍで除算する。
　（３Ｄ点群の導出手順及びデプス統合手順（その２））
　デプス統合部２１が行うデプス統合手順の別の例を挙げる。例えば、以下の手順でデプス統合を行う。
　（Ｓ１）ボクセル単位のＴＳＤＦ／ｗｅｉｇｈｔをゼロクリアする。
　（Ｓ２）複数のデプスのうち、各デプスに対応する３点群毎に（Ｓ３）を実行する。
　（Ｓ３）対象３Ｄ点群に含まれる点（ｘ、ｙ、ｚ）毎に（Ｓ４）を実行する。
　（Ｓ４）対象３Ｄ点を含むボクセルのＴＳＤＦ、及び、ウェイトを更新する。
‐ｗｅｉｇｈｔ　＝　１．０　＊　α　＊　β
‐ＴＳＤＦ　＝　（ＴＳＤＦ　＊　ｗｅｉｇｈｔ＿ｓｕｍ　＋　ｔｒｕｎｃ（ｎ・（ｐｄ－ｐｖ））＊ｗｅｉｇｈｔ）　／　（ｗｅｉｇｈｔ＿ｓｕｍ　＋　ｗｅｉｇｈｔ）
‐ｗｅｉｇｈｔ＿ｓｕｍ　＝　ｗｅｉｇｈｔ＿ｓｕｍ　＋　ｗｅｉｇｈｔ
　（デプス種別：主視点／副視点デプス）
　デプスデータに含まれるデプス種別について説明する。本例のデプスデータは、３Ｄモデル再生時に重要な視点位置（主視点）に対応したデプスである主視点デプスと、それ以外の副視点デプスとを含む。重要な視点位置とは、例えば、３Ｄモデル再生時の規定視点位置、又は初期視点位置とする。また、本例において、デプス統合部２１は、３Ｄモデル生成時に、主視点デプスを副視点デプスより優先して処理する。
　このように、デプス統合部２１が、３Ｄモデル生成時に、主視点デプスを副視点デプスより優先して処理することで、主視点近傍から見た場合の品質が高い３Ｄモデルを低遅延で生成することができる。
　（処理手順の一例（その１））
　本例の処理手順は以下の通りである。
・デプス統合部２１は、主視点デプスのみを用いて３Ｄモデルを生成して提示する。
・次に、デプス統合部２１は、主視点デプス及び副視点デプスを用いて３Ｄモデルを生成し、提示した３Ｄモデルと置き換える。
　主視点が初期視点である場合に、視点が移動できる範囲は限定されているため、該主視点から見た３Ｄモデルと関係が深い主視点デプスのみで３Ｄモデルを生成しても品質の劣化は小さい。
　（処理手順の一例（その２））
・デプス統合部２１は、主視点デプスを副視点デプスより優先して３Ｄモデルを生成する。
‐例えば、（３Ｄ点群の導出手順、及び、デプス統合手順（その１））及び（３Ｄ点群の導出手順、及び、デプス統合手順（その２））で記載した統合処理におけるｗｅｉｇｈｔに、主視点デプスか、副視点デプスかによる重みを追加し、主視点デプスの場合により大きな重みとする。
　このように、主視点デプスを優先することにより、主視点から見た場合に品質の高い３Ｄモデルを生成することができる。
　主視点／副視点デプスの識別情報を明示的に送らず、復号順で１枚目のデプスの左上画素を含む領域のデプスを主視点デプスとみなし、それ以外のデプスを副視点デプスとみなしてもよい。
　このように、主視点デプス及び副視点デプスの領域を予め決めておくことで、付加情報の読み出しが不要であり、かつ、復号順が早いデプスを使うことで、より小さい遅延で３Ｄモデルを生成することができる。
　（デプス種別：ベース／詳細デプス）
　本例のデプスデータは、ベースモデル生成用デプスと、詳細モデル生成用デプスとを含む。以下、ベースモデル生成用デプスをベースデプス、詳細モデル生成用デプスを詳細デプスとも称する。ベースデプスデータは、固定、又は連続的に変化する視点位置から撮影されたデプス画像に相当する。詳細デプスデータは、各時刻で異なる視点及びプロジェクションパラメータを取り得る。
　このようにデプスデータに、ベースデプスと、詳細デプスとが含まれることにより、ベースデプスをグレースケールのビデオとして再生し、３Ｄモデル統合を行うことなく撮影対象を確認できる。ベースデプスデータをカラー画像のセグメンテーション等の別の用途に容易に利用することができる。また、詳細デプスにより、ベースデプスのみでは、不足する形状情報を補い、３Ｄモデルの品質を向上することができる。
　図１０は、デプスデータが、ベースデプスと、詳細デプスとを含む場合の、フレーム毎の撮影イメージと、デプスデータとを示す。図１０の撮影イメージに示すように、カメラＣ１は、フレームが変わっても固定位置にあり、カメラＣ１に対応するベースデプスＤ１も固定されている。それに対して、カメラＣ１以外のカメラは、フレーム毎に数及び位置が変わり、カメラＣ１以外のカメラＣ２～Ｃ６に対応する詳細デプスＤ２～Ｄ６は、フレームと共に変化する。
　〔変形例〕
　３Ｄモデル生成部９の変形例について説明する。図１１は、本変形例に係る３Ｄモデル生成部９の構成を示すブロック図である。図１１に示すように、３Ｄモデル生成部９は、詳細デプスプロジェクション部３０、詳細デプス統合部３１、ベースデプスプロジェクション部３２及びベースデプス統合部３３を備える。
　ベースデプスプロジェクション部３２は、入力されるベースデプスを、デプス種別情報を参照して３Ｄ点群に変換し、ベースデプス統合部３３に出力する。
　ベースデプス統合部３３は、入力された複数の３Ｄ点群と、デプス種別情報とを統合することで、ベースモデルを生成し、詳細デプス統合部３１に出力する。
　詳細デプスプロジェクション部３０は、入力される詳細デプスを、デプス種別情報を参照して３Ｄ点群に変換し、詳細デプス統合部３１に出力する。
　詳細デプス統合部３１は、詳細デプスプロジェクション部３０から入力される３Ｄ点群と、デプス種別情報と、ベースデプス統合部から入力される３Ｄ点群とを統合することで、３Ｄモデルを生成して出力する。
　（デプス種別：デプスレンジ）
　本例では、デプスデータが、異なるデプスレンジを有するデプスを含む例について説明する。
　図１２は、解像度、すなわち、デプスレンジが異なる２台のカメラによって撮影した場合のデプスデータを説明するための図である。図１２に示すように、Ｄ１は、サンプリング間隔が１ｍｍのデプスであり、Ｄ２は、サンプリング間隔が４ｍｍのデプスである。Ｄ１及びＤ２に対応する２つのカメラの画角が重複する領域は、Ｄ２に対応するカメラのみでは取得できない、撮影対象の詳細な形状のデプスを取得することができる。
　このように、デプスデータが、異なるデプスレンジを有するデプスを含むことで、３Ｄモデル生成部９は、撮影対象の広域の形状情報を広いレンジのデプス値を有するデプス画像として作成し、狭域の形状情報を狭いレンジのデプス画像として作成することができる。これにより、形状概形、及び、特定領域の形状詳細を再現する３Ｄモデルを生成することができる。
　また、図１１を参照して説明したベースデプスと詳細デプスを用いる方法と、異なるデプスレンジを用いる方法を組み合わせて使用することもできる。具体的には、ベースデプスにおいて、固定の広いデプス値のレンジを使用し、詳細デプスにおいて可変の狭いデプス値のレンジを使用することで、ベースデプスで対象の形状概形の情報を取得し、詳細デプスで対象の形状詳細の情報を取得することができる。すなわち、ベースデプスのみでも３Ｄモデル全体が表現でき、詳細デプスを追加することで形状詳細を再現するスケーラビリティが実現できる。
　（デプス種別：サンプリング時刻（その１））
　本例では、デプスデータが、異なるサンプリング時刻のデプスを含む例について説明する。本例のデプスデータは、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとを含む。フレームと同一の時刻が付与されたデプスは、変形補償用デプスとして３Ｄモデルの変形に利用される。また、フレームと異なる参照時刻が付与されたデプスは、参照モデル構築用デプスとして３Ｄモデル生成に利用される。
　このように、３Ｄモデル生成用には、高精度に３Ｄモデルが生成可能な時刻のデプスを選択し、変形補償用デプスを用いて変形することで、オクルージョンに起因するホールが少ない３Ｄモデルが生成できる。
　図１３は、本例における、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとが含まれるデプスデータを説明するための図である。図１３に示すように、フレームｔ＝３におけるデプスＤ１は、フレームと同一の時刻（ｔ＝３）が付与されている。それに対して、デプスＤ２～５は、フレームと異なる参照時刻（ｔ＝１）が付与されている。ここで、デプスＤ１は、３Ｄモデルの変形に利用され、デプスＤ２～５は、３Ｄモデル生成に利用される。
　（デプス種別：サンプリング時刻（その２））
　本例では、デプスデータが、異なるサンプリング時刻のデプスを含む例について説明する。上述の（デプス種別：サンプリング時刻（その１））とは、デプスデータは、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとを含む点では、同じである。異なるのは、本例では、フレームと同一の時刻が付与されたデプスを主視点詳細用デプスとして利用し、フレームと異なる参照時刻が付与されたデプスをベース用デプスとして利用する点である。ベース用デプスは、付与された時刻と一致する時刻のフレームにおいてベースモデル構築に利用される。
　このような構成により、帯域が制限されている場合であっても、モデル構築に必要な情報を分散して伝送することができる。また、情報を分散して伝送する場合であっても、主要な視点から見た３Ｄモデルの形状は高品質に維持することができる。
　図１４は、本例における、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとが含まれるデプスデータを説明するための図である。図１４に示すように、フレームｔ＝３におけるデプスＤ１は、フレームと同一の時刻（ｔ＝３）が付与されており、デプスＤ２及びＤ３にも、フレームと同一の時刻（ｔ＝３）が付与されている。それに対し、フレームｔ＝４におけるデプスＤ１は、フレームと同一の時刻（ｔ＝４）が付与され、デプスＤ４及びＤ５には、フレームと異なる参照時刻（ｔ＝５）が付与されている。
　（デプス種別：プロジェクション）
　本例では、デプスデータが、異なるプロジェクションより作成されたデプスを含む例について説明する。プロジェクションにより、空間の点とカメラの画素位置との対応関係が決まる。逆に言えば、プロジェクションが異なる場合、カメラ位置と画素位置が同じであっても、画素に対応する空間の点は異なる。プロジェクションは、複数のカメラパラメータの組み合わせにより決まり、例えば、カメラの画角、解像度、投影方式（例えばピンホールモデル、円筒投影等）、投影パラメータ（焦点距離、画像上のカメラ光軸中心対応点の位置）等である。
　プロジェクションを適切に選択することで、同一の解像度であっても画像で撮影可能な対象の範囲を制御できる。したがってデプスデータが、異なるプロジェクションにより作成されたデプスを含むことにより、撮影の対象の配置に応じて、少ない枚数のデプスによって必要な形状データの情報を表現できるため、デプスデータのデータ量が削減できる。
　図１５は、本例における、複数の異なるプロジェクションで作成されたデプスを示す。図１５に示すように、☆マークは、撮影対象を示し、撮影対象は２つ存在する。図１５のデプスデータには、２つの撮影対象全体を映す広角カメラによる撮影画像（広角プロジェクションによる撮影画像）に対応するデプスＤ３、それぞれの撮影対象を映す狭角カメラによる撮影画像（狭角プロジェクションによる撮影画像）に対応するデプスＤ１及びＤ２を含む。
　複数の撮影対象が、デプスデータ内に存在する場合、複数の撮影対象全体を映す広角プロジェクションのデプスと、個々の撮影対象を映す狭角プロジェクションのデプスをデプスデータに含むことで、撮影対象同士の位置関係と、個々の撮影対象の詳細な形状とを同時に再生することができる。
　＜実施形態２＞
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図１６は、本実施形態に係る再生部１０の構成を示すブロック図である。図１６に示すように、本実施形態に係る再生部１０は、実施形態１と同じく、デプス抽出部８及び３Ｄモデル生成部９を備えるが、デプス抽出部８には３Ｄデータに加え、ユーザ要求も入力され、３Ｄモデル生成部９は、ユーザ要求をさらに参照して３Ｄモデルを生成する。ユーザ要求とは、例えば以下に挙げるものである。
・視点位置、視点方向、移動方向
・再生品質（空間解像度、ホールの量、モデル精度、ノイズ量）
・受信データ最大ビットレート、最小ビットレート、平均ビットレート
・視聴者属性（性別、年齢、身長、視力等）
・処理性能（デプス画像枚数、デプス画素数、モデルメッシュ数等）
・端末属性（パソコン／モバイル、ＯＳ、ＣＰＵ種別、ＧＰＵ種別等）
　このように、３Ｄデータに加えて、ユーザ要求を利用してデプスデータからデプスを抽出することで、ユーザ要求に合わせた３Ｄモデルを生成することができる。
　以下に、デプス種別と、ユーザ要求との併用の具体的な例について説明する。
　（デプス種別とユーザ要求との併用：視点位置）
　本例において、再生部１０は、ユーザ要求（視点位置）に応じてベースデプスのみを利用した３Ｄモデル構築（ベースモデル構築）と、ベースデプスと詳細デプスとを併用した３Ｄモデル構築（詳細モデル構築）とを切り替える。一例として、視点位置が撮影対象から遠い場合にベースモデル構築、視点位置が撮影対象から近い場合に詳細モデル構築を適用してもよい。
　このように、デプス抽出部８が、ユーザの視点位置によって、ベースモデル構築と、詳細モデル構築とを切り替えて適用することで、視点位置が対象から遠い場合には、再生処理用を低減することができる。また、詳細モデルに比べて、ベースモデルの品質は低いが、ユーザの視点位置が遠い場合には、視点画像を合成した場合の品質低下は低いため有効である。逆に視点位置が近い場合は、詳細モデル構築を適用することで、高品質のモデルを再生することができる。
　本例の具体的な手順は以下の通りである。
・ユーザ要求の指定する視点位置と、撮影対象の位置との距離を導出
　‐撮影対象の位置の例：
　　‐主要デプスのデプス値が対応する３Ｄ空間中の点の位置の中央値又は平均値
　　‐別途受信するモデル代表位置
・視点位置と、撮影対象の位置との距離と、距離の所定閾値とを比較し、閾値未満の場合は詳細モデル構築、閾値以上の場合はベースモデル構築
　‐閾値の例：
　　‐視点画像の解像度と、ベースデプスの解像度とから算出
　　‐別途受信又は規定の閾値を利用
　（ユーザ要求の視点位置）
　ユーザ要求の視点位置は、ユーザが再生において要求する視点位置であって、必ずしも各時刻におけるユーザ視点位置である必要はない。例えば、ユーザは、所定の時間間隔で視点位置を設定し、各時刻で生成する視点としては別の視点位置を設定することもできる。
・６０ｆｐｓのデプスデータで１秒毎にユーザ要求によりベースモデル構築及び詳細モデル構築を選択する例
　ｔ＝６０ｋ（ｋは整数）：ｔ＝６０ｋの視点位置でベースモデル構築又は詳細モデル構築を選択し、３Ｄモデルを合成して視点画像を生成
　ｔ＝６０ｋ＋１～６０ｋ＋５９：ｔ＝６０ｋで選択されたモードで３Ｄモデルを生成し、視点画像を生成
　ベースデプスの代わりにレンジが広いデプスを用い、詳細デプスの代わりにレンジが狭いデプスを用いてもよい。
　（デプス種別とユーザ要求との併用：デバイス性能）
　本例において、ユーザ要求は、視点位置とデバイス性能要求とであり、再生部１０は、ユーザ要求に応じてベースデプスと詳細デプスとを選択して３Ｄモデルを合成する。一例として、再生部１０は、デバイス性能要求が満たす枚数のデプスを使用することを最優先とし、次にベースデプス、視点に近いデプスの順でデプスを選択し使用する。
　このような構成により、デバイス性能が満たす範囲内で、ユーザ視点から見て品質の高い３Ｄモデルを構築することができる。
　本例において再生部１０が行う具体的な手順を以下に示す。
・デプス抽出部８が、デバイス性能要求に基づいて、処理可能なデプス枚数又はデプス画素数を決定
・デプス選択
　‐ベースデプスを視点に近い順に選択し、デプス枚数又はデプス画素数を越えた時点で選択を終了
　‐詳細デプスを視点に近い順に選択、デプス枚数又はデプス画素数を超えた時点で選択を終了
・３Ｄモデル生成部９が、３Ｄモデル構築
　‐選択されたデプスを統合して３Ｄモデルを構築
ここで、デプスと視点の近さとは、デプス画素に対応する３Ｄ空間の点の代表位置（平均、中央値、中央画素の対応点位置等）と視点との距離である。
　ベースデプス及び詳細デプスの選択の優先度として、各デプスに対応するカメラの光軸方向を利用して、優先度を決定してもよい。具体的には、ユーザ視点からデプス代表点へのベクトルと、カメラ光軸ベクトル（カメラ位置からのベクトル）の角度が小さいものを優先的に選択すればよい。
　＜実施形態３＞
　〔３Ｄデータ生成装置〕
　本実施形態に係る３Ｄデータ生成装置について説明する。図１７は、本実施形態に係る３Ｄデータ生成装置の構成を示すブロック図である。図１７に示すように、３Ｄデータ生成装置４１は、画像取得部４２、デプス画像群記録部４３、デプスデータ構成部４４、ユーザ要求処理部４５及び３Ｄデータ統合部４６を備える。
　画像取得部４２は、撮影対象を撮影するカメラ等、撮像機器から入力される複数のデプス画像を取得する。画像取得部４２は、入力されたデプス画像をデプス画像群記録部４３に出力する。
　デプス画像群記録部４３は、画像取得部４２から入力されたデプス画像を記録する。記録されたデプス画像は、ユーザ要求処理部４５からの信号に従い、適宜デプスデータ構成部４４へ出力される。
　ユーザ要求処理部４５は、ユーザの要求に従い処理を開始する。例えば、再生時刻毎に以下の処理をデプスデータ構成部４４及び３Ｄデータ統合部４６に実行させる。
・デプスデータ構成部４４は、ユーザ要求を参照した上で、デプス画像群記録部４３に記録されているデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成
・３Ｄデータ統合部４６は、デプスデータを統合して３Ｄデータとして出力
　なお、画像取得部４２は必ずしもユーザ要求毎にデプス画像を取得する必要はなく、事前に必要なデプス画像を取得しデプス画像群記録部４３に記録しておく構成でもよい。
　（ユーザ要求に応じたデプスデータ生成：ユーザ視点）
　本例において、デプスデータ構成部４４は、ユーザの視点位置に応じて生成する３Ｄデータに含まれるデプスを選択し、デプスデータを構成する。具体的には、デプスデータ構成部４４は、撮影対象と、ユーザとの距離が離れている場合、撮影対象のデプスの内、ユーザの方向を向いたデプスを多く含み、それ以外の方向のデプスが相対的に少ないデプスデータを構成する。
　このように、デプスデータ構成部４４が、ユーザ視点位置に応じて、どの方向のデプスを、デプス画像を構成するデプスとして用いるか選択することで、データ量の増加を抑制しつつ、ユーザの視点位置周辺から観察される部分の品質が高い３Ｄモデルを生成することができる。
　デプスデータ構成部４４がデプスデータを構成する具体例について説明する。
・デプス画像群記録部４３には、撮影対象を中心に、水平１２方向（θ＝３０度×ｋ）、各方向について撮影対象との距離において３段階（ｄ＝１、３、５）で多視点デプス画像が記録されている。
・デプスデータ構成部４４は、ユーザ視点と、撮影対象との距離に応じて、以下のａ～ｃ方法でデプスを選択する。ここで、主視点デプスは、３Ｄモデル再生時に重要な視点位置（主視点）に対応したデプスであり、副視点デプスは、主視点以外に対応するデプスである。
ａ）ユーザ視点と、撮影対象との距離が１未満　　　
　主視点デプス：距離１、最近傍方向のデプス
　副視点デプス：距離１で近傍方向のデプス４枚
ｂ）ユーザ視点と、撮影対象との距離が３未満
　主視点デプス：距離３、最近傍方向のデプス
　副視点デプス：距離１で最近傍方向のデプス＋距離３で近傍方向のデプス３枚
ｃ）ユーザ視点と、撮影対象との距離が３以上
　主視点デプス：距離５、最近傍方向のデプス
　副視点デプス：距離１、３で最近傍方向のデプス＋距離３で近傍方向のデプス２枚
　（伝送する領域の制御）
　本例では、ユーザはコンテンツ提供者であり、デプスデータ構成部４４は、コンテンツ提供者の要求に応じて３Ｄデータに含めるデプスを選択してデプスデータを構成する。
　このように、デプスデータ構成部４４が、コンテンツ提供者の要求に応じて３Ｄデータを含むデプスを選択することで、復元する３Ｄモデル中の特定の領域が含まれるデプスを３Ｄデータから除外することで、該領域が再現されない３Ｄモデルを構築できる。
　デプスデータ構成部４４は、再生される３Ｄモデルを視聴する視聴者が注目すべき撮影対象のデプスを増やし、それ以外の撮影対象のデプスを減らすことで、データ量を維持したまま、注目したい撮影対象の３Ｄモデルを高精度に復元することができる。
　特定領域の例としては、限定されないが、例えば、コンテンツ作成側が視聴者に見られたくない領域、機密情報等の特定ユーザのみ閲覧が許されている領域、セクシャル、バイオレンス等のユーザが閲覧すべきでないと判断される領域が挙げられる。
　〔ソフトウェアによる実現例〕
　画像処理装置２の制御ブロック（３Ｄモデル生成部９）及び３Ｄデータ生成装置４１の制御ブロック（特に、デプスデータ構成部４４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、画像処理装置２及び３Ｄデータ生成装置４１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部とを備えている。
　本発明の態様２に係る画像処理装置は、上記態様１において、上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、デプス画像上の複数の領域の各々に対応付けて含まれていてもよい。
　本発明の態様３に係る画像処理装置は、上記態様２において、上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、上記デプス画像上の領域との対応が変化しないように含まれていてもよい。
　本発明の態様４に係る画像処理装置は、上記態様２又は３において、３Ｄモデル生成部が、上記入力デプスの種別と、上記デプス画像上の領域との対応付けを示す対応情報を導出してもよい。
　本発明の態様５に係る画像処理装置は、上記態様１～４の何れかにおいて、３Ｄモデル生成部が、上記デプスデータに含まれる各入力デプスの種別を導出してもよい。
　本発明の態様６に係る画像処理装置は、上記態様１～５の何れかにおいて、上記３Ｄモデル生成部が、記デプスデータに含まれる各入力デプスを３Ｄ点群に変換するプロジェクション部と、上記入力デプスの種別を参照して、上記３Ｄ点群から各時刻３Ｄモデルを生成するデプス統合部とを備えていてもよい。
　本発明の態様７に係る画像処理装置は、上記態様１～６の何れかにおいて、上記３Ｄモデル生成部が、ユーザ要求をさらに参照して、３Ｄモデルを生成してもよい。
　本発明の態様８に係る３Ｄデータ生成装置は、３Ｄデータを生成する装置であって、撮像機器から複数のデプス画像を取得する画像取得部と、入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成するデプスデータ構成部とを備える。
　本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、２０１８年８月１０日に出願された日本国特許出願：特願２０１８－１５１８４７に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　２　　画像処理装置
　７　　取得部
　９　　３Ｄモデル生成部
　２０　プロジェクション部
　２１　デプス統合部
　４１　３Ｄデータ生成装置
　４２　画像取得部
　４４　デプスデータ構成部

Claims (10)

  1. 　撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、
    　上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部と
    を備えていることを特徴とする画像処理装置。
  2. 　上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、デプス画像上の複数の領域の各々に対応付けて含まれている
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、上記デプス画像上の領域との対応が変化しないように含まれている
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 　上記３Ｄモデル生成部は、
    　　上記入力デプスの種別と、上記デプス画像上の領域との対応付けを示す対応情報を導出する
    ことを特徴とする請求項２又は３に記載の画像処理装置。
  5. 　上記３Ｄモデル生成部は、
    　　上記デプスデータに含まれる各入力デプスの種別を導出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
  6. 　上記３Ｄモデル生成部は、
    　　上記デプスデータに含まれる各入力デプスを３Ｄ点群に変換するプロジェクション部と、
    　　上記入力デプスの種別を参照して、上記３Ｄ点群から各時刻の３Ｄモデルを生成するデプス統合部と
    を備えていることを特徴とする請求項１～５の何れか１項に記載の画像処理装置。
  7. 　上記３Ｄモデル生成部は、
    　　ユーザ要求をさらに参照して、３Ｄモデルを生成することを特徴とする請求項１～６の何れか１項に記載の画像処理装置。
  8. 　３Ｄデータを生成する装置であって、
    　撮像機器から複数のデプス画像を取得する画像取得部と、
    　入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成するデプスデータ構成部と
    を備える３Ｄデータ生成装置。
  9. 　請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記３Ｄモデル生成部としてコンピュータを機能させるための制御プログラム。
  10. 　請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/031151 2018-08-10 2019-08-07 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体 WO2020032113A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/266,170 US20210304494A1 (en) 2018-08-10 2019-08-07 Image processing apparatus, 3d data generation apparatus, control program, and recording medium
JP2020535842A JPWO2020032113A1 (ja) 2018-08-10 2019-08-07 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体
CN201980053488.5A CN112567431A (zh) 2018-08-10 2019-08-07 图像处理装置、3d数据生成装置、控制程序以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151487 2018-08-10
JP2018-151487 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020032113A1 true WO2020032113A1 (ja) 2020-02-13

Family

ID=69413550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031151 WO2020032113A1 (ja) 2018-08-10 2019-08-07 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20210304494A1 (ja)
JP (1) JPWO2020032113A1 (ja)
CN (1) CN112567431A (ja)
WO (1) WO2020032113A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN114648614B (zh) * 2022-05-24 2022-07-26 四川中绳矩阵技术发展有限公司 一种目标对象的三维重现方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOEZZI, SAIED ET AL., VIRTUAL VIEW GENERATION FOR 3D DIGITAL VIDEO, vol. 4, January 1997 (1997-01-01), pages 18 - 26, XP000685696, Retrieved from the Internet <URL:https://pdfssemanticscholar.org/cf04/ff2c85f0bafe0a75b60a6a7815b9c2fbff2d.pdf> [retrieved on 20191010] *
SAKURADA, KEN, DYNAMICFUSION: RECONSTRUCTION AND TRACKING OF NON-RIGID SCENES IN REAL-TIME, 23 June 2015 (2015-06-23), pages 1 - 62, XP032793463, Retrieved from the Internet <URL:https://www.slideshare.net/KenSakurada/dynamicfusion-reconstruction-and-tracking-of-nonrigid-scenes-in-realtime> [retrieved on 20191010] *

Also Published As

Publication number Publication date
US20210304494A1 (en) 2021-09-30
CN112567431A (zh) 2021-03-26
JPWO2020032113A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6021541B2 (ja) 画像処理装置及び方法
KR101340911B1 (ko) 다중 뷰들의 효율적인 인코딩 방법
WO2020162542A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、および、三次元データ復号装置
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
JP2017532847A (ja) 立体録画及び再生
KR20170132098A (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
JP7218826B2 (ja) 再生装置および画像生成方法
JP7243631B2 (ja) 再生装置および方法、並びに、生成装置および方法
KR101933037B1 (ko) 360도 동영상에서의 가상현실 재생 장치
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
KR20180047877A (ko) 영상 제공 서버, 영상 제공 방법 및 사용자 단말
WO2020032113A1 (ja) 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体
JP2013223008A (ja) 画像処理装置及び方法
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
KR20070010306A (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
JPWO2018186287A1 (ja) 映像データ生成装置、映像再生装置、映像データ生成方法、制御プログラム、及び記録媒体
JP4815004B2 (ja) 多視点画像符号化装置
Abbas et al. A novel projection for omni-directional video
WO2019026183A1 (ja) 画像生成装置および画像生成方法
JP7365185B2 (ja) 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
KR101883981B1 (ko) 가상 현실 동영상 제공 장치 및 제공 방법
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
WO2024053371A1 (ja) 情報処理システム、および情報処理システムの作動方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848025

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535842

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19848025

Country of ref document: EP

Kind code of ref document: A1