WO2019031386A1 - 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体 - Google Patents

画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体 Download PDF

Info

Publication number
WO2019031386A1
WO2019031386A1 PCT/JP2018/029048 JP2018029048W WO2019031386A1 WO 2019031386 A1 WO2019031386 A1 WO 2019031386A1 JP 2018029048 W JP2018029048 W JP 2018029048W WO 2019031386 A1 WO2019031386 A1 WO 2019031386A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
partial
model
depth
image
Prior art date
Application number
PCT/JP2018/029048
Other languages
English (en)
French (fr)
Inventor
山本　智幸
恭平 池田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/637,045 priority Critical patent/US20200242832A1/en
Priority to JP2019535159A priority patent/JPWO2019031386A1/ja
Priority to CN201880051455.2A priority patent/CN111033575A/zh
Publication of WO2019031386A1 publication Critical patent/WO2019031386A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • One embodiment of the present invention mainly relates to an image processing apparatus that combines an image indicating a display target from a playback viewpoint.
  • DIBR Depth Image-based Rendering
  • the DIBR is described below.
  • image data indicating a display target from a specific viewpoint and a depth from the viewpoint to the display target are received.
  • the viewpoint of the received depth is converted according to the playback viewpoint, and the playback viewpoint depth is synthesized.
  • the reproduction viewpoint image is synthesized based on the reproduction viewpoint, the synthesized reproduction viewpoint depth, and the received image data.
  • Patent document 1 is mentioned as a document which shows the example of DIBR which has the above structures.
  • the reproduction image of the designated reproduction viewpoint is synthesized and presented based on the reception data (video + depth).
  • 3D model data information indicating the three-dimensional shape of the display target
  • the depth of the display target that can be received at each time is limited in terms of the number of samples or the accuracy of noise or holes. Therefore, there is a problem that the quality of the image to be synthesized is low.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an image processing apparatus which synthesizes a reproduction viewpoint image based on image data and 3D model data, the number of samples of 3D model data or accuracy It is an object of the present invention to provide a technology capable of preventing the degradation of the quality of a reproduced viewpoint image caused by the above and synthesizing a high quality reproduced viewpoint image.
  • an image processing device concerning one mode of the present invention is a plurality of partial 3D model data which show a three-dimensional shape of display object partially, and is related in order in a predetermined order
  • a synthesis unit that synthesizes the reproduction viewpoint image to be shown and the generation unit updates the reference model with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • an image processing apparatus is image data to be displayed and a plurality of partial 3D model data partially indicating a three-dimensional shape of the display object
  • An acquisition unit for acquiring a plurality of partial 3D model data associated in an order in a predetermined order, a generation unit for generating a reference model with reference to the plurality of partial 3D model data, the image data, and the plurality of portions Correction that performs image interpolation or filter processing on the reproduction viewpoint image by referring to the 3D model data and the synthesis unit that synthesizes the reproduction viewpoint image indicating the display object from the reproduction viewpoint, and the reference model
  • the generation unit updates the reference model with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • the image processing device concerning one mode of the present invention refers to the acquisition part which acquires the image data of a display object, and the above-mentioned image data, and three-dimensional shape of the above-mentioned display object A plurality of partial 3D model data, and a generation unit for generating a reference model with reference to the plurality of partial 3D model data, reproduction with reference to the image data and the reference model. And a synthesis unit that synthesizes a reproduction viewpoint image indicating the display object from the viewpoint, and the generation unit refers to the partial 3D model data each time the estimation unit estimates the partial 3D model data. Update the above reference model.
  • an image transmission apparatus is a plurality of partial 3D model data partially showing a three-dimensional shape of a display target, and is associated in order in a predetermined order
  • a transmitter configured to transmit a plurality of partial 3D model data is provided.
  • the image processing method concerning one mode of the present invention is a plurality of partial 3D model data which show a three-dimensional shape of display object partially, and is related in order in a predetermined order
  • a synthesizing step of synthesizing the reproduced viewpoint image to be shown and in the generating step, the reference model is updated with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • the quality deterioration of the reproduction viewpoint image caused by the number of samples or the accuracy of the 3D model data is prevented.
  • a high quality reproduction viewpoint image can be synthesized.
  • (A) to (d) are diagrams each showing an example of data configuration of depth and viewpoint information used in each embodiment of the present invention. It is a figure for demonstrating the 1st example of the structure which the image processing apparatus which concerns on Embodiment 2 of this invention gives priority to specific depth among several depths, and acquires it. It is a figure for demonstrating the 2nd example of the structure which the image processing apparatus which concerns on Embodiment 2 of this invention acquires with priority a specific depth among several depths. It is a figure for demonstrating the 3rd example of the structure which the image processing apparatus which concerns on Embodiment 2 of this invention acquires with priority a specific depth among several depths.
  • FIG. 1 is a block diagram showing a configuration of an image transmission and reception system including a display device and an image transmission device according to each embodiment of the present invention.
  • image data indicates an image (color information of each pixel, etc.) indicating a display target from a specific viewpoint.
  • the images in the present specification include still images and moving images.
  • partial 3D model data in the present specification means data partially indicating the three-dimensional shape of the display target.
  • partial 3D model data include depth from a specific viewpoint, point cloud (subset of point group), mesh (subset of mesh data indicating vertices, connections, surfaces, etc.), and the like.
  • data that can be converted to depth data, point clouds, or meshes is also included in partial 3D model data.
  • depth data can be extracted by stereo matching from a set of image data obtained by photographing the same object from different positions
  • the set of image data is also included in the partial 3D model data.
  • the set of image data is also included in partial 3D model data.
  • FIG. 1 is a diagram illustrating an example of partial 3D model data.
  • the 3D model data (mesh) shown in FIG. 1 is an example of a partial 3D model data in which the part to be displayed surrounded by a thick frame B is an example of the partial 3D model data.
  • FIG. 1 is a diagram illustrating an example of partial 3D model data.
  • the 3D model data (mesh) shown in FIG. 1 is an example of a partial 3D model data in which the part to be displayed surrounded by a thick frame B is an example of the partial 3D model data.
  • FIG. 1 is a diagram illustrating an example of partial 3D model data.
  • the 3D model data (mesh) shown in FIG. 1 is an example of a partial 3D model data in which the part to be displayed surrounded by a thick frame B is an example of the partial 3D model data.
  • FIG. 1 is a diagram illustrating an example of partial 3D model data.
  • the 3D model data (mesh) shown in FIG. 1 is
  • reference model indicates a 3D model representing a part or the whole of a display target created by integrating partial 3D model data.
  • production depth in the present specification indicates the depth from the reproduction viewpoint to each part of the display target.
  • Embodiment 1 (Image processing device 2)
  • the image processing apparatus 2 according to the present embodiment will be described in detail with reference to FIG.
  • FIG. 2 is a block diagram showing the configuration of the display device 1 according to the present embodiment.
  • the display device 1 includes an image processing device 2 and a display unit 3.
  • the image processing device 2 includes an acquisition unit 4, a reception unit 5, an update unit 6 (corresponding to a generation unit in claims), a viewpoint depth synthesis unit 7, and a reproduction viewpoint image synthesis unit 8.
  • the acquisition unit 4 acquires image data to be displayed and a plurality of partial 3D model data partially indicating the three-dimensional shape of the display object. More specifically, regarding acquisition of a plurality of partial 3D model data, the acquisition unit 4 acquires a plurality of partial 3D model data associated in order in a predetermined order. For the configuration, for example, the acquisition unit 4 acquires a plurality of partial 3D model data associated with different times in the order corresponding to the times. The "time" in this case will be described later.
  • the receiving unit 5 receives a reproduction viewpoint (information on a reproduction viewpoint) from the outside of the image processing apparatus 2.
  • the updating unit 6 updates the reference model with reference to the partial 3D model data acquired by the acquiring unit 4. More specifically, the update unit 6 updates the reference model with reference to the partial 3D model data in the above-described order associated with the partial 3D model data acquired by the acquisition unit 4.
  • the viewpoint depth combining unit 7 combines the playback depth, which is the depth from the playback viewpoint to each part to be displayed, with reference to the playback viewpoint received by the receiving unit 5 and the reference model updated by the updating unit 6.
  • the reproduction viewpoint image synthesis unit 8 refers to the reproduction viewpoint received by the reception unit 5, the image data acquired by the acquisition unit 4, and the reproduction depth synthesized by the viewpoint depth synthesis unit 7 and displays the display target from the reproduction viewpoint. Synthesize the playback viewpoint image showing.
  • the display unit 3 displays the reproduction viewpoint image synthesized by the reproduction viewpoint image synthesis unit 8.
  • a head mount display etc. are mentioned as an example of the display part 3.
  • FIG. 1 A head mount display etc. are mentioned as an example of the display part 3.
  • FIG. 3 is a flow chart for explaining an example of the image processing method by the image processing apparatus 2 according to the present embodiment.
  • the receiving unit 5 receives a reproduction viewpoint (information on a reproduction viewpoint) from the outside of the image processing apparatus 2 (step S0).
  • the reception unit 5 transmits the received reproduction viewpoint to the acquisition unit 4, the viewpoint depth synthesis unit 7, and the reproduction viewpoint image synthesis unit 8.
  • the reproduction viewpoint received by the reception unit 5 may be a reproduction viewpoint set by the user of the display device 1 or a reproduction viewpoint specified by the display device 1.
  • the acquiring unit 4 acquires image data to be displayed and partial 3D model data partially indicating the three-dimensional shape of the display object (step S1).
  • Time is associated with each of a plurality of partial 3D model data (single or small number of partial 3D model data) acquired by the acquisition unit 4.
  • the plurality of partial 3D model data in this case is preferably data indicating different portions to be displayed.
  • the time associated with the partial 3D model data is, for example, a display time at which the image indicated by the depth data should be displayed.
  • the order is not necessarily limited to the time, and an order in a predetermined order (for example, display order) may be associated.
  • the acquiring unit 4 selects the image data to be decoded among the acquired image data according to the reproduction viewpoint received by the receiving unit 5 (step S2). Note that instead of step S2, in step S1, the acquiring unit 4 may select and acquire image data according to the reproduction viewpoint received by the receiving unit 5.
  • the acquisition unit 4 decodes the selected image data and the acquired partial 3D model data (step S3). Then, the acquiring unit 4 transmits the decoded image data to the reproduction viewpoint image synthesizing unit 8, and transmits the decoded partial 3D model data to the updating unit 6.
  • the updating unit 6 updates the reference model with reference to the partial 3D model data according to the time (the order in the predetermined order) associated with the partial 3D model data received from the acquiring unit 4 (step S4).
  • the updating unit 6 receives the partial 3D model data from the acquiring unit 4 each time (that is, each time the acquiring unit 4 acquires the partial 3D model data), the partial 3D model data Refer to to update the reference model.
  • the updating unit 6 transmits the updated reference model to the viewpoint depth synthesizing unit 7.
  • the updating unit 6 may transmit the partial 3D model data received from the acquiring unit 4 to the viewpoint depth synthesizing unit 7 as the reference model. .
  • the viewpoint depth synthesis unit 7 refers to the reproduction depth which is the depth from the reproduction viewpoint to each part to be displayed. Compose (step S5). Then, the viewpoint depth synthesizing unit 7 transmits the synthesized reproduction depth to the reproduction viewpoint image synthesizing unit 8.
  • the reproduction viewpoint image synthesis unit 8 refers to the reproduction viewpoint received from the reception unit 5, the image data received from the acquisition unit 4, and the reproduction depth received from the viewpoint depth synthesis unit 7, from the reproduction viewpoint.
  • the reproduction viewpoint image which shows the display object of is synthesized (step S6).
  • the reproduction viewpoint image synthesis unit 8 transmits the synthesized reproduction viewpoint image to the display unit 3.
  • the display unit 3 displays the reproduction viewpoint image received from the reproduction viewpoint image combining unit.
  • each frame of the reproduction viewpoint image is synthesized by the above-described steps S0 to S6. And the process from step S0 to step S6 is repeatedly performed until the reproduction
  • the acquisition unit 4 acquires partial 3D model data in an arbitrary order
  • the information necessary for the synthesis of the reproduction viewpoint video (and the information necessary for the synthesis of the reference model) may not be arranged depending on the reproduction viewpoint to be applied.
  • the acquiring unit 4 acquire partial 3D model data in the order illustrated below or a combination thereof.
  • the configuration described in the item may be realized by requesting partial 3D model data necessary for the image transmission device 41 described later by the acquisition unit 4, or partial 3D model data required by the image transmission device 41. It may be realized by sequentially transmitting.
  • the acquiring unit 4 Prioritizing the part related to the reproduction viewpoint Example 1: The acquiring unit 4 prioritizes the partial 3D model data indicating the part to be displayed relative to the reproduction viewpoint received by the receiving unit 5 in step S0 in step S1. To get.
  • Example 2 In step S1, the acquiring unit 4 is a partial 3D model data indicating a portion to be displayed relative to the initial viewpoint (the viewpoint at the start of reproduction of the reproduction viewpoint image) of the reproduction viewpoint received by the reception unit 5 in step S0. To get priority.
  • Example 3 In step S1, the acquiring unit 4 preferentially acquires partial 3D model data representing the portion to be displayed that is opposite to the predetermined viewpoint in step S0.
  • the predetermined viewpoint (so-called predetermined standard viewpoint or recommended viewpoint (recommended viewpoint)) may be set by the user of the display device 1 and is set by the display device 1 It is also good.
  • the partial 3D model data that is opposed to the specific viewpoint indicates partial 3D model data that includes a part of the 3D model that can be observed from the specific viewpoint.
  • preferentially acquiring partial 3D model data that faces a specific viewpoint means, for example, acquiring partial 3D model data that faces a specific viewpoint earlier than partial 3D model data that does not face a specific viewpoint. means.
  • partial 3D model data that is opposed to a specific viewpoint in a predetermined time interval is better than partial 3D model data that is not relative to a specific viewpoint It means to receive many.
  • partial 3D model data necessary for the synthesis of the playback viewpoint video can be prepared as appropriate.
  • the acquiring unit 4 preferentially acquires partial 3D model data including vertex information corresponding to a wider part of the display target and thinned at a prescribed interval. Do.
  • the partial 3D model data includes information indicating the positional relationship (relative position) between the reference model and the partial 3D model data.
  • the said information is represented by following formula (1).
  • O 1 ⁇ x o1, y o1, z o1 ⁇
  • O 2 ⁇ x o2, y o2, z o2 ⁇ ... formula (1)
  • Each of O 1 and O 2 indicates two points in the space including the reference model, and the range of the rectangular solid defined by the two points indicates the arrangement of partial 3D model data with respect to the reference model.
  • the partial 3D model data includes information on how to update the reference model.
  • the information indicates the type of update method, and as an example of the type, an update method by adding partial 3D model data to a reference model, or an update method by replacing part of the reference model with partial 3D model data Etc.
  • the partial 3D model data includes information indicating the three-dimensional shape of the partial 3D model represented by the following Expressions (2) to (4).
  • V s ⁇ V s1 , V s2 , ... ⁇ Equation (2)
  • E s ⁇ E s1 , E s2 , ... ⁇ Equation (3)
  • E sn ⁇ I n1 , I n2 , I n3 ⁇ Equation (4)
  • V s indicates vertex information (set of vertices) of the partial 3D model.
  • E s indicates vertex connection information (a set of triangles) connecting adjacent vertices of the partial 3D model.
  • E sn indicates an index specifying each vertex of these triangles.
  • the reference model includes information indicating the three-dimensional shape of the reference model.
  • the information include vertex information V r and vertex connection information E r .
  • step S4 using the partial 3D model data and the reference model described above will be described.
  • the updating unit 6 sequentially executes the following (1) to (4).
  • the updating unit 6 sets the range of the reference model corresponding to the range indicated by the information O 1 and O 2 indicating the relative position between the above-described reference model and the partial 3D model data as the processing target range.
  • the update unit 6 deletes the vertex information and the vertex connection information of the processing target range set in (1) when the information indicating the type of the update method described above is “replacement”.
  • the update unit 6 adds the vertex information V s and the vertex connection information E s included in the partial 3D model data to the reference model.
  • the vertex information V r and the vertex connection information E r of the reference model are represented by the union of the following equations (5) and (6).
  • V r V r U V s ' ... Formula (5)
  • E r E r U E s ' ... equation (6)
  • V s ′ in the above equation (5) is a set of points obtained by adding the mutation O 1 to each vertex of V s .
  • the vertex index of E s ' in the above equation (6) is the vertex index of E s updated to the vertex index of V r updated.
  • the updating unit 6 scans the vertices in the vicinity of the boundary of the processing target range, connects adjacent and unconnected vertices to each other, and transmits the connection information E r Add to
  • the above reference model updating method is an example, and another method of correcting the content of the reference model data based on partial 3D model data may be used.
  • the image processing apparatus 2 is a plurality of partial 3D model data partially showing the three-dimensional shape of the display target, and the plurality of partial 3D models associated in order in the predetermined order Data is acquired, and the reference model is updated with reference to the partial 3D model data in the order associated with the partial 3D model data. Then, the image processing apparatus 2 synthesizes a reproduction viewpoint image indicating a display target from the reproduction viewpoint with reference to the image data and the updated reference model.
  • the depth used in DIBR described in the background art described above contains only 3D information indicating a display target from a specific viewpoint, and is not suitable for realizing a service that looks around the display target.
  • the reproduction viewpoint image is synthesized with reference to the reference model generated by the plurality of partial 3D model data partially showing the three-dimensional shape of the display object, The reproduced viewpoint image from the viewpoint can be suitably synthesized.
  • the image processing apparatus 2 acquires a plurality of partial 3D model data partially indicating the three-dimensional shape of the display target. Therefore, it is possible to reduce the amount of data of the acquired 3D model data as compared to the case where 3D model data indicating the whole of the three-dimensional shape to be displayed is received at each time.
  • the image processing apparatus 2 updates the reference model with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • This configuration it is possible to prevent the degradation of the quality of the playback viewpoint image caused by the number of samples of the 3D model data or the accuracy that occurs in the configuration of combining the playback viewpoint image using single 3D model data as in the prior art. It is possible to combine quality playback viewpoint images.
  • the state of the updated reference model depends on the selection result of the past playback viewpoint. Do. Therefore, when the history of the playback viewpoint in the past is different, the fluctuation range of the playback result of the video at the same time and the same viewpoint becomes large, and there is a problem that it becomes difficult to guarantee the playback result. Therefore, the image processing apparatus 11 according to the present embodiment acquires a plurality of partial 3D model data without depending on the playback viewpoint.
  • FIG. 4 is a block diagram showing the configuration of the display device 10 according to the present embodiment.
  • the display device 10 has the same configuration as the display device 1 according to the first embodiment except that the image processing device 11 further includes an estimation unit 9 (corresponding to a generation unit in the claims). have.
  • data A and data B shown in FIG. 4 are a depth (depth data) partially showing a three-dimensional shape to be displayed, and viewpoint information regarding the viewpoint of the depth.
  • the estimating unit 9 refers to the depth and viewpoint information acquired by the acquiring unit 4 and the reference model updated immediately before by the updating unit 6, and the reference model and the 3D model (live model at the time corresponding to the depth)
  • the warp field indicating the positional relationship with The warp field here will be described later.
  • FIG. 5 is a flow chart for explaining an example of the image processing method by the image processing apparatus 11 according to the present embodiment. Detailed descriptions of steps similar to those of the image processing method according to the first embodiment will be omitted.
  • the receiving unit 5 receives a reproduction viewpoint (information on a reproduction viewpoint) from the outside of the image processing apparatus 11 (step S ⁇ b> 10).
  • the reception unit 5 transmits the received reproduction viewpoint to the acquisition unit 4, the viewpoint depth synthesis unit 7, and the reproduction viewpoint image synthesis unit 8.
  • the acquiring unit 4 displays image data to be displayed, a depth partially indicating the three-dimensional shape to be displayed (a depth associated with an order in a predetermined order), and information on a viewpoint of the depth (viewpoint information) Is acquired (step S11). More specifically, regarding acquisition of depth and viewpoint information, the acquiring unit 4 acquires depth (partial 3D model data) and viewpoint information without depending on the playback viewpoint received by the receiving unit 5 in step S10.
  • the acquiring unit 4 selects the image data to be decoded among the acquired image data in accordance with the reproduction viewpoint received by the receiving unit 5 (step S12).
  • the acquiring unit 4 decodes the selected image data, and the acquired depth and viewpoint information (step S13). Then, the acquisition unit 4 transmits the decoded image data to the reproduction viewpoint image synthesis unit 8, and transmits the decoded depth and viewpoint information to the estimation unit 9.
  • the estimation unit 9 refers to the depth and viewpoint information and the reference model updated by the update unit 6 in the order associated with the depth received from the acquisition unit 4 and the reference model, A warp field indicating a positional relationship with a 3D model (live model) at a time point corresponding to the depth is estimated (step S14).
  • the warp field here will be described later.
  • the update unit 6 updates the reference model with reference to the warp field estimated by the estimation unit 9 (step S15). More specifically, the updating unit 6 updates the reference model by converting the depth based on the warp field. The reference model is updated such that the transformed depth is part of the surface of the reference model.
  • the viewpoint depth synthesis unit 7 refers to the reproduction viewpoint received from the reception unit 5 and the live model generated by the update unit 6, and the reproduction viewpoint depth which is the depth from the reproduction viewpoint to each part to be displayed Are synthesized (step S16). Then, the viewpoint depth synthesizing unit 7 transmits the synthesized reproduction viewpoint depth to the reproduction viewpoint image synthesizing unit 8.
  • the reproduction viewpoint image synthesis unit 8 refers to the reproduction viewpoint received from the reception unit 5, the image data received from the acquisition unit 4, and the reproduction viewpoint depth received from the viewpoint depth synthesis unit 7.
  • the reproduction viewpoint image which shows the display object from is synthesize
  • the reproduction viewpoint image synthesis unit 8 transmits the synthesized reproduction viewpoint image to the display unit 3.
  • the display unit 3 displays the reproduction viewpoint image received from the reproduction viewpoint image combining unit.
  • DynamicFusion In the field of CG, a method called DynamicFusion is being considered to construct a 3D model by integrating depth.
  • the purpose of DynamicFusion is primarily to build a 3D model that removes noise in real time from the shooting depth.
  • DynamicFusion integrates depths obtained from sensors into a common reference model after compensating for 3D shape deformation. This enables the generation of accurate 3D models from low resolution and high noise depths.
  • DynamicFusion performs the following steps (1) to (3).
  • (1) The camera position and motion flow are estimated based on the input depth (current depth) and the reference 3D model (canonical model), and a 3D model (current model) is constructed.
  • (3) The 3D model constructed in (1) is integrated into the reference 3D model after compensating for the camera position of the 3D model and the deformation of the 3D model.
  • step S14 the estimation unit 9 updates the depth (input depth) and the viewpoint information received from the acquisition unit 4 and the update unit 6 immediately before
  • the warp field indicating the positional relationship between the reference model and the 3D model (live model) corresponding to the depth is estimated with reference to the reference model.
  • the warp field here may be a set of transformations (eg, rotation and translation) defined at each point in space.
  • step S14 the estimation unit 9 derives a transformation (warp field) such that the point after transformation approaches the input depth at each point on the reference model.
  • leading-out process is realizable by solving the minimization of the squared error which makes the evaluation value the distance of the point after conversion in a reference model, and corresponding depth, for example.
  • step S15 the updating unit 6 generates a live model (3D model at the current time) by converting the reference model with the warp field derived by the estimating unit 9 in step S14. Further, the updating unit 6 updates the reference model with reference to the depth and the warp field.
  • the reference model here is expressed as the existence probability of the model surface at each voxel in space (TSDF: Representation by Truncated Signed Distance Function).
  • FIG. 6 schematically shows step S15. More specifically, in step S15, the updating unit 6 converts the voxels according to the warp field, determines whether or not there is a point represented by the input depth in the converted voxels, and according to the determination result. , Update the surface presence probability at the voxel.
  • the depth (depth data) acquired by the acquisition unit 4 in step S11 is an image in which the depth of the scene (display target) from the viewpoint position associated with the viewpoint information is recorded.
  • the viewpoint information is information for specifying the position and the direction of the viewpoint of the depth (depth viewpoint).
  • the viewpoint information is represented by coordinates or displacement of the depth viewpoint.
  • the viewpoint information includes in the data the position of the depth viewpoint at each time.
  • the viewpoint information includes in the data the displacement from the predetermined viewpoint position of the depth viewpoint at each time.
  • the predetermined viewpoint position for example, the viewpoint position of the immediately preceding time or the predetermined viewpoint position can be used.
  • the viewpoint information is represented by a parameter or a function.
  • the viewpoint information includes, in the data, information specifying a conversion expression that represents the relationship between time and the position of the depth viewpoint.
  • the information which specifies the center position of a display object and the orbit of a depth viewpoint in each time is mentioned.
  • FIG. 7 schematically shows an example of the information.
  • the center position (center position of the sphere) of the display object is indicated by the position C
  • the depth viewpoint at each time (t) is indicated at the position on the sphere of radius r centered on the position C .
  • the information specifying the conversion formula representing the relationship between the time and the position of the depth viewpoint there may be mentioned information specifying the trajectory and speed of the depth viewpoint.
  • the information may be a formula of the trajectory of the camera position, a formula of the trajectory of the target viewpoint, a camera moving speed or a viewpoint moving speed, and the like.
  • the information specifying the conversion formula representing the relationship between the time and the position of the depth viewpoint may be information selecting a predetermined position pattern at each time.
  • FIG. 8 are diagrams showing examples of data configurations of depth and viewpoint information acquired by the acquisition unit 4 in step S11.
  • the viewpoint information P t at each time (t) is interleaved (alternately arranged) with the depth data D t at each time.
  • the viewpoint information P from time 0 to time t is stored in the header.
  • Viewpoint information P t in (a) and (b) of FIG. 8 includes an external parameters of the camera at time t.
  • viewpoint information P t in (a) and (b) of FIG. 8 may be data for another representation of the external parameters of the camera at time t.
  • viewpoint information P t is the external parameters of the camera separately, the internal parameters of the camera (e.g., focal length of the camera) may further comprise a.
  • the viewpoint information P 0 at time t 0 and each displacement dP t, t ⁇ 1 from the viewpoint information P 0 at each time It is interleaved with the depth data D t .
  • the displacement dP t, t-1 from the viewpoint information P 0 is stored in the header.
  • the viewpoint information in (c) and (d) of FIG. 8 includes the viewpoint position at a specific time and the displacement of the viewpoint between the times (viewpoint displacement dP t, u ).
  • the viewpoint displacement dP t, u indicates changes in the camera position and direction (viewpoint position displacement and gaze direction displacement) from time u to time t.
  • the line-of-sight direction displacement here indicates information indicating a change in the line-of-sight direction (example: rotation matrix R of xyz space).
  • the gaze position P t at each time is obtained by the following equation (7).
  • the image processing apparatus 11 uses viewpoint position displacement and gaze direction displacement as described above as viewpoint information.
  • viewpoint position displacement and gaze direction displacement as described above as viewpoint information.
  • step S11 the depth which acquisition part 4 acquires preferentially among a plurality of depths is explained.
  • the acquiring unit 4 acquires the depths in the order according to the viewpoint of the depth indicated by the viewpoint information. More specifically, the acquiring unit 4 first acquires the depth of the viewpoint at the initial position among the viewpoint positions (viewpoint positions indicated by the viewpoint information) disposed on a certain line segment, and then, at the initial position, The depth of the viewpoint position away from the viewpoint is preferentially acquired.
  • the acquiring unit 4 acquires the outline of the model shape to be displayed by acquiring the depth in the order according to the viewpoint of the depth indicated by the viewpoint information as the order of the depth acquired among the plurality of depths. It has the effect of being able to build in a short time.
  • the depth of the viewpoint position disposed on the line segment acquired by the acquisition unit 4 is disposed on the partial plane and the depth of the viewpoint position disposed on the partial curve.
  • the depth of the viewpoint position, the depth of the viewpoint position disposed on the partial curved surface, or the depth of the viewpoint position disposed on the partial space may be used.
  • the acquiring unit 4 selects a viewpoint position away from the viewpoint at the initial position among viewpoint positions (viewpoint positions indicated by the viewpoint information) disposed on the partial curve, partial plane, partial curved surface or partial space. Give priority to the depth of.
  • the acquiring unit 4 may preferentially acquire the depth of the viewpoint separated from the viewpoint group of the already acquired depth.
  • the acquiring unit 4 acquires again You may repeatedly acquire the completed depth.
  • the viewpoint of the depth acquired by the acquiring unit 4 in step S11 is directed to a common target point (point indicating the position of the display target) as the line of sight.
  • the acquisition unit 4 acquires the information of the target point, and determines the order of the depths to be acquired with reference to the information.
  • the acquisition part 4 acquires the depth here in such an order that the depth of various gaze directions can be acquired with respect to the said object point.
  • FIG. 10 is a schematic diagram of the configuration. In FIG. 10, the viewpoints Pt1 to Pt8 are respectively directed to the target point Pc as a line of sight.
  • the acquiring unit 4 acquires the position P c of the target point.
  • the acquisition unit 4 acquires the depth of P t2 facing the viewing direction of the most different orientation and sight line orientation of acquired depth (depth of the P t1).
  • the acquiring unit 4 repeatedly executes the step of acquiring the depth of the viewpoint that is directed in the direction of the line of sight that is most different from the direction of the direction of the line of sight of the already acquired depth.
  • the acquiring unit 4 may repeatedly execute the process until the difference between the acquired line of sight of the depth and the line of sight of the predetermined number of depths or the line of sight of the already acquired depth becomes equal to or less than a predetermined value.
  • the acquiring unit 4 may further acquire information of the depth viewpoint settable range, and acquire depth and viewpoint information under the constraint that the information falls within the range indicated by the information.
  • the acquiring unit 4 may acquire information indicating the shape of the display target together with the information on the target point (the position of the target point, etc.). Examples of the information include information indicating the shape of a sphere or a rectangle centered on the target point, information indicating a 3D model having the target point as a reference position, and the like.
  • the acquisition unit 4 acquires information indicating the shape of the display target, the depths of the viewpoints may be acquired in the order in which the surface of the display target is covered by the smaller number of viewpoints.
  • the acquiring unit 4 may preferentially acquire the depth of the viewpoint at a distance farther from the display target. In that case, in step S11, the acquiring unit 4 acquires the depth of the viewpoint closer to the display target than the viewpoint of the depth acquired last time.
  • the rough shape of the reference model can be obtained with a smaller number of depths by acquiring it first. You can build Further, by acquiring the depth with high spatial resolution (depth closer to the display target) thereafter, the shape of the reference model can be updated more precisely.
  • the modification concerning this embodiment is explained. Also in this modification, although the image processing apparatus 11 shown in FIG. 4 is used, the data A and the data B in FIG. 4 are only depths, and do not include information (viewpoint information) about the viewpoint of the depths. Then, in the configuration, in addition to estimating the warp field, the estimating unit 9 further estimates the viewpoint information of the depth with reference to the depth received from the acquiring unit 4 in step S14 described above. Thereby, each step after step S14 can also be performed by the method as described above.
  • the image processing apparatus 11 acquires the plurality of partial 3D model data independently of the playback viewpoint.
  • the history of the playback viewpoint in the past is different, in order to synthesize the reference model by the partial 3D model data not depending on the playback viewpoint, when the same partial 3D model data is acquired, the video at the same time and the same viewpoint The reproduction result of is effective to be the same.
  • the image processing apparatus 11 refers to the depth and the reference model in the order associated with the depth, and warps the positional relationship between the reference model and the reference model corresponding to the depth. Estimate the field and update the reference model with reference to the warp field.
  • the image processing apparatus 11 in the configuration using the depth as partial 3D model data, it is possible to construct a reference model in which noise is removed from the depth in real time, so that high-quality reproduced viewpoint images can be synthesized.
  • the image processing apparatus 11 acquires, together with the depth, viewpoint information regarding the viewpoint of the depth.
  • the depth can be selected and acquired according to the viewpoint of the depth indicated by the viewpoint information, so that the depth necessary for constructing the reference model according to the reproduction viewpoint can be acquired preferentially. Therefore, high quality reproduced viewpoint images can be synthesized.
  • the acquisition unit 4 acquires a plurality of partial 3D model data (depth, etc.) at different points in time, so a predetermined time has elapsed after the start of reception of the partial 3D model data. Since necessary partial 3D model data is not available, there is a problem that the synthesized reference model is incomplete and the image quality of the reproduced viewpoint image finally synthesized is degraded. Therefore, in the present embodiment, a plurality of partial 3D model data for initial reference model construction is acquired at the start of processing, and the initial reference model is generated with reference to the plurality of partial 3D model data for initial reference model construction. . For example, before displaying the reproduction viewpoint image, a part of a plurality of partial 3D model data is acquired as data required to construct an initial reference model, and the plurality of partial 3D model data is referenced to generate an initial reference model. .
  • Embodiment 3 of this invention is described based on drawing.
  • the image processing apparatus 2 according to the first embodiment or the image processing apparatus 11 according to the second embodiment can be used. Therefore, in the following description, it demonstrates using the display apparatus 10 provided with the image processing apparatus 11 which FIG. 4 shows, and description about each member with which the display apparatus 10 is provided is abbreviate
  • FIG. 12 is a flow chart for explaining the outline of the image processing method by the image processing apparatus 11 according to this embodiment.
  • the frame synthesis in step S21 in FIG. 12 is the same as the process in steps S10 to S17 described above. As shown in FIG. 12, the frame synthesis in step S21 is repeatedly performed.
  • FIG. 13 is a flow chart more specifically describing model initialization in step S20 shown in FIG. That is, in the present embodiment, the steps S30 to S35 described below are performed before the steps S10 to S17 described above are performed.
  • the receiving unit 5 receives a reproduction viewpoint (information on a reproduction viewpoint) from the outside of the image processing apparatus 11 (step S30).
  • regeneration viewpoint is a viewpoint at the time of reproduction
  • the reception unit 5 transmits the received reproduction viewpoint to the acquisition unit 4, the viewpoint depth synthesis unit 7, and the reproduction viewpoint image synthesis unit 8.
  • the acquiring unit 4 acquires a depth (partial 3D model data associated with an order in a predetermined order) partially indicating a three-dimensional shape to be displayed, and information (viewpoint information) on a viewpoint of the depth Step S31). More specifically, the acquiring unit 4 selects and acquires the depth and viewpoint information for initial reference model construction in accordance with the reproduction viewpoint received by the receiving unit 5. Note that, in step S31, unlike the above-described step S1 or step S11, the acquiring unit 4 may acquire a plurality of partial 3D model data indicating the portion of the three-dimensional shape to be displayed at one time. In addition, in step S31, the acquiring unit 4 may further acquire image data to be displayed, in addition to the depth and the viewpoint information.
  • the acquiring unit 4 decodes the acquired depth and the viewpoint information corresponding to the depth (step S32). Then, the acquisition unit 4 transmits the decoded depth and viewpoint information to the estimation unit 9.
  • the estimation unit 9 refers to the depth and viewpoint information and the reference model updated by the update unit 6 in the above order associated with the depth received from the acquisition unit 4 and the reference model. Then, a warp field indicating a positional relationship with a 3D model (live model) at a time point corresponding to the depth is estimated (step S33). In addition, when step S33 has not been performed even once and the reference model updated immediately before does not exist yet, step S33 and the following step S34 are omitted, and the depth itself acquired by the acquisition unit 4 is used as the reference model. The steps after step S35 may be performed.
  • the update unit 6 updates the reference model with reference to the warp field estimated by the estimation unit 9 (step S34).
  • the updating unit 6 determines whether or not the initialization of the reference model is completed based on the reference model updated in step S34 (step S35), and determines that the initialization is completed (YES in step S35) ), The process proceeds to step S10 described above, and when it is determined that the initialization is not completed (NO in step S35), the process returns to the process in step S30.
  • the processes of steps S30 to S35 are repeatedly executed until the updating unit 6 determines that the initialization is completed. Then, the updating unit 6 sets the reference model at the time when the initialization is completed as the initial reference model.
  • step S31 acquisition unit 4 from the image group available at the source server ⁇ V sm ⁇ and depth group ⁇ V sn ⁇ , image data closest viewpoint position of reproduction start viewpoint p c And select and acquire the depth.
  • step S31 the acquisition unit 4 preferentially selects and acquires a depth that is advantageous for construction of a reference model. More specifically, among the depths of viewpoints in the vicinity of the start reproduction viewpoint received from the reception unit 5, the acquiring unit 4 preferentially selects the depth of the viewpoint position not selected at the latest. Thereby, the accuracy of the initial reference model can be improved by acquiring and integrating the depths of different viewpoint positions.
  • step S31 when the acquiring unit 4 selects and acquires two or more depths, one is the depth of the viewpoint position near the start reproduction viewpoint, and the other is the acquisition frequency.
  • the depth of the few viewpoint positions is preferentially selected and acquired.
  • the acquiring unit 4 may select and acquire the depth of the viewpoint position near the start reproduction viewpoint position (the depth of the intermediate viewpoint position).
  • the viewpoint position in the vicinity of the start reproduction viewpoint position the viewpoint position within a predetermined distance from the start reproduction viewpoint position, N viewpoint positions in order from the start reproduction viewpoint position, or up and down around the start reproduction viewpoint position From the viewpoint positions existing in, one viewpoint position etc. can be mentioned.
  • the acquiring unit 4 may sequentially acquire the depths of the viewpoints present on a predetermined trajectory centered on the start reproduction viewpoint position.
  • the reference model can be constructed based on the depth of the viewpoint present in the area where the reproduction viewpoint is likely to move after the start of reproduction, so that the image quality after the start of reproduction is stabilized. .
  • step S31 the acquiring unit 4 acquires, as viewpoint information, a list of depth data corresponding to the start reproduction viewpoint position (reproduction viewpoint position received by the reception unit 5 in step S30) from the transmission source server. It is also good. As a result, the server side can select in advance the depth of the viewpoint position effective for reference model construction, so the number of depth data required for reference model construction can be reduced, and the time required for initializing the reference model can be shortened. Play.
  • step S31 the acquiring unit 4 may acquire a depth at a time different from the reproduction start time that is the time of the reproduction viewpoint received by the reception unit 5 in step S30. As a result, an occlusion portion to be displayed at a specific time can be modeled.
  • the display device 10 including the image processing device 11 acquires a plurality of partial 3D model data for initial reference model construction at the start of processing, and a plurality of the initial reference model construction.
  • An initial reference model which is a reference model at the time of reproduction start (display start) is generated with reference to partial 3D model data of.
  • Embodiment 4 The fourth embodiment of the present invention is described below with reference to the drawings. The same symbols are added to members having the same functions as those of the image processing apparatus 2 or the image processing apparatus 11 described in the first to third embodiments, and the description thereof is omitted.
  • FIG. 14 is a block diagram showing the configuration of the display device 20 according to the present embodiment.
  • the image processing device 21 does not include the viewpoint depth synthesizing unit 7 as compared with the display device 10 illustrated in FIG. 4. Therefore, as for the other members, the display device 20 is provided with the same members as the members included in the display device 10 shown in FIG. 4. Therefore, about these members, the same symbol is attached and the explanation is omitted.
  • the image processing method according to the present embodiment is the same as the image processing method described in the second embodiment except for steps S14 to S17. Therefore, the description of steps other than steps S14 to S17 will be omitted.
  • the estimation unit 9 performs the depth and the image data in the order associated with the depth (which may include viewpoint information) received from the acquisition unit 4. , And the warp model indicating the positional relationship between the reference model, the depth, and the 3D model (live model) at a time point corresponding to the image data with reference to the reference model updated immediately before the updating unit 6 .
  • the updating unit 6 updates the reference model with reference to the warp field estimated by the estimating unit 9. More specifically, the updating unit 6 updates the reference model by converting the depth based on the warp field.
  • the live model generated in the process and the updated reference model include color information of each pixel indicated by the image data.
  • step S16 the process proceeds to the process corresponding to step S17.
  • the reproduction viewpoint image synthesis unit 8 synthesizes a reproduction viewpoint image indicating a display target from the reproduction viewpoint with reference to the reproduction viewpoint received from the reception unit 5 and the live model received from the update unit 6. .
  • the image processing apparatus 21 updates the reference model by further referring to the image data.
  • the reference model including information of image data. Therefore, even when it takes time to switch the image data, it is possible to refer to the reference model including the information of the image data, and therefore, it is possible to synthesize a reproduced viewpoint image without a failure.
  • the fifth embodiment of the present invention is described below with reference to the drawings.
  • the members having the same functions as the members included in the image processing apparatus 2, the image processing apparatus 11, or the image processing apparatus 21 described in the first to fourth embodiments have the same reference numerals, and the description thereof is omitted. .
  • FIG. 15 is a block diagram showing the configuration of the display device 30 according to the present embodiment.
  • the image processing device 31 includes a correction unit 32 instead of the viewpoint depth synthesis unit 7. Therefore, for the other members, the display device 30 includes the same members as the members included in the display device 10 shown in FIG. 4. Therefore, about these members, the same symbol is attached and the explanation is omitted.
  • the correction unit 32 included in the image processing apparatus 31 refers to the reproduction viewpoint received by the reception unit 5 and the live model generated by the update unit 6, and the reproduction viewpoint image synthesis unit 8 generates a composite image. Image interpolation or filtering is performed on the reproduced viewpoint image.
  • image processing method an image processing method by the image processing apparatus 31 according to the present embodiment will be described.
  • the image processing method according to the present embodiment is the same as the image processing method described in the second embodiment except for steps S16 and S17. Therefore, the description of steps other than steps S16 to S17 will be omitted.
  • the reproduction viewpoint image synthesis unit 8 refers to the image data and the depth (which may include viewpoint information) received from the acquisition unit 4 instead of step S16 to reproduce the reproduction viewpoint.
  • the reproduction viewpoint image which shows the display object from.
  • the correction unit 32 refers to the reproduction viewpoint received by the reception unit 5 and the live model generated by the update unit 6, and the reproduction viewpoint image synthesized by the reproduction viewpoint image synthesis unit 8 Perform image interpolation or filtering on. More specifically, the correction unit 32 converts the live model according to the reproduction viewpoint, and performs interpolation processing to fill the hole area of the reproduction viewpoint image with reference to the converted live model. Further, the correction unit 32 compares the image obtained by projecting the live model to the reproduction viewpoint and the reproduction viewpoint image, and applies the smoothing filter to the region on the reproduction viewpoint image having different characteristics.
  • the image processing apparatus 31 refers to the image data and the plurality of partial 3D model data, synthesizes the reproduction viewpoint image indicating the display target from the reproduction viewpoint, and refers to the reference model. Then, image interpolation or filter processing is performed on the reproduction viewpoint image.
  • the configuration for synthesizing the reproduction viewpoint image with reference to the image data and the plurality of partial 3D model data is the same as the existing DIBR-based reproduction image synthesis system, and thus the existing DIBR-based reproduction image synthesis system It can be extended with few changes. Then, in the expanded system, a high quality reproduced viewpoint image can be synthesized by performing image interpolation or filter processing on the reproduced viewpoint image with reference to the reference model.
  • the image processing apparatus 11 according to the above-described second embodiment can be used. Therefore, in the following description, it demonstrates using the display apparatus 10 provided with the image processing apparatus 11 which FIG. 4 shows, and description about each member with which the display apparatus 10 is provided is abbreviate
  • the image processing method according to the present embodiment is the same as the image processing method described in the second embodiment except for steps S11 to S14. Therefore, the description of steps other than steps S11 to S14 will be omitted.
  • step S11 the acquisition unit 4 acquires image data to be displayed.
  • step S12 the acquisition unit 4 selects image data to be decoded among the acquired image data, according to the reproduction viewpoint received by the reception unit 5.
  • step S13 the acquisition unit 4 decodes the selected image data.
  • the estimating unit 9 estimates the depth (which may include viewpoint information) of the display target indicated by the image data with reference to the image data received from the acquiring unit. More specifically, the estimation unit 9 internally records a pair of image data and a reproduction viewpoint, and derives the depth of the reproduction viewpoint with reference to the latest image data and the past image data. The derivation may be performed, for example, by applying a technique such as stereo matching.
  • the estimating unit 9 refers to the estimated depth (which may include viewpoint information) and the reference model updated by the updating unit 6 immediately before the reference model and 3D at the time corresponding to the depth.
  • a warp field indicating a positional relationship with a model (live model) is estimated.
  • the image processing apparatus 11 estimates a plurality of partial 3D model data partially indicating the three-dimensional shape of the display target with reference to the image data. As a result, there is an effect that the preparation of the depth becomes unnecessary on the transmission side.
  • the updating unit 6 continues to update the reference model until the reproduction of the video ends, but if necessary, the reference model may be reset and the reference model may be rebuilt from scratch. Good.
  • a time at which random access is possible is designated, and at the time when the acquisition unit 4 starts acquiring partial 3D model data by random access, the update unit 6 updates the reference model updated up to immediately before Reset
  • the reference model updated by the updating unit 6 may not necessarily be a model that directly represents an object in the scene.
  • the position and shape of a flat or curved surface corresponding to the foreground or background in the scene is also included in the reference model.
  • FIG. 16 is a block diagram showing a configuration of an image transmission / reception system 40 including the display device 1, 10, 20 or 30 described above and an image transmission device 41 (also serving as a transmission unit in the claims).
  • the image transmitting apparatus 41 transmits image data to be displayed and a plurality of partial 3D model data partially indicating the three-dimensional shape of the display object. More specifically, the image transmission device 41 transmits a plurality of partial 3D model data partially representing a three-dimensional shape of a display target, the plurality of partial 3D model data being associated in an order in a predetermined order.
  • the configuration in which the acquiring unit 4 preferentially acquires specific partial 3D model data has been described.
  • the same configuration as these configurations can be applied to the image transmission device 41. More specifically, the image transmitting apparatus 41 sets partial 3D model data indicating a portion to be displayed relative to the playback viewpoint, and a portion to be displayed relative to the initial viewpoint of the playback viewpoint, among the plurality of partial 3D model data. At least one or more pieces of data of partial 3D model data to be shown and partial 3D model data showing a portion to be displayed relative to a predetermined viewpoint (for example, a recommended viewpoint) may be preferentially transmitted.
  • a predetermined viewpoint for example, a recommended viewpoint
  • the image transmission device 41 transmits viewpoint information regarding the viewpoint of the depth together with the depth partially indicating the three-dimensional shape of the display target.
  • the image transmission device 41 may transmit the depths in the order according to the viewpoint of the depth indicated by the viewpoint information as the order of the depths to be transmitted among the plurality of depths.
  • control blocks (in particular, the acquisition unit 4 and the update unit 6) of the image processing devices 2, 11, 21 and 31 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. It may be realized by software.
  • the image processing apparatuses 2, 11, 21 and 31 each include a computer that executes instructions of a program that is software that realizes each function.
  • the computer includes, for example, at least one processor (control device) and at least one computer readable storage medium storing the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the above-mentioned recording medium a tape, a disk, a card, a semiconductor memory, a programmable logic circuit or the like can be used besides “a non-temporary tangible medium”, for example, a ROM (Read Only Memory).
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An image processing apparatus (2, 11, 21, 31) according to aspect 1 of the present invention is a plurality of partial 3D model data partially showing a three-dimensional shape of a display target, and is associated in order in a predetermined order
  • an acquisition unit (4) for acquiring a plurality of partial 3D model data
  • a generation unit for generating a reference model with reference to the plurality of partial 3D model data, and with reference to the reference model
  • a synthesizing unit (reproduction viewpoint image synthesizing unit 8) for synthesizing a reproduction viewpoint image indicating the display object from the reproduction viewpoint, and the generation unit is configured to calculate the partial in the order associated with the partial 3D model data Update the reference model with reference to 3D model data.
  • the amount of data of acquired 3D model data can be reduced.
  • a reproduction viewpoint image caused by the number of samples or accuracy of the 3D model data It is possible to prevent the degradation of the image quality and to synthesize high-quality reproduced viewpoint images.
  • the partial 3D model data includes a depth, a point cloud, and the like that partially show the three-dimensional shape of the display object. It may be at least one or more data of the mesh.
  • the acquisition unit is configured to respond to the initial viewpoint among the plurality of partial 3D model data. At least one or more data of partial 3D model data indicating a portion to be displayed and partial 3D model data indicating a portion to be displayed relative to the recommended viewpoint may be acquired preferentially.
  • partial 3D model data necessary for synthesizing the reproduction viewpoint video can be appropriately prepared.
  • the image processing apparatus (2, 11, 21, 31) according to aspect 4 of the present invention may obtain the plurality of partial 3D model data in the above aspect 1 or 2 without depending on the reproduction viewpoint. .
  • the acquisition unit acquires a plurality of partial 3D model data for initial reference model construction, and
  • the generation unit may generate the initial reference model by referring to the plurality of partial 3D model data for constructing the initial reference model.
  • the initial reference model is constructed before the start of reproduction of the reproduction viewpoint image, the image quality at the start of reproduction of the reproduction viewpoint image is guaranteed.
  • the fallback to the constructed initial reference model can avoid the extreme degradation of the playback viewpoint image quality .
  • the plurality of partial 3D model data is a plurality of depths partially showing the three-dimensional shape of the display target
  • the generation unit (estimation unit 9) refers to the depth and the reference model in the order associated with the depth to indicate the positional relationship between the reference model and the reference model corresponding to the depth.
  • the warp field is estimated, and the reference model is updated with reference to the warp field.
  • the image processing apparatus (11, 21, 31) according to aspect 7 of the present invention may acquire viewpoint information regarding the viewpoint of the depth together with the depth in the above-mentioned aspect 6.
  • the depth can be selected and acquired according to the viewpoint of the depth indicated by the viewpoint information, the depth necessary for constructing a reference model according to the reproduction viewpoint is preferentially acquired. Can. Therefore, high quality reproduced viewpoint images can be synthesized.
  • the acquiring unit associates the order associated with the plurality of depths with the viewpoint of the depth indicated by the viewpoint information.
  • the order may be an order in which the depth of the viewpoint separated from the viewpoint of the depth of the preceding order is prioritized as the depth of the next order.
  • the outline of the model shape to be displayed can be constructed in a short time.
  • the acquisition unit further acquires the image data to be displayed, and the generation unit
  • the reference model may be updated with further reference to the image data.
  • An image processing apparatus (31) is image data to be displayed and a plurality of partial 3D model data partially showing a three-dimensional shape of the display object, and is associated in order in a predetermined order
  • An acquisition unit for acquiring the plurality of partial 3D model data, a generation unit for generating a reference model with reference to the plurality of partial 3D model data, and referring to the image data and the plurality of partial 3D model data
  • a synthesizing unit that synthesizes a reproduction viewpoint image indicating the display object from the reproduction viewpoint, and a correction unit that performs image interpolation or filter processing on the reproduction viewpoint image with reference to the reference model;
  • the generation unit updates the reference model with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • the configuration for synthesizing the reproduction viewpoint image with reference to the image data and the plurality of partial 3D model data is the same as that of the existing DIBR-based reproduction image synthesis system.
  • the image compositing system can be extended with few changes.
  • a high quality reproduced viewpoint image can be synthesized by performing image interpolation or filter processing on the reproduced viewpoint image with reference to the reference model.
  • An image processing apparatus (11) refers to an acquisition unit for acquiring image data to be displayed, and a plurality of portions partially showing the three-dimensional shape of the display object with reference to the image data.
  • the estimation unit that estimates 3D model data
  • the generation unit that generates a reference model with reference to the plurality of partial 3D model data
  • the display target from the playback viewpoint with reference to the image data and the reference model
  • the generation unit updates the reference model with reference to the partial 3D model data each time the estimation unit estimates the partial 3D model data.
  • a display device (1, 10, 20, 30) includes the image processing device according to any one of the first to tenth aspects and a display unit (3) for displaying the reproduction viewpoint image.
  • a display unit (3) for displaying the reproduction viewpoint image.
  • An image transmitting apparatus (41) according to aspect 13 of the present invention is a plurality of partial 3D model data partially showing a three-dimensional shape of a display target, and a plurality of partial 3D model data associated in order in a predetermined order And a transmitter for transmitting the
  • An image processing method is a plurality of partial 3D model data partially showing a three-dimensional shape of a display target, and acquiring a plurality of partial 3D model data associated in order in a predetermined order.
  • a generation step of generating a reference model with reference to the plurality of partial 3D model data, and a synthesis step of synthesizing a reproduction viewpoint image indicating the display object from the reproduction viewpoint with reference to the reference model And, in the generation step, the reference model is updated with reference to the partial 3D model data in the order associated with the partial 3D model data.
  • the image processing apparatus may be realized by a computer.
  • the computer is operated as each unit (software element) included in the image processing apparatus to cause the computer to execute the image processing apparatus.
  • a control program of an image processing apparatus to be realized and a computer readable recording medium recording the same also fall within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置（２、１１、２１、３１）は、取得部（４）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得し、生成部（６）は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。

Description

画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体
　本発明の一態様は、主に、再生視点からの表示対象を示す画像を合成する画像処理装置に関する。
　一般的に、再生視点（映像の再生時における視点）の選択が可能な映像サービスを実現するためのシステムの例として、画像及びデプスを利用したシステムが挙げられる。例えば、当該システムの具体例として、Depth Image-based Rendering（ＤＩＢＲ）が挙げられる。
　ＤＩＢＲについて以下で説明する。まず、特定の視点からの表示対象を示した画像データと、当該視点から当該表示対象までのデプスとを受信する。次に、受信したデプスの視点を再生視点に応じて変換して再生視点デプスを合成する。次に、再生視点と、合成した再生視点デプスと、受信した画像データとに基づいて、再生視点画像を合成する。
　上記のような構成を有するＤＩＢＲの例を示す文献として、特許文献１が挙げられる。
日本国公開特許公報「特開２０１５－８７８５１号公報（２０１５年５月７日公開）」
　上述のＤＩＢＲでは、指定された再生視点の再生画像を、受信データ（映像＋デプス）に基づいて合成して提示する。しかし、帯域の制限により、各時刻で受信可能な表示対象のデプス等の３Ｄモデルデータ（表示対象の３次元形状を示す情報）がサンプル数の点又はノイズ若しくはホール等の精度の点で限定されるため、合成される画像の品質が低いという問題がある。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データと３Ｄモデルデータとに基づいて再生視点画像を合成する画像処理装置において、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる技術を提供することにある。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の課題を解決するために、本発明の一態様に係る画像送信装置は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えている。
　上記の課題を解決するために、本発明の一態様に係る画像処理方法は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　本発明の一態様によれば、画像データと３Ｄモデルデータとに基づいて再生視点画像を合成する画像処理装置において、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
本発明の各実施形態で用いられる部分３Ｄモデルデータの一例を示す図である。 本発明の実施形態１に係る画像処理装置を備えている表示装置の構成を示すブロック図である。 本発明の実施形態１に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。 本発明の実施形態２に係る画像処理装置を備えている表示装置の構成を示すブロック図である。 本発明の実施形態２に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。 本発明の各実施形態で用いられるワープフィールドを説明するための図である。 本発明の各実施形態で用いられる視点情報の一例を説明するための図である。 （ａ）～（ｄ）は、それぞれ、本発明の各実施形態で用いられるデプス及び視点情報のデータ構成の例を示す図である。 本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第１の例を説明するための図である。 本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第２の例を説明するための図である。 本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第３の例を説明するための図である。 本発明の実施形態３に係る画像処理装置による画像処理方法の概要を説明するフローチャート図である。 本発明の実施形態３に係る画像処理装置が実行するモデル初期化を具体的に説明するフローチャート図である。 本発明の実施形態４に係る画像処理装置を備えている表示装置の構成を示すブロック図である。 本発明の実施形態５に係る画像処理装置を備えている表示装置の構成を示すブロック図である。 本発明の各実施形態に係る表示装置と画像送信装置とを含む画像送受信システムの構成を示すブロック図である。
　以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
　まず、以下で、本発明の各実施形態で用いられる用語の定義を説明する。本願明細書における用語「画像データ」とは、特定の視点からの表示対象を示す画像（各画素の色情報等）を示す。なお、本願明細書における画像は、静止画像及び動画像を含む。
　また、本願明細書における用語「部分３Ｄモデルデータ」とは、表示対象の３次元形状を部分的に示すデータを意味する。「部分３Ｄモデルデータ」の例として、特定の視点からのデプス、ポイントクラウド（点群の部分集合）、及びメッシュ（頂点、接続及び表面等を示すメッシュデータの部分集合）等が挙げられる。加えて、デプスデータ、ポイントクラウド、又はメッシュに変換可能なデータも部分３Ｄモデルデータに含まれる。例えば、異なる位置から同一対象を撮影した画像データの集合からはステレオマッチングによりデプスデータが抽出できるため、当該画像データの集合も部分３Ｄモデルデータに含まれる。また、例えば、同一の位置から異なる焦点距離で対象を撮影した画像データの集合からもデプスデータが抽出できるため、当該画像データの集合も部分３Ｄモデルデータに含まれる。
　図１は、部分３Ｄモデルデータの例を示す図である。図１が示す３Ｄモデルデータ（メッシュ）は、太枠Ｂで囲われた表示対象の部分が部分３Ｄモデルデータの一例であり、太枠Ａで囲われた図が、当該部分３Ｄモデルデータの拡大図である。
　また、本願明細書における用語「参照モデル」とは、部分３Ｄモデルデータを統合して作成される表示対象の部分又は全体を表現する３Ｄモデルを示す。
　また、本願明細書における用語「再生デプス」とは、再生視点から表示対象の各部分までのデプス（奥行き）を示す。
　〔実施形態１〕
　（画像処理装置２）
　本実施形態に係る画像処理装置２について、図２を参照して詳細に説明する。図２は、本実施形態に係る表示装置１の構成を示すブロック図である。図２が示すように、表示装置１は、画像処理装置２及び表示部３を備えている。画像処理装置２は、取得部４、受付部５、更新部６（請求項における生成部に相当）、視点デプス合成部７、及び再生視点画像合成部８を備えている。
　取得部４は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得する。複数の部分３Ｄモデルデータの取得に関して、より詳細には、取得部４は、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する。当該構成について、例えば、取得部４は、それぞれ異なる時刻に関連付けられた複数の部分３Ｄモデルデータを、当該時刻に対応する順番で取得する。なお、ここにおける「時刻」については後述する。
　受付部５は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける。
　更新部６は、取得部４が取得した部分３Ｄモデルデータを参照して、参照モデルを更新する。より詳細には、更新部６は、取得部４が取得した部分３Ｄモデルデータに関連付けられた上述の順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。
　視点デプス合成部７は、受付部５が受け付けた再生視点と、更新部６が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する。
　再生視点画像合成部８は、受付部５が受け付けた再生視点と、取得部４が取得した画像データと、視点デプス合成部７が合成した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
　表示部３は、再生視点画像合成部８が合成した再生視点画像を表示する。表示部３の例として、ヘッドマウントディスプレイ等が挙げられる。
　（画像処理方法）
　本実施形態に係る画像処理装置２による画像処理方法について、図３を参照して説明する。図３は、本実施形態に係る画像処理装置２による画像処理方法の一例を説明するフローチャート図である。
　まず、図３が示すように、受付部５は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ０）。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。なお、受付部５が受け付ける再生視点は、表示装置１の使用者が設定した再生視点であってもよく、表示装置１が指定した再生視点であってもよい。
　次に、取得部４は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す部分３Ｄモデルデータを取得する（ステップＳ１）。取得部４が取得する複数の部分３Ｄモデルデータ（単一又は少数の部分３Ｄモデルデータ）にはそれぞれ時刻が関連付けられている。なお、ここにおける複数の部分３Ｄモデルデータは、それぞれ、表示対象の異なる部分を示すデータであることが好ましい。また、部分３Ｄモデルデータに関連付けられた時刻は、例えば、デプスデータが示す画像を表示するべき表示時刻である。また、必ずしも時刻に限らず、所定順序（例えば表示順）における順番が関連付けられていてもよい。
　次に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する（ステップＳ２）。なお、ステップＳ２の代わりに、ステップＳ１において、取得部４は、受付部５が受け付けた再生視点に応じた画像データを選択して取得してもよい。
　次に、取得部４は、選択した画像データと、取得した部分３Ｄモデルデータとを復号する（ステップＳ３）。そして、取得部４は、復号した画像データを再生視点画像合成部８に送信し、復号した部分３Ｄモデルデータを更新部６に送信する。
　次に、更新部６は、取得部４から受信した部分３Ｄモデルデータに関連付けられた時刻（所定順序における順番）に応じて、当該部分３Ｄモデルデータを参照して、参照モデルを更新する（ステップＳ４）。また、好ましくは、ステップＳ４において、更新部６は、取得部４から部分３Ｄモデルデータを受信する毎に（つまり、取得部４が部分３Ｄモデルデータを取得する毎に）、当該部分３Ｄモデルデータを参照して、参照モデルを更新する。そして、更新部６は、更新した参照モデルを視点デプス合成部７に送信する。なお、ステップＳ４の工程を行う際に参照モデルがまだ生成されていない場合、更新部６は、取得部４から受信した部分３Ｄモデルデータを参照モデルとして視点デプス合成部７に送信してもよい。
　次に、視点デプス合成部７は、受付部５から受信した再生視点と、更新部６が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する（ステップＳ５）。そして、視点デプス合成部７は、合成した再生デプスを再生視点画像合成部８に送信する。
　次に、再生視点画像合成部８は、受付部５から受信した再生視点と、取得部４から受信した画像データと、視点デプス合成部７から受信した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する（ステップＳ６）。そして、再生視点画像合成部８は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部から受信した再生視点画像を表示する。
　なお、上記のステップＳ０からステップＳ６までの工程によって、再生視点画像の各フレームが合成される。そして、ステップＳ０からステップＳ６までの工程は、表示装置１による映像の再生が終了するまで繰り返し実行される。
　（優先して取得する部分３Ｄモデルデータ）
　以下で、ステップＳ１において取得部４が複数の部分３Ｄモデルデータのうちで優先して取得するデータについて説明する。
　例えば、取得部４が任意の順番で部分３Ｄモデルデータを取得した場合、適用される再生視点によっては、再生視点映像の合成に必要な情報（及び参照モデルの合成に必要な情報）が揃わない状況が発生するという問題がある。そこで、取得部４は、以下で例示する順序又はこれらの組み合わせで、部分３Ｄモデルデータを取得することが好ましい。なお、当該項目で説明する構成は、取得部４が後述する画像送信装置４１に必要な部分３Ｄモデルデータを要求することによって実現してもよいし、画像送信装置４１によって必要な部分３Ｄモデルデータを順次送信することによって実現してもよい。
　（１）再生視点に関連する部分を優先する
　例１：取得部４は、ステップＳ１において、ステップＳ０で受付部５が受け付けた再生視点に相対する表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。
　例２：取得部４は、ステップＳ１において、ステップＳ０で受付部５が受け付けた再生視点の初期視点（再生視点画像の再生開始時の視点）に相対する表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。
　例３：取得部４は、ステップＳ１において、ステップＳ０で所定の視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。なお、ここにおける所定の視点（いわゆる、既定の標準視点又はおすすめ視点（推奨視点））は、表示装置１の使用者が設定したものであってもよく、表示装置１が設定したものであってもよい。
　なお、上記例において、特定視点に相対する部分３Ｄモデルデータとは、特定視点から観察可能な３Ｄモデルの部分を含む部分３Ｄモデルデータを示す。また、特定視点に相対する部分３Ｄモデルデータを優先して取得することは、例えば、特定視点に相対する部分３Ｄモデルデータを、特定視点に相対しない部分３Ｄモデルデータよりも先に取得することを意味する。または、特定視点に相対する部分３Ｄモデルデータを優先して取得することは、例えば、所定の時間区間において、特定視点に相対する部分３Ｄモデルデータを、特定視点に相対しない部分３Ｄモデルデータよりも多数受信することを意味する。
　当該例１～３の構成のうち、少なくとも１つ以上の構成を採用することにより、再生視点映像の合成に必要な部分３Ｄモデルデータを、適宜、準備することができる。
　（２）粗い部分３Ｄモデルデータを優先する
　例１：取得部４は、表示対象のより広い部分に対応し且つ規定の間隔で間引かれた頂点情報を含む部分３Ｄモデルデータを優先して取得する。
　当該例１の構成を採用することによって、帯域の制限により取得可能な部分３Ｄモデルデータの情報量が限定されている状況において、再生視点の移動が頻繁に生じた場合でも、再生視点画像合成に必要な表示対象の部分に対応する部分３Ｄモデルデータが存在せずに再生視点画像の画質が著しく劣化することを抑制できる。
　（参照モデル更新処理の具体例）
　以下で、ステップＳ４において更新部６が参照モデルを更新する方法の具体例について説明する。まず、ステップＳ４において更新部６が参照モデルを更新する際に参照する部分３Ｄモデルデータの具体例について説明する。
　例えば、部分３Ｄモデルデータは、参照モデルと部分３Ｄモデルデータとの位置関係（相対位置）を示す情報を含む。当該情報は、下記の式（１）で表される。
　O1 = {xo1, yo1, zo1}, O2 = {xo2, yo2, zo2}　…式（１）
Ｏ１及びＯ２は、それぞれ、参照モデルを含む空間における２点を示し、当該２点で定まる直方体の範囲が、参照モデルに対する部分３Ｄモデルデータの配置を示す。
　また、例えば、部分３Ｄモデルデータは、参照モデルを更新する方法に関する情報を含む。当該情報は、更新方法の種別を示し、当該種別の例として、参照モデルに部分３Ｄモデルデータを追加することによる更新方法、又は参照モデルの一部を部分３Ｄモデルデータで置換することによる更新方法等が挙げられる。
　また、例えば、部分３Ｄモデルデータは、下記の式（２）～（４）で示される部分３Ｄモデルの３次元形状を示す情報を含む。
　Vs = {Vs1, Vs2, …}　…式（２）
　Es = {Es1, Es2, …}　…式（３）
　Esn= {In1, In2, In3}　…式（４）
　Ｖｓは、部分３Ｄモデルの頂点情報（頂点の集合）を示す。Ｅｓは、部分３Ｄモデルの隣接する各頂点を接続する頂点接続情報（三角形の集合）を示す。Ｅｓｎは、これらの三角形の各頂点を指定するインデックスを示す。
　次に、ステップＳ４において更新部６が更新する参照モデルの具体例について説明する。例えば、参照モデルは、参照モデルの３次元形状を示す情報を含む。当該情報の例として、頂点情報Ｖｒ及び頂点接続情報Ｅｒ等が挙げられる。
　次に、上記の部分３Ｄモデルデータ及び参照モデルを用いたステップＳ４の具体例を説明する。例えば、ステップＳ４では、更新部６が下記の（１）～（４）を順次実行する。（１）更新部６は、上述の参照モデルと部分３Ｄモデルデータとの相対位置を示す情報Ｏ１及びＯ２が示す範囲に対応する参照モデルの範囲を、処理対象範囲に設定する。
（２）更新部６は、上述の更新方法の種別を示す情報が「置換」の場合、（１）で設定した処理対象範囲の頂点情報及び頂点接続情報を消去する。
（３）更新部６は、部分３Ｄモデルデータが含む頂点情報Ｖｓ及び頂点接続情報Ｅｓを、参照モデルに追加する。これにより、参照モデルの頂点情報Ｖｒ及び頂点接続情報Ｅｒは、下記の式（５）及び（６）の和集合で示される。
　Vr = Vr U Vs'　…式（５）
　Er = Er U Es'　…式（６）
なお、上記の式（５）におけるＶｓ’は、Ｖｓの各頂点に変異Ｏ１を加算した点の集合である。上記の式（６）におけるＥｓ’の頂点インデックスは、Ｅｓの頂点インデックスを、更新されたＶｒにおける頂点インデックスに更新したものである。
（４）更新部６は、（３）の処理後の参照モデルにおいて、処理対象範囲の境界付近の頂点を走査し、互いに隣接し且つ未接続の頂点を接続して、当該接続情報をＥｒに追加する。
　なお、上記の参照モデルの更新方法は一例であり、部分３Ｄモデルデータに基づいて、参照モデルデータの内容を修正する別の方法を用いても構わない。
　（実施形態１のまとめ）
　以上のように、本実施形態に係る画像処理装置２は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得し、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。そして、画像処理装置２は、画像データと更新した参照モデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
　上述の背景技術で説明したＤＩＢＲで利用されるデプスは、特定視点からの表示対象を示す３Ｄ情報しか含んでおらず、表示対象を回り込んで見るようなサービスの実現には不向きであった。しかし、本実施形態に係る画像処理装置２では、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータによって生成された参照モデルを参照して再生視点画像を合成するため、種々の視点からの再生視点画像を好適に合成することができる。
　また、本実施形態に係る画像処理装置２は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得する。そのため、表示対象の３次元形状の全体を示す３Ｄモデルデータを各時点で受信する場合に比べて、取得する３Ｄモデルデータのデータ量を削減できる。
　また、本実施形態に係る画像処理装置２は、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。当該構成により、従来技術のように単一の３Ｄモデルデータを用いて再生視点画像を合成する構成において生じた、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
　〔実施形態２〕
　実施形態１で説明したように、再生視点に応じて、特定の部分３Ｄモデルデータを優先して取得する構成を採用した場合、更新された参照モデルの状態が過去の再生視点の選択結果に依存する。そのため、過去の再生視点の履歴が異なる場合、同時刻及び同視点における映像の再生結果の振れ幅が大きくなり、再生結果の保証が困難になるという問題がある。そこで、本実施形態に係る画像処理装置１１は、再生視点に依存せずに、複数の部分３Ｄモデルデータを取得する。
　上記のような本発明の実施形態２について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した画像処理装置２が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　（画像処理装置１１）
　本実施形態に係る画像処理装置１１について、図４を参照して説明する。図４は、本実施形態に係る表示装置１０の構成を示すブロック図である。図４が示すように、表示装置１０は、画像処理装置１１が推定部９（請求項における生成部に相当）をさらに備えていること以外は、実施形態１に係る表示装置１と同様の構成を有している。なお、本実施形態において、図４に示されたデータＡ及びデータＢは、表示対象の３次元形状を部分的に示すデプス（デプスデータ）、及び当該デプスの視点に関する視点情報である。
　推定部９は、取得部４が取得したデプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。なお、ここにおけるワープフィールドについては後述する。
　（画像処理方法）
　本実施形態に係る画像処理装置１１による画像処理方法について、図５を参照して、詳細に説明する。図５は、本実施形態に係る画像処理装置１１による画像処理方法の一例を説明するフローチャート図である。なお、実施形態１に係る画像処理方法と同様の工程については、詳細な説明は省略する。
　まず、図５が示すように、受付部５は、画像処理装置１１の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ１０）。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。
　次に、取得部４は、表示対象の画像データ、当該表示対象の３次元形状を部分的に示すデプス（所定順序における順番に関連付けられたデプス）、及び当該デプスの視点に関する情報（視点情報）を取得する（ステップＳ１１）。デプス及び視点情報の取得に関して、より詳細には、取得部４は、ステップＳ１０で受付部５が受け付けた再生視点に依存せずに、デプス（部分３Ｄモデルデータ）及び視点情報を取得する。
　次に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する（ステップＳ１２）。
　次に、取得部４は、選択した画像データ、並びに、取得したデプス及び視点情報を復号する（ステップＳ１３）。そして、取得部４は、復号した画像データを再生視点画像合成部８に送信し、復号したデプス及び視点情報を推定部９に送信する。
　次に、推定部９は、取得部４から受信したデプスに関連付けられた順番で、当該デプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する（ステップＳ１４）。なお、ここにおけるワープフィールドについては後述する。
　次に、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する（ステップＳ１５）。より詳細には、更新部６は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。参照モデルは、変換されたデプスが参照モデルの表面の一部となるように更新される。
　次に、視点デプス合成部７は、受付部５から受信した再生視点と、更新部６が生成したライブモデルとを参照して、再生視点から表示対象の各部分までのデプスである再生視点デプスを合成する（ステップＳ１６）。そして、視点デプス合成部７は、合成した再生視点デプスを再生視点画像合成部８に送信する。
　次に、再生視点画像合成部８は、受付部５から受信した再生視点と、取得部４から受信した画像データと、視点デプス合成部７から受信した再生視点デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する（ステップＳ１７）。そして、再生視点画像合成部８は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部から受信した再生視点画像を表示する。
　（ワープフィールド）
　以下で、上述のステップＳ１４及びステップＳ１５で用いられるワープフィールドについて、詳細に説明する。ＣＧの分野では、デプスを統合することで３Ｄモデルを構築するDynamicFusionという手法が検討されている。DynamicFusionの目的は、主に、撮影デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。DynamicFusionでは、センサから取得されるデプスを３Ｄ形状の変形を補償した上で共通の参照モデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。
　より詳細には、DynamicFusionでは、以下の（１）～（３）の工程を行う。
（１）入力デプス（current depth）と基準３Ｄモデル（canonical model）とに基づいてカメラ位置及び動きフローを推定し、３Ｄモデル（current model）を構築する。
（２）３Ｄモデルを視点に合わせてレンダリングして、更新されたデプスを再生デプスとして出力する。
（３）（１）で構築した３Ｄモデルを、３Ｄモデルのカメラ位置及び３Ｄモデルの変形を補償した上で基準３Ｄモデルに統合する。
　上記の（１）について、本実施形態に係る画像処理方法では、ステップＳ１４において、推定部９は、取得部４から受信したデプス（入力デプス）及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。ここにおけるワープフィールドは、空間の各点で規定される変換（例えば、回転及び並進）の集合であり得る。
　ステップＳ１４について、より詳細には、推定部９は、参照モデル上の各点において、変換後の点が入力デプスと近づくような変換（ワープフィールド）を導出する。当該導出処理は、例えば、参照モデルにおける変換後の点と対応するデプスとの距離を評価値とする二乗誤差の最小化を解くことで実現できる。
　そして、ステップＳ１５において、更新部６は、ステップＳ１４で推定部９が導出したワープフィールドで参照モデルを変換することにより、ライブモデル（現時刻における３Ｄモデル）を生成する。また、更新部６は、デプス及びワープフィールドを参照して参照モデルを更新する。例えば、ここにおける参照モデルは、空間中の各ボクセルにおけるモデル表面の存在確立として表現される（TSDF: Truncated Signed Distance Functionによる表現）。
　図６は、ステップＳ１５を図式化したものである。ステップＳ１５について、より詳細には、更新部６は、ボクセルをワープフィールドにより変換し、変換後のボクセルに入力デプスで表現される点が存在するか否かを判定し、当該判定結果に応じて、ボクセルにおける表面の存在確率を更新する。
　（デプス及び視点情報の具体例）
　以下で、上述のステップＳ１１で取得部４が取得するデプス及び視点情報の具体例について詳細に説明する。
　ステップＳ１１で取得部４が取得するデプス（デプスデータ）は、視点情報と関連付けられた視点位置からのシーン（表示対象）のデプスを記録した画像である。視点情報は、当該デプスの視点（デプス視点）の位置及び方向を特定する情報である。本実施形態に係る画像処理装置１１がこの視点情報を用いることにより、デプス視点の推定処理を省略できるため、再生時の負荷が低減することができる。
　視点情報について、より詳細に説明する。一態様において、視点情報は、デプス視点の座標又は変位によって表現される。例えば、視点情報は、各時刻のデプス視点の位置をデータに含む。又は、視点情報は、各時刻のデプス視点の所定視点位置からの変位をデータに含む。所定視点位置としては、例えば、直前の時刻の視点位置、又は既定の視点位置を用いることができる。
　また、別の態様において、視点情報は、パラメータ又は関数によって表現される。例えば、視点情報は、時刻とデプス視点の位置との関係を表す変換式を特定する情報をデータに含む。当該情報の例として、各時刻における、表示対象の中心位置とデプス視点の周回軌道とを特定する情報が挙げられる。図７は、当該情報の例を図式化したものである。図７において、表示対象の中心位置（球の中心位置）が位置Ｃで示され、位置Ｃを中心とした半径ｒの球上の位置に、各時刻（ｔ）におけるデプス視点が示されている。
　また、時刻とデプス視点の位置との関係を表す変換式を特定する情報の別の例として、デプス視点の軌道及び速度を指定する情報が挙げられる。例えば、当該情報は、カメラ位置の軌道の式、対象視点の軌道の式、カメラ移動速度又は視点移動速度等であり得る。
　また、時刻とデプス視点の位置との関係を表す変換式を特定する情報は、各時刻における既定の位置パターンを選択する情報であってもよい。
　次に、図８を参照して、ステップＳ１１で取得部４が取得するデプス及び視点情報のデータ構成について説明する。図８の（ａ）～（ｄ）は、それぞれ、ステップＳ１１で取得部４が取得するデプス及び視点情報のデータ構成の例を示す図である。
　例えば、図８の（ａ）が示すように、各時刻（ｔ）における視点情報Ｐｔは、各時刻におけるデプスデータＤｔとインタリーブ（交互配置）されている。また、別の例では、図８の（ｂ）が示すように、時刻０から時刻ｔまでの視点情報Ｐは、ヘッダに格納されている。
　図８の（ａ）及び（ｂ）における視点情報Ｐｔは、時刻ｔにおけるカメラの外部パラメータを含む。例えば、当該外部パラメータは、空間内の視点位置を示す情報であり得る（例：xyz空間内の点の位置 p={px, py, pz}）。また、例えば、当該外部パラメータは、視線方向を示す情報であり得る（例：xyz空間のベクトル v={vx, vy, vz}）。また、図８の（ａ）及び（ｂ）における視点情報Ｐｔは、時刻ｔにおけるカメラの外部パラメータを表す別の表現のデータであってもよい。例えば、当該データの例として、既定カメラ位置に対する回転又は並進を示すデータであってもよい。また、視点情報Ｐｔは、カメラの外部パラメータとは別に、カメラの内部パラメータ（例えば、カメラの焦点距離）をさらに含んでもよい。
　また、別の例では、図８の（ｃ）が示すように、時刻ｔ＝０における視点情報Ｐ０と、当該視点情報Ｐ０からの各変位ｄＰｔ，ｔ－１とが、各時刻におけるデプスデータＤｔとインタリーブされている。また、別の例では、図８の（ｄ）が示すように、視点情報Ｐ０からの各変位ｄＰｔ，ｔ－１は、ヘッダに格納されている。
　図８の（ｃ）及び（ｄ）における視点情報は、特定の時刻の視点位置と時刻間の視点の変位（視点変位ｄＰｔ，ｕ）とを含む。視点変位ｄＰｔ，ｕは、時刻ｕから時刻ｔのカメラ位置及び方向の変化（視点位置変位及び視線方向変位）を示す。ここにおける視点位置変位とは、空間内の視点位置の変化を示す情報を示す（例：xyz空間のベクトル dp={dpx, dpy, dpz}）。また、ここにおける視線方向変位とは、視線方向の変化を示す情報を示す（例：xyz空間の回転行列 R）。
　上記の視点変位ｄＰｔ，ｕと、時刻ｔ＝０における視点情報Ｐ０とを用いて、各時刻における視線位置Ｐｔは、下記の式（７）によって求められる。
　pt = p0 + Σ{ dpk,k-1 }　…式（７）
　また、時刻間の回転を示す回転行列Ｒｔ，ｔ－１を用いて、各時刻における視線方向Ｖｔは、下記の式（８）によって求められる。
　vt = Rt,t-1vt-1　…式（８）
　本実施形態に係る画像処理装置１１は、視点情報として、上記のような視点位置変位及び視線方向変位を用いる。これにより、表示対象が変わる場合などの、座標系が変わる場合において、初期の視点位置のみを変更すればよく、視点位置変位としては、座標系が変わる前の視点位置変位と同一のものが利用できるため、視点情報の変更が少なくて済むという効果を奏する。
　（優先して取得するデプス）
　以下で、ステップＳ１１において、取得部４が複数のデプスのうちで優先して取得するデプスについて説明する。
　例えば、取得部４は、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得する。より詳細には、取得部４は、ある線分上に配置された視点位置（視点情報が示す視点位置）のうちで、初めに初期位置の視点のデプスを取得し、続いて、初期位置の視点から離れた視点位置のデプスを優先して取得する。図９は、当該構成を図式化したものである。図９において、対象Ｏと、線分上に配置され且つ当該対象Ｏに相対した各時刻（ｔ＝１～５）の視点位置と、が示されている。
　例えば、取得部４は、初期位置の視点からのデプスとして、ｔ＝１の視点のデプスを取得した場合、初期位置から遠い位置の視点のデプス（ｔ＝２又は３の視点のデプス）を取得する。次に、取得部４は、中間位置の視点のデプス（ｔ＝４又は５の視点のデプス）を取得する。
　上記のように、取得部４が、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得することにより、表示対象のモデル形状の概要を短い時間で構築できるという効果を奏する。
　また、例えば、図９が示すような構成において、取得部４は、ｔ＝１～５の各視点のデプスを、上述の順序で繰り返し取得してもよい。その場合、取得部４は、ｔ＝１のデプスの取得からｔ＝５のデプス（又はｔ＝４のデプス）の取得までの周期Ｔｐをさらに取得し、当該周期で、ｔ＝１～５の各視点のデプスを繰り返し取得する。この手順によれば、途中からデプスを受信する際にもモデル形状の概要を短い時間で構築できるという効果を奏する。
　また、例えば、図９が示すような構成において、取得部４は、ｔ＝４又は５の視点のデプスを取得した後に、次に取得したデプスの視点と、取得済みのｔ＝１～５のデプスの何れかの視点との間隔が所定の間隔（最小視点間隔）以下である場合、ｔ＝１～５の各視点のデプスを繰り返し取得してもよい。その場合、取得部４は、上記の最小視点間隔をデータとしてさらに取得してもよい。
　なお、図９が示すような構成において、取得部４が取得する、線分上に配置された視点位置のデプスは、部分曲線上に配置された視点位置のデプス、部分平面上に配置された視点位置のデプス、部分曲面上に配置された視点位置のデプス、又は部分空間上に配置された視点位置のデプスであってもよい。その場合、取得部４は、部分曲線上、部分平面上、部分曲面上又は部分空間上に配置された視点位置（視点情報が示す視点位置）のうちで、初期位置の視点から離れた視点位置のデプスを優先して取得する。また、取得部４は、取得済みのデプスの視点群から離れた視点のデプスを優先して取得してもよい。また、取得部４は、指定個数のデプスの視点群、又は取得済みのデプスの各視点からの距離が所定以下の視点位置のデプスを取得した場合、初期位置の視点のデプスから、再度、取得済みのデプスを繰り返し取得してもよい。
　また、別の態様では、ステップＳ１１で取得部４が取得するデプスの視点は、視線として共通の対象点（表示対象の位置を示す点）の方向を向いている。その場合、取得部４は、当該対象点の情報を取得し、当該情報を参照して、取得するデプスの順序を決定する。なお、ここにおける取得部４がデプスを取得する順序は、当該対象点に対して種々の視線方向のデプスを取得できるような順序であることが好ましい。図１０は、当該構成を図式化したものである。図１０において、視点Ｐｔ１～Ｐｔ８は、それぞれ視線として対象点Ｐｃの方向を向いている。
　図１０が示すような構成において、まず、取得部４は、対象点の位置Ｐｃを取得する。次に、取得部４は、Ｐｔ１の視点位置（時刻ｔ＝１における視点位置）のデプスを取得する。次に、取得部４は、取得済みのデプス（Ｐｔ１のデプス）の視線方向の向きとは最も異なる向きの視線方向を向いたＰｔ２のデプスを取得する。そして、取得部４は、取得済みのデプスの視線方向の向きとは最も異なる向きの視線方向を向いた視点のデプスを取得する工程を繰り返し実行する。取得部４は、取得したデプスの視線と、所定数のデプスの視線又は取得済みのデプスの視線との差分が所定の値以下になるまで、当該工程を繰り返し実行してもよい。
　また、取得部４は、ステップＳ１１において、デプス視点設定可能範囲の情報をさらに取得し、当該情報が示す範囲内となるような制約の元で、デプス及び視点情報を取得してもよい。
　また、取得部４は、ステップＳ１１において、対象点の情報（対象点の位置等）と共に、表示対象の形状を示す情報を取得してもよい。当該情報の例として、対象点を中心とする球又は矩形の形状を示す情報、対象点を基準位置とする３Ｄモデルを示す情報等が挙げられる。取得部４が表示対象の形状を示す情報を取得する場合、表示対象の表面がより少ない視点数でカバーされるような順で、各視点のデプスを取得してもよい。
　また、取得部４は、ステップＳ１１において、表示対象からより離れた距離の視点のデプスを優先して取得してもよい。その場合、取得部４は、ステップＳ１１において、前回取得したデプスの視点よりも、表示対象に近い視点のデプスを取得する。図１１は、当該構成を図式化したものである。図１１において、時刻ｔ＝１～６における各視点は、視線方向として、表示対象Ｏの方向を向いている。ステップＳ１１において、まず、取得部４は、表示対象から最も遠い位置の視点のデプス（ｔ＝１～３の視点のデプス）を優先して取得する。次に、取得部４は、取得済のデプスの視点よりも、表示対象に近い視点のデプス（ｔ＝４～６の視点のデプス）を取得する。以上のような構成を採用することにより、表示対象から離れている方が広い空間範囲のデプスを含んでいるため、それを先に取得することで、より少ないデプスの数で参照モデルの概略形状を構築できる。また、その後に空間解像度の高いデプス（表示対象により近いデプス）を取得することで、参照モデルの形状をより精密に更新できる。
　（変形例）
　以下で本実施形態に係る変形例について説明する。本変形例においても、図４に示す画像処理装置１１を用いるが、図４におけるデータＡ及びデータＢは、デプスのみであり、当該デプスの視点に関する情報（視点情報）を含まない。そして、当該構成において、上述のステップＳ１４において、推定部９は、ワープフィールドを推定することに加えて、取得部４から受信したデプスを参照して、当該デプスの視点情報もさらに推定する。これにより、ステップＳ１４以降の各ステップも、上述の通りの方法で実行可能である。
　上記のような構成を採用することにより、ワープフィールド推定の処理量は増えるが、視点情報を取得する必要がないため、データ量の削減が可能である。
　（実施形態２のまとめ）
　以上のように、本実施形態に係る画像処理装置１１は、再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得する。これにより、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分３Ｄモデルデータによって参照モデルを合成するため、同一の部分３Ｄモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。
　また、本実施形態に係る画像処理装置１１は、デプスに関連付けられた順番で、当該デプス及び参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して参照モデルを更新する。これにより、部分３Ｄモデルデータとしてデプスを用いる構成において、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。
　また、本実施形態に係る画像処理装置１１は、デプスと共に、当該デプスの視点に関する視点情報を取得する。これにより、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。
　〔実施形態３〕
　上述の実施形態１又は実施形態２において、取得部４が複数の部分３Ｄモデルデータ（デプス等）をそれぞれ異なる時点で取得するため、部分３Ｄモデルデータの受信開始後、一定の時間が経つまでは、必要な部分３Ｄモデルデータが揃っていないため、合成された参照モデルが不完全であり、最終的に合成される再生視点画像の画質が低下するという問題がある。そのため、本実施形態では、処理開始時に初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成する。例えば、再生視点画像を表示する前に、複数の部分３Ｄモデルデータの一部を初期参照モデル構築要のデータとして取得し、当該複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成する。
　本発明の実施形態３について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態１に係る画像処理装置２又は実施形態２に係る画像処理装置１１を用いることができる。そのため、以下の説明では、図４が示す画像処理装置１１を備えている表示装置１０を用いて説明し、表示装置１０が備えている各部材についての説明は省略する。
　以下で、本実施形態に係る画像処理装置１１による画像処理方法について、図１２及び図１３を参照して説明する。図１２は、本実施形態に係る画像処理装置１１による画像処理方法の概要を説明するフローチャート図である。図１２におけるステップＳ２１のフレーム合成は、上述のステップＳ１０～ステップＳ１７の工程と同様である。図１２が示すように、ステップＳ２１のフレーム合成は、繰り返し実行される。また、図１３は、図１２が示すステップＳ２０のモデル初期化をより具体的に説明するフローチャート図である。つまり、本実施形態では、上述のステップＳ１０～Ｓ１７の工程を実行する前に、以下で説明するステップＳ３０～Ｓ３５の工程を実行する。
　まず、受付部５は、画像処理装置１１の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ３０）。なお、この再生視点は再生開始時の視点であるため、以下では開始再生視点とも呼ぶ。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。
　次に、取得部４は、表示対象の３次元形状を部分的に示すデプス（所定順序における順番に関連付けられた部分３Ｄモデルデータ）、及び当該デプスの視点に関する情報（視点情報）を取得する（ステップＳ３１）。より詳細には、取得部４は、受付部５が受け付けた再生視点に応じて、初期参照モデル構築用のデプス及び視点情報を選択して取得する。なお、ステップＳ３１では、上述のステップＳ１又はステップＳ１１と異なり、取得部４は、表示対象の３次元形状の部分を示す複数の部分３Ｄモデルデータを一度に取得してもよい。また、ステップＳ３１において、取得部４は、デプス及び視点情報に加えて、表示対象の画像データをさらに取得してもよい。
　次に、取得部４は、取得したデプス及び当該デプスに対応する視点情報を復号する（ステップＳ３２）。そして、取得部４は、復号したデプス及び視点情報を推定部９に送信する。
　次に、推定部９は、取得部４から受信したデプスに関連付けられた上記順番で、当該デプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する（ステップＳ３３）。なお、ステップＳ３３を一度も実行しておらず、直前に更新された参照モデルがまだ存在しない場合、ステップＳ３３及び下記のステップＳ３４を省略して、取得部４が取得したデプス自体を参照モデルとして、ステップＳ３５以降の工程を行ってもよい。
　次に、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する（ステップＳ３４）。
　次に、更新部６は、ステップＳ３４で更新した参照モデルによって、参照モデルの初期化が完了したか否かを判定し（ステップＳ３５）、初期化が完了したと判定した場合（ステップＳ３５のＹＥＳ）、上述のステップＳ１０の工程に進み、初期化が完了していないと判定した場合（ステップＳ３５のＮＯ）、ステップＳ３０の工程に戻る。ステップＳ３０～ステップＳ３５の工程は、更新部６が初期化が完了したと判定するまで繰り返し実行される。そして、更新部６は、初期化が完了した時点の参照モデルを初期参照モデルに設定する。
　（優先して取得するデプス）
　以下で、上述のステップＳ３１において取得部４が開始再生視点に応じて取得する、初期参照モデル生成に用いるデプス及び視点情報の具体例について説明する。
　例えば、ステップＳ３１において、取得部４は、送信元のサーバで利用可能な画像群{Vsm}及びデプス群{Vsn}の中から、開始再生視点pcの位置に最も近い視点の画像データ及びデプスを選択して取得する。
　別の例では、ステップＳ３１において、取得部４は、参照モデルの構築に有利なデプスを優先的に選択して取得する。より詳細には、取得部４は、受付部５から受信した開始再生視点の近傍にある視点のデプスのうち、直近で選択していない視点位置のデプスを優先して選択する。これにより、それぞれ異なる視点位置のデプスを取得し統合することで初期参照モデルの正確さを向上することができる。
　また、別の例では、ステップＳ３１において、取得部４は、２つ以上のデプスを選択して取得する場合に、１つは開始再生視点近傍の視点位置のデプス、もう１つは取得頻度が少ない視点位置のデプスを優先的に選択して取得する。
　（実施形態３の具体例）
　以下で、実施形態３の具体例を詳細に説明する。例えば、上述のステップＳ３０において受付部５が受け付けた再生視点の開始位置（開始再生視点位置）に基づいて、上述のステップＳ３１～Ｓ３４を、所定の時間、繰り返し実行する。当該構成において、取得部４は、所定のフレーム分のデプスを取得し、更新部６は、当該デプスに基づいて参照モデルを更新することにより、参照モデルの初期化を完了する。これにより、初期参照モデルが表示対象に対して正確になり、画質が向上するという効果を奏する。
　また、ステップＳ３１において、取得部４は、開始再生視点位置近傍の視点位置のデプス（中間視点位置のデプス）を選択して取得してもよい。ここにおける開始再生視点位置近傍の視点位置の例として、開始再生視点位置から所定の距離内の視点位置、開始再生視点位置から近い順にＮ個の視点位置、又は開始再生視点位置を中心として上下左右に存在する視点位置のうちから各１個の視点位置等を挙げられる。また、上記の構成において、取得部４は、開始再生視点位置を中心とした規定の軌道上に存在する視点のデプスを順に取得してもよい。以上の構成を採用することにより、再生開始後に再生視点が移動する可能性が高い領域に存在する視点のデプスに基づいて参照モデルを構築できるため、再生開始後の画質が安定するという効果を奏する。
　また、ステップＳ３１において、取得部４は、視点情報として、開始再生視点位置（受付部５がステップＳ３０で受け付けた再生視点位置）に応じたデプスデータのリストを、送信元のサーバから取得してもよい。これにより、サーバ側で事前に参照モデル構築に有効な視点位置のデプスを選択できるため、参照モデル構築に必要なデプスデータ数を削減でき、参照モデルの初期化に要する時間を短縮できるという効果を奏する。
　また、ステップＳ３１において、取得部４は、受付部５がステップＳ３０で受け付けた再生視点の時刻である再生開始時刻とは別の時刻のデプスを取得してもよい。これにより、特定時刻での表示対象のオクルージョン部分もモデル化できるという効果を奏する。
　（実施形態３のまとめ）
　以上のように、本実施形態に係る画像処理装置１１を備えている表示装置１０は、処理開始時に初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して再生開始（表示開始）時点の参照モデルである初期参照モデルを生成する。これにより、再生開始時点で、高品質な参照モデルが構築できるため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。
　〔実施形態４〕
　本発明の実施形態４について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１～３にて説明した画像処理装置２又は画像処理装置１１が備えている部材と同じ機能を有する部材については、同じ記号を付記し、その説明を省略する。
　（画像処理装置２１）
　本実施形態に係る画像処理装置２１について、図１４を参照して説明する。図１４は、本実施形態に係る表示装置２０の構成を示すブロック図である。図１４が示すように、表示装置２０は、図４が示す表示装置１０と比較して、画像処理装置２１が視点デプス合成部７を備えていない。そのため、他の部材については、表示装置２０は、図４が示す表示装置１０が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。
　以下で、本実施形態に係る画像処理装置２１による画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１４～ステップＳ１７以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１４～ステップＳ１７以外の工程については説明を省略する。
　まず、本実施形態の画像処理方法では、ステップＳ１４の代わりに、推定部９は、取得部４から受信したデプス（視点情報を含んでもよい）に関連付けられた順番で、当該デプス及び画像データと、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプス及び当該画像データに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。
　次に、ステップＳ１５と同様に、更新部６は、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する。より詳細には、更新部６は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。そして、当該工程で生成されたライブモデルと更新された参照モデルとは、画像データが示す各画素の色情報を含んでいる。
　次に、ステップＳ１６の工程を行わずに、ステップＳ１７に相当する工程に進む。当該工程において、再生視点画像合成部８は、受付部５から受信した再生視点と、更新部６から受信したライブモデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
　（実施形態４のまとめ）
　以上のように、本実施形態に係る画像処理装置２１は、画像データをさらに参照して参照モデルを更新する。これにより、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
　〔実施形態５〕
　本発明の実施形態５について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１～４にて説明した画像処理装置２、画像処理装置１１又は画像処理装置２１が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　（画像処理装置３１）
　本実施形態に係る画像処理装置３１について、図１５を参照して説明する。図１５は、本実施形態に係る表示装置３０の構成を示すブロック図である。図１５が示すように、表示装置３０は、図４が示す表示装置１０と比較して、画像処理装置３１が視点デプス合成部７の代わりに補正部３２を備えている。そのため、他の部材については、表示装置３０は、図４が示す表示装置１０が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。
　本実施形態に係る画像処理装置３１が備えている補正部３２は、受付部５が受け付けた再生視点と、更新部６が生成したライブモデルとを参照して、再生視点画像合成部８が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。
　（画像処理方法）
　以下で、本実施形態に係る画像処理装置３１による画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１６及びステップＳ１７以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１６～ステップＳ１７以外の工程については説明を省略する。
　まず、本実施形態の画像処理方法では、ステップＳ１６の代わりに、再生視点画像合成部８は、取得部４から受信した画像データ及びデプス（視点情報を含んでもよい）を参照して、再生視点からの表示対象を示す再生視点画像を合成する。
　次に、ステップＳ１７の代わりに、補正部３２は、受付部５が受け付けた再生視点と、更新部６が生成したライブモデルとを参照して、再生視点画像合成部８が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。より詳細には、補正部３２は、再生視点に応じて、ライブモデルを変換し、変換後のライブモデルを参照して、再生視点画像のホール領域を埋める補間処理を行う。また、補正部３２は、ライブモデルを再生視点に投影して得られる画像と再生視点画像とを比較し、特性が異なる再生視点画像上の領域に対して平滑化フィルタを適用する。
　（実施形態５のまとめ）
　以上のように、本実施形態に係る画像処理装置３１は、画像データ及び複数の部分３Ｄモデルデータを参照して、再生視点からの表示対象を示す再生視点画像を合成し、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行う。これにより、画像データ及び複数の部分３Ｄモデルデータを参照して再生視点画像を合成する構成は、既存のＤＩＢＲベースの再生画像合成システムと同様であるため、既存のＤＩＢＲベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。
　〔実施形態６〕
　本発明の実施形態６について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態２に係る画像処理装置１１を用いることができる。そのため、以下の説明では、図４が示す画像処理装置１１を備えている表示装置１０を用いて説明し、表示装置１０が備えている各部材についての説明は省略する。なお、図４におけるデータＡについて、本実施形態では、取得部４は、デプス等のデータＡを取得しない。また、図４におけるデータＢについて、推定部９が取得部４から受信するデータは、画像データのみである。
　以下で、本実施形態における画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１１～ステップＳ１４以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１１～ステップＳ１４以外の工程については説明を省略する。
　まず、ステップＳ１１の代わりに、取得部４は、表示対象の画像データを取得する。
　次に、ステップＳ１２と同様に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する。
　次に、ステップＳ１３の代わりに、取得部４は、選択した画像データを復号する。
　次に、ステップＳ１４を行う前に、推定部９は、取得部から受信した画像データを参照して、当該画像データが示す表示対象のデプス（視点情報を含んでもよい）を推定する。より詳細には、推定部９は、画像データと再生視点とのペアを内部に記録し、直近の画像データと過去の画像データとを参照して、再生視点のデプスを導出する。当該導出は、例えばステレオマッチング等の技術を適用することにより行われ得る。
　次に、推定部９は、推定したデプス（視点情報を含んでもよい）と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。
　（実施形態６のまとめ）
　以上のように、本実施形態に係る画像処理装置１１は、画像データを参照して、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する。これにより、送信側でデプスの準備が不要になるという効果を奏する。
　〔付記事項〕
　以下で、実施形態１～６で説明した各構成に共通の付記事項について説明する。上述の各構成において、更新部６は、映像の再生が終了するまで参照モデルを更新し続けるが、必要に応じて、参照モデルをリセットして、再度、参照モデルを一から構築し直してもよい。当該構成の例として、例えば、ランダムアクセスが可能な時刻が指定されており、取得部４がランダムアクセスにより部分３Ｄモデルデータを取得し始めた時刻において、更新部６は、直前まで更新した参照モデルをリセットする。
　また、更新部６が更新する参照モデルは、必ずしもシーン内の物体を直接表現するモデルでなくてもよい。例えば、シーン内の前景又は背景に相当するような平面又は曲面の位置及び形状も参照モデルに含まれる。
　〔画像送信装置〕
　以下で、実施形態１～６で説明した各構成において取得部４が取得する部分３Ｄモデルデータを送信する画像送信装置について、図１６を参照して説明する。図１６は、上述の表示装置１、１０、２０又は３０と、画像送信装置４１（請求項における送信部を兼ねる）とを含む画像送受信システム４０の構成を示すブロック図である。
　図１６が示す画像送受信システム４０において、画像送信装置４１は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを送信する。より詳細には、画像送信装置４１は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する。
　なお、上述の実施形態１～３において、取得部４が特定の部分３Ｄモデルデータを優先して取得する構成について説明した。これらの構成と同様の構成を、画像送信装置４１にも適用できる。より詳細には、画像送信装置４１は、複数の部分３Ｄモデルデータのうちで、再生視点に相対する表示対象の部分を示す部分３Ｄモデルデータ、再生視点の初期視点に相対する表示対象の部分を示す部分３Ｄモデルデータ、及び所定の視点（例えば、推奨視点）に相対する表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して送信してもよい。
　また、例えば、画像送信装置４１は、表示対象の３次元形状を部分的に示すデプスと共に、当該デプスの視点に関する視点情報を送信する。当該構成において、画像送信装置４１は、複数のデプスのうちで送信するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを送信してもよい。
　〔ソフトウェアによる実現例〕
　画像処理装置２、１１、２１及び３１の制御ブロック（特に取得部４及び更新部６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、画像処理装置２、１１、２１及び３１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像処理装置（２、１１、２１、３１）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部（４）と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部（更新部６）と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部（再生視点画像合成部８）と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の構成によれば、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得するため、表示対象の３次元形状の全体を示す３Ｄモデルデータを各時点で受信する場合に比べて、取得する３Ｄモデルデータのデータ量を削減できる。また、上記の構成によれば、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新するため、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
　本発明の態様２に係る画像処理装置（２、１１、２１、３１）は、上記態様１において、上記部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示すデプス、ポイントクラウド及びメッシュの少なくとも１つ以上のデータであってもよい。
　上記の構成によれば、参照モデルを好適に構築することができ、高品質な再生視点画像を合成できる。
　本発明の態様３に係る画像処理装置（２、１１、２１、３１）は、上記態様１又は２において、上記取得部は、上記複数の部分３Ｄモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して取得してもよい。
　上記の構成によれば、再生視点映像の合成に必要な部分３Ｄモデルデータを、適宜、準備することができる。
　本発明の態様４に係る画像処理装置（２、１１、２１、３１）は、上記態様１又は２において、上記再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得してもよい。
　上記の構成によれば、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分３Ｄモデルデータによって参照モデルを合成するため、同一の部分３Ｄモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。
　本発明の態様５に係る画像処理装置（２、１１、２１、３１）は、上記態様１～４において、上記取得部は、初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、上記生成部は、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成してもよい。
　上記の構成によれば、再生視点画像の再生開始前に、初期参照モデルを構築するため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの初期参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。
　本発明の態様６に係る画像処理装置（１１、２１、３１）は、上記態様４において、上記複数の部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示す複数のデプスであり、上記生成部（推定部９）は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して上記参照モデルを更新する。
　上記の構成によれば、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。
　本発明の態様７に係る画像処理装置（１１、２１、３１）は、上記態様６において、上記デプスと共に、当該デプスの視点に関する視点情報を取得してもよい。
　上記の構成によれば、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。
　本発明の態様８に係る画像処理装置（１１、２１、３１）は、上記態様７において、上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であってもよい。
　上記の構成によれば、表示対象のモデル形状の概要を短い時間で構築できる。
　本発明の態様９に係る画像処理装置（２、１１、２１及び３１）は、上記態様１～８において、上記取得部は、上記表示対象の画像データをさらに取得し、上記生成部は、上記画像データをさらに参照して上記参照モデルを更新してもよい。
　上記の構成によれば、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
　本発明の態様１０に係る画像処理装置（３１）は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の構成によれば、画像データ及び複数の部分３Ｄモデルデータを参照して再生視点画像を合成する構成は、既存のＤＩＢＲベースの再生画像合成システムと同様であるため、既存のＤＩＢＲベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。
　本発明の態様１１に係る画像処理装置（１１）は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の構成によれば、画像データが示す各画素の色情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
　本発明の態様１２に係る表示装置（１、１０、２０、３０）は、上記態様１～１０の何れか１つの画像処理装置と、上記再生視点画像を表示する表示部（３）と、を備えている。
　上記の構成によれば、上記態様１～１０の何れか１つの画像処理装置によって合成された高品質な再生視点画像を表示することができる。
　本発明の態様１３に係る画像送信装置（４１）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えている。
　上記の構成によれば、表示対象の３次元形状の全体を示す３Ｄモデルデータを一度に送信する場合に比べて、各時点で送信する３Ｄモデルデータのデータ量を削減できる。
　本発明の態様１４に係る画像処理方法は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
　上記の構成によれば、上記態様１と同様の効果を奏する。
　本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　（関連出願の相互参照）
　本出願は、２０１７年８月９日に出願された日本国特許出願２０１７－１５４５５１に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１、１０、２０、３０　表示装置
　２、１１、２１、３１　画像処理装置
　３　表示部
　４　取得部
　５　受付部
　６　更新部
　７　視点デプス合成部
　８　再生視点画像合成部
　９　推定部
　３２　補正部
　４０　画像送受信システム
　４１　画像送信装置

Claims (16)

  1. 　表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、
    　上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
    　上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、
    　上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
  2. 　上記部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示すデプス、ポイントクラウド及びメッシュの少なくとも１つ以上のデータであることを特徴とする、請求項１に記載の画像処理装置。
  3. 　上記取得部は、上記複数の部分３Ｄモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して取得することを特徴とする、請求項１又は２に記載の画像処理装置。
  4. 　上記取得部は、上記再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得することを特徴とする、請求項１又は２に記載の画像処理装置。
  5. 　上記取得部は、初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、
    　上記生成部は、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成することを特徴とする、請求項１～４の何れか１項に記載の画像処理装置。
  6. 　上記複数の部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示す複数のデプスであり、
    　上記生成部は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して上記参照モデルを更新することを特徴とする、請求項４に記載の画像処理装置。
  7. 　上記取得部は、上記デプスと共に、当該デプスの視点に関する視点情報を取得することを特徴とする、請求項６に記載の画像処理装置。
  8. 　上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、
    　上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であることを特徴とする、請求項７に記載の画像処理装置。
  9. 　上記取得部は、上記表示対象の画像データをさらに取得し、
    　上記生成部は、上記画像データをさらに参照して上記参照モデルを更新することを特徴とする、請求項１～８の何れか１項に記載の画像処理装置。
  10. 　表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、
    　上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
    　上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、
    　上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、
    　上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
  11. 　表示対象の画像データを取得する取得部と、
    　上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、
    　上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
    　上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、
    　上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
  12. 　請求項１～１０の何れか１項に記載の画像処理装置と、
    　上記再生視点画像を表示する表示部と、を備えていることを特徴とする、表示装置。
  13. 　表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えていることを特徴とする、画像送信装置。
  14. 　表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、
    　上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、
    　上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、
    　上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理方法。
  15. 　請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記取得部、上記生成部及び上記合成部としてコンピュータを機能させるための制御プログラム。
  16. 　請求項１５に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2018/029048 2017-08-09 2018-08-02 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体 WO2019031386A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/637,045 US20200242832A1 (en) 2017-08-09 2018-08-02 Image processing device, display device, image transmission device, image processing method, control program, and recording medium
JP2019535159A JPWO2019031386A1 (ja) 2017-08-09 2018-08-02 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体
CN201880051455.2A CN111033575A (zh) 2017-08-09 2018-08-02 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-154551 2017-08-09
JP2017154551 2017-08-09

Publications (1)

Publication Number Publication Date
WO2019031386A1 true WO2019031386A1 (ja) 2019-02-14

Family

ID=65272043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029048 WO2019031386A1 (ja) 2017-08-09 2018-08-02 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20200242832A1 (ja)
JP (1) JPWO2019031386A1 (ja)
CN (1) CN111033575A (ja)
WO (1) WO2019031386A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021143875A (ja) * 2020-03-10 2021-09-24 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092487A (ja) * 1998-08-29 2000-03-31 Samsung Electronics Co Ltd ３次元メッシュ情報のプログレッシブ符号化／復号化方法及びその装置
JP2005332028A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519779B1 (ko) * 2004-02-10 2005-10-07 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치
CN102349304B (zh) * 2009-03-30 2015-05-06 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
US8860717B1 (en) * 2011-03-29 2014-10-14 Google Inc. Web browser for viewing a three-dimensional object responsive to a search query
CN107318027B (zh) * 2012-12-27 2020-08-28 日本电信电话株式会社 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
JP6053200B2 (ja) * 2012-12-27 2016-12-27 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9437045B2 (en) * 2013-07-03 2016-09-06 Fuji Xerox Co., Ltd. Real-time mobile capture and application of photographic images as textures in three-dimensional models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092487A (ja) * 1998-08-29 2000-03-31 Samsung Electronics Co Ltd ３次元メッシュ情報のプログレッシブ符号化／復号化方法及びその装置
JP2005332028A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KITAHARA, MASAKI ET AL.: "Data compression of arbitrary viewpoint image contents", NTT TECHNICAL JOURNAL, vol. 17, no. 2, 14 February 2005 (2005-02-14), pages 17 - 20, ISSN: 0915-2318 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021143875A (ja) * 2020-03-10 2021-09-24 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム
US11869179B2 (en) 2020-03-10 2024-01-09 Nec Corporation Abnormal part display apparatus, abnormal part display system, abnormal part display method, and abnormal part display program
JP7468002B2 (ja) 2020-03-10 2024-04-16 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム

Also Published As

Publication number Publication date
CN111033575A (zh) 2020-04-17
JPWO2019031386A1 (ja) 2020-08-13
US20200242832A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US7471292B2 (en) Virtual view specification and synthesis in free viewpoint
WO2020143191A1 (en) Image frame prediction method, image frame prediction apparatus and head display apparatus
CN110999285B (zh) 基于纹理图与网格的3d图像信息的处理
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
KR20160135660A (ko) 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치
CN107809610B (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
US20220148207A1 (en) Processing of depth maps for images
US20200286205A1 (en) Precise 360-degree image producing method and apparatus using actual depth information
JP2017050731A (ja) 動画像フレーム補間装置、動画像フレーム補間方法及び動画像フレーム補間プログラム
WO2019031386A1 (ja) 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体
CN113469930B (zh) 图像处理方法、装置、及计算机设备
US20220270205A1 (en) Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
JP2006350852A (ja) 画像生成システム
CN115861145B (zh) 一种基于机器视觉的图像处理方法
JP2001291116A (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JP2015197374A (ja) ３次元形状推定装置及び３次元形状推定方法
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
JPWO2019026388A1 (ja) 画像生成装置および画像生成方法
JP2006126965A (ja) 合成映像生成システム，方法，プログラム，及び、記録媒体
US20220167013A1 (en) Apparatus and method of generating an image signal
WO2019167760A1 (ja) 画像処理装置、表示装置、画像処理方法、制御プログラム及び記録媒体
JP5970387B2 (ja) 画像生成装置、画像生成方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18843526

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535159

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18843526

Country of ref document: EP

Kind code of ref document: A1