WO2018070266A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2018070266A1
WO2018070266A1 PCT/JP2017/035397 JP2017035397W WO2018070266A1 WO 2018070266 A1 WO2018070266 A1 WO 2018070266A1 JP 2017035397 W JP2017035397 W JP 2017035397W WO 2018070266 A1 WO2018070266 A1 WO 2018070266A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
image
unit
depth image
viewpoints
Prior art date
Application number
PCT/JP2017/035397
Other languages
English (en)
French (fr)
Inventor
権大 古川
田中　潤一
祐一 荒木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018544957A priority Critical patent/JP6813027B2/ja
Priority to EP17860598.6A priority patent/EP3528495A4/en
Priority to CN201780061931.4A priority patent/CN109791706B/zh
Priority to DE112017005228.9T priority patent/DE112017005228T5/de
Priority to US16/331,379 priority patent/US11328379B2/en
Publication of WO2018070266A1 publication Critical patent/WO2018070266A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of selecting a viewpoint of a depth image suitable for generating a 3D model.
  • Non-Patent Document 1 There is a technique for generating a 3D model of a subject from color images and depth images taken by a plurality of cameras (see Non-Patent Document 1, for example).
  • the generation speed of a 3D model may be reduced by generating a 3D model using a depth image of a redundant viewpoint or a depth image of a viewpoint with low importance.
  • This disclosure has been made in view of such a situation, and makes it possible to select a viewpoint of a depth image suitable for generating a 3D model.
  • An image processing apparatus includes a viewpoint determination unit that determines a candidate viewpoint as a viewpoint of a depth image of the 3D model based on a 3D model projected on a candidate viewpoint screen. An image processing apparatus is provided.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • the viewpoint of the depth image of the 3D model is determined as the candidate viewpoint based on the 3D model projected on the candidate viewpoint screen.
  • the image processing device is selected by a selection unit that selects a depth image of a predetermined viewpoint from depth images of a plurality of viewpoints of the 3D model based on the viewpoint of the display image, and the selection unit selects
  • the image processing apparatus includes a generation unit that generates the display image using the depth image of the predetermined viewpoint and the color image of the 3D model.
  • the image processing method according to the second aspect of the present disclosure corresponds to the image processing apparatus according to the second aspect of the present disclosure.
  • a depth image of a predetermined viewpoint is selected from a plurality of viewpoint depth images of the 3D model based on the viewpoint of the display image, and the selected depth image of the predetermined viewpoint and the selected viewpoint image
  • the display image is generated using the color image of the 3D model.
  • the image processing apparatuses according to the first and second aspects can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is provided by being transmitted via a transmission medium or by being recorded on a recording medium. Can do.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image processing system to which the present disclosure is applied.
  • the image processing system 10 generates and displays a color image of the display viewpoint using the color image and the depth image acquired by the imaging device 11.
  • the imaging device 11 of the image processing system 10 includes, for example, a multi-camera, a distance measuring device, and an image processing unit.
  • the multi-camera of the imaging device 11 includes a plurality of cameras, and captures a moving image of a color image of a subject that is at least partially shared by each camera.
  • the distance measuring device is provided in each camera, for example, and generates a moving image of a depth image at the same viewpoint as the camera.
  • the image processing unit of the imaging device 11 calculates the Visual Hull and the like by using the color image and depth image moving image of each camera and the external parameters and internal parameters of each camera in units of frames. Generate a 3D model.
  • the image processing unit obtains the shape information (Geometry) indicating the three-dimensional positions of the vertices (Vertex) of each polygon mesh constituting the 3D model and the connection between the vertices, and the color information of each polygon mesh, and the 3D data of the subject.
  • the 3D data may be configured by shape information and a color image of each camera.
  • Non-Patent Document 1 As a method for generating 3D data in the image processing unit, for example, a method described in Non-Patent Document 1 or the like can be employed.
  • the image processing unit supplies 3D data to the encoding device 12.
  • the encoding device 12 includes a conversion unit 21, an encoding unit 22, a storage unit 23, and a transmission unit 24.
  • the conversion unit 21 of the encoding device 12 determines the viewpoint of the color image and the depth image of the predetermined number of viewpoints to be generated.
  • the number of viewpoints of the color image to be generated and the number of viewpoints of the depth image may be different or the same.
  • the number of viewpoints of the color image to be generated and the number of viewpoints of the depth image are determined according to the user input, the state of the transmission path between the encoding device 12 and the decoding device 13, and the like. The number is smaller than the number of viewpoints.
  • the conversion unit 21 generates external parameters and internal parameters of the determined color image viewpoint and depth image viewpoint virtual camera. Based on the external parameters and internal parameters of each virtual camera of the color image, the conversion unit 21 generates a frame-unit color image photographed by each virtual camera from the frame-unit 3D data supplied from the imaging device 11. . Also, the conversion unit 21 generates a depth image corresponding to a color image in units of frames captured by each virtual camera from 3D data in units of frames from the external parameters and internal parameters of each virtual camera in the depth image. .
  • the conversion unit 21 supplies the color image and depth image of each virtual camera to the encoding unit 22.
  • the conversion unit 21 supplies the external camera parameters and internal parameters of each virtual camera corresponding to the color image and the depth image to the storage unit 23 as virtual viewpoint information.
  • the encoding unit 22 encodes the color image and the depth image of each virtual camera supplied from the conversion unit 21.
  • an AVC (Advanced Video Coding) method, a HEVC (High Efficiency Video Coding) method, or the like can be adopted.
  • the encoding unit 22 supplies an encoded stream obtained as a result of encoding to the storage unit 23.
  • the storage unit 23 stores the virtual viewpoint information supplied from the conversion unit 21 and the encoded stream supplied from the encoding unit 22.
  • the transmission unit 24 reads the virtual viewpoint information and the encoded stream stored in the storage unit 23 and transmits them to the decoding device 13.
  • the decoding device 13 includes a receiving unit 31, a decoding unit 32, a reconstruction unit 33, and a drawing unit 34.
  • An external parameter and an internal parameter of the display viewpoint are input to the decoding device 13 from a user who views the display device 14 and supplied to the reconstruction unit 33 and the drawing unit 34 as display viewpoint information.
  • the reception unit 31 of the decoding device 13 receives the virtual viewpoint information and the encoded stream transmitted from the transmission unit 24 of the encoding device 12.
  • the reception unit 31 supplies the virtual viewpoint information to the reconstruction unit 33 and supplies the encoded stream to the decoding unit 32.
  • the decoding unit 32 decodes the encoded stream supplied from the receiving unit 31 by a method corresponding to the encoding method in the encoding unit 22.
  • the decoding unit 32 supplies the color image and depth image of each virtual camera obtained as a result to the reconstruction unit 33.
  • the reconfiguration unit 33 determines the priority order of each virtual camera based on the virtual viewpoint information and the display viewpoint information.
  • the reconstruction unit 33 determines the number of viewpoints of the color image and the depth image used for generating the 3D model based on the resource information of the decoding device 13.
  • the reconstruction unit 33 selects a color image virtual camera having the determined number of viewpoints of the color image as a color image selection camera based on the priority order of the virtual cameras of the color image.
  • the reconstruction unit 33 selects a depth image virtual camera having the determined number of viewpoints of the depth image as a depth image selection camera based on the priority order of each virtual camera of the depth image.
  • the reconstruction unit 33 stores the internal and external parameters of the color image selection camera and the depth image selection camera in the virtual viewpoint information, and the color image of the color image selection camera and the depth image of the depth image selection camera. In the same manner as the image processing unit of the imaging device 11, 3D data is reconstructed.
  • the reconstruction unit 33 supplies 3D data to the drawing unit 34.
  • the drawing unit 34 (generation unit) generates a display viewpoint color image as a display image from the 3D data supplied from the reconstruction unit 33, similarly to the conversion unit 21, and displays the display device 14. To supply.
  • the display device 14 includes a two-dimensional head mounted display (HMD), a two-dimensional monitor, and the like.
  • the display device 14 displays the display image two-dimensionally based on the display image supplied from the reconstruction unit 33.
  • the display device 14 may be configured by a three-dimensional head-mounted display, a three-dimensional monitor, or the like.
  • the drawing unit 34 generates a depth image of the display viewpoint from the 3D data based on the display viewpoint information, and supplies the generated depth image to the display device 14.
  • the display device 14 three-dimensionally displays the display image based on the display image and the depth image supplied from the drawing unit 34.
  • the 3D model is generated by calculating Visual ⁇ Hull or the like, but may be generated by a point cloud.
  • the 3D data is configured by the three-dimensional position and color information of each point cloud, or the three-dimensional position of each point cloud and the color image of each camera.
  • FIG. 2 is a block diagram illustrating a configuration example of the conversion unit 21 in FIG.
  • 2 includes a viewpoint determination unit 41 and an image generation unit 42.
  • the viewpoint determination unit 41 of the conversion unit 21 selects viewpoints of the number of viewpoints of the color image of the 3D model to be generated from the candidate viewpoints at equal intervals, and determines the viewpoint of the color image.
  • the viewpoint determination unit 41 also generates a 3D model to be generated based on the magnitude relationship between the number of viewpoints of the color image of the 3D model to be generated and the number of viewpoints of the depth image and the 3D data supplied from the imaging device 11 in FIG. Determining the depth image viewpoints for the number of depth image viewpoints.
  • the viewpoint determination unit 41 performs 3D display on the viewpoint screen for each candidate viewpoint based on the 3D data. Project the model. Then, the viewpoint determination unit 41 calculates the distribution of the area of the area on the screen on which each polygon mesh constituting the 3D model is projected. The viewpoint determination unit 41 selects viewpoints corresponding to the number of viewpoints of the depth image in order from the viewpoint having the highest distribution uniformity, and determines the viewpoint of the depth image.
  • the viewpoint of the depth image determined by the viewpoint determination unit 41 is the viewpoint of the depth image suitable for generating the 3D model.
  • the area of the 3D model expressed by the color image is smaller than the area of the 3D model expressed by the depth image.
  • the viewpoint of the depth image is determined so as to improve the accuracy of. As a result, the 3D model can be reconstructed with high accuracy.
  • the viewpoint determination unit 41 projects the 3D model on the viewpoint screen for each candidate viewpoint based on the 3D data. To do. Then, the viewpoint determination unit 41 obtains the number of polygon meshes projected on the screen based on the ID assigned to each polygon mesh constituting the 3D model projected on the screen. The viewpoint determination unit 41 selects viewpoints corresponding to the number of viewpoints of the depth image in order from the viewpoint having the largest number of polygon meshes projected on the screen, and determines the viewpoint of the depth image.
  • the viewpoint of the depth image determined by the viewpoint determination unit 41 is the viewpoint of the depth image suitable for generating the 3D model.
  • the area of the 3D model expressed by the color image is larger than the area of the 3D model expressed by the depth image.
  • the viewpoint of the depth image is determined so that the region of the 3D model expressed by (2) becomes large. As a result, the 3D model can be reconstructed with high accuracy.
  • the viewpoint determination unit 41 determines the viewpoint of the color image as the viewpoint of the depth image. Thereby, the viewpoint of a depth image turns into an equally spaced viewpoint. Therefore, the viewpoint of the depth image does not include a redundant viewpoint, and is suitable for generating a 3D model.
  • the viewpoint determination unit 41 generates the external parameters and internal parameters of the determined color image viewpoint and depth image viewpoint as virtual viewpoint information, and supplies the virtual viewpoint information to the image generation unit 42 and the storage unit 23 of FIG. In addition, the viewpoint determination unit 41 supplies 3D data to the image generation unit 42.
  • the image generation unit 42 generates a color image for each viewpoint from the 3D data based on the external parameters and internal parameters for each viewpoint of the color image in the virtual viewpoint information supplied from the viewpoint determination unit 41, and FIG.
  • the data is supplied to the encoding unit 22.
  • the image generation unit 42 generates a depth image of each viewpoint from the 3D data based on the external parameters and the internal parameters of each viewpoint of the depth image in the virtual viewpoint information, and supplies the generated depth image to the encoding unit 22.
  • the color image viewpoint candidates and the depth image viewpoint candidates may be the same as or different from the viewpoints of the multi-cameras of the imaging apparatus 11.
  • the color image viewpoint candidate and the depth image viewpoint candidate are the same as the viewpoints of the multi-cameras of the imaging device 11
  • the color image and the depth image acquired by the imaging device 11 are thinned out by the conversion unit 21. It will be. Therefore, in this case, the transmission amount can be reduced as compared with the case where all the encoded streams of the color image and the depth image acquired by the imaging device 11 are transmitted to the decoding device 13.
  • the decoding device 13 can generate a display image with a high frame rate.
  • FIG. 3 is a diagram illustrating a method for determining the depth image viewpoint when the number of viewpoints of the color image and the depth image is the same.
  • the virtual cameras at the viewpoints that are candidates for the depth image of the 3D model 61 are N + 1 virtual cameras 71-0 to 71-N (N is Multiple of 3).
  • the viewpoint determination unit 41 determines the viewpoint of the depth image from the viewpoints of the virtual cameras 71-0 to 71-N.
  • the viewpoint determination unit 41 selects every two viewpoints of the virtual cameras 71-0 to 71-N, and selects the selected virtual camera 71-0, virtual camera 71-3, virtual camera 71-. 6, ..., the viewpoint of the virtual camera 71-N is determined as the viewpoint of the depth image.
  • the viewpoints with a narrow interval are not determined as the viewpoints of the depth image, the redundancy of the viewpoints of the depth image can be suppressed.
  • the viewpoint determination unit 41 determines an interval between adjacent viewpoints of the depth image based on the 3D model 61, and based on the determined interval, the virtual camera 71-
  • the viewpoint of the depth image may be determined from the viewpoints 0 to 71-N.
  • the viewpoint determination unit 41 sets the interval between the viewpoints of the depth image so that the interval between the viewpoint having a complicated shape of the 3D model 61 projected on the screen and the viewpoint adjacent to the viewpoint becomes narrow. To decide.
  • the shape of the 3D model 61 projected onto the viewpoint screen of the virtual camera 71-6 is the most complicated. Therefore, in the example of FIG. 3, the virtual cameras 71-4 to 71-6 are continuously determined as the viewpoints of the depth images.
  • the information used when determining the interval between adjacent viewpoints in the depth image may be information other than the complexity of the shape of the 3D model 61 as long as the information represents an important degree for the viewer.
  • the viewpoint determination unit 41 sets the depth so that the higher the degree of attraction, the narrower the distance between adjacent viewpoints, based on the degree of attraction of the 3D model 61 projected on the screen of each candidate viewpoint. You may determine the space
  • the viewpoint of the color image may be the same as the viewpoint of the depth image, or may be an equally spaced viewpoint.
  • FIG. 4 is a diagram illustrating a configuration example of external parameters in the virtual viewpoint information.
  • external parameters in the virtual viewpoint information include a camera ID that is an ID unique to each virtual camera of a color image and a depth image, a rotation matrix R that is an external parameter of the virtual camera, and a position vector. It is configured by associating T.
  • the internal parameter of virtual viewpoint information is comprised by matching with camera ID similarly to an external parameter.
  • FIG. 5 is a flowchart for explaining the encoding process of the encoding device 12 of FIG. This encoding process is started, for example, when 3D data is supplied from the imaging device 11 in units of frames.
  • step S10 of FIG. 5 the viewpoint determination unit 41 (FIG. 2) of the conversion unit 21 determines a color image viewpoint of the number of viewpoints of the color image to be generated from candidate viewpoints by a predetermined method.
  • step S ⁇ b> 11 the viewpoint determination unit 41 determines the depth of the number of viewpoints of the depth image to be generated based on the magnitude relationship between the number of viewpoints of the color image to be generated and the number of viewpoints of the depth image and the 3D data supplied from the imaging device 11. Determine the viewpoint of the image.
  • step S12 the viewpoint determination unit 41 generates, as virtual viewpoint information, the color image viewpoint determined in step S10 and the depth parameter viewpoint external parameters and internal parameters determined in step S11.
  • the data is supplied to the storage unit 23.
  • the viewpoint determination unit 41 supplies 3D data to the image generation unit 42.
  • step S13 the storage unit 23 stores the virtual viewpoint information supplied from the viewpoint determination unit 41.
  • step S14 the image generation unit 42, based on the virtual viewpoint information supplied from the viewpoint determination unit 41, from 3D data, the color image of each viewpoint determined in step S10, and each viewpoint determined in step S11. Generate a depth image of.
  • the image generation unit 42 supplies the color image and depth image of each viewpoint to the encoding unit 22.
  • step S15 the encoding unit 22 encodes the color image and the depth image of each viewpoint supplied from the conversion unit 21.
  • the encoding unit 22 supplies an encoded stream obtained as a result of encoding to the storage unit 23.
  • step S16 the storage unit 23 stores the encoded stream supplied from the encoding unit 22.
  • step S ⁇ b> 17 the transmission unit 24 reads out the virtual viewpoint information and the encoded stream stored in the storage unit 23, and transmits them to the decoding device 13. Then, the process ends.
  • the viewpoint of the color image and the depth image is changed for each frame, but the update interval of the viewpoint of the color image and the depth image is not limited for each frame.
  • the encoding device 12 determines the candidate viewpoint as the viewpoint of the depth image of the 3D model based on the 3D model projected on the candidate viewpoint screen. Therefore, the encoding device 12 can select the viewpoint of the depth image suitable for generating the 3D model from the candidate viewpoints. As a result, the encoding device 12 can transmit only the depth image of the viewpoint suitable for generating the 3D model to the decoding device 13. Accordingly, the decoding device 13 generates a 3D model using the depth image, and thus the 3D model generation process is performed as compared with a case where the 3D model is generated using a depth image that is not suitable for generating the 3D model. The load can be reduced and the generation speed of the 3D model can be improved.
  • the size relationship between the number of viewpoints of the color image to be generated and the depth image may always be the same. That is, the number of viewpoints of the color image to be generated may be always larger than the number of viewpoints of the depth image to be generated, and the number of viewpoints of the generated color image may be always smaller than the number of viewpoints of the depth image to be generated.
  • FIG. 6 is a block diagram illustrating a configuration example of the reconstruction unit 33 in FIG.
  • the 6 includes a resource information acquisition unit 81, a priority order determination unit 82, a selection unit 83, and a shape restoration unit 84.
  • the resource information acquisition unit 81 of the reconfiguration unit 33 is a resource that indicates the load status of resources such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) that implement the reconfiguration unit 33 and the drawing unit 34 of the decoding device 13. Information is acquired and supplied to the priority determining unit 82.
  • resources such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) that implement the reconfiguration unit 33 and the drawing unit 34 of the decoding device 13.
  • Information is acquired and supplied to the priority determining unit 82.
  • the priority order determination unit 82 determines the priority order of each virtual camera based on the virtual viewpoint information supplied from the reception unit 31 in FIG. 1 and the display viewpoint information input to the decoding device 13. Based on the resource information supplied from the resource information acquisition unit 81, the priority order determination unit 82 calculates the data amounts of color images and depth images that can be used for real-time generation of 3D data. The priority determination unit 82 determines the number of viewpoints of the color image and the depth image corresponding to the data amount as the number of viewpoints of the color image and the depth image used for generating the 3D data.
  • the priority order determination unit 82 selects, as the color image selection camera, a color image virtual camera having the determined number of viewpoints of the color image in order from the highest priority based on the priority order of each virtual camera of the color image. To do. Similarly, the priority order determination unit 82 selects the virtual camera for the depth image as the depth image selection camera. The priority order determination unit 82 supplies the camera IDs of the color image selection camera and the depth image selection camera to the selection unit 83, and supplies internal parameters and external parameters to the shape restoration unit 84.
  • the number of color image selection cameras is equal to or less than the total number of color image virtual cameras, and the number of depth image selection cameras is equal to or less than the total number of depth image virtual cameras.
  • the selection unit 83 described later thins out the color images (depth images).
  • the number of color image selection cameras and depth image selection cameras may be the same or different.
  • the selection unit 83 selects the color image of the viewpoint of the color image selection camera from the color image supplied from the decoding unit 32 of FIG. Is supplied to the shape restoration unit 84.
  • the selection unit 83 selects the depth image at the viewpoint of the depth image selection camera from the depth image supplied from the decoding unit 32 based on the camera ID of the depth image selection camera supplied from the priority order determination unit 82. And supplied to the shape restoration unit 84.
  • the shape restoration unit 84 uses the internal parameters and external parameters supplied from the priority order determination unit 82 and the color image and depth image supplied from the selection unit 83 in the same manner as the image processing unit of the imaging device 11. Reconstruct 3D data.
  • the shape restoration unit 84 supplies 3D data to the drawing unit 34 of FIG.
  • FIG. 7 is a diagram for explaining a method for determining the priority order of the virtual cameras of the depth image by the priority order determination unit 82 in FIG. 6.
  • the virtual cameras of the depth image are M virtual cameras 91-0 to 91-M, and the virtual camera corresponding to the display viewpoint information is the virtual camera 100.
  • the priority order determination unit 82 sets the priority order of the virtual cameras 91-0 to 91-M so that the priority order of the virtual cameras whose shooting angles are close to the virtual camera 100 is higher. Priorities are determined for each.
  • the priority of the virtual camera 91-5 having the smallest angle formed with the virtual camera 100, which is ⁇ 5 is determined to be the first, and is the next smallest ⁇ 4.
  • the virtual order of the virtual camera 91-4 is determined to be second. Thereafter, the same process is performed, and the priority order of the virtual camera 91 -M having the largest angle formed with the virtual camera 100 is ⁇ M.
  • the triangle indicates a virtual camera, and the number in the triangle indicating the virtual camera is the priority order of the virtual camera.
  • the priority order determination unit 82 determines the number of viewpoints of the depth image used for generating the 3D data to 4 based on the resource information
  • the priority orders are 1 to 4 as shown on the right side of FIG.
  • Virtual cameras 91-3 to 91-6 are selected as depth image selection cameras.
  • 3D data of the 3D model 101 is reconstructed using only the virtual cameras 91-3 to 91-6.
  • the side surface and the back surface of the 3D model 101 cannot be reconstructed with high accuracy, but there is no problem because they are not projected on the display image.
  • the information used for determining the priority order is not limited to the shooting angle as long as it is information indicating the proximity to the virtual camera 100.
  • the priority order determination unit 82 sets the priority order of the virtual cameras 91-0 to 91-M so that the priority order of a virtual camera whose position is close to the virtual camera 100, that is, a virtual camera with a small Euclidean distance from the virtual camera 100 is higher. You may make it determine a priority with respect to each. Further, the priority order determination unit 82 may determine the priority order of the virtual cameras 91-0 to 91-M based on both the shooting angles and positions of the virtual cameras 91-0 to 91-M.
  • the priority order determination unit 82 determines the priority order of the virtual cameras 91-0 to 91-M so that the priority order of the virtual cameras that are close to the angle and the Euclidean distance formed with the virtual camera 100 is high. . Therefore, the priority order determination unit 82 can reconfigure the 3D model 101 by preferentially using the virtual camera that projects the area of the 3D model 101 projected onto the display image onto the screen. As a result, even when the 3D model 101 cannot be reconstructed in real time using all the depth images corresponding to the encoded stream, the partially reconstructed 3D model 101 is used to achieve high image quality. Can be generated in real time.
  • the method for determining the priority order of the virtual camera for the color image and the method for selecting the camera for selecting the color image are the same as the method for determining the priority order of the virtual camera for the depth image and the method for selecting the selected camera for the depth image. Omitted.
  • FIG. 8 is a flowchart for explaining the decoding process of the decoding device 13 of FIG. This decoding process is started, for example, when an encoded stream and virtual viewpoint information are transmitted in units of frames from the transmission unit 24 of the encoding device 12.
  • the reception unit 31 of the decoding device 13 receives the virtual viewpoint information and the encoded stream transmitted from the transmission unit 24.
  • the reception unit 31 supplies the virtual viewpoint information to the reconstruction unit 33 and supplies the encoded stream to the decoding unit 32.
  • step S32 the decoding unit 32 decodes the encoded stream supplied from the receiving unit 31 by a method corresponding to the encoding method in the encoding unit 22.
  • the decoding unit 32 supplies the color image and depth image of each virtual camera obtained as a result to the reconstruction unit 33.
  • step S33 the resource information acquisition unit 81 (FIG. 6) of the reconfiguration unit 33 acquires the resource information and supplies it to the priority order determination unit 82.
  • step S34 the priority order determination unit 82 determines the priority order of each virtual camera based on the virtual viewpoint information supplied from the reception unit 31 and the display viewpoint information input to the decoding device 13.
  • step S35 the priority order determination unit 82 uses the color information that can be used for real-time generation of 3D data and the number of viewpoints corresponding to the data amount of the depth image based on the resource information to generate color for 3D data. It is determined as the number of viewpoints of the image and the depth image.
  • step S36 the priority order determination unit 82 selects the virtual camera of the color image with the number of viewpoints of the color image determined in step S35 in order from the highest priority based on the priority order of each virtual camera of the color image. Select as a color image selection camera. Similarly, the priority order determination unit 82 selects the virtual camera for the depth image as the depth image selection camera. The priority order determination unit 82 supplies the camera IDs of the color image selection camera and the depth image selection camera to the selection unit 83, and supplies internal parameters and external parameters to the shape restoration unit 84.
  • step S ⁇ b> 37 the selection unit 83 selects the color image of the color image selection camera from the color image supplied from the decoding unit 32 based on the camera ID of the color image selection camera supplied from the priority order determination unit 82. This is selected and supplied to the shape restoration unit 84.
  • the selection unit 83 selects the depth image of the depth image selection camera from the depth image supplied from the decoding unit 32 based on the camera ID of the depth image selection camera supplied from the priority order determination unit 82, and the shape This is supplied to the restoration unit 84.
  • step S38 the shape restoration unit 84 uses the internal parameters and external parameters supplied from the priority order determination unit 82, and the color image and depth image selected in step S37, and the image processing unit of the imaging device 11. Similarly, 3D data is reconstructed. The shape restoration unit 84 supplies 3D data to the drawing unit 34.
  • step S39 the drawing unit 34 generates a color image of the display viewpoint as a display image from the 3D data supplied from the reconstruction unit 33, based on the display viewpoint information, and displays the display device 14 as shown in FIG. To supply. Then, the process ends.
  • the decoding device 13 selects a depth image at a predetermined viewpoint from depth images at a plurality of viewpoints corresponding to the encoded stream transmitted from the encoding device 12 based on the display viewpoint information. Therefore, the decoding device 13 can select a depth image of a viewpoint suitable for generating a 3D model used for generating a display image.
  • the decoding device 13 reconstructs the 3D model using the selected depth image of the predetermined viewpoint, for example, the depth image used for the reconstruction of the 3D model is thinned out from the depth image corresponding to the encoded stream. be able to. Thereby, the generation processing speed of the 3D model can be improved. As a result, a display image with a high frame rate can be generated.
  • the decoding device 13 since the decoding device 13 generates a display image using the 3D model reconstructed using the selected depth image, it is possible to generate a high-quality display image.
  • ⁇ Second Embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 10 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 11 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 11 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the image processing system 10 according to the present embodiment described with reference to FIGS. 1 to 8 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the image processing system 10 can be applied to the vehicle control system 7000 of the application example illustrated in FIG.
  • the imaging device 11 corresponds to the imaging unit 7410
  • the encoding device 12 and the decoding device 13 are integrated to correspond to the integrated control unit 7600
  • the display device 14 corresponds to the display unit 7720.
  • the constituent elements of the encoding device 12 and the decoding device 13 described with reference to FIGS. 1 to 8 are configured for a module (for example, one die) for the integrated control unit 7600 shown in FIG. Integrated circuit module).
  • the image processing system 10 described with reference to FIGS. 1 to 8 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • An image processing apparatus comprising: a viewpoint determination unit that determines a candidate viewpoint as a viewpoint of a depth image of the 3D model based on a 3D model projected on a candidate viewpoint screen.
  • the viewpoint determination unit determines the uniformity of the area of the area on the screen onto which each polygon constituting the 3D model is projected.
  • the image processing apparatus according to (1) configured to determine a viewpoint that is a high candidate as a viewpoint of the depth image.
  • the viewpoint determination unit selects the candidate viewpoints having a large number of polygons constituting the 3D model projected on the screen.
  • the image processing device configured to determine a viewpoint of the depth image.
  • a selection unit that selects a depth image of a predetermined viewpoint from depth images of a plurality of viewpoints of the 3D model based on the viewpoint of the display image;
  • An image processing apparatus comprising: a generation unit configured to generate the display image using the depth image of the predetermined viewpoint selected by the selection unit and the color image of the 3D model.
  • a priority order determining unit configured to determine a priority order for each of the plurality of viewpoints based on the viewpoint of the display image;
  • the selection unit is configured to select the depth image of the predetermined viewpoint based on the priority determined by the priority determination unit and the resource information of the image processing device.
  • the image processing apparatus described.
  • (6) The image processing device according to (5), wherein the priority order determination unit is configured to determine the priority order so that the priority order of a viewpoint whose position or angle is close to the viewpoint of the display image is higher. .
  • the selection unit selects a color image of a predetermined viewpoint from the color images of a plurality of viewpoints
  • the generation unit is configured to generate the display image using the depth image of the predetermined viewpoint and the color image of the predetermined viewpoint selected by the selection unit. (4) to (6) ).
  • the image processing device A selection step of selecting a depth image of a predetermined viewpoint from depth images of a plurality of viewpoints of the 3D model based on the viewpoint of the display image; An image processing method including a generation step of generating the display image using the depth image of the predetermined viewpoint selected by the processing of the selection step and the color image of the 3D model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本開示は、３Ｄモデルの生成に適したデプス画像の視点を選択することができるようにする画像処理装置および画像処理方法に関する。 視点決定部は、候補となる視点の画面に投影された３Ｄモデルに基づいて、候補となる視点を３Ｄモデルのデプス画像の視点に決定する。本開示は、例えば、被写体の３Ｄモデルの複数の視点のカラー画像とデプス画像から所定の視点のカラー画像とデプス画像を生成し、符号化する符号化装置等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、３Ｄモデルの生成に適したデプス画像の視点を選択することができるようにした画像処理装置および画像処理方法に関する。
　複数のカメラにより撮影されたカラー画像とデプス画像から被写体の３Ｄモデルを生成する技術がある(例えば、非特許文献１参照)。
Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego
　しかしながら、３Ｄモデルの生成に用いるデプス画像の視点として、３Ｄモデルの生成に適した視点を選択することは考えられていなかった。従って、例えば、冗長な視点のデプス画像や重要度の低い視点のデプス画像を用いて３Ｄモデルを生成することにより、３Ｄモデルの生成速度が低下する場合がある。
　本開示は、このような状況に鑑みてなされたものであり、３Ｄモデルの生成に適したデプス画像の視点を選択することができるようにするものである。
　本開示の第１の側面の画像処理装置は、候補となる視点の画面に投影された３Ｄモデルに基づいて、前記候補となる視点を前記３Ｄモデルのデプス画像の視点に決定する視点決定部を備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、候補となる視点の画面に投影された３Ｄモデルに基づいて、前記候補となる視点を前記３Ｄモデルのデプス画像の視点が決定される。
　本開示の第２の側面の画像処理装置は、表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択部と、前記選択部により選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像を生成する生成部とを備える画像処理装置である。
　本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
　本開示の第２の側面においては、表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像が選択され、選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像が生成される。
　なお、第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１および第２の側面によれば、３Ｄモデルの生成に適したデプス画像の視点を選択することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。 変換部の構成例を示すブロック図である。 デプス画像の視点の決定方法を説明する図である。 仮想視点情報のうちの外部パラメータの構成例を示す図である。 符号化処理を説明するフローチャートである。 再構成部の構成例を示すブロック図である。 デプス画像の仮想カメラの優先順位の決定方法を説明する図である。 復号処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：画像処理システム（図１乃至図８）
　２．第２実施の形態：コンピュータ（図９）
　３．応用例（図１０および図１１）
　＜第１実施の形態＞
　（画像処理システムの第１実施の形態の構成例）
　図１は、本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
　図１の画像処理システム１０は、撮像装置１１、符号化装置１２（画像処理装置）、復号装置１３（画像処理装置）、および表示装置１４により構成される。画像処理システム１０は、撮像装置１１により取得されたカラー画像とデプス画像を用いて、表示視点のカラー画像を生成し、表示する。
　具体的には、画像処理システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体のカラー画像の動画像を撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像の動画像を生成する。
　撮像装置１１の画像処理部は、フレーム単位で、各カメラのカラー画像およびデプス画像の動画像、並びに、各カメラの外部パラメータおよび内部パラメータを用いて、Visual Hull等を算出することにより、被写体の３Ｄモデルを生成する。画像処理部は、３Ｄモデルを構成する各ポリゴンメッシュの頂点（Vertex）の３次元位置と頂点間のつながりとを示す形状情報（Geometry）と、各ポリゴンメッシュの色情報とを、被写体の３Ｄデータとして生成する。なお、３Ｄデータは、形状情報と各カメラのカラー画像とにより構成されてもよい。
　画像処理部における３Ｄデータの生成方法としては、例えば、非特許文献１等に記載されている方法を採用することができる。画像処理部は、３Ｄデータを符号化装置１２に供給する。
　符号化装置１２は、変換部２１、符号化部２２、記憶部２３、および送信部２４により構成される。
　符号化装置１２の変換部２１は、生成する所定の視点数のカラー画像の視点とデプス画像の視点を決定する。生成するカラー画像の視点数とデプス画像の視点数は、異なっていても、同一であってもよい。生成するカラー画像の視点数とデプス画像の視点数は、ユーザ入力、符号化装置１２と復号装置１３の間の伝送路の状況等に応じて決定され、ここでは、撮像装置１１のマルチカメラの視点数より少ない数であるものとする。
　変換部２１は、決定されたカラー画像の視点およびデプス画像の視点の仮想カメラの外部パラメータおよび内部パラメータを生成する。変換部２１は、カラー画像の各仮想カメラの外部パラメータおよび内部パラメータに基づいて、撮像装置１１から供給されるフレーム単位の３Ｄデータから、各仮想カメラにより撮影されるフレーム単位のカラー画像を生成する。また、変換部２１は、デプス画像の各仮想カメラの外部パラメータおよび内部パラメータに基づいて、フレーム単位の３Ｄデータから、各仮想カメラにより撮影されるフレーム単位のカラー画像に対応するデプス画像を生成する。
　３Ｄデータからカラー画像やデプス画像を生成する方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。変換部２１は、各仮想カメラのカラー画像とデプス画像を符号化部２２に供給する。また、変換部２１は、カラー画像とデプス画像のそれぞれに対応する各仮想カメラの外部カメラパラメータおよび内部パラメータを仮想視点情報として記憶部２３に供給する。
　符号化部２２は、変換部２１から供給される各仮想カメラのカラー画像とデプス画像を符号化する。符号化方式としては、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２３に供給する。
　記憶部２３は、変換部２１から供給される仮想視点情報と、符号化部２２から供給される符号化ストリームとを記憶する。
　送信部２４は、記憶部２３に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置１３に送信する。
　復号装置１３は、受信部３１、復号部３２、再構成部３３、および描画部３４により構成される。復号装置１３には、表示装置１４を視聴するユーザから表示視点の外部パラメータおよび内部パラメータが入力され、表示視点情報として再構成部３３と描画部３４に供給される。
　復号装置１３の受信部３１は、符号化装置１２の送信部２４から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部３１は、仮想視点情報を再構成部３３に供給し、符号化ストリームを復号部３２に供給する。
　復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラのカラー画像とデプス画像を再構成部３３に供給する。
　再構成部３３は、仮想視点情報と表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。再構成部３３は、復号装置１３のリソース情報に基づいて、３Ｄモデルの生成に用いるカラー画像とデプス画像の視点数を決定する。再構成部３３は、カラー画像の各仮想カメラの優先順位に基づいて、決定されたカラー画像の視点数のカラー画像の仮想カメラを、カラー画像用選択カメラとして選択する。また、再構成部３３は、デプス画像の各仮想カメラの優先順位に基づいて、決定されたデプス画像の視点数のデプス画像の仮想カメラを、デプス画像用選択カメラとして選択する。
　再構成部３３は、仮想視点情報のうちのカラー画像用選択カメラとデプス画像用選択カメラの内部パラメータおよび外部パラメータ、並びに、カラー画像用選択カメラのカラー画像およびデプス画像用選択カメラのデプス画像を用いて、撮像装置１１の画像処理部と同様に、３Ｄデータを再構成する。再構成部３３は、３Ｄデータを描画部３４に供給する。
　描画部３４（生成部）は、表示視点情報に基づいて、変換部２１と同様に、再構成部３３から供給される３Ｄデータから、表示視点のカラー画像を表示画像として生成し、表示装置１４に供給する。
　表示装置１４は、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置１４は、再構成部３３から供給される表示画像に基づいて表示画像を２次元表示する。
　なお、表示装置１４は、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、描画部３４は、表示視点情報に基づいて、変換部２１と同様に、３Ｄデータから表示視点のデプス画像を生成し、表示装置１４に供給する。表示装置１４は、描画部３４から供給される表示画像とデプス画像に基づいて表示画像を３次元表示する。
　また、図１の例では、３ＤモデルがVisual Hull等を算出することにより生成されたが、ポイントクラウドにより生成されるようにしてもよい。この場合、３Ｄデータは、各ポイントクラウドの３次元位置および色情報、または、各ポイントクラウドの３次元位置および各カメラのカラー画像により構成される。
　（変換部の構成例）
　図２は、図１の変換部２１の構成例を示すブロック図である。
　図２の変換部２１は、視点決定部４１と画像生成部４２により構成される。
　変換部２１の視点決定部４１は、候補となる視点の中から、等間隔で、生成する３Ｄモデルのカラー画像の視点数の視点を選択し、カラー画像の視点に決定する。
　また、視点決定部４１は、生成する３Ｄモデルのカラー画像の視点数とデプス画像の視点数の大小関係と図１の撮像装置１１から供給される３Ｄデータとに基づいて、生成する３Ｄモデルのデプス画像の視点数のデプス画像の視点を決定する。
　具体的には、視点決定部４１は、生成する３Ｄモデルのカラー画像の視点数がデプス画像の視点数より少ない場合、３Ｄデータに基づいて、候補となる視点ごとに、その視点の画面へ３Ｄモデルを投影する。そして、視点決定部４１は、３Ｄモデルを構成する各ポリゴンメッシュが投影された画面上の領域の面積の分布を計算する。視点決定部４１は、分布の一様度が最も高い視点から順にデプス画像の視点数の視点を選択し、デプス画像の視点に決定する。
　これにより、決定されたデプス画像の各視点の画面に投影されるポリゴンメッシュの画面上の領域の面積が均等になる。その結果、復号装置１３において、ポイントクラウドにより３Ｄモデルを生成する場合、ポイントクラウドの粗密の発生を抑制し、３Ｄモデルの形状の精度を向上させることができる。従って、視点決定部４１により決定されるデプス画像の視点は、３Ｄモデルの生成に適したデプス画像の視点である。
　以上のように、カラー画像の視点数がデプス画像の視点数より少ない場合、カラー画像で表現される３Ｄモデルの領域が、デプス画像で表現される３Ｄモデルの領域に比べて少ないため、デプス画像の精度を向上させるように、デプス画像の視点が決定される。その結果、３Ｄモデルを高精度で再構成することができる。
　また、視点決定部４１は、生成する３Ｄモデルのカラー画像の視点数がデプス画像の視点数より多い場合、３Ｄデータに基づいて、候補となる視点ごとに、その視点の画面へ３Ｄモデルを投影する。そして、視点決定部４１は、画面に投影された３Ｄモデルを構成する各ポリゴンメッシュに付与されているＩＤなどに基づいて、画面に投影されたポリゴンメッシュの数を求める。視点決定部４１は、画面に投影されたポリゴンメッシュの数が最も多い視点から順に、デプス画像の視点数の視点を選択し、デプス画像の視点に決定する。
　これにより、決定されたデプス画像の各視点のオクルージョン領域が少なくなる。その結果、３Ｄモデルの形状の精度を向上させることができる。従って、視点決定部４１により決定されるデプス画像の視点は、３Ｄモデルの生成に適したデプス画像の視点である。
　以上のように、カラー画像の視点数がデプス画像の視点数より多い場合、カラー画像で表現される３Ｄモデルの領域が、デプス画像で表現される３Ｄモデルの領域に比べて多いため、デプス画像で表現される３Ｄモデルの領域が大きくなるように、デプス画像の視点が決定される。その結果、３Ｄモデルを高精度で再構成することができる。
　さらに、カラー画像の視点数とデプス画像の視点数が同一である場合、視点決定部４１は、カラー画像の視点を、デプス画像の視点に決定する。これにより、デプス画像の視点は、等間隔の視点になる。従って、デプス画像の視点は、冗長な視点を含まず、３Ｄモデルの生成に適している。
　視点決定部４１は、決定されたカラー画像の視点とデプス画像の視点の外部パラメータおよび内部パラメータを仮想視点情報として生成し、画像生成部４２と図１の記憶部２３に供給する。また、視点決定部４１は、３Ｄデータを画像生成部４２に供給する。
　画像生成部４２は、視点決定部４１から供給される仮想視点情報のうちのカラー画像の各視点の外部パラメータと内部パラメータに基づいて、３Ｄデータから各視点のカラー画像を生成し、図１の符号化部２２に供給する。また、画像生成部４２は、仮想視点情報のうちのデプス画像の各視点の外部パラメータと内部パラメータに基づいて、３Ｄデータから各視点のデプス画像を生成し、符号化部２２に供給する。
　なお、カラー画像の視点の候補とデプス画像の視点の候補は、撮像装置１１のマルチカメラの各視点と同一であってもよいし、異なっていてもよい。カラー画像の視点の候補とデプス画像の視点の候補が、撮像装置１１のマルチカメラの各視点と同一である場合、変換部２１により、撮像装置１１により取得されたカラー画像とデプス画像が間引かれたことになる。従って、この場合、撮像装置１１により取得されたカラー画像とデプス画像の符号化ストリームを全て復号装置１３に送信する場合に比べて、伝送量を削減することができる。その結果、符号化ストリームの送信速度が向上し、復号装置１３において、高フレームレートの表示画像を生成することができる。
　（デプス画像の視点の決定方法の説明）
　図３は、カラー画像とデプス画像の視点数が同一である場合のデプス画像の視点の決定方法を説明する図である。
　図３の例では、図３の左側に示すように、３Ｄモデル６１のデプス画像の候補となる視点の仮想カメラは、等間隔で並ぶＮ＋１個の仮想カメラ７１－０乃至７１－Ｎ（Ｎは３の倍数）である。
　カラー画像とデプス画像の視点数が同一である場合、視点決定部４１は、カラー画像の視点と同様に、図３の右上に示すように、各仮想カメラの視点間の間隔が等間隔になるように、仮想カメラ７１－０乃至７１－Ｎの視点からデプス画像の視点を決定する。図３の例では、視点決定部４１は、仮想カメラ７１－０乃至７１－Ｎの視点を２つおきに選択し、選択された仮想カメラ７１－０、仮想カメラ７１－３、仮想カメラ７１－６、...、仮想カメラ７１－Ｎの視点をデプス画像の視点に決定している。この場合、間隔が狭い視点どうしは、デプス画像の視点に決定されないため、デプス画像の視点の冗長性を抑制することができる。
　なお、視点決定部４１は、図３の右下に示すように、デプス画像の隣接する視点のどうしの間隔を３Ｄモデル６１に基づいて決定し、決定された間隔に基づいて、仮想カメラ７１－０乃至７１－Ｎの視点からデプス画像の視点を決定するようにしてもよい。
　この場合、例えば、視点決定部４１は、画面に投影される３Ｄモデル６１の形状が複雑である視点と、その視点に隣接する視点との間隔が狭くなるように、デプス画像の各視点の間隔を決定する。図３の例では、仮想カメラ７１－６の視点の画面に投影される３Ｄモデル６１の形状が最も複雑になっている。従って、図３の例では、仮想カメラ７１－４乃至７１－６が連続して、デプス画像の視点に決定されている。
　なお、デプス画像の隣接する視点どうしの間隔を決定する際に用いられる情報は、視聴者において重要な度合を表す情報であれば、３Ｄモデル６１の形状の複雑度以外であってもよい。例えば、視点決定部４１は、候補となる各視点の画面に投影される３Ｄモデル６１の誘目度などに基づいて、誘目度が高い視点ほど、隣接する視点との間隔が狭くなるように、デプス画像の各視点の間隔を決定してもよい。
　また、図３の右下に示すようにデプス画像の視点が決定される場合、カラー画像の視点は、デプス画像の視点と同一であってもよいし、等間隔の視点であってもよい。
　（外部パラメータの構成例）
　図４は、仮想視点情報のうちの外部パラメータの構成例を示す図である。
　図４に示すように、仮想視点情報のうちの外部パラメータは、カラー画像とデプス画像の各仮想カメラに固有のＩＤであるカメラＩＤに、その仮想カメラの外部パラメータである回転行列Ｒと位置ベクトルＴを対応付けることにより構成される。なお、図示は省略するが、仮想視点情報のうちの内部パラメータも、外部パラメータと同様に、カメラＩＤに対応付けることにより構成される。
　（符号化装置の処理の説明）
　図５は、図１の符号化装置１２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置１１からフレーム単位で３Ｄデータが供給されたとき、開始される。
　図５のステップＳ１０において、変換部２１の視点決定部４１（図２）は、所定の方法で、候補となる視点の中から、生成するカラー画像の視点数のカラー画像の視点を決定する。
　ステップＳ１１において、視点決定部４１は、生成するカラー画像の視点数とデプス画像の視点数の大小関係と撮像装置１１から供給される３Ｄデータとに基づいて、生成するデプス画像の視点数のデプス画像の視点を決定する。
　ステップＳ１２において、視点決定部４１は、ステップＳ１０で決定されたカラー画像の視点とステップＳ１１で決定されたデプス画像の視点の外部パラメータおよび内部パラメータを仮想視点情報として生成し、画像生成部４２と記憶部２３に供給する。また、視点決定部４１は、３Ｄデータを画像生成部４２に供給する。
　ステップＳ１３において、記憶部２３は、視点決定部４１から供給される仮想視点情報を記憶する。
　ステップＳ１４において、画像生成部４２は、視点決定部４１から供給される仮想視点情報に基づいて、３Ｄデータから、ステップＳ１０で決定された各視点のカラー画像と、ステップＳ１１で決定された各視点のデプス画像を生成する。画像生成部４２は、各視点のカラー画像とデプス画像を符号化部２２に供給する。
　ステップＳ１５において、符号化部２２は、変換部２１から供給される各視点のカラー画像とデプス画像を符号化する。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２３に供給する。
　ステップＳ１６において、記憶部２３は、符号化部２２から供給される符号化ストリームを記憶する。
　ステップＳ１７において、送信部２４は、記憶部２３に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置１３に送信する。そして、処理は終了する。
　なお、図５の例では、フレームごとにカラー画像とデプス画像の視点が変化するようにしたが、カラー画像とデプス画像の視点の更新間隔は、フレームごとに限定されない。
　以上のように、符号化装置１２は、候補となる視点の画面に投影された３Ｄモデルに基づいて、候補となる視点を３Ｄモデルのデプス画像の視点に決定する。従って、符号化装置１２は、候補となる視点から、３Ｄモデルの生成に適したデプス画像の視点を選択することができる。その結果、符号化装置１２は、３Ｄモデルの生成に適した視点のデプス画像のみを復号装置１３に送信することができる。従って、復号装置１３は、そのデプス画像を用いて３Ｄモデルを生成することにより、３Ｄモデルの生成に適していないデプス画像も用いて３Ｄモデルを生成する場合に比べて、３Ｄモデルの生成処理の負荷を軽減し、３Ｄモデルの生成速度を向上させることができる。
　なお、生成するカラー画像とデプス画像の視点数の大小関係は、常に同一であってもよい。即ち、生成するカラー画像の視点数は、生成するデプス画像の視点数より常に多くてもよいし、生成するカラー画像の視点数は、生成するデプス画像の視点数より常に少なくてもよい。
　（再構成部の構成例）
　図６は、図１の再構成部３３の構成例を示すブロック図である。
　図６の再構成部３３は、リソース情報取得部８１、優先順位決定部８２、選択部８３、および形状復元部８４により構成される。
　再構成部３３のリソース情報取得部８１は、復号装置１３の再構成部３３や描画部３４等を実現するCPU（Central Processing Unit）やGPU(Graphics Processing Unit)等のリソースの負荷状況を示すリソース情報を取得し、優先順位決定部８２に供給する。
　優先順位決定部８２は、図１の受信部３１から供給される仮想視点情報と、復号装置１３に入力される表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。優先順位決定部８２は、リソース情報取得部８１から供給されるリソース情報に基づいて、３Ｄデータのリアルタイム生成に用いることが可能なカラー画像とデプス画像のデータ量を算出する。優先順位決定部８２は、そのデータ量に対応するカラー画像とデプス画像の視点数を、３Ｄデータの生成に用いるカラー画像とデプス画像の視点数として決定する。
　優先順位決定部８２は、カラー画像の各仮想カメラの優先順位に基づいて、優先順位の高い方から順に、決定されたカラー画像の視点数のカラー画像の仮想カメラをカラー画像用選択カメラとして選択する。同様に、優先順位決定部８２は、デプス画像の仮想カメラをデプス画像用選択カメラとして選択する。優先順位決定部８２は、カラー画像用選択カメラとデプス画像用選択カメラのカメラＩＤを選択部８３に供給し、内部パラメータおよび外部パラメータを形状復元部８４に供給する。
　なお、カラー画像用選択カメラの数は、カラー画像の仮想カメラの総数以下であり、デプス画像用選択カメラの数は、デプス画像の仮想カメラの総数以下である。カラー画像用選択カメラ（デプス画像用選択カメラ）の数がカラー画像（デプス画像）の仮想カメラの総数より小さい場合、後述する選択部８３は、カラー画像（デプス画像）を間引くことになる。カラー画像用選択カメラとデプス画像用選択カメラの数は、同一であっても、異なっていてもよい。
　選択部８３は、優先順位決定部８２から供給されるカラー画像用選択カメラのカメラＩＤに基づいて、図１の復号部３２から供給されるカラー画像から、カラー画像用選択カメラの視点のカラー画像を選択し、形状復元部８４に供給する。選択部８３は、優先順位決定部８２から供給されるデプス画像用選択カメラのカメラＩＤに基づいて、復号部３２から供給されるデプス画像から、デプス画像用選択カメラの視点のデプス画像を選択し、形状復元部８４に供給する。
　形状復元部８４は、優先順位決定部８２から供給される内部パラメータおよび外部パラメータ、並びに、選択部８３から供給されるカラー画像およびデプス画像を用いて、撮像装置１１の画像処理部と同様に、３Ｄデータを再構成する。形状復元部８４は、３Ｄデータを図１の描画部３４に供給する。
　（優先順位の決定方法）
　図７は、図６の優先順位決定部８２によるデプス画像の仮想カメラの優先順位の決定方法を説明する図である。
　図７の例では、デプス画像の仮想カメラが、Ｍ個の仮想カメラ９１－０乃至９１－Ｍであり、表示視点情報に対応する仮想カメラが、仮想カメラ１００である。
　この場合、優先順位決定部８２は、例えば、図７の左側に示すように、仮想カメラ１００と撮影角度が近い仮想カメラの優先順位が高くなるように、仮想カメラ９１－０乃至９１－Ｍのそれぞれに対して優先順位を決定する。これにより、仮想カメラ９１－０乃至９１－Ｍのうちの、仮想カメラ１００とのなす角が最も小さいθ５である仮想カメラ９１－５の優先順位が１番に決定され、次に小さいθ４である仮想カメラ９１－４の仮想順位が２番に決定される。以降も同様に行われ、仮想カメラ１００とのなす角が最も大きいθＭである仮想カメラ９１－Ｍの優先順位がＭ番に決定される。なお、図７において、三角形は仮想カメラを示し、仮想カメラを示す三角形の中の番号は、その仮想カメラの優先順位である。
　ここで、優先順位決定部８２が、リソース情報に基づいて、３Ｄデータの生成に用いるデプス画像の視点数を４に決定すると、図７の右側に示すように、優先順位が１乃至４である仮想カメラ９１－３乃至９１－６をデプス画像用選択カメラとして選択する。その結果、仮想カメラ９１－３乃至９１－６のみを用いて３Ｄモデル１０１の３Ｄデータが再構成される。この場合、３Ｄモデル１０１の側面や裏面は高精度で再構成することができないが、表示画像には投影されないため問題はない。
　なお、優先順位の決定に用いられる情報は、仮想カメラ１００との近さを示す情報であれば、撮影角度に限定されない。例えば、優先順位決定部８２は、仮想カメラ１００と位置が近い仮想カメラ、即ち仮想カメラ１００とのユークリッド距離が小さい仮想カメラの優先順位が高くなるように、仮想カメラ９１－０乃至９１－Ｍのそれぞれに対して優先順位を決定するようにしてもよい。また、優先順位決定部８２は、仮想カメラ９１－０乃至９１－Ｍの撮影角度および位置の両方に基づいて、仮想カメラ９１－０乃至９１－Ｍの優先順位を決定するようにしてもよい。
　以上のように、優先順位決定部８２は、仮想カメラ１００とのなす角やユークリッド距離が近い仮想カメラの優先順位が高くなるように、仮想カメラ９１－０乃至９１－Ｍの優先順位を決定する。従って、優先順位決定部８２は、表示画像に投影される３Ｄモデル１０１の領域を画面に投影する仮想カメラを優先的に用いて、３Ｄモデル１０１を再構成することができる。その結果、符号化ストリームに対応する全てのデプス画像を用いて３Ｄモデル１０１をリアルタイムで再構成することができない場合であっても、部分的に再構成された３Ｄモデル１０１を用いて、高画質の表示画像をリアルタイムで生成することができる。
　カラー画像の仮想カメラの優先順位の決定方法およびカラー画像用選択カメラの選択方法は、デプス画像の仮想カメラの優先順位の決定方法およびデプス画像用選択カメラの選択方法と同一であるので、説明は省略する。
　（復号装置の処理の説明）
　図８は、図１の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２の送信部２４からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
　図８のステップＳ３１において、復号装置１３の受信部３１は、送信部２４から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部３１は、仮想視点情報を再構成部３３に供給し、符号化ストリームを復号部３２に供給する。
　ステップＳ３２において、復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラのカラー画像とデプス画像を再構成部３３に供給する。
　ステップＳ３３において、再構成部３３のリソース情報取得部８１（図６）は、リソース情報を取得し、優先順位決定部８２に供給する。
　ステップＳ３４において、優先順位決定部８２は、受信部３１から供給される仮想視点情報と復号装置１３に入力される表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。
　ステップＳ３５において、優先順位決定部８２は、リソース情報に基づいて、３Ｄデータのリアルタイム生成に用いることが可能なカラー画像とデプス画像のデータ量に対応する視点数を、３Ｄデータの生成に用いるカラー画像とデプス画像の視点数として決定する。
　ステップＳ３６において、優先順位決定部８２は、カラー画像の各仮想カメラの優先順位に基づいて、優先順位の高い方から順に、ステップＳ３５で決定されたカラー画像の視点数のカラー画像の仮想カメラをカラー画像用選択カメラとして選択する。同様に、優先順位決定部８２は、デプス画像の仮想カメラをデプス画像用選択カメラとして選択する。優先順位決定部８２は、カラー画像用選択カメラとデプス画像用選択カメラのカメラＩＤを選択部８３に供給し、内部パラメータおよび外部パラメータを形状復元部８４に供給する。
　ステップＳ３７において、選択部８３は、優先順位決定部８２から供給されるカラー画像用選択カメラのカメラＩＤに基づいて、復号部３２から供給されるカラー画像から、カラー画像用選択カメラのカラー画像を選択し、形状復元部８４に供給する。選択部８３は、優先順位決定部８２から供給されるデプス画像用選択カメラのカメラＩＤに基づいて、復号部３２から供給されるデプス画像から、デプス画像用選択カメラのデプス画像を選択し、形状復元部８４に供給する。
　ステップＳ３８において、形状復元部８４は、優先順位決定部８２から供給される内部パラメータおよび外部パラメータ、並びに、ステップＳ３７で選択されたカラー画像およびデプス画像を用いて、撮像装置１１の画像処理部と同様に、３Ｄデータを再構成する。形状復元部８４は、３Ｄデータを描画部３４に供給する。
　ステップＳ３９において、描画部３４は、表示視点情報に基づいて、変換部２１と同様に、再構成部３３から供給される３Ｄデータから、表示視点のカラー画像を表示画像として生成し、表示装置１４に供給する。そして、処理は終了する。
　以上のように、復号装置１３は、表示視点情報に基づいて、符号化装置１２から伝送されてくる符号化ストリームに対応する複数の視点のデプス画像から所定の視点のデプス画像を選択する。従って、復号装置１３は、表示画像の生成に用いられる３Ｄモデルの生成に適した視点のデプス画像を選択することができる。
　また、復号装置１３は、選択された所定の視点のデプス画像を用いて３Ｄモデルを再構成するので、例えば、３Ｄモデルの再構成に用いるデプス画像を、符号化ストリームに対応するデプス画像から間引くことができる。これにより、３Ｄモデルの生成処理速度を向上させることができる。その結果、高フレームレートの表示画像を生成することができる。
　さらに、復号装置１３は、選択されたデプス画像を用いて再構成された３Ｄモデルを用いて表示画像を生成するので、高画質の表示画像を生成することができる。
　＜第２実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１乃至８を用いて説明した本実施形態に係る画像処理システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１乃至８を用いて説明した本実施形態に係る画像処理システム１０は、図１０に示した応用例の車両制御システム７０００に適用することができる。例えば、撮像装置１１は、撮像部７４１０に相当し、符号化装置１２および復号装置１３は、一体化されて統合制御ユニット７６００に相当し、表示装置１４は表示部７７２０に相当する。
　また、図１乃至８を用いて説明した符号化装置１２および復号装置１３の少なくとも一部の構成要素は、図１０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至８を用いて説明した画像処理システム１０が、図１０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　候補となる視点の画面に投影された３Ｄモデルに基づいて、前記候補となる視点を前記３Ｄモデルのデプス画像の視点に決定する視点決定部
　を備える画像処理装置。
　（２）
　前記視点決定部は、前記３Ｄモデルのカラー画像の視点数が前記デプス画像の視点数より少ない場合、前記３Ｄモデルを構成する各ポリゴンが投影された前記画面上の領域の面積の一様度が高い前記候補となる視点を、前記デプス画像の視点に決定する
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記視点決定部は、前記３Ｄモデルのカラー画像の視点数が前記デプス画像の視点数より多い場合、前記画面に投影された前記３Ｄモデルを構成するポリゴンの数が多い前記候補となる視点を、前記デプス画像の視点に決定する
　ように構成された
　前記（１）または（２）に記載の画像処理装置。
　（４）
　表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択部と、
　前記選択部により選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像を生成する生成部と
　を備える画像処理装置。
　（５）
　前記表示画像の視点に基づいて、前記複数の視点のそれぞれに対して優先順位を決定する優先順位決定部
　をさらに備え、
　前記選択部は、前記優先順位決定部により決定された前記優先順位と前記画像処理装置のリソース情報とに基づいて、前記所定の視点のデプス画像を選択する
　ように構成された
　前記（４）に記載の画像処理装置。
　（６）
　前記優先順位決定部は、前記表示画像の視点と位置または角度が近い視点の前記優先順位が高くなるように、前記優先順位を決定する
　ように構成された
　前記（５）に記載の画像処理装置。
　（７）
　前記選択部は、複数の視点の前記カラー画像から所定の視点のカラー画像を選択し、
　前記生成部は、前記選択部により選択された前記所定の視点のデプス画像と前記所定の視点のカラー画像とを用いて、前記表示画像を生成する
　ように構成された
　前記（４）乃至（６）のいずれかに記載の画像処理装置。
　（８）
　画像処理装置が、
　表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択ステップと、
　前記選択ステップの処理により選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像を生成する生成ステップと
　を含む画像処理方法。
　１２　符号化装置,　１３　復号装置,　３４　描画部,　４１　視点決定部,　８２　優先順位決定部,　８３　選択部,　９１－０乃至９１－Ｍ　仮想カメラ,　１００　仮想カメラ,　１０１　３Ｄモデル

Claims (8)

  1. 　候補となる視点の画面に投影された３Ｄモデルに基づいて、前記候補となる視点を前記３Ｄモデルのデプス画像の視点に決定する視点決定部
    　を備える画像処理装置。
  2. 　前記視点決定部は、前記３Ｄモデルのカラー画像の視点数が前記デプス画像の視点数より少ない場合、前記３Ｄモデルを構成する各ポリゴンが投影された前記画面上の領域の面積の一様度が高い前記候補となる視点を、前記デプス画像の視点に決定する
    　ように構成された
    　請求項１に記載の画像処理装置。
  3. 　前記視点決定部は、前記３Ｄモデルのカラー画像の視点数が前記デプス画像の視点数より多い場合、前記画面に投影された前記３Ｄモデルを構成するポリゴンの数が多い前記候補となる視点を、前記デプス画像の視点に決定する
    　ように構成された
    　請求項１に記載の画像処理装置。
  4. 　表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択部と、
    　前記選択部により選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像を生成する生成部と
    　を備える画像処理装置。
  5. 　前記表示画像の視点に基づいて、前記複数の視点のそれぞれに対して優先順位を決定する優先順位決定部
    　をさらに備え、
    　前記選択部は、前記優先順位決定部により決定された前記優先順位と前記画像処理装置のリソース情報とに基づいて、前記所定の視点のデプス画像を選択する
    　ように構成された
    　請求項４に記載の画像処理装置。
  6. 　前記優先順位決定部は、前記表示画像の視点と位置または角度が近い視点の前記優先順位が高くなるように、前記優先順位を決定する
    　ように構成された
    　請求項５に記載の画像処理装置。
  7. 　前記選択部は、複数の視点の前記カラー画像から所定の視点のカラー画像を選択し、
    　前記生成部は、前記選択部により選択された前記所定の視点のデプス画像と前記所定の視点のカラー画像とを用いて、前記表示画像を生成する
    　ように構成された
    　請求項４に記載の画像処理装置。
  8. 　画像処理装置が、
    　表示画像の視点に基づいて、３Ｄモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択ステップと、
    　前記選択ステップの処理により選択された前記所定の視点のデプス画像と前記３Ｄモデルのカラー画像とを用いて、前記表示画像を生成する生成ステップと
    　を含む画像処理方法。
PCT/JP2017/035397 2016-10-13 2017-09-29 画像処理装置および画像処理方法 WO2018070266A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018544957A JP6813027B2 (ja) 2016-10-13 2017-09-29 画像処理装置および画像処理方法
EP17860598.6A EP3528495A4 (en) 2016-10-13 2017-09-29 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN201780061931.4A CN109791706B (zh) 2016-10-13 2017-09-29 图像处理装置和图像处理方法
DE112017005228.9T DE112017005228T5 (de) 2016-10-13 2017-09-29 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US16/331,379 US11328379B2 (en) 2016-10-13 2017-09-29 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-201469 2016-10-13
JP2016201469 2016-10-13

Publications (1)

Publication Number Publication Date
WO2018070266A1 true WO2018070266A1 (ja) 2018-04-19

Family

ID=61905616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035397 WO2018070266A1 (ja) 2016-10-13 2017-09-29 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US11328379B2 (ja)
EP (1) EP3528495A4 (ja)
JP (1) JP6813027B2 (ja)
CN (1) CN109791706B (ja)
DE (1) DE112017005228T5 (ja)
WO (1) WO2018070266A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158392A1 (ja) * 2019-01-30 2020-08-06 シャープ株式会社 画像生成装置、表示処理装置、画像生成方法、制御プログラム、及び記録媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100928A1 (ja) * 2016-11-30 2018-06-07 キヤノン株式会社 画像処理装置および方法
CN113396104A (zh) * 2019-02-13 2021-09-14 索尼集团公司 移动体、通信方法和程序
WO2022202536A1 (en) * 2021-03-23 2022-09-29 Ricoh Company, Ltd. Information processing apparatus and information processing method
CN113163185B (zh) * 2021-03-26 2023-03-07 复旦大学 基于异构计算的vr实时自适应传输系统及方法
CN113570666B (zh) * 2021-09-26 2021-12-21 天津云圣智能科技有限责任公司 任务分配方法、装置、服务器及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255072A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 感性語を入力することによる自動映像創作方法及びシステム
JP2000322576A (ja) * 1999-05-11 2000-11-24 Toshiba Corp ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法
JP2004537082A (ja) * 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384846B1 (en) * 1998-12-11 2002-05-07 Hitachi America Ltd. Methods and apparatus for rendering multiple images using a limited rendering resource
WO2010025655A1 (zh) * 2008-09-02 2010-03-11 华为终端有限公司 3d视频通信方法、发送设备、系统及图像重构方法和系统
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
EP2873241B1 (en) * 2012-07-10 2016-01-06 Telefonaktiebolaget LM Ericsson (PUBL) Methods and arrangements for supporting view synthesis
CN104012088B (zh) * 2012-11-19 2016-09-28 松下知识产权经营株式会社 图像处理装置以及图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255072A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 感性語を入力することによる自動映像創作方法及びシステム
JP2000322576A (ja) * 1999-05-11 2000-11-24 Toshiba Corp ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法
JP2004537082A (ja) * 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3528495A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158392A1 (ja) * 2019-01-30 2020-08-06 シャープ株式会社 画像生成装置、表示処理装置、画像生成方法、制御プログラム、及び記録媒体

Also Published As

Publication number Publication date
DE112017005228T5 (de) 2019-07-11
EP3528495A4 (en) 2020-01-22
US20190206014A1 (en) 2019-07-04
EP3528495A1 (en) 2019-08-21
JP6813027B2 (ja) 2021-01-13
US11328379B2 (en) 2022-05-10
CN109791706B (zh) 2023-11-28
JPWO2018070266A1 (ja) 2019-08-15
CN109791706A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
JP6988815B2 (ja) 画像処理装置および画像処理方法
JP6977720B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
JP7200678B2 (ja) 画像処理装置および画像処理方法
US11055909B2 (en) Image processing device and image processing method
JP6813027B2 (ja) 画像処理装置および画像処理方法
WO2018021069A1 (ja) 画像処理装置および画像処理方法
JP6939807B2 (ja) 画像処理装置および画像処理方法
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
WO2018021070A1 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
WO2019003953A1 (ja) 画像処理装置および画像処理方法
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
JP6743894B2 (ja) 画像処理装置および画像処理方法
WO2018034171A1 (ja) 画像処理装置および画像処理方法
WO2018025642A1 (ja) 画像処理装置および画像処理方法
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860598

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018544957

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017860598

Country of ref document: EP

Effective date: 20190513