WO2018030169A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2018030169A1
WO2018030169A1 PCT/JP2017/027264 JP2017027264W WO2018030169A1 WO 2018030169 A1 WO2018030169 A1 WO 2018030169A1 JP 2017027264 W JP2017027264 W JP 2017027264W WO 2018030169 A1 WO2018030169 A1 WO 2018030169A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
texture
polygon
depth
Prior art date
Application number
PCT/JP2017/027264
Other languages
English (en)
French (fr)
Inventor
伸明 泉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/319,417 priority Critical patent/US10950029B2/en
Priority to CN201780048137.6A priority patent/CN109564698B/zh
Priority to JP2018532931A priority patent/JP6743894B2/ja
Publication of WO2018030169A1 publication Critical patent/WO2018030169A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to an image processing device and an image processing method, and in particular, an image processing device and an image processing capable of expressing a three-dimensional structure of a larger number of regions using a two-view texture image and a depth image. Regarding the method.
  • a technique for expressing the three-dimensional structure of an object mainly, a technique for expressing the object using a polygon (3D mesh) of the object and a texture attached to the polygon, and a perspective projection of the object from a plurality of viewpoints are performed.
  • the former method is a method used in a general CG (Computer Graphics) technology.
  • the latter method (hereinafter referred to as 2D depth method) has high affinity with a captured image that is an image obtained by perspective projection of a subject.
  • a 3D structure of an object is expressed by a 2D depth method
  • data expressing the 3D structure is encoded using an encoding method such as MPEGMMVD (Moving Picture Experts Group phase Multi-view + depth). (For example, refer nonpatent literature 1).
  • the 2D depth method uses a texture image (two-dimensional image) obtained by perspective projection of an object with respect to a plurality of viewpoints, and a depth image corresponding to the texture image, to obtain a 3D object. It is a technique for expressing a dimensional structure. Therefore, the three-dimensional structure of the region where the object is not perspectively projected cannot be expressed.
  • a three-dimensional structure of a larger number of regions can be expressed by increasing the number of perspectives to be perspectively projected and increasing the perspective projection regions.
  • the number of perspectives to be projected in perspective increases, the amount of data necessary for expressing the three-dimensional structure increases.
  • the present disclosure has been made in view of such a situation, and is intended to be able to express a three-dimensional structure of a larger number of regions using a two-viewpoint texture image and a depth image.
  • the image processing apparatus projects the back surface of the polygon on each of two viewpoints facing the center of the polygon onto a projection plane perpendicular to the line-of-sight direction from each viewpoint toward the center of the polygon.
  • the image processing apparatus includes an image generation unit that generates a texture image of a predetermined viewpoint using the texture image obtained by the above and a depth image corresponding to the texture image of each viewpoint.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • each of two viewpoints opposed to the center of the polygon is obtained by projecting the back surface of the polygon onto a projection plane perpendicular to the line-of-sight direction from each viewpoint toward the center of the polygon.
  • the texture image of a predetermined viewpoint is generated using the texture image to be generated and the depth image corresponding to the texture image of each viewpoint.
  • the image processing apparatus projects the back surface of the polygon onto a projection surface perpendicular to the line-of-sight direction from each viewpoint toward the center of the polygon for each of two viewpoints facing the center of the polygon.
  • the image processing apparatus includes an image generation unit that generates a texture image and generates a depth image corresponding to the texture image at each viewpoint.
  • the image processing method according to the second aspect of the present disclosure corresponds to the image processing apparatus according to the second aspect of the present disclosure.
  • the back surface of the polygon is projected onto a projection plane perpendicular to the line-of-sight direction from each viewpoint toward the center of the polygon.
  • An image is generated, and a depth image corresponding to the texture image of each viewpoint is generated.
  • image processing apparatuses according to the first aspect and the second aspect of the present disclosure can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted via a transmission medium or recorded on a recording medium. Can be provided.
  • an image can be generated.
  • an image can be generated using a two-viewpoint texture image and a depth image that represent a three-dimensional structure of a larger number of regions.
  • an image can be generated.
  • it is possible to represent a three-dimensional structure of a larger number of regions using a two-viewpoint texture image and a depth image.
  • FIG. 12 It is a flowchart explaining the production
  • First Embodiment Generation Device and Display Device (FIGS. 1 to 15) 2.
  • Second Embodiment Generation Device and Display Device (FIGS. 16 to 23) 3.
  • Other generation method of texture image (FIG. 24) 4).
  • Another example of texture image (Fig. 25) 5).
  • Third embodiment tan axis projection (FIGS. 26 and 27) 6).
  • Fourth Embodiment Computer (FIG. 28) 7).
  • Application examples (FIGS. 29 and 30)
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of a generation apparatus as an image processing apparatus to which the present disclosure is applied.
  • the generation device 12 in FIG. 1 uses the captured images and depth images acquired by the imaging devices 11-1 to 11-N (N is 2 or more) to use the texture image and the depth image of the main subject in the captured image. And a texture image and a depth image of the omnidirectional image are generated.
  • the imaging devices 11-1 to 11-N are arranged around the main subject and include at least a part of the main subject in the imaging range.
  • the photographing devices 11-1 to 11-N are configured by a photographing image camera 21 and a depth image camera 22, respectively.
  • the captured image camera 21 captures a subject, acquires a captured image for each frame, and supplies the captured image to the generation device 12.
  • the depth image camera 22 acquires the position in the depth direction of the subject in each pixel of the captured image in units of frames, generates a depth image having information representing the position as a pixel value, and supplies the generated depth image to the generation device 12.
  • the photographing apparatus 11 when there is no need to particularly distinguish the photographing apparatuses 11-1 to 11-N, they are collectively referred to as the photographing apparatus 11.
  • the generation device 12 includes an area extraction unit 31, a position information generation unit 32, a color information generation unit 33, a polygon generation unit 34, a drawing unit 35, an omnidirectional image generation unit 36, a resolution reduction unit 37, an encoder 38, and a storage unit. 39 and the transmission unit 40.
  • the region extraction unit 31 of the generation device 12 extracts main subject regions from the N captured images and depth images supplied from the N imaging devices 11 and supplies the extracted regions to the position information generation unit 32.
  • the region extraction unit 31 extracts a region other than the main subject region from the N photographed images and the depth image as a background region, and supplies the background region to the omnidirectional image generation unit 36.
  • the position information generation unit 32 generates position information of one or more polygons corresponding to the main subject using the N depth images of the main subject region supplied from the region extraction unit 31.
  • the polygon position information is the three-dimensional coordinates of each vertex of the polygon in the 3D model coordinate system, which is a three-dimensional coordinate system with the center of the main subject as the origin.
  • the position information generation unit 32 supplies the position information of each polygon to the color information generation unit 33 and the polygon generation unit 34.
  • the position information generation unit 32 supplies the N captured images of the main subject area to the color information generation unit 33.
  • the color information generation unit 33 uses the position information of each polygon supplied from the position information generation unit 32 and N photographed images of the main subject area, and color information such as RGB values of the front and back surfaces of each polygon. Is generated. Specifically, the color information generation unit 33 generates color information of the surface of the polygon using the pixel value of the captured image corresponding to each polygon. The color information generation unit 33 also generates the color information of the front surface of each polygon as the color information of the back surface of the polygon. The color information generation unit 33 supplies color information of the front and back surfaces of each polygon to the polygon generation unit 34.
  • the color information on the surface of the polygon describes the three-dimensional coordinates in the 3D model coordinate system of each vertex of the polygon clockwise with the normal vector of the surface as the axis, and color information corresponding to the three-dimensional coordinates. Expressed by writing.
  • the color information on the back side of the polygon is also expressed in the same manner as the color information on the front side.
  • the polygon generation unit 34 generates each polygon based on the position information of each polygon supplied from the position information generation unit 32, and based on the color information on the front and back surfaces of each polygon supplied from the color information generation unit 33. Paste the texture on the front and back of each polygon.
  • the polygon generation unit 34 supplies each rendering unit 35 with each of the textures attached to the front and back surfaces.
  • the drawing unit 35 perspectively projects the back surface of each polygon for each of two predetermined viewpoints facing the origin of the 3D model coordinate system that is the center of one or more polygons of the main subject.
  • a perspective image of two viewpoints is generated by perspective projection on the surface.
  • the drawing unit 35 perspectively projects the back surface of each polygon onto a perspective projection plane that is a normal line passing through the center of the line of sight direction from each viewpoint toward the origin.
  • a two-view texture image is generated.
  • the “opposing position” includes not only the opposing position itself but also the vicinity of the opposing position within the range where the technical effect of the present disclosure is achieved.
  • the “normal line” includes not only the normal line itself but also a line whose angle to the surface is near the vertical.
  • the format of the texture image is not particularly limited.
  • the YCbCr420 format can be adopted.
  • the drawing unit 35 generates a depth image corresponding to each of the two viewpoint texture images based on the polygon.
  • the drawing unit 35 supplies the 2-viewpoint texture image and the depth image to the encoder 38.
  • the omnidirectional image generation unit 36 perspectively projects the N captured images of the background region supplied from the region extraction unit 31 onto a regular octahedron centered on the origin of the 3D model coordinate system.
  • a texture image of a celestial sphere image of 180 degrees around the angle and the vertical direction is generated. Note that the omnidirectional image is not an image of the entire space of the sphere having 360 degrees in the horizontal direction and 180 degrees in the vertical direction, but may be a partial space image if the technical effect of the present disclosure is achieved.
  • the omnidirectional image generation unit 36 generates a depth image of the omnidirectional image by perspectively projecting the N depth images of the background region supplied from the region extraction unit 31 onto a regular octahedron in the same manner as the captured image. To do.
  • the omnidirectional image generation unit 36 supplies the texture image and depth image of the omnidirectional image to the resolution reduction unit 37.
  • the resolution reduction unit 37 lowers the resolution of the texture image and the depth image of the omnidirectional image supplied from the omnidirectional image generation unit 36 and supplies them to the encoder 38.
  • the encoder 38 encodes the texture image and depth image of the two viewpoints supplied from the drawing unit 35, and encodes the texture image and depth image of the omnidirectional image supplied from the resolution reduction unit 37.
  • an encoding method for these encodings an AVC (Advanced Video Coding) method, HEVC method, MVD method, or the like can be used.
  • the AVC method is used.
  • the encoder 38 generates an encoded stream of the texture image of each viewpoint (hereinafter referred to as “viewpoint texture stream”) and an encoded stream of the depth image (hereinafter referred to as “viewpoint depth stream”) by encoding. Further, the encoder 38 encodes a texture image encoded stream (hereinafter referred to as an omnidirectional texture stream) and a depth image encoded stream (hereinafter referred to as an omnidirectional depth). A stream). The encoder 38 supplies the viewpoint texture stream and viewpoint depth stream of two viewpoints, and the omnidirectional texture stream and omnidirectional depth stream to the storage unit 39.
  • the storage unit 39 stores the two viewpoint texture streams and viewpoint depth streams supplied from the encoder 38, and the omnidirectional texture stream and omnidirectional depth stream.
  • the transmission unit 40 reads and transmits the two-viewpoint viewpoint texture stream and viewpoint depth stream, and the omnidirectional texture stream and omnidirectional depth stream stored in the storage unit 39.
  • the generation device 12 converts the polygon and color information representing the three-dimensional structure of the main subject into a two-view texture image and depth image. Therefore, the generation device 12 can encode the texture image and the depth image of two viewpoints using a general image encoding method, and can reduce the data amount. As a result, it is possible to reduce the transmission band of data representing the three-dimensional structure of the main subject.
  • the generation device 12 in FIG. 1 generates polygon and color information, but may generate other information such as a point cloud as long as the information expresses a three-dimensional structure used in the CG technology. .
  • the depth image camera 22 acquires a depth image having the same number of pixels as the captured image.
  • the depth image camera 22 A depth image interpolation unit that interpolates the pixel values of the depth image is provided between the position information generation unit 32.
  • the depth image interpolation unit interpolates the pixel values of the depth image, and makes the number of pixels of the depth image the same as the number of pixels of the captured image.
  • each imaging device 11 acquires a depth image, but the depth image is generated from the imaging device 11 corresponding to the depth image and a captured image acquired by another imaging device 11. You may be made to do.
  • FIG. 2 is a diagram illustrating an arrangement example of the imaging device 11 of FIG.
  • the nine photographing devices 11-1 to 11-9 are arranged so as to surround the main subject 61.
  • the main subject polygon forms a sphere 81.
  • the texture image generated by perspectively projecting the surface of the sphere 81 on the perspective projection surface in the visual line direction V1 with respect to one viewpoint O1 of the two viewpoints The texture pasted on the surface area 81A on the sphere 81 that first intersects each projection direction 82 is drawn.
  • the projection direction is a direction in which the absolute value of the angle formed with the line-of-sight direction extending from the viewpoint is within the range of half the angle of view ( ⁇ in the example of FIG. 3).
  • the depth image corresponding to the texture image is an image representing the position in the depth direction (line-of-sight direction V1) of the region 81A with respect to the viewpoint O1.
  • the texture image generated by perspectively projecting the surface of the sphere 81 on the perspective projection surface in the viewing direction V2 with respect to the other viewpoint O2 of the two viewpoints The texture pasted on the surface area 81B on the sphere 81 that first intersects each projection direction 83 is drawn.
  • the depth image corresponding to the texture image is an image representing the position in the depth direction (line-of-sight direction V2) of the region 81B with respect to the viewpoint O2.
  • the two regions 81 ⁇ / b> A and 81 ⁇ / b> B facing each other with respect to the center of the sphere 81 are obtained by the texture image and depth image of the viewpoint O ⁇ b> 1 and the texture image and depth image of the viewpoint O ⁇ b> 2.
  • a three-dimensional structure can be expressed.
  • a region other than the region 81A and the region 81B exists on the surface of the sphere. That is, there are regions on the surface of the sphere 81 that cannot represent the three-dimensional structure in the texture image and depth image of the viewpoint O1, and the texture image and depth image of the viewpoint O2.
  • the viewpoint O2 is over the Pacific Ocean, and as shown on the left side of FIG. 4B, a part of the Australian continent pasted as a texture on the surface of the region 81B is drawn in the texture image 102 of the viewpoint O2. Is done. However, Antarctica etc. are not drawn in either the texture image 101 or the texture image 102.
  • the depth image 111 corresponding to the texture image 101 and the depth image 112 corresponding to the texture image 102 are the same.
  • the pixel value luminance value
  • the depth image 111 and the depth image 112 have the largest pixel value at the center, and become smaller as the distance from the center increases.
  • the three-dimensional structure 121 reconstructed using the texture image 101 and the depth image 111 and the texture image 102 and the depth image 112 is a sphere with a world map pasted as a texture on the front and back surfaces. Only a part of 81.
  • the polygon shape is a relatively simple sphere 81.
  • the polygon area that cannot represent the three-dimensional structure with the two-view texture image increases. To do.
  • 6 and 7 are diagrams for explaining a texture image generated by perspectively projecting the back surface of the sphere 81 on the perspective projection surface in the line-of-sight direction V1 with respect to the viewpoint O1, and a depth image corresponding to the texture image. It is.
  • the texture image when a texture image is generated by perspectively projecting the surface of the sphere 81 on the perspective projection surface in the line-of-sight direction V1 with respect to the viewpoint O1, the texture image includes each projection direction as shown in FIG.
  • the texture pasted at each point c1 on the surface of the sphere 81 that first intersects 82 is drawn.
  • the depth image corresponding to the texture image is an image representing the position of each point c1 in the depth direction (line-of-sight direction V1) with respect to the viewpoint O1.
  • the texture image when the texture image is generated by perspectively projecting the back surface of the sphere 81 to the perspective projection surface in the line-of-sight direction V1 with respect to the viewpoint O1, the texture image includes the respective projection directions 82 and the first as shown in FIG.
  • the texture pasted at each point c2 on the back surface on the sphere 81 intersecting with is drawn.
  • the depth image corresponding to this texture image is an image representing the position of each point c2 in the depth direction (line-of-sight direction V1) with respect to the viewpoint O2.
  • the viewpoint O1 As shown in FIG. North America continent, part of South America continent, Antarctica continent, part of Europe continent, Asia continent and Australia continent pasted as texture on the back are drawn. Further, the depth image 132 corresponding to the texture image 131 has the smallest pixel value at the center and becomes smaller as the distance from the center increases.
  • FIG. 8 to FIG. 10 correspond to the texture image generated by perspectively projecting the back surface of each polygon on the perspective projection surface for each of the two viewpoints facing the origin of the 3D model coordinate system, and the texture image. It is a figure explaining the depth image to do.
  • the main subject polygon is a sphere 81.
  • the texture image generated by perspectively projecting the back surface of the sphere 81 onto the perspective projection surface in the line-of-sight direction V1 with respect to the viewpoint O1 includes the projection directions 82 and the first.
  • the texture pasted on the area 153A on the back surface on the sphere 81 that intersects is drawn.
  • the depth image corresponding to the texture image is an image representing the position in the depth direction (line-of-sight direction V1) of the region 81A with respect to the viewpoint O1.
  • the texture image generated by perspectively projecting the back surface of the sphere 81 onto the perspective projection surface in the line-of-sight direction V2 with respect to the other viewpoint O2 of the two viewpoints The texture pasted on the back surface region 153B on the sphere 81 that first intersects each projection direction 83 is drawn.
  • the depth image corresponding to the texture image is an image representing the position in the depth direction (line-of-sight direction V2) of the region 81B with respect to the viewpoint O2.
  • the two images 153A and 153B facing each other with respect to the center of the sphere 81 are obtained by the texture image and the depth image of the viewpoint O1, and the texture image and the depth image of the viewpoint O2.
  • a three-dimensional structure can be expressed.
  • the entire three-dimensional structure of the sphere 81 can be expressed by the texture image and depth image of the viewpoint O1, and the texture image and depth image of the viewpoint O2.
  • the texture image 161 of the viewpoint O1 is as shown on the left side of FIG. North America continent, part of South America continent, Antarctica continent, part of Europe continent, Asia continent, Australia continent pasted as texture on the back of area 153A are drawn.
  • the viewpoint O2 is over the Pacific Ocean, and as shown on the left side of FIG. 9B, the texture image 162 of the viewpoint O2 includes the African continent, the North American continent, Portions of South America, Antarctica, and Europe are drawn. Accordingly, all of the seven continents are drawn on at least one of the texture image 161 and the texture image 162.
  • the depth image 163 corresponding to the texture image 161 and the depth image 164 corresponding to the texture image 162 are the same.
  • the depth image 163 and the depth image 164 have the smallest pixel value at the center and become larger as the distance from the center increases.
  • the three-dimensional structure 171 reconstructed using the texture image 161 and the depth image 163 is a larger portion than the half of the sphere 81 on the viewpoint O2 side (the right half in the figure).
  • the three-dimensional structure 172 reconstructed using the texture image 162 and the depth image 164 is a portion larger than the half of the sphere 81 on the viewpoint O1 side (the left half in the figure). . Therefore, the entire sphere 81 can be generated by reconstructing the three-dimensional structure using the texture image 161 and the depth image 163 and the texture image 162 and the depth image 164.
  • the overlapping region of the region 153A and the region 153B is generated using one of the texture image 161 and the depth image 163, and the texture image 162 and the depth image 164.
  • the texture image 161 and the depth image 163 cannot represent the three-dimensional structure of the region 154 with high accuracy.
  • the region 154 is perspective-projected with respect to the viewpoint O2
  • the angle with the projection direction 83 becomes larger than when the perspective projection is performed with respect to the viewpoint O1. Therefore, in the texture image 162 and the depth image 164, the three-dimensional structure of the region 154 can be expressed with higher accuracy than the texture image 161 and the depth image 163. Therefore, the region 154 is generated using the texture image 162 and the depth image 164.
  • the overlapping region between the region 153A and the region 153B is selected from the texture image 161 and the depth image 163, and the texture image 162 and the depth image 164, which corresponds to the projection direction in which the angle between the overlapping region is large.
  • the accuracy of reconstruction of the sphere 81 can be improved.
  • FIG. 11 is a flowchart for explaining generation processing of the generation device 12 of FIG. This generation process is performed for each frame of N captured images and depth images acquired by the N imaging devices 11.
  • the region extraction unit 31 of the generation device 12 extracts the main subject region and the background region from the N captured images and the depth image supplied from the imaging device 11.
  • the region extraction unit 31 supplies N captured images and depth images of the main subject region to the position information generation unit 32, and the N captured images and depth images of the background region to the omnidirectional image generation unit 36. Supply.
  • step S12 the position information generation unit 32 generates position information of each polygon of the main subject using the N depth images of the main subject region supplied from the region extraction unit 31, and generates color information. To the unit 33 and the drawing unit 35. In addition, the position information generation unit 32 supplies the N captured images of the main subject area to the color information generation unit 33.
  • step S ⁇ b> 13 the color information generation unit 33 uses the position information of each polygon supplied from the position information generation unit 32 and N photographed images of the main subject area, and color information on the front and back surfaces of each polygon. Is generated.
  • the color information generation unit 33 supplies color information on the front and back surfaces of each polygon to the drawing unit 35.
  • step S ⁇ b> 14 the drawing unit 35 generates each polygon based on the position information of each polygon supplied from the position information generation unit 32, and color information on the front and back surfaces of each polygon supplied from the color information generation unit 33. Based on the above, textures are pasted on the front and back surfaces of each polygon.
  • step S15 the drawing unit 35 generates a two-viewpoint texture image by perspectively projecting the back surface of each polygon onto a perspective projection surface in the line-of-sight direction for each of the two predetermined viewpoints.
  • the drawing unit 35 supplies a texture image of two viewpoints to the encoder 38.
  • step S ⁇ b> 16 the drawing unit 35 generates a depth image corresponding to each of the two viewpoint texture images based on the polygon, and supplies the generated depth image to the encoder 38.
  • step S ⁇ b> 17 the omnidirectional image generation unit 36 performs perspective projection of N captured images of the background region supplied from the region extraction unit 31 onto a regular octahedron centered on the origin of the 3D model coordinate system.
  • a texture image of the celestial sphere image is generated and supplied to the resolution reduction unit 37.
  • step S18 the omnidirectional image generation unit 36 performs perspective projection of the N depth images of the background region supplied from the region extraction unit 31 on a regular octahedron in the same manner as the captured image.
  • a depth image is generated and supplied to the resolution reduction unit 37.
  • step S ⁇ b> 19 the resolution reduction unit 37 reduces the resolution of the texture image and the depth image of the omnidirectional image supplied from the omnidirectional image generation unit 36 and supplies them to the encoder 38.
  • step S20 the encoder 38 encodes the two-viewpoint texture image and depth image supplied from the drawing unit 35, and the omnidirectional image texture image and depth image supplied from the resolution reduction unit 37.
  • the encoder 38 supplies the two viewpoint texture streams and viewpoint depth streams generated as a result, and the omnidirectional texture stream and omnidirectional depth stream to the storage unit 39 for storage.
  • step S21 the transmission unit 40 reads and transmits the two-viewpoint viewpoint texture stream and viewpoint depth stream, and the omnidirectional texture stream and omnidirectional depth stream stored in the storage unit 39. Then, the process ends.
  • the generation device 12 performs the perspective projection of the back surface of the polygon on the perspective projection surface in the viewing direction of each viewpoint for each of the two viewpoints facing the origin of the 3D model coordinate system.
  • FIG. 12 is a block diagram illustrating a configuration example of the first embodiment of the display device as the image treatment device to which the present disclosure is applied.
  • the display apparatus 200 in FIG. 12 receives the two viewpoint texture streams and viewpoint depth streams, and the omnidirectional texture stream and omnidirectional depth stream transmitted from the generation apparatus 12 in FIG. Generate a texture image.
  • the display device 200 includes a receiving unit 201, a storage unit 202, a decoder 203, a reconstruction unit 204, a drawing unit 205, and a display unit 206.
  • the receiving unit 201 of the display apparatus 200 receives the two viewpoint texture streams and viewpoint depth streams, and the omnidirectional texture stream and omnidirectional depth stream transmitted from the generation apparatus 12 and supplies them to the storage unit 202. To do.
  • the storage unit 202 stores the two viewpoint texture streams and viewpoint depth streams supplied from the receiving unit 201, and the omnidirectional texture stream and omnidirectional depth stream.
  • the decoder 203 reads the two viewpoint texture streams and viewpoint depth streams, and the omnidirectional texture stream and omnidirectional depth stream from the storage unit 202 and decodes them.
  • the decoder 203 supplies the texture image and depth image of the two viewpoints obtained as a result of decoding, and the texture image and depth image of the omnidirectional image to the reconstruction unit 204.
  • the reconstruction unit 204 reconstructs the three-dimensional structure of the main subject in the 3D model coordinate system using the two-viewpoint texture image and depth image supplied from the decoder 203.
  • the two-viewpoint texture image and the depth image generated by the generation device 12 are larger than the case where the two-viewpoint texture image and depth image are generated by perspective projection of the polygon surface.
  • a three-dimensional structure can be expressed. Therefore, the area of the main subject whose 3D structure is reconstructed using the decoded 2-viewpoint texture image and depth image is generated by perspective-projecting the polygon surface with the 2-viewpoint texture image and depth image. More than if
  • the reconstruction unit 204 reconstructs the three-dimensional structure of the background region in the 3D model coordinate system using the texture image and depth image of the omnidirectional image supplied from the decoder 203.
  • the reconstruction unit 204 supplies the drawing unit 205 with position information and color information of the three-dimensional structure of the main subject and the background area.
  • the drawing unit 205 uses a 3D model coordinate system designated by the viewer or the like based on the position information and color information of the three-dimensional structure of the main subject and the background area supplied from the reconstruction unit 204.
  • a texture image having a viewpoint, a line-of-sight direction, and an angle of view is generated as a display image.
  • the drawing unit 205 supplies the generated display image to the display unit 206.
  • the display unit 206 displays the display image supplied from the drawing unit 205. Thereby, the viewer can see the main subject from an arbitrary position around the main subject, for example.
  • FIG. 13 is a diagram for explaining the first reconstruction method.
  • FIG. 13 illustrates a case where the three-dimensional structure of the main subject is reconstructed using the texture image and depth image of one viewpoint O1 of the two viewpoints.
  • the first reconstruction method is a method for reconstructing a three-dimensional structure using a point cloud.
  • the reconstruction unit 204 corresponds to each pixel 221 of the texture image 220 of the viewpoint O1, the line-of-sight direction V1, the angle of view 2 ⁇ , and the viewpoint O1.
  • the three-dimensional coordinates (3D coordinates in the 3D model coordinate system of the sampling point 231 ( X, Y, Z).
  • the reconstruction unit 204 converts the YCbCr value that is the pixel value of each pixel 221 of the texture image 220 into an RGB value, and sets the RGB value of the sampling point 231 corresponding to each pixel 221.
  • the reconstruction unit 204 reconstructs the three-dimensional structure of the main subject by drawing the RGB value of the sampling point 231 on the three-dimensional coordinates (X, Y, Z) of each sampling point 231.
  • the reconstruction unit 204 supplies the three-dimensional coordinates (X, Y, Z) of each sampling point 231 to the drawing unit 205 as the positional information of the three-dimensional structure of the main subject, and the RGB value of each sampling point 231 as the main information. Is supplied to the drawing unit 205 as color information of a three-dimensional structure of the subject.
  • FIG. 14 is a diagram for explaining the second reconstruction method.
  • FIG. 14 illustrates a case where the three-dimensional structure of the main subject is reconstructed using the texture image and the depth image of one viewpoint O1 of the two viewpoints.
  • the second reconstruction method is a method of reconstructing a three-dimensional structure using a triangular patch. Specifically, as shown on the left side of FIG. 14, in the second reconstruction method, the reconstruction unit 204 generates a sampling point 251 corresponding to each pixel 241 on the texture image 240 of the viewpoint O1. The reconstructing unit 204 connects the three adjacent sampling points 251 among the sampling points 251 corresponding to all the pixels of the texture image 240 to thereby form a triangular patch having the three adjacent sampling points 251 as vertices. 252 is generated.
  • the reconstruction unit 204 performs the viewpoint O1, the line-of-sight direction V1, the angle of view 2 ⁇ , the position (u, v) of each sampling point 251 on the texture image 240, and each pixel 241 of the depth image corresponding to the texture image 240.
  • the three-dimensional coordinates (X, Y, Z) of the 3D model coordinate system corresponding to each sampling point 251 are generated based on the pixel values.
  • the reconstruction unit 204 converts each sampling point 261 corresponding to each sampling point 251 into a 3D model based on the three-dimensional coordinates (X, Y, Z) of each sampling point 251. Place in the coordinate system. Further, the reconstruction unit 204 generates a triangular patch 262 by connecting sampling points 261 corresponding to the three sampling points 251 constituting the apex of the triangular patch 252.
  • the reconstruction unit 204 converts the YCbCr value of the pixel 241 constituting the triangular patch 252 corresponding to the triangular patch 262 into an RGB value, and uses the RGB value to convert the RGB value of the triangular patch 262 into an RGB value. Is generated.
  • the reconstruction unit 204 pastes the RGB texture of the triangular patch 262 onto the triangular patch 262. Thereby, the reconstruction unit 204 reconstructs the three-dimensional structure of the main subject.
  • the reconstruction unit 204 supplies the drawing unit 205 with the three-dimensional coordinates (X, Y, Z) of the sampling point 261 that is the vertex of each triangular patch 262 as the positional information of the three-dimensional structure of the main subject. Also, the reconstruction unit 204 supplies the RGB values of each triangular patch 262 to the drawing unit 205 as color information of the three-dimensional structure of the main subject.
  • the method for reconstructing the three-dimensional structure of the main subject from the texture image and the depth image of the viewpoint O1 has been described.
  • the three-dimensional structure of the main subject from the texture image and the depth image of the viewpoint O2 is described.
  • FIG. 15 is a flowchart for explaining display processing of the display device 200 of FIG. This display processing is performed by, for example, displaying a display image by a viewer in a state where the viewpoint texture stream and viewpoint depth stream of two viewpoints, and the omnidirectional texture stream and omnidirectional depth stream are stored in the storage unit 202. Started when requested.
  • the decoder 203 reads the two viewpoint texture streams and viewpoint depth streams, and the omnidirectional texture stream and omnidirectional depth stream from the storage unit 202 and decodes them.
  • the decoder 203 supplies the texture image and depth image of the two viewpoints obtained as a result of decoding, and the texture image and depth image of the omnidirectional image to the reconstruction unit 204.
  • step S33 the reconstruction unit 204 reconstructs the three-dimensional structure of the main subject in the 3D model coordinate system using the two-viewpoint texture image and depth image supplied from the decoder 203.
  • the reconstruction unit 204 supplies position information and color information of the three-dimensional structure of the main subject to the drawing unit 205.
  • step S34 the reconstruction unit 204 reconstructs the three-dimensional structure of the background region in the 3D model coordinate system using the texture image and depth image of the omnidirectional image supplied from the decoder 203.
  • the reconstruction unit 204 supplies position information and color information of the three-dimensional structure of the background area to the drawing unit 205.
  • step S ⁇ b> 35 the drawing unit 205 determines the viewpoint in the 3D model coordinate system designated by the viewer or the like based on the position information and color information of the three-dimensional structure of the main subject and the background area supplied from the reconstruction unit 204. Then, a texture image having a line-of-sight direction and a field angle is generated as a display image. The drawing unit 205 supplies the generated display image to the display unit 206.
  • step S36 the display unit 206 displays the display image supplied from the drawing unit 205 and ends the process.
  • the display device 200 generates a display image using the two-viewpoint texture image and the depth image generated by the generation device 12. Therefore, the three-dimensional structure of the main subject in a larger area is reconstructed compared to the case of using the two-viewpoint texture image and the depth image generated by perspectively projecting the surface of the polygon for each of the two viewpoints.
  • the display image can be generated from the three-dimensional structure. As a result, the image quality of the display image is improved.
  • FIG. 16 is a block diagram illustrating a configuration example of a second embodiment of a generation apparatus as an image processing apparatus to which the present disclosure is applied.
  • the configuration of the generation apparatus 300 in FIG. 16 is that a viewpoint control unit 301 is newly provided, and a drawing unit 302, a storage unit 303, and a transmission unit 304 are used instead of the drawing unit 35, the storage unit 39, and the transmission unit 40.
  • the point provided is different from the configuration of the generation device 12 of FIG.
  • the position of the two viewpoints is variable, and the position of the two viewpoints is set so that the texture image and the depth image of the two viewpoints represent the three-dimensional structure of the most area of the polygon of the main subject. Is done.
  • the viewpoint control unit 301 uses a straight line passing through the origin connecting two pairs of current two viewpoints facing each other with respect to the origin of the 3D model coordinate system as a predetermined direction about the origin. Are rotated within a predetermined range by a predetermined amount to determine a plurality of 2-viewpoint pair candidates including the current 2-viewpoint pair.
  • the generation frequency of the two viewpoint pair candidates is not particularly limited, and can be set for each frame, each sequence, each GOP (Group of Picture), or the like.
  • the viewpoint control unit 301 generates viewpoint information that is three-dimensional coordinates of a plurality of two-viewpoint pair candidates, and supplies the generated viewpoint information to the drawing unit 302.
  • the viewpoint control unit 301 sets the candidate of the two viewpoints as the candidate of the two viewpoints. A pair is changed and a table including the viewpoint information is generated. The viewpoint control unit 301 outputs the table to the storage unit 303.
  • the drawing unit 302 image generation unit for each viewpoint information, for each viewpoint of a pair of two viewpoints whose viewpoint information indicates three-dimensional coordinates. Then, the back surface of each polygon generated by the polygon generation unit 34 is perspective-projected on the perspective projection surface, thereby generating a texture image of a pair of two viewpoints.
  • the drawing unit 302 selects an optimal two-viewpoint pair from the two-viewpoint pair candidates, which is the two-viewpoint pair with the largest area on the back of the polygon that is perspective-projected when generating the texture image. Choose as. Specifically, the drawing unit 302 selects a two-viewpoint pair having the largest number of polygons whose rear surface is perspectively projected when generating a two-viewpoint texture image among the two-viewpoint pair candidates. Select as a pair of two viewpoints.
  • the drawing unit 302 holds the viewpoint information of the optimal two viewpoint pairs as viewpoint information of the current two viewpoint pairs, and supplies the viewpoint information to the viewpoint control unit 301.
  • the viewpoint control unit 301 sets the optimum texture image of the two viewpoints as the final texture image of the two viewpoints.
  • the drawing unit 302 has a back surface of each polygon for each viewpoint of the current pair of two viewpoints in which the stored viewpoint information indicates three-dimensional coordinates. Is projected onto the perspective projection surface to generate a texture image of a pair of current two viewpoints.
  • the drawing unit 302 generates a depth image corresponding to each texture image of the current two viewpoint pairs based on each polygon.
  • the drawing unit 302 supplies the texture image and the depth image of the current two viewpoint pairs to the encoder 38.
  • the storage unit 303 stores the two-viewpoint viewpoint texture stream and viewpoint depth stream supplied from the encoder 38, and the omnidirectional texture stream and omnidirectional depth stream. Further, the storage unit 303 stores a table supplied from the viewpoint control unit 301.
  • the transmission unit 304 reads and transmits the viewpoint texture stream and viewpoint depth stream of two viewpoints, the omnidirectional texture stream and omnidirectional depth stream, and the table stored in the storage unit 39.
  • 17 and 18 are diagrams for explaining the relationship between the two viewpoints and the region in which the three-dimensional structure can be expressed.
  • a schematic diagram of a cross section aa ′ horizontal to the installation surface of the robot 320 is as shown in FIG. That is, the aa ′ cross section of the robot 320 includes the left arm 321, the trunk 322, and the right arm 323 of the robot 320.
  • the back surface of the body 322 is shielded by the left arm 321 or the right arm 323 existing in front and is not perspective-projected.
  • one viewpoint O1 ′ of the two viewpoints is arranged on the upper side of the left arm 321, the body 322, and the right arm 323 on the cross section aa ′, and the other one on the lower side
  • the viewpoint O2 ′ is arranged, the lower surface of the left arm 321, the trunk 322, and the right arm 323 is perspectively projected on the texture image of the viewpoint O1 ′.
  • the upper surface of the left arm 321, the body 322, and the right arm 323 is perspectively projected on the texture image of the viewpoint O2 ′.
  • the polygon of the main subject is formed from polygons of a plurality of parts, if the polygons of each part are arranged in the depth direction of the two viewpoints, the main subject to be perspectively projected on the texture image of the two viewpoints Polygon area is reduced.
  • the polygon of the main subject is concave, if there are both ends sandwiching the cavity in the depth direction of the two viewpoints, the end on the near side will be the end on the back side. Because of the shielding, the area of the polygon of the main subject that is perspective-projected on the two-viewpoint texture image is reduced.
  • the drawing unit 302 generates a two-viewpoint texture image for a plurality of two-viewpoint pair candidates, and sets the two-viewpoint pair candidate having the largest area on the back surface of the polygon to be projected as the optimal pair. select.
  • FIG. 19 is a diagram for explaining a first determination method for a pair of two viewpoints.
  • the polygon of the main subject forms the robot 320 of FIG.
  • one viewpoint O1 of the current pair of viewpoints is the left side of the left arm 321 on the section aa ′ in FIG. 17, and the other viewpoint O2 is the right side of the right arm 323 on the section aa ′ in FIG. .
  • FIG. 20 described later.
  • the viewpoint control unit 301 sets a predetermined amount in one direction about a straight line 341 passing through the origin O connecting the current viewpoint O1 and the viewpoint O2 with the origin O as an axis. By rotating within the range, a pair of two viewpoints including the current pair of two viewpoints is determined. That is, in the first determination method, a pair of two viewpoints moves on a circle having a diameter of a straight line 341 centered on the origin O.
  • the viewpoint control unit 301 rotates the straight line 341 clockwise or counterclockwise by a predetermined amount in the direction parallel to the aa ′ cross section within the range of the minute angle ⁇ r , thereby The candidate of the pair of 2 viewpoints including the pair of is determined.
  • FIG. 20 is a diagram for explaining a second determination method of a pair of two viewpoints.
  • the viewpoint control unit 301 rotates the straight line 341 within a predetermined range by a predetermined amount in two or more directions with the origin O as an axis.
  • a candidate for a pair of two viewpoints including a pair of two viewpoints is determined. That is, in the second determination method, a pair of two viewpoints moves on a spherical surface whose diameter is a straight line 341 centered on the origin O.
  • the viewpoint control unit 301 rotates the straight line 341 by a predetermined amount clockwise or counterclockwise by a predetermined amount in a direction parallel to the aa ′ cross section within a small angle ⁇ r.
  • the candidate is determined.
  • the viewpoint control unit 301 determines a candidate for a pair of two viewpoints by rotating the straight line 341 clockwise or counterclockwise by a predetermined amount in a direction perpendicular to the aa ′ section within a small angle ⁇ r. is doing.
  • the viewpoint control unit 301 selects a candidate for a pair of two viewpoints by rotating the straight line 341 connecting the current viewpoint O1 and the viewpoint O2 within a minute angle range. decide. Therefore, the pair of two viewpoints changes step by step so that the area of the back surface of the perspectively projected polygon becomes large. Therefore, even when a pair of two viewpoints is determined in units of frames, the pair of two viewpoints does not change greatly between frames. As a result, it is possible to prevent a decrease in the coding efficiency of the texture image and the depth image due to a large change in the pair of two viewpoints between frames.
  • FIG. 21 is a diagram illustrating an example of a table generated by the viewpoint control unit 301 in FIG.
  • viewpoint information and an azimuth angle and an elevation angle indicating the line-of-sight direction are registered in the table for each viewpoint.
  • the azimuth angle is an angle in the XZ plane direction formed by the line of sight direction and the Z axis
  • the elevation angle is an angle formed by the line of sight direction and the XZ plane.
  • a line obtained by horizontally rotating the vector in the positive direction of the Z-axis extending from the viewpoint on the XZ plane by the azimuth angle and then vertically rotating the Y-axis direction by the elevation angle is the line-of-sight direction.
  • the Z-axis direction of the 3D model coordinate system is a direction from one of the two viewpoints to the other. Therefore, the azimuth angle and elevation angle of one of the two viewpoints are 0 degrees, and the viewpoint information is three-dimensional coordinates (0, 0, ⁇ 1.0). The azimuth angle of the other viewpoint is -180 degrees, and the three-dimensional coordinates are (0,0,1.0).
  • the table for each viewpoint, a rotation angle that is an angle in a rotation direction of the perspective projection plane with the line-of-sight direction as an axis is registered. Further, the table includes, for each viewpoint, a horizontal field angle that is a horizontal field angle and a vertical field angle that is a vertical field angle of the texture image of the viewpoint, and a horizontal pixel number that is the number of pixels in the horizontal direction. And the number of vertical pixels, which is the number of pixels in the vertical direction, is registered. In the example of FIG. 21, the rotation angles of the two viewpoints are both 0 degrees, the horizontal field angle and the vertical field angle are both 90 degrees, and the horizontal pixel number and the vertical pixel number are both 1024.
  • (Description of processing of image processing apparatus) 22 and 23 are flowcharts illustrating the generation process of the generation apparatus 300 in FIG. This generation process is performed for each frame of N captured images and depth images acquired by the N imaging devices 11.
  • steps S51 to S54 in FIG. 22 is the same as the processing in steps S11 to S14 in FIG.
  • step S55 the viewpoint control unit 301 determines whether the processing target frame is the top frame. If it is determined in step S55 that the processing target frame is not the first frame, that is, if the current pair of two viewpoints has already been set, the process proceeds to step S56.
  • the viewpoint control unit 301 determines whether to determine a plurality of two-viewpoint pair candidates based on the generation frequency of the two-viewpoint pair candidates, that is, the update frequency of the two-viewpoint pair. For example, when the generation frequency of the two-viewpoint pair candidates is in units of frames, the viewpoint control unit 301 always determines to determine a plurality of two-viewpoint pair candidates. In addition, when the generation frequency of the two-viewpoint pair candidates is a sequence unit or a GOP unit, when the processing target frame is the first frame of the sequence or the GOP, the viewpoint control unit 301 may select a plurality of two-viewpoint pairs. It is determined that a candidate is determined.
  • step S56 If it is determined in step S56 that a plurality of two-viewpoint pair candidates are determined, the process proceeds to step S57.
  • step S57 the viewpoint control unit 301 determines a plurality of two-viewpoint pair candidates by the first or second determination method.
  • the viewpoint control unit 301 generates viewpoint information of a plurality of candidate pairs of two viewpoints, and supplies the viewpoint information to the drawing unit 302.
  • step S58 for each viewpoint information, the drawing unit 302 performs perspective projection of the back surface of each polygon on the perspective projection plane for each viewpoint of a pair of two viewpoints whose viewpoint information indicates three-dimensional coordinates. A texture image of a pair of two viewpoints is generated.
  • step S ⁇ b> 59 the drawing unit 302 selects a two-viewpoint pair candidate having the largest area on the back side of the polygon that is perspective-projected when generating the texture image from the two-viewpoint pair candidates. Select as a pair.
  • the drawing unit 302 holds the viewpoint information of the optimal two-viewpoint pair as the viewpoint information of the current two-viewpoint pair and supplies the viewpoint information to the viewpoint control unit 301.
  • the viewpoint control unit 301 sets the optimum texture image of the two viewpoints as the final texture image of the two viewpoints.
  • step S60 the viewpoint control unit 301 determines whether the optimal two-viewpoint pair corresponding to the viewpoint information supplied from the drawing unit 302 is the current two-viewpoint pair. If it is determined in step S60 that the optimal pair of two viewpoints is not the current pair of two viewpoints, the process proceeds to step S61.
  • step S61 the viewpoint control unit 301 generates a table including the viewpoint information supplied from the drawing unit 302, and supplies the table to the storage unit 303 for storage.
  • step S62 the viewpoint control unit 301 sets the optimal two-viewpoint pair to the current two-viewpoint pair, and the process proceeds to step S65 in FIG.
  • step S55 if it is determined in step S55 that the processing target frame is the first frame, that is, if the current pair of two viewpoints has not yet been set, the process proceeds to step S63.
  • step S63 the viewpoint control unit 301 sets a current pair of two viewpoints to an initial value, and advances the process to step S64.
  • step S56 If it is determined in step S56 that a plurality of two-viewpoint pair candidates are not determined, the drawing unit 302 applies the viewpoint information held for each viewpoint of the current two-viewpoint pair indicating three-dimensional coordinates. Then, the back surface of each polygon is perspective-projected on the perspective projection surface, thereby generating a texture image of a pair of current two viewpoints. Then, the process proceeds to step S65 in FIG.
  • step S60 If it is determined in step S60 that the optimal pair of two viewpoints is not the current pair of two viewpoints, the process skips steps S61 and S62 because there is no need to change the current pair of two viewpoints. Proceed to step S65 of FIG.
  • step S65 of FIG. 23 the drawing unit 302 generates a depth image corresponding to each of the texture images of the current two viewpoint pairs based on the polygon.
  • the drawing unit 302 supplies the texture image and the depth image of the current two viewpoint pairs to the encoder 38.
  • steps S66 to S69 is the same as the processing in steps S17 to S20 in FIG.
  • step S70 the transmission unit 304 reads and transmits the two-viewpoint viewpoint texture stream and viewpoint depth stream, the omnidirectional texture stream and omnidirectional depth stream, and the table stored in the storage unit 39. Then, the process ends.
  • the generation apparatus 300 determines a pair of two viewpoints so that the texture image and the depth image of the two viewpoints can represent a three-dimensional structure of more regions. Therefore, a three-dimensional structure of a larger number of regions can be expressed using the two-view texture image and the depth image.
  • the configuration of the display device in the second embodiment is the same as the configuration of the display device 200 in FIG. 12 except that a table is used when the reconfiguration unit 204 performs reconfiguration.
  • the reconstruction unit 204 since the pair of two viewpoints is not a fixed value determined in advance, the reconstruction unit 204 performs the viewpoint information on each viewpoint of the pair of two viewpoints registered in the table at the time of reconstruction, and The three-dimensional coordinates (X, Y, Z) of each sampling point are generated using the line-of-sight direction.
  • the back surface of the polygon of the main subject is perspectively projected on the texture image, but the surface of the polygon in the background area may be perspectively projected on the texture image.
  • FIG. 24 is a diagram for explaining a texture image generation method in this case.
  • the polygon of the main subject forms a sphere 81.
  • the polygon of the background region 361 is generated not only in the polygon forming the sphere 81 but also in the position where the position in the depth direction of the viewpoint O1 is behind the sphere 81, and the position in the depth direction of the viewpoint O2 is determined from the sphere 81.
  • a polygon of the background region 362 is generated at a position on the far side. N captured images and depth images of the background area extracted by the area extraction unit 31 are used for generating the polygons of the background area 361 and the background area 362.
  • the back surface of the polygon forming the sphere 81 and the surface of the polygon in the background area 361 and the background area 362 are perspective-projected to generate a texture image.
  • the texture image of the viewpoint O1 includes an area 361A that is not shielded by the area 153A of the surface of the back surface area 153A and the background area 361 included in the angle of view 2 ⁇ of the viewpoint O1. And are drawn.
  • an area 362A that is not covered by the area 153B on the back surface of the sphere 81 and the surface 153B of the background area 362 included in the angle of view 2 ⁇ of the viewpoint O2 is drawn.
  • the display device 200 When the texture image is generated as described above, the display device 200 generates the background region of the display image with higher accuracy than when only the back surface of the polygon of the main subject is perspective-projected on the texture image. be able to. In addition, the display device 200 can delete the background area from the display image by drawing only the three-dimensional structure existing within the angle of view 2 ⁇ of both the viewpoint O1 and the viewpoint O2. In this case, the generation device 12 (300) may not generate the omnidirectional texture stream and the omnidirectional depth stream.
  • FIG. 25 is a diagram illustrating another example of the texture image.
  • the texture image is a texture image of one viewpoint, but a texture image of the left eye viewpoint and the right eye viewpoint corresponding to the viewpoint may be synthesized.
  • the texture image includes a left-eye viewpoint texture image 421 and a right-eye viewpoint texture image 422 corresponding to one viewpoint in a horizontal direction (horizontal direction).
  • the packing image 420 packed in () may be used.
  • the texture image may be, for example, a packing image 440 in which a texture image 421 and a texture image 422 are packed in the vertical direction (vertical direction).
  • the texture image is a texture image obtained by packing the left-eye viewpoint image and the right-eye viewpoint image
  • the texture image obtained as a result of decoding is the left-eye viewpoint texture image and the right-eye viewpoint image. Separated into texture images. Then, a three-dimensional structure is generated for each eye.
  • a display image for the left eye is generated from the three-dimensional structure for the left eye based on the left eye viewpoint, line-of-sight direction, and angle of view corresponding to the viewpoint designated by the viewer or the like.
  • a display image for the right eye is generated from the three-dimensional structure for the right eye based on the viewpoint of the right eye, the line-of-sight direction, and the angle of view corresponding to the viewpoint specified by the viewer or the like.
  • the display unit 206 When the display unit 206 is capable of 3D display, the display unit 206 displays the display image for the left eye as an image for the left eye and the display image for the right eye as an image for the right eye, thereby displaying the display image in 3D. indicate. On the other hand, when the display unit 206 is not capable of 3D display, the display unit 206 displays the display image for the left eye or the display image for the right eye in 2D.
  • the number of viewpoints is two, but the number of viewpoints is not limited to two. Also, the two viewpoints do not have to face each other.
  • the line-of-sight direction may be a direction from the viewpoint toward a position other than the origin.
  • the generation device 12 (300), the viewpoint texture stream and the viewpoint depth stream of the two viewpoints stored in the storage unit 39 (303) only when requested by the display device 200, the omnidirectional texture stream, and the entire omnidirectional texture stream.
  • the celestial sphere depth stream may be read and transmitted to the display device 200. The same applies to table transmission.
  • the generation device 12 generates a table including viewpoint information of two predetermined viewpoints and transmits the table to the display device 200. Good.
  • the configuration of the third embodiment of the distribution system to which the present disclosure is applied is, for example, the generation apparatus 12 of FIG. 1 described above except that tan-axis projection (details will be described later) is performed instead of perspective projection.
  • the configuration is the same as that of the display device 200 shown in FIG. Accordingly, only the tan axis projection will be described below.
  • FIG. 26 is a diagram for explaining the coordinate system of the projection plane.
  • the projection surface is a two-dimensional plane on which the omnidirectional image mapped on the sphere is tan-axis projected, or the display device 200.
  • this is a visual field range in which a 3D model image is projected on the tan axis.
  • a projection plane 451 having z of ⁇ 1.0 is set in the three-dimensional xyz coordinate system of the 3D model.
  • the coordinate system of the projection plane 451 is a two-dimensional st coordinate system in which the center O ′ of the projection plane 451 is the origin, the horizontal direction of the projection plane 451 is the s direction, and the vertical direction is the t direction.
  • a vector 452 from the origin O of the xyz coordinate system to the coordinates (s, t) of the st coordinate system is represented by coordinates (s, t) and -1.0, which is the distance from the origin O to the projection plane 451. And is called a vector (s, t, -1.0).
  • FIG. 27 is a diagram for explaining tan axis projection (tangent axis projection).
  • FIG. 27 is a diagram of the projection plane 451 viewed in the negative z direction.
  • the minimum value of the s value and the t value of the projection plane 451 is ⁇ 1.0, and the maximum value is 1.0.
  • the projection point is set on the projection plane 451 so that the projection vector from the origin O to the projection point on the projection plane 451 becomes a vector (s ′, t′-1.0).
  • s ′ is a value for each predetermined interval provided in a range of s values from ⁇ 1.0 to 1.0
  • t ′ is a predetermined interval provided in a range of t values from ⁇ 1.0 to 1.0. Is the value of Accordingly, the projection points in the perspective projection are uniform on the projection plane 451.
  • the projection vectors are vectors (tan (s ′ * ⁇ w / 2), tan (t ′ Projection points are set on the projection plane 451 such that * ⁇ w / 2), ⁇ 1.0).
  • the vectors (tan (s ′ * ⁇ w / 2), tan (t ′ * ⁇ w / 2), ⁇ 1.0) are set such that s ′ * ⁇ w / 2 is ⁇ and t ′ * ⁇ w / 2 is ⁇ . Then, it becomes a vector (tan ⁇ , tan ⁇ , -1.0). At this time, when the angle of view ⁇ w approaches ⁇ , tan ⁇ and tan ⁇ diverge to infinity.
  • the vector (tan ⁇ , tan ⁇ , -1.0) is corrected to the vector (sin ⁇ * cos ⁇ , cos ⁇ * sin ⁇ , -cos ⁇ * cos ⁇ ) so that tan ⁇ and tan ⁇ do not diverge infinitely, and the projection vector becomes the vector (sin ⁇ Projection points are set on the projection plane 451 such that * cos ⁇ , cos ⁇ * sin ⁇ , -cos ⁇ * cos ⁇ ). Accordingly, in tan-axis projection, the angles formed by projection vectors corresponding to adjacent projection points are the same.
  • tan (s ′ * ⁇ w / 2) and tan (t ′ * ⁇ w / 2) are considered to be s ′, t ′ of the tan axis, similarly to the logarithmic axis (log scale). Therefore, in this specification, a projection whose projection vector is a vector (tan (s ′ * ⁇ w / 2), tan (t ′ * ⁇ w / 2), ⁇ 1.0) is referred to as a tan-axis projection.
  • ⁇ Fourth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 28 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. A series of processing is performed.
  • the program executed by the computer 500 can be provided by being recorded on a removable medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by installing the removable medium 511 in the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer 500 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
  • FIG. 29 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 29, as a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 30 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 30 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the computer program for realizing the functions of the generation device 12 (300) and the display device 200 according to the present embodiment described with reference to FIGS. 1 to 27 may be installed in any control unit or the like. It can. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the generation device 12 (300) and the display device 200 according to the present embodiment described with reference to FIGS. 1 to 27 can be applied.
  • the generation device 12 (300) and the display device 200 are integrated and correspond to the microcomputer 7610, the storage unit 7690, and the display unit 7720.
  • the imaging device 11 corresponds to the imaging unit 7410.
  • the vehicle control system 7000 can represent a three-dimensional structure of a larger number of regions using the two viewpoints of the texture image and the depth image.
  • the components of the generation device 12 (300) and the display device 200 described with reference to FIGS. 1 to 27 are modules for the vehicle control system 7000 shown in FIG. 29 (for example, one die). Integrated circuit module).
  • the generation device 12 (300) and the display device 200 described with reference to FIGS. 1 to 27 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG.
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • An image processing apparatus comprising: an image generation unit that generates a texture image at a predetermined viewpoint using a depth image corresponding to an image.
  • the image generation unit is configured to generate a texture image of the predetermined viewpoint based on viewpoint information indicating the positions of the two viewpoints.
  • the polygon is arranged around a subject corresponding to the polygon, and uses a captured image acquired by a plurality of imaging devices including at least a part of the subject in an imaging range and a depth image corresponding to the captured image.
  • the image processing device configured to be generated.
  • the image generation unit includes a texture image of an omnidirectional image generated using the captured images acquired by the plurality of imaging devices, and a depth image corresponding to the captured images acquired by the plurality of imaging devices.
  • the image processing apparatus according to (3) configured to generate a texture image of the predetermined viewpoint using a depth image of the omnidirectional image generated using the omnidirectional image.
  • the image processing device A texture image obtained by projecting the back surface of the polygon onto a projection plane perpendicular to the line-of-sight direction from each viewpoint toward the center of the polygon for each of two viewpoints facing the center of the polygon, and the texture at each viewpoint
  • An image processing method including an image generation step of generating a texture image at a predetermined viewpoint using a depth image corresponding to the image.
  • a texture image is generated by projecting the back surface of the polygon onto a projection plane perpendicular to the viewing direction from each viewpoint toward the center of the polygon, and the texture at each viewpoint is generated.
  • An image processing apparatus comprising: an image generation unit that generates a depth image corresponding to an image.
  • the image processing apparatus further including: a viewpoint information generation unit that generates viewpoint information indicating the position of the two viewpoints.
  • the viewpoint information generation unit generates a plurality of the viewpoint information
  • the image generation unit generates the two-view texture image for each of the viewpoint information generated by the viewpoint information generation unit, and generates the two-view texture image of the plurality of viewpoint information.
  • the two-viewpoint texture image corresponding to the viewpoint information with the largest area of the back surface of the polygon projected onto the final two-viewpoint texture image, and the depth corresponding to each of the final two-viewpoint texture images
  • the image processing device configured to generate an image.
  • the two viewpoints are determined by rotating a straight line passing through the center of the polygon connecting the two predetermined viewpoints by at least a predetermined amount about the polygon center as an axis.
  • An image processing apparatus according to 1.
  • the viewpoint information generation unit is configured to output viewpoint information corresponding to each of the final two viewpoint texture images.
  • the polygon Using the captured images obtained by a plurality of imaging devices arranged around the subject corresponding to the polygon and including at least a part of the subject in the imaging range, and the depth image corresponding to the captured image, the polygon
  • the image processing apparatus according to any one of (6) to (10), further including a polygon generation unit that generates (12) Using the captured images acquired by the plurality of imaging devices, a texture image of an omnidirectional image is generated, and using the depth images corresponding to the captured images acquired by the plurality of imaging devices, the total image
  • the image processing device For each of two viewpoints facing the center of the polygon, a texture image is generated by projecting the back surface of the polygon onto a projection plane perpendicular to the viewing direction from each viewpoint toward the center of the polygon, and the texture at each viewpoint is generated.
  • An image processing method including an image generation step of generating a depth image corresponding to an image.
  • 11-1 to 11-N photographing device 12 generating device, 34 polygon generating unit, 35 drawing unit, 61 subject, 81 sphere, 200 display device, 205 drawing unit, 300 generating device, 301 viewpoint control unit, 302 drawing unit, 341 straight line

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、より多くの領域の３次元構造を表現する２視点のテクスチャ画像とデプス画像を用いて画像を生成することができるようにする画像処理装置および画像処理方法に関する。 描画部は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点からポリゴンの中心に向かう視線方向に垂直な透視投影面にポリゴンの裏面を透視投影することにより得られるテクスチャ画像と、各視点のテクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する。本開示は、例えば、表示装置等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにした画像処理装置および画像処理方法に関する。
　物体の３次元構造を表現する手法としては、主に、物体のポリゴン（３Ｄメッシュ）と、そのポリゴンに貼り付けるテクスチャとを用いて表現する手法と、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像とデプス画像を用いて表現する手法が挙げられる。前者の手法は、一般的なＣＧ（Computer Graphics）技術で用いられる手法である。後者の手法（以下、２Ｄデプス手法という）は、被写体を透視投影することにより得られる画像である撮影画像との親和性が高い。
　２Ｄデプス手法で物体の３次元構造が表現される場合、３次元構造を表現するデータは、MPEG MVD（Moving Picture Experts Group phase Multi-view+depth）等の符号化方式を用いて符号化される（例えば、非特許文献１参照）。
妹尾孝憲、山本健詞、大井隆太朗、栗田泰市郎「MPEG多視点映像符号化の標準化活動」情報通信研究機構季報Vol.56 Nos.1/2、２０１０年３月発行
　以上のように、２Ｄデプス手法は、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像（２次元画像）と、そのテクスチャ画像に対応するデプス画像とを用いて、物体の３次元構造を表現する手法である。従って、物体の透視投影されない領域の３次元構造については表現することができない。
　よって、透視投影する視点の数を増加させ、透視投影される領域を増加させることにより、より多くの領域の３次元構造を表現することができる。しかしながら、透視投影する視点の数が多いほど、３次元構造を表現するために必要なデータ量は増加する。
　本開示は、このような状況に鑑みてなされたものであり、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにするものである。
　本開示の第１の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部を備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像が生成される。
　本開示の第２の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部を備える画像処理装置である。
　本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
　本開示の第２の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像が生成され、各視点の前記テクスチャ画像に対応するデプス画像が生成される。
　なお、本開示の第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、本開示の第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、画像を生成することができる。本開示の第１の側面によれば、より多くの領域の３次元構造を表現する２視点のテクスチャ画像とデプス画像を用いて画像を生成することができる。
　また、本開示の第２の側面によれば、画像を生成することができる。本開示の第２の側面によれば、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。 撮影装置の配置例を示す図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 図１の生成装置の生成処理を説明するフローチャートである。 本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。 第１の再構成方法を説明する図である。 第２の再構成方法を説明する図である。 図１２の表示装置の表示処理を説明するフローチャートである。 本開示を適用した画像処理装置としての生成装置の第２実施の形態の構成例を示すブロック図である。 ２視点と３次元構造を表現可能な領域の関係を説明する図である。 ２視点と３次元構造を表現可能な領域の関係を説明する図である。 ２視点のペアの候補の第１の決定方法を説明する図である。 ２視点のペアの候補の第２の決定方法を説明する図である。 テーブルの例を示す図である。 図１６の生成装置の生成処理を説明するフローチャートである。 図１６の生成装置の生成処理を説明するフローチャートである。 テクスチャ画像の他の生成方法を説明する図である。 テクスチャ画像の他の例を示す図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：生成装置および表示装置（図１乃至図１５）
　２．第２実施の形態：生成装置および表示装置（図１６乃至図２３）
　３．テクスチャ画像の他の生成方法（図２４）
　４．テクスチャ画像の他の例（図２５）
　５．第３実施の形態：tan軸投影(図２６，２７)
　６．第４実施の形態：コンピュータ（図２８）
　７．応用例（図２９および図３０）
　＜第１実施の形態＞
　（生成装置の構成例）
　図１は、本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。
　図１の生成装置１２は、撮影装置１１－１乃至１１－Ｎ（Ｎは２以上）により取得された撮影画像とデプス画像とを用いて、撮影画像内の主要な被写体のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を生成する。
　具体的には、撮影装置１１－１乃至１１－Ｎは、主要な被写体の周囲に配置され、主要な被写体の少なくとも一部を撮影範囲に含む。撮影装置１１－１乃至１１－Ｎは、それぞれ、撮影画像カメラ２１とデプス画像カメラ２２により構成される。撮影画像カメラ２１は、被写体を撮影してフレーム単位で撮影画像を取得し、生成装置１２に供給する。デプス画像カメラ２２は、撮影画像の各画素における被写体の奥行き方向の位置をフレーム単位で取得して、その位置を表す情報を画素値とするデプス画像を生成し、生成装置１２に供給する。なお、以下では、撮影装置１１－１乃至１１－Ｎを特に区別する必要がない場合、それらをまとめて撮影装置１１という。
　生成装置１２は、領域抽出部３１、位置情報生成部３２、カラー情報生成部３３、ポリゴン生成部３４、描画部３５、全天球画像生成部３６、低解像度化部３７、エンコーダ３８、記憶部３９、および送信部４０により構成される。
　生成装置１２の領域抽出部３１は、Ｎ個の撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域を抽出し、位置情報生成部３２に供給する。また、領域抽出部３１は、Ｎ個の撮影画像とデプス画像から、主要な被写体の領域以外の領域を背景領域として抽出し、全天球画像生成部３６に供給する。
　位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体に対応する１以上のポリゴンの位置情報を生成する。ポリゴンの位置情報とは、主要な被写体の中心を原点とする３次元座標系である３Ｄモデル座標系のポリゴンの各頂点の３次元座標である。位置情報生成部３２は、各ポリゴンの位置情報をカラー情報生成部３３とポリゴン生成部３４に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。
　カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のRGB値などのカラー情報を生成する。具体的には、カラー情報生成部３３は、各ポリゴンに対応する撮影画像の画素値を用いて、そのポリゴンの表面のカラー情報を生成する。また、カラー情報生成部３３は、各ポリゴンの表面のカラー情報を、そのポリゴンの裏面のカラー情報としても生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報をポリゴン生成部３４に供給する。
　なお、ポリゴンの表面のカラー情報は、ポリゴンの各頂点の３Ｄモデル座標系における３次元座標を、表面の法線ベクトルを軸として時計周りで記述し、その３次元座標に対応してカラー情報を記述することにより表現される。ポリゴンの裏面のカラー情報も、表面のカラー情報と同様に表現される。
　ポリゴン生成部３４は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。ポリゴン生成部３４は、表面および裏面に対してテクスチャが貼り付けられた各ポリゴンを描画部３５に供給する。
　描画部３５（画像生成部）は、主要な被写体の１以上のポリゴンの中心である３Ｄモデル座標系の原点に対して対向する予め決められた２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。具体的には、描画部３５は、２視点のそれぞれについて、各ポリゴンの裏面を、各視点から原点に向かう視線方向の直線が中心を通る法線である透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。本明細書において、「対向する位置」とは、対向する位置そのものだけでなく、本開示の技術的効果を奏する範囲で、対向する位置の付近も含むものである。同様に、「法線」とは、法線そのものだけでなく、面に対する角度が垂直付近である線も含むものである。
　なお、テクスチャ画像のフォーマットは、特に限定されないが、例えばYCbCr420フォーマットを採用することができる。描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３５は、２視点のテクスチャ画像とデプス画像をエンコーダ３８に供給する。
　全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、水平方向の周囲360度および垂直方向の周囲180度の全天球画像のテクスチャ画像を生成する。なお、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の球体の全空間の画像ではなく、本開示の技術的効果を奏すれば部分空間の画像であってもよい。全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成する。全天球画像生成部３６は、全天球画像のテクスチャ画像とデプス画像を低解像度化部３７に供給する。
　低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。
　エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像とデプス画像を符号化し、低解像度化部３７から供給される全天球画像のテクスチャ画像とデプス画像を符号化する。これらの符号化の符号化方式としては、AVC（Advanced Video Coding）方式、HEVC方式、MVD方式等を用いることができるが、ここでは、AVC方式を用いるものとする。
　従って、エンコーダ３８は、符号化により、各視点のテクスチャ画像の符号化ストリーム（以下、視点テクスチャストリームという）とデプス画像の符号化ストリーム（以下、視点デプスストリームという）を生成する。また、エンコーダ３８は、符号化により、低解像度化された全天球画像のテクスチャ画像の符号化ストリーム（以下、全天球テクスチャストリームという）とデプス画像の符号化ストリーム（以下、全天球デプスストリームという）を生成する。エンコーダ３８は、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給する。
　記憶部３９は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。
　送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。
　以上のように、生成装置１２は、主要な被写体の３次元構造を表現するポリゴンとカラー情報を、２視点のテクスチャ画像とデプス画像に変換する。従って、生成装置１２は、２視点のテクスチャ画像とデプス画像を、一般的な画像の符号化方式を用いて符号化し、データ量を削減することができる。その結果、主要な被写体の３次元構造を表現するデータの伝送帯域を削減することができる。
　なお、図１の生成装置１２は、ポリゴンとカラー情報を生成したが、ＣＧ技術において用いられる３次元構造を表現する情報であれば、ポイントクラウドなどの他の情報を生成するようにしてもよい。
　また、図１の例では、デプス画像カメラ２２が、撮影画像と同一の画素数のデプス画像を取得するが、撮影画像より少ない画素数のデプス画像を取得する場合には、領域抽出部３１と位置情報生成部３２の間に、デプス画像の画素値を補間するデプス画像補間部が設けられる。この場合、デプス画像補間部は、デプス画像の画素値を補間し、デプス画像の画素数を撮影画像の画素数と同一にする。
　さらに、図１の例では、各撮影装置１１がデプス画像を取得するようにしたが、デプス画像は、そのデプス画像に対応する撮影装置１１と他の撮影装置１１により取得された撮影画像から生成されるようにしてもよい。
　（撮影装置の配置例）
　図２は、図１の撮影装置１１の配置例を示す図である。
　図２の例では、Ｎは９である。
　図２に示すように、９個の撮影装置１１－１乃至１１－９は、主要な被写体６１の周囲に取り囲むように配置される。
　（効果の説明）
　図３乃至図５は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの表面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
　図３乃至図５の例では、主要な被写体のポリゴンが球８１を形成する。この場合、図３のＡに示すように、２視点のうちの一方の視点Ｏ１に対して、球８１の表面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の表面の領域８１Ａに貼られたテクスチャが描画される。投影方向とは、視点から延びる、視線方向とのなす角の絶対値が画角の半分の角度（図３の例ではθ）の範囲内である方向である。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。
　また、図３のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の表面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の表面の領域８１Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。
　従って、図３のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域８１Ａと領域８１Ｂの３次元構造を表現することができる。しかしながら、球の表面には、領域８１Ａと領域８１Ｂ以外の領域が存在する。即ち、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像では３次元構造を表現できない球８１の表面の領域が存在する。
　例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図４のＡの左側に示すように、視点Ｏ１のテクスチャ画像１０１には、領域８１Ａの表面にテクスチャとして貼られたアフリカ大陸と南アメリカ大陸の一部が描画される。
　また、この場合、視点Ｏ２は太平洋上空であり、図４のＢの左側に示すように、視点Ｏ２のテクスチャ画像１０２には、領域８１Ｂの表面にテクスチャとして貼られたオーストラリア大陸の一部が描画される。しかしながら、南極大陸等は、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも描画されない。
　また、図４のＡの右側および図４のＢの右側に示すように、テクスチャ画像１０１に対応するデプス画像１１１と、テクスチャ画像１０２に対応するデプス画像１１２は、同一である。なお、デプス画像は、各画素における被写体の奥行き方向の位置が遠いほど、画素値（輝度値）が小さい。従って、デプス画像１１１とデプス画像１１２は、中心の画素値が最も大きく、中心から離れるほど小さくなっている。
　以上のように、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも、南極大陸等は描画されない。従って、図５に示すように、テクスチャ画像１０１およびデプス画像１１１並びにテクスチャ画像１０２およびデプス画像１１２を用いて再構成された３次元構造１２１は、表面および裏面に世界地図がテクスチャとして貼られた球８１の一部分のみである。
　図３乃至図５の例では、ポリゴンの形状が比較的単純な球８１であったが、ポリゴンの形状が複雑である場合、２視点のテクスチャ画像では３次元構造を表現できないポリゴンの領域が増加する。
　図６および図７は、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
　上述したように、視点Ｏ１に対して球８１の表面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の表面の各点ｃ１に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する各点ｃ１の奥行き方向（視線方向Ｖ１）の位置を表す画像である。
　一方、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の裏面の各点ｃ２に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する各点ｃ２の奥行き方向（視線方向Ｖ１）の位置を表す画像である。
　例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図７に示すように、視点Ｏ１のテクスチャ画像１３１には、各点ｃ２の裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、およびオーストラリア大陸が描画される。また、テクスチャ画像１３１に対応するデプス画像１３２は、中心の画素値が最も小さく、中心から離れるほど小さくなる。
　図８乃至図１０は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
　図８乃至図１０の例では、主要な被写体のポリゴンが球８１である。この場合、図８のＡに示すように、視点Ｏ１に対して、球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の裏面の領域１５３Ａに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。
　また、図８のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の裏面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の裏面の領域１５３Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。
　従って、図８のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域１５３Ａおよび領域１５３Ｂの３次元構造を表現することができる。
　なお、図８のＣに示すように、領域１５３Ａおよび領域１５３Ｂは重複する。従って、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の全ての３次元構造を表現することができることになる。
　例えば、球８１の表面および面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図９のＡの左側に示すように、視点Ｏ１のテクスチャ画像１６１には、領域１５３Ａの裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、オーストラリア大陸が描画される。
　また、この場合、視点Ｏ２は太平洋上空であり、図９のＢの左側に示すように、視点Ｏ２のテクスチャ画像１６２には、領域１５３Ｂの裏面にテクスチャとして貼られたアフリカ大陸、北アメリカ大陸、南アメリカ大陸、南極大陸、ヨーロッパ大陸の一部が描画される。従って、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。
　また、図９のＡおよび図９のＢの右側に示すように、テクスチャ画像１６１に対応するデプス画像１６３と、テクスチャ画像１６２に対応するデプス画像１６４は、同一である。デプス画像１６３とデプス画像１６４は、中心の画素値が最も小さく、中心から離れるほど大きくなっている。
　以上のように、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。従って、図１０のＡに示すように、テクスチャ画像１６１とデプス画像１６３を用いて再構成された３次元構造１７１は、球８１の視点Ｏ２側の半分（図中右半分）より大きい部分である。また、図１０のＢに示すように、テクスチャ画像１６２とデプス画像１６４を用いて再構成された３次元構造１７２は、球８１の視点Ｏ１側の半分（図中左半分）より大きい部分である。よって、テクスチャ画像１６１およびデプス画像１６３並びにテクスチャ画像１６２およびデプス画像１６４を用いて３次元構造を再構成することにより、球８１全体を生成することができる。
　なお、領域１５３Ａと領域１５３Ｂの重複領域は、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のいずれか一方を用いて生成される。
　例えば、図８のＡに示すように、領域１５３Ａと領域１５３Ｂの重複領域のうちの領域１５３Ａの端部の領域１５４は、視点Ｏ１に対して透視投影される場合、投影方向８２との角度が小さい。従って、テクスチャ画像１６１とデプス画像１６３では、領域１５４の３次元構造を高精度で表現することはできない。
　しかしながら、図８のＢに示すように、領域１５４は、視点Ｏ２に対して透視投影される場合、投影方向８３との角度が、視点Ｏ１に対して透視投影される場合に比べて大きくなる。従って、テクスチャ画像１６２とデプス画像１６４では、テクスチャ画像１６１とデプス画像１６３に比べて、領域１５４の３次元構造を高精度で表現することができる。よって、領域１５４は、テクスチャ画像１６２とデプス画像１６４を用いて生成される。
　以上のように、領域１５３Ａと領域１５３Ｂの重複領域を、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のうちの、重複領域との角度が大きい投影方向に対応する方を用いて生成することにより、球８１の再構成の精度を向上させることができる。
　（生成装置の処理の説明）
　図１１は、図１の生成装置１２の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。
　図１１のステップＳ１１において、生成装置１２の領域抽出部３１は、撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域と背景領域を抽出する。領域抽出部３１は、主要な被写体の領域のＮ個の撮影画像とデプス画像を位置情報生成部３２に供給し、背景領域のＮ個の撮影画像とデプス画像を全天球画像生成部３６に供給する。
　ステップＳ１２において、位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体の各ポリゴンの位置情報を生成し、カラー情報生成部３３と描画部３５に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。
　ステップＳ１３において、カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のカラー情報を生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報を描画部３５に供給する。
　ステップＳ１４において、描画部３５は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。
　ステップＳ１５において、描画部３５は、予め決められた２視点のそれぞれに対して、各ポリゴンの裏面を視線方向の透視投影面に透視投影することにより２視点のテクスチャ画像を生成する。描画部３５は、２視点のテクスチャ画像をエンコーダ３８に供給する。
　ステップＳ１６において、描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成し、エンコーダ３８に供給する。
　ステップＳ１７において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、全天球画像のテクスチャ画像を生成し、低解像度化部３７に供給する。
　ステップＳ１８において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成し、低解像度化部３７に供給する。
　ステップＳ１９において、低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。
　ステップＳ２０において、エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像およびデプス画像、並びに、低解像度化部３７から供給される全天球画像のテクスチャ画像およびデプス画像を符号化する。エンコーダ３８は、その結果生成される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給して記憶させる。
　ステップＳ２１において、送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。そして、処理は終了する。
　以上のように、生成装置１２は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて各視点の視線方向の透視投影面にポリゴンの裏面を透視投影することにより、２視点のテクスチャ画像とデプス画像を生成する。従って、生成された２視点のテクスチャ画像とデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。
　（表示装置の構成例）
　図１２は、本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。
　図１２の表示装置２００は、図１の生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、所定の視点のテクスチャ画像を生成する。
　具体的には、表示装置２００は、受信部２０１、記憶部２０２、デコーダ２０３、再構成部２０４、描画部２０５、および表示部２０６により構成される。
　表示装置２００の受信部２０１は、生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、記憶部２０２に供給する。
　記憶部２０２は、受信部２０１から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。
　デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。
　再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。上述したように、生成装置１２で生成される２視点のテクスチャ画像およびデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。従って、復号された２視点のテクスチャ画像およびデプス画像を用いて３次元構造が再構成される主要な被写体の領域は、２視点のテクスチャ画像とデプス画像がポリゴンの表面を透視投影することにより生成される場合に比べて多い。
　また、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、主要な被写体と背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。
　描画部２０５（画像生成部）は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。
　表示部２０６は、描画部２０５から供給される表示画像を表示する。これにより、視聴者は、例えば、主要な被写体の周囲の任意の位置から主要な被写体を見ることができる。
　（第１の再構成方法の説明）
　図１３は、第１の再構成方法を説明する図である。
　なお、図１３の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×４(縦)画素であるものとする。また、図１３では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。
　第１の再構成方法は、ポイントクラウドを用いて３次元構造を再構成する方法である。具体的には、図１３に示すように、第１の再構成方法では、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、視点Ｏ１のテクスチャ画像２２０の各画素２２１に対応するサンプリング点２３１のテクスチャ画像２２０上の位置(u,v)、および、テクスチャ画像２２０に対応するデプス画像の各画素２２１の画素値に基づいて、サンプリング点２３１の３Ｄモデル座標系における３次元座標（X,Y,Z）を生成する。
　また、再構成部２０４は、テクスチャ画像２２０の各画素２２１の画素値であるYCbCr値をRGB値に変換し、各画素２２１に対応するサンプリング点２３１のRGB値とする。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)に、そのサンプリング点２３１のRGB値の点を描画することにより、主要な被写体の３次元構造を再構成する。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給するとともに、各サンプリング点２３１のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。
　（第２の再構成方法の説明）
　図１４は、第２の再構成方法を説明する図である。
　なお、図１４の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×３（縦）画素であるものとする。また、図１４では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。
　第２の再構成方法は、三角形パッチを用いて３次元構造を再構成する方法である。具体的には、図１４の左側に示すように、第２の再構成方法では、再構成部２０４は、視点Ｏ１のテクスチャ画像２４０上に各画素２４１に対応するサンプリング点２５１を生成する。再構成部２０４は、テクスチャ画像２４０の全ての画素に対応するサンプリング点２５１のうちの、隣接する３つのサンプリング点２５１どうしを接続することにより、隣接する３つのサンプリング点２５１を頂点とする三角形パッチ２５２を生成する。
　そして、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、各サンプリング点２５１のテクスチャ画像２４０上の位置(u,v)、および、テクスチャ画像２４０に対応するデプス画像の各画素２４１の画素値に基づいて、各サンプリング点２５１に対応する３Ｄモデル座標系の３次元座標（X,Y,Z）を生成する。
　そして、再構成部２０４は、図１４の右側に示すように、各サンプリング点２５１の３次元座標（X,Y,Z）に基づいて、各サンプリング点２５１に対応する各サンプリング点２６１を３Ｄモデル座標系に配置する。また、再構成部２０４は、三角形パッチ２５２の頂点を構成する３つのサンプリング点２５１に対応するサンプリング点２６１を接続することにより、三角形パッチ２６２を生成する。
　また、再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２に対応する三角形パッチ２５２を構成する画素２４１のYCbCr値をRGB値に変換し、そのRGB値を用いて三角形パッチ２６２のRGB値を生成する。再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２のRGB値のテクスチャを三角形パッチ２６２に貼り付ける。これにより、再構成部２０４は、主要な被写体の３次元構造を再構成する。再構成部２０４は、各三角形パッチ２６２の頂点となるサンプリング点２６１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給する。また、再構成部２０４は、各三角形パッチ２６２のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。
　図１３および図１４では、視点Ｏ１のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法について説明したが、視点Ｏ２のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法および全天球画像のテクスチャ画像とデプス画像から背景領域の３次元構造を再構成する方法についても同様である。
　（表示装置の処理の説明）
　図１５は、図１２の表示装置２００の表示処理を説明するフローチャートである。この表示処理は、例えば、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームが記憶部２０２に記憶されている状態で、視聴者により表示画像の表示が要求されたとき、開始される。
　図１５のステップＳ３２において、デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。
　ステップＳ３３において、再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。再構成部２０４は、主要な被写体の３次元構造の位置情報とカラー情報を描画部２０５に供給する。
　ステップＳ３４において、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。
　ステップＳ３５において、描画部２０５は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。
　ステップＳ３６において、表示部２０６は、描画部２０５から供給される表示画像を表示し、処理を終了する。
　以上のように、表示装置２００は、生成装置１２により生成された２視点のテクスチャ画像とデプス画像を用いて表示画像を生成する。従って、２視点のそれぞれに対してポリゴンの表面を透視投影することにより生成された２視点のテクスチャ画像とデプス画像を用いる場合に比べて、より多くの領域の主要な被写体の３次元構造を再構成し、その３次元構造から表示画像を生成することができる。その結果、表示画像の画質が向上する。
　＜第２実施の形態＞
　（生成装置の構成例）
　図１６は、本開示を適用した画像処理装置としての生成装置の第２実施の形態の構成例を示すブロック図である。
　図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１６の生成装置３００の構成は、視点制御部３０１が新たに設けられる点、および、描画部３５、記憶部３９、送信部４０の代わりに、描画部３０２、記憶部３０３、送信部３０４が設けられる点が、図１の生成装置１２の構成と異なる。生成装置３００では、２視点の位置が可変であり、２視点のテクスチャ画像とデプス画像が、主要な被写体のポリゴンの最も多くの領域の３次元構造を表現するように、２視点の位置が設定される。
　具体的には、視点制御部３０１（視点情報生成部）は、３Ｄモデル座標系の原点に対して互いに対向する現在の２視点のペアを結ぶ原点を通る直線を、原点を軸として所定の方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む複数の２視点のペアの候補を決定する。２視点のペアの候補の生成頻度は、特に限定されず、フレームごと、シーケンスごと、GOP（Group of Picture）ごと等にすることができる。視点制御部３０１は、複数の２視点のペアの候補の３次元座標である視点情報を生成し、描画部３０２に給する。
　また、視点制御部３０１は、描画部３０２から供給される視点情報に対応する２視点のペアの候補が現在の２視点のペアではない場合、その２視点のペアの候補に現在の２視点のペアを変更し、その視点情報を含むテーブルを生成する。視点制御部３０１は、テーブルを記憶部３０３に出力する。
　描画部３０２（画像生成部）は、視点制御部３０１から複数の視点情報が供給される場合、視点情報ごとに、その視点情報が３次元座標を示す２視点のペアの候補の各視点に対して、ポリゴン生成部３４により生成された各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のペアの候補のテクスチャ画像を生成する。
　そして、描画部３０２は、２視点のペアの候補のうちの、テクスチャ画像を生成する際に透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を、最適な２視点のペアとして選択する。具体的には、描画部３０２は、２視点のペアの候補のうちの、２視点のテクスチャ画像を生成する際に裏面が透視投影されるポリゴンの数が最も多い２視点のペアを、最適な２視点のペアとして選択する。
　描画部３０２は、最適な２視点のペアの視点情報を現在の２視点のペアの視点情報として保持するとともに、視点制御部３０１に供給する。また、視点制御部３０１は、最適な２視点のペアのテクスチャ画像を、最終的な現在の２視点のペアのテクスチャ画像とする。
　一方、描画部３０２は、視点制御部３０１から複数の視点情報が供給されない場合、保持されている視点情報が３次元座標を示す現在の２視点のペアの各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、現在の２視点のペアのテクスチャ画像を生成する。
　描画部３０２は、各ポリゴンに基づいて、現在の２視点のペアのテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３０２は、現在の２視点のペアのテクスチャ画像とデプス画像をエンコーダ３８に供給する。
　記憶部３０３は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。また、記憶部３０３は、視点制御部３０１から供給されるテーブルを記憶する。
　送信部３０４は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びにテーブルを読み出し、送信する。
　（２視点と３次元構造を表現可能な領域の関係の説明）
　図１７および図１８は、２視点と３次元構造を表現可能な領域の関係を説明する図である。
　主要な被写体のポリゴンが図１７のロボット３２０を形成する場合、ロボット３２０の設置面に水平なａａ´断面の模式図は、図１８に示すようになる。即ち、ロボット３２０のａａ´断面には、ロボット３２０の左腕３２１、胴体３２２、および右腕３２３が含まれる。
　この場合、図１８のＡに示すように、ａａ´断面上の左腕３２１の左側に２視点のうちの一方の視点Ｏ１が配置され、右腕３２３の右側に他方の視点Ｏ２が配置されると、視点Ｏ１のテクスチャ画像には、左腕３２１の右側の裏面が透視投影される。また、視点Ｏ２のテクスチャ画像には、右腕３２３の左側の裏面が透視投影される。
　しかしながら、視点Ｏ１のテクスチャ画像においても、視点Ｏ２にテクスチャ画像においても、胴体３２２の裏面は、手前に存在する左腕３２１または右腕３２３に遮蔽され、透視投影されない。
　これに対して、図１８のＢに示すように、ａａ´断面上の左腕３２１、胴体３２２、および右腕３２３の上側に２視点のうちの一方の視点Ｏ１´が配置され、下側に他方の視点Ｏ２´が配置されると、視点Ｏ１´のテクスチャ画像には、左腕３２１、胴体３２２、および右腕３２３の下側の裏面が透視投影される。また、視点Ｏ２´のテクスチャ画像には、左腕３２１、胴体３２２、および右腕３２３の上側の裏面が透視投影される。
　以上のように、主要な被写体のポリゴンが複数の部位のポリゴンから形成される場合、２視点の奥行き方向に各部位のポリゴンが並ぶと、２視点のテクスチャ画像に透視投影される主要な被写体のポリゴンの領域が減少する。また、図示は省略するが、主要な被写体のポリゴンの形状が凹な形状である場合、２視点の奥行き方向に空洞を挟む両端部が存在すると、手前側の端部が奥側の端部を遮蔽するため、２視点のテクスチャ画像に透視投影される主要な被写体のポリゴンの領域が減少する。
　従って、描画部３０２は、複数の２視点のペアの候補に対して２視点のテクスチャ画像を生成し、透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を最適なペアとして選択する。
　（２視点のペアの候補の第１の決定方法の説明）
　図１９は、２視点のペアの候補の第１の決定方法を説明する図である。
　図１９の例では、主要な被写体のポリゴンが図１７のロボット３２０を形成する。また、現在の２視点のペアのうちの一方の視点Ｏ１が図１７のａａ´断面上の左腕３２１の左側であり、他方の視点Ｏ２が図１７のａａ´断面上の右腕３２３の右側である。これらのことは、後述する図２０においても同様である。
　図１９に示すように、第１の決定方法では、視点制御部３０１は、現在の視点Ｏ１と視点Ｏ２を結ぶ原点Ｏを通る直線３４１を、原点Ｏを軸として、一方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定する。即ち、第１の決定方法では、原点Ｏを中心とした直線３４１を直径とする円周上を２視点のペアの候補が移動する。
　図１９の例では、視点制御部３０１は、直線３４１をａａ´断面に平行な方向に所定量ずつ時計周りまたは反時計周りに微小角度θｒの範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定している。
　（２視点のペアの候補の第２の決定方法の説明）
　図２０は、２視点のペアの候補の第２の決定方法を説明する図である。
　図２０に示すように、第２の決定方法では、視点制御部３０１は、直線３４１を、原点Ｏを軸として、２以上の方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定する。即ち、第２の決定方法では、原点Ｏを中心とした直線３４１を直径とする球面上を２視点のペアの候補が移動する。
　図２０の例では、視点制御部３０１は、直線３４１をａａ´断面に平行な方向に所定量ずつ時計周りまたは反時計周りに微小角度θｒの範囲内で回転させることにより、２視点のペアの候補を決定している。また、視点制御部３０１は、直線３４１をａａ´断面に垂直な方向に所定量ずつ時計周りまたは反時計周りに微小角度φｒの範囲内で回転させることにより、２視点のペアの候補を決定している。
　以上のように、第１および第２の決定方法では、視点制御部３０１は、現在の視点Ｏ１と視点Ｏ２を結ぶ直線３４１を微小角度の範囲内で回転させることにより２視点のペアの候補を決定する。従って、２視点のペアは、透視投影されるポリゴンの裏面の領域が大きくなるように段階的に変化していく。よって、フレーム単位で２視点のペアを決定する場合であっても、フレーム間で２視点のペアが大きく変化することはない。その結果、フレーム間で２視点のペアが大きく変化することによるテクスチャ画像とデプス画像の符号化効率の低下を防止することができる。
　（テーブルの例）
　図２１は、図１６の視点制御部３０１により生成されるテーブルの例を示す図である。
　図２１に示すように、テーブルには、視点ごとに、視点情報と視線方向を示す方位角および仰角とが登録される。
　方位角は、視線方向とＺ軸とのなすＸＺ平面方向の角度であり、仰角は、視線方向とＸＺ平面とのなす角度である。視点から延びるＺ軸の正方向のベクトルを方位角だけＸＺ平面上を水平回転した後、仰角だけＹ軸方向に上下回転した線が、視線方向である。
　図２１の例では、３Ｄモデル座標系のＺ軸方向が、２視点の一方から他方へ向かう方向である。従って、２視点のうちの一方の視点の方位角と仰角は０度であり、視点情報は３次元座標(0,0,-1.0)である。また、他方の視点の方位角は－１８０度であり、３次元座標は(0,0,1.0)である。
　また、テーブルには、視点ごとに、視線方向を軸としたときの透視投影面の回転方向の角度である回転角が登録される。さらに、テーブルには、視点ごとに、その視点のテクスチャ画像の横方向の画角である横画角および縦方向の画角である縦画角、並びに、横方向の画素数である横画素数および縦方向の画素数である縦画素数が登録される。図２１の例では、２視点の回転角は両方とも０度であり、横画角と縦画角は両方とも９０度であり、横画素数と縦画素数は両方とも１０２４である。
　（画像処理装置の処理の説明）
　図２２および図２３は、図１６の生成装置３００の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。
　図２２のステップＳ５１乃至Ｓ５４の処理は、図１１のステップＳ１１乃至Ｓ１４の処理と同様である。
　ステップＳ５５において、視点制御部３０１は、処理対象のフレームが先頭のフレームであるかどうかを判定する。ステップＳ５５で処理対象のフレームが先頭のフレームではないと判定された場合、即ち既に現在の２視点のペアが設定されている場合、処理はステップＳ５６に進む。
　ステップＳ５６において、視点制御部３０１は、２視点のペアの候補の生成頻度、即ち２視点のペアの更新頻度に基づいて、複数の２視点のペアの候補を決定するかどうかを判定する。例えば、２視点のペアの候補の生成頻度がフレーム単位である場合、視点制御部３０１は、常に、複数の２視点のペアの候補を決定すると判定する。また、２視点のペアの候補の生成頻度がシーケンス単位またはGOP単位である場合、処理対象のフレームがシーケンスまたはGOPの先頭のフレームであるとき、視点制御部３０１は、複数の２視点のペアの候補を決定すると判定する。
　ステップＳ５６で複数の２視点のペアの候補を決定すると判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、視点制御部３０１は、第１または第２の決定方法で複数の２視点のペアの候補を決定する。視点制御部３０１は、複数の２視点のペアの候補の視点情報を生成し、描画部３０２に供給する。
　ステップＳ５８において、描画部３０２は、視点情報ごとに、その視点情報が３次元座標を示す２視点のペアの候補の各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のペアの候補のテクスチャ画像を生成する。
　ステップＳ５９において、描画部３０２は、２視点のペアの候補のうちの、テクスチャ画像を生成する際に透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を、最適な２視点のペアとして選択する。描画部３０２は、最適な２視点のペアの視点情報を現在の２視点のペアの視点情報として保持するとともに、視点制御部３０１に供給する。また、視点制御部３０１は、最適な２視点のペアのテクスチャ画像を、最終的な現在の２視点のペアのテクスチャ画像とする。
　ステップＳ６０において、視点制御部３０１は、描画部３０２から供給される視点情報に対応する最適な２視点のペアが、現在の２視点のペアであるかどうかを判定する。ステップＳ６０で最適な２視点のペアが現在の２視点のペアではないと判定された場合、処理はステップＳ６１に進める。
　ステップＳ６１において、視点制御部３０１は、描画部３０２から供給される視点情報を含むテーブルを生成し、記憶部３０３に供給して記憶させる。
　ステップＳ６２において、視点制御部３０１は、最適な２視点のペアを現在の２視点のペアに設定し、処理を図２３のステップＳ６５に進む。
　一方、ステップＳ５５で処理対象のフレームが先頭のフレームであると判定された場合、即ちまだ現在の２視点のペアが設定されていない場合、処理はステップＳ６３に進む。
　ステップＳ６３において、視点制御部３０１は、現在の２視点のペアを初期値に設定し、処理をステップＳ６４に進める。
　また、ステップＳ５６で複数の２視点のペアの候補を決定しないと判定された場合、描画部３０２は、保持されている視点情報が３次元座標を示す現在の２視点のペアの各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、現在の２視点のペアのテクスチャ画像を生成する。そして、処理は図２３のステップＳ６５に進む。
　また、ステップＳ６０で最適な２視点のペアが現在の２視点のペアではないと判定された場合、現在の２視点のペアを変更する必要がないため、処理はステップＳ６１およびＳ６２をスキップし、図２３のステップＳ６５に進む。
　図２３のステップＳ６５において、描画部３０２は、ポリゴンに基づいて、現在の２視点のペアのテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３０２は、現在の２視点のペアのテクスチャ画像とデプス画像をエンコーダ３８に供給する。
　ステップＳ６６乃至Ｓ６９の処理は、図１１のステップＳ１７乃至Ｓ２０の処理と同様であるので、説明は省略する。
　ステップＳ７０において、送信部３０４は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びにテーブルを読み出し、送信する。そして、処理は終了する。
　以上のように、生成装置３００は、２視点のテクスチャ画像とデプス画像が、より多くの領域の３次元構造を表現可能になるように、２視点のペアを決定する。従って、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。
　第２実施の形態における表示装置の構成は、再構成部２０４による再構成時にテーブルが用いられる点を除いて、図１２の表示装置２００の構成と同一である。即ち、第２実施の形態では、２視点のペアが予め決まった固定値ではないため、再構成部２０４は、再構成時に、テーブルに登録されている２視点のペアの各視点の視点情報および視線方向を用いて、各サンプリング点の３次元座標（X,Y,Z）を生成する。
　なお、第１および第２実施の形態では、主要な被写体のポリゴンの裏面のみがテクスチャ画像に透視投影されたが、背景領域のポリゴンの表面もテクスチャ画像に透視投影されるようにしてもよい。
　＜テクスチャ画像の他の生成方法＞
　図２４は、この場合のテクスチャ画像の生成方法を説明する図である。
　図２４の例では、主な被写体のポリゴンが球８１を形成している。
　この場合、球８１を形成するポリゴンだけでなく、視点Ｏ１の奥行き方向の位置が球８１より奥側である位置に背景領域３６１のポリゴンが生成され、視点Ｏ２の奥行き方向の位置が球８１より奥側である位置に背景領域３６２のポリゴンが生成される。背景領域３６１と背景領域３６２のポリゴンの生成には、領域抽出部３１により抽出された背景領域のＮ個の撮影画像とデプス画像が用いられる。
　そして、各視点に対して、球８１を形成するポリゴンの裏面、および、背景領域３６１と背景領域３６２のポリゴンの表面が透視投影され、テクスチャ画像が生成される。
　その結果、図２４に示すように、視点Ｏ１のテクスチャ画像には、視点Ｏ１の画角２θに含まれる球８１の裏面の領域１５３Ａと背景領域３６１の表面のうちの領域１５３Ａにより遮蔽されない領域３６１Ａとが描画される。また、視点Ｏ２のテクスチャ画像には、視点Ｏ２の画角２θに含まれる球８１の裏面の領域１５３Ｂと背景領域３６２の表面のうちの領域１５３Ｂにより遮蔽されない領域３６２Ａが描画される。
　以上のようにしてテクスチャ画像が生成される場合、表示装置２００は、主要な被写体のポリゴンの裏面のみがテクスチャ画像に透視投影される場合に比べて、表示画像の背景領域を高精度で生成することができる。また、表示装置２００は、視点Ｏ１と視点Ｏ２の両方の画角２θ内に存在する３次元構造のみを描画することにより、表示画像から背景領域を削除することもできる。なお、この場合、生成装置１２（３００）は、全天球テクスチャストリームと全天球デプスストリームを生成しなくてもよい。
　＜テクスチャ画像の他の例＞
　図２５は、テクスチャ画像の他の例を示す図である。
　上述した説明では、テクスチャ画像は、１つの視点のテクスチャ画像であったが、その視点に対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
　具体的には、図２５のＡに示すように、テクスチャ画像は、例えば、１つの視点に対応する左目用の視点のテクスチャ画像４２１と右目用の視点のテクスチャ画像４２２が、横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。
　また、図２５のＢに示すように、テクスチャ画像は、例えば、テクスチャ画像４２１とテクスチャ画像４２２が、縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。
　以上のように、テクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、目ごとに３次元構造が生成される。
　そして、視聴者等により指定された視点に対応する左目の視点、視線方向、および画角に基づいて、左目用の３次元構造から左目用の表示画像が生成される。また、視聴者等により指定された視点に対応する右目の視点、視線方向、および画角に基づいて、右目用の３次元構造から右目用の表示画像が生成される。
　表示部２０６が３Ｄ表示可能である場合、表示部２０６は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。一方、表示部２０６が３Ｄ表示可能ではない場合、表示部２０６は、左目用の表示画像または右目用の表示画像を２Ｄ表示する。
　なお、第１および第２実施の形態では、視点の数は２個であったが、視点の数は２個に限定されない。また、２視点は互いに対向していなくてもよい。視線方向は、視点から原点以外の位置に向かう方向であってもよい。
　また、生成装置１２（３００）は、表示装置２００から要求されたときのみ記憶部３９（３０３）に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、表示装置２００に送信するようにしてもよい。テーブルの送信についても同様である。
　さらに、第１実施の形態においても、第２実施の形態と同様に、生成装置１２が、予め決められた２視点の視点情報を含むテーブルを生成し、表示装置２００に送信するようにしてもよい。
　＜第３実施の形態＞
　本開示を適用した配信システムの第３実施の形態の構成は、透視投影の代わりにtan軸投影（詳細は後述する）が行われる点を除いて、上記した例えば、図１の生成装置１２の構成や、図１２に示した表示装置２００と同一である。従って、以下では、tan軸投影についてのみ説明する。
　（投影面の座標系の説明）
　図２６は、投影面の座標系を説明する図である。
　なお、第３実施の形態では、投影面は、生成装置１２が、高解像度画像を生成する際、球にマッピングされた全天球画像をtan軸投影する２次元平面、または、表示装置２００が、表示画像を生成する際、３Dモデル画像をtan軸投影する視野範囲である。
　図２６の例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面４５１が設定されている。この場合、投影面４５１の中心Ｏ´を原点とし、投影面４５１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面４５１の座標系となる。
　なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル４５２を、座標(s,t)と、原点Ｏから投影面４５１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。
　（tan軸投影の説明）
　図２７は、tan軸投影（正接軸投影）を説明する図である。
　図２７は、投影面４５１をｚの負方向に見た図である。図２７の例では、st座標系において、投影面４５１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。
　この場合、透視投影では、原点Ｏから投影面４５１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面４５１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面４５１上で均一である。
　これに対して、投影面４５１の画角をθｗ（図２７の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面４５１上に投影点が設定される。
　具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面４５１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。
　なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。
　＜第４実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１乃至図２７を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１乃至図２７を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００を適用することができる。この場合、例えば、生成装置１２（３００）および表示装置２００は一体化され、マイクロコンピュータ７６１０、記憶部７６９０、および表示部７７２０に相当する。また、撮影装置１１は、撮像部７４１０に相当する。この場合、例えば、車両制御システム７０００は、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。
　また、図１乃至図２７を用いて説明した生成装置１２（３００）および表示装置２００の少なくとも一部の構成要素は、図２９に示した車両制御システム７０００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２７を用いて説明した生成装置１２（３００）および表示装置２００は、図２９に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部
　を備える画像処理装置。
　（２）
　前記画像生成部は、前記２視点の位置を示す視点情報に基づいて、前記所定の視点のテクスチャ画像を生成する
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
　ように構成された
　前記（１）または（２）に記載の画像処理装置。
　（４）
　前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
　ように構成された
　前記（３）に記載の画像処理装置。
　（５）
　画像処理装置が、
　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップ
　を含む画像処理方法。
　（６）
　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部
　を備える画像処理装置。
　（７）
　前記２視点の位置を示す視点情報を生成する視点情報生成部
　をさらに備える
　前記（６）に記載の画像処理装置。
　（８）
　前記視点情報生成部は、複数の前記視点情報を生成し、
　前記画像生成部は、前記視点情報生成部により生成された前記視点情報ごとに、前記２視点のテクスチャ画像を生成し、前記複数の視点情報のうちの、前記２視点のテクスチャ画像を生成する際に投影される前記ポリゴンの裏面の領域が最も大きい視点情報に対応する前記２視点のテクスチャ画像を最終的な前記２視点のテクスチャ画像とし、最終的な前記２視点のテクスチャ画像それぞれに対応するデプス画像を生成する
　ように構成された
　前記（７）に記載の画像処理装置。
　（９）
　前記２視点は、所定の２視点を結ぶ前記ポリゴンの中心を通る直線を、前記ポリゴンの中心を軸として少なくとも一方向に所定量ずつ回転させることにより決定される
　ように構成された
　前記（８）に記載の画像処理装置。
　（１０）
　前記視点情報生成部は、前記最終的な２視点のテクスチャ画像それぞれに対応する視点情報を出力する
　ように構成された
　前記（８）に記載の画像処理装置。
　（１１）
　前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
　をさらに備える
　前記（６）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）
　前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
　をさらに備える
　前記（１１）に記載の画像処理装置。
　（１３）
　画像処理装置が、
　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成ステップ
　を含む画像処理方法。
　１１－１乃至１１－Ｎ　撮影装置,　１２　生成装置,　３４　ポリゴン生成部,　３５　描画部,　６１　被写体,　８１　球,　２００　表示装置,　２０５　描画部,　３００　生成装置,　３０１　視点制御部,　３０２　描画部,　３４１　直線

Claims (13)

  1. 　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部
    　を備える画像処理装置。
  2. 　前記画像生成部は、前記２視点の位置を示す視点情報に基づいて、前記所定の視点のテクスチャ画像を生成する
    　ように構成された
    　請求項１に記載の画像処理装置。
  3. 　前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
    　ように構成された
    　請求項１に記載の画像処理装置。
  4. 　前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
    　ように構成された
    　請求項３に記載の画像処理装置。
  5. 　画像処理装置が、
    　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップ
    　を含む画像処理方法。
  6. 　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部
    　を備える画像処理装置。
  7. 　前記２視点の位置を示す視点情報を生成する視点情報生成部
    　をさらに備える
    　請求項６に記載の画像処理装置。
  8. 　前記視点情報生成部は、複数の前記視点情報を生成し、
    　前記画像生成部は、前記視点情報生成部により生成された前記視点情報ごとに、前記２視点のテクスチャ画像を生成し、前記複数の視点情報のうちの、前記２視点のテクスチャ画像を生成する際に投影される前記ポリゴンの裏面の領域が最も大きい視点情報に対応する前記２視点のテクスチャ画像を最終的な前記２視点のテクスチャ画像とし、最終的な前記２視点のテクスチャ画像それぞれに対応するデプス画像を生成する
    　ように構成された
    　請求項７に記載の画像処理装置。
  9. 　前記２視点は、所定の２視点を結ぶ前記ポリゴンの中心を通る直線を、前記ポリゴンの中心を軸として少なくとも一方向に所定量ずつ回転させることにより決定される
    　ように構成された
    　請求項８に記載の画像処理装置。
  10. 　前記視点情報生成部は、前記最終的な２視点のテクスチャ画像それぞれに対応する視点情報を出力する
    　ように構成された
    　請求項８に記載の画像処理装置。
  11. 　前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
    　をさらに備える
    　請求項６に記載の画像処理装置。
  12. 　前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
    　をさらに備える
    　請求項１１に記載の画像処理装置。
  13. 　画像処理装置が、
    　ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成ステップ
    　を含む画像処理方法。
PCT/JP2017/027264 2016-08-10 2017-07-27 画像処理装置および画像処理方法 WO2018030169A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/319,417 US10950029B2 (en) 2016-08-10 2017-07-27 Image processing apparatus and image processing method
CN201780048137.6A CN109564698B (zh) 2016-08-10 2017-07-27 图像处理设备和图像处理方法
JP2018532931A JP6743894B2 (ja) 2016-08-10 2017-07-27 画像処理装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-157198 2016-08-10
JP2016157198 2016-08-10

Publications (1)

Publication Number Publication Date
WO2018030169A1 true WO2018030169A1 (ja) 2018-02-15

Family

ID=61162069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027264 WO2018030169A1 (ja) 2016-08-10 2017-07-27 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10950029B2 (ja)
JP (1) JP6743894B2 (ja)
CN (1) CN109564698B (ja)
WO (1) WO2018030169A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109588055A (zh) * 2016-07-29 2019-04-05 索尼公司 图像处理设备和图像处理方法
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111325662A (zh) * 2020-02-21 2020-06-23 广州引力波信息科技有限公司 一种基于球面投影全景图生成3d空间户型模型的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156955A (ja) * 2012-01-31 2013-08-15 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013225740A (ja) * 2012-04-20 2013-10-31 Nlt Technologies Ltd 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
JP3723301B2 (ja) * 1996-11-21 2005-12-07 任天堂株式会社 画像作成装置，画像表示装置およびゲーム装置
JPH10198822A (ja) * 1997-01-10 1998-07-31 Sharp Corp 画像合成装置
JP4082021B2 (ja) * 2001-11-29 2008-04-30 コニカミノルタホールディングス株式会社 テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置
JP4032977B2 (ja) * 2003-01-17 2008-01-16 株式会社三洋物産 遊技機
JP2010086264A (ja) * 2008-09-30 2010-04-15 Sega Corp 画像処理装置および画像処理プログラム
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
JP5895703B2 (ja) * 2012-05-22 2016-03-30 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156955A (ja) * 2012-01-31 2013-08-15 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013225740A (ja) * 2012-04-20 2013-10-31 Nlt Technologies Ltd 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム

Also Published As

Publication number Publication date
US20190279415A1 (en) 2019-09-12
US10950029B2 (en) 2021-03-16
JPWO2018030169A1 (ja) 2019-06-27
CN109564698B (zh) 2023-05-26
JP6743894B2 (ja) 2020-08-19
CN109564698A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6977720B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
US10887571B2 (en) Image processing apparatus and image processing method
JP6944136B2 (ja) 画像処理装置および画像処理方法
WO2018147123A1 (ja) 画像処理装置および画像処理方法
WO2018074252A1 (ja) 画像処理装置および画像処理方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
US20200137417A1 (en) Generation device and generation method, and reproduction device and reproduction method
US10943373B2 (en) Image processing apparatus and image processing method
WO2018021066A1 (ja) 画像処理装置および画像処理方法
WO2018021065A1 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839242

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018532931

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17839242

Country of ref document: EP

Kind code of ref document: A1