WO2018025660A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2018025660A1
WO2018025660A1 PCT/JP2017/026411 JP2017026411W WO2018025660A1 WO 2018025660 A1 WO2018025660 A1 WO 2018025660A1 JP 2017026411 W JP2017026411 W JP 2017026411W WO 2018025660 A1 WO2018025660 A1 WO 2018025660A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
layer
unit
viewpoint
stream
Prior art date
Application number
PCT/JP2017/026411
Other languages
English (en)
French (fr)
Inventor
徹也 福安
権大 古川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018531834A priority Critical patent/JP7127539B2/ja
Priority to US16/319,909 priority patent/US11006135B2/en
Publication of WO2018025660A1 publication Critical patent/WO2018025660A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of suppressing a reduction in image quality of an image in a viewer's visual field range.
  • An omnidirectional image obtained by mapping an image of 360 degrees in the horizontal direction and 180 degrees in the vertical direction to a 2D image (planar image) is generated from the omnidirectional image captured by the multi-camera, encoded and recorded.
  • a recording device see, for example, Patent Document 1.
  • a method of mapping from a 3D image to a 2D image is used as a method of generating an omnidirectional image.
  • the equirectangular projection is used as a method of generating the omnidirectional image
  • the omnidirectional image is an image obtained by mapping the captured image onto the surface of the sphere by the equirectangular projection of the sphere.
  • cube mapping is used as a method for generating an omnidirectional image
  • the omnidirectional image is an image of a developed view of a cube when a captured image is mapped onto a cube (cube) surface.
  • a playback device that decodes the encoded stream of the omnidirectional image recorded by the recording device and displays an image in the viewer's visual field range using the omnidirectional image obtained as a result.
  • Such a playback device pastes an omnidirectional image as a texture on the surface of a 3D model such as a sphere or a cube, and the surface of the 3D model in the direction of the viewer's line-of-sight vector from one point inside the 3D model.
  • the image of the visual field range of the viewer when viewing the texture is displayed. This reproduces the captured image in the viewer's visual field range.
  • This reproduction method is called an ambient light model in the field of CG (Computer Graphics). Also, the ambient light model that pastes the image generated by equirectangular projection on the surface of the sphere is called Sphere Model, and the ambient light model that pastes the image generated by cube mapping on the surface of the cube is called Cube Model .
  • the captured image in the viewer's visual field range can be reproduced using only the region corresponding to the viewer's line-of-sight vector in the omnidirectional image. For example, when the viewing angle in the horizontal direction is 90 degrees, in the horizontal direction, only one-fourth of the omnidirectional images to which images in all directions of 360 degrees around the horizontal direction are mapped are viewers. It is not used to reproduce a captured image in the field of view. The same applies to the vertical direction.
  • the recording apparatus cannot encode only the region corresponding to the line-of-sight vector in the omnidirectional image.
  • the omnidirectional image is encoded by a general encoding method such as MPEG2 (Moving Picture Experts Group Phase 2) or AVC (Advanced Video Coding) /H.264, the entire screen information is used. Encoding is performed. Therefore, it is difficult to decode only the encoded stream in the region corresponding to the viewer's line-of-sight vector from the encoded stream in which the omnidirectional image is encoded as one image.
  • MPEG2 Motion Picture Experts Group Phase 2
  • AVC Advanced Video Coding
  • the recording device divides and encodes the omnidirectional image, and the playback device only decodes the encoded stream of the divided region corresponding to the viewer's line-of-sight vector, thereby reducing the load of decoding processing.
  • Patent Document 2 and Patent Document 3 For example, Patent Document 2 and Patent Document 3).
  • JP 2006-14174 A Japanese Patent Laid-Open No. 2001-298652 JP 2002-31778 A
  • the load of the decoding process eventually increases.
  • the decoding process is delayed, and all or part of the image in the viewer's field of view is hidden, frozen, or delayed, and the image quality deteriorates. There is a risk.
  • the present disclosure has been made in view of such a situation, and is intended to suppress a deterioration in image quality of an image in a viewer's visual field range.
  • the image processing apparatus includes a plurality of codes obtained by encoding a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces, or a plurality of viewpoint images from different viewpoints.
  • An image processing unit that performs decoding of the encoded stream and generation or selection of an image used for generation of a display image based on the priority between the encoded streams, and the display based on the generated or selected image
  • An image processing apparatus includes a drawing unit that generates an image.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • An image processing device includes: an image acquisition unit that acquires a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces; or a plurality of viewpoint images from different viewpoints;
  • An image processing apparatus comprising: a transmission unit configured to transmit a part or all of the plurality of projection images or the plurality of viewpoint images based on a priority between the plurality of projection images or between the plurality of viewpoint images.
  • the image processing method according to the second aspect of the present disclosure corresponds to the image processing apparatus according to the second aspect of the present disclosure.
  • a plurality of projected images obtained by projecting an omnidirectional image onto a plurality of surfaces, or a plurality of encoded streams obtained by encoding a plurality of viewpoint images from different viewpoints The encoded stream is decoded and an image used for generation of a display image is generated or selected based on the priority of the image, and the display image is generated based on the generated or selected image.
  • a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces or a plurality of viewpoint images from different viewpoints are acquired, and the plurality of projection images are obtained.
  • a part or all of the plurality of projection images or the plurality of viewpoint images is transmitted based on the priority between the plurality of viewpoint images.
  • the image processing apparatus can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium. Can be provided.
  • an image can be generated. Moreover, according to the 1st side surface of this indication, the fall of the image quality of the image of a viewer's visual field range can be suppressed.
  • an image can be transmitted. Further, according to the second aspect of the present disclosure, it is possible to suppress a decrease in image quality of an image in the viewer's visual field range.
  • connection information It is a figure explaining the example of connection information. It is a figure explaining the other example of connection information. It is a figure explaining the example of a sampling point. It is a figure explaining the other example of a sampling point. It is a figure explaining an occlusion process. It is a flowchart explaining 1st Embodiment of reproduction
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image display system to which the present disclosure is applied.
  • the image display system 10 generates an omnidirectional image from a captured image that is a YCbCr image (YUV image) captured by the multi-camera 11 and displays an image in the visual field range of the viewer in the omnidirectional image.
  • a captured image that is a YCbCr image (YUV image) captured by the multi-camera 11 and displays an image in the visual field range of the viewer in the omnidirectional image.
  • YCbCr image YUV image
  • the multi-camera 11 of the image display system 10 has a plurality of (six in the example of FIG. 1) arranged outward with a horizontal circumference of 360 degrees and a vertical circumference of 180 degrees as shooting ranges. Consists of a camera. Each camera captures images and generates captured images in units of frames. The multi-camera 11 supplies the captured image of each camera to the content server 12.
  • the content server 12 generates a texture image and a depth image of the omnidirectional image of a predetermined viewpoint from the captured images of each camera supplied from the multi-camera 11.
  • the depth image is an image having a pixel value of the reciprocal 1 / r of the distance r as an 8-bit value indicating the distance r of a straight line from a predetermined viewpoint to the subject at each pixel.
  • the content server 12 lowers the resolution of the texture image and depth image of the omnidirectional image, and generates a low resolution texture image and a low resolution depth image.
  • the content server 12 compresses and encodes the low-resolution texture image and the low-resolution depth image by an encoding method such as AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding) /H.265.
  • the content server 12 stores an encoded stream of a low resolution texture image (hereinafter referred to as a low resolution texture stream) and an encoded stream of a low resolution depth image (hereinafter referred to as a low resolution depth stream) obtained as a result.
  • low resolution texture stream when it is not necessary to individually distinguish the low resolution texture stream and the low resolution depth stream, they are referred to as a low resolution encoded stream.
  • the content server 12 generates texture images and depth images corresponding to the six surfaces constituting the cube centering on the viewpoint in the omnidirectional image using the captured images of the respective cameras. Specifically, the content server 12 generates texture images and depth images of the first and second layers of six surfaces. Note that the viewpoint in the omnidirectional image and the center of the cube may be different.
  • the content server 12 converts the first layer image including the first layer texture image and the depth image on each surface, and the second layer image including the second layer texture image and the depth image on each surface into the surface and image type. For each layer, compression encoding is performed using an encoding method such as AVC or HEVC.
  • the content server 12 obtains an encoded stream of a first layer texture image (hereinafter referred to as a first layer texture stream), an encoded stream of a depth image of a first layer (hereinafter referred to as a first layer depth) obtained as a result.
  • a second layer texture image encoded stream hereinafter referred to as a second layer texture stream
  • a second layer depth image encoded stream hereinafter referred to as a second layer depth stream
  • the encoding method of the first layer image and the second layer image may be an MVC (Multiview Video Coding) method, a 3D-HEVC method, or the like.
  • first layer texture stream when it is not necessary to individually distinguish the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream, they are referred to as a high resolution encoded stream.
  • the content server 12 generates and stores information on each surface of the first layer and the second layer as metadata.
  • the content server 12 stores the low-resolution texture stream and the low-resolution depth stream, the six-layer first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and the meta Data is transmitted to the home server 13 via a network (not shown).
  • the content server 12 can also reconfigure the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream of the six surfaces (details will be described later).
  • the content server 12 transmits the reconstructed first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream and corresponding metadata to the home server 13.
  • the layer depth stream is transmitted to the content server 12.
  • the home server 13 (image processing apparatus) transmits the low resolution texture stream and the low resolution depth stream, the six-layer first layer texture stream, the first layer depth stream, and the second layer texture stream transmitted from the content server 12. , And the second layer depth stream and metadata.
  • the home server 13 has a built-in camera 13A and photographs the marker 15A attached to the head mounted display 15 attached to the viewer's head. Then, the home server 13 detects the viewing position based on the captured image of the marker 15A. Further, the home server 13 receives the detection result of the gyro sensor 15 ⁇ / b> B of the head mounted display 15 from the head mounted display 15 via the conversion device 14. The home server 13 determines the viewing direction of the viewer based on the detection result of the gyro sensor 15B, and determines the viewing range of the viewer based on the viewing position and the viewing direction.
  • the home server 13 selects three surfaces corresponding to the viewing direction of the viewer among the six surfaces of the first layer. Then, the home server 13 decodes the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to the three selected faces. Thereby, the home server 13 generates texture images and depth images of the first layer and the second layer corresponding to the selected three surfaces.
  • the home server 13 decodes the low resolution texture stream and the low resolution depth stream, and generates a low resolution texture image and a low resolution depth image.
  • the home server 13 uses the first layer and second layer texture images and depth images corresponding to the three selected faces, and the image of the viewer's visual field range using the low resolution texture image and the low resolution depth image. Is generated as a display image.
  • the home server 13 transmits the display image to the conversion device 14 via an HDMI (registered trademark) (High-Definition Multimedia Interface) cable (not shown).
  • the conversion device 14 converts coordinates in the display image transmitted from the home server 13 into coordinates in the head mounted display 15.
  • the conversion device 14 supplies the display image after the coordinate conversion to the head mounted display 15.
  • the head mounted display 15 has a marker 15A and a gyro sensor 15B, and is mounted on the viewer's head.
  • the head mounted display 15 displays a display image supplied from the conversion device 14.
  • the gyro sensor 15B built in the head mounted display 15 detects the tilt of the head mounted display 15 and transmits the detection result to the home server 13 via the conversion device 14.
  • FIG. 2 is a block diagram illustrating a configuration example of the content server 12 of FIG.
  • the 2 includes a depth detection unit 31, a low resolution image processing unit 33, and a high resolution image processing unit 34.
  • the depth detection unit 31 of the content server 12 has, for each pixel of the captured image of each camera supplied from the multi-camera 11 of FIG. 1, a depth direction between the depth plane perpendicular to the depth direction including the subject in the pixel and the camera. Reciprocal 1 / z of distance z is detected.
  • the depth detection unit 31 supplies the low resolution image processing unit 33 and the high resolution image processing unit 34 with a z image whose pixel value is the inverse 1 / z of each pixel of the captured image of each camera obtained as a result.
  • the low-resolution image processing unit 33 uses a viewpoint of a predetermined three-dimensional position in the three-dimensional coordinate system (hereinafter referred to as a camera coordinate system) of the multi-camera 11 as a viewpoint, A texture image of the omnidirectional image is generated by mapping (perspective projection) to the regular octahedron as the center. Further, the low resolution image processing unit 33 generates a z image of the omnidirectional image by mapping the z image of each camera supplied from the depth detection unit 31 to a regular octahedron in the same manner as the captured image.
  • a viewpoint of a predetermined three-dimensional position in the three-dimensional coordinate system (hereinafter referred to as a camera coordinate system) of the multi-camera 11 as a viewpoint
  • a texture image of the omnidirectional image is generated by mapping (perspective projection) to the regular octahedron as the center.
  • the low resolution image processing unit 33 generates a z image of the omnidirectional image by mapping the z
  • the low resolution image processing unit 33 converts the reciprocal 1 / z of each pixel of the z image of the omnidirectional image into the reciprocal 1 / r. Then, the low resolution image processing unit 33 performs 8-bit quantization on the reciprocal 1 / r according to the following equation (1).
  • I d (r) is a value after 8-bit quantization of the reciprocal 1 / r of the distance r.
  • r max and r min are the maximum value and the minimum value of the distance r in the omnidirectional image, respectively.
  • the low-resolution image processing unit 33 generates a depth image of the omnidirectional image by using a value after 8-bit quantization of the inverse 1 / r of each pixel of the omnidirectional image as a pixel value.
  • the low resolution image processing unit 33 lowers the resolution of the texture image and depth image of the omnidirectional image, and generates a low resolution texture image and a low resolution depth image.
  • the low resolution image processing unit 33 compresses and encodes the low resolution texture image and the low resolution depth image, and stores the resulting low resolution texture stream and low resolution depth stream.
  • the low resolution image processing unit 33 transmits the stored low resolution texture stream and low resolution depth stream to the home server 13 of FIG.
  • the high-resolution image processing unit 34 uses the captured images of each camera supplied from the multi-camera 11 and corresponds to six planes that form a cube having the same center as the regular octahedron in the low-resolution image processing unit 33. A texture image of the first layer and the second layer is generated. The high-resolution image processing unit 34 uses the z image of each camera supplied from the depth detection unit 31 to generate the first layer and second layer depth images corresponding to the six surfaces in the same manner as the captured image.
  • the high-resolution image processing unit 34 compresses and encodes the texture image and depth image of the first layer and the second layer of each surface for each surface, image type, and layer.
  • the content server 12 stores the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream obtained as a result.
  • the high resolution image processing unit 34 generates and stores metadata.
  • the content server 12 stores the first-layer texture stream, the first-layer depth stream, the second-layer texture stream, the second-layer depth stream, and the metadata of the six planes stored therein via a network (not shown). Transmit to the home server 13.
  • FIG. 3 is a block diagram illustrating a configuration example of the high resolution image processing unit 34 of FIG.
  • a 3 includes a first layer generation unit 50, a quantization unit 51, an encoder 52, a second layer generation unit 53, a quantization unit 54, an encoder 55, a setting unit 56, and a metadata generation unit 57. , A storage 58, a reconstruction unit 59, and a transmission unit 60.
  • the first layer generating unit 50 receives from the setting unit 56 3 of the viewpoint of the first layer in the three-dimensional coordinate system (hereinafter referred to as 3D model coordinate system) with the viewpoint of the omnidirectional image in the camera coordinate system as the origin. Viewpoint position information indicating the origin is supplied as a dimension position. Further, the first layer generation unit 50 includes surfaces indicating the three-dimensional position and size in the 3D model coordinate system of each of the six surfaces including the six surfaces that form the cube centered on the origin in the 3D model coordinate system. Information is supplied.
  • the first layer generation unit 50 sets the origin indicated by the viewpoint position information as the first layer viewpoint (first viewpoint).
  • the first layer generation unit 50 indicates the captured image supplied from the multi-camera 11 of FIG. 1 from the viewpoint of the first layer, with the viewpoint of the omnidirectional image in the camera coordinate system as the origin, and the information on each of the six planes. Map to each of the 3D position and size surfaces. Thereby, the 1st layer production
  • the first layer generation unit 50 performs face recognition processing on the texture image of each surface of the first layer. Then, the first layer generation unit 50 generates face detection information indicating the presence or absence of a human face in the texture image of each surface of the first layer, and supplies the face detection information to the metadata generation unit 57.
  • the first layer generation unit 50 uses the viewpoint of the omnidirectional image in the camera coordinate system as the origin, and the z image supplied from the depth detection unit 31 of FIG. Mapping is performed on each of the three-dimensional positions and size surfaces indicated by the information. Thereby, the 1st layer production
  • the texture images of the six faces of the first layer are 6 spherical images mapped to the 3D model centered on the viewpoint of the first layer. It can be said that it is an image obtained by mapping on one surface.
  • the z image of the six surfaces of the first layer is an image obtained by mapping the z image of the omnidirectional image mapped to the 3D model centered on the viewpoint of the first layer on the six surfaces. You can say that.
  • the first layer generation unit 50 supplies the texture images of the six surfaces of the first layer to the encoder 52, and supplies the z images of the six surfaces of the first layer to the quantization unit 51.
  • the quantization unit 51 converts the reciprocal 1 / z of each pixel of the z image on each of the six surfaces of the first layer supplied from the first layer generation unit 50 into a reciprocal 1 / r. Then, the quantization unit 51 performs 8-bit quantization on the reciprocal 1 / r according to the above-described equation (1).
  • r max and r min in Expression (1) are the maximum value and the minimum value of the distance r in all six surfaces. By setting r max and r min to the maximum and minimum values of the distance r on all six surfaces, the quantization step changes for each surface compared to the case where the maximum and minimum values of the distance r of each surface are used. Can be prevented.
  • the quantizing unit 51 uses the value after 8-bit quantization of the inverse 1 / r of each pixel of the z-image of the six surfaces of the first layer as the pixel value, so that the depth image of the six surfaces of the first layer Is generated and supplied to the encoder 52.
  • the encoder 52 compresses and encodes the texture image and depth image of the six surfaces of the first layer for each surface and for each image type, and generates a first layer texture stream and a first layer depth stream.
  • the encoder 52 supplies the first layer texture stream and the first layer depth stream to the storage 58.
  • the second layer generation unit 53 receives viewpoint position information of a viewpoint (second viewpoint) different from the viewpoint of the first layer on each face of the second layer corresponding to each face of the first layer. And surface information of each surface of the second layer corresponding to each surface of the first layer. For each surface of the second layer, the second layer generation unit 53 sets the three-dimensional position indicated by the viewpoint position information corresponding to the surface as the viewpoint of the second layer.
  • the second layer generation unit 53 determines, for each surface of the second layer, an occlusion area at the viewpoint of the first layer among the captured images supplied from the multi-camera 11 from the viewpoint of the second layer corresponding to the surface. Map to the surface of the second layer. Thereby, the 2nd layer production
  • the second layer generation unit 53 performs face recognition processing on the texture image of each surface of the second layer. Then, the second layer generation unit 53 generates face detection information indicating the presence or absence of a human face in the texture image of each surface of the second layer, and supplies the face detection information to the metadata generation unit 57.
  • the second layer generation unit 53 performs, for each surface of the second layer, occlusion at the viewpoint of the first layer among the z images supplied from the depth detection unit 31 from the viewpoint of the second layer corresponding to the surface. Map the region to the surface of the second layer. Thereby, the 2nd layer production
  • the captured image since the positions of the cameras of the multi-camera 11 are different, when one 3D position in the camera coordinate system is taken as a viewpoint, the captured image includes an occlusion area at the viewpoint.
  • the texture image of the first layer is generated by mapping the omnidirectional image of one viewpoint, the captured image of the occlusion area at the viewpoint is not included in the texture image of the first layer. Therefore, the second layer generation unit 53 includes the captured image of the occlusion area as a texture image of the second layer. The same applies to the z image.
  • the second layer generation unit 53 supplies the texture images of the six surfaces of the second layer to the encoder 55, and supplies the z images of the six surfaces of the second layer to the quantization unit 54.
  • the quantization unit 54 converts the reciprocal 1 / z of each pixel of the z image on each of the six surfaces of the second layer supplied from the second layer generation unit 53 into the reciprocal 1 / r. Then, like the quantization unit 51, the quantization unit 54 performs 8-bit quantization on the reciprocal 1 / r according to the above-described equation (1).
  • the quantization unit 54 uses the value after 8-bit quantization of the reciprocal 1 / r of each pixel of the z image of the six surfaces of the second layer as the pixel value, so that the depth image of the six surfaces of the second layer Is generated and supplied to the encoder 55.
  • the encoder 55 compresses and encodes the texture image and depth image of the six surfaces of the second layer for each surface and for each image type, and generates a second layer texture stream and a second layer depth stream.
  • the encoder 55 supplies the second layer texture stream and the second layer depth stream to the storage 58.
  • the setting unit 56 sets the origin in the 3D model coordinate system as the viewpoint of the first layer.
  • the setting unit 56 sets six faces each including six rectangular faces that form a cube centered on the viewpoint of the first layer as the faces of the first layer.
  • the setting unit 56 sets the viewpoint of the second layer and the rectangular surface for each surface of the first layer.
  • the setting unit 56 supplies one viewpoint position information and six plane information of the first layer to the first layer generation unit 50 and the metadata generation unit 57.
  • the setting unit 56 supplies the second layer generation unit 53 and the metadata generation unit 57 with the six viewpoint information of the second layer and the six pieces of surface information corresponding to the six surfaces of the first layer.
  • the setting unit 56 sets a recommended viewing direction, which is a direction in which viewing is recommended to the viewer, as necessary.
  • the recommended viewing direction is set by, for example, a provider of omnidirectional images. For example, in the omnidirectional image obtained by photographing a concert pattern, the direction of the image on the stage side is set as the recommended viewing direction.
  • the setting unit 56 supplies recommended viewing direction information indicating the recommended viewing direction to the metadata generation unit 57.
  • the metadata generation unit 57 generates face metadata based on the face detection information supplied from the first layer generation unit 50 and the second layer generation unit 53.
  • the face metadata indicates a frame or a period in which a human face appears in the first layer texture stream and the second layer texture stream of each face.
  • the metadata generation unit 57 includes the first layer viewpoint position information and surface information supplied from the setting unit 56, a table including the second layer viewpoint position information and surface information, and the recommended viewing direction information supplied from the setting unit 56.
  • metadata including face metadata is generated and supplied to the storage 58.
  • the storage 58 stores the first layer texture stream and the first layer depth stream supplied from the encoder 52, and the second layer texture stream and the second layer depth stream supplied from the encoder 55. Further, the storage 58 stores metadata supplied from the metadata generation unit 57.
  • the storage 58 also stores the reconstructed first layer texture stream, first layer depth stream, second layer texture stream, second layer depth stream, and metadata supplied from the reconstruction unit 59. .
  • the reconstruction unit 59 reads the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream of the six surfaces stored in the storage 58 as necessary, Constitute.
  • the reconstruction unit 59 uses the first layer texture stream before reconstruction to change the number of angles and the angle of view corresponding to the first layer texture stream, and the first layer depth stream before reconstruction. Is used to change the number of planes and the angle of view corresponding to the first layer depth stream. For example, the reconstruction unit 59 changes the surface of the first layer from six surfaces each including six surfaces constituting the cube, and each of the twelve cubes whose normals pass through the centers of the surfaces to the six surfaces. It is changed to 18 planes including 12 planes that are lines passing through the midpoint of the side and the viewpoint.
  • the reconstruction unit 59 uses the first layer texture stream before reconstruction to change the spacing (density) between faces corresponding to the first layer texture stream, and uses the first layer depth stream before reconstruction.
  • the interval between the planes corresponding to the first layer depth stream is changed.
  • the reconstruction unit 59 determines that the first layer surface has a normal interval that passes through the center from six surfaces that each include six surfaces that form a cube, and the normal interval that passes through the center is 90 degrees. Change to 18 faces with 45 degrees.
  • a display image can be generated using the depth image. As a result, a high-resolution area generated using the texture image and depth image of the first layer or the second layer in the display image increases, and the image quality of the display image is improved.
  • the reconstruction unit 59 changes the position of the surface corresponding to the first layer texture stream using the first layer texture stream before reconstruction, and uses the first layer depth stream before reconstruction for the first layer.
  • Reconfiguration may be performed by changing the position of the surface corresponding to the depth stream.
  • the reconstruction unit 59 is configured so that the main subject is present at a position other than the boundary of the first layer surface (for example, the center). Then, reconstruction is performed by rotating a cube corresponding to the six surfaces of the first layer.
  • the reconstruction unit 59 changes the slope of the surface corresponding to the first layer texture stream using the first layer texture stream before reconstruction, and uses the first layer depth stream before reconstruction for the first layer.
  • the reconstruction may be performed by changing the inclination of the surface corresponding to the depth stream. In this case, for example, when the main subject in the texture image of the first layer is tilted, the reconstruction unit 59 rotates the cube corresponding to the six surfaces of the first layer so that the tilt disappears. Reconfigure.
  • the reconstruction unit 59 sets the viewpoint and surface of the second layer after reconstruction for each surface of the first layer changed as described above. Then, the reconstruction unit 59 uses the second layer texture stream before reconstruction to change the viewpoint and surface corresponding to the second layer texture stream to the set second layer viewpoint and surface after reconstruction. To do. Also, the reconstruction unit 59 uses the second layer depth stream before reconstruction to change the viewpoint and plane corresponding to the second layer depth stream to the set second layer viewpoint and plane after reconstruction. To do.
  • the reconstruction unit 59 supplies the reconstructed first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream to the storage 58. Also, the reconstruction unit 59 stores a table including the first layer viewpoint position information and surface information, the second layer viewpoint position information and surface information, the recommended viewing direction information, and the face metadata after the reconstruction. And supplied to the storage 58.
  • the transmission unit 60 reads the six layers of the first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and the metadata from the storage 58, and sends them to the home server 13 in FIG. Send.
  • the high resolution image processing unit 34 in FIG. 3 generates the first layer image and the second layer image by perspective projection. Therefore, the home server 13 can perform normal image processing on the first layer image and the second layer image.
  • the high-resolution image processing unit 34 transmits the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream by a transmission method of a normal image encoded stream. Can do.
  • FIG. 4 is a diagram for explaining the distance z and the distance r.
  • FIG. 4 is a view of a predetermined surface of the cube corresponding to the first layer as viewed from above.
  • the distance z is the distance in the depth direction from the viewpoint to the depth plane perpendicular to the depth direction including the subject in each pixel.
  • the depth direction of each surface of the first layer is a direction perpendicular to each surface of the first layer. Therefore, each surface of the first layer is parallel to the depth plane. Therefore, the shape of the equidistant z plane, which is a depth plane having the same distance z on each plane of the first layer, is a cube centered on the viewpoint O of the first layer. Therefore, the shape of the equidistant z plane viewed from above the predetermined plane of the cube corresponding to the first layer is a square as shown by the dotted line A in FIG.
  • the distance r is a straight line distance from the viewpoint to the subject at each pixel.
  • the direction of the straight line from the viewpoint O to the subject on each surface of the first layer is the radial direction of the circle centered on the viewpoint O regardless of the surface. Therefore, the shape of the equidistant r surface having the same distance r on each surface of the first layer is a sphere centered on the viewpoint O of the first layer. Therefore, the shape of the equidistant r-plane viewed from above the predetermined plane of the cube corresponding to the first layer is circular as shown by the dotted line B in FIG.
  • three of the normal vectors of the six surfaces passing through the center of the six surfaces constituting the viewpoint O of the first layer and the cube 80 corresponding to the first layer are orthogonal to each other.
  • the positive directions of the X, Y, and Z axes in the model coordinate system are the positive directions, and the three opposite directions are the negative directions of the X, Y, and Z axes in the 3D model coordinate system.
  • FIG. 5 is a diagram illustrating a change in the X axis of the 3D model coordinate system
  • FIG. 6 is a diagram illustrating a change in the minimum value z min and the minimum value r min associated with a change in the X axis of the 3D model coordinate system. .
  • the maximum value z max on the surface 81 before rotation is infinite, so the maximum value z max on the surface 81 after rotation is also infinite.
  • the maximum value z max in the surface 81 changes before and after the rotation.
  • the minimum value z min and the maximum value z max change for the other surfaces of the first layer.
  • the minimum value z min and the maximum value z max on all the surfaces of the first layer also change when the angle of view, number, or interval of the surfaces of the first layer is changed.
  • the minimum value z min and the maximum value on each surface are obtained during reconstruction by the reconstruction unit 59. recalculating the value z max, it is necessary to re-determine the minimum z min and a maximum value z max in all aspects. As a result, it is necessary to redo the 8-bit quantization of the depth image.
  • the direction of the straight line from the viewpoint O to the subject is the same regardless of the position of the surface of the first layer. Therefore, even when the cube 80 is rotated 45 degrees on the XZ plane about the Y axis as shown in FIG. 5, the minimum value r min and the maximum value r max are the same.
  • the minimum value r min on all the surfaces of the first layer is the minimum value of the straight line distance from the viewpoint O to the sphere 76.
  • the maximum value r max on all the surfaces of the first layer does not change before and after the rotation for the same reason as in the case of the minimum value r min .
  • the direction of the straight line from the viewpoint O to the subject does not change even when the angle of view, the number, or the interval of the surface of the first layer is changed, so the minimum value r min and the maximum value r max does not change.
  • the quantized value of the reciprocal 1 / r, not the reciprocal 1 / z, is used as the y value of each pixel of the first layer depth image, so that the 8-bit of the depth image is reconstructed by the reconstruction unit 59. Processing to redo quantization can be reduced.
  • the low resolution texture stream and the low resolution depth stream are not reconstructed, but may be reconstructed. Also in this case, since the y value of each pixel of the low resolution depth image is a quantized value of the reciprocal 1 / r, similarly to the reconstruction of the depth image of the first layer, 8 of the low resolution depth image is obtained at the time of reconstruction. Processing to redo bit quantization can be reduced.
  • the reconstruction of the low resolution texture stream and the low resolution depth stream may be performed by changing the mapping method of the low resolution texture stream and the low resolution depth stream. Also in this case, by changing the y value of each pixel of the depth image to the quantization value of the inverse 1 / r, it is possible to reduce the process of performing the 8-bit quantization of the low resolution depth image again at the time of reconstruction.
  • FIG. 7 is a diagram illustrating an example of the position of each pixel on the sphere when the depth images of the six surfaces of the first layer are mapped to the sphere.
  • the positions of the pixels on the sphere when the depth images of the six surfaces of the first layer are mapped to the sphere are represented by dots.
  • the interval between the positions of the pixels of the depth image of each surface of the first layer on the depth image is an equal interval.
  • the intervals between the positions of the pixels on the sphere when the depth images of the six surfaces of the first layer are mapped onto the sphere are not equal. That is, the density of the position of each pixel on the sphere when the depth images of the six surfaces of the first layer are mapped onto the sphere is not constant.
  • FIG. 8 is a diagram illustrating an example of the surface of the first layer.
  • FIG. 8A is a perspective view of the first-layer cube 80
  • FIG. 8B is a view of the first-layer cube 80 as viewed in the negative direction of the Y-axis.
  • one surface 91 of the first layer is a surface including the + Y surface 83 among the six surfaces 81 to 86 constituting the cube 80 with the viewpoint O as the center. More specifically, the surface 91 is set at the same position as the + Y surface 83, and the angle of view in the horizontal direction and the vertical direction is larger than 90 degrees that is the angle of view of the + Y surface 83 and smaller than 180 degrees. .
  • the texture image of the surface 91 is not only the texture image mapped to the + Y surface 83, but also the + X surface 81, ⁇ X surface 82, + Z surface 85 adjacent to the + Y surface 83, And a portion of the texture image mapped to the ⁇ Z plane 86.
  • the depth image of the surface 91 is the same as the texture image.
  • FIG. 8 only one surface 91 of the first layer is shown, but the other five surfaces, like the surface 91, are the + X surface 81, the ⁇ X surface 82, the ⁇ Y surface 84, the + Z surface 85, respectively.
  • the plane is set at the same position as the ⁇ Z plane 86, and the angle of view in the horizontal and vertical directions is larger than 90 degrees and smaller than 180 degrees.
  • each of the six surfaces of the first layer is configured to include each of the six surfaces 81 to 86 constituting the cube.
  • a spherical image is mapped. Therefore, if the home server 13 uses at most three of the six surfaces of the first layer, the home server 13 can arbitrarily set 360 ° in the horizontal direction and 180 ° in the vertical direction with the viewpoint O as the viewing position. A display image in the direction can be generated.
  • FIG. 9 is a diagram illustrating a configuration example of the first layer viewpoint position information and surface information table of the metadata generated by the metadata generation unit 57 of FIG. 3.
  • information indicating the three-dimensional position of the surface in the 3D model coordinate system is an azimuth angle, an elevation angle, a rotation angle, and a line-of-sight vector.
  • Vertical angle of view is an azimuth angle, an elevation angle, a rotation angle, and a line-of-sight vector.
  • the azimuth is an angle in the XZ plane direction formed by the line connecting the viewpoint and the center of each surface and the Z axis
  • the elevation angle is an angle formed by the line connecting the viewpoint and the center of each surface and the XZ plane.
  • the azimuth angle is clockwise in the positive direction
  • the elevation angle is counterclockwise in the positive direction.
  • a line obtained by horizontally rotating the Z-axis direction line extending from the viewpoint on the XZ plane by the azimuth angle and then vertically rotating it by the elevation angle in the Y-axis direction is a normal passing through the center of the surface.
  • the rotation angle is an angle in the rotation direction of each surface when a line connecting the viewpoint and the center of each surface is used as an axis.
  • the rotation angle is clockwise in the positive direction.
  • the line-of-sight vector is a vector having a length of 1 from the viewpoint to the center of each surface, that is, a normal vector passing through the center of each surface.
  • the horizontal angle of view is the angle formed by the line connecting the two horizontal ends of each surface and the viewpoint, and the vertical angle of view is the angle between the two vertical ends of each surface and the viewpoint. This is the angle between the lines.
  • the file name of the file storing the first layer texture stream and the first layer depth stream of each surface in the storage 58 of FIG. The common part of is registered.
  • the first layer texture stream file of each surface including the + Z surface 85, ⁇ Z surface 86, + X surface 81, ⁇ X surface 82, + Y surface 83, and ⁇ Y surface 84, respectively.
  • the names are posZ_texture, negZ_texture, posX_texture, negX_texture, posY_texture, negY_texture.
  • the file names of the first layer depth streams of the surfaces including the + Z surface 85, the ⁇ Z surface 86, the + X surface 81, the ⁇ X surface 82, the + Y surface 83, and the ⁇ Y surface 84 are respectively posZ_depth, negZ_depth, posX_depth, negX_depth, posY_depth, negY_depth. Accordingly, posZ, negZ, posX, negX, posY, negY are registered in the table of FIG. 9 as common parts of the file names of the first layer.
  • the surface information corresponding to the common part of the file name, the viewpoint position information, the texture image, and the depth image are associated with the common part of the file name.
  • the number of horizontal pixels and the number of vertical pixels are registered.
  • a line connecting the center of each surface of the first layer including the + Z surface 85, the ⁇ Z surface 86, the + X surface 81, the ⁇ X surface 82, the + Y surface 83, and the ⁇ Y surface 84 and the viewpoint O The angles in the XZ plane direction with the Z axis are 0 degree, ⁇ 180 degrees, 90 degrees, ⁇ 90 degrees, 0 degrees, and 0 degrees, respectively, and the angles with the XZ plane are 0 degrees and 0 degrees, respectively. Degrees, 0 degrees, 0 degrees, 90 degrees, and -90 degrees.
  • the common parts “posZ”, “negZ”, “posX”, “negX”, “posY”, “negY” of the file names are associated with the azimuth angles “0 degrees”, “ ⁇ 180 degrees”, “90 degrees”, “ ⁇ 90 degrees”, “0 degrees”, “0 degrees” are registered, and elevation angles “0 degrees”, “0 degrees”, “0 degrees”, “0 degrees”, “90 degrees” ”And“ ⁇ 90 degrees ”are registered.
  • the rotation angles of all the surfaces of the first layer are 0 degrees. Accordingly, the rotation angle “0 degree” is registered in association with each of the common parts “posZ”, “negZ”, “posX”, “negX”, “posY”, “negY” of the file name. Furthermore, the coordinates of the origin (0,0,0) are used as the viewpoint position information in association with the common parts of the file name “posZ”, “negZ”, “posX”, “negX”, “posY”, “negY”. ) Is registered.
  • the line-of-sight vector of each surface of the first layer including the + Z surface 85, the ⁇ Z surface 86, the + X surface 81, the ⁇ X surface 82, the + Y surface 83, and the ⁇ Y surface 84 is (0,0 , 1), (0,0, -1), (1,0,0) (-1,0,0), (0,1,0), (0, -1,0).
  • the line-of-sight vectors (0,0,1), (0,0) are associated with the common parts of the file names ⁇ posZ '', ⁇ negZ '', ⁇ posX '', ⁇ negX '', ⁇ posY '', ⁇ negY '' 0, -1), (1,0,0) (-1,0,0), (0,1,0), (0, -1,0) are registered.
  • the horizontal angle and the vertical angle of view of all surfaces of the first layer are 100 degrees that is greater than 90 degrees, and the number of horizontal pixels that is the number of pixels in the horizontal direction of the texture image and the depth image
  • the number of vertical pixels, which is the number of pixels in the vertical direction is 1024. Therefore, the horizontal angle of view “100 degrees” and the vertical angle of view “100” are associated with the common parts “posZ”, “negZ”, “posX”, “negX”, “posY”, “negY” of the file name. "Degree”, the number of horizontal pixels "1024", and the number of vertical pixels "1024" are registered.
  • FIG. 10 is a diagram showing the position of the subject in the depth direction corresponding to a predetermined surface of the first layer
  • FIG. 11 is a diagram of the subject of FIG. 10 when the viewpoints of the first layer and the second layer are the same. It is a figure which shows the structural example of the texture image of a 1st layer and a 2nd layer.
  • FIG. 10 is a view of the first layer viewpoint O and the subject as viewed from above, and the vertical direction in FIG. 10 is the depth direction of a predetermined surface of the first layer including the subject in the angle of view.
  • the horizontal direction and the vertical direction represent the horizontal direction and the depth direction of the texture image, respectively.
  • 10 and 11 is the front side, and the lower direction is the back side.
  • the subjects included in the angle of view of the predetermined surface of the first layer are the center foreground 111 and the background 112 behind the foreground.
  • the texture image of the predetermined surface of the first layer is composed of the captured image 121 of the foreground 111 and the captured image 122A of the area 112A of the background 112 that is not hidden by the foreground 111.
  • the texture image of the surface of the second layer corresponding to the predetermined surface of the first layer is a multi-camera in the occlusion region 112B shielded by the foreground 111 of the background 112, as shown in FIG. 11 includes a photographed image 122C of the photographed occlusion area 112C photographed in accordance with 11 as an effective area.
  • Any area other than the effective area in the texture image of the surface of the second layer may be arranged.
  • a special value such as an invalid value
  • the value of the special value is changed by compression encoding.
  • the area other than the effective area of the texture image on the surface of the second layer includes an unnecessary area (background area) corresponding to the area 112A and an imaginary area corresponding to an area other than the captured occlusion area 112C in the occlusion area 112B. And divided.
  • the captured image 122A is arranged similarly to the first layer, or a flat image whose edge portion is not steep is arranged.
  • the texture images of the first layer and the second layer in the unnecessary area are the same. Therefore, the MVC method is referred to the texture image of the first layer with reference to the texture image of the second layer.
  • the compression rate can be improved.
  • the compression rate of the second layer image can be improved as compared with a case where an image having a steep edge portion is arranged.
  • the captured image 122A may be arranged in a part of the unnecessary area and a flat image may be arranged in the other part.
  • the imaginary area is an area corresponding to an area other than the captured occlusion area 112C in the occlusion area 112B that is not captured by the multi-camera 11 although there is an occlusion area. Therefore, in the imaginary area, an inpainting image estimated (inpainted) using the captured image 122C of the captured occlusion area 112C is disposed, or the captured image 121 is disposed as in the first layer. Is done.
  • the home server 13 can handle the imaginary area in the same manner as the effective area.
  • the content server 12 performs inpainting before reproduction, it is possible to perform inpainting that requires a lot of time and a high processing load.
  • the captured image 121 when the captured image 121 is arranged in the imaginary area, the imaginary area can be easily generated even when the imaginary area is scattered or inpainting is difficult.
  • the in-painting image may be arranged in a part of the imaginary area, and the captured image 121 may be arranged in the other part.
  • the configuration of the depth images of the first layer and the second layer is the same as the configuration of the texture images of the first layer and the second layer, except that the captured image is replaced with the depth image, and thus the description thereof is omitted. .
  • a captured image or a depth image similar to the first layer is arranged in the unnecessary area and the imaginary area of the second layer will be described.
  • FIG. 12 is a diagram illustrating texture images of the first layer and the second layer corresponding to a predetermined surface of the first layer when the viewpoints of the first layer and the second layer are the same.
  • FIG. 13 is a diagram illustrating texture images of the first layer and the second layer corresponding to a predetermined surface of the first layer when the viewpoints of the first layer and the second layer are different.
  • FIGS. 12A and 13A are views of the first layer viewpoint O and the subject as viewed from above.
  • the vertical direction of FIGS. 12A and 13A includes the subject in the angle of view. This is the depth direction of a predetermined surface of one layer.
  • the rod-shaped subject 141 extending to the viewpoint O within the angle of view of the predetermined surface 131 of the first layer is It becomes a point in both the texture image 151 of the layer and the texture image 152 of the second layer.
  • the subject 141 is reduced to one point in both the texture image 151 of the first layer and the texture image 152 of the second layer. Resulting in. Therefore, the texture image 151 and the texture image 152 cannot represent the length of the subject 141 in the direction extending to the viewpoint O.
  • the viewpoint of the second layer is a viewpoint O ′ different from the viewpoint O of the first layer
  • the subject 141 included in the angle of view of the surface 131 of the first layer and the surface 161 of the second layer is It becomes a straight line in the texture image 172 of the second layer.
  • the direction from the first layer viewpoint O toward the surface 131 is different from the direction from the second layer viewpoint O ′ toward the surface 161. Therefore, even if the subject 141 is reduced to one point in the texture image 151 of the first layer, the subject 141 is not reduced to one point in the texture image 172 of the second layer. Therefore, the texture image 172 can represent the length of the subject 141 in the direction extending to the viewpoint O.
  • the content server 12 is set so that the viewpoints of the first layer and the second layer are different.
  • FIG. 14 is a diagram illustrating a first example of the viewpoint of the second layer.
  • FIG. 14A is a perspective view of the first-layer cube 80
  • FIG. 14B is a view of the cube 80 viewed in the negative direction of the Y axis. This also applies to FIG.
  • the viewpoint 191 of the surface of the second layer corresponding to the surface including the + X surface 81 of the first layer is half of each side of the cube 80 in the positive direction of the Y axis from the viewpoint O of the first layer. Is set to a position moved by a length a. As indicated by the arrow attached to the viewpoint 191 in FIG. 14, the line-of-sight vector of the second layer corresponding to the surface including the + X surface 81 of the first layer is (1,0, 0).
  • the viewpoint 192 of the surface of the second layer corresponding to the surface including the -X surface 82 of the first layer is set to a position moved from the viewpoint O by the length a in the negative direction of the Y axis.
  • the line-of-sight vector of the second layer corresponding to the plane including the ⁇ X plane 82 of the first layer is ( ⁇ 1, as in the first layer. 0,0).
  • the viewpoint 193 of the second layer corresponding to the plane 91 including the + Y plane 83 of the first layer and the viewpoint 194 of the second layer corresponding to the plane including the ⁇ Y plane 84 are respectively from the viewpoint O. It is set at a position moved by a length a in the positive and negative directions of the Z-axis. As shown by the arrows attached to the viewpoint 193 and the viewpoint 194 in FIG. 14, the line-of-sight vector of the second layer corresponding to the first layer plane 91 and the second layer corresponding to the plane including the ⁇ Y plane 84.
  • the line-of-sight vectors of the surface are (0,1,0) and (0, -1,0), respectively, as in the first layer.
  • the viewpoint 195 of the second layer corresponding to the plane including the + Z plane 85 of the first layer and the viewpoint 196 of the second layer corresponding to the plane including the ⁇ Z plane 86 are respectively It is set at a position moved from the viewpoint O by the length a in the positive and negative directions of the X axis.
  • the line-of-sight vector of the second layer corresponding to the plane including the + Z plane 85 of the first layer corresponds to the plane including the ⁇ Z plane 86.
  • the line-of-sight vectors of the surface of the second layer are (0,0,1) and (0,0, -1), respectively, similarly to the first layer.
  • the viewpoints 191 to 196 of each surface of the second layer are set to positions moved from the viewpoint O of the first layer by a length a in one direction perpendicular to the line-of-sight vector. .
  • the line-of-sight vector of each surface of the second layer is the same as the line-of-sight vector of the corresponding first layer surface.
  • the shift directions of the viewpoints 191 to 196 of the respective surfaces of the second layer with respect to the viewpoint O are different for each surface.
  • the distance between the viewpoints 191 to 196 and the viewpoint O of each surface of the second layer in the X-axis direction, the Y-axis direction, or the Z-axis direction is not limited to the length a that is half of each side of the cube 80.
  • Second configuration example of second layer viewpoint position information and surface information table 15 shows the viewpoint of the second layer among the metadata generated by the metadata generation unit 57 of FIG. 3 when the viewpoints 191 to 196 of FIG. 14 are set as the viewpoints of the respective faces of the second layer. It is a figure which shows the structural example of the table of position information and surface information.
  • the first layer corresponding to each surface of the first layer including the + Z surface 85, the ⁇ Z surface 86, the + X surface 81, the ⁇ X surface 82, the + Y surface 83, and the ⁇ Y surface 84, respectively.
  • the file names of the texture images of the two layers are posZ2_texture, negZ2_texture, posX2_texture, negX2_texture, posY2_texture, negY2_texture, respectively.
  • each surface of the second layer corresponding to each surface of the first layer including the + Z surface 85, the ⁇ Z surface 86, the + X surface 81, the ⁇ X surface 82, the + Y surface 83, and the ⁇ Y surface 84, respectively.
  • the file names are posZ2_depth, negZ2_depth, posX2_depth, negX2_depth, posY2_depth, negY2_depth, respectively. Therefore, posZ2, negZ2, posX2, negX2, posY2, negY2 are registered in the table of FIG. 15 as common parts of the file names of the respective surfaces of the second layer.
  • viewpoints 191 to 196 when the viewpoint O is the origin are associated with the common parts “posZ2”, “negZ2”, “posX2”, “negX2”, “posY2”, and “negY2” of the file name. Coordinates (a, 0,0), (-a, 0,0), (0, a, 0) (0, -a, 0), (0,0, a), (0,0, -a) Is registered.
  • FIG. 16 is a diagram illustrating a second example of the viewpoint of the second layer.
  • the viewpoint 211 of the second layer corresponding to the plane including the + X plane 81 of the first layer and the viewpoint 212 of the second layer corresponding to the plane including the ⁇ X plane 82 are respectively From the viewpoint O of the first layer, the position is moved by a length a in the positive direction of the Y axis and the negative direction of the Z axis, and in the negative direction of the Y axis and the positive direction of the Z axis.
  • the line-of-sight vector of the second layer corresponding to the plane including the + X plane 81 of the first layer and the ⁇ X plane 82 of the first layer are included.
  • the line-of-sight vectors of the second layer corresponding to the surface are (1,0,0) and ( ⁇ 1,0,0), respectively, as in the first layer.
  • the viewpoint 213 of the second layer corresponding to the plane 91 including the + Y plane 83 of the first layer and the viewpoint 214 of the plane of the second layer corresponding to the plane including the ⁇ Y plane 84 are respectively from the viewpoint O.
  • the line-of-sight vector of the second layer corresponding to the first layer plane 91 and the second layer corresponding to the plane including the ⁇ Y plane 84 are shown.
  • the line-of-sight vectors of the surface are (0,1,0) and (0, -1,0), respectively, as in the first layer.
  • the viewpoint 215 of the second layer corresponding to the plane including the + Z plane 85 of the first layer and the viewpoint 216 of the second layer corresponding to the plane including the ⁇ Z plane 86 are respectively from the viewpoint O. It is set at a position moved by a length a in the positive direction of the X axis and the negative direction of the Y axis, and in the negative direction of the X axis and the positive direction of the Y axis.
  • the line-of-sight vector of the second layer corresponding to the plane including the + Z plane 85 of the first layer and the plane including the ⁇ Z plane 86 correspond.
  • the line-of-sight vectors of the surface of the second layer are (0,0,1) and (0,0, -1), respectively, similarly to the first layer.
  • the viewpoints 211 to 216 of each surface of the second layer are set to positions moved from the viewpoint O of the first layer by the length a in two directions perpendicular to the line-of-sight vector. .
  • the line-of-sight vector of each surface of the second layer is the same as the line-of-sight vector of the corresponding first layer surface.
  • the shift directions of the viewpoints 211 to 216 of each surface of the second layer with respect to the viewpoint O are different for each surface.
  • the viewpoints 211 to 216 are symmetric with respect to the viewpoint O.
  • the distance between the viewpoints 191 to 196 and the viewpoint O of each surface of the second layer in the X-axis direction, the Y-axis direction, and the Z-axis direction is half the length of each side of the cube 80. It is not limited to a.
  • FIG. 17 shows the viewpoint of the second layer among the metadata generated by the metadata generation unit 57 of FIG. 3 when the viewpoints 211 to 216 of FIG. 16 are set as the viewpoints of the respective faces of the second layer. It is a figure which shows the structural example of the table of position information and surface information.
  • the table in FIG. 17 is the same as the table in FIG. 15 except for the viewpoint position information.
  • the viewpoint O is associated with each of the common parts “posZ2”, “negZ2”, “posX2”, “negX2”, “posY2”, “negY2” of the file name.
  • the coordinates (a, -a, 0), (-a, a, 0), (0, a, -a) (0, -a, a), (-a, 0, a), (a, 0, -a) are registered.
  • FIG. 18 is a flowchart for explaining the stream generation processing of the content server 12 of FIG. This stream generation process is started when a captured image of each camera is supplied in units of frames from the multi-camera 11 in FIG.
  • step S11 of FIG. 18 the depth detection unit 31 of the content server 12 detects the reciprocal 1 / z of each pixel of the captured image of each camera from the captured image of each camera supplied from the multi-camera 11, and the low resolution.
  • the image data is supplied to the image processing unit 33 and the high resolution image processing unit 34.
  • step S12 the low-resolution image processing unit 33 generates a texture image of the omnidirectional image from the captured images of each camera supplied from the multi-camera 11 with a predetermined three-dimensional position in the camera coordinate system as a viewpoint. Make resolution.
  • step S13 the low resolution image processing unit 33 generates a depth image of the omnidirectional image from the z image of each camera supplied from the depth detection unit 31, and reduces the resolution.
  • step S14 the low resolution image processing unit 33 compresses and stores the low resolution texture image generated by the process of step S12 and the low resolution depth image generated by the process of step S13.
  • step S15 the low resolution image processing unit 33 transmits the stored low resolution texture stream and low resolution depth stream to the home server 13 of FIG.
  • step S16 the setting unit 56 (FIG. 3) of the high-resolution image processing unit 34 sets the origin in the 3D model coordinate system as one viewpoint common to the first layer, and a cube centered on the viewpoint of the first layer. Are set as the surfaces of the first layer.
  • the setting unit 56 sets six viewpoints and six surfaces of the second layer corresponding to the surfaces of the first layer.
  • the setting unit 56 supplies one viewpoint position information of the first layer and surface information of the six surfaces to the first layer generation unit 50 and the metadata generation unit 57.
  • the setting unit 56 supplies six viewpoint position information and six surface information of the second layer to the second layer generation unit 53 and the metadata generation unit 57.
  • step S ⁇ b> 17 the first layer generation unit 50 uses the first layer from the captured image of each camera using the viewpoint of the omnidirectional image in the camera coordinate system as the origin and the origin indicated by the viewpoint position information of the first layer as the viewpoint. A texture image of each surface corresponding to each surface information is generated. Further, the first layer generation unit 50 generates a z image of each surface corresponding to each surface information of the first layer from the z image of each camera, and supplies the z image to the quantization unit 51. The quantization unit 51 A depth image of each surface is generated from the z image of each surface.
  • the second layer generation unit 53 uses the viewpoint of the omnidirectional image in the camera coordinate system as the origin for each plane corresponding to the plane information of the second layer, and the three-dimensional information indicated by the viewpoint position information of the second layer. Using the position as a viewpoint, a texture image is generated from an image captured by each camera. The second layer generation unit 53 generates a z image of each surface from the z image of each camera for each surface corresponding to the surface information of the second layer, and supplies the z image to the quantization unit 54. Generates a depth image of each surface from the z image of each surface.
  • step S19 the encoder 52 compresses and encodes the texture image and the depth image of each surface of the first layer for each surface and for each image type, and supplies them to the storage 58 for storage.
  • step S20 the encoder 55 compresses and encodes the texture image and the depth image of each surface of the second layer for each surface and for each image type, and supplies them to the storage 58 for storage.
  • the metadata generation unit 57 generates face metadata based on the face detection information supplied from the first layer generation unit 50 and the second layer generation unit 53.
  • the metadata generation unit 57 includes the first layer viewpoint position information and surface information supplied from the setting unit 56, a table including the second layer viewpoint position information and surface information, and the recommended viewing direction information supplied from the setting unit 56.
  • metadata including face metadata is generated and supplied to the storage 58 for storage.
  • step S22 the reconstruction unit 59 determines whether reconstruction of the texture image and the depth image of the first layer is necessary. For example, the reconstruction unit 59 reconstructs the texture image and the depth image of the first layer when the user instructs to change the number of first layer surfaces, the angle of view, the space between the surfaces, the position, or the inclination. Is determined to be necessary.
  • step S22 If it is determined in step S22 that the first layer texture image and depth image need to be reconstructed, the process proceeds to step S23.
  • step S23 the reconstruction unit 59 sets the first layer surface after reconstruction and the viewpoint and surface of the second layer corresponding to the first layer surface after reconstruction.
  • the reconstruction unit 59 includes the first layer viewpoint position information and surface information after the reconstruction, the table including the second layer viewpoint position information and surface information, the recommended viewing direction information, and the face meta. Metadata including data is generated and supplied to the storage 58.
  • step S25 the reconstruction unit 59 reconstructs the first layer texture stream of each surface stored in the storage 58 into the texture stream of the first layer surface after the reconstruction set in step S23, The data is supplied to the storage 58 and stored. Further, the reconstruction unit 59 reconstructs the first layer depth stream stored in the storage 58 into the first layer depth stream of the first layer surface after the reconstruction set in step S23, and the storage 58 To be stored.
  • the reconstruction unit 59 reconstructs the second layer texture stream of each surface stored in the storage 58 into the second layer viewpoint and surface second layer texture stream after the reconstruction set in step S23. Configure and supply to storage 58 for storage. The reconstruction unit 59 reconstructs the second layer depth stream stored in the storage 58 into the second layer depth stream of the second layer viewpoint and plane after the reconstruction set in step S23. To be stored. Then, the process proceeds to step S26.
  • step S22 when it is determined in step S22 that the first layer texture image and depth image need not be reconstructed, the process proceeds to step S26.
  • step S ⁇ b> 26 the transmission unit 60 reads the first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and the metadata of the six surfaces before reconstruction from the storage 58. To the home server 13.
  • the content server 12 generates the texture image and depth image of the occlusion area at the viewpoint of the first layer as the texture image and depth image of the second layer. Therefore, when the viewing position is different from the viewpoint O, the home server 13 can generate the occlusion area of the viewpoint O included in the display image by using the texture image and the depth image of the second layer. Therefore, the home server 13 can generate a high-quality display image.
  • the content server 12 sets the viewpoint of the second layer to a three-dimensional position different from the viewpoint O of the first layer. Accordingly, in the second layer, the length of the subject extending to the viewpoint O in the direction extending to the viewpoint O can be expressed.
  • the content server 12 sets the y value of each pixel of the depth image to a value obtained by quantizing the inverse 1 / r by 8 bits. Therefore, the content server 12 does not need to redo 8-bit quantization of the depth image at the time of reconstruction.
  • FIG. 19 is a block diagram illustrating a configuration example of the home server 13a which is the first embodiment of the home server 13 of FIG.
  • the 3D model generation unit 235 includes an ML3D model generation unit 241-1 to 241-3 and a low resolution 3D model generation unit 242.
  • the receiving unit 231 of the home server 13a includes a low resolution texture stream and a low resolution depth stream transmitted from the content server 12, a first layer texture stream of six planes, a first layer depth stream, a second layer texture stream, and The second layer depth stream and the metadata are received and supplied to the storage 232.
  • the storage 232 includes a low-resolution texture stream and a low-resolution depth stream supplied from the receiving unit 231, a six-layer first layer texture stream, a first layer depth stream, a second layer texture stream, and a second layer depth stream, As well as metadata.
  • the receiving unit 233 receives the detection result of the gyro sensor 15 ⁇ / b> B of FIG. 1 from the head mounted display 15 and supplies it to the eye gaze detection unit 234.
  • the line-of-sight detection unit 234 determines the line-of-sight direction of the viewer in the 3D model coordinate system based on the detection result of the gyro sensor 15B supplied from the reception unit 233.
  • the line-of-sight detection unit 234 acquires a captured image of the marker 15A from the camera 13A, and detects a viewing position in the 3D model coordinate system based on the captured image.
  • the line-of-sight detection unit 234 reads the first layer table of the metadata from the storage 232.
  • the line-of-sight detection unit 234 corresponds to the line-of-sight vector closest to the line of sight extending from the viewing position to the line-of-sight direction among the six surfaces based on the viewing position and line-of-sight direction in the 3D model coordinate system and the first layer table.
  • the three surfaces to be selected are determined as the selection surface.
  • the line-of-sight detection unit 234 includes a plane including any of the + X plane 81 and the ⁇ X plane 82, a plane including any of the + Y plane 83 and the ⁇ Y plane 84, and the + Z plane 85 and the ⁇ Z plane.
  • a surface including any one of 86 is determined as a selected surface.
  • the selection plane is determined as described above, a high resolution in the display image generated by using the texture image and the depth image of the first layer and the second layer corresponding to the selection plane by the drawing unit 236 described later.
  • the area ratio is the highest. Also, by determining the three selection planes, the ratio of the high-resolution area in the display image is increased when the line of sight is directed to the vicinity of the vertex of the cube 80 as compared to the case where one selection plane is selected. Can do.
  • the line-of-sight detection unit 234 reads the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to the three selection planes from the storage 232.
  • the line-of-sight detection unit 234 converts the read first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream into ML3D model generation units 241-1 to 241-3 for each surface. To supply.
  • the line-of-sight detection unit 234 reads the low-resolution texture stream and the low-resolution depth stream from the storage 232 and supplies them to the low-resolution 3D model generation unit 242.
  • the line-of-sight detection unit 234 determines the viewing range of the viewer in the 3D model coordinate system based on the viewing position and the line-of-sight direction in the 3D model coordinate system.
  • the line-of-sight detection unit 234 supplies the viewer's visual field range and viewing position to the drawing unit 236.
  • the line-of-sight detection unit 234 supplies the drawing unit 236 with viewpoint position information and surface information of the three selection surfaces and the three surfaces of the second layer corresponding to the three selection surfaces.
  • the ML3D model generation units 241-1 to 241-3 use the first layer texture stream and the first layer depth stream, respectively, in the texture image coordinate system of the sampling points corresponding to the pixels of the texture image of the first layer.
  • Three-dimensional data including a three-dimensional position (u, v, z) and connection information, and RGB values as color information is generated.
  • the connection information of each sampling point is information indicating the connection between the sampling point (vertex) and another sampling point.
  • the texture image coordinate system is a coordinate system in which the horizontal direction of the texture image is the u axis, the vertical direction is the v axis, and the depth direction is the z axis.
  • the ML3D model generation units 241-1 to 241-3 use the second layer texture stream and the second layer depth stream supplied from the line-of-sight detection unit 234, respectively, to each pixel of the second layer texture image. Three-dimensional data of corresponding sampling points is generated.
  • the ML3D model generation units 241-1 to 241-3 supply the three-dimensional data of the first layer and the second layer to the drawing unit 236.
  • the low resolution 3D model generation unit 242 decodes the low resolution texture stream and the low resolution depth stream supplied from the line-of-sight detection unit 234, and generates a low resolution texture image and a low resolution depth image.
  • the low resolution 3D model generation unit 242 converts the YCbCr value as the pixel value of each pixel of the low resolution texture image into an RGB value, and sets the RGB value of the sampling point corresponding to each pixel.
  • the low resolution 3D model generation unit 242 performs 8-bit inverse quantization on the pixel value of each pixel of the low resolution depth image to obtain an inverse 1 / r.
  • the low-resolution 3D model generation unit 242 sets the three-dimensional position (u, v, z) of each pixel to the sampling point 3 corresponding to each pixel based on the inverse 1 / r of each pixel of the low-resolution depth image. Obtained as dimension position (u, v, z).
  • the low-resolution 3D model generation unit 242 generates connection information of each sampling point based on the three-dimensional position (u, v, z) of each sampling point so that three adjacent sampling points are connected to each other. .
  • the low resolution 3D model generation unit 242 supplies the 3D position (u, v, z), connection information, and RGB values of each sampling point to the drawing unit 236 as 3D data of the low resolution texture image.
  • the drawing unit 236 performs triangular patch drawing (point cloud drawing) of the low-resolution texture image in the 3D model coordinate system based on the three-dimensional data of the low-resolution texture image supplied from the low-resolution 3D model generation unit 242. Thereafter, the drawing unit 236 displays the first layer and second layer three-dimensional data supplied from each of the ML3D model generation units 241-1 to 241-3, the viewpoint position information and the surface supplied from the line-of-sight detection unit 234, and Based on the information, the triangular patch drawing of the texture images of the first layer and the second layer is performed in the 3D model coordinate system.
  • triangular patch drawing point cloud drawing
  • the viewpoint of the low-resolution texture image is the origin in the 3D model coordinate system, and the position and size of each surface of the regular octahedron as the 3D model are determined in advance. Therefore, the drawing unit 236 can obtain the internal parameters and external parameters of each camera corresponding to each surface of the regular octahedron. Therefore, the drawing unit 236 uses the internal parameter and the external parameter to calculate the position (u, v, v) of each sampling point from the three-dimensional position (u, v, z) of each sampling point of the low-resolution texture image. ) And the three-dimensional position (X, Y, Z) in the 3D model coordinate system. As a result, triangular patch drawing can be performed using the position (u, v) and three-dimensional position (X, Y, Z) on the screen of each sampling point of the low-resolution texture image, the connection information, and the RGB value. .
  • the drawing unit 236 obtains internal parameters and external parameters of each camera corresponding to each surface of the first layer and the second layer based on the viewpoint position information and surface information of the first layer and the second layer. it can. Therefore, the drawing unit 236 uses the internal parameter and the external parameter to calculate the position of each sampling point on the screen from the three-dimensional position (u, v, z) of each sampling point of the first layer and the second layer ( u, v) and 3D position (X, Y, Z) can be recognized. As a result, the drawing unit 236 uses the position (u, v) and the three-dimensional position (X, Y, Z) on the screen of each sampling point of the first layer and the second layer, the connection information, and the RGB value. Triangular patch drawing can be performed.
  • the drawing unit 236 generates a display image by perspectively projecting (mapping) the triangular patch drawn in the 3D model coordinate system onto the visual field range with the viewing position supplied from the line-of-sight detection unit 234 as a viewpoint.
  • the drawing unit 236 transmits the display image to the conversion device 14 in FIG.
  • ML3D model generation unit 241 when it is not necessary to individually distinguish the ML3D model generation units 241-1 to 241-3, they are simply referred to as the ML3D model generation unit 241.
  • FIG. 20 is a block diagram illustrating a configuration example of the ML3D model generation unit 241 of FIG.
  • the ML3D model generation unit 241 in FIG. 20 includes a decoding unit 261, a buffer 262, a buffer 263, a rendering unit 264, a decoding unit 265, a buffer 266, a buffer 267, and a rendering unit 268.
  • the decoding unit 261 includes a decoder 271 and a decoder 272.
  • the rendering unit 264 includes an RGB conversion unit 281, a depth conversion unit 282, a discontinuity detection unit 283, and a 3D model generation unit 284.
  • the decoding unit 265 includes a decoder 291 and a decoder 292.
  • the rendering unit 268 includes an RGB conversion unit 301, a depth conversion unit 302, an occlusion processing unit 303, and a 3D model generation unit 304.
  • the decoding unit 261 of the ML3D model generation unit 241 decodes the first layer texture stream and the first layer depth stream.
  • the decoder 271 of the decoding unit 261 decodes the first layer texture stream supplied from the line-of-sight detection unit 234 in FIG. 19 to generate a first layer texture image.
  • the decoder 271 stores the texture image of the first layer in the buffer 262.
  • the decoder 272 decodes the first layer depth stream supplied from the line-of-sight detection unit 234 to generate a first layer depth image.
  • the decoder 272 stores the first layer depth image in the buffer 263.
  • the rendering unit 264 renders the decoded first layer texture stream (first layer texture image) and first layer depth stream (first layer depth image), and renders the texture image for drawing the first layer. Three-dimensional data is generated.
  • the RGB conversion unit 281 of the rendering unit 264 converts the YCbCr value as the pixel value of each pixel of the texture image of the first layer accumulated in the buffer 262 into an RGB value, and corresponds to each pixel. The RGB value of the sampling point. Then, the RGB conversion unit 281 supplies the RGB value of each sampling point to the 3D model generation unit 284.
  • the depth conversion unit 282 performs 8-bit inverse quantization on the pixel value of each pixel of the depth image of the first layer stored in the buffer 263 to obtain an inverse 1 / r. Then, based on the inverse 1 / r of each pixel of the first layer depth image, the depth conversion unit 282 converts the three-dimensional position (u, v, z) of each pixel to the three-dimensional sampling point corresponding to each pixel. Obtained as position (u, v, z). The depth conversion unit 282 supplies the three-dimensional position (u, v, z) of each sampling point to the discontinuity detection unit 283 and the 3D model generation unit 284.
  • the discontinuity detection unit 283 Based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 282, the discontinuity detection unit 283 includes adjacent sampling points among the pixels of the depth image of the first layer. Discontinuous pixels that are pixels corresponding to sampling points whose z coordinate difference is equal to or greater than the threshold are detected. The discontinuity detection unit 283 supplies the 3D position (u, v, z) of the sampling points corresponding to the discontinuous pixels to the 3D model generation unit 284.
  • the 3D model generation unit 284 Based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 282, the 3D model generation unit 284 connects three adjacent sampling points among the sampling points. In addition, connection information of each sampling point is generated. That is, for each sampling point, the 3D model generation unit 284 generates connection information representing the connection between the three vertices of the triangular patch having the sampling point as a vertex. Then, the 3D model generation unit 284 generates connection information of each sampling point generated based on the three-dimensional position (u, v, z) of the sampling point corresponding to the discontinuous pixel supplied from the discontinuity detection unit 283. The connection information indicating the connection with the sampling points corresponding to the discontinuous pixels is deleted.
  • the 3D model generation unit 284 generates the three-dimensional position (u, v, z) of each sampling point of the first layer, the RGB value, and the connection information after deletion as the three-dimensional data of the first layer. To the drawing unit 236.
  • the decoder 291 of the decoding unit 265 decodes the second layer texture stream supplied from the line-of-sight detection unit 234 of FIG. 19 and generates a second layer texture image.
  • the decoder 291 stores the texture image of the second layer in the buffer 266.
  • the decoder 292 decodes the second layer depth stream supplied from the line-of-sight detection unit 234 and generates a second layer depth image.
  • the decoder 292 stores the second layer depth image in the buffer 267.
  • the rendering unit 268 renders the decoded second layer texture stream (second layer texture image) and second layer depth stream (second layer depth image), and renders the texture image for drawing the second layer. Three-dimensional data is generated.
  • the RGB conversion unit 301 of the rendering unit 268 converts the YCbCr value as the pixel value of each pixel of the second layer texture image accumulated in the buffer 266 into an RGB value, and the RGB value of the sampling point corresponding to each pixel And Then, the RGB conversion unit 301 supplies the RGB value of each sampling point to the 3D model generation unit 304.
  • the depth conversion unit 302 performs 8-bit inverse quantization on the pixel value of each pixel of the second layer depth image stored in the buffer 267 to obtain an inverse 1 / r. Then, based on the reciprocal 1 / r of each pixel of the second layer depth image, the depth conversion unit 302 converts the three-dimensional position (u, v, z) of each pixel to the three-dimensional sampling point corresponding to each pixel. Obtained as position (u, v, z). The depth conversion unit 302 supplies the three-dimensional position (u, v, z) of each sampling point to the occlusion processing unit 303 and the 3D model generation unit 304.
  • the occlusion processing unit 303 detects discontinuous pixels among the pixels of the second layer depth image based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 302. The occlusion processing unit 303 corrects the three-dimensional position (u, v, z) of the sampling point corresponding to the discontinuous pixel based on the three-dimensional position (u, v, z) of each sampling point of the second layer. Perform occlusion processing.
  • the occlusion processing unit 303 determines the two-dimensional position (u, v) of the sampling point corresponding to the discontinuous pixel as the two-dimensional position (u, v) of the sampling point near and near the sampling point. Correct to v).
  • the occlusion processing unit 303 supplies the 3D position (u, v, z) after the occlusion processing of each sampling point of the second layer to the 3D model generation unit 304.
  • the 3D model generation unit 304 Based on the three-dimensional position (u, v, z) of each sampling point supplied from the occlusion processing unit 303, the 3D model generation unit 304 calculates, for each sampling point, the sampling point and two adjacent sampling points. Generate connection information representing a connection.
  • the 3D model generation unit 304 generates the three-dimensional position (u, v, z) and connection information of each sampling point, and the RGB value supplied from the RGB conversion unit 301 as the three-dimensional data of the second layer.
  • the 3D model generation unit 304 supplies the 3D data of the second layer to the drawing unit 236 of FIG.
  • FIG. 21 is a block diagram illustrating a configuration example of the low resolution 3D model generation unit 242 of FIG.
  • the 21 is composed of a decoding unit 321, a buffer 322, a buffer 323, and a rendering unit 324.
  • the decoding unit 321 includes a decoder 331 and a decoder 332.
  • the rendering unit 324 includes an RGB conversion unit 341, a depth conversion unit 342, and a 3D model generation unit 343.
  • the decoding unit 321 of the low resolution 3D model generation unit 242 decodes the low resolution texture stream and the low resolution depth stream.
  • the decoder 331 of the decoding unit 321 decodes the low-resolution texture stream supplied from the line-of-sight detection unit 234 in FIG. 19 to generate a low-resolution texture image.
  • the decoder 331 accumulates the low resolution texture image in the buffer 322.
  • the decoder 332 decodes the low-resolution depth stream supplied from the line-of-sight detection unit 234, and generates a low-resolution depth image.
  • the decoder 332 accumulates the low resolution depth image in the buffer 323.
  • the rendering unit 324 renders a low-resolution texture stream (low-resolution texture image) and a low-resolution depth stream (low-resolution depth image) after decoding, and generates three-dimensional data of a low-resolution texture image for drawing.
  • the RGB conversion unit 341 of the rendering unit 324 converts the YCbCr value as the pixel value of each pixel of the low resolution texture image stored in the buffer 322 into an RGB value, and performs sampling corresponding to each pixel. The RGB value of the point. Then, the RGB conversion unit 341 supplies the RGB value of each sampling point to the 3D model generation unit 343.
  • the depth conversion unit 342 performs 8-bit inverse quantization on the pixel value of each pixel of the low-resolution depth image stored in the buffer 323 to obtain an inverse 1 / r. Then, based on the inverse 1 / r of each pixel of the low-resolution depth image, the depth conversion unit 342 converts the three-dimensional position (u, v, z) of each pixel to the three-dimensional position of the sampling point corresponding to each pixel ( u, v, z). The depth conversion unit 342 supplies the 3D position (u, v, z) of each sampling point to the 3D model generation unit 343.
  • the 3D model generation unit 343 Based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 342, the 3D model generation unit 343 connects three adjacent sampling points among the sampling points. In addition, connection information of each sampling point is generated. That is, for each sampling point, the 3D model generation unit 343 generates connection information representing the connection between the three vertices of the triangular patch having the sampling point as a vertex.
  • the 3D model generation unit 343 generates the three-dimensional position (u, v, z), RGB value, and connection information of each sampling point as the three-dimensional data of the low-resolution texture image, and supplies it to the drawing unit 236 of FIG. To do.
  • each ML3D model generation unit 241 decodes and renders the high-resolution encoded stream corresponding to the three selection planes.
  • the low resolution 3D model generation unit 242 decodes and renders the low resolution encoded stream.
  • the drawing unit 236 performs final rendering to generate a display image based on the three-dimensional data of the first layer and the first layer corresponding to the three selection surfaces and the three-dimensional data of the low-resolution texture image. .
  • FIG. 22 is a diagram for explaining connection information in a case where connection information indicating connection with sampling points corresponding to discontinuous pixels in the connection information of the first layer is not deleted, and FIG. It is a figure explaining connection information.
  • the left-right direction represents the horizontal direction of the texture image
  • the vertical direction represents the depth direction of the texture image.
  • 22 and 23 is the front side
  • the lower direction is the back side.
  • the solid line represents the three-dimensional position (u, v, z) of each sampling point in the first layer
  • the dotted line represents the three-dimensional position (u, v) of each sampling point in the second layer.
  • v, z) 22 and 23
  • the subject is the foreground 111 and the background 112 in FIG.
  • connection information indicating the connection with the sampling points corresponding to the discontinuous pixels is not deleted in both the first layer and the second layer, as shown in FIG. A sampling point corresponding to a continuous pixel is connected to two adjacent sampling points.
  • a triangular patch having the sampling points corresponding to the discontinuous pixels of the first layer and two adjacent sampling points as vertices is generated, and the captured image 122C in the effective area is filled with the triangular patches. Therefore, when generating a display image including the captured occlusion area 112C corresponding to the line of sight V from the lower right to the upper left in the drawing, the effective area of the second layer in which the captured image 122C of the captured occlusion area 112C is arranged. Cannot be used.
  • connection information indicating the connection with the sampling points corresponding to the discontinuous pixels is not deleted, but when the occlusion process is performed, as shown in FIG.
  • the two-dimensional position of the sampling point corresponding to the discontinuous pixels of the first layer and the second layer is corrected to the two-dimensional position of the sampling point near and near the sampling point.
  • the captured image 122A of the first layer region 112A can be used as the display image of the captured occlusion region 112C.
  • the image quality of the display image is improved.
  • the sampling points corresponding to the discontinuous pixels of the first layer after the occlusion processing are connected to two adjacent sampling points, and a triangular patch is generated. Therefore, as in the case of FIG. 22A, when generating a display image corresponding to the line of sight V, the effective region of the second layer in which the captured image 122C of the captured occlusion region 112C cannot be used.
  • the 3D model generation unit 284 deletes the connection information indicating the connection with the discontinuous pixels in the first layer. Therefore, a triangular patch having a sampling point corresponding to the discontinuous pixel in the first layer as a vertex is not generated. Therefore, when generating a display image corresponding to the line of sight V, the effective region of the second layer in which the captured image 122C of the captured occlusion region 112C is arranged can be used. Since the connection information is not deleted in the second layer, the triangle patch of the second layer always exists in the area where the triangle patch of the first layer does not exist.
  • the occlusion processing unit 303 performs an occlusion process on the second layer. Therefore, as shown in FIG. 23, the two-dimensional position of the sampling point on the far side of the sampling points corresponding to the discontinuous pixels at the boundary between the effective area and the imaginary area of the second layer is near and in front of the sampling point. It is corrected to the two-dimensional position of the sampling point on the side. Accordingly, the occlusion area is reduced in the second layer. Therefore, the image quality of the second layer used when generating the display image corresponding to the line of sight V is improved, and as a result, the image quality of the display image is improved.
  • the six surfaces of the first layer are the six surfaces 81 to 86 constituting the cube 80.
  • the position (u, v) of the sampling point 411 on the texture image 400 of the ⁇ Z plane 86 of the first layer is directed to the sampling point 411.
  • the position where the line intersects the ⁇ Z plane 86 is the center of each pixel 401.
  • the positions (u, v) of the sampling points on the other surfaces 81 to 85 are also the centers of the respective pixels similarly to the ⁇ Z surface 86.
  • the regions on each surface 81 to 86 of all triangular patches configured by connecting three adjacent sampling points among the sampling points indicated by black circles in the figure.
  • the u-direction and v-direction sizes of 402 are smaller than the respective planes 81 to 86 by half the size of the pixels. Therefore, a triangular patch corresponding to the boundary between the surfaces 81 to 86 is not generated, and as a result, it becomes difficult to generate a display image of a line of sight that passes through the boundary between the surfaces 81 to 86 with high image quality.
  • the size of the texture image 420 of the surface of the first layer including the ⁇ Z surface 86 is as shown in FIG. It becomes 6 ⁇ 6 pixels larger than the size of 24 texture images 400.
  • the size of the texture image on each surface of the first layer including the other surfaces 81 to 85 is 6 ⁇ 6 pixels.
  • the size in the u direction and the v direction is larger by half the size of the pixel than the ⁇ Z plane 86.
  • the u-direction and v-direction sizes of the triangular patch regions on each surface of the first layer including the other surfaces 81 to 85 are similar to those of the surfaces 81 to 85 in the same manner as the region 421. Only half the size is larger. Therefore, a triangular patch corresponding to the boundary between the surfaces 81 to 86 is generated. As a result, a display image of an arbitrary line of sight including the line of sight passing through the boundary between the surfaces 81 to 86 can be generated with high image quality.
  • FIG. 26 is a diagram for explaining occlusion processing when the angle of view of each surface of the second layer is 90 degrees and 100 degrees.
  • the horizontal axis represents the u axis
  • the vertical axis represents the z axis.
  • a circle represents a sampling point.
  • the z coordinate is larger as the position in the depth direction is the far side.
  • the sampling point is mapped to only one surface of the second layer. Therefore, as shown in FIG. 26A, the sampling point 442 adjacent to the sampling point 441 that is mapped to the end in the u direction of the processing target surface is not mapped to the processing target surface, but the processing target surface.
  • the position of the z-axis of the sampling point 442 is not known during the occlusion process.
  • the pixel corresponding to the sampling point 441 is not detected as a discontinuous pixel.
  • the surface to which the sampling point 442 is mapped is the surface to be processed, the pixel corresponding to the sampling point 442 is not detected as a discontinuous pixel. Therefore, the occlusion process cannot be performed on the sampling point 441 and the sampling point 442. That is, in order to perform the occlusion processing on the sampling point 441 and the sampling point 442, it is necessary to use a depth image of a surface adjacent to the processing target surface in addition to the depth image of the processing target surface.
  • sampling points that are mapped to areas other than the edge of the surface adjacent to that surface are margins.
  • Duplicate mapping For example, the sampling point 442 mapped to the region other than the edge of the surface adjacent to the processing target surface is mapped to the end of the processing target surface to which the sampling point 441 is mapped.
  • the pixels corresponding to the sampling point 441 and the sampling point 442 are detected as discontinuous pixels. Therefore, as shown in B of FIG. 26, the occlusion process can be performed on the sampling points 441 and the sampling points 442. As a result, the u coordinate of the sampling point 442 corresponding to the discontinuous pixel is corrected to the u coordinate of the sampling point 443 in front of the sampling point 442 near the sampling point 442 (z coordinate is small).
  • the difference between the z coordinates of the sampling point 444 and the sampling point 445 mapped to the region other than the end of the surface to be processed is equal to or greater than the threshold value, and therefore corresponds to the sampling point 444 and the sampling point 445.
  • the pixels to be detected are also detected as discontinuous pixels.
  • the u coordinate of the sampling point 444 is corrected to the u coordinate of the sampling point 446 on the near side of the sampling point 444 near the sampling point 444.
  • the sampling point 447 at the end where the u coordinate of the surface to be processed is the largest is mapped to a region other than the end of the surface adjacent to the surface to be processed. Therefore, when this surface is a surface to be processed, it is determined whether or not the pixel corresponding to the sampling point 447 is a discontinuous pixel. When it is determined that the pixel is a discontinuous pixel, the occlusion for the sampling point 447 is determined. Processing can be performed.
  • each surface of the second layer when the angle of view of each surface of the second layer is 100 degrees, only the sampling points of each surface are used, and the sampling points 441 mapped to the end of the region other than the end of each surface are used.
  • the occlusion process can also be performed. As a result, the occlusion area of the second layer is reduced, and the image quality of the display image can be improved.
  • the ML3D model generation units 241-1 to 241-3 may perform image processing such as filter processing using peripheral pixels on the texture image and depth image obtained as a result of decoding.
  • image processing such as filter processing using peripheral pixels on the texture image and depth image obtained as a result of decoding.
  • the angle of view of each surface of the first layer and the second layer is larger than 90 degrees, the image processing can be performed at the end of the region other than the end of each surface as in the occlusion processing. The effect that can be obtained.
  • FIG. 27 is a flowchart for explaining the reproduction process of the home server 13a of FIG.
  • This reproduction processing is performed by, for example, a low-resolution texture stream and a low-resolution depth stream transmitted from the content server 12, a six-layer first layer texture stream, a first layer depth stream, a second layer texture stream, and a second layer. It is started when a layer depth stream and metadata are transmitted.
  • step S41 of FIG. 27 the receiving unit 231 of the home server 13a receives, from the content server 12, the low resolution texture stream and the low resolution depth stream, the six-layer first layer texture stream, the first layer depth stream, and the second layer.
  • the texture stream, the second layer depth stream, and the metadata are received and supplied to the storage 232.
  • step S42 the storage 232 stores the low-resolution texture stream and the low-resolution depth stream, the six-layer first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and the metadata.
  • step S43 the receiving unit 233 receives the detection result of the gyro sensor 15B of FIG. 1 from the head mounted display 15 and supplies it to the line-of-sight detection unit 234.
  • step S44 the line-of-sight detection unit 234 determines the line-of-sight direction of the viewer in the 3D model coordinate system based on the detection result of the gyro sensor 15B supplied from the reception unit 233.
  • step S ⁇ b> 45 the camera 13 ⁇ / b> A images the marker 15 ⁇ / b> A attached to the head mounted display 15 and supplies a captured image obtained as a result to the line-of-sight detection unit 234.
  • step S46 the line-of-sight detection unit 234 detects the viewing position in the 3D model coordinate system based on the captured image of the marker 15A supplied from the camera 13A, and supplies the detected viewing position to the drawing unit 236.
  • step S ⁇ b> 47 the line-of-sight detection unit 234 selects one of the six surfaces based on the first layer table of the metadata stored in the storage 232 and the viewing position and line-of-sight direction in the 3D model coordinate system. Three planes corresponding to the line-of-sight vector closest to the line of sight are determined as selection planes.
  • step S48 the line-of-sight detection unit 234 determines the viewing field range of the viewer in the 3D model coordinate system based on the viewing position and the line-of-sight direction in the 3D model coordinate system, and supplies them to the drawing unit 236.
  • step S49 the line-of-sight detection unit 234 reads the low-resolution texture stream and the low-resolution depth stream from the storage 232, and supplies them to the low-resolution 3D model generation unit 242. Further, the line-of-sight detection unit 234 reads out the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to the three selection planes from the storage 232. The line-of-sight detection unit 234 converts the read first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream into ML3D model generation units 241-1 to 241-3 for each surface. To supply. In addition, the line-of-sight detection unit 234 reads viewpoint position information and surface information corresponding to the three selection surfaces from the storage 232, and supplies them to the drawing unit 236.
  • step S50 the ML3D model generation units 241-1 to 241-3 perform three-dimensional data generation processing for generating three-dimensional data of the sampling points of the first layer and the second layer for each surface. Details of the three-dimensional data generation processing will be described later with reference to FIG.
  • step S51 the low-resolution 3D model generation unit 242 generates three-dimensional data of each sampling point of the low-resolution texture image from the low-resolution texture stream and the low-resolution depth stream supplied from the line-of-sight detection unit 234, and the drawing unit 236.
  • step S52 the drawing unit 236 performs triangular patch drawing of the low resolution texture image in the 3D model coordinate system based on the three-dimensional data of the low resolution texture image supplied from the low resolution 3D model generation unit 242. Thereafter, the drawing unit 236 displays the first layer and second layer three-dimensional data supplied from each of the ML3D model generation units 241-1 to 241-3, the viewpoint position information and the surface supplied from the line-of-sight detection unit 234, and Based on the information, the triangular patch drawing of the texture images of the first layer and the second layer is performed in the 3D model coordinate system.
  • step S53 the drawing unit 236 generates a display image by perspectively projecting the triangular patch drawn in the 3D model coordinate system into the visual field range with the viewing position supplied from the line-of-sight detection unit 234 as a viewpoint.
  • step S54 the drawing unit 236 transmits the display image to the conversion device 14 in FIG.
  • FIG. 28 is a flowchart illustrating details of the three-dimensional data generation processing performed by each ML3D model generation unit 241 (ML3D model generation units 241-1 to 241-3) in step S50 of FIG.
  • step S71 of FIG. 28 the decoder 271 (FIG. 20) of the ML3D model generation unit 241 decodes the first layer texture stream supplied from the line-of-sight detection unit 234 of FIG. 19, and generates a texture image of the first layer. .
  • the decoder 271 stores the texture image of the first layer in the buffer 262.
  • step S72 the RGB conversion unit 281 converts the YCbCr value as the pixel value of each pixel of the texture image of the first layer accumulated in the buffer 262 into an RGB value, and the RGB value of the sampling point corresponding to each pixel And Then, the RGB conversion unit 281 supplies the RGB value of each sampling point to the 3D model generation unit 284.
  • step S73 the decoder 272 decodes the first layer depth stream supplied from the line-of-sight detection unit 234, and generates a first layer depth image.
  • the decoder 272 stores the first layer depth image in the buffer 263.
  • step S74 the depth conversion unit 282 performs 8-bit inverse quantization on the pixel value of each pixel of the first layer depth image accumulated in the buffer 263, and performs the pixel quantization of each pixel of the first layer depth image. Get the inverse 1 / r.
  • step S75 the depth conversion unit 282 calculates the three-dimensional position (u, v, z) of each pixel of the first layer depth image based on the inverse 1 / r of each pixel of the first layer depth image.
  • the three-dimensional position (u, v, z) of the sampling point corresponding to each pixel is obtained.
  • the depth conversion unit 282 supplies the three-dimensional position (u, v, z) of each sampling point to the discontinuity detection unit 283 and the 3D model generation unit 284.
  • step S76 the discontinuity detection unit 283 determines the error of each pixel of the depth image of the first layer based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 282. Detect continuous pixels.
  • the discontinuity detection unit 283 supplies the 3D position (u, v, z) of the sampling points corresponding to the discontinuous pixels to the 3D model generation unit 284.
  • step S77 the 3D model generation unit 284, based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 282, between adjacent three sampling points among the sampling points. So that connection information of each sampling point of the first layer is generated.
  • step S78 the 3D model generation unit 284 generates each of the points generated in step S77 based on the three-dimensional position (u, v, z) of the sampling points corresponding to the discontinuous pixels supplied from the discontinuity detection unit 283.
  • the connection information of the sampling points the connection information indicating the connection with the sampling points corresponding to the discontinuous pixels is deleted.
  • step S79 the 3D model generation unit 284 displays the three-dimensional position (u, v, z) of each sampling point in the first layer, the RGB value, and the connection information after deletion by the processing in step S78 as the first layer. Is generated as three-dimensional data.
  • the 3D model generation unit 284 supplies the three-dimensional data of the first layer to the drawing unit 236 of FIG.
  • step S80 the decoder 291 decodes the second layer texture stream supplied from the line-of-sight detection unit 234 to generate a second layer texture image.
  • the decoder 291 stores the texture image of the second layer in the buffer 266.
  • step S81 the RGB conversion unit 301 converts the YCbCr value as the pixel value of each pixel of the texture image of the second layer accumulated in the buffer 266 into an RGB value, and the RGB value of the sampling point corresponding to each pixel And Then, the RGB conversion unit 301 supplies the RGB value of each sampling point to the 3D model generation unit 304.
  • step S82 the decoder 292 decodes the second layer depth stream supplied from the line-of-sight detection unit 234, and generates a second layer depth image.
  • the decoder 292 stores the second layer depth image in the buffer 267.
  • step S ⁇ b> 83 the depth conversion unit 302 performs 8-bit inverse quantization on the pixel value of each pixel of the second layer depth image stored in the buffer 267, and calculates the pixel value of each pixel of the second layer depth image. Get the inverse 1 / r.
  • step S84 the depth conversion unit 302 calculates the three-dimensional position (u, v, z) of each pixel of the second layer depth image based on the inverse 1 / r of each pixel of the second layer depth image.
  • the three-dimensional position (u, v, z) of the sampling point corresponding to each pixel is obtained.
  • the depth conversion unit 302 supplies the three-dimensional position (u, v, z) of each sampling point to the occlusion processing unit 303 and the 3D model generation unit 304.
  • step S85 the occlusion processing unit 303 performs discontinuity among the pixels of the second layer depth image based on the three-dimensional position (u, v, z) of each sampling point supplied from the depth conversion unit 302. Detect a pixel.
  • step S86 the occlusion processing unit 303 determines the three-dimensional position (u, v, z) of the sampling point corresponding to the discontinuous pixel based on the three-dimensional position (u, v, z) of each sampling point of the second layer. ) To correct the occlusion.
  • the occlusion processing unit 303 supplies the 3D position (u, v, z) after the occlusion processing of each sampling point of the second layer to the 3D model generation unit 304.
  • step S87 the 3D model generation unit 304 uses the three sampling points adjacent to each other among the sampling points based on the three-dimensional position (u, v, z) of each sampling point supplied from the occlusion processing unit 303. So that connection information of each sampling point of the second layer is generated.
  • step S88 the 3D model generation unit 304 converts the three-dimensional position (u, v, z) and connection information of each sampling point and the RGB values supplied from the RGB conversion unit 301 into the three-dimensional data of the second layer. Generate as The 3D model generation unit 304 supplies the 3D data of the second layer to the drawing unit 236 of FIG.
  • the home server 13a generates a display image using the first layer and the second layer. Therefore, when the viewing position is different from the viewpoint O, the occlusion area of the viewpoint O included in the display image can be generated by using the second layer. Therefore, a high-quality display image can be generated.
  • the home server 13a generates a display image using not only the texture image but also the depth image. Therefore, a texture image can be mapped to a triangular patch having a three-dimensional shape according to the subject by drawing a triangular patch, and a display image can be generated using the triangular patch. Therefore, a high-quality display image can be generated as compared with a case where a display image is generated by mapping the texture image to a predetermined surface using only the texture image.
  • the texture image and depth image of the first layer are a texture image and a depth image obtained by mapping the texture image and depth image of the omnidirectional image on a predetermined plane. Accordingly, in the playback device that plays back only the texture image and the depth image obtained by mapping the texture image and the depth image of the omnidirectional image to a predetermined plane, the texture image and the depth image of the first layer can be played back. it can.
  • the format of the texture image and depth image of the first layer and the second layer generated by the content server 12 is a texture image obtained by mapping the texture image and depth image of the omnidirectional image to a predetermined plane, Compatible with depth image format.
  • the playback method by the home server 13a is compatible with the playback method of the playback device that plays back only the texture image and the depth image obtained by mapping the texture image and the depth image of the omnidirectional image to a predetermined plane. .
  • the home server 13a may generate a display image using only the texture image and the depth image of the first layer. In this case, an occlusion process is performed on the first layer instead of deleting the connection information.
  • the 3D model generation unit 284 has deleted the connection information indicating the connection with the sampling points corresponding to the discontinuous pixels detected by the discontinuity detection unit 283, but is transmitted from the content server 12.
  • the connection information may be deleted based on the coming triangle patch valid / invalid information (details will be described later). In this case, the discontinuity detection unit 283 is not provided.
  • FIG. 29 is a diagram for explaining the triangular patch valid / invalid information transmitted from the content server 12 in such a case.
  • the number of sampling points 461 of the first layer is twelve. Therefore, the number of triangular patches 462 whose apexes are three adjacent sampling points 461 is twelve.
  • the content server 12 detects discontinuous pixels in the same manner as the discontinuity detection unit 283. Then, the content server 12 sets the triangular patch 462 whose vertex is the sampling point corresponding to the discontinuous pixel to invalid (OFF), and enables the triangular patch 462 not including the sampling point corresponding to the discontinuous pixel (ON). ).
  • the content server 12 generates triangle patch valid / invalid information indicating validity / invalidity of each triangle patch 462 and includes it in the metadata.
  • the 3D model generation unit 284 of the home server 13a deletes the connection information indicating the connection between the sampling points constituting the vertices of the invalid triangle patch based on the triangle patch valid / invalid information. As a result, a triangular patch whose invalidity information is invalid is not drawn.
  • the triangle patch valid / invalid information is 1-bit information indicating validity or invalidity of the triangle patch. Therefore, the number of bits of the triangle patch valid / invalid information of all the triangle patches is (width-1) * () where the horizontal number of pixels of the texture image of the first layer is width and the vertical number of pixels is height. height-1) * 2 bits.
  • the triangle patch valid / invalid information is transmitted from the content server 12 to the home server 13a in lossless compression or non-compression.
  • the triangular patch valid / invalid information may be arranged as Cb and Cr values of the depth image.
  • a display image is generated based on a low-resolution encoded stream and high-resolution encoded streams corresponding to three selection planes close to the viewer's line of sight. Therefore, for example, when the viewer's line-of-sight direction changes abruptly or significantly changes, the ratio of the low-resolution area in the display image increases and the image quality deteriorates. In order to prevent this, for example, it is conceivable to increase the number of selected planes or generate a display image using only the high resolution encoded streams of all planes without using the low resolution encoded streams. .
  • decoding and rendering of a low-resolution encoded stream and a high-resolution encoded stream is a very heavy processing. Therefore, due to the processing capacity of the home server 13 and the like, decoding and rendering of each encoded stream may not be in time, and all or part of the display image may be hidden, frozen, or updated, and the image quality may deteriorate. is there. In particular, when the number of selection planes is increased as described above, or when a display image is generated using only a high-resolution encoded stream, there is a possibility that image quality may be degraded due to a delay in decoding and rendering of the encoded stream. Get higher.
  • the image quality of the display image is reduced while reducing the load on the home server 13 by performing decoding and rendering of each encoded stream with priorities between the encoded streams as necessary. It is intended to suppress the decrease.
  • FIG. 30 is a block diagram illustrating a configuration example of a home server 13b (image processing apparatus) which is the second embodiment of the home server 13 of FIG.
  • the home server 13b is different from the home server 13a of FIG. 19 in that a gaze detection unit 501 and a 3D model generation unit 502 are provided instead of the gaze detection unit 234 and the 3D model generation unit 235.
  • the 3D model generation unit 502 includes a priority setting unit 511, ML3D model generation units 512-1 to 512-6, and a low resolution 3D model generation unit 513.
  • the line-of-sight detection unit 501 performs determination of the viewer's line-of-sight direction, detection of the viewer's viewing position, and determination of the viewer's visual field range, similar to the line-of-sight detection unit 234 of FIG.
  • the line-of-sight detection unit 501 supplies the viewer's visual field range and viewing position to the drawing unit 236.
  • the line-of-sight detection unit 501 supplies the viewer's line-of-sight direction and viewing position to the priority setting unit 511.
  • the priority setting unit 511 includes recommended viewing direction information and face metadata in the metadata stored in the storage 232, the viewing position and viewing direction of the viewer supplied from the line-of-sight detection unit 501, audio processing (not shown) Priority for decoding and rendering of each encoded stream is set based on the sound source information supplied from the unit and the distribution of color information in the images supplied from the ML3D model generation units 512-1 to 512-6 To do.
  • the priority setting unit 511 supplies the priority for each encoded stream to the corresponding ML3D model generation units 512-1 to 512-6 and the low resolution 3D model generation unit 513, respectively.
  • the priority setting unit 511 reads the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to each surface from the storage 232.
  • the priority setting unit 511 converts the read first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream into ML3D model generation units 512-1 to 512-for each surface. 6 is supplied.
  • the priority setting unit 511 reads the low resolution texture stream and the low resolution depth stream from the storage 232 and supplies them to the low resolution 3D model generation unit 513.
  • ML3D model generation units 512-1 to 512-6 like the ML3D model generation units 241-1 to 241-3 in FIG. 19, respectively, three-dimensional data of texture images of the first layer and the second layer of the corresponding surfaces, respectively. Is generated.
  • the ML3D model generation unit 512-1 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the + X surface 81.
  • the ML3D model generation unit 512-2 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the ⁇ X surface 82.
  • the ML3D model generation unit 512-3 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the + Y surface 83.
  • the ML3D model generation unit 512-4 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the ⁇ Y surface 84.
  • the ML3D model generation unit 512-5 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the + Z surface 85.
  • the ML3D model generation unit 512-6 generates three-dimensional data of texture images of the first layer and the second layer of the surface including the ⁇ Z surface 86. Then, the ML3D model generation units 512-1 to 512-6 supply the three-dimensional data of the texture images of the first layer and the second layer to the drawing unit 236.
  • the ML3D model generation units 512-1 to 512-6 have priority when decoding and rendering each high-resolution encoded stream, as will be described later.
  • the picture thinning process is performed according to the priority set by the degree setting unit 511.
  • the ML3D model generation units 512-1 to 512-6 detect the distribution of the color information of the decoded first layer texture stream and second layer texture stream pictures, and supply the detection result to the priority setting unit 511. .
  • the ML3D model generation unit 512 when it is not necessary to individually distinguish the ML3D model generation units 512-1 to 512-6, they are simply referred to as the ML3D model generation unit 512.
  • the low resolution 3D model generation unit 513 generates the three-dimensional data of the low resolution texture image in the same manner as the low resolution 3D model generation unit 242 of the home server 13a in FIG.
  • the low resolution 3D model generation unit 513 supplies the three-dimensional data of the low resolution texture image to the drawing unit 236.
  • the low resolution 3D model generation unit 513 prioritizes the priority set by the priority setting unit 511 when decoding and rendering the low resolution encoded stream, as will be described later. The picture is thinned out according to the degree.
  • FIG. 31 is a block diagram illustrating a configuration example of the ML3D model generation unit 512 of FIG.
  • the ML3D model generation unit 512 is different from the ML3D model generation unit 241 in FIG. 20 in that a decoding unit 531 and a decoding unit 532 are provided instead of the decoding unit 261 and the decoding unit 265.
  • the decoding unit 531 includes a decoder 541 and a decoder 542.
  • the decoding unit 532 includes a decoder 551 and a decoder 552.
  • the decoder 541 of the decoding unit 531 decodes the first layer texture stream supplied from the priority setting unit 511, generates a texture image of the first layer, and generates a texture of the first layer.
  • the image is stored in the buffer 262.
  • the decoder 541 performs picture thinning processing according to the priority set by the priority setting unit 511 when decoding the first layer texture stream, as will be described later.
  • the decoder 541 detects the distribution of color information of the decoded picture and supplies the detection result to the priority setting unit 511 in FIG.
  • the decoder 542 of the decoding unit 531 decodes the first layer depth stream supplied from the priority setting unit 511, generates a first layer depth image, and generates the first layer depth.
  • the image is stored in the buffer 263.
  • the decoder 542 performs picture thinning processing according to the priority set by the priority setting unit 511 when decoding the first layer depth stream, as will be described later.
  • the decoder 551 of the decoding unit 532 decodes the second layer texture stream supplied from the priority setting unit 511, generates a second layer texture image, and generates a second layer texture.
  • the image is stored in the buffer 266.
  • the decoder 551 performs a picture thinning process according to the priority set by the priority setting unit 511 when decoding the second layer texture stream, as will be described later.
  • the decoder 551 detects the distribution of color information of the decoded picture and supplies the detection result to the priority setting unit 511 in FIG.
  • the decoder 552 of the decoding unit 532 decodes the second layer depth stream supplied from the priority setting unit 511, generates a second layer depth image, and generates a second layer depth.
  • the image is stored in the buffer 267.
  • the decoder 552 performs a picture thinning process according to the priority set by the priority setting unit 511 when decoding the second layer depth stream, as will be described later.
  • FIG. 32 is a block diagram illustrating a configuration example of the low resolution 3D model generation unit 513 in FIG. 31.
  • the 32 includes a buffer 322, a buffer 323, a rendering unit 324, and a decoding unit 571.
  • the low resolution 3D model generation unit 513 is different from the low resolution 3D model generation unit 242 in FIG. 21 in that a decoding unit 571 is provided instead of the decoding unit 321.
  • the decoding unit 571 includes a decoder 581 and a decoder 582.
  • the decoder 581 of the decoding unit 571 decodes the low resolution texture stream supplied from the priority setting unit 511, generates a low resolution texture image, and stores the low resolution texture image in the buffer 322, similarly to the decoder 331 of FIG. accumulate.
  • the decoder 581 performs a picture thinning process according to the priority set by the priority setting unit 511 when decoding a low-resolution texture stream, as will be described later.
  • the decoder 582 of the decoding unit 571 decodes the low resolution depth stream supplied from the priority setting unit 511, generates a low resolution depth image, and stores the low resolution depth image in the buffer 323. accumulate.
  • the decoder 582 performs a picture thinning process according to the priority set by the priority setting unit 511 when decoding a low-resolution depth stream, as will be described later.
  • FIG. 33 is a flowchart for explaining the reproduction process of the home server 13b of FIG.
  • This reproduction processing is performed by, for example, a low-resolution texture stream and a low-resolution depth stream transmitted from the content server 12, a six-layer first layer texture stream, a first layer depth stream, a second layer texture stream, and a second layer. It is started when a layer depth stream and metadata are transmitted.
  • steps S101 to S103 processing similar to that in steps S41 to S43 in FIG. 27 is executed.
  • step S104 the line-of-sight detection unit 501 determines the line-of-sight direction of the viewer in the 3D model coordinate system based on the detection result of the gyro sensor 15B supplied from the reception unit 233, similarly to the process in step S44 of FIG. To do.
  • the line-of-sight detection unit 501 supplies the viewer's line-of-sight direction to the priority setting unit 511.
  • step S ⁇ b> 105 the camera 13 ⁇ / b> A captures the marker 15 ⁇ / b> A attached to the head mounted display 15 and supplies a captured image obtained as a result to the line-of-sight detection unit 234.
  • step S106 the line-of-sight detection unit 501 detects the viewing position in the 3D model coordinate system based on the captured image of the marker 15A supplied from the camera 13A, and supplies the detected viewing position to the drawing unit 236 and the priority setting unit 511.
  • step S107 the line-of-sight detection unit 501 determines the viewing range of the viewer in the 3D model coordinate system based on the viewing position and the line-of-sight direction in the 3D model coordinate system in the same manner as in step S48 of FIG. Supplied to the unit 236.
  • step S108 the home server 13b performs display image generation processing. Details of the display image generation processing will be described later with reference to FIG.
  • step S109 the drawing unit 236 transmits the display image to the conversion device 14 in FIG. 1 in the same manner as in step S54 in FIG.
  • step S110 the priority setting unit 511 determines whether or not the reproduction of the encoded stream has ended. If there is an unreproduced encoded stream remaining in the storage 232, the priority setting unit 511 determines that reproduction of the encoded stream has not ended, and the process returns to step S103.
  • steps S103 to S110 are repeatedly executed until it is determined in step S110 that the reproduction of the encoded stream has been completed.
  • step S110 the priority setting unit 511 determines that the reproduction of the encoded stream has ended when there is no unreproduced encoded stream remaining in the storage 232, and the reproduction process ends.
  • FIG. 34 is a flowchart for explaining the details of the display image generation process performed by the home server 13b in step S108 of FIG.
  • step S131 the priority setting unit 511 determines whether or not rendering underflow is likely to occur. For example, the priority setting unit 511 confirms the accumulation amounts of the buffer 262, the buffer 263, the buffer 266, and the buffer 267 of each ML3D model generation unit 512. The priority setting unit 511 determines that a rendering underflow is unlikely to occur when the accumulated amount of all the buffers is equal to or greater than a predetermined threshold, and the process proceeds to step S132. That is, when the decoding of each high-resolution encoded stream is performed smoothly and the occurrence of a delay in rendering of each high-resolution encoded stream is not predicted, the process proceeds to step S132.
  • step S132 the priority setting unit 511 sets the priority to a default value.
  • FIG. 35 shows an example of the priority and picture thinning method.
  • Squares in the figure indicate pictures in each GOP (Group of Picture) of the encoded stream.
  • a picture in which the letter I is shown on a black background has no dependency on other pictures, and indicates an I picture that is decoded independently.
  • Pictures with hatched lines and Pr characters indicate reference P pictures referenced from other pictures among P pictures decoded using inter-frame prediction.
  • a picture in which the character Pn is shown on a white background indicates a non-reference P picture that is not referred to by other pictures among the P pictures.
  • the picture is not thinned out. That is, all pictures in the encoded stream are reproduced.
  • the frame rate of the three-dimensional data generated from the encoded stream set to the priority A is 60 fps (frame per second).
  • the non-reference P picture in each GOP of the encoded stream is thinned out. That is, only the I picture and reference P picture of the encoded stream are reproduced.
  • the frame rate of the three-dimensional data generated from the encoded stream set to the priority level B is 30 fps.
  • the reference P picture and the non-reference P picture in each GOP of the encoded stream are thinned out. That is, only the I picture of the encoded stream is reproduced.
  • the frame rate of the three-dimensional data generated from the encoded stream set to priority C is 1 fps.
  • the encoded stream set to the lowest priority D all pictures in the GOP are thinned out. That is, the encoded stream is not reproduced and the frame is not updated. Therefore, the encoded stream set to the priority level D is not used for display image generation.
  • the priority setting unit 511 sets the high-resolution encoded streams of all the surfaces of all the layers to the priority A. That is, all high-resolution encoded streams are reproduced without thinning out pictures.
  • the priority setting unit 511 sets the low resolution encoded stream to the priority D. That is, the reproduction of the low resolution encoded stream is stopped.
  • the priority setting unit 511 supplies the set priority to the decoder 541, the decoder 542, the decoder 551, and the decoder 552 of each ML3D model generation unit 512, and the decoder 581 and the decoder 582 of the low resolution 3D model generation unit 513. To do.
  • step S133 the priority setting unit 511 reads the low-resolution texture stream and the low-resolution depth stream within the next reproduction period (hereinafter referred to as a reproduction target period) from the storage 232, and sends them to the low-resolution 3D model generation unit 513. Supply.
  • the priority setting unit 511 transmits the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to each surface within the next reproduction target period from the storage 232. read out.
  • the priority setting unit 511 supplies the read first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream of each surface to the corresponding ML3D model generation unit 512, respectively.
  • the priority setting unit 511 reads viewpoint position information and surface information corresponding to each surface from the storage 232 and supplies them to the drawing unit 236.
  • the reproduction target period is set in units of a predetermined number of GOPs, for example.
  • each ML3D model generation unit 512 performs a three-dimensional data generation process for generating three-dimensional data of the texture images of the first layer and the second layer for each surface. Do. At this time, each ML3D model generation unit 512 performs three-dimensional data generation processing without thinning out pictures of each high-resolution encoded stream.
  • the processing for generating the three-dimensional data of the low-resolution texture image is not performed.
  • step S135 the drawing unit 236 is based on the first and second layer three-dimensional data supplied from each ML3D model generation unit 512, and the viewpoint position information and surface information supplied from the line-of-sight detection unit 234.
  • the drawing unit 236 is based on the first and second layer three-dimensional data supplied from each ML3D model generation unit 512, and the viewpoint position information and surface information supplied from the line-of-sight detection unit 234.
  • triangle patch drawing of the texture images of the first layer and the second layer is performed.
  • triangle patch drawing of the low-resolution texture image is not performed.
  • step S136 a display image is generated in the same manner as in step S53 of FIG.
  • the generation processing of the three-dimensional data of the low-resolution texture image is not performed.
  • a display image is generated using only the three-dimensional data of the texture image of the high resolution first layer or second layer. Therefore, all the regions of the display image in the viewer's visual field range have a high resolution, and the image quality is improved.
  • step S137 the priority setting unit 511 performs priority setting processing. Details of the priority setting process will be described later with reference to FIGS. 36 and 37.
  • the priority of the high-resolution encoded stream on each surface of each layer is set to any one of the priorities A to D.
  • the priority of the high-resolution encoded stream of the surface and layer that overlaps the viewer's visual field range and the surface and layer that the viewer is likely to see is set high.
  • the priority of the high-resolution encoded stream of the surface and the layer that is less likely to be viewed by the viewer is set low.
  • the priority of the low resolution encoded stream is set to the highest priority A.
  • step S138 processing similar to that in step S133 is performed.
  • each ML3D model generation unit 512 generates three-dimensional data while thinning out pictures in stages according to priority for each surface and layer. Specifically, as in the process of step S50 of FIG. 27, each ML3D model generation unit 512 generates a three-dimensional data generation process for generating three-dimensional data of texture images of the first layer and the second layer for each surface. I do.
  • each ML3D model generation unit 512 thins out the pictures in the GOP of each high-resolution encoded stream according to the priority set by the priority setting unit 511, as described above with reference to FIG. Three-dimensional data is generated. Specifically, the decoder 541, the decoder 542, the decoder 551, and the decoder 552 of each ML3D model generation unit 512 skip the decoding of the picture to be thinned out, thereby thinning out the picture. A higher-resolution encoded stream with a lower priority has a larger amount of thinned pictures to be decoded.
  • each ML3D model generation unit 512 may perform decoding of all the pictures while skipping rendering of the pictures to be thinned out, thereby thinning out the pictures.
  • the decoder 541, the decoder 542, the decoder 551, and the decoder 552 of each ML3D model generation unit 512 perform decoding of all the pictures.
  • the rendering unit 264 and the rendering unit 268 of each ML3D model generation unit 512 thins out the picture by skipping the rendering of the picture to be thinned out.
  • a higher-resolution encoded stream with a lower priority has a larger amount of thinned pictures to be rendered.
  • step S140 the three-dimensional data of the low-resolution texture image is generated and supplied to the drawing unit 236, similar to the process in step S51 of FIG. At this time, three-dimensional data is generated without thinning out pictures of the low-resolution encoded stream.
  • step S141 triangular patch drawing is performed in the same manner as in step S52 of FIG.
  • step S142 a display image is generated in the same manner as in step S53 of FIG. At this time, a display image is generated using the three-dimensional data of the low-resolution texture image and the three-dimensional data of the high-resolution texture image of the planes and layers set to the priorities A to C.
  • a low-resolution encoded stream, a high-resolution encoded stream of layers and layers that overlap the viewer's field of view, and the possibility of viewing by the viewer The priority of the high resolution encoded stream of the high surface and layer is set high. Accordingly, the ratio of the high resolution region in the viewer's visual field range is increased, and the high resolution region update frequency in the visual field range is maintained high. Further, even when the viewer's line of sight moves unexpectedly, it is possible to show the viewer whether the image is in a high resolution region or an image in a low resolution region with a high update frequency.
  • the load on the home server 13b is reduced, the delay in reproducing the encoded stream is suppressed, and the real-time property of the display image is guaranteed.
  • the deterioration of the image quality of the display image in the viewer's visual field range is suppressed, and the deterioration of the user experience is suppressed.
  • FIG. 36 is a flowchart for explaining the details of the priority setting process performed by the priority setting unit 511 in step S137 of FIG.
  • FIG. 37 shows an example of a score calculation table used for calculating a score for setting priority.
  • the score calculation table includes items of addition factors, reference values, and weighting factors.
  • the priority setting unit 511 calculates a score based on the score calculation table of FIG.
  • step S161 the priority setting unit 511 selects a surface for calculating a score.
  • the priority setting unit 511 selects one of the six surfaces of the first layer and the six surfaces of the second layer for which no score has been calculated yet.
  • the surface selected by the priority setting unit 511 is referred to as a setting target surface.
  • step S162 the priority setting unit 511 determines whether the setting target surface is set to the recommended viewing direction based on the recommended viewing direction information in the metadata stored in the storage 232. If the setting target surface is a surface in the recommended viewing direction, the priority setting unit 511 determines that the setting target surface is set in the recommended viewing direction, and the process proceeds to step S163.
  • step S163 the priority setting unit 511 adds a score based on the recommended viewing direction.
  • the reference value when the setting target surface is set to the recommended viewing direction is set to 1, and the reference value when the setting target surface is not set to the recommended viewing direction is set to 0. Yes.
  • the weighting factor is set to 10.
  • step S162 determines whether the setting target surface is set in the recommended viewing direction. If it is determined in step S162 that the setting target surface is not set in the recommended viewing direction, the process in step S163 is skipped, and the process proceeds to step S164 without adding the score.
  • the priority setting unit 511 adds a score based on the visual field of the viewer. For example, when the line of sight extending in the line-of-sight direction from the viewer's viewing position intersects the setting target surface, the priority setting unit 511 determines that the setting target surface is the center of the viewer's visual field. Further, when the setting target surface is a surface adjacent to the surface intersecting with the viewer's line of sight, the priority setting unit 511 determines that the setting target surface is around the viewer's visual field. Furthermore, the priority setting unit 511 determines that the setting target surface is out of the viewer's field of view when the setting target surface is neither the surface intersecting the viewer's line of sight or the surface adjacent to the surface intersecting the line of sight. To do.
  • the plane including the + Y plane 83 in FIG. 8B intersects the viewer's line of sight
  • the plane including the + Y plane 83 is the center of the field of view.
  • a plane including any of the + X plane 81, the ⁇ X plane 82, the + Z plane 85, and the ⁇ Z plane 86 is the periphery of the visual field.
  • the plane including the ⁇ Y plane 84 is out of view.
  • the reference value when the setting target surface is in the center of the visual field is set to 2
  • the reference value when the setting target surface is around the visual field is set to 1, and is outside the visual field.
  • the reference value is set to 0.
  • the weighting factor is set to 5. Therefore, when the setting target surface is at the center of the visual field, the score is incremented by 10. If the setting target surface is around the visual field, the score is incremented by 5. If the setting target surface is out of the field of view, the score is not added.
  • step S165 the priority setting unit 511 adds the score based on the layer.
  • the reference value of the first layer is set to 2
  • the reference value of the second layer is set to 1
  • the reference values of the other layers are set to 0.
  • the weighting factor is set to 4. Accordingly, when the layer of the setting target surface is the first layer, the score is added by 8. When the layer of the setting target surface is the second layer, the score is added by 4. If the layer of the setting target surface is any other layer, the score is not added.
  • the setting target surface layer may not be the other layer.
  • step S166 the priority setting unit 511 determines whether a person exists on the setting target surface. For example, the priority setting unit 511 detects whether or not a human face appears in the texture stream of the setting target surface within the reproduction target period based on the face metadata among the metadata stored in the storage 232. To do. When a human face appears, the priority setting unit 511 determines that a person exists on the setting target surface, and the process proceeds to step S167.
  • step S167 the priority setting unit 511 adds a score based on a person.
  • attention objects A to C are set as objects that are likely to be noticed by the viewer.
  • the attention object A is a person
  • the reference value when the person exists is set to 1
  • the reference value when the person does not exist is set to 0.
  • the weighting factor is set to 3. Therefore, if there is a person on the setting target surface, the score is incremented by 3. If no person exists on the setting target surface, the score is not added.
  • the priority of the encoded stream corresponding to the surface and layer in which the person exists is set high.
  • step S166 when the human face does not appear in the texture stream of the setting target surface within the reproduction target period, the priority setting unit 511 determines that there is no person on the setting target surface. Then, the process of step S167 is skipped, the score is not added, and the process proceeds to step S168.
  • the priority setting unit 511 acquires sound source information. Specifically, the priority setting unit 511 receives sound source information of a sound reproduced in synchronization with a display image before a predetermined period (for example, one frame before) of a reproduction target period from an audio processing unit (not shown). get.
  • the sound source information indicates, for example, the position and volume of each sound source in the 3D model coordinate system.
  • step S169 the priority setting unit 511 determines whether there is a sound source with a high volume on the setting target surface. For example, the priority setting unit 511 extracts a sound source whose volume is equal to or higher than a predetermined threshold based on the acquired sound source information. If the extracted sound source exists in the direction of the setting target surface with reference to the viewing position of the viewer, the priority setting unit 511 determines that there is a sound source with a high volume on the setting target surface, and the process proceeds to step S170. move on.
  • step S170 the priority setting unit 511 adds a score based on the sound source.
  • a sound source with a large volume is set as the object of interest B.
  • the reference value when a sound source with a large volume exists is set to 1, and the reference value when there is no sound source is set to 0.
  • the weighting factor is set to 2. Therefore, if there is a sound source with a large volume on the setting target surface, the score is incremented by 2. If there is no sound source with a high volume on the setting target surface, the score is not added.
  • the priority of the encoded stream corresponding to the surface and layer where the sound source having a large volume exists is set high.
  • step S169 determines that there is no sound source with a large volume on the setting target surface. If it is determined in step S169 that there is no sound source with a large volume on the setting target surface, the process of step S170 is skipped, and the process proceeds to step S171 without adding the score.
  • the priority setting unit 511 acquires the distribution of color information in the image. Specifically, the priority setting unit 511 receives, from the decoder 541 or the decoder 551 of the ML3D model generation unit 512 that decodes the texture stream of the setting target surface, the time axis of the decoded pictures of the texture stream of the setting target surface. Get the color information distribution of the newest picture above.
  • step S172 the priority setting unit 511 determines whether there is a visually noticeable subject on the setting target surface. For example, the priority setting unit 511 detects a color region that is more characteristic than the surroundings in the acquired distribution of color information. An arbitrary method can be adopted as a method for detecting a characteristic color region. Then, when a characteristic color region is detected, the priority setting unit 511 determines that there is a visually noticeable subject on the setting target surface, and the process proceeds to step S173.
  • step S173 the priority setting unit 511 adds a score based on a visually conspicuous subject.
  • a visually noticeable subject is set as the object of interest C.
  • the reference value when the visually conspicuous subject exists is set to 1, and the reference value when there is no subject that is visually noticeable is set to 0.
  • the weighting factor is set to 1. Therefore, if there is a visually noticeable subject on the setting target surface, the score is incremented by one. If there is no visually noticeable subject on the setting target surface, the score is not added.
  • the priority of the encoded stream corresponding to the surface and layer where the visually noticeable subject exists is set high.
  • step S172 determines that there is no visually conspicuous subject on the setting target surface. If it is determined in step S172 that there is no visually conspicuous subject on the setting target surface, the process of step S173 is skipped, and the process proceeds to step S174 without adding the score.
  • step S174 the priority setting unit 511 determines whether or not the scores of all the faces have been calculated. If it is determined that the scores for all the faces have not yet been calculated, the process returns to step S161.
  • steps S161 to S174 are repeatedly executed until it is determined in step S174 that the scores of all the faces have been calculated.
  • step S174 determines whether the scores of all surfaces have been calculated. If it is determined in step S174 that the scores of all surfaces have been calculated, the process proceeds to step S175.
  • the priority setting unit 511 sets the priority of each encoded stream. For example, the priority setting unit 511 sets the priority of the low resolution encoded stream to the priority A. That is, since the low-resolution encoded stream covers all directions including the viewer's visual field range, priority is set higher than that of the high-resolution encoded stream, and decoding and rendering are performed with the highest priority.
  • the priority setting unit 511 arranges the six types of surfaces of the first layer and the six surfaces of the second layer in descending order of score, and the score corresponding to the surface included in the top 25%
  • the resolution encoded stream is set to priority A.
  • the priority setting unit 511 sets the high-resolution encoded stream corresponding to the surface whose score is included in the next higher 25% as the priority B.
  • the priority setting unit 511 sets the high-resolution encoded stream corresponding to the surface included in the lower 50% of the scores to the priority D.
  • high priority is set for the high-resolution encoded stream corresponding to the surface and layer that overlaps the viewer's visual field range, and the high-resolution encoded stream corresponding to the surface and layer that the viewer is likely to see. Is done.
  • the priority of the high-resolution encoded stream corresponding to the surface and the layer that is less likely to be viewed by the viewer is set low.
  • the priority setting unit 511 supplies the priority for each high-resolution encoded stream to the decoder 541, the decoder 542, the decoder 551, or the decoder 552 of the corresponding ML3D model generation unit 512, respectively.
  • the priority setting unit 511 supplies the priority of the low-resolution encoded stream to the decoder 581 and the decoder 582 of the low-resolution 3D model generation unit 513.
  • ⁇ Third Embodiment> As in the second embodiment, decoding and rendering of each encoded stream is performed with priorities. However, in the third embodiment, the display image is generated using only the high resolution encoded stream without using the low resolution encoded stream.
  • FIG. 38 is a block diagram illustrating a configuration example of a home server 13c (image processing apparatus) which is the third embodiment of the home server 13 of FIG.
  • the home server 13c is different from the home server 13b of FIG. 30 in that a 3D model generation unit 601 is provided instead of the 3D model generation unit 502.
  • the 3D model generation unit 601 is different from the 3D model generation unit 502 of FIG. 30 in that the low resolution 3D model generation unit 513 is not provided.
  • reproduction process of the home server 13c is substantially the same as the reproduction process of the home server 13b described above with reference to FIGS.
  • the 3D model generation unit 601 of the home server 13c only the three-dimensional data of the texture images of the first layer and the second layer is generated, and the three-dimensional data of the low-resolution texture image is not generated. Therefore, as compared with the 3D model generation unit 502 in FIG. 30, the 3D model generation unit 601 reduces the load by the amount that decoding and rendering of the low-resolution encoded stream is omitted. Then, the 3D model generation unit 601 can increase the processing amount of decoding and rendering of the high-resolution encoded stream by the amount that the load is reduced.
  • step S175 of FIG. 36 described above 12 types of surfaces are arranged in descending order of score, and the high-resolution encoded stream corresponding to the surface included in the upper 25% of the score is set to priority A. .
  • a high-resolution encoded stream corresponding to a surface whose score is included in the next higher 25% is set to priority B.
  • a high-resolution encoded stream corresponding to a surface whose score is included in the next higher 25% is set to priority C.
  • the high-resolution encoded stream corresponding to the surface whose score is included in the lower 25% is set to the priority D. That is, the ratio of the high-resolution encoded stream set to priority C increases and the ratio of the high-resolution encoded stream set to priority D decreases compared to the playback process of the home server 13b.
  • step S142 of FIG. 34 described above the drawing unit 236 generates a display image using only the three-dimensional data of the high-resolution first layer and second layer texture images.
  • the drawing unit 236 generates a display image using also the three-dimensional data of the high-resolution texture image based on the high-resolution encoded stream set to the priority D.
  • the drawing unit 236 stops updating the image in the area in the display image corresponding to the high-resolution encoded stream set to the priority level D immediately before the priority level D is set, and sets it as a still image. .
  • the entire display image becomes a high-resolution area, and the image quality is improved.
  • the update frequency increases in the viewer's visual field range, and the update frequency in the region where the viewer is less likely to see decreases.
  • the load on the home server 13c is reduced, the reproduction delay of the encoded stream is suppressed, and the real time property of the display image is guaranteed. As a result, the deterioration of the image quality of the display image in the viewer's visual field range is suppressed, and the deterioration of the user experience is suppressed.
  • the content server 12 can omit the low-resolution encoded stream generation process.
  • FIG. 39 is a block diagram illustrating a configuration example of the second embodiment of the image display system to which the present disclosure is applied.
  • the 39 includes a multi-camera 11, a content server 12, a conversion device 14, a head mounted display 15, a distribution server 701, a network 702, and a playback device 703.
  • a multi-camera 11 for example, only the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream of one of the six faces corresponding to the line of sight are played back. It is delivered to the device 703 and played back.
  • the distribution server 701 of the image display system 700 includes a low-resolution texture stream and a low-resolution depth stream, a six-layer first layer texture stream, a first layer depth stream, and a first layer stream transmitted from the content server 12.
  • a two-layer texture stream, a second layer depth stream, and metadata are received and stored.
  • the distribution server 701 is connected to the playback device 703 via the network 702.
  • the distribution server 701 stores a low-resolution texture stream and a low-resolution depth stream, a first layer texture stream of one surface, a first layer depth stream, and a second layer texture stream.
  • the second layer depth stream and metadata are transmitted to the playback device 703 via the network 702.
  • each encoded stream from the distribution server 701 to the playback device 703 is delayed due to factors such as the processing capability of the content server 12, the processing capability of the distribution server 701, and the load and configuration of the network 702. Is done.
  • the distribution server 701 transmits each encoded stream with a priority so as to secure a real-time system in the playback device 703 using a technique such as QoS (Quality of Service).
  • QoS Quality of Service
  • the playback device 703 (image processing device) requests the low resolution texture stream, the low resolution depth stream, and the metadata from the distribution server 701 via the network 702, and the low resolution texture stream transmitted in response to the request. Receive low-resolution depth streams and metadata.
  • the playback device 703 has a built-in camera 13A. Similar to the home server 13a, the playback device 703 detects the viewing position in the 3D model coordinate system, and determines the viewing direction and field-of-view range of the viewer in the 3D model coordinate system.
  • the playback device 703 Based on the viewing position and viewing direction in the 3D model coordinate system, and the first layer table included in the metadata, the playback device 703 has the viewing line closest to the viewing line among the six surfaces of the first layer. One surface corresponding to the vector is determined as the selected surface.
  • the playback device 703 requests a first layer texture stream, a first layer depth stream, a second layer texture stream, and a second layer depth stream corresponding to one selection plane via the network 702.
  • the playback device 703 receives the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to one selected surface transmitted in response to the request.
  • the playback device 703 uses the low resolution texture stream and the low resolution depth stream, and the first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth stream corresponding to one selected plane. To generate a display image.
  • the processing for generating the display image of the playback device 703 in this case is the same as the processing of the home server 13a except that the number of selection planes is one, and thus description thereof is omitted.
  • the playback device 703 transmits the display image to the conversion device 14 via an HDMI cable (not shown).
  • the playback device 703 sends the low resolution texture stream, the low resolution depth stream, the six-layer first layer texture stream, the first layer depth stream, the second layer texture stream, and the second layer depth to the distribution server 701.
  • a stream and metadata are requested via the network 702.
  • the playback device 703 transmits a low-resolution texture stream, a low-resolution depth stream, a six-layer first layer texture stream, a first layer depth stream, a second layer texture stream, and a second layer transmitted in response to the request.
  • a depth stream and metadata are received.
  • the playback device 703 uses the low-resolution texture stream and the low-resolution depth stream, and the six-layer first layer texture stream, first layer depth stream, second layer texture stream, and second layer depth stream to A display image is generated by the same processing as the 30 home servers 13b. In this case, the process of generating the display image of the playback device 703 is the same as the process of the home server 13b, and thus the description thereof is omitted.
  • the playback device 703 transmits the display image to the conversion device 14 via an HDMI cable (not shown).
  • the playback device 703 sends the first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and the metadata of the six surfaces to the distribution server 701 in the network 702. To request through.
  • the playback device 703 receives the six layers of the first layer texture stream, the first layer depth stream, the second layer texture stream, the second layer depth stream, and metadata transmitted in response to the request.
  • the playback device 703 uses the first-layer texture stream, the first-layer depth stream, the second-layer texture stream, and the second-layer depth stream of the six planes to display the same process as the home server 13c in FIG. Generate an image.
  • the process of generating the display image of the playback device 703 is the same as the process of the home server 13c, and thus the description thereof is omitted.
  • the playback device 703 transmits the display image to the conversion device 14 via an HDMI cable (not shown).
  • the content server 12 can omit the low-resolution encoded stream generation process.
  • each encoded stream is given priority by the same processing as the home server 13b or 13c. May be decoded and rendered.
  • the playback device 703 may request the distribution server 701 to transmit an encoded stream in accordance with the set priority. Thereby, for example, transmission of the encoded stream set to the priority D is stopped, and the transmission amount of the encoded stream is suppressed, thereby avoiding delay in transmission of the encoded stream. As a result, the real-time property of the display image is guaranteed, and the deterioration of the image quality of the display image can be suppressed.
  • FIG. 40 is a block diagram illustrating a configuration example of the third embodiment of the image display system to which the present disclosure is applied.
  • the 40 includes a transmitting unit 801 and a receiving unit 802.
  • the transmission unit 801 includes a photographing unit 811, a stream generation unit 812, a storage 813, and a transmission unit 814.
  • the stream generation unit 812 includes a shape data generation unit 821, a conversion unit 822, and an encoding unit 823.
  • the receiving unit 802 includes a receiving unit 841, a storage 842, an image processing unit 843, a drawing unit 844, a display unit 845, a camera 846, and a line-of-sight detection unit 847.
  • the image processing unit 843 includes a decoding unit 851 and a reconstruction unit 852.
  • the photographing unit 811 includes a plurality of photographing cameras (not shown). Each photographing camera is arranged so as to surround an object to be displayed (hereinafter referred to as a display target object) in the receiving unit 802, and photographs the display target object from a plurality of different viewpoints (hereinafter referred to as photographing viewpoints). To do.
  • the photographing unit 811 includes metadata including viewpoint images regarding a photographing viewpoint of each of the photographed images and a plurality of photographed images that are viewpoint images from a plurality of photographing viewpoints obtained as a result of photographing (hereinafter referred to as photographing viewpoint metadata). ) And supplied to the shape data generation unit 821.
  • FIG. 41 shows an example of shooting viewpoint metadata.
  • the photographing viewpoint metadata includes, for example, an ID for identifying a photographing camera used for photographing each photographed image, and a rotation vector and a translation vector with respect to the world coordinate system of the camera coordinate system of each photographing camera.
  • the shape data generation unit 821 generates high-resolution shape data that represents the three-dimensional shape of the display target object in high resolution based on the captured image at each shooting viewpoint.
  • the shape data generation unit 821 supplies the captured image, high-resolution shape data, and shooting viewpoint metadata of each shooting viewpoint to the conversion unit 822.
  • the conversion unit 822 is a viewpoint image in which the display target object is viewed from a plurality of different viewpoints (hereinafter referred to as transmission viewpoints) based on the captured images, the high-resolution shape data, and the capturing viewpoint metadata of each capturing viewpoint.
  • a plurality of texture images and a plurality of depth images are generated.
  • the transmission viewpoint does not necessarily coincide with the photographing viewpoint.
  • the conversion unit 822 generates metadata including viewpoint information related to the transmission viewpoint of each texture image and each depth image (hereinafter referred to as transmission viewpoint metadata). Furthermore, the conversion unit 822 generates low-resolution shape data in which the resolution of the high-resolution shape data is lowered. The conversion unit 822 supplies the texture image at each transmission viewpoint, the depth image at each transmission viewpoint, the low-resolution shape data, and the transmission viewpoint metadata to the encoding unit 823.
  • the transmission viewpoint metadata includes, for example, an ID for identifying each texture image and each depth image, rotation of the camera coordinate system of the virtual camera corresponding to the transmission viewpoint of each texture image and each depth image with respect to the world coordinate system. Includes vectors and translation vectors.
  • the encoding unit 823 compresses and encodes each texture image for each transmission viewpoint, and generates a plurality of texture streams respectively corresponding to each transmission viewpoint. Also, the encoding unit 823 compresses and encodes each depth image for each transmission viewpoint, and generates a plurality of depth streams corresponding to each transmission viewpoint. Furthermore, the encoding unit 823 performs compression encoding of the low-resolution shape data to generate a shape stream. The encoding unit 823 supplies the texture stream, the depth stream, the shape stream, and the transmission viewpoint metadata to the storage 813.
  • the storage 813 stores the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata supplied from the encoding unit 823.
  • the transmission unit 814 reads the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata from the storage 813 and transmits them to the reception unit 802.
  • the receiving unit 841 of the receiving unit 802 receives the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata transmitted from the transmission unit 801, and supplies them to the storage 842.
  • the storage 842 stores each transmission viewpoint texture stream, each transmission viewpoint depth stream, shape stream, and transmission viewpoint metadata supplied from the receiving unit 841.
  • the decoding unit 851 reads the texture stream at each transmission viewpoint from the storage 842 and decodes it to generate a texture image at each transmission viewpoint. Also, the decoding unit 851 reads the depth stream of each viewpoint from the storage 842 and decodes it, thereby generating a depth image of each transmission viewpoint. Furthermore, the decoding unit 851 reads out the shape stream from the storage 842 and decodes it to generate low-resolution shape data. The decoding unit 851 supplies the texture image at each transmission viewpoint, the depth image at each transmission viewpoint, and the low-resolution shape data to the reconstruction unit 852. Also, the decoding unit 851 reads the transmission viewpoint metadata from the storage 842 and supplies the transmission viewpoint metadata to the reconstruction unit 852.
  • the reconstruction unit 852 generates high-resolution shape data based on the depth image and low-resolution shape data at each transmission viewpoint. At this time, the reconstruction unit 852 thins out the depth image as necessary based on the transmission viewpoint metadata, the virtual viewpoint information supplied from the line-of-sight detection unit 847, and the resource information supplied from the outside. Generate resolution shape data.
  • the virtual viewpoint is a viewpoint at the time of generating a display image to be displayed on the display unit 845, and is set based on, for example, the viewing position and the line-of-sight direction of the viewer who views the display image using the display unit 845.
  • the resource information includes information regarding hardware and software resources (hereinafter referred to as reproduction resources) that can be used for reproduction processing by the image processing unit 843 and the drawing unit 844.
  • the reconstruction unit 852 supplies the high resolution shape data to the drawing unit 844.
  • the reconstruction unit 852 thins out texture images as necessary based on the transmission viewpoint metadata, virtual viewpoint information, and resource information, and supplies the remaining (selected) texture images to the drawing unit 844. Further, the reconstruction unit 852 supplies the transmission viewpoint metadata to the drawing unit 844.
  • the drawing unit 844 views the display target object from the virtual viewpoint direction based on the high-resolution shape data, the texture image of each transmission viewpoint, the transmission viewpoint metadata, and the virtual viewpoint information supplied from the line-of-sight detection unit 847 A two-dimensional display image is generated.
  • the drawing unit 844 supplies the display image to the display unit 845.
  • the display unit 845 is configured by a head mounted display similar to the head mounted display 15 in FIG.
  • the display unit 845 displays the display image supplied from the drawing unit 844.
  • the display unit 845 detects the posture of the display unit 845 detected by a gyro sensor (not shown) or the like, and supplies posture information indicating the detected posture to the line-of-sight detection unit 847.
  • the camera 846 performs imaging of the marker attached to the display unit 845 and supplies the obtained captured image to the line-of-sight detection unit 847, similarly to the camera 13A in FIG.
  • the line-of-sight detection unit 847 sets the virtual viewpoint and the viewing range of the viewer based on the posture information from the display unit 845 and the captured image from the camera 846.
  • the line-of-sight detection unit 847 generates virtual viewpoint information including the virtual viewpoint and the visual field range, and supplies the virtual viewpoint information to the reconstruction unit 852 and the drawing unit 844.
  • FIG. 42 shows a configuration example of the conversion unit 822 in FIG.
  • the conversion unit 822 includes a viewpoint setting unit 901, an image generation unit 902, and a resolution conversion unit 903.
  • the viewpoint setting unit 901 acquires the captured image, high-resolution shape data, and shooting viewpoint metadata of each shooting viewpoint from the shape data generation unit 821. Further, the viewpoint setting unit 901 sets a transmission viewpoint for generating a texture image and a depth image, and generates transmission viewpoint metadata including viewpoint information regarding the set transmission viewpoint. The viewpoint setting unit 901 supplies the captured image, high-resolution shape data, shooting viewpoint metadata, and transmission viewpoint metadata of each shooting viewpoint to the image generation unit 902. Further, the viewpoint setting unit 901 supplies transmission viewpoint metadata to the encoding unit 823.
  • the image generation unit 902 generates a plurality of texture images and a plurality of depth images corresponding to the respective transmission viewpoints based on the captured images at each shooting viewpoint, the high-resolution shape data, and the shooting viewpoint metadata.
  • the image generation unit 902 supplies the texture image at each transmission viewpoint and the depth image at each transmission viewpoint to the encoding unit 823.
  • the resolution conversion unit 903 acquires high-resolution shape data from the shape data generation unit 821.
  • the resolution conversion unit 903 generates low resolution shape data by lowering the resolution of the high resolution shape data, and supplies the low resolution shape data to the encoding unit 823.
  • FIG. 43 shows a configuration example of the reconstruction unit 852 in FIG.
  • the reconstruction unit 852 includes a priority setting unit 951, an image selection unit 952, and a shape restoration unit 953.
  • the priority setting unit 951 acquires transmission viewpoint metadata from the decoding unit 851, and acquires virtual viewpoint information from the line-of-sight detection unit 847.
  • the priority setting unit 951 sets priorities between texture streams (texture images) and between depth streams (depth images) based on transmission viewpoint metadata and virtual viewpoint information.
  • the priority setting unit 951 supplies priority information indicating the set priority to the image selection unit 952.
  • the image selection unit 952 acquires a texture image at each transmission viewpoint, a depth image at each transmission viewpoint, low-resolution shape data, and transmission viewpoint metadata from the decoding unit 851, and acquires resource information from the outside.
  • the image selection unit 952 selects a texture image and a depth image used for generating a display image based on the priority information and the resource information.
  • the image selection unit 952 supplies the selected texture image and transmission viewpoint metadata to the drawing unit 844.
  • the image selection unit 952 supplies the selected depth image, low resolution shape data, and transmission viewpoint metadata to the shape restoration unit 953.
  • the shape restoration unit 953 generates high-resolution shape data based on the depth image, low-resolution shape data, and transmission viewpoint metadata supplied from the image selection unit 952.
  • the shape restoration unit 953 supplies the high resolution shape data to the drawing unit 844.
  • FIG. 44 is a flowchart illustrating the stream generation processing of the transmission unit 801 in FIG. This stream generation process is started when each shooting camera of the shooting unit 811 in FIG. 40 starts shooting and output of the shot image and shooting viewpoint metadata is started. Note that a captured image is output from each shooting camera in units of frames.
  • the shape data generation unit 821 generates shape data.
  • the shape data generation unit 821 is a high-resolution image that represents the three-dimensional shape of the display target object with high resolution based on the captured image and the captured viewpoint metadata supplied from the imaging unit 811.
  • Generate resolution shape data is composed of, for example, a three-dimensional polygon mesh or a point cloud.
  • the shape data generation unit 821 supplies the captured image of each shooting viewpoint, high-resolution shape data, and shooting viewpoint metadata to the viewpoint setting unit 901.
  • the shape data generation unit 821 supplies the high resolution shape data to the resolution conversion unit 903.
  • the viewpoint setting unit 901 sets a viewpoint (that is, a transmission viewpoint) for generating a texture image and a depth image.
  • the viewpoint setting unit 901 generates transmission viewpoint metadata including viewpoint information regarding the set transmission viewpoint.
  • each transmission viewpoint is set based on user settings and the like.
  • each transmission viewpoint may coincide with the photographing viewpoint or may be different.
  • the number of transmission viewpoints and the number of shooting viewpoints may be the same or different.
  • the transmission viewpoint for generating the texture image and the transmission viewpoint for generating the depth image may be the same or different.
  • the number of transmission viewpoints for generating texture images and the number of transmission viewpoints for generating depth images may be the same or different. Normally, the transmission viewpoint for generating the texture image and the transmission viewpoint for generating the depth image are common.
  • the viewpoint setting unit 901 supplies the captured image, the high-resolution shape data, the shooting viewpoint metadata, and the transmission viewpoint metadata of each shooting viewpoint to the image generation unit 902. Further, the viewpoint setting unit 901 supplies transmission viewpoint metadata to the encoding unit 823.
  • the image generation unit 902 generates a texture image and a depth image. Specifically, the image generation unit 902 generates a plurality of texture images representing textures when the display target object is viewed from each transmission viewpoint based on the captured image and the imaging viewpoint metadata at each imaging viewpoint. Note that any method can be adopted as a texture image generation method. For example, when the shooting viewpoint of the shot image matches the transmission viewpoint for generating the texture image, the shot image can be used as it is as the texture image.
  • the image generation unit 902 reciprocates the distance from each transmission viewpoint to the display target object in each pixel for each transmission viewpoint based on the captured image, high-resolution shape data, and imaging viewpoint metadata of each imaging viewpoint.
  • the image generation unit 902 supplies the texture image at each transmission viewpoint and the depth image at each transmission viewpoint to the encoding unit 823.
  • the resolution conversion unit 903 reduces the resolution of the shape data. That is, the resolution conversion unit 903 generates low resolution shape data by lowering the resolution of the high resolution shape data. Thereby, for example, the resolution of the shape data is lower than that of the depth image, and the capacity of the shape data is reduced.
  • the resolution conversion unit 903 supplies the low resolution shape data to the encoding unit 823.
  • the encoding unit 823 compresses and encodes the texture image, the depth image, and the shape data. Specifically, the encoding unit 823 performs compression encoding of the texture image for each transmission viewpoint, and generates a plurality of texture streams respectively corresponding to each transmission viewpoint. Also, the encoding unit 823 performs compression encoding of the depth image for each transmission viewpoint, and generates a plurality of depth streams respectively corresponding to each transmission viewpoint. Furthermore, the encoding unit 823 performs compression encoding of the low-resolution shape data to generate a shape stream. The encoding unit 823 supplies the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata to the storage 813. The storage 813 stores a texture stream at each transmission viewpoint, a depth stream at each transmission viewpoint, a shape stream, and transmission viewpoint metadata.
  • step S206 the transmission unit 814 transmits the texture stream, the depth stream, the shape stream, and the transmission viewpoint metadata. Specifically, the transmission unit 814 reads the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata from the storage 813. Then, the transmission unit 814 transmits the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata to the reception unit 802.
  • FIG. 45 is a flowchart for explaining the reproduction processing of the reception unit 802 in FIG. This reproduction processing is started when, for example, a texture stream at each transmission viewpoint, a depth stream at each transmission viewpoint, a shape stream, and transmission viewpoint metadata are transmitted from the transmission unit 801.
  • the receiving unit 841 receives the texture stream, the depth stream, the shape stream, and the transmission viewpoint metadata. Specifically, the receiving unit 841 receives the texture stream of each transmission viewpoint, the depth stream, the shape stream, and the transmission viewpoint metadata transmitted from the transmission unit 801. The receiving unit 841 supplies the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata to the storage 842.
  • the storage 842 stores a texture stream at each transmission viewpoint, a depth stream at each transmission viewpoint, a shape stream, and transmission viewpoint metadata.
  • the decoding unit 851 decodes the texture stream, the depth stream, and the shape stream. Specifically, the decoding unit 851 reads the texture stream at each transmission viewpoint, the depth stream at each transmission viewpoint, the shape stream, and the transmission viewpoint metadata from the storage 842. The decoding unit 851 decodes the texture stream at each transmission viewpoint, and generates a texture image at each transmission viewpoint. Also, the decoding unit 851 decodes the depth stream at each transmission viewpoint, and generates a depth image at each transmission viewpoint. Further, the decoding unit 851 decodes the shape stream and generates low-resolution shape data. The decoding unit 851 supplies the transmission viewpoint metadata to the priority setting unit 951. Also, the decoding unit 851 supplies the texture image at each transmission viewpoint, the depth image at each transmission viewpoint, the low-resolution shape data, and the transmission viewpoint metadata to the image selection unit 952.
  • the receiving unit 802 acquires virtual viewpoint information.
  • the line-of-sight detection unit 847 acquires posture information from the display unit 845, and detects the viewer's line-of-sight direction in the world coordinate system based on the posture information.
  • the line-of-sight detection unit 847 acquires a captured image from the camera 846, and detects the viewing position of the viewer in the world coordinate system based on the captured image.
  • the line-of-sight detection unit 847 sets a virtual viewpoint in the world coordinate system based on the viewing position and the line-of-sight direction of the viewer.
  • the virtual viewpoint almost coincides with the viewer's viewpoint in the world coordinate system.
  • the line-of-sight detection unit 847 sets the viewer's visual field range based on the viewer's viewing position and line-of-sight direction.
  • the line-of-sight detection unit 847 generates virtual viewpoint information including a virtual viewpoint and a visual field range, and supplies the virtual viewpoint information to the priority setting unit 951 and the drawing unit 844.
  • the priority setting unit 951 sets the priority. Specifically, the priority setting unit 951 sets priorities between texture streams (texture images) and between depth streams (depth images) based on transmission viewpoint metadata and virtual viewpoint information. For example, the priority setting unit 951 sets the priority of texture streams (texture images) in the order in which the transmission viewpoint is closer to the virtual viewpoint. Similarly, the priority setting unit 951 sets the priority of the depth stream (depth image) in order from the transmission viewpoint to the virtual viewpoint.
  • the standard for measuring the closeness between the transmission viewpoint and the virtual viewpoint is, for example, a Euclidean distance between two viewpoints, an angle of the line of sight between the two viewpoints, or a standard that combines these two standards. Etc. are used.
  • the priority setting unit 951 supplies priority information indicating the set priority to the image selection unit 952.
  • the image selection unit 952 selects an image used for generating a display image. Specifically, the image selection unit 952 acquires resource information supplied from the outside. The image selection unit 952 determines the number of texture images (texture streams) used to generate the display image (hereinafter referred to as the number of used images) and the depth used to generate the display image based on the reproduction resource indicated by the resource information. Sets the number of images (depth streams) (number of used images).
  • the reproduction resource is sufficiently large, for example, the number of used images of texture images and depth images is set to the same value as the total number of each image, and the texture images and depth images of all transmission viewpoints are used as display images. It may be.
  • the image selection unit 952 selects the texture images having the number of used images in order from the highest priority among the texture images at the respective transmission viewpoints. Similarly, the image selection unit 952 selects the depth images of the number of used images in order from the one with the highest priority from the depth images at the respective transmission viewpoints.
  • Transmission viewpoints 1001-1 to 1001-n in FIG. 46 indicate transmission viewpoints used to generate a depth image of the object 1003 to be displayed.
  • the priority setting unit 951 sets priorities among the depth streams (depth images) in order from the corresponding transmission viewpoint 1001-1 to transmission viewpoint 1001-n closer to the virtual viewpoint 1002. For example, when the number of used images is set to 4, the image selection unit 952 selects the depth images generated from the depth streams having the priority numbers 1 to 4. For example, as shown in the diagram on the right side of FIG. 46, depth images corresponding to four viewpoints of transmission viewpoint 1001-4, transmission viewpoint 1001-5, transmission viewpoint 1001-6, and transmission viewpoint 1001-7 are selected.
  • the image selection unit 952 supplies the selected texture image and transmission viewpoint metadata to the drawing unit 844.
  • the image selection unit 952 supplies the selected depth image, low resolution shape data, and transmission viewpoint metadata to the shape restoration unit 953.
  • the number of used images of texture images and the number of used images of depth images are not necessarily the same.
  • the number of used images of texture images is set to be larger than the number of used images of depth images.
  • the shape restoration unit 953 restores shape data. Specifically, the shape restoration unit 953 restores the high resolution shape data by integrating the low resolution shape data and the depth image selected by the image selection unit 952 using the transmission viewpoint metadata.
  • FIGS. 47 an example of a method for integrating the low-resolution shape data and the depth image will be described with reference to FIGS.
  • shape data viewed from the virtual viewpoint 1002 is restored using a depth image when the object 1021 is viewed from the transmission viewpoint 1001 in FIG. 47 will be described as an example.
  • a depth image 1031 in FIG. 48 is a depth image when the object 1021 is viewed from the transmission viewpoint 1001 in FIG.
  • a virtual viewpoint depth image 1032 when the object 1021 is viewed from the virtual viewpoint 1002 is generated.
  • the pixel value of a left crescent-shaped area that is not visible from the transmission viewpoint 1001 (hereinafter referred to as a blind spot area) is set to zero.
  • a virtual viewpoint depth image 1034 when the object 1021 is viewed from the virtual viewpoint 1002 is generated.
  • the virtual viewpoint depth image 1034 has a lower resolution than the depth image 1031 and the virtual viewpoint depth image 1032.
  • the depth image 1031 and the virtual viewpoint depth image 1032 are respectively referred to as a high resolution depth image 1031 and a high resolution virtual viewpoint depth image 1032, and the virtual viewpoint depth image 1034 is a low resolution. This is referred to as a virtual viewpoint depth image 1034.
  • a portion other than the blind spot area of the high resolution virtual viewpoint depth image 1032 is superimposed on the low resolution virtual viewpoint depth image 1034 to generate a high resolution virtual viewpoint depth image 1035.
  • the area corresponding to the blind spot area of the high resolution virtual viewpoint depth image 1032 has a low resolution, and the other areas have a high resolution.
  • the joint between the high resolution region and the low resolution region of the high resolution virtual viewpoint depth image 1035 is, for example, a combination of the high resolution virtual viewpoint depth image 1032 and the low resolution virtual viewpoint depth image 1034.
  • the other depth image selected by the image selection unit 952 is also superimposed on the low resolution virtual viewpoint depth image 1034, and based on the obtained high resolution virtual viewpoint depth image, high resolution shape data including a three-dimensional polygon mesh is obtained. Is generated.
  • a high-resolution polygon mesh 1041 when the object 1021 is viewed from the virtual viewpoint 1002 is generated based on the high-resolution depth image 1031.
  • the low-resolution polygon mesh 1042 is low-resolution shape data when the object 1021 is viewed from the virtual viewpoint 1002. Then, the high resolution polygon mesh 1043 is generated by synthesizing the high resolution polygon mesh 1041 with the low resolution polygon mesh 1042. Therefore, in the high resolution polygon mesh 1043, the area corresponding to the high resolution polygon mesh 1041 has a high resolution, and the other areas have a low resolution.
  • the region of the low resolution polygon mesh 1042 that overlaps the high resolution polygon mesh 1041 is replaced with the high resolution polygon mesh 1041.
  • a break near the boundary between the high resolution polygon mesh 1041 and the low resolution polygon mesh 1042 is connected using the edge of the polygon.
  • the high resolution polygon mesh 1041 is superimposed on the low resolution polygon mesh 1042. At this time, the region overlapping the high resolution polygon mesh 1041 of the low resolution polygon mesh 1042 is pushed into the back side of the high resolution polygon mesh 1041.
  • the high resolution polygon mesh generated based on the other depth image selected by the image selection unit 952 is also synthesized with the low resolution polygon mesh 1042, thereby generating high resolution shape data including a three-dimensional polygon mesh. Is done.
  • the high-resolution shape data is generated by integrating the depth image selected by the image selection unit 952 and the low-resolution shape data.
  • the larger the reproduction resources and the more depth images to be used the wider the high resolution area in the high resolution shape data.
  • the smaller the reproduction resource and the smaller the depth image to be used the narrower the high resolution area in the high resolution shape data.
  • FIG. 52 shows a case where reproduction resources are large and the high-resolution shape data 1063a is generated using the low-resolution shape data 1061 and the depth images 1062-1 to 1062-4 of all transmission viewpoints. Show. In this case, almost the entire circumference of the high-resolution shape data 1063a has a high resolution, and the shape data substantially the same as the high-resolution shape data before the resolution is lowered is restored by the resolution conversion unit 903 of the reception unit 802.
  • FIG. 53 shows that the low-resolution shape data 1061 is generated using only the low-resolution shape data 1061 and the depth image 1062-1 and the depth image 1062-4 corresponding to the transmission viewpoint close to the virtual viewpoint. Shows the case.
  • the high resolution shape data 1063b the vicinity of the area seen from the virtual viewpoint has a high resolution, and the other areas have a low resolution.
  • the shape restoration unit 953 supplies the generated high resolution shape data to the drawing unit 844.
  • step S237 the drawing unit 844 performs a drawing process. For example, the drawing unit 844 adds color information to the high resolution shape data using the texture image based on the high resolution shape data and the transmission viewpoint metadata. Then, the drawing unit 844 generates a display image by perspectively projecting the high-resolution shape data to which the color information is added from the virtual viewpoint to the visual field range. The drawing unit 844 supplies the display image to the display unit 845.
  • step S2308 the display unit 845 displays an image based on the display image.
  • the texture image and the depth image used for generating the display image are appropriately thinned based on the virtual viewpoint and the reproduction resource, the load of the reproduction process is reduced. Thereby, even if there are few reproduction resources, a display image comes to be displayed smoothly.
  • the texture image and the depth image in the region that can be seen from the virtual viewpoint are preferentially left, the deterioration of the image quality of the image in the viewer's visual field range is suppressed.
  • the amount of data of the depth image is smaller than that of three-dimensional high-resolution shape data. Therefore, the transmission amount of data between the transmission unit 801 and the reception unit 802 can be reduced by transmitting the depth stream of each transmission viewpoint and the low-resolution shape stream instead of the high-resolution shape stream.
  • the transmission unit 801 When there are a plurality of display target objects, for example, the transmission unit 801 generates a texture stream of each transmission viewpoint, a depth stream of each transmission viewpoint, and a low-resolution shape stream for each display target object, and transmits them to the reception unit 802. Is done.
  • one display target object may include a plurality of real objects depending on the positional relationship between the real objects. For example, when a person is sitting on a chair, one display target object includes the person and the chair.
  • FIG. 54 is a diagram showing another example of the texture image of the first layer.
  • the texture image of each surface of the first layer is the texture image of one viewpoint O, but the left eye viewpoint texture image and the right eye viewpoint texture image corresponding to the viewpoint O are synthesized. It may be.
  • the texture image of each surface of the first layer includes, for example, the texture image 1101 of each surface of the first layer of the left eye viewpoint corresponding to the viewpoint O, and the right eye.
  • the texture image 1102 of each surface of the first layer of the viewpoint for use may be a packed image 1100 packed in the horizontal direction (horizontal direction).
  • the texture image of each surface of the first layer is, for example, a packed image 1110 in which the texture image 1101 and the texture image 1102 are packed in the vertical direction (vertical direction). Good.
  • the texture image of each face of the second layer includes the texture image of the second layer of the viewpoint for the left eye corresponding to the viewpoint of one second layer of the face, and the texture of the second layer of the viewpoint for the right eye.
  • a packing image in which images are packed in the horizontal direction or the vertical direction may be used.
  • the texture image of each surface of the first layer and the second layer is a texture image in which images of the left eye viewpoint and the right eye viewpoint are packed
  • the texture image obtained as a result of decoding is for the left eye
  • the viewpoint texture image and the right-eye viewpoint texture image are separated.
  • three-dimensional data for the left eye and three-dimensional data for the right eye are generated for the first layer and the second layer.
  • a display image for the left eye is generated from the three-dimensional data for the left eye.
  • a display image for the right eye is generated from the three-dimensional data for the right eye.
  • the omnidirectional image is generated by mapping the captured image to the regular octahedron, but the 3D model to which the captured image is mapped is not limited to the regular octahedron, It can be a cube.
  • the omnidirectional image is, for example, an image obtained by equirectangular projection of a sphere to which the captured image is mapped.
  • the texture image and the depth image are generated by perspective-projecting the omnidirectional image on the six surfaces constituting the cube.
  • the perspective image is seen on different surfaces other than the cube. By projecting, a texture image and a depth image may be generated.
  • the low resolution texture stream and the low resolution depth stream may not be generated.
  • the depth images of the first layer and the second layer may not be generated.
  • the texture image and depth image of the second layer may be generated only for a part of the surface onto which the captured image of the important subject is mapped.
  • the low resolution texture image and the low resolution depth image may be generated in a layered manner, similarly to the high resolution texture image and the depth image.
  • the number of layers of the texture image and the depth image may be 3 or more.
  • texture images and depth images of the third and subsequent layers may be generated by perspective-projecting the omnidirectional image from a different viewpoint from the first layer and the second layer.
  • an image of each layer may be generated so that there is no dependency between layers.
  • images corresponding to six surfaces constituting a cube centered on the viewpoint in the omnidirectional image may be generated in a hierarchy for each of a plurality of distances from the viewpoint. For example, when mapping an omnidirectional image to a predetermined plane, an image in which all subjects from the viewpoint are mapped, an image in which only subjects whose distance from the viewpoint is a first distance or more are mapped, and the distance from the viewpoint is Images of a plurality of layers corresponding to the surface may be generated based on an image obtained by mapping only a subject equal to or greater than the second distance (> first distance).
  • perspective projection is used to generate a two-dimensional image such as a display image
  • a projection method other than perspective projection may be used.
  • the tan axis projection shown in FIGS. 55 and 56 can be used.
  • a projection plane 1121 having z of ⁇ 1.0 is set in the three-dimensional xyz coordinate system of the 3D model.
  • the coordinate system of the projection plane 1121 is a two-dimensional st coordinate system in which the center O ′ of the projection plane 1121 is the origin, the horizontal direction of the projection plane 1121 is the s direction, and the vertical direction is the t direction.
  • a vector 1122 from the origin O of the xyz coordinate system to the coordinates (s, t) of the st coordinate system is represented by the coordinates (s, t) and -1.0, which is the distance from the origin O to the projection plane 1121. And is called a vector (s, t, -1.0).
  • FIG. 56 is a diagram for explaining tan axis projection (tangent axis projection).
  • FIG. 56 is a view of the projection plane 1121 as viewed in the negative z direction.
  • the minimum value of the s value and the t value of the projection plane 1121 is ⁇ 1.0, and the maximum value is 1.0.
  • the projection point is set on the projection plane 1121 so that the projection vector from the origin O toward the projection point on the projection plane 1121 becomes a vector (s ′, t′-1.0).
  • s ′ is a value for each predetermined interval provided in a range of s values from ⁇ 1.0 to 1.0
  • t ′ is a predetermined interval provided in a range of t values from ⁇ 1.0 to 1.0. Is the value of Accordingly, the projection points in the perspective projection are uniform on the projection plane 1121.
  • the projection vectors are vectors (tan (s ′ * ⁇ w / 2), tan (t ′ Projection points are set on the projection plane 1121 so that * ⁇ w / 2), ⁇ 1.0).
  • the vectors (tan (s ′ * ⁇ w / 2), tan (t ′ * ⁇ w / 2), ⁇ 1.0) are set such that s ′ * ⁇ w / 2 is ⁇ and t ′ * ⁇ w / 2 is ⁇ . Then, it becomes a vector (tan ⁇ , tan ⁇ , -1.0). At this time, when the angle of view ⁇ w approaches ⁇ , tan ⁇ and tan ⁇ diverge to infinity.
  • the vector (tan ⁇ , tan ⁇ , -1.0) is corrected to the vector (sin ⁇ * cos ⁇ , cos ⁇ * sin ⁇ , -cos ⁇ * cos ⁇ ) so that tan ⁇ and tan ⁇ do not diverge infinitely, and the projection vector becomes the vector (sin ⁇ Projection points are set on the projection plane 1121 such that * cos ⁇ , cos ⁇ * sin ⁇ , -cos ⁇ * cos ⁇ ). Accordingly, in tan-axis projection, the angles formed by projection vectors corresponding to adjacent projection points are the same.
  • tan (s ′ * ⁇ w / 2) and tan (t ′ * ⁇ w / 2) are considered to be s ′, t ′ of the tan axis, similarly to the logarithmic axis (log scale). Therefore, in this specification, a projection whose projection vector is a vector (tan (s ′ * ⁇ w / 2), tan (t ′ * ⁇ w / 2), ⁇ 1.0) is referred to as a tan-axis projection.
  • the ratio of the priorities A to D assigned to each encoded stream may be variable.
  • the priority setting unit 511 of the home server 13b or 13c makes the priority ratio variable according to the processing capacity and load of the home server 13b or 13c, or the progress of decoding processing of each encoded stream. Also good. For example, when the load on the home server 13b or 13c is low, the priority setting unit 511 increases the ratio of the encoded stream set to the priority A, and when the load on the home server 13b or 13c is high, the priority setting unit 511 You may increase the ratio of the encoding stream set to degree D. FIG.
  • the priority classification method in FIG. 35 is an example, and can be arbitrarily changed.
  • the priority may be classified into two types, three types, or five or more types.
  • decoding and rendering of a plurality of encoded streams corresponding to images in two or more different directions other than the omnidirectional image are prioritized between the encoded streams. It can also be applied to the case of attaching. Further, for example, the second and third embodiments are also applied to the case where decoding and rendering of a plurality of encoded streams corresponding to images of different layers in the same direction are performed with priority between layers. be able to.
  • the score calculation table in FIG. 37 can be arbitrarily changed. For example, it is possible to increase or decrease the types of addition factors, or to change the reference value or weighting factor.
  • thinning out pictures at each priority level can be arbitrarily changed. Further, thinning out pictures may be performed in the low-resolution encoded stream.
  • the decoding unit 851 may perform the thinning out process.
  • the decoding unit 851 may select a texture stream and a depth stream to be decoded according to the priority, and decode only the selected texture stream and depth stream.
  • the thinning process may be performed not on the receiving unit 802 side but on the transmitting unit 801 side.
  • the viewpoint setting unit 901 of the transmission unit 801 selects a transmission viewpoint for generating a texture image and a depth image based on the virtual viewpoint or the priority and the reproduction resource.
  • the viewpoint setting unit 901 sets the number of transmission viewpoints to be used based on the playback resource, and based on the received priority or based on the priority set based on the virtual viewpoint. A set number of transmission viewpoints are selected from the transmission viewpoints.
  • the texture image and the depth image at the selected transmission viewpoint are generated, whereby the texture image and the depth image are thinned out. Further, the number of texture streams and depth streams transmitted from the transmission unit 801 to the reception unit 802 is reduced, and the data transmission amount between the transmission unit 801 and the reception unit 802 is reduced.
  • the encoding unit 823 selects a transmission viewpoint based on the virtual viewpoint or priority and reproduction resources, and sets the selected transmission viewpoint. Only a texture image and a depth image corresponding to each other may be compression-encoded to generate a texture stream and a depth stream.
  • the transmission unit 814 selects a transmission viewpoint based on the virtual viewpoint or priority and playback resources, and corresponds to the selected transmission viewpoint. Only the texture stream and the depth stream to be transmitted may be transmitted to the receiving unit 802.
  • the thinning process is performed based on the state of the transmission path between the transmission unit 801 and the reception unit 802 in addition to or instead of the reproduction resource. It may be.
  • the transmission unit 801 performs the above-described decimation process, thereby increasing the number of encoded streams to be transmitted as the capacity of the usable transmission path increases, and transmitting as the capacity of the usable transmission path decreases.
  • the number of encoded streams may be reduced.
  • the thinning process on the transmission side can be applied to, for example, the second embodiment or the third embodiment described above.
  • the picture to be decoded or rendered is thinned out by performing decoding and rendering of each encoded stream with priority.
  • the encoded stream to be generated or transmitted may be thinned out.
  • the content server 12 may stop the generation or transmission of the encoded stream of the priority D, or thin out the pictures included in the encoded stream of the priority B or the priority C.
  • the priority set on the transmission side (for example, the transmission unit 801) or the selection result of the image or the encoded stream is transmitted to the reproduction side (for example, the reception unit 802), and acquired on the reproduction side from the transmission side.
  • a thinning process may be performed based on the information.
  • the stream generation unit 812 of the transmission unit 801 generates a display image corresponding to the virtual viewpoint, generates a display image stream obtained by compressing and encoding the display image, and sends it to the reception unit 802. You may make it transmit.
  • the three-dimensional shape data it is not always necessary to generate three-dimensional shape data surrounding the entire circumference of the display target object.
  • the three-dimensional shape data only needs to include at least a region visible from the viewpoint within the range.
  • a depth image is generated from high-resolution shape data.
  • a depth image is generated using a camera capable of detecting a depth, such as a ToF camera. You may make it acquire.
  • the virtual viewpoint may be set without being based on the viewer's line of sight or viewing position.
  • the virtual viewpoint may be set at a preset position.
  • ⁇ Application example> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 57 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 1205 is connected to the bus 1204.
  • An input unit 1206, an output unit 1207, a storage unit 1208, a communication unit 1209, and a drive 1210 are connected to the input / output interface 1205.
  • the input unit 1206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1207 includes a display, a speaker, and the like.
  • the storage unit 1208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1209 includes a network interface or the like.
  • the drive 1210 drives a removable medium 1211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1201 loads the program stored in the storage unit 1208 to the RAM 1203 via the input / output interface 1205 and the bus 1204 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 1200 can be provided by being recorded on the removable medium 1211 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1208 via the input / output interface 1205 by attaching the removable medium 1211 to the drive 1210. Further, the program can be received by the communication unit 1209 via a wired or wireless transmission medium and installed in the storage unit 1208. In addition, the program can be installed in the ROM 1202 or the storage unit 1208 in advance.
  • the program executed by the computer 1200 may be a program that is processed in time series in the order described in the present specification, or a necessary timing such as when the call is performed in parallel. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 58 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided.
  • control unit 7600 as a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 59 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 59 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the image display system 10, 700, or 800 according to the present embodiment described with reference to FIGS. 1 to 54 may be installed in any control unit or the like. It can. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the image display system 10, 700, or 800 can be applied to the vehicle control system 7000 of the application example shown in FIG.
  • the multi-camera 11 of the image display system 10 or 700 or the imaging unit 811 of the image display system 800 corresponds to at least a part of the imaging unit 7410.
  • the transmission unit 801 (excluding the imaging unit 811) and the reception unit 802 (excluding the display unit 845) are integrated and correspond to the microcomputer 7610 and the storage unit 7690 of the integrated control unit 7600.
  • the head mounted display 15 or the display unit 845 corresponds to the display unit 7720.
  • the image display system 10 or 700 is applied to the vehicle control system 7000, the camera 13A, the marker 15A, and the gyro sensor 15B are not provided, and the viewer's line of sight is operated by operating the input unit 7800 of the passenger who is the viewer.
  • Direction and viewing position are input.
  • the image display system 800 is applied to the vehicle control system 7000, the camera 846 is not provided, and the viewer's line-of-sight direction and viewing position are input by operating the input unit 7800 of the passenger who is the viewer.
  • the image display system 10, 700, or 800 is applied to the vehicle control system 7000 of the application example shown in FIG.
  • a high-quality display image can be generated using these images.
  • the components of the image display system 10, 700, or 800 is realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 illustrated in FIG. May be.
  • the image display system 10, 700, or 800 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • An image processing apparatus comprising: a drawing unit that generates the display image based on the generated or selected image.
  • the image processing unit performs decoding and rendering of each encoded stream based on the priority,
  • the image processing device according to (1), wherein the drawing unit generates a display image based on a plurality of generated images generated by performing decoding and rendering of the encoded streams.
  • the plurality of projection images include images of a plurality of layers
  • the image processing device according to (2) wherein the image processing unit further performs decoding and rendering of each encoded stream based on a priority between the layers.
  • the image processing apparatus according to (3) wherein the images of the plurality of layers are obtained by projecting the omnidirectional image from different viewpoints.
  • the image processing device according to (2) or (4), wherein the image processing unit increases an amount of thinning out a picture to be decoded or an amount of thinning out a picture to be rendered as the encoded stream has a lower priority.
  • the image processing unit is a first picture that is decoded using inter-frame prediction and is not referred to by another picture, and a picture that is decoded using inter-frame prediction as the priority decreases.
  • the image processing device according to (5), wherein a picture to be thinned out is added in the order of a second picture referenced from the picture of the first picture and a third picture decoded independently.
  • the image processing unit decodes and renders each encoded stream based on the priority when the occurrence of any delay in rendering of the encoded stream is predicted. (2) to ( The image processing apparatus according to any one of 6).
  • the image processing unit further performs decoding and rendering of a sub-encoded stream obtained by encoding a low-resolution image in which the omnidirectional image has a lower resolution than the projection image,
  • the drawing unit generates the display image based on a low-resolution generated image generated by performing decoding and rendering of the sub-encoded stream.
  • the image according to any one of (2) to (7) Processing equipment.
  • the image processing unit does not decode and render the sub-encoded stream, and the drawing unit is configured based on the plurality of generated images.
  • the image processing unit When occurrence of a delay in rendering of any of the encoded streams is predicted, the image processing unit performs decoding and rendering of the sub-encoded stream, and each encoded stream based on the priority
  • the image processing apparatus according to (8) or (9), wherein the rendering unit generates the display image based on the plurality of generated images and the low-resolution generated image.
  • the image processing unit performs at least one of selection of the encoded stream to be decoded and selection of the viewpoint image obtained by decoding the encoded stream based on the priority (1)
  • An image processing apparatus according to 1.
  • the plurality of viewpoint images include a plurality of texture images when the object is viewed from different viewpoints, and a plurality of depth images when the object is viewed from different viewpoints
  • the image processing unit represents a three-dimensional shape of the object, performs decoding of an encoded shape stream obtained by encoding first shape data having a resolution lower than that of the depth image, and the selected depth image, and Based on the first shape data, generate second shape data having a higher resolution than the first shape data,
  • the image processing device according to (11), wherein the drawing unit generates the display image based on the selected texture image and the second shape data.
  • the image processing device The encoding based on a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces, or priority between a plurality of encoded streams obtained by encoding a plurality of viewpoint images from different viewpoints.
  • An image processing method comprising: a drawing step of generating the display image based on the generated or selected image.
  • An image acquisition unit for acquiring a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces, or a plurality of viewpoint images from different viewpoints;
  • An image processing apparatus comprising: a transmission unit configured to transmit a part or all of the plurality of projection images or the plurality of viewpoint images based on a priority between the plurality of projection images or between the plurality of viewpoint images.
  • An encoding unit that encodes the plurality of projection images or the plurality of viewpoint images and generates a plurality of encoded streams; Among the process of selecting the projection image or the viewpoint image to be encoded by the encoding unit based on the priority, and the process of selecting the encoded stream transmitted by the transmission unit based on the priority
  • the image processing apparatus according to (14), wherein at least one process is performed.
  • the encoding unit further encodes the projection image or the viewpoint to be encoded based on at least one of a state of a transmission path for transmitting the encoded stream and resources of an apparatus for reproducing the encoded stream.
  • the transmission unit further selects the encoded stream to be transmitted based on at least one of a situation of a transmission path for transmitting the encoded stream and resources of an apparatus that reproduces the encoded stream.
  • the image processing apparatus according to (15).
  • the encoding unit further encodes a low-resolution image in which the omnidirectional image has a lower resolution than the projection image, and generates a sub-encoded stream.
  • the image processing apparatus according to any one of (14) to (16), wherein the transmission unit further transmits the sub-encoded stream.
  • the image processing device according to (17), wherein the priority of the sub-encoded stream is higher than the priority of the encoded stream.
  • the plurality of projected images include a plurality of texture images and a plurality of depth images obtained by projecting the texture image and the depth image of the omnidirectional image onto the plurality of surfaces.
  • the image processing apparatus according to any one of the above. (20) The image processing device An image acquisition step of acquiring a plurality of projection images obtained by projecting an omnidirectional image onto a plurality of surfaces, or a plurality of viewpoint images from different viewpoints; A transmission step of transmitting a part or all of the plurality of projection images or the plurality of viewpoint images based on a priority between the plurality of projection images or between the plurality of viewpoint images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、視聴者の視野範囲の画像の画質の低下を抑制することができるようにする画像処理装置および画像処理方法に関する。 画像処理装置は、全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理部と、前記生成または選択された画像に基づいて、前記表示画像を生成する描画部とを備える。本開示は、例えば、全天球画像から視聴者の視野範囲の表示画像を生成するホームサーバ等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、視聴者の視野範囲の画像の画質の低下を抑制できるようにした画像処理装置および画像処理方法に関する。
　マルチカメラにより撮影された全方向の撮影画像から、水平方向の周囲３６０度および垂直方向の周囲１８０度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。
　このような記録装置では、全天球画像の生成方法として、正距円筒図法やキューブマッピングなどの３Ｄ画像から２Ｄ画像にマッピングを行う方法が用いられる。全天球画像の生成方法として正距円筒図法が用いられる場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法としてキューブマッピングが用いられる場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。
　一方、記録装置により記録された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いて視聴者の視野範囲の画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上にテクスチャとして貼り付け、その３Ｄモデルの内部の１点から、視聴者の視線ベクトルの方向の３Ｄモデルの表面のテクスチャを見たときの視聴者の視野範囲の画像を表示させる。これにより、視聴者の視野範囲の撮影画像を再現する。
　この再現方法は、ＣＧ（Computer Graphics）の分野では、環境光モデルと呼ばれる。また、正距円筒図法で生成された画像を球の表面に貼る環境光モデルは、Sphere Modelと呼ばれ、キューブマッピングで生成された画像を立方体の表面に貼る環境光モデルは、Cube Modelと呼ばれる。
　視聴者の視野範囲の撮影画像は、全天球画像のうちの、視聴者の視線ベクトルに対応する領域のみを用いて再現することができる。例えば、水平方向の視野角が９０度である場合、水平方向については、水平方向の周囲３６０度の全方向の画像がマッピングされている全天球画像のうちの４分の１しか、視聴者の視野範囲の撮影画像の再現に用いられない。垂直方向についても同様である。
　従って、全天球画像全体の符号化ストリームを復号することは無駄が多い。しかしながら、視線ベクトルは視聴者によって決められるため、記録装置は、全天球画像のうちの視線ベクトルに対応する領域のみを符号化することはできない。
　また、全天球画像が、MPEG2（Moving Picture Experts Group phase 2）やAVC（Advanced Video Coding）/H.264などの一般的な符号化方式で符号化される場合、画面全体の情報を用いて符号化が行われる。従って、全天球画像が１枚の画像として符号化された符号化ストリームから、視聴者の視線ベクトルに対応する領域の符号化ストリームのみを復号することは難しい。
　そこで、記録装置が、全天球画像を分割して符号化し、再生装置が、視聴者の視線ベクトルに対応する分割領域の符号化ストリームのみを復号することにより、復号処理の負荷を軽減することが考えられている（例えば、特許文献２および特許文献３）。
特開２００６－１４１７４号公報 特開２００１－２９８６５２号公報 特開２００２－３１２７７８号公報
　しかしながら、特許文献２および特許文献３の技術では、例えば、視聴者の視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する分割領域の復号処理が間に合わず、視聴者の視野範囲の画像の全部または一部の非表示、フリーズ、または更新の遅延が発生し、画質が低下するおそれがある。
　これを防ぐために、復号する分割領域の数を増やすと、結局復号処理の負荷が増大する。その結果、例えば、再生装置の処理能力等の要因により、復号処理が遅延し、視聴者の視野範囲の画像の全部または一部の非表示、フリーズ、または更新の遅延が発生し、画質が低下するおそれがある。
　本開示は、このような状況に鑑みてなされたものであり、視聴者の視野範囲の画像の画質の低下を抑制できるようにするものである。
　本開示の第１の側面の画像処理装置は、全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理部と、前記生成または選択された画像に基づいて、前記表示画像を生成する描画部とを備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第２の側面の画像処理装置は、全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を取得する画像取得部と、前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部を伝送する伝送部とを備える画像処理装置である。
　本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
　本開示の第１の側面においては、全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択が行われ、前記生成または選択された画像に基づいて、前記表示画像が生成される。
　本開示の第２の側面においては、全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像が取得され、前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部が伝送される。
　なお、本開示の第１の側面または第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、本開示の第１の側面または第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、画像を生成することができる。また、本開示の第１の側面によれば、視聴者の視野範囲の画像の画質の低下を抑制することができる。
　本開示の第２の側面によれば、画像を伝送することができる。また、本開示の第２の側面によれば、視聴者の視野範囲の画像の画質の低下を抑制することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
画像表示システムの第１実施の形態の構成例を示すブロック図である。 コンテンツサーバの構成例を示すブロック図である。 高解像度画像処理部の構成例を示すブロック図である。 距離ｚと距離ｒを説明する図である。 ３Ｄモデル座標系のＸ軸の変化を示す図である。 ３Ｄモデル座標系のＸ軸の変化に伴う最小値zminと最小値rminの変化を説明する図である。 第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。 第１レイヤの面の例を示す図である。 第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。 第１レイヤの所定の面に対応する被写体の奥行き方向の位置を示す図である。 第１レイヤおよび第２レイヤのテクスチャ画像の構成例を示す図である。 第１レイヤと第２レイヤのテクスチャ画像の例を説明する図である。 第１レイヤと第２レイヤのテクスチャ画像の他の例を説明する図である。 第２レイヤの視点の第１の例を示す図である。 第２レイヤの視点位置情報および面情報のテーブルの第１の構成例を示す図である。 第２レイヤの視点の第２の例を示す図である。 第２レイヤの視点位置情報および面情報のテーブルの第２の構成例を示す図である。 ストリーム生成処理を説明するフローチャートである。 ホームサーバの第１実施の形態の構成例を示すブロック図である。 ＭＬ３Ｄモデル生成部の第１実施の形態の構成例を示すブロック図である。 低解像度３Ｄモデル生成部の第１実施の形態の構成例を示すブロック図である。 接続情報の例を説明する図である。 接続情報の他の例を説明する図である。 サンプリング点の例を説明する図である。 サンプリング点の他の例を説明する図である。 オクルージョン処理を説明する図である。 再生処理の第１実施の形態を説明するフローチャートである。 ３次元データ生成処理の詳細を説明するフローチャートである。 三角形パッチ有効無効情報を説明する図である。 ホームサーバの第２実施の形態の構成例を示すブロック図である。 ＭＬ３Ｄモデル生成部の第２実施の形態の構成例を示すブロック図である。 低解像度３Ｄモデル生成部の第２実施の形態の構成例を示すブロック図である。 再生処理の第２実施の形態を説明するフローチャートである。 表示画像生成処理の詳細を説明するフローチャートである。 優先度とピクチャの間引き方法の例を示す図である。 優先度設定処理の詳細を説明するフローチャートである。 スコア算出テーブルの例を示す図である。 ホームサーバの第３実施の形態の構成例を示すブロック図である。 画像表示システムの第２実施の形態の構成例を示すブロック図である。 画像表示システムの第３実施の形態の構成例を示すブロック図である。 撮影視点メタデータのデータ構成の例を示す図である。 変換部の構成例を示すブロック図である。 再構成部の構成例を示すブロック図である。 ストリーム生成処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 画像の選択方法を説明する図である。 伝送視点と仮想視点の関係を示す図である。 低解像度形状データとデプス画像の第１の統合方法を説明する図である。 低解像度形状データとデプス画像の第２の統合方法を説明する図である。 低解像度ポリゴンメッシュと高解像度ポリゴンメッシュの第１の合成方法を説明する図である。 低解像度ポリゴンメッシュと高解像度ポリゴンメッシュの第２の合成方法を説明する図である。 再生リソースが大きい場合の高解像度形状データの生成方法の例を説明する図である。 再生リソースが小さい場合の高解像度形状データの生成方法の例を説明する図である。 第１レイヤのテクスチャ画像の他の例を示す図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：画像表示システム
　２．第２実施の形態：ホームサーバ
　３．第３実施の形態：ホームサーバ
　４．第４実施の形態：画像表示システム
　５．第５実施の形態：画像表示システム
　６．変形例
　７．応用例
　＜第１実施の形態＞
　（画像表示システムの第１実施の形態の構成例）
　図１は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
　図１の画像表示システム１０は、マルチカメラ１１、コンテンツサーバ１２、ホームサーバ１３、変換装置１４、およびヘッドマウントディスプレイ１５により構成される。画像表示システム１０は、マルチカメラ１１により撮影されたYCbCr画像（YUV画像）である撮影画像から全天球画像を生成し、全天球画像のうちの視聴者の視野範囲の画像を表示する。
　具体的には、画像表示システム１０のマルチカメラ１１は、水平方向の周囲360度および垂直方向の周囲180度を撮影範囲として、外向きに配置された複数（図１の例では６個）のカメラにより構成される。各カメラは、撮影を行い、撮影画像をフレーム単位で生成する。マルチカメラ１１は、各カメラの撮影画像をコンテンツサーバ１２に供給する。
　コンテンツサーバ１２は、マルチカメラ１１から供給される各カメラの撮影画像から、所定の視点の全天球画像のテクスチャ画像とデプス画像を生成する。第１実施の形態では、デプス画像は、所定の視点から各画素における被写体までの直線の距離ｒを示す8ビットの値としての、距離ｒの逆数1/rを画素値とする画像である。
　コンテンツサーバ１２は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像とを生成する。コンテンツサーバ１２は、低解像度テクスチャ画像と低解像度デプス画像を、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる低解像度テクスチャ画像の符号化ストリーム（以下、低解像度テクスチャストリームという）と低解像度デプス画像の符号化ストリーム(以下、低解像度デプスストリームという)を記憶する。
　なお、以下、低解像度テクスチャストリームおよび低解像度デプスストリームを個々に区別する必要がない場合、低解像度符号化ストリームという。
　また、コンテンツサーバ１２は、各カメラの撮影画像を用いて、全天球画像における視点を中心とした立方体を構成する６つの面に対応するテクスチャ画像とデプス画像を階層化して生成する。具体的には、コンテンツサーバ１２は、６つの面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を生成する。なお、全天球画像における視点と立方体の中心は異なっていていてもよい。
　コンテンツサーバ１２は、各面の第１レイヤのテクスチャ画像とデプス画像からなる第１レイヤ画像と、各面の第２レイヤのテクスチャ画像とデプス画像からなる第２レイヤ画像を、面、画像の種類、およびレイヤごとに、AVCやHEVC等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる各面の第１レイヤのテクスチャ画像の符号化ストリーム（以下、第１レイヤテクスチャストリームという）、第１レイヤのデプス画像の符号化ストリーム（以下、第１レイヤデプスストリームという）、第２レイヤのテクスチャ画像の符号化ストリーム（以下、第２レイヤテクスチャストリームという）、および第２レイヤのデプス画像の符号化ストリーム(以下、第２レイヤデプスストリームという)を記憶する。なお、第１レイヤ画像と第２レイヤ画像の符号化方式は、MVC（Multiview Video Coding）方式や3D-HEVC方式等であってもよい。
　なお、以下、第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを個々に区別する必要がない場合、高解像度符号化ストリームという。
　また、コンテンツサーバ１２は、第１レイヤおよび第２レイヤの各面に関する情報等をメタデータとして生成し、記憶する。コンテンツサーバ１２は、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
　なお、コンテンツサーバ１２は、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを再構成（詳細は後述する）することもできる。この場合、コンテンツサーバ１２は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームと、それらに対応するメタデータをホームサーバ１３に伝送することもできる。しかしながら、以下では、説明の便宜上、再構成が行われた場合であっても、再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームが、コンテンツサーバ１２に伝送されるものとする。
　ホームサーバ１３（画像処理装置)は、コンテンツサーバ１２から伝送されてくる、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取る。
　また、ホームサーバ１３は、カメラ１３Ａを内蔵し、視聴者の頭部に装着されるヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影する。そして、ホームサーバ１３は、マーカ１５Ａの撮影画像に基づいて視聴位置を検出する。さらに、ホームサーバ１３は、ヘッドマウントディスプレイ１５のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から変換装置１４を介して受け取る。ホームサーバ１３は、ジャイロセンサ１５Ｂの検出結果に基づいて視聴者の視線方向を決定し、視聴位置と視線方向に基づいて視聴者の視野範囲を決定する。
　ホームサーバ１３は、第１レイヤの６つの面のうちの、視聴者の視線方向に対応する３つの面を選択する。そして、ホームサーバ１３は、選択された３つの面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを復号する。これにより、ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像を生成する。
　また、ホームサーバ１３は、低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像、並びに、低解像度テクスチャ画像と低解像度デプス画像を用いて、視聴者の視野範囲の画像を表示画像として生成する。ホームサーバ１３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置１４に伝送する。
　変換装置１４は、ホームサーバ１３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１５における座標に変換する。変換装置１４は、座標変換後の表示画像をヘッドマウントディスプレイ１５に供給する。
　ヘッドマウントディスプレイ１５は、マーカ１５Ａとジャイロセンサ１５Ｂを有し、視聴者の頭部に装着される。ヘッドマウントディスプレイ１５は、変換装置１４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１５に内蔵されるジャイロセンサ１５Ｂは、ヘッドマウントディスプレイ１５の傾きを検出し、その検出結果を、変換装置１４を介してホームサーバ１３に伝送する。
　（コンテンツサーバの構成例）
　図２は、図１のコンテンツサーバ１２の構成例を示すブロック図である。
　図２のコンテンツサーバ１２は、デプス検出部３１、低解像度画像処理部３３、および高解像度画像処理部３４により構成される。
　コンテンツサーバ１２のデプス検出部３１は、図１のマルチカメラ１１から供給される各カメラの撮影画像の画素ごとに、その画素における被写体を含む奥行き方向に垂直なデプス平面とカメラの間の奥行き方向の距離zの逆数1/zを検出する。デプス検出部３１は、その結果得られる各カメラの撮影画像の各画素の逆数1/zを画素値とするｚ画像を低解像度画像処理部３３と高解像度画像処理部３４に供給する。
　低解像度画像処理部３３は、マルチカメラ１１の３次元座標系(以下、カメラ座標系という)における所定の３次元位置を視点として、マルチカメラ１１から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部３３は、デプス検出部３１から供給される各カメラのｚ画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のｚ画像を生成する。
　低解像度画像処理部３３は、全天球画像のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、低解像度画像処理部３３は、以下の式（１）により、逆数1/rに対して8ビット量子化を行う。
Figure JPOXMLDOC01-appb-M000001
　なお、Ｉd（ｒ）は、距離ｒの逆数1/rの8ビット量子化後の値である。ｒmax，ｒminは、それぞれ、全天球画像における距離ｒの最大値、最小値である。
　低解像度画像処理部３３は、全天球画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、全天球画像のデプス画像を生成する。
　低解像度画像処理部３３は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度画像処理部３３は、低解像度テクスチャ画像と低解像度デプス画像を圧縮符号化し、その結果得られる低解像度テクスチャストリームと低解像度デプスストリームを記憶する。低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
　高解像度画像処理部３４は、マルチカメラ１１から供給される各カメラの撮影画像を用いて、低解像度画像処理部３３における正八面体と中心が同一である立方体を構成する６つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像を生成する。高解像度画像処理部３４は、デプス検出部３１から供給される各カメラのｚ画像を用いて、撮影画像と同様に６つの面に対応する第１レイヤおよび第２レイヤのデプス画像を生成する。
　高解像度画像処理部３４は、各面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を、面、画像の種類、およびレイヤごとに圧縮符号化する。コンテンツサーバ１２は、その結果得られる第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを記憶する。
　また、高解像度画像処理部３４は、メタデータを生成して記憶する。コンテンツサーバ１２は、記憶している６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
　（高解像度画像処理部の構成例）
　図３は、図２の高解像度画像処理部３４の構成例を示すブロック図である。
　図３の高解像度画像処理部３４は、第１レイヤ生成部５０、量子化部５１、エンコーダ５２、第２レイヤ生成部５３、量子化部５４、エンコーダ５５、設定部５６、メタデータ生成部５７、ストレージ５８、再構成部５９、および伝送部６０により構成される。
　第１レイヤ生成部５０には、設定部５６から、カメラ座標系における全天球画像の視点を原点とした３次元座標系（以下、３Ｄモデル座標系という）における、第１レイヤの視点の３次元位置として原点を示す視点位置情報が供給される。また、第１レイヤ生成部５０には、３Ｄモデル座標系における原点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面それぞれの、３Ｄモデル座標系における３次元位置およびサイズを示す面情報が供給される。
　第１レイヤ生成部５０は、視点位置情報が示す原点を第１レイヤの視点（第１の視点）に設定する。第１レイヤ生成部５０は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図１のマルチカメラ１１から供給される撮影画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５０は、第１レイヤの６つの面のテクスチャ画像を生成する。
　また、第１レイヤ生成部５０は、第１レイヤの各面のテクスチャ画像において顔認識処理を行う。そして、第１レイヤ生成部５０は、第１レイヤの各面のテクスチャ画像内の人の顔の有無を示す顔検出情報を生成し、メタデータ生成部５７に供給する。
　さらに、第１レイヤ生成部５０は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図２のデプス検出部３１から供給されるｚ画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５０は、第１レイヤの６つの面のｚ画像を生成する。
　第１レイヤの６つの面に対応する視点は同一であるため、第１レイヤの６つの面のテクスチャ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像を６つの面にマッピングすることにより得られた画像であるといえる。同様に、第１レイヤの６つの面のｚ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像のｚ画像を６つの面にマッピングすることにより得られた画像であるといえる。第１レイヤ生成部５０は、第１レイヤの６つの面のテクスチャ画像をエンコーダ５２に供給し、第１レイヤの６つの面のｚ画像を量子化部５１に供給する。
　量子化部５１は、第１レイヤ生成部５０から供給される第１レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部５１は、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。但し、式（１）におけるｒmax，ｒminは、６つの面全てにおける距離ｒの最大値、最小値である。ｒmaxおよびｒminを６つの面全てにおける距離ｒの最大値および最小値とすることにより、各面の距離ｒの最大値および最小値とする場合に比べて、面ごとに量子化ステップが変化することを防止することができる。量子化部５１は、第１レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第１レイヤの６つの面のデプス画像を生成し、エンコーダ５２に供給する。
　エンコーダ５２は、第１レイヤの６つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第１レイヤテクスチャストリームと第１レイヤデプスストリームを生成する。エンコーダ５２は、第１レイヤテクスチャストリームと第１レイヤデプスストリームをストレージ５８に供給する。
　第２レイヤ生成部５３には、設定部５６から、第１レイヤの各面に対応する第２レイヤの各面の、第１レイヤの視点とは異なる視点（第２の視点）の視点位置情報と、第１レイヤの各面に対応する第２レイヤの各面の面情報とが供給される。第２レイヤ生成部５３は、第２レイヤの面ごとに、その面に対応する視点位置情報が示す３次元位置を第２レイヤの視点に設定する。
　第２レイヤ生成部５３は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、マルチカメラ１１から供給される撮影画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部５３は、第２レイヤの６つの面のテクスチャ画像を生成する。
　また、第２レイヤ生成部５３は、第２レイヤの各面のテクスチャ画像において顔認識処理を行う。そして、第２レイヤ生成部５３は、第２レイヤの各面のテクスチャ画像内の人の顔の有無を示す顔検出情報を生成し、メタデータ生成部５７に供給する。
　さらに、第２レイヤ生成部５３は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、デプス検出部３１から供給されるｚ画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部５３は、第２レイヤの６つの面のｚ画像を生成する。
　即ち、マルチカメラ１１の各カメラの位置は異なっているため、カメラ座標系における１つの３次元位置を視点としたとき、撮影画像には、その視点におけるオクルージョン領域が含まれている。しかしながら、第１レイヤのテクスチャ画像は、１つの視点の全天球画像をマッピングすることにより生成されるため、第１レイヤのテクスチャ画像には、その視点におけるオクルージョン領域の撮影画像は含まれない。よって、第２レイヤ生成部５３は、そのオクルージョン領域の撮影画像を第２レイヤのテクスチャ画像として含める。ｚ画像についても同様である。第２レイヤ生成部５３は、第２レイヤの６つの面のテクスチャ画像をエンコーダ５５に供給し、第２レイヤの６つの面のｚ画像を量子化部５４に供給する。
　量子化部５４は、第２レイヤ生成部５３から供給される第２レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部５４は、量子化部５１と同様に、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。量子化部５４は、第２レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第２レイヤの６つの面のデプス画像を生成し、エンコーダ５５に供給する。
　エンコーダ５５は、第２レイヤの６つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第２レイヤテクスチャストリームと第２レイヤデプスストリームを生成する。エンコーダ５５は、第２レイヤテクスチャストリームと第２レイヤデプスストリームをストレージ５８に供給する。
　設定部５６は、３Ｄモデル座標系における原点を第１レイヤの視点として設定する。設定部５６は、第１レイヤの視点を中心とした立方体を構成する６つの矩形の面をそれぞれ含む６つの面を第１レイヤの面として設定する。また、設定部５６は、第１レイヤの面ごとに第２レイヤの視点と矩形の面を設定する。
　設定部５６は、第１レイヤの１つの視点位置情報と６つの面情報を第１レイヤ生成部５０とメタデータ生成部５７に供給する。また、設定部５６は、第１レイヤの６つの面に対応する第２レイヤの６つの視点位置情報と６つの面情報を、第２レイヤ生成部５３とメタデータ生成部５７に供給する。
　設定部５６は、必要に応じて、視聴者に対して視聴を推奨する方向である推奨視聴方向を設定する。推奨視聴方向は、例えば全天球画像の提供者等により設定され、例えばコンサートの模様を撮影した全天球画像においては、ステージ側の画像の方向が推奨視聴方向に設定される。設定部５６は、推奨視聴方向を示す推奨視聴方向情報をメタデータ生成部５７に供給する。
　メタデータ生成部５７は、第１レイヤ生成部５０および第２レイヤ生成部５３から供給される顔検出情報に基づいて、顔メタデータを生成する。顔メタデータは、例えば、各面の第１レイヤテクスチャストリームおよび第２レイヤテクスチャストリームにおいて、人の顔が出現するフレームまたは期間を示す。
　メタデータ生成部５７は、設定部５６から供給される第１レイヤの視点位置情報および面情報、第２レイヤの視点位置情報および面情報を含むテーブル、設定部５６から供給される推奨視聴方向情報、並びに、顔メタデータを含むメタデータを生成し、ストレージ５８に供給する。
　ストレージ５８は、エンコーダ５２から供給される第１レイヤテクスチャストリームおよび第１レイヤデプスストリーム、並びに、エンコーダ５５から供給される第２レイヤテクスチャストリームおよび第２レイヤデプスストリームを記憶する。また、ストレージ５８は、メタデータ生成部５７から供給されるメタデータを記憶する。
　また、ストレージ５８は、再構成部５９から供給される再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを記憶する。
　再構成部５９は、必要に応じて、ストレージ５８に記憶されている６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを読み出し、再構成する。
　具体的には、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の数や画角を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の数や画角を変更する。例えば、再構成部５９は、第１レイヤの面を、立方体を構成する６つの面をそれぞれ含む６つの面から、その６つの面に各面の中心を通る法線が立方体の１２本の各辺の中点と視点を通る線である１２個の面を加えた１８個の面に変更する。
　または、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面どうしの間隔（密度）を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面どうしの間隔を変更する。例えば、再構成部５９は、第１レイヤの面を、中心を通る法線の間隔が９０度である、立方体を構成する６つの面をそれぞれ含む６つの面から、中心を通る法線の間隔が４５度である１８個の面に変更する。
　第１レイヤの面どうしの間隔が狭くなると、面数が増加するため、総データ容量は増加するが、ホームサーバ１３において、より視聴者の視野範囲に近い第１レイヤの面に対応するテクスチャ画像およびデプス画像を用いて表示画像を生成することができる。その結果、表示画像内の、第１レイヤまたは第２レイヤのテクスチャ画像およびデプス画像を用いて生成される高解像度領域が増加し、表示画像の画質が向上する。
　なお、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の位置を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の位置を変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、主要な被写体が第１レイヤの面の境界に存在するとき、主要な被写体が第１レイヤの面の境界以外の位置（例えば中央）に存在するように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
　また、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の傾きを変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の傾きを変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、第１レイヤのテクスチャ画像内の主要な被写体が傾いているとき、傾きがなくなるように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
　再構成部５９は、以上のようにして変更された第１レイヤの各面に対して、再構成後の第２レイヤの視点と面を設定する。そして、再構成部５９は、再構成前の第２レイヤテクスチャストリームを用いて、第２レイヤテクスチャストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。また、再構成部５９は、再構成前の第２レイヤデプスストリームを用いて、第２レイヤデプスストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。
　再構成部５９は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをストレージ５８に供給する。また、再構成部５９は、再構成後の第１レイヤの視点位置情報および面情報、第２レイヤの視点位置情報および面情報、推奨視聴方向情報、並びに、顔メタデータを含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
　伝送部６０は、ストレージ５８から６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、図１のホームサーバ１３に送信する。
　以上のように、図３の高解像度画像処理部３４は、第１レイヤ画像と第２レイヤ画像を透視投影により生成する。従って、ホームサーバ１３は、第１レイヤ画像と第２レイヤ画像に対して通常の画像用の処理を行うことができる。また、高解像度画像処理部３４は、第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、通常の画像の符号化ストリームの送信方法で送信することができる。
　（距離ｚと距離ｒの説明）
　図４は、距離ｚと距離ｒを説明する図である。
　なお、図４は、第１レイヤに対応する立方体の所定の面を上から見た図である。
　距離ｚは、視点から各画素における被写体を含む奥行き方向に垂直なデプス平面までの奥行き方向の距離である。また、第１レイヤの各面の奥行き方向は、第１レイヤの各面に垂直な方向である。従って、第１レイヤの各面とデプス平面は平行になる。よって、第１レイヤの各面における距離ｚが同一であるデプス平面である等距離ｚ面の形状は、第１レイヤの視点Ｏを中心とした立方体状になる。従って、等距離ｚ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＡの点線で示すように正方形となる。
　これに対して、距離ｒは、視点から各画素における被写体までの直線の距離である。また、第１レイヤの各面の視点Ｏから被写体までの直線の方向は、面によらず、視点Ｏを中心とした円の半径方向である。従って、第１レイヤの各面における距離ｒが同一である等距離ｒ面の形状は、第１レイヤの視点Ｏを中心とした球状になる。よって、等距離ｒ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＢの点線で示すように円状になる。
　（デプス画像の効果の説明）
　なお、以下では、第１レイヤの視点Ｏと、第１レイヤに対応する立方体８０を構成する６つの面の中心を通る６つの面の法線ベクトルのうちの、互いに直交する３つを、３Ｄモデル座標系のＸ軸、Ｙ軸、Ｚ軸の正方向とし、その３つと逆方向の３つを、３Ｄモデル座標系のＸ軸、Ｙ軸、Ｚ軸の負方向とする。
　図５は、３Ｄモデル座標系のＸ軸の変化を示す図であり、図６は、３Ｄモデル座標系のＸ軸の変化に伴う最小値zminと最小値rminの変化を示す図である。
　なお、図５および図６の例では、第１レイヤの各面の画角が９０度であるものとする。
　図５に示すように、第１レイヤに対応する立方体８０がＹ軸を軸としてＸＺ平面上で４５度回転され、第１レイヤの各面の位置が変更される場合、Ｘ軸がＸＺ平面上で４５度回転される。これにより、Ｘ軸の正方向を法線ベクトルとする第１レイヤの面８１の奥行き方向はＸＺ平面上で４５度回転する。
　従って、図６に示すように、Ｘ座標が正の値であり、Ｚ座標が０である位置を中心とした球７６が被写体として面８１の画角内に存在するとき、回転前の面８１における最小値zminは、図６のＡに示すように、視点Ｏと球７６の図６のＡのＸ軸の正方向の距離の最小値である。しかしながら、回転後の面８１における最小値zminは、図６のＢに示すように、視点Ｏと画角内の球７６（図６のＢ中球７６の上半分）の図６のＢのＸ軸の正方向の距離の最小値である。
　また、図６の例の場合、回転前の面８１における最大値zmaxは無限大であるため、回転後の面８１における最大値zmaxも無限大であるが、無限大ではない場合、最小値ｚminと同様の理由により、回転の前後で面８１における最大値zmaxは変化する。第１レイヤの他の面についても同様に、最小値zminと最大値zmaxが変化する。
　また、説明は省略するが、第１レイヤの面の画角、数、または間隔が変更される場合も、第１レイヤの全ての面における最小値zminと最大値zmaxは変化する。
　従って、第１レイヤのデプス画像の各画素のy値（輝度値）として、距離ｚの逆数1/zが用いられると、再構成部５９による再構成時に、各面における最小値zminと最大値zmaxを計算し直し、全ての面における最小値zminと最大値zmaxを決定し直す必要がある。その結果、デプス画像の8ビット量子化をやり直す必要がある。
　これに対して、視点Ｏから被写体までの直線の方向は、第１レイヤの面の位置によらず同一である。従って、図５に示したように立方体８０がＹ軸を軸としてＸＺ平面上で４５度回転される場合であっても、最小値rminと最大値rmaxは同一である。
　即ち、図６のＢに示すように、図６のＡのＸ軸がＸＺ平面上で４５度回転されても、回転前と同様に、視点Ｏから被写体までの直線の方向は、視点Ｏから放射状に延びる方向である。従って、Ｘ軸の回転によらず、第１レイヤの全ての面における最小値rminは、視点Ｏから球７６までの直線の距離の最小値である。第１レイヤの全ての面における最大値rmaxについても、最小値rminの場合と同様の理由により、回転前後で変化しない。
　また、説明は省略するが、第１レイヤの面の画角、数、または間隔が変更される場合も、視点Ｏから被写体までの直線の方向は変化しないため、最小値rminと最大値rmaxは変化しない。
　従って、第１レイヤのデプス画像の各画素のy値として、逆数1/zではなく、逆数1/rの量子化値が用いられることにより、再構成部５９による再構成時にデプス画像の8ビット量子化をやり直す処理を削減することができる。
　なお、上述した説明では、低解像度テクスチャストリームと低解像度デプスストリームは再構成されないようにしたが、再構成されるようにしてもよい。この場合も、低解像度デプス画像の各画素のy値は逆数1/rの量子化値であるので、第１レイヤのデプス画像の再構成時と同様に、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
　また、低解像度テクスチャストリームと低解像度デプスストリームの再構成は、低解像度テクスチャストリームと低解像度デプスストリームのマッピング方式を変更することにより行われてもよい。この場合も、デプス画像の各画素のy値を逆数1/rの量子化値にすることにより、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
　（第１レイヤの６つの面のデプス画像の各画素の球上の位置の例）
　図７は、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。
　なお、図７では、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置が点で表されている。
　第１レイヤの各面のデプス画像の各画素のデプス画像上の位置の間隔は等間隔である。しかしながら、図７に示すように、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の間隔は等間隔ではない。即ち、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の密度は、一定ではない。
　（第１レイヤの面の例）
　図８は、第１レイヤの面の例を示す図である。
　なお、以下では、視点Ｏと６つの面のそれぞれとの距離をＲとしたときのＸ＝Ｒである面を、適宜、＋Ｘ面ともいい、Ｘ＝－Ｒである面を、適宜、－Ｘ面ともいう。同様に、Ｙ＝Ｒである面、Ｙ＝－ｒである面、Ｚ＝Ｒである面、Ｚ＝－Ｒである面を、適宜、＋Ｙ面、－Ｙ面、＋Ｚ面、－Ｚ面ともいう。
　また、図８のＡは、第１レイヤの立方体８０の斜視図であり、図８のＢは、第１レイヤの立方体８０をＹ軸の負方向に見た図である。
　図８のＡに示すように、第１レイヤの１つの面９１は、視点Ｏを中心とした立方体８０を構成する６つの面８１乃至８６のうちの＋Ｙ面８３を含む面である。より詳細には、面９１は、＋Ｙ面８３と同一の位置に設定され、横方向と縦方向の画角が、＋Ｙ面８３の画角である９０度より大きく、１８０度より小さい面である。
　従って、図８のＢに示すように、面９１のテクスチャ画像は、＋Ｙ面８３にマッピングされたテクスチャ画像だけでなく、＋Ｙ面８３に隣接する＋Ｘ面８１、－Ｘ面８２、＋Ｚ面８５、および－Ｚ面８６にマッピングされるテクスチャ画像の一部を含む。面９１のデプス画像についても、テクスチャ画像と同様である。
　図８では、第１レイヤの１つの面９１のみ図示したが、他の５つの面も、面９１と同様に、それぞれ、＋Ｘ面８１、－Ｘ面８２、－Ｙ面８４、＋Ｚ面８５、－Ｚ面８６と同一の位置に設定され、横方向と縦方向の画角が９０度より大きく１８０度より小さい面である。
　以上のように、第１レイヤの６つの面のそれぞれは、立方体を構成する６つの面８１乃至８６のそれぞれを含むように構成されるので、第１レイヤの６つの面のいずれかに必ず、全天球画像がマッピングされる。従って、ホームサーバ１３は、第１レイヤの６つの面のうちの多くとも隣接する３つの面を用いれば、視点Ｏを視聴位置とした水平方向の周囲360度および垂直方向の周囲180度の任意の方向の表示画像を生成することができる。
　（第１レイヤの視点位置情報および面情報のテーブルの構成例）
　図９は、図３のメタデータ生成部５７により生成されるメタデータのうちの、第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
　図９の例では、面情報のうちの、面の３Ｄモデル座標系における３次元位置を示す情報が、方位角、仰角、回転角、および視線ベクトルであり、サイズを示す情報が横画角と縦画角である。
　方位角は、視点と各面の中心を結ぶ線とＺ軸とのなすＸＺ平面方向の角度であり、仰角は、視点と各面の中心を結ぶ線とＸＺ平面とのなす角度である。ここでは、方位角は、右回りを正方向とし、仰角は、左回りを正方向とする。視点から延びるＺ軸方向の線を方位角だけＸＺ平面上を水平回転した後、仰角だけＹ軸方向に上下回転した線が、面の中心を通る法線である。
　回転角は、視点と各面の中心を結ぶ線を軸としたときの各面の回転方向の角度である。ここでは、回転角は右回りが正方向とする。視線ベクトルは、視点を起点として各面の中心へ向かう長さが１であるベクトル、即ち各面の中心を通る法線ベクトルである。横画角は、各面の横方向の２つの端部それぞれと視点とを結んだ線のなす角度であり、縦画角は、各面の縦方向の２つの端部それぞれと視点とを結んだ線のなす角度である。
　図９に示すように、第１レイヤの視点位置情報および面情報のテーブルには、図３のストレージ５８において各面の第１レイヤテクスチャストリームおよび第１レイヤデプスストリームが格納されるファイルのファイル名の共通部分が登録される。
　具体的には、図９の例では、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む各面の第１レイヤテクスチャストリームのファイル名が、posZ_texture,negZ_texture,posX_texture,negX_texture,posY_texture,negY_textureである。また、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む各面の第１レイヤデプスストリームのファイル名が、それぞれ、posZ_depth,negZ_depth,posX_depth,negX_depth,posY_depth,negY_depthである。従って、図９のテーブルには、第１レイヤの各面のファイル名の共通部分として、posZ,negZ,posX,negX,posY,negYが登録される。
　また、第１レイヤの視点位置情報および面情報のテーブルには、ファイル名の共通部分に対応付けて、そのファイル名の共通部分に対応する面の面情報、視点位置情報、テクスチャ画像およびデプス画像の横画素数および縦画素数が登録される。
　具体的には、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む第１レイヤの各面の中心と視点Ｏを結ぶ線と、Ｚ軸とのなすＸＺ平面方向の角度は、それぞれ、０度、－１８０度、９０度、－９０度、０度、０度であり、ＸＺ平面とのなす角度は、それぞれ、０度、０度、０度、０度、９０度、－９０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、方位角「０度」、「－１８０度」、「９０度」、「－９０度」、「０度」、「０度」が登録されるとともに、仰角「０度」、「０度」、「０度」、「０度」、「９０度」、「－９０度」が登録される。
　また、図９の例では、第１レイヤの全ての面の回転角は０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、回転角「０度」が登録される。さらに、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視点位置情報として原点の座標(0,0,0)が登録される。
　また、視点Ｏから、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む第１レイヤの各面の視線ベクトルは、(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視線ベクトル(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)が登録される。
　さらに、図９の例では、第１レイヤの全ての面の横画角および縦画角は９０度より大きい１００度であり、テクスチャ画像およびデプス画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数は１０２４である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、横画角「１００度」、縦画角「１００度」、横画素数「１０２４」、および縦画素数「１０２４」が登録される。
　（階層化の説明）
　図１０は、第１レイヤの所定の面に対応する被写体の奥行き方向の位置を示す図であり、図１１は、第１レイヤおよび第２レイヤの視点が同一である場合の図１０の被写体の第１レイヤおよび第２レイヤのテクスチャ画像の構成例を示す図である。
　なお、図１０は、第１レイヤの視点Ｏと被写体を上から見た図であり、図１０の上下方向は、この被写体を画角に含む第１レイヤの所定の面の奥行き方向である。また、図１１において、左右方向および上下方向は、それぞれ、テクスチャ画像の横方向、奥行き方向を表す。図１０および図１１の上方向が手前側、下方向が奥側である。
　図１０および図１１の例では、第１レイヤの所定の面の画角内に含まれる被写体が、中央の前景１１１と、前景の奥にある背景１１２である。この場合、図１１に示すように、第１レイヤの所定の面のテクスチャ画像は、前景１１１の撮影画像１２１と、背景１１２のうちの前景１１１によって隠されない領域１１２Ａの撮影画像１２２Ａとにより構成される。
　一方、この第１レイヤの所定の面に対応する第２レイヤの面のテクスチャ画像は、図１１に示すように、背景１１２のうちの前景１１１によって遮蔽されたオクルージョン領域１１２Ｂのうちの、マルチカメラ１１により撮影された撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃを有効領域として含む。
　第２レイヤの面のテクスチャ画像のうちの有効領域以外の領域には何を配置してもよいが、無効値などの特殊値が配置されると、圧縮符号化により特殊値の値が変化し、ホームサーバ１３において復号による特殊値の復元が困難になる。
　従って、第２レイヤの面のテクスチャ画像の有効領域以外の領域は、領域１１２Ａに対応する不要領域（背景領域）と、オクルージョン領域１１２Ｂのうちの撮影済みオクルージョン領域１１２Ｃ以外の領域に対応する想像領域とに分割される。
　そして、オクルージョン領域が存在しない領域１１２Ａに対応する不要領域には、第１レイヤと同様に撮影画像１２２Ａが配置されるか、または、エッジ部分が急峻ではない平坦な画像が配置される。不要領域に撮影画像１２２Ａが配置される場合、不要領域における第１レイヤと第２レイヤのテクスチャ画像が同一になるので、第１レイヤのテクスチャ画像を第２レイヤのテクスチャ画像を参照してMVC方式や3D-HEVC方式等で圧縮符号化する場合、圧縮率を向上させることができる。また、不要領域に平坦な画像が配置される場合、エッジ部分が急峻な画像が配置される場合に比べて、第２レイヤ画像の圧縮率を向上させることができる。なお、不要領域の一部に撮影画像１２２Ａが配置され、他部に平坦な画像が配置されるようにしてもよい。
　また、想像領域は、オクルージョン領域が存在するが、マルチカメラ１１により撮影されていない、オクルージョン領域１１２Ｂのうちの撮影済みオクルージョン領域１１２Ｃ以外の領域に対応する領域である。従って、想像領域には、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃを用いて推測（インペインティング）されたインペインティング画像が配置されるか、または、第１レイヤと同様に撮影画像１２１が配置される。
　なお、インペインティングには、過去の撮影画像が用いられてもよい。コンテンツサーバ１２がインペインティングを行うことにより、ホームサーバ１３は、想像領域を有効領域と同等に扱うことができる。また、コンテンツサーバ１２がインペインティングを再生前に行うことにより、多くの時間を要する処理負荷の高いインペインティングも行うことができる。
　また、想像領域に撮影画像１２１が配置される場合、想像領域が点在したり、インペインティングが困難であったりするときにも、想像領域を容易に生成することが可能である。想像領域の一部にインペインティング画像が配置され、他部に撮影画像１２１が配置されるようにしてもよい。
　なお、第１レイヤおよび第２レイヤのデプス画像の構成は、撮影画像がデプス画像に代わる点を除いて、第１レイヤおよび第２レイヤのテクスチャ画像の構成と同様であるので、説明は省略する。また、以下では、第２レイヤの不要領域と想像領域に、第１レイヤと同様の撮影画像またはデプス画像が配置される場合について説明する。
　（第１レイヤと第２レイヤの視点の説明）
　図１２は、第１レイヤと第２レイヤの視点が同一である場合の第１レイヤの所定の面に対応する第１レイヤと第２レイヤのテクスチャ画像を説明する図である。図１３は、第１レイヤと第２レイヤの視点が異なる場合の第１レイヤの所定の面に対応する第１レイヤと第２レイヤのテクスチャ画像を説明する図である。
　図１２のＡと図１３のＡは、第１レイヤの視点Ｏと被写体を上から見た図であり、図１２のＡと図１３のＡの上下方向は、この被写体を画角に含む第１レイヤの所定の面の奥行き方向である。
　図１２のＡに示すように、第２レイヤの視点が第１レイヤの視点Ｏである場合、第１レイヤの所定の面１３１の画角内の視点Ｏに延びる棒状の被写体１４１は、第１レイヤのテクスチャ画像１５１および第２レイヤのテクスチャ画像１５２の両方において点になる。
　即ち、第１レイヤと第２レイヤにおいて視点Ｏから面１３１に向かう方向が同一になるため、第１レイヤのテクスチャ画像１５１と第２レイヤのテクスチャ画像１５２の両方において、被写体１４１が１点に縮退してしまう。従って、テクスチャ画像１５１とテクスチャ画像１５２では、被写体１４１の視点Ｏに延びる方向の長さを表現することができない。
　これに対して、第２レイヤの視点が第１レイヤの視点Ｏとは異なる視点Ｏ´である場合、第１レイヤの面１３１と第２レイヤの面１６１の画角に含まれる被写体１４１は、第２レイヤのテクスチャ画像１７２において直線になる。
　即ち、第１レイヤの視点Ｏから面１３１に向かう方向と第２レイヤの視点Ｏ´から面１６１に向かう方向は異なる。従って、第１レイヤのテクスチャ画像１５１において被写体１４１が１点に縮退してしまっても、第２レイヤのテクスチャ画像１７２においては被写体１４１が１点に縮退しない。よって、テクスチャ画像１７２では、被写体１４１の視点Ｏに延びる方向の長さを表現することができる。
　以上により、コンテンツサーバ１２では、第１レイヤと第２レイヤの視点が異なるように設定される。
　（第２レイヤの視点の第１の例）
　図１４は、第２レイヤの視点の第１の例を示す図である。
　図１４のＡは、第１レイヤの立方体８０の斜視図であり、図１４のＢは、立方体８０をＹ軸の負方向に見た図である。このことは、図１６においても同様である。
　図１４の例では、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視点１９１が、第１レイヤの視点ＯからＹ軸の正方向に、立方体８０の各辺の半分の長さａだけ移動した位置に設定される。図１４において視点１９１に付された矢印が示すように、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視線ベクトルは、第１レイヤと同様に、（1,0,0）である。
　第１レイヤの－Ｘ面８２を含む面に対応する第２レイヤの面の視点１９２は、視点ＯからＹ軸の負方向に長さａだけ移動した位置に設定される。図１４において視点１９２に付された矢印が示すように、第１レイヤの－Ｘ面８２を含む面に対応する第２レイヤの面の視線ベクトルは、第１レイヤと同様に、（-1,0,0）である。
　また、第１レイヤの＋Ｙ面８３を含む面９１に対応する第２レイヤの面の視点１９３と－Ｙ面８４を含む面に対応する第２レイヤの面の視点１９４は、それぞれ、視点ＯからＺ軸の正方向、負方向に長さａだけ移動した位置に設定される。図１４において視点１９３および視点１９４に付された矢印が示すように、第１レイヤの面９１に対応する第２レイヤの面の視線ベクトルと－Ｙ面８４を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,1,0）,（0,-1,0）である。
　また、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視点１９５と－Ｚ面８６を含む面に対応する第２レイヤの面の視点１９６は、それぞれ、第１レイヤの視点ＯからＸ軸の正方向、負方向に長さａだけ移動した位置に設定される。図１４において視点１９５および視点１９６に付された矢印が示すように、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視線ベクトルと－Ｚ面８６を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,0,1）,（0,0,-1）である。
　以上のように、図１４の例では、第２レイヤの各面の視点１９１乃至１９６は、第１レイヤの視点Ｏから視線ベクトルに垂直な１方向に長さａだけ移動した位置に設定される。また、第２レイヤの各面の視線ベクトルは、対応する第１レイヤの面の視線ベクトルと同一である。さらに、第２レイヤの各面の視点１９１乃至１９６の視点Ｏに対するずれ方向は、面ごとに異なる。
　なお、第２レイヤの各面の視点１９１乃至１９６と視点Ｏとの、Ｘ軸方向、Ｙ軸方向、またはＺ軸方向の距離は、立方体８０の各辺の半分の長さａに限定されない。
　（第２レイヤの視点位置情報および面情報のテーブルの第１の構成例）
　図１５は、第２レイヤの各面の視点として図１４の視点１９１乃至１９６が設定される場合に、図３のメタデータ生成部５７により生成されるメタデータのうちの、第２レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
　図１５のテーブルは、ファイル名の共通部分と視点位置情報を除いて、図９のテーブルと同一である。
　具体的には、図１５の例では、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む第１レイヤの各面に対応する第２レイヤの各面のテクスチャ画像のファイル名が、それぞれ、posZ2_texture,negZ2_texture,posX2_texture,negX2_texture,posY2_texture,negY2_textureである。また、＋Ｚ面８５、－Ｚ面８６、＋Ｘ面８１、－Ｘ面８２、＋Ｙ面８３、－Ｙ面８４をそれぞれ含む第１レイヤの各面に対応する第２レイヤの各面のデプス画像のファイル名が、それぞれ、posZ2_depth,negZ2_depth,posX2_depth,negX2_depth,posY2_depth,negY2_depthである。従って、図１５のテーブルには、第２レイヤの各面のファイル名の共通部分として、posZ2,negZ2,posX2,negX2,posY2,negY2が登録される。
　また、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Ｏを原点としたときの視点１９１乃至１９６の座標(a,0,0),(-a,0,0),(0,a,0)(0,-a,0),(0,0,a),(0,0,-a)が登録される。
　（第２レイヤの視点の第２の例）
　図１６は、第２レイヤの視点の第２の例を示す図である。
　図１６の例では、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視点２１１と－Ｘ面８２を含む面に対応する第２レイヤの面の視点２１２は、それぞれ、第１レイヤの視点Ｏから、Ｙ軸の正方向とＺ軸の負方向、Ｙ軸の負方向とＺ軸の正方向に長さａだけ移動した位置に設定される。図１６において視点２１１および視点２１２に付された矢印が示すように、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視線ベクトルと第１レイヤの－Ｘ面８２を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（1,0,0）,（-1,0,0）である。
　また、第１レイヤの＋Ｙ面８３を含む面９１に対応する第２レイヤの面の視点２１３と－Ｙ面８４を含む面に対応する第２レイヤの面の視点２１４は、それぞれ、視点Ｏから、Ｘ軸の負方向とＺ軸の正方向、Ｘ軸の正方向とＺ軸の負方向に長さａだけ移動した位置に設定される。図１６において視点２１３および視点２１４に付された矢印が示すように、第１レイヤの面９１に対応する第２レイヤの面の視線ベクトルと－Ｙ面８４を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,1,0）,（0,-1,0）である。
　また、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視点２１５と－Ｚ面８６を含む面に対応する第２レイヤの面の視点２１６は、それぞれ、視点Ｏから、Ｘ軸の正方向とＹ軸の負方向、Ｘ軸の負方向とＹ軸の正方向に長さａだけ移動した位置に設定される。図１６において視点２１５および視点２１６に付された矢印が示すように、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視線ベクトルと－Ｚ面８６を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,0,1）,（0,0,-1）である。
　以上のように、図１６の例では、第２レイヤの各面の視点２１１乃至２１６は、第１レイヤの視点Ｏから視線ベクトルに垂直な２方向に長さａだけ移動した位置に設定される。また、第２レイヤの各面の視線ベクトルは、対応する第１レイヤの面の視線ベクトルと同一である。さらに、第２レイヤの各面の視点２１１乃至２１６の視点Ｏに対するずれ方向は、面ごとに異なる。また、視点２１１乃至２１６は、視点Ｏに対して対称である。
　なお、第２レイヤの各面の視点１９１乃至１９６と視点Ｏとの、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向のうちの２方向の距離は、立方体８０の各辺の半分の長さａに限定されない。
　（第２レイヤの視点位置情報および面情報のテーブルの第２の構成例）
　図１７は、第２レイヤの各面の視点として図１６の視点２１１乃至２１６が設定される場合に、図３のメタデータ生成部５７により生成されるメタデータのうちの、第２レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
　図１７のテーブルは、視点位置情報を除いて、図１５のテーブルと同一である。
　具体的には、図１７のテーブルには、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Ｏを原点としたときの視点２１１乃至２１６の座標(a,-a,0),(-a,a,0),(0,a,-a)(0,-a,a),(-a,0,a),(a,0,-a)が登録される。
　（コンテンツサーバの処理の説明）
　図１８は、図２のコンテンツサーバ１２のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、図１のマルチカメラ１１から各カメラの撮影画像がフレーム単位で供給されたとき、開始される。
　図１８のステップＳ１１において、コンテンツサーバ１２のデプス検出部３１は、マルチカメラ１１から供給される各カメラの撮影画像から、各カメラの撮影画像の各画素の逆数1/zを検出し、低解像度画像処理部３３と高解像度画像処理部３４に供給する。
　ステップＳ１２において、低解像度画像処理部３３は、カメラ座標系における所定の３次元位置を視点として、マルチカメラ１１から供給される各カメラの撮影画像から全天球画像のテクスチャ画像を生成し、低解像度化する。
　ステップＳ１３において、低解像度画像処理部３３は、デプス検出部３１から供給される各カメラのｚ画像から、全天球画像のデプス画像を生成し、低解像度化する。
　ステップＳ１４において、低解像度画像処理部３３は、ステップＳ１２の処理により生成された低解像度テクスチャ画像とステップＳ１３の処理により生成された低解像度デプス画像とを圧縮符号化して記憶する。
　ステップＳ１５において、低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
　ステップＳ１６において、高解像度画像処理部３４の設定部５６（図３）は、３Ｄモデル座標系における原点を第１レイヤに共通の１つの視点として設定し、第１レイヤの視点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面を第１レイヤの面として設定する。また、設定部５６は、第１レイヤの各面に対応する第２レイヤの６つの視点と６つの面を設定する。設定部５６は、第１レイヤの１つの視点位置情報と６つの面の面情報を第１レイヤ生成部５０とメタデータ生成部５７に供給する。また、設定部５６は、第２レイヤの６つの視点位置情報と６つの面情報を第２レイヤ生成部５３とメタデータ生成部５７に供給する。
　ステップＳ１７において、第１レイヤ生成部５０は、カメラ座標系における全天球画像の視点を原点とし、第１レイヤの視点位置情報が示す原点を視点として、各カメラの撮影画像から、第１レイヤの各面情報に対応する各面のテクスチャ画像を生成する。また、第１レイヤ生成部５０は、各カメラのｚ画像から、第１レイヤの各面情報に対応する各面のｚ画像を生成して量子化部５１に供給し、量子化部５１は、各面のｚ画像から各面のデプス画像を生成する。
　ステップＳ１８において、第２レイヤ生成部５３は、第２レイヤの面情報に対応する面ごとに、カメラ座標系における全天球画像の視点を原点とし、第２レイヤの視点位置情報が示す３次元位置を視点として、各カメラの撮影画像からテクスチャ画像を生成する。また、第２レイヤ生成部５３は、第２レイヤの面情報に対応する面ごとに、各カメラのｚ画像から各面のｚ画像を生成して量子化部５４に供給し、量子化部５４は、各面のｚ画像から各面のデプス画像を生成する。
　ステップＳ１９において、エンコーダ５２は、第１レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
　ステップＳ２０において、エンコーダ５５は、第２レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
　ステップＳ２１において、メタデータ生成部５７は、第１レイヤ生成部５０および第２レイヤ生成部５３から供給される顔検出情報に基づいて、顔メタデータを生成する。メタデータ生成部５７は、設定部５６から供給される第１レイヤの視点位置情報および面情報、第２レイヤの視点位置情報および面情報を含むテーブル、設定部５６から供給される推奨視聴方向情報、並びに、顔メタデータを含むメタデータを生成し、ストレージ５８に供給して記憶させる。
　ステップＳ２２において、再構成部５９は、第１レイヤのテクスチャ画像とデプス画像の再構成が必要であるかどうかを判定する。例えば、再構成部５９は、ユーザから第１レイヤの面の数、画角、面どうしの間隔、位置、または傾きの変更が指示された場合、第１レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定する。
　ステップＳ２２で第１レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定された場合、処理はステップＳ２３に進む。ステップＳ２３において、再構成部５９は、再構成後の第１レイヤの面、並びに、再構成後の第１レイヤの面に対応する第２レイヤの視点および面を設定する。
　ステップＳ２４において、再構成部５９は、再構成後の第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブル、推奨視聴方向情報、並びに、顔メタデータを含むメタデータを生成し、ストレージ５８に供給する。
　ステップＳ２５において、再構成部５９は、ストレージ５８に記憶されている各面の第１レイヤテクスチャストリームを、ステップＳ２３で設定された再構成後の第１レイヤの面のテクスチャストリームに再構成し、ストレージ５８に供給して記憶させる。また、再構成部５９は、ストレージ５８に記憶されている第１レイヤデプスストリームを、ステップＳ２３で設定された再構成後の第１レイヤの面の第１レイヤデプスストリームに再構成し、ストレージ５８に供給して記憶させる。
　また、再構成部５９は、ストレージ５８に記憶されている各面の第２レイヤテクスチャストリームを、ステップＳ２３で設定された再構成後の第２レイヤの視点および面の第２レイヤテクスチャストリームに再構成し、ストレージ５８に供給して記憶させる。再構成部５９は、ストレージ５８に記憶されている第２レイヤデプスストリームを、ステップＳ２３で設定された再構成後の第２レイヤの視点および面の第２レイヤデプスストリームに再構成し、ストレージ５８に供給して記憶させる。そして、処理はステップＳ２６に進む。
　一方、ステップＳ２２で第１レイヤのテクスチャ画像とデプス画像の再構成が必要ではないと判定された場合、処理はステップＳ２６に進む。
　ステップＳ２６において、伝送部６０は、ストレージ５８から再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、ホームサーバ１３に送信する。
　以上のように、コンテンツサーバ１２は、第１レイヤの視点におけるオクルージョン領域のテクスチャ画像およびデプス画像を第２レイヤのテクスチャ画像およびデプス画像として生成する。従って、ホームサーバ１３は、視聴位置が視点Ｏとは異なる場合に、第２レイヤのテクスチャ画像とデプス画像を用いることにより、表示画像に含まれる視点Ｏのオクルージョン領域を生成することができる。よって、ホームサーバ１３は、高画質の表示画像を生成することができる。
　また、コンテンツサーバ１２は、第２レイヤの視点を、第１レイヤの視点Ｏとは異なる３次元位置に設定する。従って、第２レイヤにおいて、視点Ｏに延びる被写体の視点Ｏに延びる方向の長さを表現することができる。
　さらに、コンテンツサーバ１２は、デプス画像の各画素のy値を逆数1/rを8ビット量子化した値とする。従って、コンテンツサーバ１２は、再構成時にデプス画像の8ビット量子化をやり直す必要がない。
　（ホームサーバの第１実施の形態の構成例）
　図１９は、図１のホームサーバ１３の第１実施の形態であるホームサーバ１３ａの構成例を示すブロック図である。
　図１９のホームサーバ１３は、カメラ１３Ａ、受け取り部２３１、ストレージ２３２、受け取り部２３３、視線検出部２３４、３Ｄモデル生成部２３５、および描画部２３６により構成される。３Ｄモデル生成部２３５は、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３、および低解像度３Ｄモデル生成部２４２により構成される。
　ホームサーバ１３ａの受け取り部２３１は、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
　ストレージ２３２は、受け取り部２３１から供給される低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
　受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
　視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。また、視線検出部２３４は、カメラ１３Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出する。
　視線検出部２３４は、ストレージ２３２からメタデータのうちの第１レイヤのテーブルを読み出す。視線検出部２３４は、３Ｄモデル座標系における視聴位置および視線方向、並びに、第１レイヤのテーブルに基づいて、６つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。具体的には、視線検出部２３４は、＋Ｘ面８１と－Ｘ面８２のいずれかを含む面、＋Ｙ面８３と－Ｙ面８４のいずれかを含む面、および、＋Ｚ面８５と－Ｚ面８６のいずれかを含む面を選択面に決定する。
　以上のようにして選択面が決定されることにより、後述する描画部２３６により選択面に対応する第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を用いて生成される表示画像内の高解像度領域の割合が最も高くなる。また、３つの選択面が決定されることにより、１つの選択面が選択される場合に比べて、視線が立方体８０の頂点付近に向かう場合に表示画像内の高解像度領域の割合を増加させることができる。
　視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２４１－１乃至２４１－３に供給する。また、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、低解像度３Ｄモデル生成部２４２に供給する。
　また、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定する。視線検出部２３４は、視聴者の視野範囲と視聴位置を描画部２３６に供給する。視線検出部２３４は、３つの選択面と、その３つの選択面に対応する第２レイヤの３つの面の視点位置情報および面情報を描画部２３６に供給する。
　ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３は、それぞれ、第１レイヤテクスチャストリームと第１レイヤデプスストリームを用いて、第１レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における３次元位置（u,v,z）および接続情報と、カラー情報としてのRGB値とからなる３次元データを生成する。なお、各サンプリング点の接続情報は、そのサンプリング点(vertex)と他のサンプリング点との接続を表す情報である。テクスチャ画像座標系は、テクスチャ画像の横方向をu軸、縦方向をv軸、奥行き方向をｚ軸とする座標系である。
　また、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３は、それぞれ、視線検出部２３４から供給される第２レイヤテクスチャストリームと第２レイヤデプスストリームを用いて、第２レイヤのテクスチャ画像の各画素に対応するサンプリング点の３次元データを生成する。ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３は、第１レイヤおよび第２レイヤの３次元データを描画部２３６に供給する。
　低解像度３Ｄモデル生成部２４２は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度３Ｄモデル生成部２４２は、低解像度テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。また、低解像度３Ｄモデル生成部２４２は、低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、低解像度３Ｄモデル生成部２４２は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。
　また、低解像度３Ｄモデル生成部２４２は、各サンプリング点の３次元位置(u,v,z)に基づいて、隣接する３つのサンプリング点どうしが接続するように各サンプリング点の接続情報を生成する。低解像度３Ｄモデル生成部２４２は、各サンプリング点の３次元位置(u,v,z)、接続情報、およびRGB値を、低解像度テクスチャ画像の３次元データとして、描画部２３６に供給する。
　描画部２３６は、低解像度３Ｄモデル生成部２４２から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画（点群描画）を行う。その後、描画部２３６は、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。
　即ち、低解像度テクスチャ画像の視点は３Ｄモデル座標系における原点であり、３Ｄモデルとしての正八面体の各面の位置およびサイズは予め決まっている。従って、描画部２３６は、正八面体の各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。よって、描画部２３６は、この内部パラメータと外部パラメータを用いて、低解像度テクスチャ画像の各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３Ｄモデル座標系における３次元位置(X,Y,Z)を認識することができる。その結果、低解像度テクスチャ画像の各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
　また、描画部２３６は、第１レイヤおよび第２レイヤの視点位置情報および面情報に基づいて、第１レイヤおよび第２レイヤの各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。従って、描画部２３６は、この内部パラメータと外部パラメータを用いて、第１レイヤおよび第２レイヤの各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３次元位置(X,Y,Z)を認識できる。その結果、描画部２３６は、第１レイヤおよび第２レイヤの各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
　描画部２３６は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影（マッピング）することにより、表示画像を生成する。描画部２３６は、表示画像を図１の変換装置１４に送信する。
　なお、以下、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３を個々に区別する必要がない場合、単にＭＬ３Ｄモデル生成部２４１という。
　（ＭＬ３Ｄモデル生成部の構成例）
　図２０は、図１９のＭＬ３Ｄモデル生成部２４１の構成例を示すブロック図である。
　図２０のＭＬ３Ｄモデル生成部２４１は、復号部２６１、バッファ２６２、バッファ２６３、レンダリング部２６４、復号部２６５、バッファ２６６、バッファ２６７、およびレンダリング部２６８により構成される。復号部２６１は、デコーダ２７１、およびデコーダ２７２により構成される。レンダリング部２６４は、ＲＧＢ変換部２８１、デプス変換部２８２、不連続検出部２８３、および３Ｄモデル生成部２８４により構成される。復号部２６５は、デコーダ２９１、およびデコーダ２９２により構成される。レンダリング部２６８は、ＲＧＢ変換部３０１、デプス変換部３０２、オクルージョン処理部３０３、および３Ｄモデル生成部３０４により構成される。
　ＭＬ３Ｄモデル生成部２４１の復号部２６１は、第１レイヤテクスチャストリームおよび第１レイヤデプスストリームの復号を行う。
　具体的には、復号部２６１のデコーダ２７１は、図１９の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２７１は、第１レイヤのテクスチャ画像をバッファ２６２に蓄積する。
　デコーダ２７２は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２７２は、第１レイヤのデプス画像をバッファ２６３に蓄積する。
　レンダリング部２６４は、復号後の第１レイヤテクスチャストリーム（第１レイヤのテクスチャ画像）および第１レイヤデプスストリーム（第１レイヤのデプス画像）のレンダリングを行い、第１レイヤの描画用のテクスチャ画像の３次元データを生成する。
　具体的には、レンダリング部２６４のＲＧＢ変換部２８１は、バッファ２６２に蓄積されている第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２８１は、各サンプリング点のRGB値を３Ｄモデル生成部２８４に供給する。
　デプス変換部２８２は、バッファ２６３に蓄積されている第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部２８２は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２８２は、各サンプリング点の３次元位置(u,v,z)を不連続検出部２８３と３Ｄモデル生成部２８４に供給する。
　不連続検出部２８３は、デプス変換部２８２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第１レイヤのデプス画像の画素のうちの、隣接するサンプリング点とのｚ座標の差分が閾値以上であるサンプリング点に対応する画素である不連続画素を検出する。不連続検出部２８３は、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２８４に供給する。
　３Ｄモデル生成部２８４は、デプス変換部２８２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、各サンプリング点の接続情報を生成する。即ち、３Ｄモデル生成部２８４は、サンプリング点ごとに、そのサンプリング点を頂点とする三角形パッチの３つの頂点どうしの接続を表す接続情報を生成する。そして、３Ｄモデル生成部２８４は、不連続検出部２８３から供給される不連続画素に対応するサンプリング点の３次元位置(u,v,z)に基づいて、生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
　３Ｄモデル生成部２８４は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および削除後の接続情報を、第１レイヤの３次元データとして生成し、図１９の描画部２３６に供給する。
　復号部２６５のデコーダ２９１は、図１９の視線検出部２３４から供給される第２レイヤテクスチャストリームを復号し、第２レイヤのテクスチャ画像を生成する。デコーダ２９１は、第２レイヤのテクスチャ画像をバッファ２６６に蓄積する。
　デコーダ２９２は、視線検出部２３４から供給される第２レイヤデプスストリームを復号し、第２レイヤのデプス画像を生成する。デコーダ２９２は、第２レイヤのデプス画像をバッファ２６７に蓄積する。
　レンダリング部２６８は、復号後の第２レイヤテクスチャストリーム（第２レイヤのテクスチャ画像）および第２レイヤデプスストリーム（第２レイヤのデプス画像）のレンダリングを行い、第２レイヤの描画用のテクスチャ画像の３次元データを生成する。
　レンダリング部２６８のＲＧＢ変換部３０１は、バッファ２６６に蓄積されている第２レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部３０１は、各サンプリング点のRGB値を３Ｄモデル生成部３０４に供給する。
　デプス変換部３０２は、バッファ２６７に蓄積されている第２レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部３０２は、第２レイヤのデプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部３０２は、各サンプリング点の３次元位置(u,v,z)をオクルージョン処理部３０３と３Ｄモデル生成部３０４に供給する。
　オクルージョン処理部３０３は、デプス変換部３０２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第２レイヤのデプス画像の画素のうちの不連続画素を検出する。オクルージョン処理部３０３は、第２レイヤの各サンプリング点の３次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を補正するオクルージョン処理を行う。
　具体的には、オクルージョン処理部３０３は、例えば、不連続画素に対応するサンプリング点の２次元位置（u,v）を、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置(u,v)に補正する。オクルージョン処理部３０３は、第２レイヤの各サンプリング点のオクルージョン処理後の３次元位置(u,v,z)を３Ｄモデル生成部３０４に供給する。
　３Ｄモデル生成部３０４は、オクルージョン処理部３０３から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、サンプリング点ごとに、そのサンプリング点と隣接する２つのサンプリング点との接続を表す接続情報を生成する。３Ｄモデル生成部３０４は、各サンプリング点の３次元位置(u,v,z)および接続情報、並びに、ＲＧＢ変換部３０１から供給されるRGB値を、第２レイヤの３次元データとして生成する。３Ｄモデル生成部３０４は、第２レイヤの３次元データを図１９の描画部２３６に供給する。
　（低解像度３Ｄモデル生成部の構成例）
　図２１は、図１９の低解像度３Ｄモデル生成部２４２の構成例を示すブロック図である。
　図２１の低解像度３Ｄモデル生成部２４２は、復号部３２１、バッファ３２２、バッファ３２３、およびレンダリング部３２４により構成される。復号部３２１は、デコーダ３３１およびデコーダ３３２により構成される。レンダリング部３２４は、ＲＧＢ変換部３４１、デプス変換部３４２、および３Ｄモデル生成部３４３により構成される。
　低解像度３Ｄモデル生成部２４２の復号部３２１は、低解像度テクスチャストリームおよび低解像度デプスストリームの復号を行う。
　具体的には、復号部３２１のデコーダ３３１は、図１９の視線検出部２３４から供給される低解像度テクスチャストリームを復号し、低解像度テクスチャ画像を生成する。デコーダ３３１は、低解像度テクスチャ画像をバッファ３２２に蓄積する。
　デコーダ３３２は、視線検出部２３４から供給される低解像度デプスストリームを復号し、低解像度デプス画像を生成する。デコーダ３３２は、低解像度デプス画像をバッファ３２３に蓄積する。
　レンダリング部３２４は、復号後の低解像度テクスチャストリーム（低解像度テクスチャ画像）および低解像度デプスストリーム（低解像度デプス画像）のレンダリングを行い、描画用の低解像テクスチャ画像の３次元データを生成する。
　具体的には、レンダリング部３２４のＲＧＢ変換部３４１は、バッファ３２２に蓄積されている低解像テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部３４１は、各サンプリング点のRGB値を３Ｄモデル生成部３４３に供給する。
　デプス変換部３４２は、バッファ３２３に蓄積されている低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部３４２は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部３４２は、各サンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部３４３に供給する。
　３Ｄモデル生成部３４３は、デプス変換部３４２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、各サンプリング点の接続情報を生成する。即ち、３Ｄモデル生成部３４３は、サンプリング点ごとに、そのサンプリング点を頂点とする三角形パッチの３つの頂点どうしの接続を表す接続情報を生成する。
　３Ｄモデル生成部３４３は、各サンプリング点の３次元位置(u,v,z)、RGB値、および接続情報を、低解像度テクスチャ画像の３次元データとして生成し、図１９の描画部２３６に供給する。
　以上のようにして、各ＭＬ３Ｄモデル生成部２４１は、３つの選択面に対応する高解像度符号化ストリームの復号およびレンダリングを行う。低解像度３Ｄモデル生成部２４２は、低解像度符号化ストリームの復号およびレンダリングを行う。そして、描画部２３６は、３つの選択面に対応する第１レイヤおよび第レイヤの３次元データ、並びに、低解像度テクスチャ画像の３次元データに基づいて、表示画像を生成する最終的なレンダリングを行う。
　（接続情報の削除およびオクルージョン処理の効果の説明）
　図２２は、第１レイヤの接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除しない場合の接続情報を説明する図であり、図２３は、削除した場合の接続情報を説明する図である。
　図２２および図２３において、左右方向は、テクスチャ画像の横方向を表し、上下方向は、テクスチャ画像の奥行き方向を表す。図２２および図２３の上方向が手前側、下方向が奥側である。また、図２２および図２３において、実線は、第１レイヤの各サンプリング点の３次元位置(u,v,z)を表し、点線は、第２レイヤの各サンプリング点の３次元位置(u,v,z)を表す。また、図２２および図２３の例では、被写体が図１０の前景１１１と背景１１２である。
　第１レイヤおよび第２レイヤの両方においてオクルージョン処理が行われない場合、図２２のＡに示すように、第１レイヤの前景１１１の撮影画像１２１と背景１１２の領域１１２Ａの撮影画像１２２Ａの境界の不連続画素に対応するサンプリング点の３次元位置は変更されない。
　また、第１レイヤおよび第２レイヤの両方において不連続画素に対応するサンプリング点との接続を表す接続情報が削除されない場合、図２２のＡに示すように、第１レイヤおよび第２レイヤの不連続画素に対応するサンプリング点は、隣接する２つのサンプリング点と接続される。
　従って、第１レイヤの不連続画素に対応するサンプリング点と、隣接する２つのサンプリング点とを頂点とする三角形パッチが生成され、その三角形パッチにより、有効領域の撮影画像１２２Ｃは塗り潰れされる。よって、図中右下から左上へ向かう視線Ｖに対応する、撮影済みオクルージョン領域１１２Ｃを含む表示画像を生成する場合に、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることはできない。
　また、第１レイヤおよび第２レイヤの両方において、不連続画素に対応するサンプリング点との接続を表す接続情報が削除されないが、オクルージョン処理は行われる場合、図２２のＢに示すように、第１レイヤおよび第２レイヤの不連続画素に対応するサンプリング点の２次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置に補正される。
　従って、視線Ｖに対応する表示画像を生成する場合、撮影済みオクルージョン領域１１２Ｃの表示画像として、第１レイヤの領域１１２Ａの撮影画像１２２Ａを用いることができる。その結果、表示画像の画質は向上する。
　しかしながら、オクルージョン処理後の第１レイヤの不連続画素に対応するサンプリング点は、隣接する２つのサンプリング点と接続され、三角形パッチが生成される。従って、図２２のＡの場合と同様に、視線Ｖに対応する表示画像を生成する場合、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることはできない。
　これに対して、３Ｄモデル生成部２８４は、図２３に示すように、第１レイヤの不連続画素との接続を表す接続情報を削除する。従って、第１レイヤの不連続画素に対応するサンプリング点を頂点とする三角形パッチが生成されない。よって、視線Ｖに対応する表示画像を生成する場合に、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることができる。第２レイヤにおいては接続情報の削除が行われないので、第１レイヤの三角形パッチが存在しない領域には、必ず第２レイヤの三角形パッチが存在する。
　また、オクルージョン処理部３０３は、第２レイヤに対してオクルージョン処理を行う。従って、図２３に示すように、第２レイヤの有効領域と想像領域の境界の不連続画素に対応するサンプリング点のうちの奥側のサンプリング点の２次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置に補正される。従って、第２レイヤにおいてオクルージョン領域が削減される。よって、視線Ｖに対応する表示画像を生成する際に用いられる第２レイヤの画質が向上し、その結果、表示画像の画質が向上する。
　（第１レイヤの面の画角の効果の説明）
　図２４および図２５は、それぞれ、第１レイヤの各面の画角が９０度、１００度である場合のサンプリング点を説明する図である。
　図２４および図２５の例では、説明の便宜上、第１レイヤの各面の画角が９０度、１００度である場合の第１レイヤのテクスチャ画像およびデプス画像の解像度が、それぞれ、4x4画素、6x6画素であるものとする。
　図２４のＢに示すように、第１レイヤの各面の画角が９０度である場合、第１レイヤの６つの面は、立方体８０を構成する６つの面８１乃至８６になる。
　しかしながら、図２４のＡに示すように、第１レイヤの－Ｚ面８６のテクスチャ画像４００上のサンプリング点４１１の位置(u,v)、即ち３Ｄモデル座標系における視点Ｏからサンプリング点４１１に向かう線が－Ｚ面８６と交差する位置は、各画素４０１の中心である。また、他の面８１乃至８５のサンプリング点の位置(u,v)も、－Ｚ面８６と同様に各画素の中心である。
　従って、図２４のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、各面８１乃至８６上の領域４０２のu方向およびｖ方向サイズは、各面８１乃至８６に比べて画素の半分のサイズだけ小さい。よって、各面８１乃至８６の境界に対応する三角形パッチが生成されず、その結果、各面８１乃至８６の境界を通る視線の表示画像を高画質で生成することが困難になる。
　これに対して、第１レイヤの各面の画角が１００度である場合、図２５のＡに示すように、－Ｚ面８６を含む第１レイヤの面のテクスチャ画像４２０のサイズは、図２４のテクスチャ画像４００のサイズより大きい6×6画素になる。他の面８１乃至８５をそれぞれ含む第１レイヤの各面のテクスチャ画像のサイズも同様に6×6画素になる。
　従って、図２５のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、－Ｚ面８６上の領域４２１のu方向およびｖ方向サイズは、－Ｚ面８６に比べて画素の半分のサイズだけ大きい。図示は省略するが、他の面８１乃至８５をそれぞれ含む第１レイヤの各面の三角形パッチの領域のu方向およびｖ方向サイズも、領域４２１と同様に、各面８１乃至８５に比べて画素の半分のサイズだけ大きい。従って、各面８１乃至８６の境界に対応する三角形パッチが生成され、その結果、各面８１乃至８６の境界を通る視線を含む任意の視線の表示画像を高画質で生成することができる。
　図２４および図２５では、第１レイヤの各面の画角が１００度である場合の効果について説明したが、第１レイヤの各面の画角が９０度より大きければ、画角が１００度ではない場合であっても同様の効果が発生する。
　（第２レイヤの面の画角の効果の説明）
　図２６は、第２レイヤの各面の画角が９０度および１００度である場合のオクルージョン処理を説明する図である。
　図２６において、横軸はu軸を表し、縦軸はｚ軸を表す。また、丸はサンプリング点を表す。さらに、図２６の例では、奥行き方向の位置が奥側であるほどｚ座標は大きい。
　第２レイヤの各面の画角が９０度である場合、サンプリング点が、第２レイヤのいずれか１つの面にのみマッピングされる。従って、図２６のＡに示すように、処理対象の面のu方向の端部にマッピングされるサンプリング点４４１に隣接するサンプリング点４４２は、処理対象の面にはマッピングされず、処理対象の面のオクルージョン処理時にサンプリング点４４２のｚ軸の位置はわからない。
　よって、サンプリング点４４１とサンプリング点４４２のｚ座標の差分が閾値以上である場合であっても、サンプリング点４４１に対応する画素は不連続画素として検出されない。同様に、サンプリング点４４２がマッピングされる面が処理対象の面とされる場合にも、サンプリング点４４２に対応する画素は不連続画素として検出されない。従って、サンプリング点４４１およびサンプリング点４４２に対してオクルージョン処理を行うことはできない。即ち、サンプリング点４４１およびサンプリング点４４２に対してオクルージョン処理を行うために、処理対象の面のデプス画像以外に、処理対象の面と隣接する面のデプス画像も用いる必要がある。
　これに対して、第２レイヤの各面の画角が１００度である場合、各面の端部に、その面と隣接する面の端部以外の領域にマッピングされるサンプリング点が、のりしろとして重複してマッピングされる。例えば、サンプリング点４４１がマッピングされる処理対象の面の端部に、処理対象の面に隣接する面の端部以外の領域にマッピングされるサンプリング点４４２がマッピングされる。
　従って、サンプリング点４４１とサンプリング点４４２のｚ座標の差分が閾値以上である場合、サンプリング点４４１とサンプリング点４４２に対応する画素は不連続画素として検出される。よって、図２６のＢに示すように、サンプリング点４４１とサンプリング点４４２に対してオクルージョン処理を行うことができる。その結果、不連続画素に対応するサンプリング点４４２のu座標が、サンプリング点４４２近傍のサンプリング点４４２より手前側の（z座標が小さい）サンプリング点４４３のu座標に補正される。
　なお、図２６の例では、処理対象の面の端部以外の領域にマッピングされるサンプリング点４４４とサンプリング点４４５のｚ座標の差分が閾値以上であるため、サンプリング点４４４とサンプリング点４４５に対応する画素も不連続画素として検出されている。その結果、図２６のＢに示すように、サンプリング点４４４のu座標が、サンプリング点４４４近傍のサンプリング点４４４より手前側のサンプリング点４４６のu座標に補正されている。
　また、処理対象の面のu座標が最も大きい端部のサンプリング点４４７は、処理対象の面と隣接する面の端部以外の領域にマッピングされる。従って、この面が処理対象の面とされる場合に、サンプリング点４４７に対応する画素が不連続画素であるかどうかを判定し、不連続画素であると判定した場合に、サンプリング点４４７に対するオクルージョン処理を行うことができる。
　以上のように、第２レイヤの各面の画角が１００度である場合、各面のサンプリング点のみを用いて、各面の端部以外の領域の端部にマッピングされるサンプリング点４４１に対してもオクルージョン処理を行うことができる。その結果、第２レイヤのオクルージョン領域が削減され、表示画像の画質を向上させることができる。
　図２６では、第２レイヤの各面の画角が１００度である場合の効果について説明したが、第２レイヤの各面の画角が９０度より大きければ、画角が１００度ではない場合であっても同様の効果が発生する。
　なお、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３は、復号の結果得られるテクスチャ画像やデプス画像に対して、周辺の画素を用いたフィルタ処理等の画像処理を行うようにしてもよい。この場合、第１レイヤおよび第２レイヤの各面の画角が９０度より大きいことにより、オクルージョン処理と同様に、各面の端部以外の領域の端部においても画像処理を行うことができるという効果を得ることができる。
　（ホームサーバの処理の説明）
　図２７は、図１９のホームサーバ１３ａの再生処理を説明するフローチャートである。この再生処理は、例えば、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータが伝送されてきたとき、開始される。
　図２７のステップＳ４１において、ホームサーバ１３ａの受け取り部２３１は、コンテンツサーバ１２から、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
　ステップＳ４２において、ストレージ２３２は、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
　ステップＳ４３において、受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
　ステップＳ４４において、視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。ステップＳ４５において、カメラ１３Ａは、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影し、その結果得られる撮影画像を視線検出部２３４に供給する。
　ステップＳ４６において、視線検出部２３４は、カメラ１３Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出し、描画部２３６に供給する。
　ステップＳ４７において、視線検出部２３４は、ストレージ２３２に記憶されているメタデータのうちの第１レイヤのテーブルと、３Ｄモデル座標系における視聴位置および視線方向とに基づいて、６つの面のうちの視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。
　ステップＳ４８において、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定し、描画部２３６に供給する。
　ステップＳ４９において、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、低解像度３Ｄモデル生成部２４２に供給する。また、視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２４１－１乃至２４１－３に供給する。また、視線検出部２３４は、３つの選択面に対応する視点位置情報および面情報をストレージ２３２から読み出し、描画部２３６に供給する。
　ステップＳ５０において、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３は、面ごとに、第１レイヤおよび第２レイヤの各サンプリング点の３次元データを生成する３次元データ生成処理を行う。この３次元データ生成処理の詳細は、図２８を参照して後述する。
　ステップＳ５１において、低解像度３Ｄモデル生成部２４２は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームから、低解像度テクスチャ画像の各サンプリング点の３次元データを生成し、描画部２３６に供給する。
　ステップＳ５２において、描画部２３６は、低解像度３Ｄモデル生成部２４２から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画を行う。その後、描画部２３６は、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。
　ステップＳ５３において、描画部２３６は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影することにより、表示画像を生成する。ステップＳ５４において、描画部２３６は、表示画像を図１の変換装置１４に伝送する。
　図２８は、図２７のステップＳ５０において各ＭＬ３Ｄモデル生成部２４１（ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３）により行われる３次元データ生成処理の詳細を説明するフローチャートである。
　図２８のステップＳ７１において、ＭＬ３Ｄモデル生成部２４１のデコーダ２７１（図２０）は、図１９の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２７１は、第１レイヤのテクスチャ画像をバッファ２６２に蓄積する。
　ステップＳ７２において、ＲＧＢ変換部２８１は、バッファ２６２に蓄積されている第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２８１は、各サンプリング点のRGB値を３Ｄモデル生成部２８４に供給する。
　ステップＳ７３において、デコーダ２７２は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２７２は、第１レイヤのデプス画像をバッファ２６３に蓄積する。
　ステップＳ７４において、デプス変換部２８２は、バッファ２６３に蓄積されている第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第１レイヤのデプス画像の各画素の逆数1/rを得る。
　ステップＳ７５において、デプス変換部２８２は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、第１レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２８２は、各サンプリング点の３次元位置(u,v,z)を不連続検出部２８３と３Ｄモデル生成部２８４に供給する。
　ステップＳ７６において、不連続検出部２８３は、デプス変換部２８２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第１レイヤのデプス画像の各画素のうちの不連続画素を検出する。不連続検出部２８３は、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２８４に供給する。
　ステップＳ７７において、３Ｄモデル生成部２８４は、デプス変換部２８２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第１レイヤの各サンプリング点の接続情報を生成する。
　ステップＳ７８において、３Ｄモデル生成部２８４は、不連続検出部２８３から供給される不連続画素に対応するサンプリング点の３次元位置(u,v,z)に基づいて、ステップＳ７７で生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
　ステップＳ７９において、３Ｄモデル生成部２８４は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および、ステップＳ７８の処理による削除後の接続情報を、第１レイヤの３次元データとして生成する。３Ｄモデル生成部２８４は、第１レイヤの３次元データを図１９の描画部２３６に供給する。
　ステップＳ８０において、デコーダ２９１は、視線検出部２３４から供給される第２レイヤテクスチャストリームを復号し、第２レイヤのテクスチャ画像を生成する。デコーダ２９１は、第２レイヤのテクスチャ画像をバッファ２６６に蓄積する。
　ステップＳ８１において、ＲＧＢ変換部３０１は、バッファ２６６に蓄積されている第２レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部３０１は、各サンプリング点のRGB値を３Ｄモデル生成部３０４に供給する。
　ステップＳ８２において、デコーダ２９２は、視線検出部２３４から供給される第２レイヤデプスストリームを復号し、第２レイヤのデプス画像を生成する。デコーダ２９２は、第２レイヤのデプス画像をバッファ２６７に蓄積する。
　ステップＳ８３において、デプス変換部３０２は、バッファ２６７に蓄積されている第２レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第２レイヤのデプス画像の各画素の逆数1/rを得る。
　ステップＳ８４において、デプス変換部３０２は、第２レイヤのデプス画像の各画素の逆数1/rに基づいて、第２レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部３０２は、各サンプリング点の３次元位置(u,v,z)をオクルージョン処理部３０３と３Ｄモデル生成部３０４に供給する。
　ステップＳ８５において、オクルージョン処理部３０３は、デプス変換部３０２から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第２レイヤのデプス画像の各画素のうちの不連続画素を検出する。
　ステップＳ８６において、オクルージョン処理部３０３は、第２レイヤの各サンプリング点の３次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を補正するオクルージョン処理を行う。オクルージョン処理部３０３は、第２レイヤの各サンプリング点のオクルージョン処理後の３次元位置(u,v,z)を３Ｄモデル生成部３０４に供給する。
　ステップＳ８７において、３Ｄモデル生成部３０４は、オクルージョン処理部３０３から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第２レイヤの各サンプリング点の接続情報を生成する。
　ステップＳ８８において、３Ｄモデル生成部３０４は、各サンプリング点の３次元位置(u,v,z)および接続情報、並びに、ＲＧＢ変換部３０１から供給されるRGB値を、第２レイヤの３次元データとして生成する。３Ｄモデル生成部３０４は、第２レイヤの３次元データを図１９の描画部２３６に供給する。
　以上のように、ホームサーバ１３ａは、第１レイヤと第２レイヤを用いて、表示画像を生成する。従って、視聴位置が視点Ｏとは異なる場合に、第２レイヤを用いることにより、表示画像に含まれる視点Ｏのオクルージョン領域を生成することができる。従って、高画質の表示画像を生成することができる。
　また、ホームサーバ１３ａは、テクスチャ画像だけでなくデプス画像も用いて表示画像を生成する。従って、三角形パッチ描画により、被写体に応じた３次元形状の三角形パッチにテクスチャ画像をマッピングし、その三角形パッチを用いて表示画像を生成することができる。よって、テクスチャ画像のみを用いてテクスチャ画像を所定の面にマッピングすることにより表示画像を生成する場合に比べて、高画質の表示画像を生成することができる。
　さらに、第１レイヤのテクスチャ画像とデプス画像は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像である。従って、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置において、第１レイヤのテクスチャ画像とデプス画像を再生することができる。
　即ち、コンテンツサーバ１２により生成される第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像のフォーマットは、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のフォーマットと互換性を有する。また、ホームサーバ１３ａによる再生方法は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置の再生方法と互換性を有する。
　なお、ホームサーバ１３ａは、第１レイヤのテクスチャ画像とデプス画像のみを用いて表示画像を生成するようにしてもよい。この場合、第１レイヤに対して接続情報の削除の代わりに、オクルージョン処理が行われる。
　また、上述した説明では、３Ｄモデル生成部２８４は、不連続検出部２８３において検出された不連続画素に対応するサンプリング点との接続を表す接続情報を削除したが、コンテンツサーバ１２から伝送されてくる三角形パッチ有効無効情報（詳細は後述する）に基づいて接続情報を削除するようにしてもよい。この場合、不連続検出部２８３は設けられない。
　（三角形パッチ有効無効情報の説明）
　図２９は、このような場合にコンテンツサーバ１２から伝送されてくる三角形パッチ有効無効情報を説明する図である。
　図２９の例では、第１レイヤのサンプリング点４６１の数が１２個である。従って、隣接する３つのサンプリング点４６１を頂点とする三角形パッチ４６２の数は、１２個である。
　この場合、コンテンツサーバ１２は、不連続検出部２８３と同様に、不連続画素を検出する。そして、コンテンツサーバ１２は、その不連続画素に対応するサンプリング点を頂点とする三角形パッチ４６２を無効（ＯＦＦ）に設定し、不連続画素に対応するサンプリング点を含まない三角形パッチ４６２を有効（ＯＮ）に設定する。
　コンテンツサーバ１２は、各三角形パッチ４６２の有効または無効を示す三角形パッチ有効無効情報を生成し、メタデータに含める。
　ホームサーバ１３ａの３Ｄモデル生成部２８４は、三角形パッチ有効無効情報に基づいて、無効の三角形パッチの頂点を構成するサンプリング点どうしの接続を表す接続情報を削除する。その結果、三角形パッチ有効無効情報が無効を示す三角形パッチは、描画されない。
　なお、三角形パッチは、右端および下端のサンプリング点を除いて、各サンプリング点に対して２個ずつ生成される。また、三角形パッチ有効無効情報は、三角形パッチの有効または無効を示す１ビットの情報である。従って、全ての三角形パッチの三角形パッチ有効無効情報のビット数は、第１レイヤのテクスチャ画像の水平方向の画素数をwidthとし、垂直方向の画素数をheightとすると、（width-1)*(height-1)*2ビットである。
　三角形パッチ有効無効情報は、ロスレス圧縮または非圧縮で、コンテンツサーバ１２からホームサーバ１３ａに伝送される。なお、三角形パッチ有効無効情報は、デプス画像のCb,Cr値として配置されてもよい。
　＜第２実施の形態＞
　第１実施の形態では、低解像度符号化ストリーム、および、視聴者の視線に近い３つの選択面に対応する高解像度符号化ストリームに基づいて、表示画像が生成される。従って、例えば、視聴者の視線方向が急激に変化したり、大きく変化したりした場合に、表示画像内の低解像度領域の割合が大きくなり、画質が低下する。これを防ぐためには、例えば、選択面の数を増やしたり、低解像度符号化ストリームを用いずに、全ての面の高解像度符号化ストリームのみを用いて表示画像を生成したりすることが考えられる。
　一方で、低解像度符号化ストリームおよび高解像度符号化ストリームの復号およびレンダリングは、非常に負荷の大きな処理である。そのため、ホームサーバ１３の処理能力等により、各符号化ストリームの復号およびレンダリングが間に合わず、表示画像の全部または一部の非表示、フリーズ、または更新の遅延が発生し、画質が低下するおそれがある。特に、上述したように選択面の数を増やしたり、高解像度符号化ストリームのみを用いて表示画像を生成したりすると、符号化ストリームの復号およびレンダリングの遅延による画質の低下が発生する可能性が高くなる。
　そこで、第２実施の形態は、必要に応じて符号化ストリーム間で優先度をつけて各符号化ストリームの復号およびレンダリングを行うことにより、ホームサーバ１３の負荷を軽減しつつ、表示画像の画質の低下を抑制するものである。
　（ホームサーバの第２実施の形態の構成例）
　図３０は、図１のホームサーバ１３の第２実施の形態であるホームサーバ１３ｂ（画像処理装置）の構成例を示すブロック図である。
　図３０に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３０のホームサーバ１３ｂは、カメラ１３Ａ、受け取り部２３１、ストレージ２３２、受け取り部２３３、描画部２３６、視線検出部５０１、および３Ｄモデル生成部５０２（画像生成部）により構成される。ホームサーバ１３ｂは、図１９のホームサーバ１３ａと比較して、視線検出部２３４および３Ｄモデル生成部２３５の代わりに、視線検出部５０１および３Ｄモデル生成部５０２が設けられている点が異なる。３Ｄモデル生成部５０２は、優先度設定部５１１、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６、および低解像度３Ｄモデル生成部５１３により構成される。
　視線検出部５０１は、図１９の視線検出部２３４と同様に、視聴者の視線方向の決定、視聴者の視聴位置の検出、並びに、視聴者の視野範囲の決定を行う。視線検出部５０１は、視聴者の視野範囲と視聴位置を描画部２３６に供給する。また、視線検出部５０１は、視聴者の視線方向と視聴位置を優先度設定部５１１に供給する。
　優先度設定部５１１は、ストレージ２３２に記憶されているメタデータのうちの推奨視聴方向情報および顔メタデータ、視線検出部５０１から供給される視聴者の視聴位置および視線方向、図示せぬ音声処理部から供給される音源情報、並びに、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６から供給される画像中の色情報の分布に基づいて、各符号化ストリームの復号およびレンダリングを行う優先度を設定する。優先度設定部５１１は、各符号化ストリームに対する優先度を、それぞれ対応するＭＬ３Ｄモデル生成部５１２－１乃至５１２－６および低解像度３Ｄモデル生成部５１３に供給する。
　また、優先度設定部５１１は、各面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。優先度設定部５１１は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部５１２－１乃至５１２－６に供給する。また、優先度設定部５１１は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、低解像度３Ｄモデル生成部５１３に供給する。
　ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６は、図１９のＭＬ３Ｄモデル生成部２４１－１乃至２４１－３と同様に、それぞれ対応する面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。例えば、ＭＬ３Ｄモデル生成部５１２－１は、＋Ｘ面８１を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。ＭＬ３Ｄモデル生成部５１２－２は、－Ｘ面８２を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。ＭＬ３Ｄモデル生成部５１２－３は、＋Ｙ面８３を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。ＭＬ３Ｄモデル生成部５１２－４は、－Ｙ面８４を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。ＭＬ３Ｄモデル生成部５１２－５は、＋Ｚ面８５を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。ＭＬ３Ｄモデル生成部５１２－６は、－Ｚ面８６を含む面の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する。そして、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６は、第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを描画部２３６に供給する。
　ただし、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６は、ＭＬ３Ｄモデル生成部２４１－１乃至２４１－３と異なり、後述するように、各高解像度符号化ストリームの復号およびレンダリングを行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。また、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６は、復号した第１レイヤテクスチャストリームおよび第２レイヤテクスチャストリームのピクチャの色情報の分布を検出し、検出結果を優先度設定部５１１に供給する。
　なお、以下、ＭＬ３Ｄモデル生成部５１２－１乃至５１２－６を個々に区別する必要がない場合、単にＭＬ３Ｄモデル生成部５１２という。
　低解像度３Ｄモデル生成部５１３は、図１９のホームサーバ１３ａの低解像度３Ｄモデル生成部２４２と同様に、低解像度テクスチャ画像の３次元データを生成する。低解像度３Ｄモデル生成部５１３は、低解像度テクスチャ画像の３次元データを描画部２３６に供給する。
　ただし、低解像度３Ｄモデル生成部５１３は、低解像度３Ｄモデル生成部２４２と異なり、後述するように、低解像度符号化ストリームの復号およびレンダリングを行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。
　（ＭＬ３Ｄモデル生成部の構成例）
　図３１は、図３０のＭＬ３Ｄモデル生成部５１２の構成例を示すブロック図である。
　図３０に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３１のＭＬ３Ｄモデル生成部５１２は、バッファ２６２、バッファ２６３、レンダリング部２６４、復号部２６５、バッファ２６６、バッファ２６７、レンダリング部２６８、復号部５３１、および復号部５３２により構成される。ＭＬ３Ｄモデル生成部５１２は、図２０のＭＬ３Ｄモデル生成部２４１と比較して、復号部２６１および復号部２６５の代わりに、復号部５３１および復号部５３２が設けられている点が異なる。復号部５３１は、デコーダ５４１およびデコーダ５４２により構成される。復号部５３２は、デコーダ５５１およびデコーダ５５２により構成される。
　復号部５３１のデコーダ５４１は、図２０のデコーダ２７１と同様に、優先度設定部５１１から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成し、第１レイヤのテクスチャ画像をバッファ２６２に蓄積する。
　ただし、デコーダ５４１は、デコーダ２７１と異なり、後述するように、第１レイヤテクスチャストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。また、デコーダ５４１は、復号したピクチャの色情報の分布を検出し、検出結果を図３０の優先度設定部５１１に供給する。
　復号部５３１のデコーダ５４２は、図２０のデコーダ２７２と同様に、優先度設定部５１１から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成し、第１レイヤのデプス画像をバッファ２６３に蓄積する。
　ただし、デコーダ５４２は、デコーダ２７２と異なり、後述するように、第１レイヤデプスストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。
　復号部５３２のデコーダ５５１は、図２０のデコーダ２９１と同様に、優先度設定部５１１から供給される第２レイヤテクスチャストリームを復号し、第２レイヤのテクスチャ画像を生成し、第２レイヤのテクスチャ画像をバッファ２６６に蓄積する。
　ただし、デコーダ５５１は、デコーダ２９１と異なり、後述するように、第２レイヤテクスチャストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。また、デコーダ５５１は、復号したピクチャの色情報の分布を検出し、検出結果を図３０の優先度設定部５１１に供給する。
　復号部５３２のデコーダ５５２は、図２０のデコーダ２９２と同様に、優先度設定部５１１から供給される第２レイヤデプスストリームを復号し、第２レイヤのデプス画像を生成し、第２レイヤのデプス画像をバッファ２６７に蓄積する。
　ただし、デコーダ５５２は、デコーダ２９２と異なり、後述するように、第２レイヤデプスストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。
　（低解像度３Ｄモデル生成部の構成例）
　図３２は、図３１の低解像度３Ｄモデル生成部５１３の構成例を示すブロック図である。
　図３２に示す構成のうち、図２１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３２の低解像度３Ｄモデル生成部５１３は、バッファ３２２、バッファ３２３、レンダリング部３２４、および復号部５７１により構成される。低解像度３Ｄモデル生成部５１３は、図２１の低解像度３Ｄモデル生成部２４２と比較して、復号部３２１の代わりに、復号部５７１が設けられている点が異なる。復号部５７１は、デコーダ５８１およびデコーダ５８２により構成される。
　復号部５７１のデコーダ５８１は、図２１のデコーダ３３１と同様に、優先度設定部５１１から供給される低解像度テクスチャストリームを復号し、低解像度テクスチャ画像を生成し、低解像度テクスチャ画像をバッファ３２２に蓄積する。
　ただし、デコーダ５８１は、デコーダ３３１と異なり、後述するように、低解像度テクスチャストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。
　復号部５７１のデコーダ５８２は、図２１のデコーダ３３２と同様に、優先度設定部５１１から供給される低解像度デプスストリームを復号し、低解像度デプス画像を生成し、低解像度デプス画像をバッファ３２３に蓄積する。
　ただし、デコーダ５８２は、デコーダ３３２と異なり、後述するように、低解像度デプスストリームの復号を行う際に、優先度設定部５１１により設定された優先度に従ってピクチャの間引き処理を行う。
　（ホームサーバの処理の説明）
　図３３は、図３０のホームサーバ１３ｂの再生処理を説明するフローチャートである。この再生処理は、例えば、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータが伝送されてきたとき、開始される。
　ステップＳ１０１乃至Ｓ１０３において、図２７のステップＳ４１乃至Ｓ４３と同様の処理が実行される。
　ステップＳ１０４において、視線検出部５０１は、図２７のステップＳ４４の処理と同様に、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。視線検出部５０１は、視聴者の視線方向を優先度設定部５１１に供給する。
　ステップＳ１０５において、カメラ１３Ａは、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影し、その結果得られる撮影画像を視線検出部２３４に供給する。
　ステップＳ１０６において、視線検出部５０１は、カメラ１３Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出し、描画部２３６および優先度設定部５１１に供給する。
　ステップＳ１０７において、図２７のステップＳ４８の処理と同様に、視線検出部５０１は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定し、描画部２３６に供給する。
　ステップＳ１０８において、ホームサーバ１３ｂは、表示画像生成処理を行う。表示画像生成処理の詳細は、図３４を参照して後述する。
　ステップＳ１０９において、図２７のステップＳ５４の処理と同様に、描画部２３６は、表示画像を図１の変換装置１４に伝送する。
　ステップＳ１１０において、優先度設定部５１１は、符号化ストリームの再生が終了したか否かを判定する。優先度設定部５１１は、ストレージ２３２に未再生の符号化ストリームが残っている場合、符号化ストリームの再生が終了していないと判定し、処理はステップＳ１０３に戻る。
　その後、ステップＳ１１０において、符号化ストリームの再生が終了したと判定されるまで、ステップＳ１０３乃至Ｓ１１０の処理が繰り返し実行される。
　一方、ステップＳ１１０において、優先度設定部５１１は、ストレージ２３２に未再生の符号化ストリームが残っていない場合、符号化ストリームの再生が終了したと判定し、再生処理は終了する。
　図３４は、図３３のステップＳ１０８においてホームサーバ１３ｂにより行われる表示画像生成処理の詳細を説明するフローチャートである。
　ステップＳ１３１において、優先度設定部５１１は、レンダリングのアンダーフローが発生しそうか否かを判定する。例えば、優先度設定部５１１は、各ＭＬ３Ｄモデル生成部５１２のバッファ２６２、バッファ２６３、バッファ２６６、およびバッファ２６７の蓄積量を確認する。優先度設定部５１１は、全てのバッファの蓄積量が所定の閾値以上である場合、レンダリングのアンダーフローが発生しそうでないと判定し、処理はステップＳ１３２に進む。すなわち、各高解像度符号化ストリームの復号が順調に行われており、各高解像度符号化ストリームのレンダリングの遅延の発生が予測されない場合、処理はステップＳ１３２に進む。
　ステップＳ１３２において、優先度設定部５１１は、優先度をデフォルト値に設定する。
　図３５は、優先度とピクチャの間引き方法の例を示している。図内の四角は符号化ストリームの各ＧＯＰ（Group of Picture）内のピクチャを示している。黒地にＩの文字が示されているピクチャは、他のピクチャとの依存関係がなく、単独で復号されるＩピクチャを示している。斜線およびＰｒの文字が示されているピクチャは、フレーム間予測を用いて復号されるＰピクチャのうち、他のピクチャから参照される参照Ｐピクチャを示している。白地にＰｎの文字が示されているピクチャは、Ｐピクチャのうち他のピクチャから参照されない非参照Ｐピクチャを示している。
　例えば、最も高い優先度Ａに設定されている符号化ストリームにおいては、ピクチャの間引きは行われない。すなわち、符号化ストリームの全てのピクチャの再生が行われる。例えば、優先度Ａに設定されている符号化ストリームから生成される３次元データのフレームレートは、６０ｆｐｓ（frame per second）となる。
　２番目に高い優先度Ｂに設定されている符号化ストリームにおいては、符号化ストリームの各ＧＯＰ内の非参照Ｐピクチャが間引かれる。すなわち、符号化ストリームのＩピクチャおよび参照Ｐピクチャのみが再生される。例えば、優先度Ｂに設定されている符号化ストリームから生成される３次元データのフレームレートは、３０ｆｐｓとなる。
　３番目に高い優先度Ｃに設定されている符号化ストリームにおいては、符号化ストリームの各ＧＯＰ内の参照Ｐピクチャおよび非参照Ｐピクチャが間引かれる。すなわち、符号化ストリームのＩピクチャのみが再生される。例えば、優先度Ｃに設定されている符号化ストリームから生成される３次元データのフレームレートは、１ｆｐｓとなる。
　最も低い優先度Ｄに設定されている符号化ストリームにおいては、ＧＯＰ内の全てのピクチャが間引かれる。すなわち、符号化ストリームの再生が行われず、フレームの更新が行われない。従って、優先度Ｄに設定されている符号化ストリームは、表示画像の生成に用いられない。
　このように、優先度が下がるにつれて、非参照Ｐピクチャ、参照Ｐピクチャ、Ｉピクチャの順に間引くピクチャが追加される。
　例えば、優先度設定部５１１は、優先度をデフォルト値に設定する場合、全てのレイヤの全ての面の高解像度符号化ストリームを優先度Ａに設定する。すなわち、全ての高解像度符号化ストリームが、ピクチャを間引かずに再生される。一方、優先度設定部５１１は、低解像度符号化ストリームを優先度Ｄに設定する。すなわち、低解像度符号化ストリームの再生が停止される。
　優先度設定部５１１は、設定した優先度を、各ＭＬ３Ｄモデル生成部５１２のデコーダ５４１、デコーダ５４２、デコーダ５５１、およびデコーダ５５２、並びに、低解像度３Ｄモデル生成部５１３のデコーダ５８１およびデコーダ５８２に供給する。
　ステップＳ１３３において、優先度設定部５１１は、次に再生を行う期間（以下、再生対象期間という）内の低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、低解像度３Ｄモデル生成部５１３に供給する。また、優先度設定部５１１は、次の再生対象期間内の各面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。優先度設定部５１１は、読み出した各面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、それぞれ対応するＭＬ３Ｄモデル生成部５１２に供給する。また、優先度設定部５１１は、各面に対応する視点位置情報および面情報をストレージ２３２から読み出し、描画部２３６に供給する。
　なお、再生対象期間は、例えば、所定の数のＧＯＰ単位で設定される。
　ステップＳ１３４において、図２７のステップＳ５０の処理と同様に、各ＭＬ３Ｄモデル生成部５１２は、面ごとに、第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する３次元データ生成処理を行う。このとき、各ＭＬ３Ｄモデル生成部５１２は、各高解像度符号化ストリームのピクチャを間引くことなく、３次元データ生成処理を行う。
　なお、低解像度符号化ストリームは優先度Ｄに設定されているため、低解像度テクスチャ画像の３次元データの生成処理は行われない。
　ステップＳ１３５において、描画部２３６は、各ＭＬ３Ｄモデル生成部５１２から供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。
　このとき、低解像度テクスチャ画像の三角形パッチ描画は行われない。
　ステップＳ１３６において、図２７のステップＳ５３の処理と同様に、表示画像が生成される。上述したように、レンダリングのアンダーフローが発生しそうでないと判定された場合、低解像度テクスチャ画像の３次元データの生成処理は行われない。そして、高解像度の第１レイヤまたは第２レイヤのテクスチャ画像の３次元データのみを用いて表示画像が生成される。従って、視聴者の視野範囲の表示画像の全ての領域が高解像度となり、画質が向上する。
　その後、表示画像生成処理は終了する。
　一方、ステップＳ１３１において、優先度設定部５１１は、例えば、各ＭＬ３Ｄモデル生成部５１２のバッファ２６２、バッファ２６３、バッファ２６６、およびバッファ２６７のうち、少なくとも１つのバッファの蓄積量が所定の閾値未満である場合、レンダリングのアンダーフローが発生しそうであると判定し、処理はステップＳ１３７に進む。すなわち、少なくとも１つの高解像度符号化ストリームの復号が間に合わず、当該高解像度符号化ストリームのレンダリングの遅延の発生が予測される場合、処理はステップＳ１３７に進む。
　ステップＳ１３７において、優先度設定部５１１は、優先度設定処理を行う。優先度設定処理の詳細は、図３６および図３７を参照して後述するが、各レイヤの各面の高解像度符号化ストリームの優先度が、優先度Ａ乃至Ｄのいずれかに設定される。
　なお、視聴者の視野範囲と重なる面およびレイヤ、並びに、視聴者が見る可能性が高い面およびレイヤの高解像度符号化ストリームの優先度が高く設定される。一方、視聴者が見る可能性が低い面およびレイヤの高解像度符号化ストリームの優先度が低く設定される。また、低解像度符号化ストリームの優先度が、最も高い優先度Ａに設定される。
　ステップＳ１３８において、ステップＳ１３３と同様の処理が行われる。
　ステップＳ１３９において、各ＭＬ３Ｄモデル生成部５１２は、面およびレイヤごとに、優先度に従って段階的にピクチャを間引きながら、３次元データを生成する。具体的には、図２７のステップＳ５０の処理と同様に、各ＭＬ３Ｄモデル生成部５１２は、面ごとに、第１レイヤおよび第２レイヤのテクスチャ画像の３次元データを生成する３次元データ生成処理を行う。
　このとき、各ＭＬ３Ｄモデル生成部５１２は、図３５を参照して上述したように、優先度設定部５１１により設定された優先度に従って、各高解像度符号化ストリームのＧＯＰ内のピクチャを間引きながら、３次元データを生成する。具体的には、各ＭＬ３Ｄモデル生成部５１２のデコーダ５４１、デコーダ５４２、デコーダ５５１、およびデコーダ５５２が、間引く対象となるピクチャの復号をスキップすることにより、ピクチャを間引く。そして、優先度が低い高解像度符号化ストリームほど、復号するピクチャを間引く量が大きくなる。
　なお、各ＭＬ３Ｄモデル生成部５１２は、全てのピクチャの復号を行う一方、間引く対象となるピクチャのレンダリングをスキップすることにより、ピクチャを間引くようにしてもよい。具体的には、各ＭＬ３Ｄモデル生成部５１２のデコーダ５４１、デコーダ５４２、デコーダ５５１、およびデコーダ５５２は、全てのピクチャの復号を実施する。一方、各ＭＬ３Ｄモデル生成部５１２のレンダリング部２６４およびレンダリング部２６８は、間引く対象となるピクチャのレンダリングをスキップすることにより、ピクチャを間引く。そして、優先度が低い高解像度符号化ストリームほど、レンダリングするピクチャを間引く量が大きくなる。
　ステップＳ１４０において、図２７のステップＳ５１の処理と同様に、低解像度テクスチャ画像の３次元データが生成され、描画部２３６に供給される。このとき、低解像度符号化ストリームのピクチャが間引かれることなく、３次元データが生成される。
　ステップＳ１４１において、図２７のステップＳ５２の処理と同様に、三角形パッチ描画が行われる。
　ステップＳ１４２において、図２７のステップＳ５３の処理と同様に、表示画像が生成される。このとき、低解像度テクスチャ画像の３次元データ、並びに、優先度Ａ乃至Ｃに設定されている面およびレイヤの高解像度テクスチャ画像の３次元データを用いて、表示画像が生成される。
　ここで、上述したように、レンダリングのアンダーフローが発生しそうな場合、低解像度符号化ストリーム、視聴者の視野範囲と重なる面およびレイヤの高解像度符号化ストリーム、並びに、視聴者が見る可能性の高い面およびレイヤの高解像度符号化ストリームの優先度が高く設定される。従って、視聴者の視野範囲において高解像度領域の割合が高くなるとともに、視野範囲の高解像領域の更新頻度が高く維持される。また、視聴者の視線が想定外の動きをした場合にも、高解像度領域の画像か更新頻度が高い低解像度領域の画像かを視聴者に見せることができる。さらに、ホームサーバ１３ｂの負荷が軽減され、符号化ストリームの再生の遅延が抑制され、表示画像のリアルタイム性が保証される。その結果、視聴者の視野範囲の表示画像の画質の低下が抑制され、ユーザエクスペリエンスの低下が抑制される。
　その後、表示画像生成処理は終了する。
　図３６は、図３４のステップＳ１３７において優先度設定部５１１により行われる優先度設定処理の詳細を説明するフローチャートである。
　また、図３７は、優先度を設定するためのスコアの算出に用いるスコア算出テーブルの例を示している。スコア算出テーブルは、加算要因、基準値、および重み係数の項目を含む。後述するように、優先度設定部５１１は、図３７のスコア算出テーブルに基づいて、スコアの算出を行う。
　ステップＳ１６１において、優先度設定部５１１は、スコアを算出する面を選択する。優先度設定部５１１は、第１レイヤの６つの面および第２レイヤの６つの面の中から、まだスコアを算出していない面を１つ選択する。
　なお、以下、優先度設定部５１１により選択された面を設定対象面という。
　ステップＳ１６２において、優先度設定部５１１は、ストレージ２３２に記憶されているメタデータのうちの推奨視聴方向情報に基づいて、設定対象面が推奨視聴方向に設定されているか否かを判定する。優先度設定部５１１は、設定対象面が推奨視聴方向の面である場合、設定対象面が推奨視聴方向に設定されていると判定し、処理はステップＳ１６３に進む。
　ステップＳ１６３において、優先度設定部５１１は、推奨視聴方向に基づくスコアを加算する。
　例えば、図３７のスコア算出テーブルにおいて、設定対象面が推奨視聴方向に設定されている場合の基準値が１に設定され、推奨視聴方向に設定されていない場合の基準値が０に設定されている。また、重み係数が１０に設定されている。
　なお、基準値に重み係数を乗じた値がスコアに加算される。従って、設定対象面が推奨視聴方向に設定されている場合、基準値である１に重み係数である１０を乗じた値である１０がスコアに加算される。一方、設定対象面が推奨視聴方向に設定されていない場合、スコアは加算されない。
　その後、処理はステップＳ１６４に進む。
　一方、ステップＳ１６２において、設定対象面が推奨視聴方向に設定されていないと判定された場合、ステップＳ１６３の処理はスキップされ、スコアの加算が行われずに、処理はステップＳ１６４に進む。
　ステップＳ１６４において、優先度設定部５１１は、視聴者の視野に基づくスコアを加算する。例えば、優先度設定部５１１は、視聴者の視聴位置から視線方向に延びる視線が設定対象面と交わる場合、設定対象面が視聴者の視野の中央であると判定する。また、優先度設定部５１１は、設定対象面が視聴者の視線と交わる面と隣接する面である場合、設定対象面が視聴者の視野の周辺であると判定する。さらに、優先度設定部５１１は、設定対象面が視聴者の視線と交わる面、および、視線と交わる面に隣接する面のいずれでもない場合、設定対象面が視聴者の視野外であると判定する。
　例えば、図８のＢの＋Ｙ面８３を含む面が視聴者の視線と交わる場合、＋Ｙ面８３を含む面が視野の中央となる。＋Ｘ面８１、－Ｘ面８２、＋Ｚ面８５、および－Ｚ面８６のうちいずれかを含む面が視野の周辺となる。－Ｙ面８４を含む面が視野外となる。
　一方、図３７のスコア算出テーブルにおいて、設定対象面が視野中央である場合の基準値が２に設定されており、視野周辺である場合の基準値が１に設定されており、視野外である場合の基準値が０に設定されている。また、重み係数が５に設定されている。従って、設定対象面が視野中央である場合、スコアが１０だけ加算される。設定対象面が視野周辺である場合、スコアが５だけ加算される。設定対象面が視野外である場合、スコアは加算されない。
　ステップＳ１６５において、優先度設定部５１１は、レイヤに基づくスコアを加算する。
　例えば、図３７のスコア算出テーブルにおいて、第１レイヤの基準値が２に設定され、第２レイヤの基準値が１に設定され、それ以外のレイヤの基準値が０に設定されている。また、重み係数が４に設定されている。従って、設定対象面のレイヤが第１レイヤである場合、スコアが８だけ加算される。設定対象面のレイヤが第２レイヤである場合、スコアが４だけ加算される。設定対象面のレイヤがそれ以外のレイヤである場合、スコアは加算されない。
　なお、現在の例では、第３レイヤ以降のレイヤが設定されていないため、設定対象面のレイヤがそれ以外のレイヤになる場合はない。
　ステップＳ１６６において、優先度設定部５１１は、設定対象面に人物が存在するか否かを判定する。例えば、優先度設定部５１１は、ストレージ２３２に記憶されているメタデータのうちの顔メタデータに基づいて、再生対象期間内の設定対象面のテクスチャストリームにおいて人の顔が出現する否かを検出する。優先度設定部５１１は、人の顔が出現する場合、設定対象面に人物が存在すると判定し、処理はステップＳ１６７に進む。
　ステップＳ１６７において、優先度設定部５１１は、人物に基づくスコアを加算する。
　例えば、図３７のスコア算出テーブルにおいて、視聴者に注目される可能性が高いオブジェクトとして注目オブジェクトＡ乃至Ｃが設定されている。そのうち、注目オブジェクトＡは人物であり、人物が存在する場合の基準値が１に設定され、人物が存在しない場合の基準値が０に設定されている。また、重み係数が３に設定されている。従って、設定対象面に人物が存在する場合、スコアが３だけ加算される。設定対象面に人物が存在しない場合、スコアは加算されない。
　すなわち、視聴者は人物が存在する方向を見る可能性が高いため、人物が存在する面およびレイヤに対応する符号化ストリームの優先度が高く設定される。
　その後、処理はステップＳ１６８に進む。
　一方、ステップＳ１６６において、優先度設定部５１１は、再生対象期間内の設定対象面のテクスチャストリームにおいて人の顔が出現しない場合、設定対象面に人物が存在しないと判定する。そして、ステップＳ１６７の処理はスキップされ、スコアの加算は行われずに、処理はステップＳ１６８に進む。
　ステップＳ１６８において、優先度設定部５１１は、音源情報を取得する。具体的には、優先度設定部５１１は、再生対象期間の所定の期間前（例えば、１フレーム前）の表示画像と同期して再生される音声の音源情報を、図示せぬ音声処理部から取得する。音源情報は、例えば、各音源の３Ｄモデル座標系における位置および音量を示す。
　ステップＳ１６９において、優先度設定部５１１は、設定対象面に音量が大きな音源が存在するか否かを判定する。例えば、優先度設定部５１１は、取得した音源情報に基づいて、音量が所定の閾値以上の音源を抽出する。優先度設定部５１１は、視聴者の視聴位置を基準にして、抽出した音源が設定対象面の方向に存在する場合、設定対象面に音量が大きな音源が存在すると判定し、処理はステップＳ１７０に進む。
　ステップＳ１７０において、優先度設定部５１１は、音源に基づくスコアを加算する。
　例えば、図３７のスコア算出テーブルにおいて、注目オブジェクトＢとして音量が大きな音源が設定されている。そして、音量が大きな音源が存在する場合の基準値が１に設定され、存在しない場合の基準値が０に設定されている。また、重み係数が２に設定されている。従って、設定対象面に音量が大きな音源が存在する場合、スコアが２だけ加算される。設定対象面に音量が大きな音源が存在しない場合、スコアは加算されない。
　すなわち、視聴者は大きな音がする方向を見る可能性が高いため、音量が大きな音源が存在する面およびレイヤに対応する符号化ストリームの優先度が高く設定される。
　その後、処理はステップＳ１７１に進む。
　一方、ステップＳ１６９において、設定対象面に音量が大きな音源が存在しないと判定された場合、ステップＳ１７０の処理はスキップされ、スコアの加算は行われずに、処理はステップＳ１７１に進む。
　ステップＳ１７１において、優先度設定部５１１は、画像中の色情報の分布を取得する。具体的には、優先度設定部５１１は、設定対象面のテクスチャストリームの復号を行うＭＬ３Ｄモデル生成部５１２のデコーダ５４１またはデコーダ５５１から、設定対象面のテクスチャストリームの復号済みのピクチャのうち時間軸上で最も新しいピクチャの色情報の分布を取得する。
　ステップＳ１７２において、優先度設定部５１１は、設定対象面に視覚的に目立つ被写体が存在するか否かを判定する。例えば、優先度設定部５１１は、取得した色情報の分布において、周囲と比べて特徴のある色領域の検出を行う。なお、特徴のある色領域の検出方法には、任意の方法を採用することができる。そして、優先度設定部５１１は、特徴のある色領域が検出された場合、設定対象面に視覚的に目立つ被写体が存在すると判定し、処理はステップＳ１７３に進む。
　ステップＳ１７３において、優先度設定部５１１は、視覚的に目立つ被写体に基づくスコアを加算する。
　例えば、図３７のスコア算出テーブルにおいて、注目オブジェクトＣとして視覚的に目立つ被写体が設定されている。そして、視覚的に目立つ被写体が存在する場合の基準値が１に設定され、存在しない場合の基準値が０に設定されている。また、重み係数が１に設定されている。従って、設定対象面に視覚的に目立つ被写体が存在する場合、スコアが１だけ加算される。設定対象面に視覚的に目立つ被写体が存在しない場合、スコアは加算されない。
　すなわち、視聴者は視覚的に目立つ被写体が存在する方向を見る可能性が高いため、視覚的に目立つ被写体が存在する面およびレイヤに対応する符号化ストリームの優先度が高く設定される。
　その後、処理はステップＳ１７４に進む。
　一方、ステップＳ１７２において、設定対象面に視覚的に目立つ被写体が存在しないと判定された場合、ステップＳ１７３の処理はスキップされ、スコアの加算は行われずに、処理はステップＳ１７４に進む。
　ステップＳ１７４において、優先度設定部５１１は、全ての面のスコアを算出したか否かを判定する。まだ全ての面のスコアを算出していないと判定された場合、処理はステップＳ１６１に戻る。
　その後、ステップＳ１７４において、全ての面のスコアを算出したと判定されるまで、ステップＳ１６１乃至Ｓ１７４の処理が繰り返し実行される。
　一方、ステップＳ１７４において、全ての面のスコアを算出したと判定された場合、処理はステップＳ１７５に進む。
　ステップＳ１７５において、優先度設定部５１１は、各符号化ストリームの優先度を設定する。例えば、優先度設定部５１１は、低解像度符号化ストリームの優先度を優先度Ａに設定する。すなわち、低解像度符号化ストリームは、視聴者の視野範囲を含む全ての方向をカバーするため、高解像度符号化ストリームより優先度が高く設定され、最優先で復号およびレンダリングが行われる。
　また、優先度設定部５１１は、第１レイヤの６つの面および第２レイヤの６つの面の１２種類の面をスコアの高い順に並べ、スコアが上位の２５％に含まれる面に対応する高解像度符号化ストリームを優先度Ａに設定する。優先度設定部５１１は、スコアが次の上位の２５％に含まれる面に対応する高解像度符号化ストリームを優先度Ｂに設定する。優先度設定部５１１は、スコアが下位の５０％に含まれる面に対応する高解像度符号化ストリームを優先度Ｄに設定する。
　これにより、視聴者の視野範囲と重なる面およびレイヤに対応する高解像度符号化ストリーム、並びに、視聴者が見る可能性が高い面およびレイヤに対応する高解像符号化ストリームの優先度が高く設定される。一方、視聴者が見る可能性が低い面およびレイヤに対応する高解像度符号化ストリームの優先度が低く設定される。
　優先度設定部５１１は、各高解像度符号化ストリームに対する優先度を、それぞれ対応するＭＬ３Ｄモデル生成部５１２のデコーダ５４１、デコーダ５４２、デコーダ５５１、またはデコーダ５５２に供給する。また、優先度設定部５１１は、低解像度符号化ストリームの優先度を、低解像度３Ｄモデル生成部５１３のデコーダ５８１およびデコーダ５８２に供給する。
　その後、優先度設定処理は終了する。
　＜第３実施の形態＞
　第３実施の形態では、第２実施の形態と同様に、優先度をつけて各符号化ストリームの復号およびレンダリングが行われる。ただし、第３実施の形態では、低解像度符号化ストリームを用いずに、高解像度符号化ストリームのみを用いて表示画像の生成が行われる。
　（ホームサーバの第３実施の形態の構成例）
　図３８は、図１のホームサーバ１３の第３実施の形態であるホームサーバ１３ｃ（画像処理装置）の構成例を示すブロック図である。
　図３８に示す構成のうち、図３０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３８のホームサーバ１３ｃは、カメラ１３Ａ、受け取り部２３１、ストレージ２３２、受け取り部２３３、描画部２３６、視線検出部５０１、および３Ｄモデル生成部６０１（画像生成部）により構成される。ホームサーバ１３ｃは、図３０のホームサーバ１３ｂと比較して、３Ｄモデル生成部５０２の代わりに、３Ｄモデル生成部６０１が設けられている点が異なる。３Ｄモデル生成部６０１は、図３０の３Ｄモデル生成部５０２と比較して、低解像度３Ｄモデル生成部５１３が設けられていない点が異なる。
　なお、ホームサーバ１３ｃの再生処理は、図３３乃至図３７を参照して上述したホームサーバ１３ｂの再生処理とほぼ同様である。
　ただし、ホームサーバ１３ｃの３Ｄモデル生成部６０１では、第１レイヤおよび第２レイヤのテクスチャ画像の３次元データのみが生成され、低解像度テクスチャ画像の３次元データは生成されない。従って、３Ｄモデル生成部６０１は、図３０の３Ｄモデル生成部５０２と比較して、低解像度符号化ストリームの復号およびレンダリングが省略される分だけ負荷が軽減される。そして、３Ｄモデル生成部６０１は、負荷が軽減された分だけ、高解像度符号化ストリームの復号およびレンダリングの処理量を増やすことができる。
　そこで、例えば、上述した図３６のステップＳ１７５において、１２種類の面をスコアの高い順に並べ、スコアが上位の２５％に含まれる面に対応する高解像度符号化ストリームが優先度Ａに設定される。スコアが次の上位の２５％に含まれる面に対応する高解像度符号化ストリームが優先度Ｂに設定される。スコアが次の上位の２５％に含まれる面に対応する高解像度符号化ストリームが優先度Ｃに設定される。スコアが下位の２５％に含まれる面に対応する高解像度符号化ストリームが優先度Ｄに設定される。すなわち、ホームサーバ１３ｂの再生処理と比較して、優先度Ｃに設定される高解像度符号化ストリームの割合が増加し、優先度Ｄに設定される高解像度符号化ストリームの割合が減少する。
　そして、上述した図３４のステップＳ１４２において、描画部２３６は、高解像度の第１レイヤおよび第２レイヤのテクスチャ画像の３次元データのみを用いて表示画像を生成する。このとき、描画部２３６は、優先度Ｄに設定された高解像度符号化ストリームに基づく高解像度テクスチャ画像の３次元データも用いて表示画像を生成する。例えば、描画部２３６は、優先度Ｄに設定された高解像度符号化ストリームに対応する表示画像内の領域の画像を優先度Ｄに設定される直前の状態で更新を停止し、静止画とする。
　これにより、表示画像内が全て高解像度領域となり、画質が向上する。また、視聴者の視野範囲において更新頻度が高くなるとともに、視聴者が見る可能性が低い領域の更新頻度が低くなる。さらに、ホームサーバ１３ｃの負荷が軽減され、符号化ストリームの再生の遅延が抑制され、表示画像のリアルタイム性が保証される。その結果、視聴者の視野範囲の表示画像の画質の低下が抑制され、ユーザエクスペリエンスの低下が抑制される。
　なお、第３実施の形態においては、コンテンツサーバ１２において、低解像度符号化ストリームの生成処理を省略することが可能である。
　＜第４実施の形態＞
　（画像表示システムの第２実施の形態の構成例）
　図３９は、本開示を適用した画像表示システムの第２実施の形態の構成例を示すブロック図である。
　図３９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３９の画像表示システム７００は、マルチカメラ１１、コンテンツサーバ１２、変換装置１４、ヘッドマウントディスプレイ１５、配信サーバ７０１、ネットワーク７０２、および再生装置７０３により構成される。画像表示システム７００では、例えば、６つの面のうちの、視線に対応する１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームのみが再生装置７０３に配信され、再生される。
　具体的には、画像表示システム７００の配信サーバ７０１は、コンテンツサーバ１２から送信されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、記憶する。
　また、配信サーバ７０１は、ネットワーク７０２を介して再生装置７０３と接続する。配信サーバ７０１は、再生装置７０３からの要求に応じて、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、ネットワーク７０２を介して再生装置７０３に伝送する。
　なお、例えば、コンテンツサーバ１２の処理能力、配信サーバ７０１の処理能力、ネットワーク７０２の負荷や構成等の要因により、配信サーバ７０１から再生装置７０３への各符号化ストリームの伝送が遅延する場合が想定される。この場合、例えば、配信サーバ７０１は、ＱｏＳ（Quality of Service）等の技術を用いて、再生装置７０３におけるリアルタイム制を確保するように、優先度をつけて各符号化ストリームの伝送を行う。
　再生装置７０３（画像処理装置）は、配信サーバ７０１に低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを、ネットワーク７０２を介して要求し、その要求に応じて伝送されてくる低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを受け取る。
　また、再生装置７０３は、カメラ１３Ａを内蔵する。再生装置７０３は、ホームサーバ１３ａと同様に、３Ｄモデル座標系における視聴位置を検出し、３Ｄモデル座標系における視聴者の視線方向と視野範囲を決定する。
　そして、再生装置７０３は、３Ｄモデル座標系における視聴位置および視線方向、並びに、メタデータに含まれる第１レイヤのテーブルに基づいて、第１レイヤの６つの面のうちの、視線に最も近い視線ベクトルに対応する１つの面を選択面に決定する。再生装置７０３は、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ネットワーク７０２を介して要求する。再生装置７０３は、その要求に応じて伝送されてくる１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを受け取る。
　再生装置７０３は、低解像度テクスチャストリームおよび低解像度デプスストリーム、並びに、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを用いて表示画像を生成する。この場合の再生装置７０３の表示画像を生成する処理は、選択面の数が１つである点を除いて、ホームサーバ１３ａの処理と同様であるので、説明は省略する。再生装置７０３は、図示せぬHDMIケーブルを介して表示画像を変換装置１４に伝送する。
　或いは、例えば、再生装置７０３は、配信サーバ７０１に低解像度テクスチャストリーム、低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを、ネットワーク７０２を介して要求する。再生装置７０３は、その要求に応じて伝送されてくる低解像度テクスチャストリーム、低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを受け取る。
　再生装置７０３は、低解像度テクスチャストリームおよび低解像度デプスストリーム、並びに、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを用いて、図３０のホームサーバ１３ｂと同様の処理により、表示画像を生成する。この場合の再生装置７０３の表示画像を生成する処理は、ホームサーバ１３ｂの処理と同様であるので、説明は省略する。再生装置７０３は、図示せぬHDMIケーブルを介して表示画像を変換装置１４に伝送する。
　或いは、例えば、再生装置７０３は、配信サーバ７０１に６つの面の第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを、ネットワーク７０２を介して要求する。再生装置７０３は、その要求に応じて伝送されてくる６つの面の第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを受け取る。
　再生装置７０３は、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを用いて、図３０のホームサーバ１３ｃと同様の処理により、表示画像を生成する。この場合の再生装置７０３の表示画像を生成する処理は、ホームサーバ１３ｃの処理と同様であるので、説明は省略する。再生装置７０３は、図示せぬHDMIケーブルを介して表示画像を変換装置１４に伝送する。
　なお、この場合、コンテンツサーバ１２において、低解像度符号化ストリームの生成処理を省略することが可能である。
　また、例えば、再生装置７０３が、配信サーバ７０１からの符号化ストリームの伝送の遅延の発生が予測される場合に、ホームサーバ１３ｂまたは１３ｃと同様の処理により、優先度をつけて各符号化ストリームの復号およびレンダリングを行うようにしてもよい。そして、例えば、再生装置７０３が、設定した優先度に従って、配信サーバ７０１に符号化ストリームの送信を要求するようにしてもよい。これにより、例えば、優先度Ｄに設定された符号化ストリームの伝送が停止され、符号化ストリームの伝送量が抑制されることにより、符号化ストリームの伝送の遅延が回避される。その結果、表示画像のリアルタイム性が保証され、表示画像の画質の低下を抑制することができる。
　＜第５実施の形態＞
　（画像表示システムの第３実施の形態の構成例）
　図４０は、本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。
　図４０の画像表示システム８００は、送信部８０１および受信部８０２を備える。送信部８０１は、撮影部８１１、ストリーム生成部８１２、ストレージ８１３、および、伝送部８１４を備える。ストリーム生成部８１２は、形状データ生成部８２１、変換部８２２、および、符号化部８２３を備える。受信部８０２は、受け取り部８４１、ストレージ８４２、画像処理部８４３、描画部８４４、表示部８４５、カメラ８４６、および、視線検出部８４７を備える。画像処理部８４３は、復号部８５１および再構成部８５２を備える。
　撮影部８１１は、複数の撮影カメラ（不図示）を備える。各撮影カメラは、受信部８０２において表示対象となるオブジェクト（以下、表示対象オブジェクトと称する）の周囲を取り囲むように配置され、複数の異なる視点（以下、撮影視点と称する）から表示対象オブジェクトを撮影する。撮影部８１１は、撮影の結果得られた複数の撮影視点からの視点画像である複数の撮影画像、および、各撮影画像の撮影視点に関する視点情報を含むメタデータ（以下、撮影視点メタデータと称する）を生成し、形状データ生成部８２１に供給する。
　図４１は、撮影視点メタデータの例を示している。撮影視点メタデータは、例えば、各撮影画像の撮影に用いられた撮影カメラを識別するためのＩＤ、並びに、各撮影カメラのカメラ座標系のワールド座標系に対する回転ベクトルおよび並進ベクトルを含む。
　形状データ生成部８２１は、各撮影視点の撮影画像に基づいて、表示対象オブジェクトの３次元の形状を高解像度に表す高解像度形状データを生成する。形状データ生成部８２１は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータを変換部８２２に供給する。
　変換部８２２は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータに基づいて、表示対象オブジェクトを複数の異なる視点（以下、伝送視点と称する）から見た視点画像である複数のテクスチャ画像および複数のデプス画像を生成する。なお、後述するように、伝送視点は必ずしも撮影視点と一致するとは限らない。
　また、変換部８２２は、各テクスチャ画像および各デプス画像の伝送視点に関する視点情報を含むメタデータ（以下、伝送視点メタデータと称する）を生成する。さらに、変換部８２２は、高解像度形状データの解像度を下げた低解像度形状データを生成する。変換部８２２は、各伝送視点のテクスチャ画像、各伝送視点のデプス画像、低解像度形状データ、および、伝送視点メタデータを符号化部８２３に供給する。
　なお、伝送視点メタデータは、例えば、各テクスチャ画像および各デプス画像を識別するためのＩＤ、各テクスチャ画像および各デプス画像の伝送視点に対応する仮想のカメラのカメラ座標系のワールド座標系に対する回転ベクトルおよび並進ベクトルを含む。
　符号化部８２３は、各テクスチャ画像を伝送視点毎に圧縮符号化し、各伝送視点にそれぞれ対応する複数のテクスチャストリームを生成する。また、符号化部８２３は、各デプス画像を伝送視点毎に圧縮符号化し、各伝送視点にそれぞれ対応する複数のデプストリームを生成する。さらに、符号化部８２３は、低解像度形状データの圧縮符号化を行い、形状ストリームを生成する。符号化部８２３は、テクスチャストリーム、デプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８１３に供給する。
　ストレージ８１３は、符号化部８２３から供給される各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを記憶する。
　伝送部８１４は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８１３から読み出し、受信部８０２に送信する。
　受信部８０２の受け取り部８４１は、送信部８０１から伝送されてくる各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを受け取り、ストレージ８４２に供給する。
　ストレージ８４２は、受け取り部８４１から供給される各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを記憶する。
　復号部８５１は、ストレージ８４２から各伝送視点のテクスチャストリームを読み出し、復号することにより、各伝送視点のテクスチャ画像を生成する。また、復号部８５１は、ストレージ８４２から各視点のデプスストリームを読み出し、復号することにより、各伝送視点のデプス画像を生成する。さらに、復号部８５１は、ストレージ８４２から形状ストリームを読み出し、復号することにより、低解像度形状データを生成する。復号部８５１は、各伝送視点のテクスチャ画像、各伝送視点のデプス画像、および、低解像度形状データを再構成部８５２に供給する。また、復号部８５１は、伝送視点メタデータをストレージ８４２から読み出し、再構成部８５２に供給する。
　再構成部８５２は、各伝送視点のデプス画像および低解像度形状データに基づいて、高解像度形状データを生成する。このとき、再構成部８５２は、伝送視点メタデータ、視線検出部８４７から供給される仮想視点情報、および、外部から供給されるリソース情報に基づいて、必要に応じてデプス画像を間引きながら、高解像度形状データを生成する。
　ここで、仮想視点とは、表示部８４５において表示する表示画像を生成する際の視点であり、例えば、表示部８４５を用いて表示画像を見る視聴者の視聴位置および視線方向に基づいて設定される。また、リソース情報は、画像処理部８４３および描画部８４４による再生処理に使用可能なハードウエアおよびソフトウエアのリソース（以下、再生リソースと称する）に関する情報を含む。再構成部８５２は、高解像度形状データを描画部８４４に供給する。
　また、再構成部８５２は、伝送視点メタデータ、仮想視点情報およびリソース情報に基づいて、必要に応じてテクスチャ画像を間引き、残った（選択された）テクスチャ画像を描画部８４４に供給する。さらに、再構成部８５２は、伝送視点メタデータを描画部８４４に供給する。
　描画部８４４は、高解像度形状データ、各伝送視点のテクスチャ画像、伝送視点メタデータ、および、視線検出部８４７から供給される仮想視点情報に基づいて、表示対象オブジェクトを仮想視点方向から見た場合の２次元の表示画像を生成する。描画部８４４は、表示画像を表示部８４５に供給する。
　表示部８４５は、例えば、図１のヘッドマウントディスプレイ１５と同様のヘッドマウントディスプレイにより構成される。表示部８４５は、描画部８４４から供給される表示画像の表示を行う。また、表示部８４５は、例えば、ジャイロセンサ（不図示）等により検出される表示部８４５の傾き等の姿勢を検出し、検出した姿勢を示す姿勢情報を視線検出部８４７に供給する。
　カメラ８４６は、例えば、図１のカメラ１３Ａと同様に、表示部８４５に付されているマーカの撮影を行い、得られた撮影画像を視線検出部８４７に供給する。
　視線検出部８４７は、表示部８４５からの姿勢情報、および、カメラ８４６からの撮影画像に基づいて、仮想視点および視聴者の視野範囲を設定する。視線検出部８４７は、仮想視点および視野範囲を含む仮想視点情報を生成し、再構成部８５２および描画部８４４に供給する。
　図４２は、図４０の変換部８２２の構成例を示している。変換部８２２は、視点設定部９０１、画像生成部９０２、および、解像度変換部９０３を備える。
　視点設定部９０１は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータを形状データ生成部８２１から取得する。また、視点設定部９０１は、テクスチャ画像およびデプス画像を生成する伝送視点の設定を行い、設定した伝送視点に関する視点情報を含む伝送視点メタデータを生成する。視点設定部９０１は、各撮影視点の撮影画像、高解像度形状データ、撮影視点メタデータ、および、伝送視点メタデータを画像生成部９０２に供給する。また、視点設定部９０１は、伝送視点メタデータを符号化部８２３に供給する。
　画像生成部９０２は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータに基づいて、各伝送視点に対応する複数のテクスチャ画像および複数のデプス画像を生成する。画像生成部９０２は、各伝送視点のテクスチャ画像および各伝送視点のデプス画像を符号化部８２３に供給する。
　解像度変換部９０３は、高解像度形状データを形状データ生成部８２１から取得する。解像度変換部９０３は、高解像度形状データの解像度を下げることにより低解像度形状データを生成し、符号化部８２３に供給する。
　図４３は、図４０の再構成部８５２の構成例を示している。再構成部８５２は、優先度設定部９５１、画像選択部９５２、および、形状復元部９５３を備える。
　優先度設定部９５１は、伝送視点メタデータを復号部８５１から取得し、仮想視点情報を視線検出部８４７から取得する。優先度設定部９５１は、伝送視点メタデータおよび仮想視点情報に基づいて、各テクスチャストリーム（テクスチャ画像）間、および、各デプスストリーム（デプス画像）間の優先度を設定する。優先度設定部９５１は、設定した優先度を示す優先度情報を画像選択部９５２に供給する。
　画像選択部９５２は、各伝送視点のテクスチャ画像、各伝送視点のデプス画像、低解像度形状データ、および、伝送視点メタデータを復号部８５１から取得し、リソース情報を外部から取得する。画像選択部９５２は、優先度情報およびリソース情報に基づいて、表示画像の生成に用いるテクスチャ画像およびデプス画像を選択する。画像選択部９５２は、選択したテクスチャ画像、および、伝送視点メタデータを描画部８４４に供給する。また、画像選択部９５２は、選択したデプス画像、低解像度形状データ、および、伝送視点メタデータを形状復元部９５３に供給する。
　形状復元部９５３は、画像選択部９５２から供給されるデプス画像、低解像度形状データ、および、伝送視点メタデータに基づいて、高解像度形状データを生成する。形状復元部９５３は、高解像度形状データを描画部８４４に供給する。
　（送信部８０１の処理の説明）
　図４４は、図４０の送信部８０１のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、図４０の撮影部８１１の各撮影カメラが撮影を開始し、撮影画像および撮影視点メタデータの出力が開始されたとき、開始される。なお、各撮影カメラからは、撮影画像がフレーム単位で出力される。
　なお、以下では、説明を分かりやすくするために、表示対象オブジェクトが１つの場合について説明する。
　ステップＳ２０１において、形状データ生成部８２１は、形状データを生成する。具体的には、形状データ生成部８２１は、撮影部８１１から供給される各撮影視点の撮影画像、および、撮影視点メタデータに基づいて、表示対象オブジェクトの３次元の形状を高解像度に表す高解像度形状データを生成する。この高解像度形状データは、例えば、３次元のポリゴンメッシュまたはポイントクラウドからなる。形状データ生成部８２１は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータを視点設定部９０１に供給する。また、形状データ生成部８２１は、高解像度形状データを解像度変換部９０３に供給する。
　ステップＳ２０２において、視点設定部９０１は、テクスチャ画像およびデプス画像を生成する視点（すなわち、伝送視点）を設定する。また、視点設定部９０１は、設定した伝送視点に関する視点情報を含む伝送視点メタデータを生成する。
　なお、例えば、各伝送視点は、ユーザ設定等に基づいて設定される。また、各伝送視点は、撮影視点と一致していてもよいし、異なっていてもよい。さらに、伝送視点の数と撮影視点の数は、同じでもよいし、異なっていてもよい。また、テクスチャ画像を生成する伝送視点と、デプス画像を生成する伝送視点とは、一致していてもよいし、異なっていてもよい。さらに、テクスチャ画像を生成する伝送視点の数と、デプス画像を生成する伝送視点の数とは、同じでもよいし、異なっていてもよい。なお、通常は、テクスチャ画像を生成する伝送視点とデプス画像を生成する伝送視点とは、共通とされる。
　視点設定部９０１は、各撮影視点の撮影画像、高解像度形状データ、撮影視点メタデータ、および、伝送視点メタデータを画像生成部９０２に供給する。また、視点設定部９０１は、伝送視点メタデータを符号化部８２３に供給する。
　ステップＳ２０３において、画像生成部９０２は、テクスチャ画像およびデプス画像を生成する。具体的には、画像生成部９０２は、各撮影視点の撮影画像および撮影視点メタデータに基づいて、各伝送視点から表示対象オブジェクトを見た場合のテクスチャを表す複数のテクスチャ画像を生成する。なお、テクスチャ画像の生成方法には、任意の方法を採用することが可能である。また、例えば、撮影画像の撮影視点とテクスチャ画像を生成する伝送視点とが一致する場合、その撮影画像をそのままテクスチャ画像として用いることも可能である。
　また、画像生成部９０２は、各撮影視点の撮影画像、高解像度形状データ、および、撮影視点メタデータに基づいて、伝送視点毎に、各伝送視点から各画素における表示対象オブジェクトまでの距離の逆数を画素値とする複数のデプス画像を生成する。なお、デプス画像の生成方法には、任意の方法を採用することが可能である。
　画像生成部９０２は、各伝送視点のテクスチャ画像および各伝送視点のデプス画像を符号化部８２３に供給する。
　ステップＳ２０４において、解像度変換部９０３は、形状データの解像度を下げる。すなわち、解像度変換部９０３は、高解像度形状データの解像度を下げることにより低解像度形状データを生成する。これにより、例えば、形状データの解像度がデプス画像より低くなり、形状データの容量が削減される。解像度変換部９０３は、低解像度形状データを符号化部８２３に供給する。
　ステップＳ２０５において、符号化部８２３は、テクスチャ画像、デプス画像、および、形状データを圧縮符号化する。具体的には、符号化部８２３は、テクスチャ画像の圧縮符号化を伝送視点毎に行い、各伝送視点にそれぞれ対応する複数のテクスチャストリームを生成する。また、符号化部８２３は、デプス画像の圧縮符号化を伝送視点毎に行い、各伝送視点にそれぞれ対応する複数のデプストリームを生成する。さらに、符号化部８２３は、低解像度形状データの圧縮符号化を行い、形状ストリームを生成する。符号化部８２３は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８１３に供給する。ストレージ８１３は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを記憶する。
　ステップＳ２０６において、伝送部８１４は、テクスチャストリーム、デプスストリーム、形状ストリーム、および、伝送視点メタデータを送信する。具体的には、伝送部８１４は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８１３から読み出す。そして、伝送部８１４は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを受信部８０２に送信する。
　（受信部８０２の処理の説明）
　図４５は、図４０の受信部８０２の再生処理を説明するフローチャートである。この再生処理は、例えば、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータが送信部８０１から伝送されてきたとき、開始される。
　ステップＳ２３１において、受け取り部８４１は、テクスチャストリーム、デプスストリーム、形状ストリーム、および、伝送視点メタデータを受け取る。具体的には、受け取り部８４１は、送信部８０１から伝送されてきた各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを受け取る。受け取り部８４１は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８４２に供給する。ストレージ８４２は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータを記憶する。
　ステップＳ２３２において、復号部８５１は、テクスチャストリーム、デプスストリーム、および、形状ストリームを復号する。具体的には、復号部８５１は、各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、形状ストリーム、および、伝送視点メタデータをストレージ８４２から読み出す。復号部８５１は、各伝送視点のテクスチャストリームの復号を行い、各伝送視点のテクスチャ画像を生成する。また、復号部８５１は、各伝送視点のデプスストリームの復号を行い、各伝送視点のデプス画像を生成する。さらに、復号部８５１は、形状ストリームの復号を行い、低解像度形状データを生成する。復号部８５１は、伝送視点メタデータを優先度設定部９５１に供給する。また、復号部８５１は、各伝送視点のテクスチャ画像、各伝送視点のデプス画像、低解像度形状データ、および、伝送視点メタデータを画像選択部９５２に供給する。
　ステップＳ２３３において、受信部８０２は、仮想視点情報を取得する。具体的には、視線検出部８４７は、表示部８４５から姿勢情報を取得し、その姿勢情報に基づいて、ワールド座標系における視聴者の視線方向を検出する。また、視線検出部８４７は、カメラ８４６から撮影画像を取得し、その撮影画像に基づいて、ワールド座標系における視聴者の視聴位置を検出する。そして、視線検出部８４７は、視聴者の視聴位置と視線方向に基づいて、ワールド座標系における仮想視点を設定する。仮想視点は、ワールド座標系における視聴者の視点とほぼ一致する。また、視線検出部８４７は、視聴者の視聴位置と視線方向に基づいて視聴者の視野範囲を設定する。視線検出部８４７は、仮想視点および視野範囲を含む仮想視点情報を生成し、優先度設定部９５１および描画部８４４に供給する。
　ステップＳ２３４において、優先度設定部９５１は、優先度を設定する。具体的には、優先度設定部９５１は、伝送視点メタデータおよび仮想視点情報に基づいて、テクスチャストリーム（テクスチャ画像）間、および、デプスストリーム（デプス画像）間の優先度を設定する。例えば、優先度設定部９５１は、伝送視点が仮想視点に近い順にテクスチャストリーム（テクスチャ画像）の優先度を設定する。同様に、優先度設定部９５１は、伝送視点が仮想視点に近い順にデプスストリーム（デプス画像）の優先度を設定する。
　なお、伝送視点と仮想視点との間の近さを測る基準には、例えば、２つの視点間のユークリッド距離、２つの視点間の視線方向の角度、または、それらの２つの基準を複合した基準等が用いられる。
　優先度設定部９５１は、設定した優先度を示す優先度情報を画像選択部９５２に供給する。
　ステップＳ２３５において、画像選択部９５２は、表示画像の生成に用いる画像を選択する。具体的には、画像選択部９５２は、外部から供給されるリソース情報を取得する。画像選択部９５２は、リソース情報に示される再生リソースに基づいて、表示画像の生成に用いるテクスチャ画像（テクスチャストリーム）の数（以下、使用画像数と称する）、および、表示画像の生成に用いるデプス画像（デプスストリーム）の数（使用画像数）を設定する。
　なお、再生リソースが大きいほど使用画像数は多くなり、再生リソースが小さいほど使用画像数は少なくなる。また、再生リソースが十分に大きい場合、例えば、テクスチャ画像およびデプス画像の使用画像数を、各画像の総数と同じ値に設定し、全ての伝送視点のテクスチャ画像およびデプス画像を表示画像に用いるようにしてもよい。
　そして、画像選択部９５２は、各伝送視点のテクスチャ画像の中から、優先度が高い方から順に使用画像数のテクスチャ画像を選択する。同様に、画像選択部９５２は、各伝送視点のデプス画像の中から、優先度が高い方から順に使用画像数のデプス画像を選択する。
　ここで、図４６を参照して、画像の選択方法の具体例について説明する。
　図４６の伝送視点１００１－１乃至伝送視点１００１－ｎは、表示対象となるオブジェクト１００３のデプス画像の生成に用いられた伝送視点を示している。
　例えば、優先度設定部９５１は、対応する伝送視点１００１－１乃至伝送視点１００１－ｎが仮想視点１００２から近い順に、各デプスストリーム（デプス画像）間の優先度を設定する。そして、例えば、使用画像数が４に設定されている場合、画像選択部９５２は、優先度が１番から４番までのデプスストリームから生成されたデプス画像を選択する。例えば、図４６の右側の図に示されるように、伝送視点１００１－４、伝送視点１００１－５、伝送視点１００１－６、および、伝送視点１００１－７の４視点に対応するデプス画像が選択される。
　画像選択部９５２は、選択したテクスチャ画像、および、伝送視点メタデータを描画部８４４に供給する。また、画像選択部９５２は、選択したデプス画像、低解像度形状データ、および、伝送視点メタデータを形状復元部９５３に供給する。
　なお、テクスチャ画像の使用画像数とデプス画像の使用画像数は、必ずしも同じでなくてもよい。例えば、一般的に人は形状に対する識別力より色に対する識別力の方が高いため、テクスチャ画像の使用画像数がデプス画像の使用画像数より多く設定される。
　ステップＳ２３６において、形状復元部９５３は、形状データの復元を行う。具体的には、形状復元部９５３は、低解像度形状データと画像選択部９５２により選択されたデプス画像とを、伝送視点メタデータを用いて統合することにより、高解像度形状データを復元する。
　ここで、図４７乃至図５１を参照して、低解像度形状データとデプス画像の統合方法の例について説明する。例えば、図４７の伝送視点１００１からオブジェクト１０２１を見た場合のデプス画像を用いて、仮想視点１００２から見た形状データを復元する場合を例に挙げて説明する。
　まず、図４８を参照して第１の統合方法について説明する。
　図４８のデプス画像１０３１は、図４７の伝送視点１００１からオブジェクト１０２１を見た場合のデプス画像である。
　そして、デプス画像１０３１に対する視点を伝送視点１００１から仮想視点１００２に変換することにより、仮想視点１００２からオブジェクト１０２１を見た場合の仮想視点デプス画像１０３２が生成される。仮想視点デプス画像１０３２では、例えば、伝送視点１００１から死角となり見えない左側の三日月形の領域（以下、死角領域と称する）の画素値が０に設定される。
　一方、仮想視点１００２から見た低解像度形状データ１０３３に基づいて、仮想視点１００２からオブジェクト１０２１を見た場合の仮想視点デプス画像１０３４が生成される。なお、仮想視点デプス画像１０３４は、デプス画像１０３１および仮想視点デプス画像１０３２より解像度が低い。
　なお、以下、解像度の差を明確にするために、デプス画像１０３１および仮想視点デプス画像１０３２を、それぞれ高解像度デプス画像１０３１および高解像度仮想視点デプス画像１０３２と称し、仮想視点デプス画像１０３４を低解像度仮想視点デプス画像１０３４と称する。
　次に、低解像度仮想視点デプス画像１０３４に、高解像度仮想視点デプス画像１０３２の死角領域以外の部分が重畳されることにより、高解像度仮想視点デプス画像１０３５が生成される。高解像度仮想視点デプス画像１０３５では、高解像度仮想視点デプス画像１０３２の死角領域に対応する領域が低解像度になり、それ以外の領域が高解像度になる。また、高解像度仮想視点デプス画像１０３５の高解像度領域と低解像度領域の繋ぎ目は、例えば、高解像度仮想視点デプス画像１０３２と低解像度仮想視点デプス画像１０３４とを合成したものとなる。
　そして、画像選択部９５２により選択された他のデプス画像も低解像度仮想視点デプス画像１０３４に重畳され、得られた高解像度仮想視点デプス画像に基づいて、３次元のポリゴンメッシュからなる高解像度形状データが生成される。
　次に、図４９乃至図５１を参照して第２の統合方法について説明する。
　まず、図４９に示されるように、高解像度デプス画像１０３１に基づいて、仮想視点１００２からオブジェクト１０２１を見た場合の高解像度ポリゴンメッシュ１０４１が生成される。
　一方、低解像度ポリゴンメッシュ１０４２は、仮想視点１００２からオブジェクト１０２１を見た場合の低解像度形状データである。そして、低解像度ポリゴンメッシュ１０４２に高解像度ポリゴンメッシュ１０４１を合成することにより、高解像度ポリゴンメッシュ１０４３が生成される。従って、高解像度ポリゴンメッシュ１０４３では、高解像度ポリゴンメッシュ１０４１に対応する領域が高解像度になり、それ以外の領域が低解像度になる。
　ここで、図５０および図５１を参照して、低解像度ポリゴンメッシュ１０４２と高解像度ポリゴンメッシュ１０４１の合成方法の例について説明する。
　図５０の例では、低解像度ポリゴンメッシュ１０４２の高解像度ポリゴンメッシュ１０４１と重なる領域が、高解像度ポリゴンメッシュ１０４１に挿げ替えられる。このとき、高解像度ポリゴンメッシュ１０４１と低解像度ポリゴンメッシュ１０４２の境界付近の切れ目が、ポリゴンのエッジを用いて接続される。
　図５１の例では、低解像度ポリゴンメッシュ１０４２に高解像度ポリゴンメッシュ１０４１が重畳される。このとき、低解像度ポリゴンメッシュ１０４２の高解像度ポリゴンメッシュ１０４１と重なる領域が、高解像度ポリゴンメッシュ１０４１の裏側に押し込まれる。
　そして、画像選択部９５２により選択された他のデプス画像に基づいて生成された高解像度ポリゴンメッシュも低解像度ポリゴンメッシュ１０４２に合成されることにより、３次元のポリゴンメッシュからなる高解像度形状データが生成される。
　以上のようにして、画像選択部９５２により選択されたデプス画像と低解像度形状データとが統合されることにより、高解像度形状データが生成される。
　このとき、再生リソースが大きく、使用するデプス画像が多くなるほど、高解像度形状データにおける高解像度領域が広くなる。一方、再生リソースが小さく、使用するデプス画像が少なくなるほど、高解像度形状データにおける高解像度領域が狭くなる。
　例えば、図５２は、再生リソースが大きく、低解像度形状データ１０６１と、全ての伝送視点のデプス画像１０６２－１乃至デプス画像１０６２－４とを用いて、高解像度形状データ１０６３ａが生成される場合を示している。この場合、高解像度形状データ１０６３ａのほぼ全周が高解像度となり、受信部８０２の解像度変換部９０３で解像度を下げる前の高解像度形状データとほぼ同様の形状データが復元される。
　一方、図５３は、再生リソースが小さく、低解像度形状データ１０６１と、仮想視点に近い伝送視点に対応するデプス画像１０６２－１およびデプス画像１０６２－４のみを用いて、高解像度形状データ１０６３ｂが生成される場合を示している。この場合、高解像度形状データ１０６３ｂは、仮想視点から見える領域付近が高解像度になり、他の領域は低解像度になる。
　そして、形状復元部９５３は、生成した高解像度形状データを描画部８４４に供給する。
　ステップＳ２３７において、描画部８４４は、描画処理を行う。例えば、描画部８４４は、高解像度形状データおよび伝送視点メタデータに基づいて、テクスチャ画像を用いて、高解像度形状データに色情報を付与する。そして、描画部８４４は、色情報を付与した高解像度形状データを、仮想視点から視野範囲に透視投影することにより、表示画像を生成する。描画部８４４は、表示画像を表示部８４５に供給する。
　ステップＳ２３８において、表示部８４５は、表示画像に基づく画像を表示する。
　以上のようにして、表示対象オブジェクトの周囲を取り囲むように配置された撮像カメラにより撮影された撮影画像に基づいて、任意の仮想視点からの表示画像を生成し、表示させることができる。
　また、仮想視点および再生リソースに基づいて、表示画像の生成に用いられるテクスチャ画像およびデプス画像が適宜間引かれるため、再生処理の負荷が軽減される。これにより、再生リソースが少なくても、表示画像がスムーズに表示されるようになる。また、仮想視点から見える領域のテクスチャ画像およびデプス画像が優先して残されるため、視聴者の視野範囲の画像の画質の低下を抑制される。
　さらに、デプス画像は、３次元の高解像度形状データと比較してデータ量が少ない。従って、高解像度の形状ストリームの代わりに、各伝送視点のデプスストリームおよび低解像度の形状ストリームを伝送することにより、送信部８０１と受信部８０２の間のデータの伝送量を削減することができる。
　なお、以上の例では、表示対象オブジェクトが１つの場合の例について説明したが、表示対象オブジェクトが複数の場合にも同様の処理が行われる。表示対象オブジェクトが複数の場合、例えば、送信部８０１において、表示対象オブジェクト毎に各伝送視点のテクスチャストリーム、各伝送視点のデプスストリーム、および、低解像度の形状ストリームが生成され、受信部８０２に送信される。
　なお、現実のオブジェクト間の位置関係等により、１つの表示対象オブジェクトが、複数の現実のオブジェクトを含む場合がある。例えば、人が椅子に座っている場合、１つの表示対象オブジェクトに人と椅子が含まれる。
　＜変形例＞
　以下、上述した本開示の実施の形態の変形例について説明する。
　図５４は、第１レイヤのテクスチャ画像の他の例を示す図である。
　上述した説明では、第１レイヤの各面のテクスチャ画像は、１つの視点Ｏのテクスチャ画像であったが、視点Ｏに対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
　具体的には、図５４のＡに示すように、第１レイヤの各面のテクスチャ画像は、例えば、視点Ｏに対応する左目用の視点の第１レイヤの各面のテクスチャ画像１１０１と、右目用の視点の第１レイヤの各面のテクスチャ画像１１０２が、横方向（水平方向）にパッキングされたパッキング画像１１００であってもよい。
　また、図５４のＢに示すように、第１レイヤの各面のテクスチャ画像は、例えば、テクスチャ画像１１０１とテクスチャ画像１１０２が、縦方向（垂直方向）にパッキングされたパッキング画像１１１０であってもよい。
　同様に、第２レイヤの各面のテクスチャ画像は、その面の１つの第２レイヤの視点に対応する左目用の視点の第２レイヤのテクスチャ画像と、右目用の視点の第２レイヤのテクスチャ画像が横方向または縦方向にパッキングされたパッキン画像であってもよい。
　以上のように、第１レイヤおよび第２レイヤの各面のテクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、第１レイヤおよび第２レイヤについて、左目用の３次元データと右目用の３次元データが生成される。
　そして、視聴者の視聴方向および視聴位置に対応する左目の視聴方向および視聴位置基づいて、左目用の３次元データから左目用の表示画像が生成される。また、視聴者の視聴方向および視聴位置に対応する右目の視聴方向および視聴位置に基づいて、右目用の３次元データから右目用の表示画像が生成される。そして、ヘッドマウントディスプレイ１５が３Ｄ表示可能である場合、ヘッドマウントディスプレイ１５は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。
　なお、第１乃至第４実施の形態では、撮影画像が正八面体にマッピングされることにより全天球画像が生成されたが、撮影画像がマッピングされる３Ｄモデルは、正八面体のほか、球や立方体などにすることができる。撮影画像が球にマッピングされる場合、全天球画像は、例えば、撮影画像がマッピングされた球の正距円筒図法による画像である。
　また、第１乃至第４実施の形態では、立方体を構成する６つの面に全天球画像を透視投影することによりテクスチャ画像およびデプス画像が生成されたが、立方体以外の異なる形の面に透視投影することにより、テクスチャ画像およびデプス画像が生成されてもよい。
　さらに、低解像度テクスチャストリームと低解像度デプスストリームは生成されなくてもよい。第１レイヤおよび第２レイヤのデプス画像は生成されなくてもよい。また、第２レイヤのテクスチャ画像とデプス画像は、重要な被写体の撮影画像がマッピングされる一部の面に対してのみ生成されるようにしてもよい。
　また、低解像度テクスチャ画像および低解像度デプス画像も、高解像度のテクスチャ画像およびデプス画像と同様に、階層化して生成されてもよい。
　さらに、テクスチャ画像とデプス画像のレイヤ数が３以上であってもよい。例えば、第１レイヤおよび第２レイヤと異なる視点から全天球画像を透視投影することにより、第３レイヤ以降のレイヤのテクスチャ画像とデプス画像が生成されてもよい。
　また、レイヤ間の依存関係がないように各レイヤの画像が生成されてもよい。例えば、全天球画像における視点を中心とした立方体を構成する６つの面に対応する画像が、それぞれ視点からの複数の距離毎に階層化して生成されてもよい。例えば、全天球画像を所定の面にマッピングする場合に、視点からの全ての被写体をマッピングした画像、視点からの距離が第１の距離以上の被写体のみをマッピングした画像、視点からの距離が第２の距離（＞第１の距離）以上の被写体のみをマッピングした画像・・・により、当該面に対応する複数のレイヤの画像が生成されてもよい。
　また、以上の説明では、表示画像等の２次元の画像の生成に透視投影を用いる例を示したが、透視投影以外の投影方法を用いるようにしてもよい。例えば、図５５および図５６に示されるtan軸投影を用いることが可能である。
　この例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面１１２１が設定されている。この場合、投影面１１２１の中心Ｏ´を原点とし、投影面１１２１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面１１２１の座標系となる。
　なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル１１２２を、座標(s,t)と、原点Ｏから投影面１１２１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。
　図５６は、tan軸投影（正接軸投影）を説明する図である。
　図５６は、投影面１１２１をｚの負方向に見た図である。図５６の例では、st座標系において、投影面１１２１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。
　この場合、透視投影では、原点Ｏから投影面１１２１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面１１２１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面１１２１上で均一である。
　これに対して、投影面１１２１の画角をθｗ（図５６の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面１１２１上に投影点が設定される。
　具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面１１２１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。
　なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。
　さらに、例えば、第２および第３の実施の形態において、各符号化ストリームに割り当てる優先度Ａ乃至Ｄの比率が可変であってもよい。例えば、ホームサーバ１３ｂまたは１３ｃの優先度設定部５１１は、ホームサーバ１３ｂ若しくは１３ｃの処理能力や負荷、または各符号化ストリームの復号処理の進捗状況等に応じて、優先度の比率を可変にしてもよい。例えば、優先度設定部５１１は、ホームサーバ１３ｂまたは１３ｃの負荷が低い場合には、優先度Ａに設定する符号化ストリームの割合を増やし、ホームサーバ１３ｂまたは１３ｃの負荷が高い場合には、優先度Ｄに設定する符号化ストリームの割合を増やしてもよい。
　また、図３５の優先度の分類方法は、その一例であり、任意に変更することが可能である。例えば、優先度が２種類、３種類、または５種類以上に分類されてもよい。
　さらに、例えば、第２および第３の実施の形態は、全天球画像以外の２以上の異なる方向の画像に対応する複数の符号化ストリームの復号およびレンダリングを、符号化ストリーム間で優先度をつけて行う場合にも適用することができる。また、例えば、第２および第３の実施の形態は、同じ方向の異なるレイヤの画像に対応する複数の符号化ストリームの復号およびレンダリングを、レイヤ間で優先度をつけて行う場合にも適用することができる。
　また、図３７のスコア算出テーブルは、任意に変更することが可能である。例えば、加算要因の種類を増減したり、基準値や重み係数を変更したりすることが可能である。
　さらに、各優先度におけるピクチャの間引き方法は、任意に変更することが可能である。また、低解像度符号化ストリームにおいて、ピクチャの間引きが行われてもよい。
　また、上述した第５実施の形態では、画像選択部９５２において、テクスチャ画像およびデプス画像を間引く例を説明したが、復号部８５１において間引き処理を行ってもよい。例えば、復号部８５１が、優先度に従って、復号するテクスチャストリームおよびデプスストリームを選択し、選択したテクスチャストリームおよびデプスストリームのみを復号するようにしてもよい。
　また、例えば、受信部８０２側でなく、送信部８０１側で間引き処理を行ってもよい。
　この場合、例えば、仮想視点情報または優先度情報のうち少なくとも１つとリソース情報とが、受信部８０２から送信部８０１に送信される。そして、例えば、送信部８０１の視点設定部９０１が、仮想視点または優先度と再生リソースとに基づいて、テクスチャ画像およびデプス画像を生成する伝送視点を選択する。例えば、視点設定部９０１は、再生リソースに基づいて使用する伝送視点の数を設定するともに、受信した優先度に基づいて、或いは、仮想視点に基づいて設定される優先度に基づいて、複数の伝送視点の中から、設定した数の伝送視点を選択する。
　そして、例えば、選択された伝送視点のテクスチャ画像およびデプス画像のみが生成されることにより、テクスチャ画像およびデプス画像の間引きが行われる。また、送信部８０１から受信部８０２に伝送されるテクスチャストリームおよびデプスストリームの数が削減され、送信部８０１と受信部８０２の間のデータの伝送量が削減される。
　或いは、例えば、全ての伝送視点のテクスチャ画像およびデプス画像を生成するようにして、符号化部８２３が、仮想視点または優先度と再生リソースとに基づいて伝送視点を選択し、選択した伝送視点に対応するテクスチャ画像およびデプス画像のみを圧縮符号化し、テクスチャストリームおよびデプスストリームを生成するようにしてもよい。
　或いは、例えば、全ての伝送視点のテクスチャストリームおよびデプスストリームを生成するようにして、伝送部８１４が、仮想視点または優先度と再生リソースとに基づいて伝送視点を選択し、選択した伝送視点に対応するテクスチャストリームおよびデプスストリームのみを受信部８０２に送信するようにしてもよい。
　なお、送信部８０１側で間引き処理を行う場合、再生リソースに加えて、或いは、再生リソースの代わりに、送信部８０１と受信部８０２の間の伝送路の状況に基づいて、間引き処理を行うようにしてもよい。例えば、送信部８０１は、上述した間引き処理を行うことにより、使用可能な伝送路の容量が大きくなるほど、伝送する符号化ストリームの数を増やし、使用可能な伝送路の容量が小さくなるほど、伝送する符号化ストリームの数を減らすようにしてもよい。
　また、送信側の間引き処理は、例えば、上述した第２実施の形態又は第３実施の形態にも適用することができる。例えば、第２実施の形態又は第３実施の形態では、優先度をつけて各符号化ストリームの復号およびレンダリングを行うことにより、復号またはレンダリングするピクチャを間引く例を示したが、例えば、コンテンツサーバ１２において、生成又は伝送する符号化ストリームを間引くようにしてもよい。例えば、コンテンツサーバ１２が、優先度Ｄの符号化ストリームの生成または伝送を停止したり、優先度Ｂまたは優先度Ｃの符号化ストリームに含めるピクチャを間引くようにしてもよい。
　なお、送信側（例えば、送信部８０１）で設定した優先度、又は、画像若しくは符号化ストリームの選択結果を再生側（例えば、受信部８０２）に送信し、再生側で、送信側から取得した情報に基づいて、間引き処理を行うようにしてもよい。
　さらに、例えば、第５実施の形態において、送信部８０１のストリーム生成部８１２が、仮想視点に対応する表示画像を生成し、表示画像を圧縮符号化した表示画像ストリームを生成し、受信部８０２に送信するようにしてもよい。
　また、第５実施の形態では、必ずしも表示対象オブジェクトの全周を囲む３次元の形状データを生成する必要はない。例えば、仮想視点が設定される範囲が限定されている場合、３次元の形状データは、少なくともその範囲内の視点から見える領域を含んでいればよい。
　さらに、以上の説明では、第５実施の形態において、高解像度形状データからデプス画像を生成する例を示したが、例えば、ＴｏＦカメラ等のデプスの検出が可能なカメラを用いて、デプス画像を取得するようにしてもよい。
　また、第５実施の形態において、例えば、視聴者の視線や視聴位置に基づかずに、仮想視点を設定するようにしてもよい。例えば、予め設定された位置に仮想視点を設定するようにしてもよい。
　＜応用例＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図５７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１２００において、CPU（Central Processing Unit）１２０１，ROM（Read Only Memory）１２０２，RAM（Random Access Memory）１２０３は、バス１２０４により相互に接続されている。
　バス１２０４には、さらに、入出力インタフェース１２０５が接続されている。入出力インタフェース１２０５には、入力部１２０６、出力部１２０７、記憶部１２０８、通信部１２０９、及びドライブ１２１０が接続されている。
　入力部１２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１２０７は、ディスプレイ、スピーカなどよりなる。記憶部１２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１２０９は、ネットワークインタフェースなどよりなる。ドライブ１２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１２１１を駆動する。
　以上のように構成されるコンピュータ１２００では、CPU１２０１が、例えば、記憶部１２０８に記憶されているプログラムを、入出力インタフェース１２０５及びバス１２０４を介して、RAM１２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１２００（CPU１２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１２００では、プログラムは、リムーバブルメディア１２１１をドライブ１２１０に装着することにより、入出力インタフェース１２０５を介して、記憶部１２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１２０９で受信し、記憶部１２０８にインストールすることができる。その他、プログラムは、ROM１２０２や記憶部１２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ１２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　（移動体制御システムへの適用例）
　また、本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図５８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図５８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図５８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図５９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図５９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図５８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図５８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１乃至図５４を用いて説明した本実施形態に係る画像表示システム１０、７００、または、８００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、画像表示システム１０、７００、または、８００は、図５８に示した応用例の車両制御システム７０００に適用することができる。例えば、画像表示システム１０若しくは７００のマルチカメラ１１、または、画像表示システム８００の撮影部８１１は、撮像部７４１０の少なくとも一部に相当する。また、コンテンツサーバ１２、ホームサーバ１３（ホームサーバ１３ａ乃至１３ｃのいずれか）、および変換装置１４の全部若しくは一部、配信サーバ７０１、ネットワーク７０２、再生装置７０３、および変換装置１４の全部若しくは一部、または、送信部８０１（撮影部８１１を除く）および受信部８０２（表示部８４５を除く）の全部若しくは一部は一体化され、統合制御ユニット７６００のマイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１５または表示部８４５は、表示部７７２０に相当する。
　なお、画像表示システム１０または７００を車両制御システム７０００に適用する場合、カメラ１３Ａ、マーカ１５Ａ、およびジャイロセンサ１５Ｂは設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。また、画像表示システム８００を車両制御システム７０００に適用する場合、カメラ８４６は設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。
　以上のようにして、画像表示システム１０、７００、または、８００を、図５８に示した応用例の車両制御システム７０００に適用することにより、全天球画像またはオブジェクトの周囲を囲む複数の視点からの画像を用いて高画質の表示画像を生成することができる。
　また、画像表示システム１０、７００、または、８００の少なくとも一部の構成要素は、図５８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、画像表示システム１０、７００、または、８００が、図５８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本開示は、以下のような構成もとることができる。
（１）
　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理部と、
　前記生成または選択された画像に基づいて、前記表示画像を生成する描画部と
　を備える画像処理装置。
（２）
　前記画像処理部は、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行い、
　前記描画部は、各前記符号化ストリームの復号およびレンダリングを行うことにより生成される複数の生成画像に基づいて、表示画像を生成する
　前記（１）に記載の画像処理装置。
（３）
　前記複数の投影画像は、複数のレイヤの画像を含み、
　前記画像処理部は、さらに前記レイヤ間の優先度に基づいて、各前記符号化ストリームの復号及びレンダリングを行う
　前記（２）に記載の画像処理装置。
（４）
　前記複数のレイヤの画像は、前記全天球画像を異なる視点から投影することにより得られる
　前記（３）に記載の画像処理装置。
（５）
　前記画像処理部は、優先度が低い前記符号化ストリームほど、復号するピクチャを間引く量またはレンダリングするピクチャを間引く量を大きくする
　前記（２）または（４）に記載の画像処理装置。
（６）
　前記画像処理部は、優先度が下がるにつれて、フレーム間予測を用いて復号されるピクチャであって他のピクチャから参照されない第１のピクチャ、フレーム間予測を用いて復号されるピクチャであって他のピクチャから参照される第２のピクチャ、単独で復号される第３のピクチャの順に間引くピクチャを追加する
　前記（５）に記載の画像処理装置。
（７）
　前記画像処理部は、いずれかの前記符号化ストリームのレンダリングの遅延の発生が予測される場合に、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行う
　前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記画像処理部は、前記全天球画像を前記投影画像より低解像度にした低解像度画像を符号化したサブ符号化ストリームの復号およびレンダリングをさらに行い、
　前記描画部は、前記サブ符号化ストリームの復号およびレンダリングを行うことにより生成される低解像度生成画像に基づいて、前記表示画像を生成する
　前記（２）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記サブ符号化ストリームの優先度が前記符号化ストリームの優先度より高い
　前記（８）に記載の画像処理装置。
（１０）
　各前記符号化ストリームのレンダリングの遅延の発生が予測されない場合、前記画像処理部は、前記サブ符号化ストリームの復号およびレンダリングを行わず、前記描画部は、複数の前記生成画像に基づいて、前記表示画像を生成し、
　いずれかの前記符号化ストリームのレンダリングの遅延の発生が予測される場合、前記画像処理部は、前記サブ符号化ストリームの復号およびレンダリングを行うとともに、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行い、前記描画部は、複数の前記生成画像、および前記低解像度生成画像に基づいて、前記表示画像を生成する
　前記（８）または（９）に記載の画像処理装置。
（１１）
　前記画像処理部は、前記優先度に基づいて、復号する前記符号化ストリームの選択、および、前記符号化ストリームの復号により得られた前記視点画像の選択のうち少なくとも１つを行う
　前記（１）に記載の画像処理装置。
（１２）
　前記複数の視点画像は、異なる視点からオブジェクトを見た複数のテクスチャ画像、および、異なる視点から前記オブジェクトを見た複数のデプス画像を含み、
　前記画像処理部は、前記オブジェクトの３次元の形状を表し、前記デプス画像より解像度が低い第１の形状データを符号化した符号化形状ストリームの復号を行い、選択された前記デプス画像、および、前記第１の形状データに基づいて、前記第１の形状データより解像度が高い第２の形状データを生成し、
　前記描画部は、選択された前記テクスチャ画像および前記第２の形状データに基づいて、前記表示画像を生成する
　前記（１１）に記載の画像処理装置。
（１３）
　画像処理装置が、
　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理ステップと、
　前記生成または選択された画像に基づいて、前記表示画像を生成する描画ステップと
　を含む画像処理方法。
（１４）
　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を取得する画像取得部と、
　前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部を伝送する伝送部と
　を備える画像処理装置。
（１５）
　前記複数の投影画像または前記複数の視点画像の符号化を行い、複数の符号化ストリームを生成する符号化部を
　さらに備え、
　前記符号化部が符号化する前記投影画像または前記視点画像を前記優先度に基づいて選択する処理、および、前記伝送部が伝送する前記符号化ストリームを前記優先度に基づいて選択する処理のうち少なくとも１つの処理を行う
　前記（１４）に記載の画像処理装置。
（１６）
　前記符号化部は、さらに前記符号化ストリームを伝送する伝送路の状況、および、前記符号化ストリームの再生を行う装置のリソースのうち少なくとも１つに基づいて、符号化する前記投影画像または前記視点画像を選択し、
　前記伝送部は、さらに前記符号化ストリームを伝送する伝送路の状況、および、前記符号化ストリームの再生を行う装置のリソースのうち少なくとも１つに基づいて、伝送する前記符号化ストリームを選択する
　前記（１５）に記載の画像処理装置。
（１７）
　前記符号化部は、さらに前記全天球画像を前記投影画像より低解像度にした低解像度画像の符号化を行い、サブ符号化ストリームを生成し、
　前記伝送部は、さらに前記サブ符号化ストリームの伝送を行う
　前記（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
　前記サブ符号化ストリームの優先度が前記符号化ストリームの優先度より高い
　前記（１７）に記載の画像処理装置。
（１９）
　前記複数の投影画像は、前記全天球画像のテクスチャ画像とデプス画像を前記複数の面に投影することにより得られる複数のテクスチャ画像と複数のデプス画像を含む
　前記（１４）乃至（１６）のいずれかに記載の画像処理装置。
（２０）
　画像処理装置が、
　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を取得する画像取得ステップと、
　前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部を伝送する伝送ステップと
　を含む画像処理方法。
　１０　画像表示システム，　１２　コンテンツサーバ,　１３，１３ａ乃至１３ｃ　ホームサーバ,　２３６　描画部,　２６４,２６８,３２４　レンダリング部，　５０２　３Ｄモデル生成部，　５１１　優先度設定部,　５１２－１乃至５１２－６　ＭＬ３Ｄモデル生成部，　５１３　低解像度３Ｄモデル生成部，　５３１,５３２,５７１　復号部,　６０１　３Ｄモデル生成部,　７００　画像表示システム,　７０１　配信サーバ,　７０３　再生装置，　８００　画像表示システム，　８０１　送信部，　８０２　受信部，　８１２　ストリーム生成部，　８２１　形状データ生成部，　８２２　変換部，　８２３　符号化部，　８４３　画像処理部，　８４４　描画部，　８５１　復号部，　８５２　再構成部

Claims (20)

  1. 　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理部と、
    　前記生成または選択された画像に基づいて、前記表示画像を生成する描画部と
    　を備える画像処理装置。
  2. 　前記画像処理部は、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行い、
    　前記描画部は、各前記符号化ストリームの復号およびレンダリングを行うことにより生成される複数の生成画像に基づいて、表示画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記複数の投影画像は、複数のレイヤの画像を含み、
    　前記画像処理部は、さらに前記レイヤ間の優先度に基づいて、各前記符号化ストリームの復号及びレンダリングを行う
    　請求項２に記載の画像処理装置。
  4. 　前記複数のレイヤの画像は、前記全天球画像を異なる視点から投影することにより得られる
    　請求項３に記載の画像処理装置。
  5. 　前記画像処理部は、優先度が低い前記符号化ストリームほど、復号するピクチャを間引く量またはレンダリングするピクチャを間引く量を大きくする
    　請求項２に記載の画像処理装置。
  6. 　前記画像処理部は、優先度が下がるにつれて、フレーム間予測を用いて復号されるピクチャであって他のピクチャから参照されない第１のピクチャ、フレーム間予測を用いて復号されるピクチャであって他のピクチャから参照される第２のピクチャ、単独で復号される第３のピクチャの順に間引くピクチャを追加する
    　請求項５に記載の画像処理装置。
  7. 　前記画像処理部は、いずれかの前記符号化ストリームのレンダリングの遅延の発生が予測される場合に、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行う
    　請求項２に記載の画像処理装置。
  8. 　前記画像処理部は、前記全天球画像を前記投影画像より低解像度にした低解像度画像を符号化したサブ符号化ストリームの復号およびレンダリングをさらに行い、
    　前記描画部は、前記サブ符号化ストリームの復号およびレンダリングを行うことにより生成される低解像度生成画像に基づいて、前記表示画像を生成する
    　請求項２に記載の画像処理装置。
  9. 　前記サブ符号化ストリームの優先度が前記符号化ストリームの優先度より高い
    　請求項８に記載の画像処理装置。
  10. 　各前記符号化ストリームのレンダリングの遅延の発生が予測されない場合、前記画像処理部は、前記サブ符号化ストリームの復号およびレンダリングを行わず、前記描画部は、複数の前記生成画像に基づいて、前記表示画像を生成し、
    　いずれかの前記符号化ストリームのレンダリングの遅延の発生が予測される場合、前記画像処理部は、前記サブ符号化ストリームの復号およびレンダリングを行うとともに、前記優先度に基づいて、各前記符号化ストリームの復号およびレンダリングを行い、前記描画部は、複数の前記生成画像、および前記低解像度生成画像に基づいて、前記表示画像を生成する
    　請求項８に記載の画像処理装置。
  11. 　前記画像処理部は、前記優先度に基づいて、復号する前記符号化ストリームの選択、および、前記符号化ストリームの復号により得られた前記視点画像の選択のうち少なくとも１つを行う
    　請求項１に記載の画像処理装置。
  12. 　前記複数の視点画像は、異なる視点からオブジェクトを見た複数のテクスチャ画像、および、異なる視点から前記オブジェクトを見た複数のデプス画像を含み、
    　前記画像処理部は、前記オブジェクトの３次元の形状を表し、前記デプス画像より解像度が低い第１の形状データを符号化した符号化形状ストリームの復号を行い、選択された前記デプス画像、および、前記第１の形状データに基づいて、前記第１の形状データより解像度が高い第２の形状データを生成し、
    　前記描画部は、選択された前記テクスチャ画像および前記第２の形状データに基づいて、前記表示画像を生成する
    　請求項１１に記載の画像処理装置。
  13. 　画像処理装置が、
    　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を符号化した複数の符号化ストリーム間の優先度に基づいて、前記符号化ストリームの復号、並びに、表示画像の生成に用いる画像の生成または選択を行う画像処理ステップと、
    　前記生成または選択された画像に基づいて、前記表示画像を生成する描画ステップと
    　を含む画像処理方法。
  14. 　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を取得する画像取得部と、
    　前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部を伝送する伝送部と
    　を備える画像処理装置。
  15. 　前記複数の投影画像または前記複数の視点画像の符号化を行い、複数の符号化ストリームを生成する符号化部を
    　さらに備え、
    　前記符号化部が符号化する前記投影画像または前記視点画像を前記優先度に基づいて選択する処理、および、前記伝送部が伝送する前記符号化ストリームを前記優先度に基づいて選択する処理のうち少なくとも１つの処理を行う
    　請求項１４に記載の画像処理装置。
  16. 　前記符号化部は、さらに前記符号化ストリームを伝送する伝送路の状況、および、前記符号化ストリームの再生を行う装置のリソースのうち少なくとも１つに基づいて、符号化する前記投影画像または前記視点画像を選択し、
    　前記伝送部は、さらに前記符号化ストリームを伝送する伝送路の状況、および、前記符号化ストリームの再生を行う装置のリソースのうち少なくとも１つに基づいて、伝送する前記符号化ストリームを選択する
    　請求項１５に記載の画像処理装置。
  17. 　前記符号化部は、さらに前記全天球画像を前記投影画像より低解像度にした低解像度画像の符号化を行い、サブ符号化ストリームを生成し、
    　前記伝送部は、さらに前記サブ符号化ストリームの伝送を行う
    　請求項１４に記載の画像処理装置。
  18. 　前記サブ符号化ストリームの優先度が前記符号化ストリームの優先度より高い
    　請求項１７に記載の画像処理装置。
  19. 　前記複数の投影画像は、前記全天球画像のテクスチャ画像とデプス画像を前記複数の面に投影することにより得られる複数のテクスチャ画像と複数のデプス画像を含む
    　請求項１４に記載の画像処理装置。
  20. 　画像処理装置が、
    　全天球画像を複数の面に投影することにより得られる複数の投影画像、または、異なる視点からの複数の視点画像を取得する画像取得ステップと、
    　前記複数の投影画像間または前記複数の視点画像間の優先度に基づいて、前記複数の投影画像または前記複数の視点画像の一部又は全部を伝送する伝送ステップと
    　を含む画像処理方法。
PCT/JP2017/026411 2016-08-05 2017-07-21 画像処理装置および画像処理方法 WO2018025660A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018531834A JP7127539B2 (ja) 2016-08-05 2017-07-21 画像処理装置および画像処理方法
US16/319,909 US11006135B2 (en) 2016-08-05 2017-07-21 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016154453 2016-08-05
JP2016-154453 2016-08-05

Publications (1)

Publication Number Publication Date
WO2018025660A1 true WO2018025660A1 (ja) 2018-02-08

Family

ID=61072686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026411 WO2018025660A1 (ja) 2016-08-05 2017-07-21 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US11006135B2 (ja)
JP (1) JP7127539B2 (ja)
WO (1) WO2018025660A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029155A1 (ja) * 2019-08-14 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2021075537A1 (ja) * 2019-10-18 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ復号方法、及び三次元データ復号装置
JPWO2021171362A1 (ja) * 2020-02-25 2021-09-02
JP2022522279A (ja) * 2019-02-25 2022-04-15 ソニーグループ株式会社 優先点を識別して保持する点群の併合方法
US20220196839A1 (en) * 2020-12-17 2022-06-23 Gm Cruise Holdings Llc Procedurally generated three-dimensional environment for use in autonomous vehicle simulations
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
JP2022534269A (ja) * 2019-06-28 2022-07-28 上海交通大学 三次元点群に基づく初期視野角の制御と提示の方法及びシステム
WO2022176720A1 (ja) * 2021-02-18 2022-08-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
JP7072378B2 (ja) * 2017-12-13 2022-05-20 キヤノン株式会社 画像生成装置およびその制御方法、画像生成システム、プログラム
JP7272082B2 (ja) * 2019-04-18 2023-05-12 セイコーエプソン株式会社 表示方法及び表示装置
EP4002293A4 (en) * 2019-07-19 2022-12-14 FUJIFILM Corporation IMAGE DISPLAY DEVICE, METHOD AND PROGRAM
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
US11688079B2 (en) * 2020-03-31 2023-06-27 Nant Holdings Ip, Llc Digital representation of multi-sensor data stream
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
US20230360275A1 (en) * 2022-05-04 2023-11-09 Tencent America LLC Methods of sampling-based objective quality assessment for meshes
US11881315B1 (en) * 2022-08-15 2024-01-23 Nant Holdings Ip, Llc Sensor-based leading indicators in a personal area network; systems, methods, and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532998A (ja) * 1998-12-11 2002-10-02 株式会社日立製作所 限定されたレンダリングリソースを用いて多重画像をレンダリングする方法及び装置
JP2003338840A (ja) * 2002-05-21 2003-11-28 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US6859557B1 (en) * 2000-07-07 2005-02-22 Microsoft Corp. System and method for selective decoding and decompression
JP2002312778A (ja) 2001-04-09 2002-10-25 Be Here Corp モーションパノラマ画像を電子的に配信する方法および装置
US7613344B2 (en) * 2003-12-08 2009-11-03 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
EP2009828B1 (en) * 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system
JP2009182442A (ja) * 2008-01-29 2009-08-13 Univ Of Fukui 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
JP5454674B2 (ja) * 2010-03-30 2014-03-26 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
WO2012071445A2 (en) * 2010-11-24 2012-05-31 Google Inc. Guided navigation through geo-located panoramas
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10484697B2 (en) * 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN115243040A (zh) * 2015-11-23 2022-10-25 韩国电子通信研究院 视频编码/解码方法和记录介质
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US9787896B2 (en) * 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US10977764B2 (en) * 2015-12-29 2021-04-13 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
CN107517385B (zh) * 2016-06-16 2020-02-21 华为技术有限公司 一种视频图像的编解码方法和装置
US10277914B2 (en) * 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
CN107547907B (zh) * 2016-06-27 2020-02-21 华为技术有限公司 编解码的方法及设备
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10176622B1 (en) * 2017-01-24 2019-01-08 Amazon Technologies, Inc. Filtering of virtual reality images to mitigate playback transformation artifacts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532998A (ja) * 1998-12-11 2002-10-02 株式会社日立製作所 限定されたレンダリングリソースを用いて多重画像をレンダリングする方法及び装置
JP2003338840A (ja) * 2002-05-21 2003-11-28 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMAMOTO, M. ET AL.: "QoE Assessment of Simultaneous Transmission Methods of Multi-View Video and Audio IP Transmission", TECHNICAL REPORT, vol. 112, no. 10, 12 April 2012 (2012-04-12), pages 81 - 86, ISSN: 0913-5685 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7265639B2 (ja) 2019-02-25 2023-04-26 ソニーグループ株式会社 優先点を識別して保持する点群の併合方法
JP2022522279A (ja) * 2019-02-25 2022-04-15 ソニーグループ株式会社 優先点を識別して保持する点群の併合方法
US11836882B2 (en) 2019-06-28 2023-12-05 Shanghai Jiao Tong University Three-dimensional point cloud-based initial viewing angle control and presentation method and system
JP7317401B2 (ja) 2019-06-28 2023-07-31 上海交通大学 三次元点群に基づく初期視野角の制御と提示の方法及びシステム
JP2022534269A (ja) * 2019-06-28 2022-07-28 上海交通大学 三次元点群に基づく初期視野角の制御と提示の方法及びシステム
US11983914B2 (en) 2019-08-14 2024-05-14 Sony Group Corporation Information processing device and information processing method for point cloud data compression
WO2021029155A1 (ja) * 2019-08-14 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2021075537A1 (ja) * 2019-10-18 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ復号方法、及び三次元データ復号装置
WO2021171362A1 (ja) * 2020-02-25 2021-09-02 日本電信電話株式会社 Ｖｒ映像符号化パラメータ算出装置、ｖｒ映像符号化パラメータ算出方法、及びプログラム
JP7351398B2 (ja) 2020-02-25 2023-09-27 日本電信電話株式会社 Ｖｒ映像符号化パラメータ算出装置、ｖｒ映像符号化パラメータ算出方法、及びプログラム
JPWO2021171362A1 (ja) * 2020-02-25 2021-09-02
US20220196839A1 (en) * 2020-12-17 2022-06-23 Gm Cruise Holdings Llc Procedurally generated three-dimensional environment for use in autonomous vehicle simulations
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
WO2022176720A1 (ja) * 2021-02-18 2022-08-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2018025660A1 (ja) 2019-05-30
US11006135B2 (en) 2021-05-11
US20190268612A1 (en) 2019-08-29
JP7127539B2 (ja) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7127539B2 (ja) 画像処理装置および画像処理方法
JP6944136B2 (ja) 画像処理装置および画像処理方法
JP7040466B2 (ja) 画像処理装置および画像処理方法
WO2018021067A1 (ja) 画像処理装置および画像処理方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
JP7028168B2 (ja) 画像処理装置および画像処理方法
JP6944135B2 (ja) 画像処理装置および画像処理方法
JP6944138B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
JP6944133B2 (ja) 画像処理装置および画像処理方法
JP6944134B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836766

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018531834

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17836766

Country of ref document: EP

Kind code of ref document: A1