WO2016140082A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2016140082A1
WO2016140082A1 PCT/JP2016/054834 JP2016054834W WO2016140082A1 WO 2016140082 A1 WO2016140082 A1 WO 2016140082A1 JP 2016054834 W JP2016054834 W JP 2016054834W WO 2016140082 A1 WO2016140082 A1 WO 2016140082A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
unit
encoded stream
plane
Prior art date
Application number
PCT/JP2016/054834
Other languages
English (en)
French (fr)
Inventor
伸明 泉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16758776.5A priority Critical patent/EP3267688A4/en
Priority to US15/541,054 priority patent/US10666979B2/en
Priority to CN201680012745.7A priority patent/CN107409231B/zh
Priority to JP2017503419A priority patent/JP6687015B2/ja
Publication of WO2016140082A1 publication Critical patent/WO2016140082A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and in particular, an image that can generate an omnidirectional image in which an increase in pixel density in the vicinity of a pole when being mapped to a sphere surface is suppressed.
  • the present invention relates to a processing apparatus and an image processing method.
  • An omnidirectional image is generated by mapping a 360-degree image in the horizontal direction and a 180-degree image in the vertical direction into a 2D image (planar image) from the omnidirectional image captured by the multi-camera, encoded and recorded.
  • a recording device see, for example, Patent Document 1.
  • a method of mapping from a 3D image to a 2D image is used as a method of generating an omnidirectional image.
  • the equirectangular projection is used as a method of generating the omnidirectional image
  • the omnidirectional image is an image obtained by mapping the captured image onto the surface of the sphere by the equirectangular projection of the sphere.
  • cube mapping is used as a method for generating an omnidirectional image
  • the omnidirectional image is an image of a developed view of a cube when a captured image is mapped onto a cube (cube) surface.
  • the omnidirectional image is divided into two parts up and down, and further divided into four parts in the left and right direction, and each divided image is mapped onto the surface of the sphere.
  • the shape of the divided image mapped on the surface is a shape close to a triangle. That is, since the two sides extending in the upper and lower horizontal directions of the omnidirectional image shrink to the poles of the sphere, the shape of the quadrangular divided image becomes a triangle. Therefore, in the vicinity of the pole, the pixel density becomes very high, and many bits are allocated at the time of encoding.
  • the present disclosure has been made in view of such a situation, and is capable of generating an omnidirectional image in which an increase in pixel density in the vicinity of the pole when mapped to the surface of the sphere is suppressed. To do.
  • An image processing apparatus is directed to an upper image, a central image, and a lower image obtained by dividing an image generated from an omnidirectional image by an equirectangular projection in a vertical direction, and the central image is processed as a target.
  • An image processing apparatus including an encoding unit that encodes at a first resolution, encodes the upper image and the lower image at a second resolution lower than the first resolution, and generates an encoded stream.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • the central image is the first image.
  • the upper image and the lower image are encoded at a second resolution lower than the first resolution to generate an encoded stream.
  • An image processing apparatus is directed to an upper image, a central image, and a lower image obtained by dividing an image generated from an omnidirectional image by an equirectangular projection in the vertical direction, and the central image is An encoded stream of the upper image or the lower image out of an encoded stream encoded at a first resolution and the upper image and the lower image are encoded at a second resolution lower than the first resolution.
  • an image processing apparatus including a decoding unit that decodes the encoded stream of the central image.
  • the image processing method according to the second aspect of the present disclosure corresponds to the image processing apparatus according to the second aspect of the present disclosure.
  • the central image is the first image.
  • the encoded stream of the center image is decoded.
  • image processing apparatuses according to the first and second aspects can be realized by causing a computer to execute a program.
  • a program to be executed by a computer can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
  • the image processing apparatuses on the first and second side surfaces may be independent apparatuses or may be internal blocks constituting one apparatus.
  • the omnidirectional image can be encoded. Moreover, according to the 1st side surface of this indication, the omnidirectional image by which the raise of the pixel density of the vicinity of the pole when mapped on the surface of a sphere was suppressed can be produced
  • the second aspect of the present disclosure it is possible to decode the encoded stream of the omnidirectional image. Further, according to the second aspect of the present disclosure, it is possible to decode an encoded stream of an omnidirectional image in which an increase in pixel density in the vicinity of the pole when mapped to a sphere surface is suppressed.
  • FIG. 1 to 8 First Embodiment: Image Display System (FIGS. 9 to 19) 2. Second Embodiment: Image Display System (FIGS. 20 to 28) 3. Third Embodiment: Image Display System (FIG. 29) 4). Description of generation method of omnidirectional image corresponding to high resolution image and low resolution image (FIGS. 30 and 31) 5. Fourth Embodiment: Computer (FIG. 32)
  • FIG. 1 is a perspective view showing a cube as a 3D model to which an image is mapped when cube mapping is used as a method for generating an omnidirectional image.
  • the axis that passes through the origin O that is the center of the cube 10 the axis that is orthogonal to the surfaces 11 and 12 is the x axis
  • the axis that is orthogonal to the surfaces 13 and 14 is the y axis
  • the surfaces 15 and 16 are orthogonal.
  • the axis be the z-axis.
  • the surface 12 where x ⁇ r is appropriately ⁇ Also referred to as x-plane 12.
  • the + x plane 11 and the ⁇ x plane 12, the + y plane 13 and the ⁇ y plane 14, the + z plane 15 and the ⁇ z plane 16 face each other.
  • FIG. 2 is a diagram showing an example of an omnidirectional image generated by cube mapping.
  • the omnidirectional image 30 generated by the cube mapping is an image of a development view of the cube 10.
  • an image 32 on the ⁇ x plane 12 an image 35 on the + z plane 15, an image 31 on the + x plane 11, and an image 36 on the ⁇ z plane 16 are arranged in order from the center left.
  • the image 33 on the + y plane 13 is arranged on the image 35 and the image 34 on the ⁇ y plane 14 is arranged below the image 35.
  • FIG. 3 is a diagram illustrating an example of an image of the user's visual field range generated using the omnidirectional image 30 of FIG.
  • the user's line-of-sight vector 50 is a vector in the direction (line-of-sight direction) from the origin O toward the lower side of the side where the + x plane 11 and the + z plane 15 are in contact.
  • the image of the user's visual field range 51 can be generated using the image 31 on the + x plane 11, the image 34 on the -y plane 14, and the image 35 on the + z plane 15. That is, the plane corresponding to the user's line-of-sight vector 50 is the + x plane 11 in which the x-axis component of the line-of-sight vector 50 and the x-axis coordinate are the same, and the y-axis plane is the same in the y-axis coordinate. 14 and the + z plane 15 in which the z-axis component and the z-axis coordinate have the same sign.
  • the surface that may be used to generate the image in the user's visual field range is the surface corresponding to the user's line-of-sight vector. That's it.
  • FIG. 4 is a diagram showing a pixel distribution of the omnidirectional image 30 of FIG.
  • the point represents the center of the pixel.
  • the centers of the pixels of the omnidirectional image 30 are arranged at equal intervals in the horizontal direction and the vertical direction. Further, as shown in FIG. 4B, when the omnidirectional image 30 is mapped on the surface of the sphere 60, the difference in distance between the centers of the pixels of the mapped omnidirectional image 30 is small. That is, the difference in pixel density of the omnidirectional image 30 mapped on the surface of the sphere 60 is small. Therefore, the image quality of the omnidirectional image 30 is good.
  • FIG. 5 is a perspective view showing a sphere as a 3D model to which an image is mapped when equirectangular projection is used as a method for generating an omnidirectional image.
  • the image is mapped onto the surface of the sphere 70.
  • the surface of the sphere 70 can be divided into, for example, eight surfaces 71 to 78 having the same size and shape.
  • the axis passing through the origin O which is the center of the sphere 70, passing through the centers of the surfaces 71 and 72, the A axis, the axis passing through the centers of the surfaces 73 and 74 as the B axis, and the surfaces 75 and 76.
  • An axis passing through the center is defined as a C axis
  • an axis passing through the centers of the surfaces 77 and 78 is defined as a D axis.
  • a certain surface 78 is also referred to as + B surface 73, ⁇ B surface 74, + C surface 75, ⁇ C surface 76, + D surface 77, and ⁇ D surface 78 as appropriate.
  • the + A plane 71 and the ⁇ A plane 72, the + B plane 73 and the ⁇ B plane 74, the + C plane 75 and the ⁇ C plane 76, the + D plane 77 and the ⁇ D plane 78 face each other.
  • FIG. 6 is a diagram showing an example of an omnidirectional image generated by equirectangular projection.
  • the omnidirectional image 90 generated by the equirectangular projection is an image of the sphere 70 by the equirectangular projection. That is, the abscissa and ordinate of the omnidirectional image 90 correspond to the longitude and latitude when the sphere 70 is a globe.
  • an image 91 on the + A plane 71, an image 93 on the + B plane 73, an image 95 on the + C plane 75, and an image 97 on the + D plane 77 are arranged in order from the top left. From left to right, an image 96 on the -C surface 76, an image 98 on the -D surface 78, an image 92 on the -A surface 72, and an image 94 on the -B surface 74 are arranged.
  • FIG. 7 is a diagram illustrating an example of an image of the user's visual field range generated using the omnidirectional image 90 of FIG.
  • the user's line-of-sight vector 110 is a vector from the origin O toward the intersection of the + A plane 71, + B plane 73, -C plane 76, and -D plane 78.
  • the image of the user's visual field range 111 can be generated using the image 91 of the + A plane 71, the image 93 of the + B plane 73, the image 96 of the ⁇ C plane 76, and the image 98 of the ⁇ D plane 78.
  • the surface corresponding to the user's line-of-sight vector 110 is the + A plane 71 in which the A-axis component of the line-of-sight vector 110 and the A-axis coordinate are the same, and the + B plane 73 in which the B-axis component and the B-axis coordinate are the same.
  • the -C surface 76 has the same C-axis component and C-axis coordinate sign
  • the -D surface 78 has the same D-axis component and D-axis coordinate sign.
  • FIG. 8 is a diagram showing a pixel distribution of the omnidirectional image 90 of FIG.
  • the point represents the center of the pixel.
  • the centers of the pixels of the omnidirectional image 90 are arranged in the horizontal direction and the vertical direction at equal intervals.
  • the shapes of the images 91 to 98 of the mapped omnidirectional image 90 are close to a triangle. . That is, the upper part of the images 91, 93, 95 and 97 contracts to the pole above the sphere 70, and the lower part of the images 92, 94, 96 and 98 contracts to the pole below the sphere 70. Therefore, the pixel density is very high near the pole.
  • the pixel density is high, the resolution is high and the subject can be reproduced up to high frequency components.
  • many bits are allocated at the time of encoding, and the image quality is improved.
  • humans since humans usually face the horizontal direction, there are many objects of interest in the horizontal direction. Accordingly, in the omnidirectional image 90, the subjects near the top and bottom are often not important.
  • equirectangular projection is widely used especially for moving images.
  • the latitude and longitude of the sphere 70 correspond to the rectangular xy coordinates of the omnidirectional image 90 as they are, so that coordinate conversion is easy.
  • the shape of the omnidirectional image 90 is a rectangle and there are no discontinuities inside the rectangle, which makes it suitable for a general encoding method for processing a rectangular image. .
  • the resolution of the image of the insignificant subject that is mapped in the immediate vicinity above and below the sphere 70 is increased, and the image is encoded. Sometimes many bits are allocated.
  • the omnidirectional image 30 generated by cube mapping is mapped onto the sphere 60, the pixel density is substantially uniform. Further, the number of surfaces corresponding to the user's line-of-sight vector is smaller than that in the equirectangular projection. Furthermore, the images 31 to 36 obtained by dividing the omnidirectional image 30 are square, and are suitable for a general encoding method for processing a rectangular image.
  • the shape of the omnidirectional image 30 is a cross shape, and the calculation of the line-of-sight vector is more complicated than the equirectangular projection. Further, when the omnidirectional image 90 is converted into the omnidirectional image 30 and encoded, conversion distortion due to pixel shift occurs, and the image quality deteriorates as compared with the case where the omnidirectional image 90 is encoded as it is.
  • the present technology makes the pixel density of the omnidirectional image mapped to the sphere substantially uniform when generating the omnidirectional image according to the equirectangular projection.
  • the image of the user's visual field range is generated using only the image of the surface corresponding to the user's line-of-sight vector in the omnidirectional image 30 (90). Therefore, by encoding the omnidirectional image 30 (90) for each plane, it is possible to decode only the encoded stream of the plane image corresponding to the user's line-of-sight vector, thereby reducing the decoding load. Has been.
  • the present technology makes it possible to immediately display an image of the user's visual field range using the image of the surface corresponding to the changed line-of-sight vector. To do.
  • FIG. 9 is a block diagram illustrating a configuration example of the first embodiment of the image display system to which the present disclosure is applied.
  • the image display system 130 generates an omnidirectional image 30 from an image captured by the multi-camera 131 and displays an image in the visual field range of the user in the omnidirectional image 30.
  • the multi-camera 131 of the image display system 130 includes a plurality of cameras. Each camera captures images and generates omnidirectional captured images in units of frames. The multi camera 131 supplies omnidirectional captured images to the content server 132.
  • the content server 132 generates the omnidirectional image 30 from the captured image supplied from the multi-camera 131 using cube mapping.
  • the content server 132 reduces the resolution of the omnidirectional image 30.
  • the content server 132 divides the omnidirectional image 30 into images of six surfaces 11 to 16. As a result, a high-resolution image of each of the surfaces 11 to 16 that has not been reduced in resolution and a low-resolution image in which the entire celestial sphere image 30 has been reduced in resolution are generated.
  • the content server 132 compresses and encodes the high-resolution images of the surfaces 11 to 16 using an encoding method according to AVC, HEVC (High Efficiency Video Coding) /H.265, etc.
  • a stream (first encoded stream) is generated.
  • the content server 132 compresses and encodes the low-resolution image using an encoding method according to AVC, HEVC, or the like, and generates one low-resolution encoded stream (second encoded stream).
  • the content server 132 records the generated six high-resolution encoded streams and one low-resolution encoded stream. In addition, the content server 132 transmits the six recorded high-resolution encoded streams and one low-resolution encoded stream to the home server 133 via a network (not shown).
  • the home server 133 receives six high-resolution encoded streams and one low-resolution encoded stream transmitted from the content server 132.
  • the home server 133 has a built-in camera 133A and photographs the marker 135A attached to the head mounted display 135. And the home server 133 detects a user's position based on the picked-up image of the marker 135A. Furthermore, the home server 133 receives the detection result of the gyro sensor 135B of the head mounted display 135 from the head mounted display 135 via the conversion device 134.
  • the home server 133 determines the user's line-of-sight vector based on the detection result of the gyro sensor 135B, and determines the user's visual field range based on the user's position and line-of-sight vector.
  • the home server 133 determines three planes corresponding to the user's line-of-sight vector among the planes 11 to 16. Then, the home server 133 (image processing apparatus, terminal) selects and decodes the high-resolution encoded streams of the three planes corresponding to the user's line-of-sight vector among the six high-resolution encoded streams. Generate a high-resolution image of one surface.
  • the home server 133 decodes one low-resolution encoded stream and generates a low-resolution image.
  • the home server 133 generates an image in the visual field range of the user as a display image from the generated high-resolution image and low-resolution image of the three surfaces.
  • the home server 133 transmits the display image to the conversion device 134 via an HDMI (registered trademark) (High-Definition Multimedia Interface) cable (not shown).
  • the conversion device 134 converts the coordinates in the display image transmitted from the home server 133 into coordinates on the head mounted display 135.
  • the conversion device 134 supplies the display image after the coordinate conversion to the head mounted display 135.
  • the head mounted display 135 is attached to the user's head.
  • the head mounted display 135 displays a display image supplied from the conversion device 134.
  • the gyro sensor 135B built in the head mounted display 135 detects the tilt of the head mounted display 135, and transmits the detection result to the home server 133 via the conversion device 134.
  • FIG. 10 is a block diagram illustrating a configuration example of the content server 132 of FIG.
  • a stitching processing unit 151 includes a stitching processing unit 151, a mapping processing unit 152, a resolution reduction unit 153, an encoder 154, a division unit 155, encoders 156-1 to 156-6, a storage 157, and a transmission unit 158. Is done.
  • the stitching processing unit 151 uses the same color and brightness for the omnidirectional captured images supplied from the multi-camera 131 in FIG.
  • the stitching processing unit 151 supplies the captured image obtained as a result to the mapping processing unit 152.
  • the mapping processing unit 152 generates the omnidirectional image 30 from the captured image supplied from the stitching processing unit 151 by cube mapping, and supplies the omnidirectional image 30 to the resolution reduction unit 153 and the division unit 155.
  • the stitching processing unit 151 and the mapping processing unit 152 may be integrated.
  • the resolution reduction unit 153 reduces the resolution by halving the horizontal and vertical resolutions of the omnidirectional image 30 supplied from the mapping processing unit 152, and generates a low resolution image.
  • the resolution reduction unit 153 supplies the low resolution image to the encoder 154.
  • the encoder 154 (second encoding unit) encodes the low resolution image supplied from the resolution reduction unit 153, and generates a low resolution encoded stream.
  • the encoder 154 supplies the low-resolution encoded stream to the storage 157 for recording.
  • the dividing unit 155 divides the omnidirectional image 30 supplied from the mapping processing unit 152 into images 31 to 36 of six surfaces 11 to 16.
  • the dividing unit 155 supplies the image 31 to the encoder 156-1 as a high-resolution image on the + x plane 11, and supplies the image 32 to the encoder 156-2 as a high-resolution image on the -x plane 12.
  • the dividing unit 155 supplies the image 33 to the encoder 156-3 as a high-resolution image on the + y plane 13, and supplies the image 34 to the encoder 156-4 as a high-resolution image on the -y plane 14.
  • the dividing unit 155 supplies the image 35 to the encoder 156-5 as a high-resolution image on the + z plane 15, and supplies the image 36 to the encoder 156-6 as a high-resolution image on the -z plane 16.
  • the encoders 156-1 to 156-6 (first encoding unit) are configured such that the random accessible positions of the pairs of the surfaces 11 to 16 that face each other are synchronized, and the GOP structure becomes a Closed GOP structure.
  • the high resolution image supplied from the dividing unit 155 is encoded.
  • the encoders 156-1 to 156-6 supply the high-resolution encoded streams of the surfaces 11 to 16 generated as a result to the storage 157 for recording.
  • the transmission unit 158 (distribution unit) reads one low-resolution encoded stream and six high-resolution encoded streams recorded in the storage 157, and sends them to the home server 133 in FIG. 9 via a network (not shown). Transmit (distribute).
  • FIG. 11 is a block diagram illustrating a configuration example of the encoder 154 in FIG.
  • the encoder 154 in FIG. 11 includes a screen rearrangement buffer 191, a calculation unit 192, an orthogonal transformation unit 193, a quantization unit 194, a lossless encoding unit 195, a storage buffer 196, a generation unit 197, an inverse quantization unit 198, and an inverse orthogonal transformation. Part 199 and addition part 200.
  • the encoder 154 includes a filter 201, a frame memory 202, a switch 203, an intra prediction unit 204, a motion prediction / compensation unit 205, a predicted image selection unit 206, and a rate control unit 207.
  • the encoder 154 encodes the low resolution image in units of CU (Coding Unit) according to the HEVC method.
  • the screen rearrangement buffer 191 of the encoder 154 stores the low resolution image supplied from the resolution reduction unit 153 of FIG.
  • the screen rearrangement buffer 191 rearranges the stored low-resolution images in frame units in the display order in the order for encoding according to the GOP structure.
  • the screen rearrangement buffer 191 outputs the rearranged low-resolution image to the calculation unit 192, the intra prediction unit 204, and the motion prediction / compensation unit 205.
  • the calculation unit 192 performs encoding by subtracting the predicted image supplied from the predicted image selection unit 206 from the low-resolution image supplied from the screen rearrangement buffer 191.
  • the computing unit 192 outputs the resulting image to the orthogonal transform unit 193 as residual information.
  • the calculation unit 192 outputs the low resolution image read from the screen rearrangement buffer 191 to the orthogonal transform unit 193 as residual information as it is.
  • the orthogonal transform unit 193 performs orthogonal transform on the residual information from the calculation unit 192 in units of TU (transform unit).
  • the orthogonal transform unit 193 supplies an orthogonal transform coefficient obtained as a result of the orthogonal transform to the quantization unit 194.
  • the quantization unit 194 performs quantization on the orthogonal transform coefficient supplied from the orthogonal transform unit 193.
  • the quantization unit 194 supplies the quantized orthogonal transform coefficient to the lossless encoding unit 195.
  • the lossless encoding unit 195 acquires intra prediction mode information indicating the optimal intra prediction mode from the intra prediction unit 204. In addition, the lossless encoding unit 195 acquires, from the motion prediction / compensation unit 205, inter prediction mode information indicating an optimal inter prediction mode, a motion vector, information for specifying a reference image, and the like. Further, the lossless encoding unit 195 acquires offset filter information regarding the offset filter from the filter 201.
  • the lossless encoding unit 195 performs variable-length coding (for example, CAVLC (Context-Adaptive Variable Length Coding)), arithmetic coding (for example, CAVLC (Context-Adaptive Variable Length Coding)) for the quantized orthogonal transform coefficient supplied from the quantization unit 194. , CABAC (Context-Adaptive Binary Binary Arithmetic Coding), etc.).
  • variable-length coding for example, CAVLC (Context-Adaptive Variable Length Coding)
  • arithmetic coding for example, CAVLC (Context-Adaptive Variable Length Coding)
  • CABAC Context-Adaptive Binary Binary Arithmetic Coding
  • the lossless encoding unit 195 losslessly encodes intra prediction mode information, inter prediction mode information, information specifying a motion vector and a reference image, and offset filter information as encoding information related to encoding.
  • the lossless encoding unit 195 supplies the encoding information and the orthogonal transform coefficient, which have been losslessly encoded, to the accumulation buffer 196 as encoded data for accumulation.
  • the losslessly encoded encoding information may be added to the encoded data as a header portion such as a slice header.
  • the accumulation buffer 196 temporarily stores the encoded data supplied from the lossless encoding unit 195. Further, the accumulation buffer 196 supplies the stored encoded data to the generation unit 197.
  • the generation unit 197 generates a low-resolution encoded stream from a parameter set such as SPS (Sequence Parameter Set) or PPS (Picture Parameter Set) and the encoded data supplied from the accumulation buffer 196, and supplies the low-resolution encoded stream to the storage 157 in FIG. To do.
  • a parameter set such as SPS (Sequence Parameter Set) or PPS (Picture Parameter Set)
  • the quantized orthogonal transform coefficient output from the quantization unit 194 is also input to the inverse quantization unit 198.
  • the inverse quantization unit 198 performs inverse quantization on the orthogonal transform coefficient quantized by the quantization unit 194 by a method corresponding to the quantization method in the quantization unit 194.
  • the inverse quantization unit 198 supplies the orthogonal transform coefficient obtained as a result of the inverse quantization to the inverse orthogonal transform unit 199.
  • the inverse orthogonal transform unit 199 performs inverse orthogonal transform on the orthogonal transform coefficient supplied from the inverse quantization unit 198 in units of TUs by a method corresponding to the orthogonal transform method in the orthogonal transform unit 193.
  • the inverse orthogonal transform unit 199 supplies residual information obtained as a result to the addition unit 200.
  • the addition unit 200 locally decodes the low-resolution image by adding the residual information supplied from the inverse orthogonal transform unit 199 and the prediction image supplied from the prediction image selection unit 206.
  • the adding unit 200 sets the residual information supplied from the inverse orthogonal transform unit 199 as a locally decoded low-resolution image.
  • the addition unit 200 supplies the decoded low-resolution image to the frame memory 202 when the entire screen of the low-resolution image has not been decoded yet.
  • the adding unit 200 filters the decoded low-resolution image through the filter 201. To supply.
  • the filter 201 performs deblocking filter processing for removing block distortion on the low resolution image supplied from the adding unit 200.
  • the filter 201 performs an adaptive offset filter (SAO (Sample-adaptive-offset)) process that mainly removes ringing on the low-resolution image after the deblocking filter process.
  • SAO Sample-adaptive-offset
  • the filter 201 determines the type of adaptive offset filter processing for each LCU (Largest Coding Unit) which is the maximum coding unit, and obtains an offset used in the adaptive offset filter processing.
  • the filter 201 uses the determined offset to perform the determined type of adaptive offset filter processing on the low-resolution image after the deblocking filter processing.
  • the filter 201 supplies the low-resolution image after the adaptive offset filter processing to the frame memory 202. Further, the filter 201 supplies information indicating the type and offset of the adaptive offset filter processing performed to the lossless encoding unit 195 as offset filter information.
  • the frame memory 202 stores the low resolution image supplied from the filter 201 and the low resolution image supplied from the adder 200. Pixels adjacent to the PU (Prediction Unit) in the low-resolution image that has not been subjected to the filter processing accumulated in the frame memory 202 are supplied to the intra prediction unit 204 via the switch 203 as peripheral pixels. On the other hand, the low-resolution image on which the filtering process accumulated in the frame memory 202 is performed is output to the motion prediction / compensation unit 205 via the switch 203 as a reference image.
  • Pixels adjacent to the PU (Prediction Unit) in the low-resolution image that has not been subjected to the filter processing accumulated in the frame memory 202 are supplied to the intra prediction unit 204 via the switch 203 as peripheral pixels.
  • the low-resolution image on which the filtering process accumulated in the frame memory 202 is performed is output to the motion prediction / compensation unit 205 via the switch 203 as a reference image.
  • the intra prediction unit 204 performs intra prediction processing for all candidate intra prediction modes using peripheral pixels read from the frame memory 202 via the switch 203 in units of PUs.
  • the intra prediction unit 204 determines the cost for all candidate intra prediction modes based on the low resolution image read from the screen rearrangement buffer 191 and the prediction image generated as a result of the intra prediction process. A function value (details will be described later) is calculated. Then, the intra prediction unit 204 determines the intra prediction mode that minimizes the cost function value as the optimal intra prediction mode.
  • the intra prediction unit 204 supplies the predicted image generated in the optimal intra prediction mode and the corresponding cost function value to the predicted image selection unit 206.
  • the intra prediction unit 204 supplies the intra prediction mode information to the lossless encoding unit 195 when the prediction image selection unit 206 is notified of the selection of the prediction image generated in the optimal intra prediction mode.
  • the cost function value is also called RD (Rate Distortion) cost. It is calculated based on a method of High Complexity mode or Low Complexity mode as defined by JM (Joint Model) which is reference software in the H.264 / AVC format. The reference software for the AVC method is published at http://iphome.hhi.de/suehring/tml/index.htm.
  • the motion prediction / compensation unit 205 performs motion prediction / compensation processing for all candidate inter prediction modes in PU units. Specifically, the motion prediction / compensation unit 205 detects motion vectors in all candidate inter prediction modes based on the low-resolution image and the reference image supplied from the screen rearrangement buffer 191. Then, the motion prediction / compensation unit 205 performs compensation processing on the reference image based on the motion vector to generate a predicted image.
  • the inter prediction mode is a mode that represents the size of the PU and the like.
  • the motion prediction / compensation unit 205 calculates cost function values for all candidate inter prediction modes based on the low-resolution image and the prediction image, and selects an inter prediction mode that minimizes the cost function value. The optimum inter prediction mode is determined. Then, the motion prediction / compensation unit 205 supplies the cost function value of the optimal inter prediction mode and the corresponding prediction image to the prediction image selection unit 206.
  • the motion prediction / compensation unit 205 when notified of the selection of the predicted image generated in the optimal inter prediction mode from the predicted image selection unit 206, provides inter prediction mode information, a corresponding motion vector, information for specifying a reference image, and the like. The result is output to the lossless encoding unit 195.
  • the predicted image selection unit 206 Based on the cost function values supplied from the intra prediction unit 204 and the motion prediction / compensation unit 205, the predicted image selection unit 206 has a smaller corresponding cost function value of the optimal intra prediction mode and the optimal inter prediction mode. Are determined as the optimum prediction mode. Then, the predicted image selection unit 206 supplies the predicted image in the optimal prediction mode to the calculation unit 192 and the addition unit 200. The predicted image selection unit 206 notifies the intra prediction unit 204 or the motion prediction / compensation unit 205 of selection of the predicted image in the optimal prediction mode.
  • the rate control unit 207 controls the rate of the quantization operation of the quantization unit 194 based on the encoded data stored in the storage buffer 196 so that overflow or underflow does not occur.
  • the encoders 156-1 to 156-6 are configured similarly to the encoder 154.
  • FIG. 12 is a flowchart for explaining the encoding process of the content server 132 of FIG. This encoding process is performed in units of frames, for example.
  • step S11 in FIG. 12 the stitching processing unit 151 makes the same color and brightness of the omnidirectional captured images supplied from the multi-camera 131 in FIG.
  • the stitching processing unit 151 supplies the captured image obtained as a result to the mapping processing unit 152.
  • step S12 the mapping processing unit 152 generates the omnidirectional image 30 from the captured image supplied from the stitching processing unit 151 by cube mapping, and supplies the omnidirectional image 30 to the resolution reduction unit 153 and the dividing unit 155.
  • step S13 the resolution reduction unit 153 reduces the resolution of the omnidirectional image 30 supplied from the mapping processing unit 152, and generates a low resolution image.
  • the resolution reduction unit 153 supplies the low resolution image to the encoder 154.
  • step S14 the encoder 154 encodes the low resolution image supplied from the resolution reduction unit 153, and generates a low resolution encoded stream.
  • the encoder 154 supplies the low resolution encoded stream to the storage 157.
  • step S15 the dividing unit 155 divides the omnidirectional image 30 supplied from the mapping processing unit 152 into images 31 to 36 of six surfaces 11 to 16.
  • the dividing unit 155 supplies the images 31 to 36 to the encoders 156-1 to 156-6 as high-resolution images of the surfaces 11 to 16, respectively.
  • step S16 the encoders 156-1 to 156-6 encode the high resolution images of the surfaces 11 to 16 to generate encoded streams, and supply the encoded streams to the storage 157.
  • step S17 the storage 157 records one low-resolution encoded stream supplied from the encoder 154 and six high-resolution encoded streams supplied from the encoders 156-1 to 156-6.
  • step S18 the transmission unit 158 reads one low-resolution encoded stream and six high-resolution encoded streams recorded in the storage 157, and transmits them to the home server 133 via a network (not shown). Then, the process ends.
  • FIG. 13 is a block diagram illustrating a configuration example of the home server 133 of FIG.
  • 13 includes a camera 133A, a receiving unit 221, a storage 222, a decoder 223, switches 224-1 to 224-3, decoders 225-1 to 225-3, a mapping processing unit 226, a drawing unit 227, and a receiving unit. 228 and a line-of-sight detection unit 229.
  • the receiving unit 221 of the home server 133 receives six high-resolution encoded streams and one low-resolution encoded stream transmitted from the transmission unit 158 of FIG. 10 via a network (not shown).
  • the receiving unit 221 supplies the received six high-resolution encoded streams and one low-resolution encoded stream to the storage 222 for recording.
  • the storage 222 records six high-resolution encoded streams and one low-resolution encoded stream supplied from the receiving unit 221.
  • the storage 222 supplies one low-resolution encoded stream to the decoder 223.
  • the storage 222 reads two encoded streams of the pair of the + x plane 11 and the ⁇ x plane 12 which are opposed to each other out of the six high resolution encoded streams, and supplies the two encoded streams to the switch 224-1. Similarly, the storage 222 supplies two encoded streams of a pair of + y plane 13 and ⁇ y plane 14 that face each other to the switch 224-2, and two pairs of a pair of + z plane 15 and ⁇ z plane 16 that face each other. Are supplied to the switch 224-3.
  • the decoder 223 (second decoding unit) decodes one low-resolution encoded stream supplied from the storage 222 and generates a low-resolution image.
  • the decoder 223 supplies the low resolution image to the mapping processing unit 226.
  • the switch 224-1 selects the high-resolution encoded stream of one surface based on the surface selection information for selecting either the + x surface 11 or the -x surface 12 supplied from the line-of-sight detection unit 229.
  • the switch 224-2 supplies the high-resolution encoded stream of one of the + y plane 13 and the ⁇ y plane 14 to the decoder 225-2 based on the plane selection information.
  • the switch 224-3 supplies the high-resolution encoded stream of one of the + z plane 15 and the ⁇ z plane 16 to the decoder 225-3 based on the plane selection information.
  • the decoder 225-1 decodes the high-resolution encoded stream supplied from the switch 224-1 to generate a high-resolution image of the + x plane 11 or the -x plane 12, and a mapping processing unit 226.
  • the decoder 225-2 decodes the high-resolution encoded stream supplied from the switch 224-2, generates a high-resolution image of the + y plane 13 or the -y plane 14, and performs mapping. This is supplied to the processing unit 226.
  • the decoder 225-3 (first decoding unit) decodes the high-resolution encoded stream supplied from the switch 224-3, generates a high-resolution image of the + z plane 15 or the ⁇ z plane 16, and performs mapping. This is supplied to the processing unit 226.
  • the mapping processing unit 226 maps the low-resolution image supplied from the decoder 223 as a texture on each of the surfaces 11 to 16 of the cube 10. Thereafter, the mapping processing unit 226 superimposes the three plane images supplied from the decoders 225-1 to 225-3 on the cube 10 on which the low resolution image is mapped. The mapping processing unit 226 supplies the resulting cubic image to the drawing unit 227.
  • the drawing unit 227 generates an image of the user's visual field range by projecting and projecting the cubic image supplied from the mapping processing unit 226 to the user's visual field range supplied from the line-of-sight detection unit 229.
  • the drawing unit 227 transmits the generated image as a display image to the conversion device 134 in FIG. 9 via the HDMI cable.
  • the receiving unit 228 receives the detection result of the gyro sensor 135B of FIG. 9 from the head mounted display 135 via the conversion device 134, and supplies it to the line-of-sight detection unit 229.
  • the line-of-sight detection unit 229 determines the line-of-sight vector of the user based on the detection result of the gyro sensor 135B supplied from the reception unit 228.
  • the line-of-sight detection unit 229 selection unit determines three planes corresponding to the user's line-of-sight vector among the planes 11 to 16 based on the user's line-of-sight vector.
  • the line-of-sight detection unit 229 has the + x plane 11 or the ⁇ x plane 12 in which the x component of the line-of-sight vector and the x-axis coordinate are the same, and the + y plane 13 in which the y component and the y-axis coordinate have the same sign.
  • the -y plane 14 and the + z plane 15 or the -z plane 16 in which the z component and the z-axis coordinate are the same are determined as three planes corresponding to the user's line-of-sight vector.
  • the line-of-sight detection unit 229 acquires a captured image of the marker 135A from the camera 133A, and detects the position of the user based on the captured image.
  • the line-of-sight detection unit 229 determines the user's visual field range based on the user's position and the line-of-sight vector.
  • the line-of-sight detection unit 229 supplies the user's visual field range to the drawing unit 227.
  • the line-of-sight detection unit 229 generates surface selection information for selecting a surface corresponding to the user's line-of-sight vector for each pair of opposed surfaces among the surfaces 11 to 16.
  • the line-of-sight detection unit 229 supplies surface selection information for selecting the + x surface 11 or the ⁇ x surface 12 to the switch 224-1 and supplies surface selection information for selecting the + y surface 13 or the ⁇ y surface 14 to the switch 224-2.
  • plane selection information for selecting the + z plane 15 or the ⁇ z plane 16 is supplied to the switch 224-3.
  • FIG. 14 is a block diagram illustrating a configuration example of the decoder 223 of FIG.
  • the decoder 223 includes a frame memory 248, a switch 249, an intra prediction unit 250, a motion compensation unit 251, and a switch 252.
  • the accumulation buffer 241 of the decoder 223 receives the low resolution encoded stream from the storage 222 of FIG. 13 and accumulates the encoded data.
  • the parameter set included in the low-resolution encoded stream is supplied to each unit of the decoder 223 as necessary.
  • the accumulation buffer 241 supplies the accumulated encoded data to the lossless decoding unit 242.
  • the lossless decoding unit 242 performs lossless decoding such as variable length decoding and arithmetic decoding corresponding to the lossless encoding of the lossless encoding unit 195 in FIG. 10 on the encoded data from the accumulation buffer 241. A quantized orthogonal transform coefficient and encoding information are obtained. The lossless decoding unit 242 supplies the quantized orthogonal transform coefficient to the inverse quantization unit 243. In addition, the lossless decoding unit 242 supplies intra prediction mode information as encoded information to the intra prediction unit 250. The lossless decoding unit 242 supplies a motion vector, inter prediction mode information, information for specifying a reference image, and the like to the motion compensation unit 251.
  • the lossless decoding unit 242 supplies intra prediction mode information or inter prediction mode information as encoded information to the switch 252.
  • the inverse quantization unit 243, the inverse orthogonal transform unit 244, the addition unit 245, the filter 246, the frame memory 248, the switch 249, the intra prediction unit 250, and the motion compensation unit 251 are the same as the inverse quantization unit 198, the inverse orthogonal transform in FIG.
  • the same processing as that of the unit 199, the adding unit 200, the filter 201, the frame memory 202, the switch 203, the intra prediction unit 204, and the motion prediction / compensation unit 205 is performed, whereby a low resolution image is decoded.
  • the inverse quantization unit 243 inversely quantizes the quantized orthogonal transform coefficient from the lossless decoding unit 242, and supplies the resulting orthogonal transform coefficient to the inverse orthogonal transform unit 244.
  • the inverse orthogonal transform unit 244 performs inverse orthogonal transform on the orthogonal transform coefficient from the inverse quantization unit 243 in units of TUs.
  • the inverse orthogonal transform unit 244 supplies residual information obtained as a result of the inverse orthogonal transform to the addition unit 245.
  • the addition unit 245 locally decodes the low-resolution image by adding the residual information supplied from the inverse orthogonal transform unit 244 and the prediction image supplied from the switch 252. Note that, when the predicted image is not supplied from the switch 252, the adding unit 245 sets the residual information supplied from the inverse orthogonal transform unit 244 as a locally decoded low-resolution image.
  • the adder 245 supplies the decoded low-resolution image to the frame memory 248 if the entire screen of the low-resolution image has not been decoded yet. If the entire screen is decoded, the adder 245 filters the decoded low-resolution image using the filter 246. To supply.
  • the filter 246 performs deblocking filter processing on the low resolution image supplied from the adding unit 245.
  • the filter 246 performs adaptive offset filter processing of the type represented by the offset filter information on the low-resolution image after the deblocking filter processing, using the offset represented by the offset filter information from the lossless decoding unit 242 for each LCU. .
  • the filter 246 supplies the low-resolution image after the adaptive offset filter processing to the frame memory 248 and the screen rearrangement buffer 247.
  • the screen rearrangement buffer 247 stores the low resolution image supplied from the filter 246 in units of frames.
  • the screen rearrangement buffer 247 rearranges the stored low-resolution images in frame units for encoding in the original display order, and supplies them to the mapping processing unit 226 in FIG.
  • the frame memory 248 stores the low resolution image supplied from the filter 246 and the low resolution image supplied from the adder 245. Pixels adjacent to the PU in the low-resolution image that has not been subjected to the filter processing accumulated in the frame memory 248 are supplied to the intra prediction unit 250 via the switch 249 as peripheral pixels. On the other hand, the low-resolution image on which the filter processing accumulated in the frame memory 248 has been performed is supplied to the motion compensation unit 251 via the switch 249 as a reference image.
  • the intra prediction unit 250 uses the peripheral pixels read from the frame memory 248 via the switch 249 in units of PUs, and performs intra prediction in the optimal intra prediction mode indicated by the intra prediction mode information supplied from the lossless decoding unit 242. Process.
  • the intra prediction unit 250 supplies the predicted image generated as a result to the switch 252.
  • the motion compensation unit 251 reads the reference image specified by the information specifying the reference image supplied from the lossless decoding unit 242 from the frame memory 248 via the switch 249.
  • the motion compensation unit 251 uses the reference image and the motion vector supplied from the lossless decoding unit 242 to perform motion compensation processing in the optimal inter prediction mode indicated by the inter prediction mode information supplied from the lossless decoding unit 242 in PU units. I do.
  • the motion compensation unit 251 supplies the predicted image generated as a result to the switch 252.
  • the switch 252 supplies the prediction image supplied from the intra prediction unit 250 to the adding unit 245.
  • the switch 252 supplies the prediction image supplied from the motion compensation unit 251 to the adding unit 245.
  • FIG. 15 is a timing chart showing an example of operation timing of the decoder 223 and the decoders 225-1 to 225-3 in FIG.
  • the horizontal axis represents time.
  • a thick arrow indicates that the decoding target is the decoder 223 and the decoders 225-1 to 225-3.
  • the switches 224-1 to 224-3 select a high-resolution code to be selected at a random accessible position of the two high-resolution encoded streams to be input when the surface selection information supplied from the line-of-sight detection unit 229 is changed. Change the stream. Accordingly, as shown in FIG. 15, in the decoders 225-1 to 225-3, the high-resolution encoded stream to be decoded is switched at the randomly accessible position.
  • the low-resolution encoded stream is always input to the decoder 223, and the decoder 223 always sets the low-resolution encoded stream as a decoding target.
  • the decoders 225-1 to 225-3 may decode the decoding target after switching from the position at the time of switching.
  • the switching timing of the decoding target may be shifted between the decoders 225-1 to 225-3. it can. Thereby, the load of the decoding process can be smoothed.
  • FIG. 16 is a diagram illustrating a cube image generated by the mapping processing unit 226 of FIG.
  • FIG. 16 the square represents the LCU of the cubic image.
  • FIG. 16A and FIG. 16B are views of the cube image viewed from the inside of the cube 10.
  • the surfaces corresponding to the user's line-of-sight vector are the + x plane 11, the ⁇ y plane 14, and the + z plane 15. Accordingly, as illustrated in FIG. 16A, the mapping processing unit 226 applies the image 31, the image 34, and the image to the + x plane 11, the ⁇ y plane 14, and the + z plane 15 of the cube 10 on which the low resolution image 260 is mapped.
  • a cube image 261 is generated by superimposing and mapping the image 35.
  • the images 31, 34, and 35 and the low-resolution image 260 are mapped to the same size plane. Accordingly, the LCU size of the low resolution image 260 is larger than the LCU sizes of the images 31, 34, and 35.
  • the surfaces corresponding to the user's line-of-sight vector are the + x plane 11, the ⁇ y plane 14, and the ⁇ z plane 16. Accordingly, as shown in FIG. 16B, the mapping processing unit 226 applies an image 31, an image 34, an image 34, an image 34, an image 34, The cube image 262 is generated by superimposing and mapping the image 36.
  • the LCU size of the low resolution image 260 is larger than the LCU sizes of the images 31, 34, and 36.
  • a high-resolution image is mapped to one surface of a pair of opposing surfaces of the cube 10, and a low-resolution image is mapped to the other surface.
  • the user's line-of-sight vector changes and the surface corresponding to the user's line-of-sight vector is changed
  • at least one surface to which the high-resolution image is mapped is changed from one of a pair of opposing surfaces to the other.
  • Be changed For example, when the plane corresponding to the user's line-of-sight vector is changed from the + x plane 11, the ⁇ y plane 14, and the + z plane 15 to the + x plane 11, the ⁇ y plane 14, and the ⁇ z plane 16, the cube image 261 is displayed. Is changed to a cubic image 262.
  • the drawing unit 227 is in the process until the cube image 262 corresponding to the changed line-of-sight vector is generated. Can instantly generate a display image of the user's visual field range using the cubic image 262.
  • FIG. 17 is a diagram illustrating an example of the visual field range of the user.
  • a cube image 262 is generated by the mapping processing unit 226.
  • the generation of the image of the user's visual field range 271 may involve generating the + x plane 11, the ⁇ y plane 14, It may be necessary to use an image on the + z plane 15 other than the ⁇ z plane 16.
  • the drawing unit 227 displays the image 31 on the + x surface 11 and the image on the ⁇ y surface 14. 34 and the image 36 of the ⁇ z plane 16 and the low resolution image 260 of the + z plane 15 can be used to generate an image of the visual field range 271.
  • the cube image is an image in which mapping is performed only on three planes corresponding to the user's line-of-sight vector. Therefore, an image of the user's visual field range 271 cannot be generated.
  • FIG. 18 is a flowchart for explaining the decryption process of the home server 133 in FIG. This decoding process is performed on a frame basis, for example.
  • step S31 of FIG. 18 the receiving unit 221 of the home server 133 transmits one low-resolution encoded stream and six high-resolution encodings transmitted from the transmission unit 158 of FIG. 10 via a network (not shown). Receive a stream. The receiving unit 221 supplies the received one low-resolution encoded stream and six high-resolution encoded streams to the storage 222.
  • step S32 the storage 222 records one low-resolution encoded stream and six high-resolution encoded streams supplied from the receiving unit 221.
  • step S33 the storage 222 reads the two encoded streams of the pair of the + x plane 11 and the ⁇ x plane 12 which are opposite to each other out of the six high resolution encoded streams, and supplies the two encoded streams to the switch 224-1. Similarly, the storage 222 supplies two encoded streams of a pair of + y plane 13 and ⁇ y plane 14 that face each other to the switch 224-2, and two pairs of a pair of + z plane 15 and ⁇ z plane 16 that face each other. Are supplied to the switch 224-3. Further, the storage 222 reads one low-resolution encoded stream and supplies it to the decoder 223.
  • step S34 the receiving unit 228 receives the detection result of the gyro sensor 135B of FIG. 9 from the head mounted display 135 via the conversion device 134, and supplies it to the line-of-sight detection unit 229.
  • step S35 the line-of-sight detection unit 229 determines the user's line-of-sight vector based on the detection result of the gyro sensor 135B supplied from the reception unit 228.
  • step S36 the camera 133A captures an image of the marker 135A and supplies it to the line-of-sight detection unit 229.
  • step S37 the line-of-sight detection unit 229 detects the position of the user based on the captured image of the marker 135A supplied from the camera 133A.
  • step S38 the line-of-sight detection unit 229 determines three planes corresponding to the user's line-of-sight vector among the planes 11 to 16 and the user's visual field range based on the user's position and line-of-sight vector.
  • the line-of-sight detection unit 229 supplies the visual field range of the user to the drawing unit 227.
  • step S39 the line-of-sight detection unit 229 generates surface selection information for selecting a surface corresponding to the user's line-of-sight vector for each pair of opposing surfaces among the surfaces 11 to 16.
  • the line-of-sight detection unit 229 supplies surface selection information for selecting the + x surface 11 or the ⁇ x surface 12 to the switch 224-1 and supplies surface selection information for selecting the + y surface 13 or the ⁇ y surface 14 to the switch 224-2.
  • plane selection information for selecting the + z plane 15 or the ⁇ z plane 16 is supplied to the switch 224-3.
  • step S40 the switches 224-1 to 224-3 perform surface selection processing for selecting a high-resolution encoded stream based on the surface selection information supplied from the line-of-sight detection unit 229. Details of this surface selection processing will be described with reference to FIG.
  • step S41 the decoder 225-1 decodes the high-resolution encoded stream supplied from the switch 224-1 to generate a high-resolution image of the + x plane 11 or the ⁇ x plane 12, and supplies it to the mapping processing unit 226.
  • the decoder 225-2 decodes the high-resolution encoded stream supplied from the switch 224-2, generates a high-resolution image on the + y plane 13 or the -y plane 14, and supplies the high-resolution image to the mapping processing unit 226.
  • the decoder 225-3 decodes the high-resolution encoded stream supplied from the switch 224-3, generates a high-resolution image of the + z plane 15 or the ⁇ z plane 16, and supplies the high-resolution image to the mapping processing unit 226.
  • step S42 the decoder 223 decodes one low-resolution encoded stream supplied from the storage 222, and generates a low-resolution image.
  • the decoder 223 supplies the low resolution image to the mapping processing unit 226.
  • step S43 the mapping processing unit 226 maps the low resolution image supplied from the decoder 223 onto the cube 10, and converts the high resolution images of the three surfaces supplied from the decoders 225-1 to 225-3 into the cube 10. Overlapping and mapping.
  • the mapping processing unit 226 supplies the resulting cubic image to the drawing unit 227.
  • step S44 the drawing unit 227 projects and projects the cubic image on the user's visual field range based on the cube image from the mapping processing unit 226 and the user's visual field range from the line-of-sight detection unit 229.
  • a range image is generated as a display image.
  • step S45 the drawing unit 227 transmits the display image to the conversion device 134 of FIG. 9 via the HDMI cable, and ends the process.
  • FIG. 19 is a flowchart for explaining the details of the surface selection processing in step S40 of FIG.
  • step S61 in FIG. 19 the switch 224-1 determines whether or not the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + x plane 11 and the ⁇ x plane 12.
  • step S61 If it is determined in step S61 that the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + x plane 11 and the -x plane 12, the process proceeds to step S62.
  • step S62 the switch 224-1 determines whether or not the surface selection information for selecting the + x surface 11 is supplied from the line-of-sight detection unit 229.
  • step S62 If it is determined in step S62 that the surface selection information for selecting the + x surface 11 has been supplied, the process proceeds to step S63.
  • step S63 the switch 224-1 selects the high-resolution encoded stream of the + x plane 11 among the high-resolution encoded streams of the + x plane 11 and the ⁇ x plane 12 supplied from the storage 222 as a decoding target, This is supplied to the decoder 225-1.
  • step S62 If it is determined in step S62 that the surface selection information for selecting the + x surface 11 is not supplied, that is, if the surface selection information for selecting the -x surface 12 is supplied from the line-of-sight detection unit 229, the process proceeds to step S64. move on.
  • step S64 the switch 224-1 selects, as the decoding target, the high-resolution encoded stream on the ⁇ x plane 12 among the high-resolution encoded streams on the + x plane 11 and the ⁇ x plane 12 supplied from the storage 222. , Supplied to the decoder 225-1.
  • step S61 if it is determined in step S61 that the processing target frame is not a frame at a randomly accessible position in the high-resolution encoded stream of the + x plane 11 and the ⁇ x plane 12, the process proceeds to step S65.
  • step S65 the switch 224-1 selects the high-resolution encoded stream selected for the previous frame from the high-resolution encoded streams of the + x plane 11 and the ⁇ x plane 12 supplied from the storage 222.
  • a high-resolution encoded stream having the same plane as that corresponding to is selected as a decoding target.
  • step S66 when the processing target frame is not a frame at a random accessible position of the high-resolution encoded stream of the + x plane 11 and the ⁇ x plane 12, between the high-resolution encoded stream of the + x plane 11 and the ⁇ x plane 12 Switching of the decryption target is not performed.
  • the switch 224-1 supplies the selected high-resolution encoded stream to the decoder 225-1. After the processes of steps S63 to S65, the process proceeds to step S66.
  • step S66 the switch 224-2 determines whether the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + y plane 13 and the -y plane 14.
  • step S66 If it is determined in step S66 that the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + y plane 13 and the -y plane 14, the process proceeds to step S67.
  • step S67 the switch 224-2 determines whether or not the surface selection information for selecting the + y surface 13 is supplied from the line-of-sight detection unit 229.
  • step S67 If it is determined in step S67 that the surface selection information for selecting the + y surface 13 has been supplied, the process proceeds to step S68.
  • step S68 the switch 224-2 selects, as a decoding target, the high-resolution encoded stream on the + y plane 13 out of the high-resolution encoded streams on the + y plane 13 and the ⁇ y plane 14 supplied from the storage 222, This is supplied to the decoder 225-2.
  • step S67 If it is determined in step S67 that the surface selection information for selecting the + y surface 13 is not supplied, that is, if the surface selection information for selecting the -y surface 14 is supplied from the line-of-sight detection unit 229, the process proceeds to step S69. move on.
  • step S69 the switch 224-2 selects, as a decoding target, the high-resolution encoded stream on the -y plane 14 among the high-resolution encoded streams on the + y plane 13 and the -y plane 14 supplied from the storage 222. , Supplied to the decoder 225-2.
  • step S66 determines whether the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + y plane 13 and the -y plane 14, the process proceeds to step S70.
  • step S70 the switch 224-2 selects the high-resolution encoded stream selected for the previous frame from the high-resolution encoded streams of the + y plane 13 and the ⁇ y plane 14 supplied from the storage 222.
  • a high-resolution encoded stream having the same plane as that corresponding to is selected as a decoding target.
  • step S71 when the processing target frame is not a frame at a random accessible position of the high resolution encoded stream of the + y plane 13 and the ⁇ y plane 14, between the high resolution encoded stream of the + y plane 13 and the ⁇ y plane 14 Switching of the decryption target is not performed.
  • the switch 224-2 supplies the selected high-resolution encoded stream to the decoder 225-2. After the processes of steps S68 to S70, the process proceeds to step S71.
  • step S71 the switch 224-3 determines whether the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + z plane 15 and the -z plane 16.
  • step S71 If it is determined in step S71 that the processing target frame is a frame at a randomly accessible position in the high-resolution encoded stream on the + z plane 15 and the -z plane 16, the process proceeds to step S72.
  • step S72 the switch 224-3 determines whether or not the surface selection information for selecting the + z surface 15 is supplied from the line-of-sight detection unit 229.
  • step S73 the switch 224-3 selects, as a decoding target, the high-resolution encoded stream on the + z plane 15 out of the high-resolution encoded streams on the + z plane 15 and the ⁇ z plane 16 supplied from the storage 222, This is supplied to the decoder 225-3.
  • step S72 If it is determined in step S72 that the surface selection information for selecting the + z surface 15 is not supplied, that is, if the surface selection information for selecting the -z surface 16 is supplied from the line-of-sight detection unit 229, the process proceeds to step S74. move on.
  • step S74 the switch 224-3 selects, as a decoding target, the high-resolution encoded stream on the ⁇ z plane 16 among the high-resolution encoded streams on the + z plane 15 and the ⁇ z plane 16 supplied from the storage 222. , Supplied to the decoder 225-3.
  • step S71 if it is determined in step S71 that the processing target frame is not a frame at a randomly accessible position in the high-resolution encoded stream on the + z plane 15 and the -z plane 16, the process proceeds to step S75.
  • step S ⁇ b> 75 the switch 224-3 selects the high-resolution encoded stream selected for the previous frame from the high-resolution encoded streams of the + z plane 15 and the ⁇ z plane 16 supplied from the storage 222.
  • a high-resolution encoded stream having the same plane as that corresponding to is selected.
  • the decoding target is independently selected for each pair of the faces 11 to 16 facing each other based on the face selection information.
  • the content server 132 of the image display system 130 generates the high-resolution encoded stream of the omnidirectional image 30 and the low-resolution encoded stream of the entire omnidirectional image 30 for each of the surfaces 11 to 16.
  • the image in the user's field of view is immediately used using the low-resolution image until the high-resolution encoded stream of the surface corresponding to the line-of-sight vector is decoded. Can be displayed.
  • the image of the user's visual field range is displayed using the low resolution image. be able to.
  • the home server 133 is compatible with a home server that generates a display image by decoding one encoded stream of the entire omnidirectional image 30.
  • FIG. 20 is a diagram illustrating a sphere as a 3D model to which an image is mapped in the method for generating an omnidirectional image (hereinafter referred to as a new equirectangular projection) according to the second embodiment.
  • the image is mapped to the surface of the sphere 280, but the surface of the sphere 280 is divided into three in the vertical direction, It is considered that the surface is constituted by six surfaces 281 to 286 having substantially the same area divided into four in the horizontal direction.
  • the front surface 291 of the image mapped to the sphere 280 is positioned at the center of the boundary between the surface 284 and the surface 285, and the back surface 292 is positioned at the center of the boundary between the surface 283 and the surface 286.
  • a central surface of the sphere 280 is divided into surfaces 283 to 286.
  • the front 291 of the image is, for example, an image positioned at the center of the visual field in a standard line-of-sight direction (for example, a line-of-sight direction when the user wearing the head mounted display 135 naturally faces forward).
  • the axis passing through the origin O which is the center of the sphere 280, passing through the center of the surface 281 and the surface 282, the axis passing through the center of the surface 283 and the surface 284, the axis passing through the center of the surface 283 and 284,
  • the axis passing through the center is defined as c-axis.
  • the + a plane 281 and the ⁇ a plane 282, the + b plane 283 and the ⁇ b plane 284, the + c plane 285 and the ⁇ c plane 286 face each other. Further, the front surface 291 is located at the center of the boundary between the + c surface 285 and the ⁇ b surface 284, and the back surface 292 is located at the center of the boundary between the ⁇ c surface 286 and the + b surface 283.
  • FIG. 21 is a diagram for explaining an omnidirectional image generated by the new equirectangular projection.
  • the image 301 is composed of 1920 (horizontal) ⁇ 960 (vertical) pixels.
  • the uppermost image is an image 311 (upper image) on the + a plane 281 and the lowermost image is an image on the ⁇ a plane 282. 312 (lower image).
  • the leftmost image is the image 313 of the + b plane 283, the second image from the left is the image 315 of the + c plane 285, and the third image from the left is the ⁇ b plane 284.
  • the image 314 and the rightmost image are the image 316 of the ⁇ c plane 286.
  • the front surface 291 is located at the center of the boundary between the images 315 and 314, and the back surface 292 is located at the center of the left end of the image 313 and the right end of the image 316.
  • the image 311 and the image 312 are composed of 1920 ⁇ 240 pixels, and the images 313 to 316 (divided central images) are composed of 480 ⁇ 480 pixels.
  • the low-resolution upper image 321, the low-resolution lower image 322, and the images 313 to 316 are generated as the omnidirectional image 320.
  • FIG. 22 is a diagram illustrating an example of an image of the user's visual field range generated using the omnidirectional image 320 of FIG.
  • the user's line-of-sight vector 330 is a vector from the origin O toward the intersection of the + b plane 283, the + c plane 285, and the ⁇ a plane 282.
  • the image of the user's visual field range 331 can be generated using the image 313 on the + b plane 283, the image 315 on the + c plane 285, and the image 312 on the ⁇ a plane 282.
  • the plane corresponding to the user's line-of-sight vector 330 is the ⁇ a plane 282 in which the a-axis component of the line-of-sight vector 330 has the same sign as the a-axis coordinate
  • the + b plane in which the b-axis component and the b-axis coordinate have the same sign 283, and the + c plane 285 in which the positive and negative of the c-axis component and the c-axis coordinate are the same.
  • FIG. 23 is a diagram showing a pixel distribution of the omnidirectional image 320 of FIG.
  • the point represents the center of the pixel.
  • the centers of the pixels of the omnidirectional image 320 are arranged in the horizontal direction and the vertical direction at equal intervals.
  • the horizontal pixel interval of the lower resolution upper image 321 and the lower resolution lower image 322 is twice the horizontal pixel interval of the images 313 to 316.
  • the areas of the mapped low resolution upper image 321 and low resolution lower image 322 and images 313 to 316 are as follows.
  • the areas of the surfaces 281 to 286 are substantially equal.
  • the arrangement of the low resolution upper image 321, the low resolution lower image 322, and the images 313 to 316 on the sphere 280 is close to the arrangement of the cube mapping images 31 to 36 on the sphere 60. Further, the density of pixels on each surface 281 to 286 is substantially the same.
  • the isotropicity of the pixels of the omnidirectional image 320 mapped to the sphere 280 is improved as compared with the equirectangular projection. Therefore, it is possible to suppress an increase in the decoding processing load near the upper and lower sides of the sphere 280. Further, the total number of pixels of the omnidirectional image 320 is smaller than that of the equirectangular projection. Further, the number of faces corresponding to the line-of-sight vector is the same as in the case of cube mapping.
  • the configuration of the second embodiment of the image display system to which the present disclosure is applied is the configuration of the content server and the point that the 3D model to which the omnidirectional image is mapped in the home server is a sphere, as shown in FIG.
  • the configuration is the same as that of the image display system 130. Accordingly, only the content server will be described below.
  • FIG. 24 is a block diagram illustrating a configuration example of the content server according to the second embodiment of the image display system to which the present disclosure is applied.
  • the configuration of the content server 340 in FIG. 24 is different from the configuration of the content server 132 in FIG. 10 in that a mapping processing unit 341 and a dividing unit 342 are provided instead of the mapping processing unit 152 and the dividing unit 155.
  • the content server 340 (image processing apparatus) generates an omnidirectional image by reducing the resolution of the upper and lower images of the images of the equirectangular projection of the sphere 70 to which the omnidirectional captured images are mapped.
  • the mapping processing unit 341 generates the omnidirectional image 320 from the captured image supplied from the stitching processing unit 151 by the new equirectangular projection.
  • the mapping processing unit 341 supplies the omnidirectional image 320 to the resolution reducing unit 153 and the dividing unit 342.
  • the dividing unit 342 divides the omnidirectional image 320 supplied from the mapping processing unit 341 into a low-resolution upper image 321, a low-resolution lower image 322, and images 313 to 316 on the six surfaces 281 to 286.
  • the dividing unit 342 supplies the low resolution upper image 321 to the encoder 156-1 as a high resolution image on the + a plane 281 and supplies the low resolution lower image 322 to the encoder 156-2 as a high resolution image on the ⁇ a plane 282.
  • the dividing unit 342 supplies the image 313 to the encoder 156-3 as a high resolution image on the + b plane 283, and supplies the image 314 to the encoder 156-4 as a high resolution image on the ⁇ b plane 284. Further, the dividing unit 342 supplies the image 315 as a high resolution image on the + c plane 285 to the encoder 156-5, and supplies the image 316 as a high resolution image on the ⁇ c plane 286 to the encoder 156-6.
  • the high-resolution encoded streams of the surfaces 281 to 286 are generated so that the randomly accessible positions of the pairs of the opposing surfaces of the surfaces 281 to 286 of the sphere 280 are synchronized and the GOP structure is a Closed GOP structure.
  • FIG. 25 is a block diagram illustrating a configuration example of the mapping processing unit 341 in FIG.
  • the mapping processing unit 341 in FIG. 25 includes an equirectangular cylindrical image generation unit 361, a screen division unit 362, and a resolution reduction unit 363.
  • the equirectangular image generator 361 of the mapping processor 341 maps the captured image supplied from the stitching processor 151 of FIG. 24 to the sphere 280, and generates an image 301 of the mapped sphere 280 by equirectangular projection. To do.
  • the equirectangular cylindrical image generation unit 361 supplies the image 301 to the screen division unit 362.
  • the screen dividing unit 362 divides the image 301 supplied from the equirectangular image generating unit 361 into three in the vertical direction, and generates an image 311, a central image, and an image 312 in order from the top.
  • the screen dividing unit 362 further generates the images 313 to 316 by dividing the central image into four in the horizontal direction.
  • the screen division unit 362 supplies the images 311 to 316 to the resolution reduction unit 363.
  • the resolution reduction unit 363 (conversion unit) lowers the resolution of the image 311 and the image 312 supplied from the screen division unit 362, and generates a lower resolution upper image 321 and a lower resolution lower image 322.
  • the resolution reduction unit 363 uses the generated low resolution upper image 321 and lower resolution lower image 322 and the images 313 to 316 supplied from the screen division unit 362 as the omnidirectional image 320 as shown in FIG. 153 and the dividing unit 342.
  • the omnidirectional image 320 is generated using the image 301 of the equirectangular projection of the sphere 280 to which the captured image is mapped. Therefore, like the omnidirectional image 90 generated by the equirectangular projection, the coordinate conversion of the omnidirectional image 320 is easy, and the omnidirectional image 320 is a general code for processing a rectangular image. Suitable for the conversion method.
  • the resolution of the image 311 and the image 312 is reduced. Therefore, the number of pixels of the omnidirectional image 320 is smaller than that of the omnidirectional image 90, and the amount of decoding processing is reduced. In addition, an increase in pixel density near the upper and lower poles of the sphere 280 to which the omnidirectional image 320 is mapped can be suppressed. Further, it is possible to prevent a large number of bits from being allocated when encoding the omnidirectional image 320 mapped in the vicinity of the upper and lower poles of the sphere 280 and to encode the entire omnidirectional image 320 at the same bit rate. Can do. As a result, the image quality of the omnidirectional image 320 is improved.
  • the number of surfaces corresponding to the line-of-sight vector is three, which is the same as when a spherical image is generated by cube mapping. Therefore, the number of encoders and decoders can be reduced as compared with the case where an omnidirectional image is generated by equirectangular projection and the number of surfaces corresponding to the line-of-sight vector is four.
  • the numbers of pixels of the low resolution upper image 321, the images 313 to 316, and the low resolution lower image 322 of the surfaces 281 to 286 constituting the omnidirectional image 320 are all the same. Therefore, the load of the decoding process on each of the surfaces 281 to 286 becomes substantially the same, and the fluctuation of the load of the decoding process due to the fluctuation of the line-of-sight vector is suppressed.
  • the central surface of the sphere 280 to which the image is mapped is the boundary between the front surface 291 and the rear surface 292 of the image, the boundary between the divided surface 284 and the surface 285, and the boundary between the surface 283 and the surface 286, respectively.
  • the front surface 291 and the back surface 292 may be divided so as not to be located at the boundary between the divided surfaces.
  • FIG. 26 is a diagram illustrating an example of the sphere 280 when the central surface is divided so that the front surface 291 and the back surface 292 are positioned at the center of the divided surface.
  • FIG. 26 the same components as those in FIG. 20 are denoted by the same reference numerals.
  • the surface of the sphere 280 is vertically divided into a surface 281, a central surface, and a surface 282, and the front surface 291 is located at the center of the surface 385, and the rear surface It is divided into four surfaces 383 to 386 so that 292 is located at the center of the surface 386.
  • an axis passing through the origin O which is the center of the sphere 280, and passing through the centers of the surface 383 and the surface 384 is referred to as a b ′ axis
  • an axis passing through the centers of the surfaces 385 and 386 is referred to as a c ′ axis.
  • a surface 383 with b ′ r
  • a surface 384 with b ′ ⁇ r
  • c ′ r
  • the + a plane 281 and the ⁇ a plane 282, the + b ′ plane 383 and the ⁇ b ′ plane 384, the + c ′ plane 385 and the ⁇ c ′ plane 386 are opposed to each other. Further, the front surface 291 is located at the center of the + c ′ surface 385, and the back surface 292 is located at the center of the ⁇ c ′ surface 286.
  • FIG. 27 is a diagram illustrating an example of an omnidirectional image when a omnidirectional photographed image is mapped to the sphere 280 of FIG.
  • FIG. 27 the same components as those in FIG. 21 are denoted by the same reference numerals.
  • an image 301 is generated in the same manner as in FIG.
  • the uppermost image is the image 311 on the + a plane 281 and the lowermost image is the image 312 on the ⁇ a plane 282.
  • the center image is divided at a position that is 1/8 of the distance in the horizontal direction from the left and right edges, and the inner image is divided into three equal parts in the horizontal direction, the leftmost image is ⁇ c ′.
  • the center image of the image 301 in FIG. 27 is obtained by shifting the center image of the image 301 in FIG. 21 to the right by a distance of 1/8 of the whole in the horizontal direction.
  • the image 396 on the ⁇ C ′ plane 386 is divided in the horizontal direction in the center image of the image 301, and the image 396-1 is obtained. And an image 396-2.
  • the front surface 291 is positioned at the center of the image 395, and the back surface 292 is positioned at the center of the left end of the image 396-1 and the center of the right end of the image 396-2.
  • the images 393 to 395 are composed of 480 ⁇ 480 pixels
  • the images 396-1 and 396-2 are composed of 240 ⁇ 480 pixels.
  • the image 391 and the image 392 of the image 301 are reduced in resolution so that the horizontal resolution becomes 1/2.
  • the low resolution upper image 321, the low resolution lower image 322, and the images 393 to 396 are generated as the omnidirectional image 400. Accordingly, in the omnidirectional image 400, the front surface 291 and the back surface 292 are located at the centers of the + C surface 395 and the ⁇ C surface 396, respectively. As a result, image quality deterioration of the front 291 due to image quality deterioration occurring at the boundary between the images 393 to 396 in the decoded omnidirectional image 400 can be prevented, and the image quality deterioration of the omnidirectional image 400 can be made inconspicuous. .
  • the images 393 to 396 are encoded independently.
  • compression coding methods that compress information by temporal motion compensation such as AVC and HEVC
  • AVC and HEVC when a moving image subject moves on the screen, the compression distortion occurs while maintaining a certain shape. Propagated between.
  • the motion compensation is not performed across the boundary, the compression distortion tends to increase at the boundary.
  • a streak in which the compression distortion occurs at the boundary of the divided image is generated. This phenomenon is known to occur between AVC slices and HEVC tiles.
  • the image quality is likely to deteriorate at the boundary between the decoded images 393 to 396.
  • the front surface 291 that is highly likely to be viewed by the user is not located at the boundary between the images 393 to 396. Absent.
  • the image 301 in FIG. 21 and FIG. 28 is an image by equirectangular projection
  • the right end of the image 301 is continuous with the left end of the image as shown in FIG. 28A and FIG. 28B. . Therefore, when the position on the image 301 corresponding to the line-of-sight vector moves to the right from the right end of the image 301, the position moves to the left end of the image 301. That is, virtually, the image 301 is continuous in the horizontal direction.
  • only a high-resolution image may be encoded.
  • the encoded stream of the high-resolution image of all the planes may be decoded, or only the encoded stream of the high-resolution image of the plane corresponding to the line-of-sight vector may be decoded.
  • FIG. 29 is a block diagram illustrating a configuration example of a third embodiment of an image display system to which the present disclosure is applied.
  • the configuration of the image display system 370 in FIG. 29 is that a home server 471 and a display 372 are provided instead of the home server 133 and the head mounted display 135, a conversion device 134 is not provided, and a controller 473 is provided. However, it is different from the configuration of the image display system 130 of FIG.
  • the user inputs the user's position and line-of-sight vector by operating the controller 473, and a display image corresponding to the input is displayed on the display 372.
  • the home server 471 of the image display system 370 receives six high-resolution encoded streams and one low-resolution encoded stream transmitted from the content server 132.
  • the home server 471 accepts a user position and line-of-sight vector instruction from the controller 473.
  • the home server 471 determines three planes corresponding to the user's line-of-sight vector among the planes 11 to 16 based on the user's line-of-sight vector, similarly to the home server 133 of FIG. Then, the home server 471 selects and decodes three high-resolution encoded streams of the plane corresponding to the user's line-of-sight vector among the six high-resolution encoded streams. In addition, the home server 471 decodes one low-resolution encoded stream.
  • the home server 471 determines the visual field range of the user based on the user position and the line-of-sight vector, similarly to the home server 133.
  • the home server 471 generates an image in the user's visual field range as a display image from the high resolution image and the low resolution image obtained as a result of decoding.
  • the home server 471 transmits the display image to the display 372 via an HDMI cable (not shown).
  • the display 372 displays a display image supplied from the home server 471.
  • the controller 473 has operation buttons and the like. When the user inputs a user position and a line-of-sight vector by operating an operation button or the like, the controller 473 receives the input and instructs the home server 471 of the user position and the line-of-sight vector.
  • controller 473 and the display 372 may be integrated.
  • the controller 473 and the display 372 are configured by, for example, a mobile terminal such as a mobile phone or a tablet terminal, a part of a personal computer, or the like.
  • the controller 473 may include a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like, and the user's line-of-sight vector may be determined based on detection results of these sensors.
  • FIG. 30 is a diagram illustrating a method for generating an omnidirectional image corresponding to a high resolution image and a low resolution image in an image display system to which the present disclosure is applied.
  • a high resolution image and a low resolution image are generated from the same omnidirectional image 30 (320, 400) generated by cube mapping.
  • a high resolution image and a low resolution image may be generated from the spherical image.
  • the omnidirectional image used for generating the high resolution image and the low resolution image may be generated by equirectangular projection.
  • FIG. 30 there are, for example, seven patterns as combinations of generation methods of the omnidirectional image corresponding to the high resolution image and the low resolution image in the image display system to which the present disclosure is applied.
  • the omnidirectional image generation method corresponding to the high resolution image is cube mapping
  • the omnidirectional image generation method corresponding to the low resolution image is equirectangular projection. It is a pattern.
  • the image display system to which the present disclosure is applied uses the omnidirectional image generated by using equirectangular projection. It is compatible with existing image display systems that encode into one encoded stream.
  • the method for generating the omnidirectional image corresponding to the high resolution image is cube mapping, the pixel density of the high resolution image in the cubic image becomes substantially uniform, and the image quality of the display image is good.
  • the second pattern is a pattern according to the first and third embodiments in which the omnidirectional image generation method corresponding to the high resolution image and the low resolution image is both cube mapping.
  • the pixel density in the cubic image becomes substantially uniform, and the image quality of the display image is good.
  • the third pattern is a pattern in which the omnidirectional image generation method corresponding to the high resolution image and the low resolution image is both equirectangular projection.
  • the image display system 130 (370) is an image display system to which the present disclosure is applied and an existing image that encodes the omnidirectional image generated using the equirectangular projection into one encoded stream. Compatible with display system.
  • the fourth pattern is a pattern in which the omnidirectional image generation method corresponding to the high resolution image is an equirectangular projection, and the omnidirectional image generation method corresponding to the low resolution image is cube mapping.
  • the fifth pattern is a pattern in which the omnidirectional image generation method corresponding to the high resolution image is cube mapping, and the omnidirectional image generation method corresponding to the low resolution image is the new equirectangular projection.
  • the pixel density in the cubic image becomes substantially uniform, and the image quality of the display image is good.
  • the sixth pattern is the pattern of the second embodiment in which the omnidirectional image generation method corresponding to the high resolution image and the low resolution image is both the new equirectangular projection.
  • the pixel density in the cubic image becomes substantially uniform, and the image quality of the display image is good.
  • the seventh pattern is a pattern in which the omnidirectional image generation method corresponding to the high resolution image is a new equirectangular projection, and the omnidirectional image generation method corresponding to the low resolution image is cube mapping.
  • the pixel density in the cubic image becomes substantially uniform, and the image quality of the display image is good.
  • equirectangular projection may be employed instead of cube mapping.
  • FIG. 31 is a diagram showing a sphere image mapped by the home server when the pattern of the omnidirectional image generation method corresponding to the high resolution image and the low resolution image is the first pattern.
  • the omnidirectional image 90 corresponding to the low resolution image is generated by the equirectangular projection. Therefore, as shown in FIG. 31, first, a low resolution image 501 obtained by reducing the resolution of the omnidirectional image 90 is mapped onto the sphere 70. Then, the image 31, the image 34, and the image 36 corresponding to the visual field direction of the user are superimposed on the sphere 70 to which the low resolution image 501 is mapped, and the sphere image 500 is generated. The spherical image 500 is used for generating a display image.
  • the omnidirectional image 30 is generated as the omnidirectional image for the high resolution image
  • the omnidirectional image 90 is generated as the omnidirectional image for the low resolution image. Except for this, it is the same as the image display system 130.
  • the image display system of the third pattern includes a point where the omnidirectional image 30 replaces the omnidirectional image 90, and the omnidirectional image 90 is divided into images 91 to 98 of eight surfaces 71 to 78. 9 is the same as the image display system 130 except that the number of decoders is five and the number of decoders is five.
  • the omnidirectional image 90 is generated as the omnidirectional image for the high resolution image, and the omnidirectional image 30 is generated as the omnidirectional image for the low resolution image.
  • the omnidirectional image 90 is divided into images 91 to 98 of eight planes 71 to 78, the number of encoders is nine, and the number of decoders is five. It is the same.
  • the fifth pattern image display system except that the omnidirectional image 30 is generated as the omnidirectional image for the high resolution image and the omnidirectional image 320 (400) for the low resolution image is generated. This is the same as the image display system 130.
  • the omnidirectional image 320 (400) is generated as the omnidirectional image for the high resolution image, and the omnidirectional image 30 is generated as the omnidirectional image for the low resolution image. Except for the point generated, it is the same as the image display system of the second embodiment.
  • the series of processing of the content server 132 (340) and the home server 133 (371) described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 32 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 905 is further connected to the bus 904.
  • An input unit 906, an output unit 907, a storage unit 908, a communication unit 909, and a drive 910 are connected to the input / output interface 905.
  • the input unit 906 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 909 includes a network interface or the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 908 to the RAM 903 via the input / output interface 905 and the bus 904 and executes the program. A series of processing is performed.
  • the program executed by the computer 900 can be provided by being recorded on a removable medium 911 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 908 via the input / output interface 905 by attaching the removable medium 911 to the drive 910.
  • the program can be received by the communication unit 909 via a wired or wireless transmission medium and installed in the storage unit 908.
  • the program can be installed in the ROM 902 or the storage unit 908 in advance.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the ratio of the resolution of the low resolution image to the resolution of the high resolution image may not be 1/4.
  • the resolution of the high resolution image only needs to be higher than the resolution of the low resolution image, and the high resolution image may be generated by converting the resolution of the omnidirectional image.
  • the captured image may be a still image or a moving image.
  • the 3D model may be a regular polyhedron such as a regular dodecahedron or a regular icosahedron other than a sphere or a cube.
  • the content server 132 (340) may transmit the encoded stream to the home server 133 (371) in real time without recording.
  • the encoders 156-1 to 156-6 may be provided outside the content server 132 (340).
  • the surface of the 3D model is divided more finely than the surfaces 11 to 16 (the surfaces 71 to 78, the surfaces 281 to 286, the surfaces 281 and 282, and the surfaces 383 to 386).
  • the omnidirectional image 30 (90, 320, 400) is divided for each surface divided more finely than the surfaces 11 to 16 (surfaces 71 to 78, surfaces 281 to 286, surfaces 281 and 282, and surfaces 383 to 386).
  • the images 31 to 36 are reduced in resolution to become medium-resolution images. It becomes.
  • the omnidirectional image 30 is encoded by being reduced in resolution to a resolution lower than that of the medium resolution image. A surface corresponding to the high-resolution image is selected as the surface corresponding to the line-of-sight vector.
  • the size of the 3D model that is mapped when the omnidirectional image is generated and the size of the 3D model that is mapped when the display image is generated may be different.
  • the 3D model in which the low resolution image and the high resolution image are mapped includes the 3D model in which the high resolution image is mapped, May be different.
  • the shape of the display 372 may be a dome shape.
  • the home server 471 generates images of all the surfaces 11 to 16 as display images.
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • the central image is encoded at the first resolution
  • the upper image and the upper image An image processing apparatus comprising: an encoding unit that encodes a lower image at a second resolution lower than the first resolution to generate an encoded stream.
  • the encoding unit encodes the first divided central image to the fourth divided central image obtained by dividing the central image into four in the horizontal direction at the first resolution. apparatus.
  • the number of pixels of the first divided central image to the fourth divided central image of the first resolution and the number of pixels of the upper image and the lower image of the second resolution are the same as described in (2).
  • the encoding unit is configured to connect the first divided central image to the fourth divided central image having the first resolution, and opposing surfaces of spheres to which the upper image and the lower image having the second resolution are mapped.
  • the encoding unit includes the first divided central image to the fifth divided central image obtained by dividing the central image into five in the horizontal direction so that the front of the image is not located at a boundary.
  • a combined image obtained by combining the divided central image and the second divided central image, and the third divided central image to the fifth divided central image are encoded at the first resolution
  • the horizontal size of the first divided central image and the second divided central image is configured to be half the horizontal size of the third divided central image to the fifth divided central image.
  • the image processing apparatus further including: a distribution unit that distributes the encoded stream stored in the storage unit to a terminal that decodes the encoded stream.
  • a distribution unit that distributes the encoded stream stored in the storage unit to a terminal that decodes the encoded stream.
  • the image processing device according to any one of (1) to (9), wherein the encoding unit generates the encoded stream in accordance with AVC / H.264 standard or HEVC / H.265 standard.
  • the image processing device For the upper image, the central image, and the lower image obtained by dividing the image generated from the omnidirectional image by the equirectangular projection in the vertical direction, the central image is encoded at the first resolution, and the upper image and the upper image
  • An image processing method comprising: an encoding step of encoding a lower image at a second resolution lower than the first resolution to generate an encoded stream.
  • the central image is encoded at a first resolution
  • the upper image and Of the encoded stream in which the lower image is encoded at a second resolution lower than the first resolution the encoded image of the upper image or the lower image and the encoded stream of the central image are decoded.
  • An image processing apparatus comprising a decoding unit.
  • the encoded stream of the central image is an encoded stream in which the first divided central image to the fourth divided central image obtained by dividing the central image into four in the horizontal direction are encoded at the first resolution.
  • the decoding unit includes the first divided central image to the fourth divided central image having the first resolution and the opposing surfaces of spheres to which the upper image and the lower image having the second resolution are mapped.
  • the image processing device according to (13), wherein the encoded stream corresponding to one surface of the pair is decoded.
  • the number of pixels of the first divided central image to the fourth divided central image of the first resolution and the number of pixels of the upper image and the lower image of the second resolution are the same (13) or ( The image processing apparatus according to 14).
  • the image processing apparatus according to any one of (13) to (15), wherein the randomly accessible positions of the encoded stream are synchronized.
  • the image processing device For an upper image, a central image, and a lower image obtained by dividing an image generated from an omnidirectional image by equirectangular projection in the vertical direction, the central image is encoded at a first resolution, and the upper image and Of the encoded stream in which the lower image is encoded at a second resolution lower than the first resolution, the encoded image of the upper image or the lower image and the encoded stream of the central image are decoded.
  • An image processing method including a decoding step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

　本開示は、球の面にマッピングされたときの極の近辺の画素密度の上昇が抑制された全天球画像を生成することができるようにする画像処理装置および画像処理方法に関する。 エンコーダは、正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、中央画像を高解像度で符号化し、上画像および下画像を高解像度より低い低解像度で符号化して、符号化ストリームを生成する。本開示は、例えば、画像表示システム等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、球の面にマッピングされたときの極の近辺の画素密度の上昇が抑制された全天球画像を生成することができるようにした画像処理装置および画像処理方法に関する。
　マルチカメラにより撮影された全方向の撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。
　このような記録装置では、全天球画像の生成方法として、正距円筒図法やキューブマッピングなどの３Ｄ画像から２Ｄ画像にマッピングを行う方法が用いられる。全天球画像の生成方法として正距円筒図法が用いられる場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法としてキューブマッピングが用いられる場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。
　全天球画像の生成方法として正距円筒図法が用いられる場合、全天球画像を上下に２分割し、さらに左右方向に４分割して、各分割画像を球の面にマッピングすると、球の面にマッピングされた分割画像の形状は、三角形に近い形状になる。即ち、全天球画像の上下の水平方向に延びる２辺が、球の極に収縮するため、四角形である分割画像の形状が、三角形になる。従って、極の近辺では、画素密度が非常に高くなり、符号化時に多くのビットが配分される。
特開２００６－１４１７４号公報
　しかしながら、人間は、通常、水平方向を向いているため、水平方向に注目物体が存在することが多い。従って、全天球画像において上下の極の近辺の被写体は重要ではない場合が多い。
　本開示は、このような状況に鑑みてなされたものであり、球の面にマッピングされたときの極の近辺の画素密度の上昇が抑制された全天球画像を生成することができるようにするものである。
　本開示の第１の側面の画像処理装置は、正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像を第１の解像度で符号化し、前記上画像および前記下画像を前記１の解像度より低い第２の解像度で符号化して、符号化ストリームを生成する符号化部を備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化されて、符号化ストリームが生成される。
　本開示の第２の側面の画像処理装置は、正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームを復号する復号部を備える画像処理装置である。
　本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
　本開示の第２の側面においては、正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームとが復号される。
　なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本開示の第１の側面によれば、全天球画像を符号化することができる。また、本開示の第１の側面によれば、球の面にマッピングされたときの極の近辺の画素密度の上昇が抑制された全天球画像を生成することができる。
　本開示の第２の側面によれば、全天球画像の符号化ストリームを復号することができる。また、本開示の第２の側面によれば、球の面にマッピングされたときの極の近辺の画素密度の上昇が抑制された全天球画像の符号化ストリームを復号することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
３Ｄモデルとしての立方体を示す斜視図である。 キューブマッピングにより生成される全天球画像の例を示す図である。 図２の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図２の全天球画像の画素分布を示す図である。 ３Ｄモデルとしての球を示す斜視図である。 正距円筒図法により生成される全天球画像の例を示す図である。 図６の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図６の全天球画像の画素分布を示す図である。 本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 図９のコンテンツサーバの構成例を示すブロック図である。 図１０のエンコーダの構成例を示すブロック図である。 図１０のコンテンツサーバの符号化処理を説明するフローチャートである。 図９のホームサーバの構成例を示すブロック図である。 図１３のデコーダの構成例を示すブロック図である。 図１３のデコーダの動作タイミングの例を示すタイミングチャートである。 図１３のマッピング処理部により生成される立方体画像を説明する図である。 ユーザの視野範囲の例を示す図である。 図１３のホームサーバの復号処理を説明するフローチャートである。 図１８の面選択処理の詳細を説明するフローチャートである。 新正距円筒図法において画像がマッピングされる３Ｄモデルとしての球を示す図である。 新正距円筒図法により生成される全天球画像を説明する図である。 図２１の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図２１の全天球画像の画素分布を示す図である。 本開示を適用した画像表示システムの第２実施の形態のコンテンツサーバの構成例を示すブロック図である。 図２４のマッピング処理部の構成例を示すブロック図である。 新正距円筒図法において画像がマッピングされる３Ｄモデルとしての球の他の例を示す図である。 新正距円筒図法により生成される全天球画像の他の例を説明する図である。 全天球画像の連続性を説明する図である。 本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。 本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。 第１のパターンにおいてホームサーバによりマッピングされる球の画像を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　０．本開示の前提（図１乃至図８）
　１．第１実施の形態：画像表示システム（図９乃至図１９）
　２．第２実施の形態：画像表示システム（図２０乃至図２８）
　３．第３実施の形態：画像表示システム（図２９）
　４．高解像度画像と低解像度画像に対応する全天球画像の生成方法の説明（図３０および図３１）
　５．第４実施の形態：コンピュータ（図３２）
　＜本開示の前提＞
　（キューブマッピングの説明）
　図１は、全天球画像の生成方法としてキューブマッピングが用いられる場合に画像がマッピングされる３Ｄモデルとしての立方体を示す斜視図である。
　図１に示すように、全天球画像の生成方法としてキューブマッピングが用いられる場合、画像は立方体１０の６つの面１１乃至１６にマッピングされる。
　本明細書では、立方体１０の中心である原点Ｏを通り、面１１および面１２と直交する軸をｘ軸、面１３および面１４と直交する軸をｙ軸、面１５および面１６と直交する軸をｚ軸とする。そして、原点Ｏと面１１乃至１６のそれぞれとの距離をｒとしたときのｘ＝ｒである面１１を、適宜、＋ｘ面１１ともいい、ｘ＝－ｒである面１２を、適宜、－ｘ面１２ともいう。同様に、ｙ＝ｒである面１３、ｙ＝－ｒである面１４、ｚ＝ｒである面１５、ｚ＝－ｒである面１６を、適宜、＋ｙ面１３、－ｙ面１４、＋ｚ面１５、－ｚ面１６ともいう。
　＋ｘ面１１と－ｘ面１２、＋ｙ面１３と－ｙ面１４、および＋ｚ面１５、－ｚ面１６は、それぞれ、対向する。
　図２は、キューブマッピングにより生成される全天球画像の例を示す図である。
　図２に示すように、キューブマッピングにより生成される全天球画像３０は、立方体１０の展開図の画像である。具体的には、全天球画像３０は、中央の左から順に－ｘ面１２の画像３２、＋ｚ面１５の画像３５、＋ｘ面１１の画像３１、－ｚ面１６の画像３６が配置され、画像３５の上に＋ｙ面１３の画像３３が配置され、画像３５の下に－ｙ面１４の画像３４が配置された画像である。
　図３は、図２の全天球画像３０を用いて生成されるユーザの視野範囲の画像の例を示す図である。
　図３の例では、ユーザの視線ベクトル５０が、原点Ｏから＋ｘ面１１と＋ｚ面１５の接する辺の下部に向かう方向（視線方向）のベクトルである。
　この場合、ユーザの視野範囲５１の画像は、＋ｘ面１１の画像３１、－ｙ面１４の画像３４、および＋ｚ面１５の画像３５を用いて生成することができる。即ち、ユーザの視線ベクトル５０に対応する面は、視線ベクトル５０のｘ軸成分とｘ軸座標の正負が同一である＋ｘ面１１、ｙ軸成分とｙ軸座標の正負が同一である－ｙ面１４、およびｚ軸成分とｚ軸座標の正負が同一である＋ｚ面１５である。
　なお、本明細書では、全天球画像の対向する面どうしのペアのうちの、ユーザの視野範囲の画像の生成に用いられる可能性がある方の面を、ユーザの視線ベクトルに対応する面という。
　図４は、図２の全天球画像３０の画素分布を示す図である。
　なお、図４において、点は、画素の中心を表す。
　図４のＡに示すように、全天球画像３０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。また、図４のＢに示すように、全天球画像３０が球６０の表面にマッピングされると、マッピングされた全天球画像３０の各画素の中心の間の距離の差は小さい。即ち、球６０の表面にマッピングされた全天球画像３０の画素密度の差は小さい。従って、全天球画像３０の画質は良い。
　（正距円筒図法の説明）
　図５は、全天球画像の生成方法として正距円筒図法が用いられる場合に画像がマッピングされる３Ｄモデルとしての球を示す斜視図である。
　図５に示すように、全天球画像の生成方法として正距円筒図法が用いられる場合、画像は、球７０の面にマッピングされる。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。
　本明細書では、球７０の中心である原点Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。そして、原点Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝－ｒである面７２を、適宜、－Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝－ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝－ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝－ｒである面７８を、適宜、＋Ｂ面７３、－Ｂ面７４、＋Ｃ面７５、－Ｃ面７６、＋Ｄ面７７、－Ｄ面７８ともいう。
　＋Ａ面７１と－Ａ面７２、＋Ｂ面７３と－Ｂ面７４、＋Ｃ面７５と－Ｃ面７６、＋Ｄ面７７と－Ｄ面７８は、それぞれ、対向する。
　図６は、正距円筒図法により生成される全天球画像の例を示す図である。
　図６に示すように、正距円筒図法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。即ち、全天球画像９０の横座標と縦座標は、球７０が地球儀である場合の経度と緯度に相当する。
　具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に－Ｃ面７６の画像９６、－Ｄ面７８の画像９８、－Ａ面７２の画像９２、－Ｂ面７４の画像９４が配置された画像である。
　図７は、図６の全天球画像９０を用いて生成されるユーザの視野範囲の画像の例を示す図である。
　図７の例では、ユーザの視線ベクトル１１０が、原点Ｏから＋Ａ面７１、＋Ｂ面７３、－Ｃ面７６、および－Ｄ面７８の交点に向かうベクトルである。
　この場合、ユーザの視野範囲１１１の画像は、＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、－Ｃ面７６の画像９６、および－Ｄ面７８の画像９８を用いて生成することができる。即ち、ユーザの視線ベクトル１１０に対応する面は、視線ベクトル１１０のＡ軸成分とＡ軸座標の正負が同一である＋Ａ面７１、Ｂ軸成分とＢ軸座標の正負が同一である＋Ｂ面７３、Ｃ軸成分とＣ軸座標の正負が同一である－Ｃ面７６、およびＤ軸成分とＤ軸座標の正負が同一である－Ｄ面７８である。
　図８は、図６の全天球画像９０の画素分布を示す図である。
　なお、図８において、点は、画素の中心を表す。
　図８のＡに示すように、全天球画像９０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。また、図８のＢに示すように、全天球画像９０が球７０の表面にマッピングされると、マッピングされた全天球画像９０の画像９１乃至９８の形状は、三角形に近い形状になる。即ち、画像９１，９３，９５、および９７の上部は、球７０の上の極に収縮し、画像９２，９４，９６、および９８の下部は、球７０の下の極に収縮する。従って、極の近辺では、非常に画素密度が高くなる。
　一般的に画素密度が高い場合、解像度が高くなり、高周波成分まで被写体を再現することができる。また、符号化時に多くのビットが割り当てられ、画質が向上する。しかしながら、人間は、通常、水平方向を向いているため、水平方向に注目物体が存在することが多い。従って、全天球画像９０において上下の極近辺の被写体は重要ではない場合が多い。
　全天球画像の生成方法としては、特に動画像に対して正距円筒図法が広く用いられている。正距円筒図法が広く用いられている理由の１つは、球７０の緯度や経度が、全天球画像９０の長方形のｘｙ座標にそのまま対応するため座標変換が容易である点である。もう１つの理由は、全天球画像９０の形状が長方形であり、その長方形の内部に不連続点がないため、矩形画像を処理対象とする一般的な符号化方式に適している点である。
　しかしながら、上述したように、正距円筒図法により生成される全天球画像９０では、球７０の上下の極近辺にマッピングされる重要ではない被写体の画像の解像度が高くなり、その画像の符号化時に多くのビットが割り当てられる。
　これに対して、キューブマッピングにより生成される全天球画像３０は、球６０にマッピングされたとき、画素の密度が略均一である。また、ユーザの視線ベクトルに対応する面の数が、正距円筒図法の場合に比べて少ない。さらに、全天球画像３０が分割された画像３１乃至３６は正方形であり、矩形画像を処理対象とする一般的な符号化方式に適している。
　しかしながら、全天球画像３０の形状は十字形状であり、視線ベクトルの計算が正距円筒図法に比べて複雑である。また、全天球画像９０を全天球画像３０に変換して符号化する場合、画素ずれによる変換歪みが発生し、全天球画像９０をそのまま符号化する場合に比べて画質が劣化する。
　そこで、本技術は、正距円筒図法に準じて全天球画像を生成する場合に、球にマッピングされた全天球画像の画素の密度を略均一にする。
　また、上述したように、ユーザの視野範囲の画像は、全天球画像３０（９０）のうちの、ユーザの視線ベクトルに対応する面の画像のみを用いて生成される。従って、全天球画像３０（９０）を面ごとに符号化することにより、ユーザの視線ベクトルに対応する面の画像の符号化ストリームのみを復号可能にし、その結果復号負荷を軽減することが考案されている。
　しかしながら、MPEG（Moving Picture Experts Group）やAVC（Advanced Video Coding）/H.264などの一般的な符号化方式では、時間方向の相関性を利用して符号化が行われるので、ランダムアクセス可能位置以外で復号対象の符号化ストリームの切り替えを行うことはできない。従って、ユーザの視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する面の画像を用いてユーザの視野範囲の画像を即座に表示させることはできない。
　そこで、本技術は、ユーザの視線ベクトルが急激に変化した場合であっても、変化後の視線ベクトルに対応する面の画像を用いてユーザの視野範囲の画像を即座に表示することを可能にする。
　＜第１実施の形態＞
　（画像表示システムの第１実施の形態の構成例）
　図９は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
　図９の画像表示システム１３０は、マルチカメラ１３１、コンテンツサーバ１３２、ホームサーバ１３３、変換装置１３４、およびヘッドマウントディスプレイ１３５により構成される。画像表示システム１３０は、マルチカメラ１３１により撮影された撮影画像から全天球画像３０を生成し、全天球画像３０のうちのユーザの視野範囲の画像を表示する。
　具体的には、画像表示システム１３０のマルチカメラ１３１は、複数のカメラにより構成される。各カメラは、撮影を行い、全方向の撮影画像をフレーム単位で生成する。マルチカメラ１３１は、全方向の撮影画像をコンテンツサーバ１３２に供給する。
　コンテンツサーバ１３２は、キューブマッピングを用いて、マルチカメラ１３１から供給される撮影画像から、全天球画像３０を生成する。コンテンツサーバ１３２は、全天球画像３０を低解像度化する。また、コンテンツサーバ１３２は、全天球画像３０を６つの面１１乃至１６の画像に分割する。これにより、面１１乃至１６それぞれの低解像度化されていない高解像度画像と、全天球画像３０全体が低解像度化された低解像度画像とが生成される。
　コンテンツサーバ１３２は、面１１乃至１６それぞれの高解像度画像を、それぞれ、AVCやHEVC(High Efficiency Video Coding)/H.265等に準じた符号化方式で圧縮符号化し、６本の高解像度符号化ストリーム（第１の符号化ストリーム）を生成する。また、コンテンツサーバ１３２は、低解像度画像をAVCやHEVC等に準じた符号化方式で圧縮符号化し、１本の低解像度符号化ストリーム（第２の符号化ストリーム）を生成する。
　コンテンツサーバ１３２は、生成された６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを記録する。また、コンテンツサーバ１３２は、記録している６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを、図示せぬネットワークを介してホームサーバ１３３に伝送する。
　ホームサーバ１３３は、コンテンツサーバ１３２から伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。また、ホームサーバ１３３は、カメラ１３３Ａを内蔵し、ヘッドマウントディスプレイ１３５に付されたマーカ１３５Ａを撮影する。そして、ホームサーバ１３３は、マーカ１３５Ａの撮影画像に基づいて、ユーザの位置を検出する。さらに、ホームサーバ１３３は、ヘッドマウントディスプレイ１３５のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取る。
　ホームサーバ１３３は、ジャイロセンサ１３５Ｂの検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。
　ホームサーバ１３３は、面１１乃至１６のうちの、ユーザの視線ベクトルに対応する３つの面を決定する。そして、ホームサーバ１３３（画像処理装置、端末）は、６本の高解像度符号化ストリームのうちの、ユーザの視線ベクトルに対応する３つの面の高解像度符号化ストリームを選択して復号し、３つの面の高解像度画像を生成する。
　また、ホームサーバ１３３は、１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。ホームサーバ１３３は、生成された３つの面の高解像度画像と低解像度画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ１３３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置１３４に伝送する。
　変換装置１３４は、ホームサーバ１３３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１３５における座標に変換する。変換装置１３４は、座標変換後の表示画像をヘッドマウントディスプレイ１３５に供給する。
　ヘッドマウントディスプレイ１３５は、ユーザの頭に装着される。ヘッドマウントディスプレイ１３５は、変換装置１３４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１３５に内蔵されるジャイロセンサ１３５Ｂは、ヘッドマウントディスプレイ１３５の傾きを検出し、その検出結果を、変換装置１３４を介してホームサーバ１３３に伝送する。
　（コンテンツサーバの構成例）
　図１０は、図９のコンテンツサーバ１３２の構成例を示すブロック図である。
　図１０のコンテンツサーバ１３２は、スティッチング処理部１５１、マッピング処理部１５２、低解像度化部１５３、エンコーダ１５４、分割部１５５、エンコーダ１５６－１乃至１５６－６、ストレージ１５７、および伝送部１５８により構成される。
　スティッチング処理部１５１は、図９のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。
　マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、低解像度化部１５３と分割部１５５に供給する。なお、スティッチング処理部１５１とマッピング処理部１５２は、一体化されていてもよい。
　低解像度化部１５３（変換部）は、マッピング処理部１５２から供給される全天球画像３０の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度画像を生成する。低解像度化部１５３は、低解像度画像をエンコーダ１５４に供給する。
　エンコーダ１５４（第２の符号化部）は、低解像度化部１５３から供給される低解像度画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給し、記録させる。
　分割部１５５は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５５は、画像３１を＋ｘ面１１の高解像度画像としてエンコーダ１５６－１に供給し、画像３２を－ｘ面１２の高解像度画像としてエンコーダ１５６－２に供給する。また、分割部１５５は、画像３３を＋ｙ面１３の高解像度画像としてエンコーダ１５６－３に供給し、画像３４を－ｙ面１４の高解像度画像としてエンコーダ１５６－４に供給する。また、分割部１５５は、画像３５を＋ｚ面１５の高解像度画像としてエンコーダ１５６－５に供給し、画像３６を－ｚ面１６の高解像度画像としてエンコーダ１５６－６に供給する。
　エンコーダ１５６－１乃至１５６－６（第１の符号化部）は、それぞれ、面１１乃至面１６の対向する面どうしのペアのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように、分割部１５５から供給される高解像度画像を符号化する。エンコーダ１５６－１乃至１５６－６は、その結果生成される面１１乃至１６の高解像度符号化ストリームをストレージ１５７に供給し、記録させる。
　ストレージ１５７（記憶部）は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６－１乃至１５６－６から供給される面１１乃至１６の６本の高解像度符号化ストリームとを記録する。
　伝送部１５８（配信部）は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを読み出し、図示せぬネットワークを介して図９のホームサーバ１３３に伝送（配信）する。
　（エンコーダの構成例）
　図１１は、図１０のエンコーダ１５４の構成例を示すブロック図である。
　図１１のエンコーダ１５４は、画面並べ替えバッファ１９１、演算部１９２、直交変換部１９３、量子化部１９４、可逆符号化部１９５、蓄積バッファ１９６、生成部１９７、逆量子化部１９８、逆直交変換部１９９、および加算部２００を有する。また、エンコーダ１５４は、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、動き予測・補償部２０５、予測画像選択部２０６、およびレート制御部２０７を有する。エンコーダ１５４は、HEVC方式にしたがって、低解像度画像をＣＵ（Coding Unit）単位で符号化する。
　具体的には、エンコーダ１５４の画面並べ替えバッファ１９１は、図１０の低解像度化部１５３から供給される低解像度画像を記憶する。画面並べ替えバッファ１９１は、記憶した表示の順番のフレーム単位の低解像度画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１９１は、並べ替え後の低解像度画像を、演算部１９２、イントラ予測部２０４、および動き予測・補償部２０５に出力する。
　演算部１９２は、画面並べ替えバッファ１９１から供給される低解像度画像から、予測画像選択部２０６から供給される予測画像を減算することにより符号化を行う。演算部１９２は、その結果得られる画像を、残差情報として直交変換部１９３に出力する。なお、予測画像選択部２０６から予測画像が供給されない場合、演算部１９２は、画面並べ替えバッファ１９１から読み出された低解像度画像をそのまま残差情報として直交変換部１９３に出力する。
　直交変換部１９３は、演算部１９２からの残差情報をＴＵ（transform unit）単位で直交変換する。直交変換部１９３は、直交変換の結果得られる直交変換係数を量子化部１９４に供給する。
　量子化部１９４は、直交変換部１９３から供給される直交変換係数に対して量子化を行う。量子化部１９４は、量子化された直交変換係数を可逆符号化部１９５に供給する。
　可逆符号化部１９５は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部２０４から取得する。また、可逆符号化部１９５は、最適インター予測モードを示すインター予測モード情報、動きベクトル、参照画像を特定する情報などを動き予測・補償部２０５から取得する。また、可逆符号化部１９５は、フィルタ２０１からオフセットフィルタに関するオフセットフィルタ情報を取得する。
　可逆符号化部１９５は、量子化部１９４から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context－Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context－Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
　また、可逆符号化部１９５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報を、符号化に関する符号化情報として可逆符号化する。可逆符号化部１９５は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ１９６に供給し、蓄積させる。なお、可逆符号化された符号化情報は、スライスヘッダ等のヘッダ部として符号化データに付加されるようにしてもよい。
　蓄積バッファ１９６は、可逆符号化部１９５から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１９６は、記憶している符号化データを生成部１９７に供給する。
　生成部１９７は、SPS（Sequence Parameter Set）、PPS（Picture Parameter Set）などのパラメーターセットと蓄積バッファ１９６から供給される符号化データから低解像度符号化ストリームを生成し、図１０のストレージ１５７に供給する。
　また、量子化部１９４より出力された、量子化された直交変換係数は、逆量子化部１９８にも入力される。逆量子化部１９８は、量子化部１９４により量子化された直交変換係数に対して、量子化部１９４における量子化方法に対応する方法で逆量子化を行う。逆量子化部１９８は、逆量子化の結果得られる直交変換係数を逆直交変換部１９９に供給する。
　逆直交変換部１９９は、ＴＵ単位で、逆量子化部１９８から供給される直交変換係数に対して、直交変換部１９３における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部１９９は、その結果得られる残差情報を加算部２００に供給する。
　加算部２００は、逆直交変換部１９９から供給される残差情報と、予測画像選択部２０６から供給される予測画像を加算することにより、低解像度画像を局部的に復号する。なお、予測画像選択部２０６から予測画像が供給されない場合、加算部２００は、逆直交変換部１９９から供給される残差情報を局部的に復号された低解像度画像とする。加算部２００は、まだ低解像度画像の画面全体が復号されていない場合、復号された低解像度画像をフレームメモリ２０２に供給し、画面全体が復号された場合、復号された低解像度画像をフィルタ２０１に供給する。
　フィルタ２０１は、加算部２００から供給される低解像度画像に対して、ブロック歪を除去するデブロックフィルタ処理を行う。フィルタ２０１は、デブロックフィルタ処理後の低解像度画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を行う。
　具体的には、フィルタ２０１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。フィルタ２０１は、求められたオフセットを用いて、デブロックフィルタ処理後の低解像度画像に対して、決定された種類の適応オフセットフィルタ処理を行う。
　フィルタ２０１は、適応オフセットフィルタ処理後の低解像度画像をフレームメモリ２０２に供給する。また、フィルタ２０１は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部１９５に供給する。
　フレームメモリ２０２は、フィルタ２０１から供給される低解像度画像と、加算部２００から供給される低解像度画像を蓄積する。フレームメモリ２０２に蓄積されたフィルタ処理が行われていない低解像度画像のうちのＰＵ（Prediction Unit）に隣接する画素は、周辺画素としてスイッチ２０３を介してイントラ予測部２０４に供給される。一方、フレームメモリ２０２に蓄積されたフィルタ処理が行われた低解像度画像は、参照画像としてスイッチ２０３を介して動き予測・補償部２０５に出力される。
　イントラ予測部２０４は、ＰＵ単位で、フレームメモリ２０２からスイッチ２０３を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
　また、イントラ予測部２０４は、画面並べ替えバッファ１９１から読み出された低解像度画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２０４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
　イントラ予測部２０４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２０６に供給する。イントラ予測部２０４は、予測画像選択部２０６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１９５に供給する。
　なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。
　動き予測・補償部２０５は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２０５は、画面並べ替えバッファ１９１から供給される低解像度画像と参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２０５は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、ＰＵのサイズ等を表すモードである。
　また、動き予測・補償部２０５は、低解像度画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２０５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２０６に供給する。
　動き予測・補償部２０５は、予測画像選択部２０６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１９５に出力する。
　予測画像選択部２０６は、イントラ予測部２０４および動き予測・補償部２０５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２０６は、最適予測モードの予測画像を、演算部１９２および加算部２００に供給する。また、予測画像選択部２０６は、最適予測モードの予測画像の選択をイントラ予測部２０４または動き予測・補償部２０５に通知する。
　レート制御部２０７は、蓄積バッファ１９６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１９４の量子化動作のレートを制御する。
　なお、図示は省略するが、エンコーダ１５６－１乃至１５６－６も、エンコーダ１５４と同様に構成される。
　（コンテンツサーバの処理の説明）
　図１２は、図１０のコンテンツサーバ１３２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。
　図１２のステップＳ１１において、スティッチング処理部１５１は、図９のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。
　ステップＳ１２において、マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、低解像度化部１５３と分割部１５５に供給する。
　ステップＳ１３において、低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像３０を低解像度化し、低解像度画像を生成する。低解像度化部１５３は、低解像度画像をエンコーダ１５４に供給する。
　ステップＳ１４において、エンコーダ１５４は、低解像度化部１５３から供給される低解像度画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給する。
　ステップＳ１５において、分割部１５５は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５５は、画像３１乃至３６を、面１１乃至１６の高解像度画像として、それぞれエンコーダ１５６－１乃至１５６－６に供給する。
　ステップＳ１６において、エンコーダ１５６－１乃至１５６－６は、面１１乃至１６の高解像度画像をそれぞれ符号化して符号化ストリームを生成し、ストレージ１５７に供給する。
　ステップＳ１７において、ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６－１乃至１５６－６から供給される６本の高解像度符号化ストリームを記録する。
　ステップＳ１８において、伝送部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを読み出し、図示せぬネットワークを介してホームサーバ１３３に伝送する。そして、処理は終了する。
　（ホームサーバの構成例）
　図１３は、図９のホームサーバ１３３の構成例を示すブロック図である。
　図１３のホームサーバ１３３は、カメラ１３３Ａ、受け取り部２２１、ストレージ２２２、デコーダ２２３、スイッチ２２４－１乃至２２４－３、デコーダ２２５－１乃至２２５－３、マッピング処理部２２６、描画部２２７、受け取り部２２８、および視線検出部２２９により構成される。
　ホームサーバ１３３の受け取り部２２１は、図１０の伝送部１５８から図示せぬネットワークを介して伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。受け取り部２２１は、受け取られた６本の高解像度符号化ストリームと１本の低解像度符号化ストリームをストレージ２２２に供給し、記録させる。
　ストレージ２２２は、受け取り部２２１から供給される６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを記録する。ストレージ２２２は、１本の低解像度符号化ストリームをデコーダ２２３に供給する。
　また、ストレージ２２２は、６本の高解像度符号化ストリームのうちの、対向する＋ｘ面１１と－ｘ面１２のペアの２本の符号化ストリームを読み出し、スイッチ２２４－１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と－ｙ面１４のペアの２本の符号化ストリームをスイッチ２２４－２に供給し、対向する＋ｚ面１５と－ｚ面１６のペアの２本の符号化ストリームをスイッチ２２４－３に供給する。
　デコーダ２２３（第２の復号部）は、ストレージ２２２から供給される１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。デコーダ２２３は、低解像度画像をマッピング処理部２２６に供給する。
　スイッチ２２４－１は、視線検出部２２９から供給される＋ｘ面１１と－ｘ面１２のうちのいずれか一方を選択する面選択情報に基づいて、その一方の面の高解像度符号化ストリームを選択し、デコーダ２２５－１に供給する。同様に、スイッチ２２４－２は、面選択情報に基づいて、＋ｙ面１３と－ｙ面１４のうちのいずれか一方の面の高解像度符号化ストリームをデコーダ２２５－２に供給する。また、スイッチ２２４－３は、面選択情報に基づいて、＋ｚ面１５と－ｚ面１６のうちのいずれか一方の面の高解像度符号化ストリームをデコーダ２２５－３に供給する。
　デコーダ２２５－１（第１の復号部）は、スイッチ２２４－１から供給される高解像度符号化ストリームを復号して、＋ｘ面１１または－ｘ面１２の高解像度画像を生成し、マッピング処理部２２６に供給する。また、デコーダ２２５－２（第１の復号部）は、スイッチ２２４－２から供給される高解像度符号化ストリームを復号して、＋ｙ面１３または－ｙ面１４の高解像度画像を生成し、マッピング処理部２２６に供給する。さらに、デコーダ２２５－３（第１の復号部）は、スイッチ２２４－３から供給される高解像度符号化ストリームを復号して、＋ｚ面１５または－ｚ面１６の高解像度画像を生成し、マッピング処理部２２６に供給する。
　マッピング処理部２２６は、デコーダ２２３から供給される低解像度画像を立方体１０の面１１乃至１６のそれぞれにテクスチャとしてマッピングする。その後、マッピング処理部２２６は、低解像度画像がマッピングされた立方体１０に、デコーダ２２５－１乃至２２５－３から供給される３つの面の画像を重畳する。マッピング処理部２２６は、その結果得られる立方体画像を描画部２２７に供給する。
　描画部２２７は、マッピング処理部２２６から供給される立方体画像を、視線検出部２２９から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を生成する。描画部２２７は、生成された画像を表示画像として、HDMIケーブルを介して図９の変換装置１３４に伝送する。
　受け取り部２２８は、図９のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取り、視線検出部２２９に供給する。
　視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。視線検出部２２９（選択部）は、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。
　具体的には、視線検出部２２９は、視線ベクトルのｘ成分とｘ軸座標の正負が同一である＋ｘ面１１または－ｘ面１２、ｙ成分とｙ軸座標の正負が同一である＋ｙ面１３または－ｙ面１４、およびｚ成分とｚ軸座標の正負が同一である＋ｚ面１５または－ｚ面１６を、ユーザの視線ベクトルに対応する３つの面に決定する。
　また、視線検出部２２９は、カメラ１３３Ａからマーカ１３５Ａの撮影画像を取得し、その撮影画像に基づいてユーザの位置を検出する。視線検出部２２９は、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。
　視線検出部２２９は、ユーザの視野範囲を描画部２２７に供給する。また、視線検出部２２９は、面１１乃至１６のうちの対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２９は、＋ｘ面１１または－ｘ面１２を選択する面選択情報をスイッチ２２４－１に供給し、＋ｙ面１３または－ｙ面１４を選択する面選択情報をスイッチ２２４－２に供給し、＋ｚ面１５または－ｚ面１６を選択する面選択情報をスイッチ２２４－３に供給する。
　（デコーダの構成例）
　図１４は、図１３のデコーダ２２３の構成例を示すブロック図である。
　図１４のデコーダ２２３は、蓄積バッファ２４１、可逆復号部２４２、逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、および画面並べ替えバッファ２４７を有する。また、デコーダ２２３は、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、動き補償部２５１、およびスイッチ２５２を有する。
　デコーダ２２３の蓄積バッファ２４１は、図１３のストレージ２２２から低解像度符号化ストリームを受け取り、符号化データを蓄積する。低解像度符号化ストリームに含まれるパラメーターセットは、必要に応じて、デコーダ２２３の各部に供給される。蓄積バッファ２４１は、蓄積されている符号化データを可逆復号部２４２に供給する。
　可逆復号部２４２は、蓄積バッファ２４１からの符号化データに対して、図１０の可逆符号化部１９５の可逆符号化に対応する、可変長復号や、算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部２４２は、量子化された直交変換係数を逆量子化部２４３に供給する。また、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部２５０に供給する。可逆復号部２４２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部２５１に供給する。
　さらに、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ２５２に供給する。
　逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、および動き補償部２５１は、図１０の逆量子化部１９８、逆直交変換部１９９、加算部２００、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、および動き予測・補償部２０５とそれぞれ同様の処理を行い、これにより、低解像度画像が復号される。
　具体的には、逆量子化部２４３は、可逆復号部２４２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部２４４に供給する。
　逆直交変換部２４４は、逆量子化部２４３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部２４４は、逆直交変換の結果得られる残差情報を加算部２４５に供給する。
　加算部２４５は、逆直交変換部２４４から供給される残差情報と、スイッチ２５２から供給される予測画像を加算することにより、低解像度画像を局部的に復号する。なお、スイッチ２５２から予測画像が供給されない場合、加算部２４５は、逆直交変換部２４４から供給される残差情報を局部的に復号された低解像度画像とする。加算部２４５は、まだ低解像度画像の画面全体が復号されていない場合、復号された低解像度画像をフレームメモリ２４８に供給し、画面全体が復号された場合、復号された低解像度画像をフィルタ２４６に供給する。
　フィルタ２４６は、加算部２４５から供給される低解像度画像に対してデブロックフィルタ処理を行う。フィルタ２４６は、LCUごとに、可逆復号部２４２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の低解像度画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ２４６は、適応オフセットフィルタ処理後の低解像度画像をフレームメモリ２４８および画面並べ替えバッファ２４７に供給する。
　画面並べ替えバッファ２４７は、フィルタ２４６から供給される低解像度画像をフレーム単位で記憶する。画面並べ替えバッファ２４７は、記憶した符号化のための順番のフレーム単位の低解像度画像を、元の表示の順番に並び替え、図１３のマッピング処理部２２６に供給する。
　フレームメモリ２４８は、フィルタ２４６から供給される低解像度画像と加算部２４５から供給される低解像度画像を蓄積する。フレームメモリ２４８に蓄積されたフィルタ処理が行われていない低解像度画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ２４９を介してイントラ予測部２５０に供給される。一方、フレームメモリ２４８に蓄積されたフィルタ処理が行われた低解像度画像は、参照画像として、スイッチ２４９を介して動き補償部２５１に供給される。
　イントラ予測部２５０は、ＰＵ単位で、フレームメモリ２４８からスイッチ２４９を介して読み出された周辺画素を用いて、可逆復号部２４２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２５０は、その結果生成される予測画像をスイッチ２５２に供給する。
　動き補償部２５１は、フレームメモリ２４８からスイッチ２４９を介して、可逆復号部２４２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部２５１は、参照画像と可逆復号部２４２から供給される動きベクトルとを用いて、ＰＵ単位で、可逆復号部２４２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部２５１は、その結果生成される予測画像をスイッチ２５２に供給する。
　スイッチ２５２は、可逆復号部２４２からイントラ予測モード情報が供給された場合、イントラ予測部２５０から供給される予測画像を加算部２４５に供給する。一方、可逆復号部２４２からインター予測モード情報が供給された場合、スイッチ２５２は、動き補償部２５１から供給される予測画像を加算部２４５に供給する。
　（デコーダの動作タイミングの例）
　図１５は、図１３のデコーダ２２３およびデコーダ２２５－１乃至２２５－３の動作タイミングの例を示すタイミングチャートである。
　図１５において、横軸は時間を表す。また、図１５において、太い矢印は、デコーダ２２３およびデコーダ２２５－１乃至２２５－３の復号対象であることを表している。
　スイッチ２２４－１乃至２２４－３は、視線検出部２２９から供給される面選択情報が変更された場合、入力される２本の高解像度符号化ストリームのランダムアクセス可能位置で、選択する高解像度符号化ストリームを変更する。従って、図１５に示すように、デコーダ２２５－１乃至２２５－３では、ランダムアクセス可能位置で、復号対象の高解像度符号化ストリームが切り替えられる。
　また、デコーダ２２３には、常に低解像度符号化ストリームが入力され、デコーダ２２３は、常に低解像度符号化ストリームを復号対象とする。
　以上のように、復号対象の高解像度符号化ストリームの切り替えは、ランダムアクセス可能位置でのみ行うことができる。従って、急激に視線ベクトルが変化した場合、次のランダムアクセス可能位置までの間、復号対象の高解像度符号化ストリームを切り換えることができず、変更後の視線ベクトルに対応する３つの面の高解像度画像を生成することができない。しかしながら、低解像度符号化ストリームは常に復号されているため、この間、変更後の視線ベクトルに対応する面の低解像度画像を用いて表示画像を生成することができる。
　また、スイッチ２２４－１乃至２２４－３に入力される２本の高解像度符号化ストリームのランダムアクセス可能位置は同期し、GOP構造はClosed GOP構造である。従って、デコーダ２２５－１乃至２２５－３は、切り替え後の復号対象を切り替え時の位置から復号すればよい。
　これに対して、２本の符号化ストリームのランダムアクセス可能位置が異なっているか、またはGOP構造がClosed GOP構造ではない場合、切り替え時より前の位置から切り替え後の復号対象を復号する必要がある。従って、その間、切り替え前の復号対象と切り替え後の復号対象の２本の符号化ストリームを同時に復号する必要があり、高解像度符号化ストリームを復号するデコーダは、高解像度符号化ストリームの本数分必要になる。
　なお、エンコーダ１５６－１乃至１５６－６が、各ペアのランダムアクセス可能位置が異なるように符号化を行う場合、デコーダ２２５－１乃至２２５－３の間で、復号対象の切り替えタイミングをずらすことができる。これにより、復号処理の負荷を平滑化することができる。
　（立方体画像の例）
　図１６は、図１３のマッピング処理部２２６により生成される立方体画像を説明する図である。
　なお、図１６において、正方形は、立方体画像のLCUを表す。また、図１６のＡおよび図１６のＢは、立方体画像を立方体１０の内部から見た図である。
　図１６のＡの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、－ｙ面１４、および＋ｚ面１５である。従って、図１６のＡに示すように、マッピング処理部２２６は、低解像度画像２６０がマッピングされた立方体１０の＋ｘ面１１、－ｙ面１４、および＋ｚ面１５に、画像３１、画像３４、および画像３５を重畳してマッピングすることにより、立方体画像２６１を生成する。
　なお、画像３１,３４,および３５並びに低解像度画像２６０は、同一のサイズの面にマッピングされる。従って、低解像度画像２６０のLCUのサイズは、画像３１,３４,および３５のLCUのサイズに比べて大きくなっている。
　図１６のＢの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、－ｙ面１４、および－ｚ面１６である。従って、図１６のＢに示すように、マッピング処理部２２６は、低解像度画像２６０がマッピングされた立方体１０の＋ｘ面１１、－ｙ面１４、および－ｚ面１６に、画像３１、画像３４、および画像３６を重畳してマッピングすることにより、立方体画像２６２を生成する。
　なお、画像３１,３４,および３６並びに低解像度画像２６０、同一のサイズの面にマッピングされる。従って、低解像度画像２６０のLCUのサイズは、画像３１,３４,および３６のLCUのサイズに比べて大きくなっている。
　以上のように、立方体１０の対向する面どうしのペアのうちの一方の面には、高解像度画像がマッピングされ、他方の面には、低解像度画像がマッピングされる。
　また、ユーザの視線ベクトルが変化し、ユーザの視線ベクトルに対応する面が変更されると、高解像度画像がマッピングされる少なくとも１つの面が、対向する面どうしのペアのうちの一方から他方に変更される。例えば、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、－ｙ面１４、および＋ｚ面１５から、＋ｘ面１１、－ｙ面１４、および－ｚ面１６に変更される場合、立方体画像２６１は立方体画像２６２に変更される。
　このとき、立方体画像２６１および２６２は、面１１乃至面１６の全てにマッピングが行われた画像であるので、変更後の視線ベクトルに対応する立方体画像２６２が生成されるまでの間、描画部２２７は、立方体画像２６２を用いてユーザの視野範囲の表示画像を即座に生成することができる。
　（ユーザの視野範囲の例）
　図１７は、ユーザの視野範囲の例を示す図である。
　なお、図１７の例では、マッピング処理部２２６により立方体画像２６２が生成されている。
　図１７に示すように、ユーザの位置に対応する立方体１０の内部の位置等によっては、ユーザの視野範囲２７１の画像の生成に、ユーザの視線ベクトルに対応する＋ｘ面１１，－ｙ面１４、および－ｚ面１６以外の＋ｚ面１５の画像を用いる必要がある場合がある。
　このような場合であっても、立方体画像２６２は、面１１乃至面１６の全てにマッピングが行われた画像であるため、描画部２２７は、＋ｘ面１１の画像３１、－ｙ面１４の画像３４、および－ｚ面１６の画像３６と、＋ｚ面１５の低解像度画像２６０とを用いて、視野範囲２７１の画像を生成することができる。
　これに対して、低解像度符号化ストリームが生成されない場合、立方体画像は、ユーザの視線ベクトルに対応する３つの面に対してのみマッピングが行われた画像である。従って、ユーザの視野範囲２７１の画像を生成することはできない。
　（ホームサーバの処理の説明）
　図１８は、図１３のホームサーバ１３３の復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位で行われる。
　図１８のステップＳ３１において、ホームサーバ１３３の受け取り部２２１は、図１０の伝送部１５８から図示せぬネットワークを介して伝送されてくる１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを受け取る。受け取り部２２１は、受け取られた１本の低解像度符号化ストリームと６本の高解像度符号化ストリームをストレージ２２２に供給する。
　ステップＳ３２において、ストレージ２２２は、受け取り部２２１から供給される１本の低解像度符号化ストリームと６本の高解像度符号化ストリームとを記録する。
　ステップＳ３３において、ストレージ２２２は、６本の高解像度符号化ストリームのうちの、対向する＋ｘ面１１と－ｘ面１２のペアの２本の符号化ストリームを読み出し、スイッチ２２４－１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と－ｙ面１４のペアの２本の符号化ストリームをスイッチ２２４－２に供給し、対向する＋ｚ面１５と－ｚ面１６のペアの２本の符号化ストリームをスイッチ２２４－３に供給する。また、ストレージ２２２は、１本の低解像度符号化ストリームを読み出し、デコーダ２２３に供給する。
　ステップＳ３４において、受け取り部２２８は、ヘッドマウントディスプレイ１３５から変換装置１３４を介して図９のジャイロセンサ１３５Ｂの検出結果を受け取り、視線検出部２２９に供給する。
　ステップＳ３５において、視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。
　ステップＳ３６において、カメラ１３３Ａは、マーカ１３５Ａの画像を撮影し、視線検出部２２９に供給する。ステップＳ３７において、視線検出部２２９は、カメラ１３３Ａから供給されるマーカ１３５Ａの撮影画像に基づいてユーザの位置を検出する。
　ステップＳ３８において、視線検出部２２９は、ユーザの位置と視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面とユーザの視野範囲とを決定する。視線検出部２２９は、ユーザの視野範囲を描画部２２７に供給する。
　ステップＳ３９において、視線検出部２２９は、面１１乃至１６のうちの対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２９は、＋ｘ面１１または－ｘ面１２を選択する面選択情報をスイッチ２２４－１に供給し、＋ｙ面１３または－ｙ面１４を選択する面選択情報をスイッチ２２４－２に供給し、＋ｚ面１５または－ｚ面１６を選択する面選択情報をスイッチ２２４－３に供給する。
　ステップＳ４０において、スイッチ２２４－１乃至２２４－３は、視線検出部２２９から供給される面選択情報に基づいて高解像度符号化ストリームを選択する面選択処理を行う。この面選択処理の詳細は、後述する図１９を参照して説明する。
　ステップＳ４１において、デコーダ２２５－１は、スイッチ２２４－１から供給される高解像度符号化ストリームを復号して、＋ｘ面１１または－ｘ面１２の高解像度画像を生成し、マッピング処理部２２６に供給する。また、デコーダ２２５－２は、スイッチ２２４－２から供給される高解像度符号化ストリームを復号して、＋ｙ面１３または－ｙ面１４の高解像度画像を生成し、マッピング処理部２２６に供給する。さらに、デコーダ２２５－３は、スイッチ２２４－３から供給される高解像度符号化ストリームを復号して、＋ｚ面１５または－ｚ面１６の高解像度画像を生成し、マッピング処理部２２６に供給する。
　ステップＳ４２において、デコーダ２２３は、ストレージ２２２から供給される１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。デコーダ２２３は、低解像度画像をマッピング処理部２２６に供給する。
　ステップＳ４３において、マッピング処理部２２６は、デコーダ２２３から供給される低解像度画像を立方体１０にマッピングし、デコーダ２２５－１乃至２２５－３から供給される３つの面の高解像度画像を、その立方体１０に重畳してマッピングする。マッピング処理部２２６は、その結果得られる立方体画像を描画部２２７に供給する。
　ステップＳ４４において、描画部２２７は、マッピング処理部２２６からの立方体画像と、視線検出部２２９からのユーザの視野範囲に基づいて、立方体画像をユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を表示画像として生成する。
　ステップＳ４５において、描画部２２７は、表示画像を、HDMIケーブルを介して図９の変換装置１３４に伝送し、処理を終了する。
　図１９は、図１８のステップＳ４０の面選択処理の詳細を説明するフローチャートである。
　図１９のステップＳ６１において、スイッチ２２４－１は、処理対象のフレームが、＋ｘ面１１と－ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。
　ステップＳ６１で、処理対象のフレームが、＋ｘ面１１と－ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ６２に進む。ステップＳ６２において、スイッチ２２４－１は、視線検出部２２９から＋ｘ面１１を選択する面選択情報が供給されたかどうかを判定する。
　ステップＳ６２で＋ｘ面１１を選択する面選択情報が供給されたと判定された場合、処理はステップＳ６３に進む。ステップＳ６３において、スイッチ２２４－１は、ストレージ２２２から供給される＋ｘ面１１および－ｘ面１２の高解像度符号化ストリームのうちの、＋ｘ面１１の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－１に供給する。
　ステップＳ６２で＋ｘ面１１を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から－ｘ面１２を選択する面選択情報が供給された場合、処理はステップＳ６４に進む。ステップＳ６４において、スイッチ２２４－１は、ストレージ２２２から供給される＋ｘ面１１および－ｘ面１２の高解像度符号化ストリームのうちの、－ｘ面１２の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－１に供給する。
　一方、ステップＳ６１で、処理対象のフレームが、＋ｘ面１１と－ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ６５に進む。
　ステップＳ６５において、スイッチ２２４－１は、ストレージ２２２から供給される＋ｘ面１１および－ｘ面１２の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを復号対象として選択する。
　即ち、処理対象のフレームが、＋ｘ面１１と－ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｘ面１１と－ｘ面１２の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４－１は、選択された高解像度符号化ストリームをデコーダ２２５－１に供給する。ステップＳ６３乃至Ｓ６５の処理後、処理はステップＳ６６に進む。
　ステップＳ６６において、スイッチ２２４－２は、処理対象のフレームが、＋ｙ面１３と－ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。
　ステップＳ６６で、処理対象のフレームが、＋ｙ面１３と－ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、スイッチ２２４－２は、視線検出部２２９から＋ｙ面１３を選択する面選択情報が供給されたかどうかを判定する。
　ステップＳ６７で＋ｙ面１３を選択する面選択情報が供給されたと判定された場合、処理はステップＳ６８に進む。ステップＳ６８において、スイッチ２２４－２は、ストレージ２２２から供給される＋ｙ面１３および－ｙ面１４の高解像度符号化ストリームのうちの、＋ｙ面１３の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－２に供給する。
　ステップＳ６７で＋ｙ面１３を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から－ｙ面１４を選択する面選択情報が供給された場合、処理はステップＳ６９に進む。ステップＳ６９において、スイッチ２２４－２は、ストレージ２２２から供給される＋ｙ面１３および－ｙ面１４の高解像度符号化ストリームのうちの、－ｙ面１４の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－２に供給する。
　一方、ステップＳ６６で、処理対象のフレームが、＋ｙ面１３と－ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ７０に進む。
　ステップＳ７０において、スイッチ２２４－２は、ストレージ２２２から供給される＋ｙ面１３および－ｙ面１４の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを復号対象として選択する。
　即ち、処理対象のフレームが、＋ｙ面１３と－ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｙ面１３と－ｙ面１４の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４－２は、選択された高解像度符号化ストリームをデコーダ２２５－２に供給する。ステップＳ６８乃至Ｓ７０の処理後、処理はステップＳ７１に進む。
　ステップＳ７１において、スイッチ２２４－３は、処理対象のフレームが、＋ｚ面１５と－ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。
　ステップＳ７１で、処理対象のフレームが、＋ｚ面１５と－ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ７２に進む。ステップＳ７２において、スイッチ２２４－３は、視線検出部２２９から＋ｚ面１５を選択する面選択情報が供給されたかどうかを判定する。
　ステップＳ７２で＋ｚ面１５を選択する面選択情報が供給されたと判定された場合、処理はステップＳ７３に進む。ステップＳ７３において、スイッチ２２４－３は、ストレージ２２２から供給される＋ｚ面１５および－ｚ面１６の高解像度符号化ストリームのうちの、＋ｚ面１５の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－３に供給する。
　ステップＳ７２で＋ｚ面１５を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から－ｚ面１６を選択する面選択情報が供給された場合、処理はステップＳ７４に進む。ステップＳ７４において、スイッチ２２４－３は、ストレージ２２２から供給される＋ｚ面１５および－ｚ面１６の高解像度符号化ストリームのうちの、－ｚ面１６の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５－３に供給する。
　一方、ステップＳ７１で、処理対象のフレームが、＋ｚ面１５と－ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ７５に進む。
　ステップＳ７５において、スイッチ２２４－３は、ストレージ２２２から供給される＋ｚ面１５および－ｚ面１６の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを選択する。
　即ち、処理対象のフレームが、＋ｚ面１５と－ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｚ面１５と－ｚ面１６の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４－３は、選択された高解像度符号化ストリームをデコーダ２２５－３に供給する。ステップＳ７３乃至Ｓ７５の処理後、処理は図１８のステップＳステップＳ４１に進む。
　図１９で示したように、復号対象は、面選択情報に基づいて、面１１乃至面１６の対向する面どうしのペアごとに１つずつ独立して選択される。
　以上のように、画像表示システム１３０のコンテンツサーバ１３２は、面１１乃至１６ごとの全天球画像３０の高解像度符号化ストリームと全天球画像３０全体の低解像度符号化ストリームとを生成する。
　従って、視線ベクトルが急激に変化する場合であっても、視線ベクトルに対応する面の高解像度符号化ストリームが復号されるまでの間、低解像度画像を用いて、ユーザの視野範囲の画像を即座に表示させることができる。また、ユーザの視野範囲の画像の生成に、視線ベクトルに対応する３つの面以外の面を用いる必要がある場合であっても、低解像度画像を用いて、ユーザの視野範囲の画像を表示させることができる。
　また、ホームサーバ１３３は、全天球画像３０全体の１本の符号化ストリームを復号して表示画像を生成するホームサーバとの互換性を有する。
　＜第２実施の形態＞
　（第２実施の形態の全天球画像の生成方法の説明）
　図２０は、第２実施の形態の全天球画像の生成方法（以下、新正距円筒図法という）において画像がマッピングされる３Ｄモデルとしての球を示す図である。
　図２０に示すように、新正距円筒図法では、正距円筒図法と同様に、画像が、球２８０の面にマッピングされるが、球２８０の面が、垂直方向に３分割され、中央の面が水平方向に４分割された面積が略等しい６つの面２８１乃至２８６により構成されると考える。図２０の例では、球２８０にマッピングされた画像の正面２９１が、面２８４と面２８５の境界の中央に位置し、背面２９２が、面２８３と面２８６の境界の中央に位置するように、球２８０の中央の面が面２８３乃至２８６に分割される。なお、画像の正面２９１とは、例えば、標準の視線方向（例えば、ヘッドマウントディスプレイ１３５を装着したユーザが自然に前を向いたときの視線方向）で視野の中心に位置する画像である。
　本明細書では、球２８０の中心である原点Ｏを通り、面２８１および面２８２の中心を通る軸をａ軸、面２８３および面２８４の中心を通る軸をｂ軸、面２８５および面２８６の中心を通る軸をｃ軸とする。そして、原点Ｏと面２８１乃至２８６のそれぞれとの距離をｒとしたときのａ＝ｒである面２８１を、適宜、＋ａ面２８１ともいい、ａ＝－ｒである面２８２を、適宜、－ａ面２８２ともいう。同様に、ｂ＝ｒである面２８３、ｂ＝－ｒである面２８４、c＝ｒである面２８５、c＝－ｒである面２８６を、適宜、＋ｂ面２８３、－ｂ面２８４、＋ｃ面２８５、－ｃ面２８６ともいう。
　＋ａ面２８１と－ａ面２８２、＋ｂ面２８３と－ｂ面２８４、＋ｃ面２８５と－ｃ面２８６は、それぞれ、対向する。また、＋ｃ面２８５と－ｂ面２８４の境界の中央に正面２９１が位置し、－ｃ面２８６と＋ｂ面２８３の境界の中央に背面２９２が位置する。
　図２１は、新正距円筒図法により生成される全天球画像を説明する図である。
　図２１の左側に示すように、新正距円筒図法では、まず、全方向の撮影画像が球２８０にマッピングされたときの球２８０の正距円筒図法による画像３０１が、画像３０１の中心が正面２９１になるように生成される。従って、背面２９２は、画像３０１の左右の端の中央に位置する。図２１の例では、画像３０１は、1920(横)×960（縦）画素からなる。
　図２１の中央に示すように、画像３０１を垂直方向に３分割したときの、最も上の画像が＋ａ面２８１の画像３１１（上画像）であり、最も下の画像が－ａ面２８２の画像３１２（下画像）である。また、中央の画像を４分割したときの、最も左側の画像が＋ｂ面２８３の画像３１３、左から２番目の画像が＋ｃ面２８５の画像３１５、左から３番目の画像が－ｂ面２８４の画像３１４、最も右側の画像が－ｃ面２８６の画像３１６である。また、正面２９１は、画像３１５と画像３１４の境界の中央に位置し、背面２９２は、画像３１３の左端および画像３１６の右端の中央に位置する。
　図２１の例では、画像３１１と画像３１２は、1920×240画素からなり、画像３１３乃至３１６（分割中央画像）が、480×480画素からなる。
　次に、図２１の右側に示すように、画像３０１のうちの画像３１１と画像３１２は、水平方向の解像度が1/2になるように低解像度化される。従って、図２１の例では、低解像度化された画像３１１である低解像度上画像３２１と低解像度化された画像３１２である低解像度下画像３２２は、960×240画素からなる。これにより、低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６の画素数は、全て同一の230400（=480×480=960×240）となる。
　以上により、低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６が全天球画像３２０として生成される。
　図２２は、図２１の全天球画像３２０を用いて生成されるユーザの視野範囲の画像の例を示す図である。
　図２２の例では、ユーザの視線ベクトル３３０が、原点Ｏから＋ｂ面２８３、＋ｃ面２８５、－ａ面２８２の交点に向かうベクトルである。
　この場合、ユーザの視野範囲３３１の画像は、＋ｂ面２８３の画像３１３、＋ｃ面２８５の画像３１５、－ａ面２８２の画像３１２を用いて生成することができる。即ち、ユーザの視線ベクトル３３０に対応する面は、視線ベクトル３３０のａ軸成分とａ軸座標の正負が同一である－ａ面２８２、ｂ軸成分とｂ軸座標の正負が同一である＋ｂ面２８３、およびｃ軸成分とｃ軸座標の正負が同一である＋ｃ面２８５である。
　図２３は、図２１の全天球画像３２０の画素分布を示す図である。
　なお、図２３において、点は、画素の中心を表す。
　図２３のＡに示すように、全天球画像３２０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。但し、低解像度上画像３２１と低解像度下画像３２２の水平方向の画素の間隔は、画像３１３乃至３１６の水平方向の画素の間隔の２倍になっている。
　また、図２３のＢに示すように、全天球画像３２０が球２８０の表面にマッピングされると、マッピングされた低解像度上画像３２１および低解像度下画像３２２並びに画像３１３乃至３１６の面積は、それぞれ、面２８１乃至２８６の面積であり、略等しい。また、低解像度上画像３２１および低解像度下画像３２２並びに画像３１３乃至３１６の球２８０上の配置は、キューブマッピングの画像３１乃至３６の球６０上の配置に近い。さらに、各面２８１乃至２８６の画素の密度は略同一である。
　以上のように、新正距円筒図法では、正距円筒図法に比べて、球２８０にマッピングされた全天球画像３２０の画素の等方性が向上する。従って、球２８０の上下の極近辺の復号処理負荷の上昇を抑制することができる。また、全天球画像３２０の総画素数は、正距円筒図法に比べて少ない。さらに、視線ベクトルに対応する面の数は、キューブマッピングの場合と同一の３つになる。
　（第２実施の形態のコンテンツサーバの構成例）
　本開示を適用した画像表示システムの第２実施の形態の構成は、コンテンツサーバの構成、および、ホームサーバにおいて全天球画像がマッピングされる３Ｄモデルが球である点を除いて、図９の画像表示システム１３０の構成と同様である。従って、以下では、コンテンツサーバについてのみ説明する。
　図２４は、本開示を適用した画像表示システムの第２実施の形態のコンテンツサーバの構成例を示すブロック図である。
　図２４に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２４のコンテンツサーバ３４０の構成は、マッピング処理部１５２、分割部１５５の代わりに、マッピング処理部３４１、分割部３４２が設けられる点が、図１０のコンテンツサーバ１３２の構成と異なる。コンテンツサーバ３４０（画像処理装置）は、全方向の撮影画像がマッピングされた球７０の正距円筒図法による画像のうちの、上下の画像を低解像度化して全天球画像を生成する。
　具体的には、マッピング処理部３４１は、新正距円筒図法により、スティッチング処理部１５１から供給される撮影画像から全天球画像３２０を生成する。マッピング処理部３４１は、全天球画像３２０を低解像度化部１５３と分割部３４２に供給する。
　分割部３４２は、マッピング処理部３４１から供給される全天球画像３２０を、６つの面２８１乃至２８６の低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６に分割する。分割部３４２は、低解像度上画像３２１を＋ａ面２８１の高解像度画像としてエンコーダ１５６－１に供給し、低解像度下画像３２２を－ａ面２８２の高解像度画像としてエンコーダ１５６－２に供給する。
　また、分割部３４２は、画像３１３を＋ｂ面２８３の高解像度画像としてエンコーダ１５６－３に供給し、画像３１４を－ｂ面２８４の高解像度画像としてエンコーダ１５６－４に供給する。また、分割部３４２は、画像３１５を＋ｃ面２８５の高解像度画像としてエンコーダ１５６－５に供給し、画像３１６を－ｃ面２８６の高解像度画像としてエンコーダ１５６－６に供給する。
　これにより、球２８０の面２８１乃至２８６の対向する面どうしのペアのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように、面２８１乃至２８６の高解像度符号化ストリームが生成される。
　（マッピング処理部の構成例）
　図２５は、図２４のマッピング処理部３４１の構成例を示すブロック図である。
　図２５のマッピング処理部３４１は、正距円筒画像生成部３６１、画面分割部３６２、および低解像度化部３６３により構成される。
　マッピング処理部３４１の正距円筒画像生成部３６１は、図２４のスティッチング処理部１５１から供給される撮影画像を球２８０にマッピングし、マッピング後の球２８０の正距円筒図法による画像３０１を生成する。正距円筒画像生成部３６１は、画像３０１を画面分割部３６２に供給する。
　画面分割部３６２は、正距円筒画像生成部３６１から供給される画像３０１を垂直方向に３分割して、上から順に画像３１１、中央画像、および画像３１２を生成する。画面分割部３６２は、中央画像をさらに水平方向に４つに分割して画像３１３乃至３１６を生成する。画面分割部３６２は、画像３１１乃至３１６を低解像度化部３６３に供給する。
　低解像度化部３６３（変換部）は、画面分割部３６２から供給される画像３１１と画像３１２をそれぞれ低解像度化し、低解像度上画像３２１および低解像度下画像３２２を生成する。低解像度化部３６３は、生成された低解像度上画像３２１および低解像度下画像３２２、並びに画面分割部３６２から供給される画像３１３乃至３１６を、全天球画像３２０として図２４の低解像度化部１５３と分割部３４２に供給する。
　以上のように、新正距円筒図法では、撮影画像がマッピングされた球２８０の正距円筒図法による画像３０１を用いて全天球画像３２０が生成される。従って、正距円筒図法により生成された全天球画像９０と同様に、全天球画像３２０の座標変換は容易であり、全天球画像３２０は、矩形画像を処理対象とする一般的な符号化方式に適している。
　また、新正距円筒図法では、画像３１１と画像３１２を低解像度化する。従って、全天球画像３２０の画素数は、全天球画像９０に比べて少なくなり、復号処理量が軽減する。また、全天球画像３２０がマッピングされた球２８０の上下の極の近辺の画素密度の上昇を抑制することができる。さらに、球２８０の上下の極の近辺にマッピングされる全天球画像３２０の符号化時に多くのビットが配分されることを防止し、全天球画像３２０全体を同一ビットレートで符号化することができる。その結果、全天球画像３２０の画質が向上する。
　さらに、新正距円筒図法では、視線ベクトルに対応する面の数が、キューブマッピングにより全天球画像が生成される場合と同一の３つになる。従って、正距円筒図法により全天球画像が生成され、視線ベクトルに対応する面の数が４つになる場合に比べて、エンコーダおよびデコーダの数を削減することができる。
　また、新正距円筒図法では、全天球画像３２０を構成する各面２８１乃至２８６の低解像度上画像３２１、画像３１３乃至３１６、および低解像度下画像３２２の画素数が全て同一である。従って、各面２８１乃至２８６の復号処理の負荷が略同一になり、視線ベクトルの変動による復号処理の負荷の変動が抑制される。
　なお、上述した説明では、画像がマッピングされた球２８０の中央の面は、画像の正面２９１と背面２９２が、それぞれ、分割された面２８４と面２８５の境界、面２８３と面２８６の境界の中央に位置するように分割されたが、正面２９１と背面２９２が、分割された面の境界に位置しないように分割されてもよい。
　（球の中央の面の分割方法の他の例）
　図２６は、正面２９１と背面２９２が分割された面の中心に位置するように、中央の面が分割される場合の球２８０の例を示す図である。
　なお、図２６において、図２０と同一のものには同一の符号を付してある。
　図２６の例では、球２８０の面が、垂直方向に、面２８１、中央の面、および面２８２に３分割され、さらに、中央の面が、正面２９１が面３８５の中心に位置し、背面２９２が面３８６の中心に位置するように、４つの面３８３乃至３８６に分割される。
　本明細書では、球２８０の中心である原点Ｏを通り、面３８３および面３８４の中心を通る軸をｂ´軸、面３８５および面３８６の中心を通る軸をｃ´軸とする。そして、原点Ｏと面２８１、面２８２、および面３８３乃至３８６のそれぞれとの距離をｒとしたときのｂ´＝ｒである面３８３、ｂ´＝－ｒである面３８４、c´＝ｒである面３８５、c´＝－ｒである面３８６を、適宜、＋ｂ´面３８３、－ｂ´面３８４、＋ｃ´面３８５、－ｃ´面３８６ともいう。
　図２６の球２８０では、＋ａ面２８１と－ａ面２８２、＋ｂ´面３８３と－ｂ´面３８４、＋ｃ´面３８５と－ｃ´面３８６が、それぞれ、対向する。また、＋ｃ´面３８５の中心に正面２９１が位置し、－ｃ´面２８６の中心に背面２９２が位置する。
　（新正距円筒図法により生成される全天球画像の他の例）
　図２７は、図２６の球２８０に全方向の撮影画像がマッピングされる場合の全天球画像の例を示す図である。
　なお、図２７において、図２１と同一のものには同一の符号を付してある。
　図２７の左側に示すように、新正距円筒図法において、図２６の球２８０に全方向の撮影画像がマッピングされる場合、まず、図２１の場合と同様に画像３０１が生成される。図２７の中央に示すように、この画像３０１を垂直方向に３分割したときの、最も上の画像が＋ａ面２８１の画像３１１であり、最も下の画像が－ａ面２８２の画像３１２である。また、中央の画像を、左右の端から水平方向に全体の1/8の距離だけ離れた位置で分割し、その内側を水平方向に３等分したときの、最も左側の画像が－ｃ´面３８６の右半分の画像３９６－１（第１の分割中央画像）、左から２番目の画像が＋ｂ´面３８３の画像３９３（第３の分割中央画像）、左から３番目の画像が＋ｃ´面３８５の画像３９５（第４の分割中央画像）、左から４番目の画像が－ｂ´面３８４の画像３９４（第５の分割中央画像）、最も右側の画像が－ｃ´面３８６の左半分の画像３９６－２（第２の分割中央画像）である。
　即ち、図２７の画像３０１の中央の画像は、図２１の画像３０１の中央の画像を、水平方向に全体の1/8の距離だけ右方向にずらしたものである。
　以上のように、図２６の球２８０に全方向の撮影画像がマッピングされる場合、画像３０１の中央の画像において、－Ｃ´面３８６の画像３９６は、水平方向に分割され、画像３９６－１および画像３９６－２として配置される。また、正面２９１は、画像３９５の中心に位置し、背面２９２は、画像３９６－１の左端の中央と画像３９６－２の右端の中央に位置する。図２７の例では、画像３９３乃至３９５が、480×480画素からなり、画像３９６－１および３９６－２が、240×480画素からなる。
　次に、図２７の右側に示すように、画像３０１のうちの画像３９１と画像３９２は、水平方向の解像度が1/2になるように低解像度化される。これにより、低解像度上画像３２１、低解像度下画像３２２、画像３９３乃至３９６の画素数は、全て同一の230400（=480×480=960×240）となる。
　以上により、低解像度上画像３２１、低解像度下画像３２２、および画像３９３乃至３９６が全天球画像４００として生成される。従って、全天球画像４００において、正面２９１と背面２９２は、それぞれ、＋Ｃ面３９５、－Ｃ面３９６の中心に位置する。その結果、復号後の全天球画像４００において画像３９３乃至３９６の境界で画質劣化が発生することによる正面２９１の画質劣化を防止し、全天球画像４００の画質劣化を目立たなくすることができる。
　即ち、画像３９３乃至３９６は、それぞれ、独立して符号化される。また、AVCやHEVC等の時間方向の動き補償により情報圧縮を行う圧縮符号化方式では、動画像の被写体が画面上を移動すると、圧縮歪みの出方が、ある程度の形状を保ったまま、フレーム間で伝搬される。画面が分割され、分割画像が独立して符号化される場合、動き補償が境界をまたいで行われないため、境界において、この圧縮歪みは大きくなる傾向がある。その結果、復号された分割画像の動画像では、分割画像の境界において圧縮歪みの出方が変化する筋が発生する。この現象は、AVCのスライス間やHEVCのタイル間において発生することが知られている。
　従って、復号された画像３９３乃至３９６の境界では画質の劣化が発生しやすい。しかしながら、全天球画像４００では、ユーザが見る可能性が高い正面２９１が画像３９３乃至３９６の境界に位置しないため、正面２９１において画質劣化が発生せず、全天球画像４００の画質劣化が目立たない。
　なお、図２１および図２８の画像３０１は、正距円筒図法による画像であるので、図２８のＡおよび図２８のＢに示すように、画像３０１の右端は、画像の左端と連続している。従って、視線ベクトルに対応する画像３０１上の位置が、画像３０１の右端より右に移動する場合、その位置は、画像３０１の左端に移動する。即ち、仮想的には、画像３０１は水平方向に連続している。
　また、第２実施の形態において、高解像度画像のみを符号化してもよい。この場合、全ての面の高解像度画像の符号化ストリームを復号してもよいし、視線ベクトルに対応する面の高解像度画像の符号化ストリームのみを復号してもよい。
　＜第３実施の形態＞
　（画像表示システムの第３実施の形態の構成例）
　図２９は、本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。
　図２９に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２９の画像表示システム３７０の構成は、ホームサーバ１３３、ヘッドマウントディスプレイ１３５の代わりにホームサーバ４７１、ディスプレイ３７２が設けられる点、変換装置１３４が設けられない点、および、コントローラ４７３が設けられる点が、図９の画像表示システム１３０の構成と異なる。
　画像表示システム３７０では、ユーザがコントローラ４７３を操作することによりユーザの位置および視線ベクトルを入力し、それに応じた表示画像がディスプレイ３７２に表示される。
　具体的には、画像表示システム３７０のホームサーバ４７１は、コンテンツサーバ１３２から伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。ホームサーバ４７１は、コントローラ４７３からのユーザの位置と視線ベクトルの指示を受け付ける。
　ホームサーバ４７１は、図９のホームサーバ１３３と同様に、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。そして、ホームサーバ４７１は、６本の高解像度符号化ストリームうちの、ユーザの視線ベクトルに対応する面の３本の高解像度符号化ストリームを選択し、復号する。また、ホームサーバ４７１は、１本の低解像度符号化ストリームを復号する。
　また、ホームサーバ４７１は、ホームサーバ１３３と同様に、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。ホームサーバ４７１は、復号の結果得られる高解像度画像と低解像度画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ４７１は、図示せぬHDMIケーブルを介して表示画像をディスプレイ３７２に伝送する。
　ディスプレイ３７２は、ホームサーバ４７１から供給される表示画像を表示する。
　コントローラ４７３は、操作ボタンなどを有する。ユーザが操作ボタンなどを操作することにより、ユーザの位置と視線ベクトルを入力したとき、コントローラ４７３は、その入力を受け付け、ユーザの位置と視線ベクトルをホームサーバ４７１に指示する。
　なお、コントローラ４７３とディスプレイ３７２は一体化されていてもよい。この場合、コントローラ４７３とディスプレイ３７２は、例えば、携帯電話機やタブレット型端末などの携帯端末、パーソナルコンピュータの一部などにより構成される。また、コントローラ４７３は、ジャイロセンサ、加速度センサ、地磁気センサなどを有し、ユーザの視線ベクトルは、これらのセンサの検出結果に基づいて決定されるようにしてもよい。
　＜高解像度画像と低解像度画像に対応する全天球画像の生成方法の説明＞
　図３０は、本開示を適用した画像表示システムにおける高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。
　第１乃至第３実施の形態では、キューブマッピングにより生成された同一の全天球画像３０（３２０，４００）から高解像度画像と低解像度画像が生成されたが、異なる方法で生成された全天球画像から高解像度画像と低解像度画像が生成されるようにしてもよい。また、高解像度画像と低解像度画像の生成に用いられる全天球画像は、正距円筒図法により生成されるようにしてもよい。
　即ち、図３０に示すように、本開示を適用した画像表示システムにおける高解像度画像と低解像度画像に対応する全天球画像の生成方法の組み合わせとしては、例えば、７つのパターンがある。
　具体的には、第１のパターンは、高解像度画像に対応する全天球画像の生成方法がキューブマッピングであり、低解像度画像に対応する全天球画像の生成方法が正距円筒図法であるパターンである。この場合、低解像度画像に対応する全天球画像の生成方法が正距円筒図法であるので、本開示を適用した画像表示システムは、正距円筒図法を用いて生成された全天球画像を１本の符号化ストリームに符号化する既存の画像表示システムとの互換性を有する。また、高解像度画像に対応する全天球画像の生成方法が、キューブマッピングであるため、立方体画像における高解像度画像の画素密度は略均一になり、表示画像の画質が良い。
　第２のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方ともキューブマッピングである第１および第３実施の形態のパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。
　また、第３のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方とも正距円筒図法であるパターンである。この場合、画像表示システム１３０（３７０）は、本開示を適用した画像表示システムは、正距円筒図法を用いて生成された全天球画像を１本の符号化ストリームに符号化する既存の画像表示システムとの互換性を有する。
　第４のパターンは、高解像度画像に対応する全天球画像の生成方法が正距円筒図法であり、低解像度画像に対応する全天球画像の生成方法がキューブマッピングであるパターンである。
　第５のパターンは、高解像度画像に対応する全天球画像の生成方法がキューブマッピングであり、低解像度画像に対応する全天球画像の生成方法が新正距円筒図法であるパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。
　また、第６のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方とも新正距円筒図法である第２実施の形態のパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。
　第７のパターンは、高解像度画像に対応する全天球画像の生成方法が新正距円筒図法であり、低解像度画像に対応する全天球画像の生成方法がキューブマッピングであるパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。
　なお、第５および第７のパターンにおいて、キューブマッピングの代わりに正距円筒図法が採用されてもよい。
　図３１は、高解像度画像と低解像度画像に対応する全天球画像の生成方法のパターンが第１のパターンである場合に、ホームサーバによりマッピングされる球の画像を示す図である。
　第１のパターンでは、低解像度画像に対応する全天球画像が正距円筒図法により生成された全天球画像９０である。従って、図３１に示すように、まず、球７０に全天球画像９０が低解像度化された低解像度画像５０１がマッピングされる。そして、低解像度画像５０１がマッピングされた球７０に、ユーザの視野方向に対応する画像３１、画像３４、および画像３６が重畳されてマッピングされ、球画像５００が生成される。この球画像５００は、表示画像の生成に用いられる。
　第１のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３０が生成され、低解像度画像用の全天球画像として全天球画像９０が生成される点を除いて、画像表示システム１３０と同様である。
　また、第３のパターンの画像表示システムは、全天球画像３０が全天球画像９０に代わる点、および全天球画像９０が８つの面７１乃至７８の画像９１乃至９８に分割され、エンコーダの数が９つであり、デコーダの数が５つである点を除いて、画像表示システム１３０と同様である。
　第４のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像９０が生成され、低解像度画像用の全天球画像として全天球画像３０が生成される点、および、全天球画像９０が８つの面７１乃至７８の画像９１乃至９８に分割され、エンコーダの数が９つであり、デコーダの数が５つである点を除いて、画像表示システム１３０と同様である。
　第５のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３０が生成され、低解像度画像用の全天球画像３２０（４００）が生成される点を除いて、画像表示システム１３０と同様である。
　また、第７のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３２０（４００）が生成され、低解像度画像用の全天球画像として全天球画像３０が生成される点を除いて、第２実施の形態の画像表示システムと同様である。
　＜第４実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述したコンテンツサーバ１３２（３４０）やホームサーバ１３３（３７１）一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
　入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
　以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、高解像度画像の解像度に対する低解像度画像の解像度の割合は、1/4でなくてもよい。また、高解像度画像の解像度は、低解像度画像の解像度より高ければよく、高解像度画像は、全天球画像の解像度を変換することにより生成されるようにしてもよい。撮影画像は静止画像であっても動画像であってもよい。３Ｄモデルは、球や立方体のほか、正１２面体や正２０面体などの正多面体であってもよい。
　また、コンテンツサーバ１３２（３４０）は、符号化ストリームを記録せずに、リアルタイムでホームサーバ１３３（３７１）に伝送するようにしてもよい。エンコーダ１５６－１乃至１５６－６は、コンテンツサーバ１３２（３４０）の外部に設けられるようにしてもよい。
　さらに、上述した説明では、符号化ストリームに対応する解像度が２種類であったが、３種類以上であってもよい。
　例えば、解像度が３種類ある場合には、３Ｄモデルの面が、面１１乃至１６（面７１乃至７８，面２８１乃至２８６,面２８１および２８２並びに面３８３乃至３８６）より細かく分割される。そして、面１１乃至１６（面７１乃至７８，面２８１乃至２８６,面２８１および２８２並びに面３８３乃至３８６）より細かく分割された面ごとに、全天球画像３０（９０,３２０，４００）が分割されて高解像度画像とされ、符号化される。また、画像３１乃至３６（画像９１乃至９８，低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６（３９３乃至３９６））がそれぞれ低解像度化されて、中解像度画像とされ、符号化される。さらに、全天球画像３０（９０）は、中解像度画像の解像度より低い解像度に低解像度化されて、符号化される。そして、視線ベクトルに対応する面としては、高解像度画像に対応する面が選択される。
　また、全天球画像の生成時にマッピングされる３Ｄモデルと、表示画像の生成時にマッピングされる３Ｄモデルのサイズは、異なっていてもよい。
　さらに、表示画像の生成時に、低解像度画像と高解像度画像がマッピングされる３Ｄモデルは、低解像度画像がマッピングされる３Ｄモデルが、高解像度画像がマッピングされる３Ｄモデルを内包していれば、異なっていてもよい。
　また、第３実施の形態において、ディスプレイ３７２の形状はドーム型であるようにしてもよい。この場合、ホームサーバ４７１は、例えば、全ての面１１乃至１６の画像を表示画像として生成する。
　さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像を第１の解像度で符号化し、前記上画像および前記下画像を前記１の解像度より低い第２の解像度で符号化して、符号化ストリームを生成する符号化部
　を備える画像処理装置。
　（２）
　前記符号化部は、前記中央画像を水平方向に４つに分割した第１の分割中央画像乃至第４の分割中央画像を前記第１の解像度で符号化する
　前記（１）に記載の画像処理装置。
　（３）
　前記第１解像度の前記第１の分割中央画像乃至第４の分割中央画像の画素数と前記第２の解像度の前記上画像および前記下画像の画素数とは同一である
　前記（２）に記載の画像処理装置。
　（４）
　前記符号化部は、前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアに対応する前記符号化ストリームのランダムアクセス可能位置が同期するように符号化する
　前記（２）または（３）に記載の画像処理装置。
　（５）
　前記符号化部は、前記符号化ストリームのGOP構造をClosed GOP構造として、符号化する
　前記（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　前記符号化部は、前記中央画像を、前記画像の正面が境界に位置しないように水平方向に５つに分割した第１の分割中央画像乃至第５の分割中央画像のうちの、前記第１の分割中央画像と前記第２の分割中央画像を合成した合成画像、並びに、前記第３の分割中央画像乃至第５の分割中央画像を前記第１の解像度で符号化し、
　前記第１の分割中央画像と前記第２の分割中央画像の水平方向のサイズは、前記第３の分割中央画像乃至第５の分割中央画像の水平方向のサイズの半分である
　ように構成された
　前記（１）に記載の画像処理装置。
　（７）
　前記上画像および前記下画像の解像度を前記第２の解像度に変換する変換部
　をさらに備える
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）
　前記符号化部により生成された前記符号化ストリームを記憶する記憶部
　をさらに備える
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）
　前記記憶部により記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部
　をさらに備える
　前記（８）に記載の画像処理装置。
　（１０）
　前記符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記符号化ストリームを生成する
　前記（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）
　画像処理装置が、
　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像を第１の解像度で符号化し、前記上画像および前記下画像を前記１の解像度より低い第２の解像度で符号化して、符号化ストリームを生成する符号化ステップ
　を含む画像処理方法。
　（１２）
　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームとを復号する復号部
　を備える画像処理装置。
　（１３）
　前記中央画像の符号化ストリームは、前記中央画像を水平方向に４つに分割した第１の分割中央画像乃至第４の分割中央画像が前記第１の解像度で符号化された符号化ストリームである
　前記（１２）に記載の画像処理装置。
　（１４）
　前記復号部は、前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアのうちの一方の面に対応する前記符号化ストリームを復号する
　前記（１３）に記載の画像処理装置。
　（１５）
　前記第１解像度の前記第１の分割中央画像乃至第４の分割中央画像の画素数と前記第２の解像度の前記上画像および前記下画像の画素数とは同一である
　前記（１３）または（１４）に記載の画像処理装置。
　（１６）
　前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアに対応する前記符号化ストリームのランダムアクセス可能位置は同期する
　前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）
　前記符号化ストリームのGOP構造はClosed GOP構造である
　前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）
　前記符号化ストリームを受け取る受け取り部
　をさらに備える
　前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）
　前記復号部は、AVC/H.264規格又はHEVC/H.265規格に準じた前記符号化ストリームを復号する
　前記（１２）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）
　画像処理装置が、
　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームとを復号する復号ステップ
　を含む画像処理方法。
　１０　立方体,　１１乃至１６　面,　３０　全天球画像,　１３２　コンテンツサーバ,　１３３　ホームサーバ,　１５４,１５６－１乃至１５６－６　エンコーダ,　２２３,２２５－１乃至２２５－３　デコーダ,　２２７　描画部,　２２９　視線検出部，　３０１，３１１乃至３１６　画像,　３２０　全天球画像,　３２１　低解像度上画像,　３４０　コンテンツサーバ,　３２２　低解像度下画像,　３６２　画面分割部,　３６３　低解像度化部，　４７１　ホームサーバ

Claims (20)

  1. 　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像を第１の解像度で符号化し、前記上画像および前記下画像を前記１の解像度より低い第２の解像度で符号化して、符号化ストリームを生成する符号化部
    　を備える画像処理装置。
  2. 　前記符号化部は、前記中央画像を水平方向に４つに分割した第１の分割中央画像乃至第４の分割中央画像を前記第１の解像度で符号化する
    　請求項１に記載の画像処理装置。
  3. 　前記第１解像度の前記第１の分割中央画像乃至第４の分割中央画像の画素数と前記第２の解像度の前記上画像および前記下画像の画素数とは同一である
    　請求項２に記載の画像処理装置。
  4. 　前記符号化部は、前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアに対応する前記符号化ストリームのランダムアクセス可能位置が同期するように符号化する
    　請求項２に記載の画像処理装置。
  5. 　前記符号化部は、前記符号化ストリームのGOP構造をClosed GOP構造として、符号化する
    　請求項４に記載の画像処理装置。
  6. 　前記符号化部は、前記中央画像を、前記画像の正面が境界に位置しないように水平方向に５つに分割した第１の分割中央画像乃至第５の分割中央画像のうちの、前記第１の分割中央画像と前記第２の分割中央画像を合成した合成画像、並びに、前記第３の分割中央画像乃至第５の分割中央画像を前記第１の解像度で符号化し、
    　前記第１の分割中央画像と前記第２の分割中央画像の水平方向のサイズは、前記第３の分割中央画像乃至第５の分割中央画像の水平方向のサイズの半分である
    　ように構成された
    　請求項１に記載の画像処理装置。
  7. 　前記上画像および前記下画像の解像度を前記第２の解像度に変換する変換部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  8. 　前記符号化部により生成された前記符号化ストリームを記憶する記憶部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  9. 　前記記憶部により記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部
    　をさらに備える
    　請求項８に記載の画像処理装置。
  10. 　前記符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記符号化ストリームを生成する
    　請求項１に記載の画像処理装置。
  11. 　画像処理装置が、
    　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像を第１の解像度で符号化し、前記上画像および前記下画像を前記１の解像度より低い第２の解像度で符号化して、符号化ストリームを生成する符号化ステップ
    　を含む画像処理方法。
  12. 　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームとを復号する復号部
    　を備える画像処理装置。
  13. 　前記中央画像の符号化ストリームは、前記中央画像を水平方向に４つに分割した第１の分割中央画像乃至第４の分割中央画像が前記第１の解像度で符号化された符号化ストリームである
    　請求項１２に記載の画像処理装置。
  14. 　前記復号部は、前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアのうちの一方の面に対応する前記符号化ストリームを復号する
    　請求項１３に記載の画像処理装置。
  15. 　前記第１解像度の前記第１の分割中央画像乃至第４の分割中央画像の画素数と前記第２の解像度の前記上画像および前記下画像の画素数とは同一である
    　請求項１３に記載の画像処理装置。
  16. 　前記第１の解像度の前記第１の分割中央画像乃至第４の分割中央画像並びに前記第２の解像度の前記上画像および前記下画像がマッピングされた球の対向する面どうしのペアに対応する前記符号化ストリームのランダムアクセス可能位置は同期する
    　請求項１３に記載の画像処理装置。
  17. 　前記符号化ストリームのGOP構造はClosed GOP構造である
    　請求項１６に記載の画像処理装置。
  18. 　前記符号化ストリームを受け取る受け取り部
    　をさらに備える
    　請求項１２に記載の画像処理装置。
  19. 　前記復号部は、AVC/H.264規格又はHEVC/H.265規格に準じた前記符号化ストリームを復号する
    　請求項１２に記載の画像処理装置。
  20. 　画像処理装置が、
    　正距円筒図法により全方向の画像から生成された画像を垂直方向に分割した上画像と中央画像と下画像とを対象として、前記中央画像が第１の解像度で符号化され、前記上画像および前記下画像が前記１の解像度より低い第２の解像度で符号化された符号化ストリームのうちの、前記上画像または前記下画像の符号化ストリームと、前記中央画像の符号化ストリームとを復号する復号ステップ
    　を含む画像処理方法。
PCT/JP2016/054834 2015-03-05 2016-02-19 画像処理装置および画像処理方法 WO2016140082A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16758776.5A EP3267688A4 (en) 2015-03-05 2016-02-19 Image processing device and image processing method
US15/541,054 US10666979B2 (en) 2015-03-05 2016-02-19 Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically
CN201680012745.7A CN107409231B (zh) 2015-03-05 2016-02-19 图像处理装置和图像处理方法
JP2017503419A JP6687015B2 (ja) 2015-03-05 2016-02-19 画像処理装置および画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-043614 2015-03-05
JP2015043614 2015-03-05
JP2015-119143 2015-06-12
JP2015119143 2015-06-12

Publications (1)

Publication Number Publication Date
WO2016140082A1 true WO2016140082A1 (ja) 2016-09-09

Family

ID=56848541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054834 WO2016140082A1 (ja) 2015-03-05 2016-02-19 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10666979B2 (ja)
EP (1) EP3267688A4 (ja)
JP (1) JP6687015B2 (ja)
CN (1) CN107409231B (ja)
WO (1) WO2016140082A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103648A1 (en) * 2016-12-07 2018-06-14 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
WO2018121333A1 (zh) * 2016-12-30 2018-07-05 艾迪普（北京）文化科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
WO2018127035A1 (en) * 2017-01-03 2018-07-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
WO2019034131A1 (en) * 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US10462484B2 (en) 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10652516B2 (en) 2017-01-03 2020-05-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
US10757421B2 (en) 2018-01-04 2020-08-25 Fujitsu Limited Information processing device, moving image coding method, and recording medium on which computer program for moving image coding is recorded
JP2020529149A (ja) * 2017-07-31 2020-10-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イメージ処理方法、端末およびサーバ
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805637B2 (en) * 2016-05-16 2020-10-13 Samsung Electronics Co., Ltd. Video encoding method and apparatus, video decoding method and apparatus
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法
US11006135B2 (en) * 2016-08-05 2021-05-11 Sony Corporation Image processing apparatus and image processing method
EP3301928A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images
WO2018066980A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US11631224B2 (en) * 2016-11-21 2023-04-18 Hewlett-Packard Development Company, L.P. 3D immersive visualization of a radial array
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) * 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019166107A1 (en) 2018-03-02 2019-09-06 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
EP3672250A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system
CN111091491B (zh) * 2019-12-20 2023-05-05 知鱼科技丹阳有限公司 一种等距圆柱投影的全景视频像素再分配方法及系统
CN112732155B (zh) * 2020-12-30 2022-08-16 新东方教育科技集团有限公司 图像显示方法、图像显示装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5852390B2 (ja) * 1978-06-21 1983-11-22 日本放送協会 テレビジヨン画像信号伝送方式
JPH09327005A (ja) * 1996-06-04 1997-12-16 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
KR100477654B1 (ko) * 2002-07-16 2005-03-22 삼성전자주식회사 재생 영상 선택 장치 및 그 방법
US8737816B2 (en) * 2002-08-07 2014-05-27 Hollinbeck Mgmt. Gmbh, Llc System for selecting video tracks during playback of a media production
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
CN100337473C (zh) * 2004-09-30 2007-09-12 中国科学院计算技术研究所 运动视频的全景图合成方法
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
JP2011119974A (ja) * 2009-12-03 2011-06-16 Sony Corp パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム
US8542737B2 (en) * 2010-03-21 2013-09-24 Human Monitoring Ltd. Intra video image compression and decompression
JP2013228896A (ja) * 2012-04-26 2013-11-07 Sony Corp 画像処理装置、画像処理方法、プログラム
US8992318B2 (en) 2012-09-26 2015-03-31 Igt Wearable display system and method
DE102014004851B4 (de) * 2014-03-31 2018-09-20 Scienova Gmbh Vertikales funktionelles Reaktionsgefäß
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HABE, H. ET AL.: "P-4.01 Compression of Omnidirectional Video with Polyhedral Mapping", THE PROCEEDINGS OF THE 18TH PICTURE CODING SYMPOSIUM OF JAPAN (PCSJ 2003, 13 November 2003 (2003-11-13), pages 57 - 58, XP009505741 *
KATSURA, Y. ET AL.: "Compression of Omnidirectional Video with Polyhedral Mapping", IPSJ SIG TECHNICAL REPORTS, vol. 2003, no. 41, 8 May 2003 (2003-05-08), pages 59 - 66, XP009505728, ISSN: 0919-6072 *
NIELSEN, F.: "High Resolution Full Spherical Videos", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY: CODING AND COMPUTING 2002 (ITCC'02, 10 April 2002 (2002-04-10), pages 260 - 267, XP055286763, ISBN: 0-7695-1506-1, DOI: doi:10.1109/ITCC.2002.1000397 *
See also references of EP3267688A4 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462484B2 (en) 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10825229B2 (en) 2016-10-07 2020-11-03 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
US10679324B2 (en) 2016-12-07 2020-06-09 Mediatek Inc. Method and apparatus for decoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10963987B2 (en) 2016-12-07 2021-03-30 Mediatek Inc. Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
WO2018103648A1 (en) * 2016-12-07 2018-06-14 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
WO2018121333A1 (zh) * 2016-12-30 2018-07-05 艾迪普（北京）文化科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
US11019259B2 (en) 2016-12-30 2021-05-25 Ideapool Culture & Technology Co., Ltd. Real-time generation method for 360-degree VR panoramic graphic image and video
CN108616731A (zh) * 2016-12-30 2018-10-02 艾迪普（北京）文化科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN108616731B (zh) * 2016-12-30 2020-11-17 艾迪普科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN109716776A (zh) * 2017-01-03 2019-05-03 联发科技股份有限公司 用于生成且编码具有由包装在金字塔投影布局内的基底投影面与侧向投影面来表现的360度内容的基于投影的帧的方法及设备
US10652516B2 (en) 2017-01-03 2020-05-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
WO2018127035A1 (en) * 2017-01-03 2018-07-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
CN109716776B (zh) * 2017-01-03 2021-10-15 联发科技股份有限公司 用于生成且编码全向内容视频的方法及设备
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
JP2020529149A (ja) * 2017-07-31 2020-10-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イメージ処理方法、端末およびサーバ
US11032571B2 (en) 2017-07-31 2021-06-08 Huawei Technologies Co., Ltd. Image processing method, terminal, and server
WO2019034131A1 (en) * 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
US10757421B2 (en) 2018-01-04 2020-08-25 Fujitsu Limited Information processing device, moving image coding method, and recording medium on which computer program for moving image coding is recorded

Also Published As

Publication number Publication date
CN107409231A (zh) 2017-11-28
JPWO2016140082A1 (ja) 2017-12-14
EP3267688A4 (en) 2018-08-01
JP6687015B2 (ja) 2020-04-22
US20180007389A1 (en) 2018-01-04
EP3267688A1 (en) 2018-01-10
US10666979B2 (en) 2020-05-26
CN107409231B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP6687015B2 (ja) 画像処理装置および画像処理方法
JP6688469B2 (ja) 画像処理装置および画像処理方法
US10412413B2 (en) Image processing device and image processing method
CN115150619B (zh) 编码装置及解码装置
WO2018175493A1 (en) Adaptive perturbed cube map projection
JP7250917B2 (ja) 補間フィルタを使用するイントラ予測のための方法および装置
CN110546960B (zh) 多层视频流传输系统和方法
JP6648753B2 (ja) 画像符号化装置および方法
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
WO2016125604A1 (ja) 画像符号化装置および方法
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP7314382B2 (ja) 復号装置
CN112997499B (zh) 用于提供视频数据比特流的编/解码方法和编/解码装置
JPWO2007026440A1 (ja) 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム
JP7416820B2 (ja) ビデオコーディングにおけるヌルタイルコーディング
JP2005532716A (ja) 動画像符号化装置及び方法
Liu et al. Motion blur compensation in HEVC using fixed-length adaptive filter
CN118303026A (zh) 用于对帧内预测模式进行编码的方法和设备
CN118678082A (zh) 一种图像编解码方法、装置、编码器、解码器和系统
JP2012212952A (ja) 画像処理システム、画像処理装置、および画像処理方法
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758776

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15541054

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017503419

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016758776

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE