WO2019244439A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2019244439A1
WO2019244439A1 PCT/JP2019/014761 JP2019014761W WO2019244439A1 WO 2019244439 A1 WO2019244439 A1 WO 2019244439A1 JP 2019014761 W JP2019014761 W JP 2019014761W WO 2019244439 A1 WO2019244439 A1 WO 2019244439A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fisheye
intra prediction
unit
prediction mode
Prior art date
Application number
PCT/JP2019/014761
Other languages
English (en)
French (fr)
Inventor
松本　潤一
厚 坪井
上野　弘道
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980039781.6A priority Critical patent/CN112352425B/zh
Priority to JP2020525283A priority patent/JP7215480B2/ja
Priority to US17/251,914 priority patent/US11818339B2/en
Publication of WO2019244439A1 publication Critical patent/WO2019244439A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This technology relates to an image processing device and an image processing method.
  • Patent Literature 1 predictive coding of a block divided by a block size based on image characteristics is performed irrespective of image characteristics determined according to lens characteristics. For this reason, there is a possibility that prediction encoding of the divided blocks cannot be performed efficiently.
  • An image processing apparatus includes an intra prediction unit that performs intra prediction using an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens and generates a predicted image.
  • an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens is used.
  • the intra prediction mode table according to the position of the processing target block may be a table in which a plurality of predetermined prediction directions are changed according to the position of the processing target block with respect to the fisheye center of the fisheye image, and may occur at the position of the processing target block.
  • a table in which the prediction direction is changed based on a correction rate for correcting fisheye distortion may be used.
  • the intra prediction mode table according to the position of the processing target block may be a table indicating a prediction direction selected from a plurality of predetermined prediction directions according to the position of the processing target block with respect to the fisheye center of the fisheye image.
  • a table indicating a prediction direction selected from a plurality of predetermined prediction directions may be a table in which the circumferential direction orthogonal to the direction of the processing target block with respect to the eye center is a dense direction, and the distance from the fisheye center to the processing target block is long.
  • a table that indicates a prediction direction selected from a plurality of predetermined prediction directions with a higher degree of crowding may be used.
  • the intra prediction unit performs intra prediction using the intra prediction mode table corresponding to the position of the processing target block, and generates a predicted image.
  • the intra prediction unit divides the fisheye image into a plurality of regions in the radial direction and the circumferential direction based on the fisheye center of the fisheye image, and provides an intra prediction mode table for each region.
  • intra prediction may be performed using an intra prediction mode table corresponding to a region including the processing target block. In the divided area, an intra prediction mode table equal to the point symmetric area with the fisheye center as the target point is provided.
  • the intra prediction mode table for the region including the fisheye center is a table indicating a plurality of predetermined prediction directions. Further, the number of radial area divisions and the radial area division intervals are set according to the lens characteristics of the fisheye lens.
  • the image processing apparatus further includes a lossless encoding unit that includes fisheye information in an encoded stream of the input image.
  • the fisheye information includes at least information indicating that the input image is a fisheye image and the center of the fisheye of the fisheye image. Further, the fisheye information may include information on the fisheye lens used to acquire the fisheye image.
  • the image processing apparatus further includes a lossless decoding unit that decodes the encoded stream of the fisheye image.
  • the lossless decoding unit parses the fisheye information and the optimal intra prediction mode included in the encoded stream, and the intra prediction unit performs lossless decoding.
  • a prediction image is generated using an intra prediction mode table corresponding to the position of the processing target block based on the fisheye information obtained by the section and the optimal intra prediction mode.
  • the fisheye information includes at least information indicating that the input image is a fisheye image and the fisheye center of the fisheye image, and the intra prediction unit determines the position of the processing target block with respect to the fisheye center of the fisheye image.
  • the corresponding intra prediction mode table is used.
  • the fisheye information includes information on the fisheye lens used to acquire the fisheye image, and the intra prediction unit uses the information on the fisheye lens and an intra prediction mode table corresponding to the position of the processing target block.
  • An image processing method includes performing intra prediction using an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens, and generating a predicted image by an intra prediction unit.
  • intra prediction is performed using an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens, and a predicted image is generated. Therefore, it is possible to efficiently perform the encoding or decoding of the image in which the distortion has occurred. It should be noted that the effects described in this specification are merely examples and are not limited, and may have additional effects.
  • FIG. 2 is a diagram illustrating a configuration of an image encoding device.
  • FIG. 3 is a diagram illustrating a configuration of an intra prediction unit. It is a figure for explaining a difference of distortion of a fisheye picture and a normal picture.
  • FIG. 4 is a diagram showing a projection method of a fisheye lens.
  • FIG. 9 is a diagram illustrating a correction rate for correcting a fisheye image to a normal image for each projection method. It is a figure for deriving the derivation of a correction rate.
  • FIG. 4 is a diagram illustrating an intra prediction mode table used for a normal image.
  • FIG. 14 is a diagram illustrating an intra prediction mode table in which distortion has occurred.
  • FIG. 9 is a diagram for explaining generation of a distortion table.
  • FIG. 1 is a diagram illustrating a configuration of an image encoding device.
  • FIG. 3 is a diagram illustrating a configuration of an intra prediction unit. It is a figure for explaining a difference of distortion
  • 5 is a flowchart illustrating an encoding processing operation of the image encoding device. It is a flowchart which illustrated intra prediction processing.
  • FIG. 6 is a diagram illustrating a relationship between a correction rate and an interval ratio in each layer when the number of layers is four.
  • FIG. 2 is a diagram illustrating a configuration of an image decoding device.
  • 5 is a flowchart illustrating an operation of the image decoding device. It is the flowchart which showed the prediction image generation processing of intra prediction.
  • FIG. 9 is a diagram illustrating an operation when a selection table is generated based on a direction of a processing target block with respect to a fisheye center. It is the figure which illustrated the direction of the processing object block with respect to the fisheye center, and the selection result of the prediction mode.
  • a “block” (not a block indicating a processing unit) used for description as a partial region of an image (picture) or a processing unit indicates an arbitrary partial region in a picture unless otherwise specified.
  • the size, shape, characteristics, and the like are not limited.
  • “block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), and CU (Transform Block) described in Documents 1 to 3 described above.
  • Arbitrary partial area (processing unit) such as Coding Unit), LCU (Largest Coding Unit), CTB (Coding Tree Block), CTU (Coding Tree Unit), conversion block, sub-block, macroblock, tile, or slice included.
  • the block size may be specified directly, but also the block size may be specified indirectly.
  • the block size may be specified using identification information for identifying the size.
  • the block size may be specified by a ratio or a difference from the size of a reference block (for example, an LCU or an SCU).
  • a reference block for example, an LCU or an SCU.
  • the designation of the block size also includes designation of a range of block sizes (for example, designation of a range of allowable block sizes).
  • Image processing device First embodiment 2-1 Configuration of image encoding device 2-2. Operation of image encoding device 2-2-1. About intra prediction table 2-2-2. Encoding processing operation 2-3. Configuration of image decoding device 2-4. 2. Operation of image decoding device Second embodiment 3-1. Configuration of image encoding device 3-2. Operation of image encoding device 3-2-1. About intra prediction table 3-2-2. 3. Encoding processing operation Application examples
  • the image processing apparatus performs encoding processing of a moving image (hereinafter, also referred to as “fisheye image”) acquired by performing imaging using a fisheye lens, or decoding processing of an encoded stream generated by this encoding processing. Do. Further, the image processing apparatus encodes a moving image (hereinafter, also referred to as “normal image”) obtained by performing imaging using a lens that does not cause fisheye distortion (hereinafter, also referred to as “normal lens”), Alternatively, decoding processing of an encoded stream generated by this encoding processing can be performed.
  • fisheye image a moving image
  • normal image a moving image obtained by performing imaging using a lens that does not cause fisheye distortion
  • First Embodiment> the coding efficiency of intra prediction is improved by switching the intra prediction table according to the lens distortion characteristics.
  • FIG. 1 illustrates a configuration of an image encoding device that performs a fisheye image encoding process.
  • the image encoding device 10 encodes image data using prediction processing.
  • An encoded stream corresponding to the H.265 / HEVC standard is generated.
  • the image encoding device 10 includes a screen rearrangement buffer 21, an operation unit 22, an orthogonal transformation unit 23, a quantization unit 24, a lossless encoding unit 25, a storage buffer 26, and a rate control unit 27. Further, the image encoding device 10 includes an inverse quantization unit 31, an inverse orthogonal transform unit 32, an operation unit 33, a deblocking filter 34, an SAO (Sample Adaptive Offset) filter 35, a frame memory 36, and a selection unit 37. I have. Further, the image encoding device 10 includes an intra prediction unit 41, an inter prediction unit 42, and a prediction selection unit 43.
  • the fisheye image is input to the screen rearrangement buffer 21 as an input image.
  • the fisheye information regarding the fisheye image is input to the intra prediction unit 41, the inter prediction unit 42, and the lossless encoding unit 25.
  • the fisheye information includes at least information indicating that the input image is a fisheye image and a fisheye center of the fisheye image.
  • the information includes flag information indicating that the input image is a fisheye image, information indicating the position of the fisheye center in the two-dimensional image, the radius of the fisheye image, and the like.
  • the fisheye information may include information on the lens used for acquiring the fisheye image (for example, a projection method and a lens name). Information about the lens used to acquire the fisheye image may be used as information indicating that the input image is a fisheye image.
  • the screen rearrangement buffer 21 stores the input image and rearranges the stored frame images in the display order into an order for encoding (encoding order) according to a GOP (Group of Picture) structure.
  • the screen rearrangement buffer 21 outputs the image data (original image data) of the frame images in the encoding order to the calculation unit 22.
  • the screen rearrangement buffer 21 outputs the original image data to the SAO filter 35, the intra prediction unit 41, and the inter prediction unit 42.
  • the arithmetic unit 22 subtracts, for each pixel, the predicted image data supplied from the intra prediction unit 41 or the inter prediction unit 42 via the prediction selection unit 43 from the original image data supplied from the screen rearrangement buffer 21.
  • the residual data indicating the prediction residual is output to the orthogonal transform unit 23.
  • the calculation unit 22 subtracts the predicted image data generated by the intra prediction unit 41 from the original image data. Further, for example, in the case of an image on which inter encoding is performed, the calculation unit 22 subtracts the predicted image data generated by the inter prediction unit 42 from the original image data.
  • the orthogonal transform unit 23 performs an orthogonal transform process on the residual data supplied from the arithmetic unit 22.
  • the orthogonal transform unit 23 performs an orthogonal transform such as a discrete cosine transform, a discrete sine transform, or a Karhunen-Loeve transform on each of one or more TUs set in each CTU (Coding @ Tree @ Unit).
  • the orthogonal transform unit 23 outputs the transform coefficients in the frequency domain obtained by performing the orthogonal transform process to the quantization unit 24.
  • the quantization unit 24 quantizes the transform coefficient output from the orthogonal transform unit 23.
  • the quantization unit 24 outputs the quantized data of the transform coefficient to the lossless encoding unit 25.
  • the quantization unit 24 also outputs the generated quantized data to the inverse quantization unit 31.
  • the lossless encoding unit 25 performs a lossless encoding process of the quantized data input from the quantization unit 24 for each CTU, for example, a lossless encoding process of CABAC (Context-Adaptive Binary Arithmetic Coding). Further, the lossless encoding unit 25 acquires information on the prediction mode selected by the prediction selection unit 43, for example, intra prediction information, inter prediction information, and the like. Further, the lossless encoding unit 25 acquires filter information related to filter processing from an SAO filter 35 described later. Further, block information indicating how to set the CTU, CU, TU, and PU in the image is obtained. The lossless encoding unit 25 encodes the quantized data, and sets the acquired parameter information on the encoding process to H.264.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the lossless encoding unit 25 includes the fisheye information input to the image encoding device 10 as a syntax element of the encoded stream or as SEI (Supplemental Enhancement Information), which is additional information, in the encoded stream.
  • SEI Supplemental Enhancement Information
  • the accumulation buffer 26 temporarily holds the data supplied from the lossless encoding unit 25, and encodes the encoded data as an encoded image at a predetermined timing, for example, in a subsequent recording device (not shown) or a transmission path. Output as a stream.
  • the rate control unit 27 controls the rate of the quantization operation of the quantization unit 24 based on the compressed image stored in the storage buffer 26 so that overflow or underflow does not occur.
  • the inverse quantization unit 31 inversely quantizes the quantized data of the transform coefficient supplied from the quantization unit 24 by a method corresponding to the quantization performed by the quantization unit 24.
  • the inverse quantization unit 31 outputs the obtained inverse quantization data to the inverse orthogonal transform unit 32.
  • the inverse orthogonal transform unit 32 performs an inverse orthogonal transform on the supplied inverse quantized data by a method corresponding to the orthogonal transform process performed by the orthogonal transform unit 23.
  • the inverse orthogonal transform unit 32 outputs the result of the inverse orthogonal transform, that is, the restored residual data, to the arithmetic unit 33.
  • the calculation unit 33 adds the prediction image data supplied from the intra prediction unit 41 or the inter prediction unit 42 via the prediction selection unit 43 to the residual data supplied from the inverse orthogonal transform unit 32, and locally decodes the data. Obtained image (decoded image). For example, when the residual data corresponds to an image on which intra coding is performed, the calculation unit 33 adds the prediction image data supplied from the intra prediction unit 41 to the residual data. Further, for example, when the residual data corresponds to an image on which inter encoding is performed, the calculation unit 33 adds the prediction image data supplied from the inter prediction unit 42 to the residual data.
  • the decoded image data as the addition result is output to the deblocking filter 34.
  • the decoded image data is output to the frame memory 36 as reference image data.
  • the deblocking filter 34 removes block distortion of the decoded image data by appropriately performing a deblocking filter process.
  • the deblocking filter 34 outputs the filter processing result to the SAO filter 35.
  • the SAO filter 35 performs adaptive offset filter processing (also referred to as SAO (Sample Adaptive Offset) processing) on the decoded image data that has been filtered by the deblocking filter 34.
  • SAO Sample Adaptive Offset
  • the SAO filter 35 outputs the image after the SAO processing to the frame memory 36.
  • the reference image data stored in the frame memory 36 is output to the intra prediction unit 41 or the inter prediction unit 42 via the selection unit 37 at a predetermined timing.
  • reference image data that has not been subjected to filtering by the deblocking filter 34 or the like is read from the frame memory 36 and output to the intra prediction unit 41 via the selection unit 37. Is done.
  • reference image data that has been subjected to filter processing by the deblocking filter 34 or the like is read from the frame memory 36 and output to the inter prediction unit 42 via the selection unit 37. Is done.
  • the intra prediction unit 41 When the input image is a fisheye image captured using a fisheye lens, the intra prediction unit 41 performs intra prediction using an intra prediction mode table corresponding to the position of the processing target block in the fisheye image.
  • the position of the processing target block is the position of the upper left pixel in the processing target block.
  • intra prediction is performed using a predetermined intra prediction mode table.
  • FIG. 2 illustrates the configuration of the intra prediction unit 41.
  • the intra prediction unit 41 includes a block position calculation unit 411, a table selection unit 412, a predicted image generation unit 413, and an optimal mode determination unit 414.
  • the block position calculation unit 411 determines that the input image is a fisheye image based on the fisheye information
  • the block position calculation unit 411 calculates the position of the processing target block with respect to the fisheye center (the position of the upper left pixel in the processing target block),
  • the position information indicating the calculated position is output to the table selection unit 412.
  • the table selection unit 412 determines that the input image is a fisheye image based on the fisheye information
  • the table selection unit 412 processes the block to be processed based on the position information from a plurality of intra prediction mode tables supplied from the outside or stored in advance.
  • the intra prediction mode table corresponding to the position is selected and output to the predicted image generation unit 413.
  • the table selection unit 412 determines whether the intra prediction mode table according to the lens characteristic indicated by the fisheye information and the position of the processing target block. Is selected and output to the predicted image generation unit 413.
  • the table selection unit 412 uses an intra prediction mode table (hereinafter, also referred to as a “basic table”) that sets a plurality of predetermined prediction directions as prediction modes of directional prediction. 413.
  • the predicted image generation unit 413 performs directional prediction using the intra prediction mode table supplied from the table selection unit 412 and reference image data read from the frame memory 36 via the selection unit 37, and performs an intra prediction mode. Generate prediction image data of all prediction modes shown in the table. Further, the predicted image generation unit 413 generates predicted image data for each prediction mode for each predicted block size using the processing target block as a predicted block size. The predicted image generation unit 413 outputs the generated predicted image data to the optimal mode determination unit 414.
  • the optimal mode determination unit 414 calculates a cost function value using the original image data supplied from the screen rearrangement buffer 21 and the predicted image data for each prediction block size and each prediction mode. Further, the optimal mode determination unit 414 sets the combination of the intra prediction mode and the prediction block size in which the cost function value is minimum, that is, the compression ratio is the highest, as the optimal intra prediction mode and the optimal prediction block size. Intra prediction information shown is generated. The optimal mode determination unit 414 outputs the prediction image data, the cost function value, and the intra prediction information generated in the optimal intra prediction mode and the optimal prediction block size to the prediction selection unit 43.
  • the inter prediction unit 42 performs an inter prediction process (motion detection and motion compensation) for each of one or more PUs set in each CTU based on the original image data and the decoded image data. .
  • the inter prediction unit 42 evaluates a cost function value based on a prediction error and a generated code amount for each prediction mode candidate included in a search range specified by HEVC, for example. If the inter prediction unit determines that the input image is a fisheye image different from the normal image based on the fisheye information, the inter prediction unit scales a motion vector of a neighboring block adjacent to the current prediction block according to the fisheye image, for example. To process.
  • the inter prediction unit 42 generates a predicted motion vector using the motion vector of the peripheral block after the scaling process. In addition, the inter prediction unit 42 generates a difference vector between the motion vector of the current prediction block and the prediction motion vector, and uses the difference vector to calculate the cost function value. Next, the inter prediction unit 42 selects the prediction mode in which the cost function value is the minimum, that is, the prediction mode in which the compression ratio is the highest, as the optimal inter prediction mode. In addition, the inter prediction unit 42 generates inter prediction information including motion information indicating a difference vector or a predicted motion vector that minimizes the cost function value. The inter prediction unit 2 outputs prediction image data, cost function values, and inter prediction information generated in the optimal inter prediction mode and the optimal prediction block to the prediction selection unit 43.
  • the prediction selection unit 43 sets a prediction mode for each CTU or CU based on a comparison of cost function values input from the intra prediction unit 41 and the inter prediction unit 42.
  • the prediction selecting unit 43 outputs the predicted image data generated by the intra prediction unit 41 to the calculation units 22 and 33 and outputs the intra prediction information to the lossless encoding unit 25 for the block in which the intra prediction mode is set.
  • the prediction selecting unit 43 outputs the predicted image data generated by the inter prediction unit 42 to the calculation units 22 and 33 and outputs the inter prediction information to the lossless encoding unit 25 for the block for which the inter prediction mode is set. Output.
  • FIG. 3 is a diagram for explaining a difference in distortion between a fisheye image and a normal image.
  • the object OB is, for example, concentric circles having different radii at equal intervals, and the object OB is imaged using a normal lens or a fish-eye lens with the center of the concentric circle as a center position.
  • FIG. 3A shows a normal image obtained using a normal lens
  • FIG. 3B shows a fisheye image obtained using a fisheye lens.
  • Concentric circles of the subject OB in the normal image are shown as having different radii at equal intervals.
  • the fisheye image has a feature that the distortion toward the center increases as the distance from the center increases, and the concentric circle of the subject OB has a smaller radius interval as the distance from the center increases.
  • the distortion occurs only in the center direction, when the center of the circle coincides with the center of the lens, the shape remains a perfect circle.
  • Equation (1) indicates that the correction factor K is a function of the distance r from the center of the fisheye
  • the correction rate K can be determined based on, for example, a characteristic equation of a fisheye image and a normal image.
  • FIG. 4 shows a projection system of a fisheye lens.
  • FIG. 4A shows an orthographic projection method, and a relationship (characteristic expression) between light incident at an incident angle ⁇ and a position y at which the incident light is projected can be expressed by Expression (3).
  • “F” is the focal length of the fisheye lens.
  • r f ⁇ sin ⁇ (3)
  • FIG. 4B shows an equidistant projection method, and a characteristic expression is shown in Expression (4).
  • r f ⁇ ⁇ (4)
  • FIG. 4C shows a stereoscopic projection method, and a characteristic expression is shown in Expression (5).
  • r 2f ⁇ tan ( ⁇ / 2) (5)
  • FIG. 4D shows an equal solid angle projection method, and a characteristic expression is shown in Expression (6).
  • r 2f ⁇ sin ( ⁇ / 2) (6)
  • the projection method of a lens that does not cause fisheye distortion (hereinafter, referred to as a “normal lens”) is the center projection method shown in FIG. 4E, and the characteristic equation is Equation (7).
  • r f ⁇ tan ⁇ (7)
  • the correction factor for correcting fisheye distortion caused by projection of a subject image by the fisheye lens can be calculated based on the characteristic formula of the fisheye lens and the normal lens.
  • the correction factor K is a function of the distance r from the center of the fisheye as shown in Expression (1).
  • FIG. 5 shows a correction factor for correcting a fisheye image into a normal image for each projection method.
  • the correction rate of the orthographic method is “1 / cos ⁇ ”.
  • the correction rate of the equidistant projection method is “tan ⁇ / ⁇ ”
  • the correction rate of the stereoscopic projection method is “tan ⁇ / (2 ⁇ tan ( ⁇ / 2))”
  • the correction rate of the equi-solid angle projection method is “tan ⁇ / (2 ⁇ sin ( ⁇ / 2)).
  • FIG. 6 is a diagram for explaining the derivation of the correction rate.
  • the incident angle ⁇ is changed in the range of 0 ⁇ ⁇ ⁇ 90 °, and the value of the characteristic equation of the fisheye lens and the normal lens at that time (hereinafter referred to as “characteristic value”) is recorded.
  • the characteristic value before correction is r0
  • the characteristic value after correction is r1
  • the correction rate becomes the characteristic shown in FIG. 6B.
  • the correction rate when the incident angle is 0 ° is not defined because it is (0/0), but the correction rate is set to “1” at the center of the fisheye lens because distortion is smaller than when a normal lens is used. .
  • the relationship between the correction rate (r1 / r0) and the characteristic value r0 is as follows.
  • the characteristics are as shown in FIG. Further, since the characteristic value varies depending on the focal length f, if the range of the characteristic value r0 is normalized to a range from “0” to “1”, a desired value is obtained based on the normalized correction rate and the focal length of the characteristic value r0.
  • the correction rate (r1 / r0) for the characteristic value r0 can be obtained.
  • the correction rate is not limited to the above-described method, and may be calculated using another method.
  • Intra prediction mode table basic table
  • the fisheye image has directional characteristics due to the presence of distortion as described above. Therefore, by changing the direction and intensity of distorting the basic table in accordance with the direction and distance from the center of the fisheye in consideration of the distortion characteristics, an intra prediction mode table (hereinafter, referred to as “distortion”) that causes the distortion shown in FIG.
  • FIG. 8 illustrates a state in which the basic table is compressed toward the center of the fisheye, and the density in the prediction direction occurs, and is required in intra prediction so that the compression state can be easily grasped.
  • the length of the missing vector is also adjusted according to the compression.
  • Position Pm of the target block in the fish-eye image (x, y) when generating the distortion table identifies the direction of the center Pg fisheye (x g, y g) viewed from the position Pm (x, y). Specifically, as shown in FIG. 9, it is calculated on the basis of the center Pg fisheye (x g, y g) viewed from the position Pm (x, y) of the angle ⁇ indicating the direction of the equation (8).
  • tan ⁇ (y ⁇ y g ) / (xx g ) (8)
  • FIG. 10 shows the relationship between the prediction mode and the inclination of the intra prediction mode table (basic table) used for a normal image.
  • FIG. 10A shows a reference direction for each prediction mode
  • FIG. 10B shows a reference direction (slope) of the prediction mode for each prediction mode by an angle and tan ⁇ .
  • FIG. 11 is a diagram for explaining a prediction direction of intra prediction.
  • FIG. 11A shows a prediction direction when the basic table is used.
  • the inclination of the prediction direction can be decomposed into cos ⁇ 2 as a horizontal component and sin ⁇ 2 as a vertical component with reference to the line segment CM.
  • FIG. 11B shows a case where a distortion table is used.
  • the prediction direction tan ⁇ d of the distortion table is based on the fisheye center Pg ( xg , yg).
  • ⁇ based on the inclination ⁇ 1 to the inclination ⁇ 1 of the position Pm (x, y).
  • tan ⁇ is given by Expression (9).
  • a distortion table corresponding to the position Pm (x, y) can be generated by calculating tan ( ⁇ 1 + ⁇ ) from tan ( ⁇ 1 + ⁇ 2) of the basic table based on Expression (10).
  • parameter a is a value calculated by equation (11)
  • parameter b is a value calculated by equation (12).
  • tan ( ⁇ 1 + ⁇ ) (ba 2 + (1 ⁇ Km) a + Kmb) / (Kma 2 + (1-Km) ba + 1)
  • b tan ( ⁇ 1 + ⁇ 2) (12)
  • the distortion table in FIG. 12 is changed from the basic table shown in FIG. 10 so that the prediction direction becomes denser as the prediction direction approaches 135 °.
  • an intra prediction mode table (distortion table) corresponding to the position of the processing target block can be generated based on the correction rate at the position of the processing target block and a predetermined intra prediction mode table (reference table).
  • the processing cost of directional prediction increases.
  • the fisheye image is divided into regions, a distortion table is prepared in advance for each region, and the intra prediction unit 41 uses the distortion table corresponding to the region to which the processing target block belongs, thereby reducing the processing cost of directional prediction. Reduce memory capacity.
  • FIG. 13 is a diagram for explaining the area division of the fisheye image.
  • the area division of the fisheye image is performed based on the correction rate.
  • the correction rates are equal if the distance from the center of the fisheye image is equal. Therefore, the fisheye image is divided in the radial direction based on the center of the fisheye image.
  • the number of sections (also referred to as the number of layers) of the fisheye image is set according to the change in the correction rate in the radial direction from the center of the fisheye image, that is, the lens characteristic of the fisheye lens.
  • the number of layers is increased as the maximum value of the correction rate change increases.
  • FIG. 13 illustrate a case where the fisheye image is divided into a plurality of regions according to the correction rate. If the change in the correction rate in the radial direction from the center of the fisheye image is gentle, the number of layers is set to a predetermined number (the number of layers is “4” in FIG. 13A). When the change in the correction rate in the radial direction from the center of the fisheye image is steep, the number of layers is increased as compared with the case where the change in the correction rate is gentle (in FIG. 13B, the number of layers is “ 5 ").
  • the distortion strength is equal at a point symmetric position (diagonal position) with respect to the center of the fisheye image. Therefore, in the area division of the fisheye image, the area is divided in the circumferential direction by using a straight line passing through the center of the fisheye image as a boundary of the area. Since the region including the center of the fisheye image has little distortion, it is not necessary to divide the region in the circumferential direction, and the basic table may be used as the intra prediction mode table.
  • FIG. 13 illustrates a case where the fisheye image is divided into regions in the radial direction and the circumferential direction.
  • FIGS. 13C and 13D illustrate a case where the circumferential direction is divided into eight.
  • table information corresponding to the pixel position is determined according to which region the pixel position of the fisheye image belongs to. Makes the corresponding distortion table selectable. Further, since the strength of distortion is equal at a point symmetric position with respect to the center of the fisheye image, the same index is assigned to a region at a point symmetric position with respect to the center of the fisheye image.
  • the distortion table corresponding to each region is generated as described with reference to FIG. 11B by setting the inclination ⁇ 1 and the correction rate Km for each region.
  • the center in the circumferential direction is at an angle of 45 °.
  • the fisheye image is divided into regions, and a distortion table is provided for each of the divided regions.
  • the distortion table of the index corresponding to the region to which the processing target block belongs is used.
  • the fisheye lens has a plurality of projection methods as shown in FIG. 4, and the correction rate differs depending on the projection method as shown in FIG. Therefore, a distortion table is provided for each lens characteristic (for example, projection system) of the fisheye lens and for each area, and a distortion table is selected according to the lens characteristic of the fisheye lens indicated by the fisheye information and the position of the processing target block. Is also good.
  • the distortion table for each lens characteristic and each area for each fisheye lens may be stored in the table selection unit 412 of the intra prediction unit 41 in advance, or may be supplied to the table selection unit 412 together with the fisheye information and the like.
  • FIG. 14 is a flowchart illustrating the encoding processing operation of the image encoding device.
  • step ST1 the image encoding device performs a screen rearrangement process.
  • the screen rearrangement buffer 21 of the image encoding device 10 rearranges input images in display order in encoding order, and outputs the images to the intra prediction unit 41, the inter prediction unit 42, and the SAO filter 35.
  • step ST2 the image coding device performs an intra prediction process.
  • FIG. 15 is a flowchart illustrating the intra prediction process.
  • the intra prediction unit determines whether the input image is a fisheye image.
  • the intra prediction unit 41 of the image encoding device 10 proceeds to step ST22 when determining that the input image is a fisheye image based on the fisheye information, and determines that the input image is not a fisheye image if the input image is not a fisheye image.
  • the process proceeds to step ST23 assuming that the image is a normal image.
  • the intra prediction unit 41 acquires a distortion table.
  • the intra prediction unit 41 acquires a distortion table corresponding to the position of the processing target block with respect to the fisheye center.
  • the intra prediction unit 41 acquires a distortion block corresponding to the region to which the processing target block belongs.
  • the intra prediction unit 41 acquires a distortion table corresponding to the lens characteristic of the fisheye lens indicated by the fisheye information and the region to which the processing target block belongs. .
  • the intra prediction unit 41 acquires the distortion table and proceeds to step ST24.
  • step ST23 the intra prediction unit acquires the basic table.
  • the intra prediction unit 41 acquires the basic table because the input image is a normal image, and proceeds to step ST24.
  • the intra prediction unit 41 performs an optimal intra prediction mode selection process.
  • the intra prediction unit 41 performs directional prediction using the distortion table acquired in step ST22 or the basic table acquired in step ST23 and the reference image data read from the frame memory 36, and performs intra prediction indicated by the distortion table or the basic table.
  • predicted image data of the processing target block is generated for each predicted block size.
  • the intra prediction unit 41 calculates a cost function value using the generated predicted image data and original image data. Note that decoded image data that has not been filtered by the deblocking filter 34 or the like is used as reference image data.
  • the intra prediction unit 41 selects the optimal intra prediction mode based on the calculated cost function value, and predicts and selects the prediction image data, the cost function value, and the intra prediction information generated by the intra prediction in the optimal intra prediction mode. Output to the unit 43.
  • the image encoding device performs an inter prediction process.
  • the inter prediction unit 42 acquires a reference picture according to the current picture, and performs a motion search on all prediction modes to determine which region of the reference picture corresponds to the current prediction block of the current picture. Further, the inter prediction unit 42 performs an optimal inter prediction mode selection process, compares the cost function values calculated for each prediction mode, and selects, for example, a prediction mode in which the cost function value is the minimum as the optimal inter prediction mode. . Further, the inter prediction unit 42 adjusts the motion vector used for calculating the predicted motion vector based on the fisheye information, and calculates the predicted motion vector using the adjusted motion vector.
  • the inter prediction unit 42 performs motion compensation in the selected optimal inter prediction mode to generate predicted image data. Further, the inter prediction unit 42 outputs the predicted image data, the cost function value, and the inter prediction information generated in the optimal inter prediction mode to the prediction selection unit 43, and proceeds to ST4.
  • the image coding device performs a predicted image selection process.
  • the prediction selection unit 43 of the image encoding device 10 determines one of the optimal intra prediction mode and the optimal inter prediction mode as the optimal prediction mode based on the cost function values calculated in steps ST2 and ST3. Then, the prediction selection unit 43 selects the prediction image data of the determined optimal prediction mode and outputs the selected prediction image data to the calculation units 22 and 33. Note that the predicted image data is used for calculations in steps ST5 and ST10 described later. Further, the prediction selection unit 43 outputs the intra prediction information or the inter prediction information in the optimal prediction mode to the lossless encoding unit 25.
  • step ST5 the image encoding device performs a difference calculation process.
  • the arithmetic unit 22 of the image encoding device 10 calculates a difference between the original image data rearranged in step ST2 and the predicted image data selected in step ST4, and orthogonally transforms the difference data that is the difference result. Output to the unit 23.
  • the image encoding device performs an orthogonal transformation process.
  • the orthogonal transform unit 23 of the image encoding device 10 orthogonally transforms the residual data supplied from the arithmetic unit 22. Specifically, the orthogonal transform such as discrete cosine transform is performed, and the obtained transform coefficient is output to the quantization unit 24.
  • step ST7 the image encoding device performs a quantization process.
  • the quantization unit 24 of the image encoding device 10 quantizes the transform coefficient supplied from the orthogonal transform unit 23. At the time of this quantization, the rate is controlled as described in the processing of step ST16 described later.
  • step ST8 the image encoding device performs an inverse quantization process.
  • the inverse quantization unit 31 of the image encoding device 10 inversely quantizes the quantized data output from the quantization unit 24 with characteristics corresponding to the quantization unit 24.
  • the image encoding device performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 32 of the image encoding device 10 inversely transforms the inversely quantized data generated by the inverse quantization unit 31 with characteristics corresponding to the orthogonal transform unit 23 to generate residual data, and generates an arithmetic unit. 33.
  • the image encoding device performs an image addition process.
  • the arithmetic unit 33 of the image encoding device 10 adds the prediction image data output from the prediction selection unit 43 to the locally decoded residual data, and locally decodes (ie, locally decodes). Generate an image.
  • the image encoding device performs a deblocking filter process.
  • the deblocking filter 34 of the image encoding device 10 performs a deblocking filter process on the image data output from the arithmetic unit 33 to remove block distortion, and outputs the result to the SAO filter 35 and the frame memory 36.
  • the image encoding device performs an SAO process.
  • the SAO filter 35 of the image encoding device 10 performs SAO processing on the image data output from the deblocking filter 34.
  • the SAO filter 35 stores the image data after the SAO processing in the frame memory 36. Further, the SAO filter 35 outputs a parameter related to the SAO process to the lossless encoding unit 25, and encodes the parameter in step ST14 as described later.
  • the image encoding device performs a storage process.
  • the frame memory 36 of the image encoding device 10 stores an image before the filtering process is performed by the deblocking filter 34 and the like, and an image after the filtering process is performed by the deblocking filter 34 and the like.
  • the transform coefficients quantized in step ST7 described above are also output to the lossless encoding unit 25.
  • the image encoding device performs a lossless encoding process.
  • the lossless encoding unit 25 of the image encoding device 10 encodes the quantized transform coefficient output from the quantization unit 24 and the supplied fisheye information, intra prediction information, inter prediction information, and the like.
  • step ST15 the image encoding device performs an accumulation process.
  • the accumulation buffer 26 of the image encoding device 10 accumulates encoded data.
  • the coded data stored in the storage buffer 26 is read out as appropriate and transmitted to the decoding side via a transmission path or the like.
  • the image coding device performs rate control.
  • the rate control unit 27 of the image encoding device 10 controls the rate of the quantization operation of the quantization unit 24 so that the encoded data stored in the storage buffer 26 does not overflow or underflow.
  • an image encoding device when an input image is a fisheye image, intra prediction is performed using a distortion table in which the density in the prediction direction is adjusted according to the fisheye distortion generated at the position of the processing target block. Done. Therefore, the coding efficiency can be improved as compared with the case where intra prediction is performed using the basic table in which the density of the prediction direction is not adjusted. Also, when the input image is a normal image, by including fisheye information in the encoded stream, the image decoding apparatus determines whether the input image is a normal image or a fisheye image based on the presence or absence of fisheye information or the fisheye information. Can be determined.
  • the image decoding apparatus performs intra prediction using the basic table when the input image is a normal image, and performs intra prediction using the distortion table when the input image is a fisheye image. Can be determined.
  • the fisheye information is included in the encoded stream as, for example, syntax. Further, since the fisheye information does not change until the sequence is switched, a syntax indicating the fisheye information may be provided in the sequence layer.
  • the correction rate of the 0th layer is “1.0”, and the radial interval ratio is “0.4” with respect to the fisheye radius.
  • the correction ratio of the first layer is “1.1”, the radial spacing ratio is “0.3” with respect to the fisheye radius, and the correction ratio of the second layer is “1.2” with the radial spacing.
  • the ratio is "0.2" for the fisheye radius, the correction ratio for the third layer is "1.3”, and the radial interval ratio is "0.1" for the fisheye radius. Therefore, based on the information indicating the number of layers and the division position, the fisheye image can be divided into regions as shown in FIG. 13C, and the distortion table for each region used in the image encoding device can be decoded by image decoding. Will be equally available.
  • FIG. 17 illustrates a configuration of an image decoding device that performs a decoding process of a coded stream of a fisheye image
  • the image decoding device 50 is an image decoding device corresponding to the image coding device 10 illustrated in FIG. .
  • the encoded stream generated by the image encoding device 10 is supplied to the image decoding device 50 and decoded.
  • the image decoding device 50 includes an accumulation buffer 61, a lossless decoding unit 62, an inverse quantization unit 63, an inverse orthogonal transformation unit 64, an operation unit 65, a deblocking filter 66, an SAO filter 67, and a screen rearrangement buffer 68.
  • the image decoding device 50 includes a frame memory 71, a selection unit 72, an intra prediction unit 73, and a motion compensation unit 74.
  • the storage buffer 61 receives and stores the transmitted coded stream. This encoded stream is read at a predetermined timing and output to the lossless decoding unit 62.
  • the lossless decoding unit 62 has a function of performing parsing.
  • the lossless decoding unit 62 parses information included in the decoding result of the encoded stream, for example, fisheye information, intra prediction information, inter prediction information, filter control information, and the like, and supplies them to necessary blocks. For example, it outputs intra prediction information and fisheye information to the intra prediction unit 73, outputs inter prediction information and fisheye information to the motion compensation unit 74, and outputs filter control information to the SAO filter 67. Further, the lossless decoding unit 62 outputs the quantization coefficient as encoded data included in the decoding result of the encoded bit stream to the inverse quantization unit 63.
  • the inverse quantization unit 63 inversely quantizes the quantized data obtained by decoding by the lossless decoding unit 62 by a method corresponding to the quantization method of the quantization unit 24 in FIG.
  • the inverse quantization unit 63 outputs the inversely quantized data to the inverse orthogonal transform unit 64.
  • the inverse orthogonal transform unit 64 performs inverse orthogonal transform using a method corresponding to the orthogonal transform method of the orthogonal transform unit 23 in FIG. 1, and decodes decoded residual data corresponding to residual data before orthogonal transform in the image encoding device 10. And outputs it to the calculation unit 65.
  • the calculation image data is supplied from the intra prediction unit 73 or the motion compensation unit 74 to the calculation unit 65.
  • the arithmetic unit 65 adds the decoded residual data and the predicted image data to obtain decoded image data corresponding to the original image data before the predicted image data is subtracted by the arithmetic unit 22 of the image encoding device 10.
  • the operation unit 65 outputs the decoded image data to the deblocking filter 66.
  • the deblocking filter 66 removes block distortion of the decoded image by performing a deblocking filter process.
  • the deblocking filter 66 outputs the filtered image data to the SAO filter 67.
  • the SAO filter 67 performs an SAO process on the image data that has been filtered by the deblocking filter 66.
  • the SAO filter 67 performs a filtering process on the image data that has been filtered by the deblocking filter 66 for each LCU using the parameters supplied from the lossless decoding unit 62, and outputs the filtered data to the screen rearrangement buffer 68.
  • the screen rearrangement buffer 68 rearranges images. That is, the order of the frames rearranged for the encoding order by the screen rearrangement buffer 21 in FIG. 1 is rearranged in the original display order.
  • the output of the SAO filter 67 is further supplied to the frame memory 71.
  • the selection unit 72 reads image data used for intra prediction from the frame memory 71 and outputs the image data to the intra prediction unit 73. Further, the selection unit 72 reads out the image data to be inter-processed and the image data to be referred from the frame memory 71 and outputs the data to the motion compensation unit 74.
  • the intra prediction unit 73 is configured by removing the optimal mode determination unit 414 from the configuration of the intra prediction unit 41 shown in FIG. 2 of the image encoding device 10. In the image decoding device 50, the operation of the predicted image generation unit 413 It differs from the encoding device 10.
  • the intra prediction unit 73 selects an intra prediction mode table equal to the encoding process based on the fisheye information supplied from the lossless decoding unit 62 and the position of the processing target block, and the predicted image generation unit
  • the decoding processing of the supplied optimal intra prediction mode is performed using the decoded image data obtained from the frame memory 71, and the prediction image data is generated and output to the calculation unit 65.
  • the motion compensating unit 74 parses information included in the decoding result of the lossless decoding unit 62 coded bit stream from the image data acquired from the frame memory 71 based on the fish-eye information and the inter prediction information output. The data is generated and output to the calculation unit 65.
  • the motion compensation unit 74 adjusts a motion vector used for calculating a predicted motion vector of the current prediction block, as in the case of the inter prediction unit 42 of the image encoding device 10.
  • the motion compensation unit 74 performs motion compensation using the motion vector of the current prediction block calculated using the adjusted motion vector, and generates predicted image data.
  • FIG. 18 is a flowchart illustrating the operation of the image decoding apparatus.
  • the image decoding device When the decoding process is started, the image decoding device performs a storage process in step ST31.
  • the storage buffer 61 of the image decoding device 50 receives and stores the transmitted coded stream.
  • the image decoding device performs a lossless decoding process.
  • the lossless decoding unit 62 of the image decoding device 50 decodes the encoded stream supplied from the storage buffer 61.
  • the lossless decoding unit 62 parses information included in the decoding result of the encoded stream and supplies the information to a necessary block.
  • the lossless decoding unit 62 outputs fisheye information and intra prediction information to the intra prediction unit 73, and outputs fisheye information and inter prediction information to the motion compensation unit 74.
  • the image decoding device performs a predicted image generation process.
  • the intra prediction unit 73 or the motion compensation unit 74 of the image decoding device 50 performs a predicted image generation process in accordance with the intra prediction information and the inter prediction information supplied from the lossless decoding unit 62.
  • the intra-prediction unit 73 uses the distortion table corresponding to the position of the pixel to be processed. Data is generated, and when the coded stream indicates a normal image, predicted image data is generated in the optimal intra prediction mode using the basic table.
  • the motion compensation unit 74 performs a motion compensation process in the optimal inter prediction mode to generate predicted image data.
  • FIG. 19 is a flowchart illustrating a predicted image generation process of intra prediction.
  • step ST51 the intra prediction unit 73 determines whether fisheye information is included. If the coded stream includes fisheye information, the intra prediction unit 73 proceeds to step ST52. If the coded stream does not include fisheye information, the intra prediction unit 73 determines that the stream is a coded stream of a normal image, and proceeds to step ST54.
  • step ST52 the intra prediction unit 73 determines whether the image is a fisheye image.
  • the intra prediction unit 73 proceeds to step ST53 when the fisheye information included in the encoded stream indicates that the image is a fisheye image, and indicates that the image is not a fisheye image, that is, a normal image.
  • the process proceeds to step ST54.
  • step ST53 the intra prediction unit 73 acquires a distortion table.
  • the intra prediction unit 73 acquires a distortion table corresponding to the position of the processing target block with respect to the fisheye center, and proceeds to step ST55.
  • step ST54 the intra prediction unit acquires a basic table.
  • the intra prediction unit 73 acquires the basic table because the input image is a normal image, and proceeds to step ST55.
  • the intra prediction unit performs a predicted image data generation process.
  • the intra prediction unit 73 uses the reference image data read from the frame memory 71 and the distortion table obtained in step ST53 or the basic table obtained in step ST54 to generate the predicted image data in the optimal intra prediction mode indicated by the intra prediction information.
  • Generate The intra prediction unit 41 outputs the generated predicted image data to the calculation unit 65.
  • the image decoding device performs an inverse quantization process.
  • the inverse quantization unit 63 of the image decoding device 50 inversely quantizes the quantized data obtained by the lossless decoding unit 62 using a method corresponding to the quantization method of the quantization unit 24 in FIG. To the inverse orthogonal transform unit 64.
  • the image decoding device performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 64 of the image decoding device 50 performs the inverse orthogonal transform using a method corresponding to the orthogonal transform method of the orthogonal transform unit 23 in FIG. 1, and corresponds to residual data before the orthogonal transform in the image encoding device 10.
  • the decoding residual data is obtained and output to the calculation unit 65.
  • step ST36 the image decoding device performs an image addition process.
  • the calculation unit 65 of the image decoding device 50 adds the prediction image data generated by the intra prediction unit 73 or the motion compensation unit 74 in step ST33 and the decoding residual data supplied from the inverse orthogonal transform unit 64 to obtain a decoded image. Generate data.
  • the operation unit 65 outputs the generated decoded image data to the deblocking filter 66 and the frame memory 71.
  • the image decoding device performs a deblocking filter process.
  • the deblocking filter 66 of the image decoding device 50 performs a deblocking filter process on the image output from the calculation unit 65. As a result, block distortion is removed.
  • the decoded image from the deblocking filter 66 is output to the SAO filter 67.
  • the image decoding device performs an SAO process.
  • the SAO filter 67 of the image decoding device 50 performs the SAO processing on the image after the filtering by the deblocking filter 66 using the parameters related to the SAO processing supplied from the lossless decoding unit 62.
  • the SAO filter 67 outputs the decoded image data after the SAO processing to the screen rearrangement buffer 68 and the frame memory 71.
  • the image decoding device performs a storage process.
  • the frame memory 71 of the image decoding device 50 stores the decoded image data before the filtering process supplied from the arithmetic unit 65 and the decoded image data that has been subjected to the filtering process by the deblocking filter 66 and the SAO filter 67.
  • step ST40 the image decoding device performs a screen rearrangement process.
  • the screen rearrangement buffer 68 of the image decoding device 50 accumulates the decoded image data supplied from the SAO filter 67, and stores the decoded image data before it is rearranged by the screen rearrangement buffer 21 of the image encoding device 10. Output in display order.
  • the encoded stream generated by the image encoding device 10 described above can be decoded, and the fisheye image output by the image encoding device 10 can be output from the image decoding device 50.
  • a prediction mode in directional prediction is selectively used in intra prediction.
  • a prediction mode to be selected is determined according to the distortion of the fisheye image.
  • the image encoding device according to the second embodiment has the same configuration as the image encoding device according to the first embodiment illustrated in FIG. 1, and the operations of the lossless encoding unit 25 and the intra prediction unit 41 are different. .
  • the lossless encoding unit 25 performs a lossless encoding process of the quantized data input from the quantization unit 24 for each CTU, for example, a lossless encoding process of CABAC (Context-Adaptive Binary Arithmetic Coding). Further, the lossless encoding unit 25 acquires fisheye information, parameters of the prediction mode selected by the prediction selection unit 43, for example, information indicating an intra prediction mode, or information indicating an inter prediction mode and motion information. Further, the lossless encoding unit 25 acquires a parameter related to a filtering process from the SAO filter 35 described later. Further, block information indicating how to set the CTU, CU, TU, and PU in the image is obtained.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the lossless encoding unit 25 encodes the quantized data, and sets each parameter relating to the acquired encoding process to H.264. As a syntax element of the H.265 / HEVC standard, it is stored in the storage buffer 26 as a part of the header information of the encoded stream.
  • the lossless encoding unit 25 includes the fisheye information input to the image encoding device 10 as a syntax element of the encoded stream or as SEI (Supplemental Enhancement Information), which is additional information, in the encoded stream.
  • the intra prediction unit 41 is configured similarly to the intra prediction unit of the first embodiment shown in FIG. 2, and the intra prediction mode table selected by the table selection unit is different from that of the first embodiment.
  • the block position calculation unit 411 calculates the position of the processing target block with respect to the fisheye center, and outputs position information indicating the calculated position to the table selection unit 412.
  • the table selection unit 412 sends the intra prediction mode table in which the prediction mode is selected according to the position of the processing target block with respect to the fisheye center based on the position information to the prediction image generation unit 413. Output.
  • the table selection unit 412 outputs a predetermined intra prediction mode table to the predicted image generation unit 413.
  • the predicted image generation unit 413 uses the reference image data read from the frame memory 36 via the selection unit 37 to predict all prediction modes indicated in the intra prediction mode table supplied from the table selection unit 412. Generate image data. Further, the predicted image generation unit 413 generates predicted image data of each prediction mode for each predicted block size using the processing target block as a predicted block size. The predicted image generation unit 413 outputs the generated predicted image data to the optimal mode determination unit 414.
  • the optimal mode determination unit 414 calculates a cost function value using the original image data supplied from the screen rearrangement buffer 21, the prediction block size, and the prediction image data of each prediction mode. Further, the optimal mode determination unit 414 determines the combination of the intra prediction mode and the prediction block size in which the cost function value is minimum, that is, the compression ratio is the highest, as the optimal intra prediction mode and the optimal size of the prediction block. Intra prediction information having table information indicating the intra prediction mode table selected when the optimum size and the input image are fisheye images is generated. The optimal mode determination unit 414 outputs the prediction image data and the intra prediction information generated in the optimal intra prediction mode, and the cost function value in the optimal intra prediction mode and the optimal size to the prediction selection unit 43.
  • intra prediction table Since the fisheye image is distorted in the direction of the fisheye center, a characteristic that the prediction directions are dense in the circumferential direction is generated as shown in FIG. In addition, as the distance from the center of the fisheye increases, the degree of crowding increases. Therefore, in the second embodiment, an intra prediction mode table (hereinafter, referred to as a “selection table”) in which a prediction mode is selected from the prediction modes of the basic table in accordance with the direction of congestion and the degree of congestion is generated in advance. By performing the intra prediction using the selection table corresponding to the position of the processing target block, the intra prediction is performed more efficiently than when the basic table is used.
  • selection table an intra prediction mode table in which a prediction mode is selected from the prediction modes of the basic table in accordance with the direction of congestion and the degree of congestion is generated in advance.
  • the selection table is generated according to the direction of the processing target block with respect to the fisheye center or the distance from the direction and the fisheye center to the processing target block.
  • FIG. 20 illustrates an operation when the selection table is generated based on the direction of the processing target block with respect to the fisheye center.
  • the angle ⁇ is a value represented by Expression (8) as described above.
  • the angle ⁇ d in the circumferential direction is represented by Expression (13).
  • ⁇ > 180 ° the angle ⁇ d in the circumferential direction is point-symmetric with respect to the fisheye center Pg.
  • ⁇ d ( ⁇ ⁇ 90 °) (13)
  • the prediction mode of the base table is generated by selecting the intra prediction mode in the direction of angle theta d as densely direction.
  • FIG. 21 illustrates the direction of the processing target block with respect to the fisheye center and the selection result of the prediction mode.
  • the selection table is generated based on the direction of the processing target block with respect to the fisheye center and the distance from the fisheye center to the processing target block will be described.
  • the intra prediction unit 41 Intra prediction is performed using a selection table in which a prediction mode is selected so that the degree of crowding increases as the distance from the center increases.
  • FIG. 22 illustrates an operation in the case where the selection table is generated based on the direction of the processing target block with respect to the fisheye center and the distance from the fisheye center.
  • the position Pa of the processing target block is a distance GA with respect to the fisheye center Pg
  • the distance GA has a value represented by Expression (14).
  • the prediction mode of the base table is generated by selecting the intra prediction mode table as dense degree with the distance GA is longer in the direction of angle theta d as densely direction becomes high.
  • FIG. 23 illustrates the selection result of the prediction mode according to the direction of the processing target block with respect to the fisheye center and the distance from the fisheye center to the processing target block.
  • the distance GA from the center of the fisheye to the position Pa3-1 of the processing target block is L1.
  • the distances GA from the fisheye center to the positions Pa3-2, Pa3-3, and Pa3-4 of the processing target block are L2 (> L1), L3 (> L2), and L4 (> L3).
  • L1 is a short distance
  • prediction modes are selected at equal intervals, and for example, directional predictions 2, 6, 10, 14, 18, 22, 26, 30, and 34 are selected.
  • the prediction mode is selected such that the circumferential direction based on the direction of the processing target block with respect to the fisheye center is the dense direction, and the degree of denseness increases as the distance of the processing target block from the fisheye center increases. If the selection table is generated in this way, the intra prediction can be performed more efficiently than in the case where the reference table is used. Further, a selection table of a prediction mode corresponding to a fisheye image can be generated rather than a selection table generated based on the direction of the processing target block with respect to the fisheye center.
  • the intra prediction Processing cost increases. If the selection table is generated and stored in advance for each position, the processing cost can be reduced, but the memory capacity for storing the selection table increases. Therefore, the fisheye image is divided into regions, a selection table is prepared in advance for each region, and the processing cost and the memory capacity of the intra prediction are reduced by using the selection table corresponding to the region to which the processing target block belongs. .
  • ⁇ Area division of the fisheye image is performed in the radial direction based on the correction rate and based on the center of the fisheye image, for example, as in the first embodiment.
  • the number of sections (also referred to as the number of layers) of the fisheye image is set in accordance with a change in the correction rate in the radial direction from the center of the fisheye image. As the size increases, the number of layers increases. Further, since the strength of distortion is equal at a point symmetrical position with respect to the center of the fisheye image, the region is divided in the circumferential direction using a straight line passing through the center of the fisheye image as a boundary of the region.
  • an intra prediction mode table indicating a plurality of predetermined prediction modes selected in the above may be used.
  • a selection table of the index corresponding to the pixel position can be used according to which area the pixel position of the fisheye image belongs to. To do. Further, since the strength of distortion is equal at a point symmetric position with respect to the center of the fisheye image, the same index is assigned to a region at a point symmetric position with respect to the center of the fisheye image.
  • a selection table group including a selection table corresponding to each area may be provided for each fisheye lens used for generating a fisheye image.
  • the selection table group for each fisheye lens may be stored in the image encoding device in advance, or may be supplied to the image encoding device together with the fisheye information and the like.
  • the encoding operation of the image encoding device according to the second embodiment is the same as the operation of the image encoding device according to the first embodiment shown in FIG. 14, except for the intra prediction processing in step ST2.
  • FIG. 24 is a flowchart showing the intra prediction processing.
  • the intra prediction unit determines whether the input image is a fisheye image.
  • the intra prediction unit 41 of the image encoding device 10 proceeds to step ST62 when determining that the input image is a fish-eye image based on the fish-eye information, and determines that the input image is not a fish-eye image when determining that the input image is not a fish-eye image.
  • the process proceeds to step ST64 assuming that the image is a normal image.
  • step ST62 the intra prediction unit calculates a block position.
  • the intra prediction unit 41 calculates the direction of the processing target block with respect to the fisheye center, or the distance between the direction and the fisheye center to the processing target block, and proceeds to step ST63.
  • the intra prediction unit 41 acquires a selection table according to the block position.
  • the intra prediction unit 41 acquires a selection table corresponding to the direction.
  • the intra prediction unit 41 acquires a selection table corresponding to the direction and the distance. Note that the reference table may be selected as the selection table because the distortion is small at a position close to the fisheye center.
  • the intra prediction unit 41 acquires a selection table according to the position of the processing target block, and proceeds to step ST65.
  • step ST64 the intra prediction unit acquires a basic table.
  • the intra prediction unit 41 acquires the basic table because the input image is a normal image, and proceeds to step ST65.
  • the intra prediction section performs an optimal intra prediction mode selection process.
  • the intra prediction unit 41 performs intra prediction in the prediction mode indicated by the reference image data read from the frame memory 36 and the selection table obtained in step ST63 or the basic table obtained in step ST64, and generates predicted image data.
  • the intra prediction unit 41 calculates a cost function value using the generated predicted image data and original image data. Note that decoded image data that has not been filtered by the deblocking filter 34 or the like is used as reference image data.
  • the intra prediction unit 41 selects the optimal intra prediction mode based on the calculated cost function value, and predicts prediction image data, parameters, and cost function values generated by intra prediction in the optimal intra prediction mode. Output to
  • the prediction mode is selected from the basic table and the encoding process is performed as described above. Therefore, in the image decoding device, even if the input image is a fisheye image, In the same way as described above, if intra prediction is performed in the prediction mode indicated by the encoded stream to generate predicted image data, a fisheye image can be reproduced.
  • the prediction mode in the directional prediction is selectively used in the intra prediction, the intra prediction can be performed more efficiently than in the case where all the prediction modes are used. become. Furthermore, when the input image is a fisheye image, the prediction mode is selected according to the distortion of the fisheye image, so that the prediction mode is selected without considering the distortion of the fisheye image, Encoding efficiency can be improved.
  • the image processing device of the present technology can be applied to, for example, an imaging device that captures a moving image using a fisheye lens.
  • the image encoding device 10 is provided in the imaging device, the fisheye image can be efficiently encoded, and the encoded stream can be recorded on a recording medium or output to an external device.
  • the image decoding device 50 is provided in the imaging device, the encoded stream can be decoded to record and reproduce the fisheye image.
  • an imaging device provided with the image encoding device 10 may be, for example, an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), and the like.
  • the image processing device of the present technology is installed in a portable electronic device that has a function of capturing a moving image using a fisheye lens, the amount of data when recording a fisheye image on a recording medium can be reduced more than before. It is possible to do.
  • an image processing device that performs a decoding process is provided in an image reproducing device, a spherical image can be displayed on a head-mounted display or the like.
  • the series of processes described in the specification can be executed by hardware, software, or a combination of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer built in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in a hard disk, a solid state drive (SSD), or a read only memory (ROM) as a recording medium in advance.
  • the program is a flexible disk, CD-ROM (Compact Disc Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card Etc., can be temporarily or permanently stored (recorded) in a removable recording medium.
  • a removable recording medium can be provided as so-called package software.
  • the program may be installed on the computer from a removable recording medium, or may be wirelessly or wired transferred from the download site to the computer via a network such as a local area network (LAN) or the Internet.
  • the computer can receive the program thus transferred and install it on a recording medium such as a built-in hard disk.
  • the image processing device of the present technology can also have the following configuration.
  • An image processing apparatus including an intra prediction unit that performs intra prediction using an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens and generates a predicted image.
  • the intra prediction mode table according to the position of the processing target block is a table in which a plurality of predetermined prediction directions are changed according to the position of the processing target block with respect to the fisheye center of the fisheye image.
  • the image processing device according to (1) is a table in which the prediction direction has been changed based on a correction rate for correcting fisheye distortion occurring at the position of the processing target block.
  • the image processing apparatus according to claim 1.
  • the intra prediction mode table according to the position of the processing target block is a table indicating a prediction direction selected according to the position of the processing target block with respect to the fisheye center of the fisheye image from a plurality of predetermined prediction directions.
  • the image processing device according to (1) (5) The intra prediction mode table corresponding to the position of the processing target block is selected from the plurality of predetermined prediction directions, with a circumferential direction orthogonal to the direction of the processing target block with respect to the fisheye center being a dense direction.
  • the image processing device according to (4) which is a table indicating the predicted direction.
  • the intra prediction mode table corresponding to the position of the processing target block is selected from the plurality of predetermined prediction directions by increasing the degree of crowding as the distance from the fisheye center to the processing target block increases.
  • the image processing apparatus according to (4) or (5) which is a table indicating the predicted direction.
  • (7) dividing the fisheye image into a plurality of regions in a radial direction and a circumferential direction based on a fisheye center of the fisheye image, and providing the intra prediction mode table for each region;
  • the image processing device according to any one of (1) to (6), wherein the intra prediction unit performs intra prediction using an intra prediction mode table corresponding to a region including the processing target block.
  • the image processing device according to any one of (1) to (11), further including, when the input image is a fisheye image, a lossless encoding unit that includes fisheye information in an encoded stream of the input image.
  • the fisheye information includes at least information indicating that the input image is a fisheye image and a fisheye center of the fisheye image.
  • the fisheye information includes information on a fisheye lens used to acquire the fisheye image.
  • the image processing device further comprising a lossless decoding unit for decoding the encoded stream of the fisheye image;
  • the lossless decoding unit parses the fisheye information and the optimal intra prediction mode included in the encoded stream,
  • the intra prediction unit generates a predicted image using an intra prediction mode table corresponding to the position of a processing target block based on the fisheye information obtained by the lossless decoding unit and the optimal intra prediction mode (1) to (11).
  • the image processing device according to any one of the above.
  • the fisheye information includes at least information indicating that the input image is a fisheye image and a fisheye center of the fisheye image, The image processing device according to (15), wherein the intra prediction unit uses an intra prediction mode table corresponding to a position of the processing target block with respect to a fisheye center of the fisheye image.
  • the fisheye information includes information on a fisheye lens used for acquiring the fisheye image, The image processing device according to (16), wherein the intra prediction unit uses information on the fisheye lens and an intra prediction mode table corresponding to a position of the processing target block.
  • intra prediction is performed using an intra prediction mode table corresponding to the position of a processing target block in a fisheye image captured using a fisheye lens, and a predicted image is generated. . Therefore, it is possible to efficiently perform the encoding or decoding processing of the image having the distortion. Therefore, the present invention is suitable for an electronic device, a mobile device, and the like that perform recording, reproduction, transmission, and the like of a fisheye image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Geometry (AREA)

Abstract

ブロック位置算出部４１１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、魚眼中心に対する処理対象ブロックの位置を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。テーブル選択部４１２は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、複数のイントラ予測モードテーブルから、位置情報に基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。予測画像生成部４１３は、テーブル選択部４１２から供給されたイントラ予測モードテーブルとフレームメモリ３６から選択部３７を介して読み出された参照画像データとを用いて方向性予測を行い、イントラ予測モードテーブルで示された予測モードの予測画像データを生成する。歪みを生じた画像の符号化または復号処理を効率よく行える。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関する。
　魚眼レンズを用いて撮影を行うことにより得られた魚眼画像の符号化復号処理では、魚眼レンズよりも画角の狭い標準レンズ等を用いて撮影を行うことにより得られた画像（通常画像）と同様に符号化復号処理を行うことが可能である。しかし、魚眼画像は魚眼歪みすなわち物体が中心から遠ざかるほど中心方向に対して生じた歪みを有する。このため、特許文献１では、レンズの特性に応じて画像の特性を決定し、予め定められた第１のサイズで分割された第１のブロックの画像の特性に基づきブロックサイズを決定して、第１のブロックをさらに決定したブロックサイズで分割して、ブロック毎に予測符号化を行うことで符号化効率の向上がはかられている。
特開２０１５－０５０６６１号公報
　ところで、特許文献１において、画像の特性に基づいたブロックサイズで分割されたブロックの予測符号化は、レンズの特性に応じて決定された画像の特性にかかわらず行われている。このため、分割されたブロックの予測符号化を効率よく行うことができないおそれがある。
　そこで、この技術では歪みを生じた画像の符号化または復号処理を効率よく行うことができる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、
　魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部
を備える画像処理装置にある。
　この技術においては、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じて変更したテーブルでもよく、処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて予測方向が変更したテーブルでもよい。また、処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じて選択した予測方向を示すテーブルでもよく、魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、所定の複数の予測方向から選択した予測方向を示すテーブルでもよく、魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、所定の複数の予測方向から選択した予測方向を示すテーブルでもよい。
　イントラ予測部は、処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成する。また、イントラ予測部は、魚眼画像の魚眼中心を基準として魚眼画像を径方向および周方向に複数の領域に区分して、領域毎にイントラ予測モードテーブルを設けて、イントラ予測部は、処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行ってもよい。区分された領域には、魚眼中心を対象点として点対称の領域に等しいイントラ予測モードテーブルを設ける。また、魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルとする。また、魚眼レンズのレンズ特性に応じて、径方向の領域区分数や径方向の領域区分間隔を設定する。
　また、入力画像が魚眼画像である場合、入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える。魚眼情報は、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含む。また、魚眼情報に、魚眼画像の取得に用いた魚眼レンズに関する情報を含めてもよい。
　また、魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、可逆復号部は、符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、イントラ予測部は、可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する。また、魚眼情報は、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含み、イントラ予測部は、魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。また、魚眼情報は、魚眼画像の取得に用いた魚眼レンズに関する情報を含み、イントラ予測部は、魚眼レンズに関する情報と処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。
　この技術の第２の側面は、
　魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像をイントラ予測部で生成すること
を含む画像処理方法にある。
　この技術によれば、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像が生成される。したがって、歪みを生じた画像の符号化または復号処理を効率よく行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像符号化装置の構成を例示した図である。 イントラ予測部の構成を例示した図である。 魚眼画像と通常画像の歪みの違いを説明するための図である。 魚眼レンズの射影方式を示した図である。 魚眼画像を通常画像に補正するための補正率を射影方式毎に示した図である。 補正率の導出を説明するための図である。 通常画像で用いられるイントラ予測モードテーブルを示す図である。 歪みを生じたイントラ予測モードテーブルを示す図である。 歪テーブルの生成について説明するため図である。 通常画像で用いるイントラ予測モードテーブル（基本テーブル）の予測モードと傾きの関係を示す図である。 イントラ予測の予測方向を説明するための図である。 魚眼画像で用いるイントラ予測モードテーブル（歪テーブル）の予測モードと傾きの関係（θ1＝π／４，Ｋm＝１．３の場合）を示す図である。 魚眼画像の領域区分を説明するための図である。 画像符号化装置の符号化処理動作を例示したフローチャートである。 イントラ予測処理を例示したフローチャートである。 層数＝４の場合の各層における補正率と間隔比率の関係を例示した図である。 画像復号装置の構成を例示した図である。 画像復号装置の動作を例示したフローチャートである。 イントラ予測の予測画像生成処理を示したフローチャートである。 魚眼中心に対する処理対象ブロックの方角に基づいて選択テーブルを生成する場合の動作を例示した図である。 魚眼中心に対する処理対象ブロックの方角と予測モードの選択結果を例示した図である。 魚眼中心に対する処理対象ブロックの方角と魚眼中心からの距離に基づいて選択テーブルを生成する場合の動作を例示した図である。 魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に応じた予測モードの選択結果を例示した図である。 イントラ予測処理を示すフローチャートである。
　以下、本技術を実施するための形態について説明する。本願で開示される範囲は、本明細書および図面に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
　文献１：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017))
　文献２：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016))
　文献３：FVC アルゴリズム解説書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)
　つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、文献１に記載されているQuad-Tree Block Structure、文献３に記載されているQTBT（Quad Tree Plus Binary Tree）やBlock Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、許請求の範囲のサポート要件を満たす。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。
　また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の文献１乃至３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、または、スライス等、任意の部分領域（処理単位）が含まれる。
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合がある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　以下、本技術について以下の順序で説明を行う。
　１．画像処理装置について
　２．第１の実施の形態
　　２－１．画像符号化装置の構成
　　２－２．画像符号化装置の動作
　　　２－２－１．イントラ予測テーブルについて
　　　２－２－２．符号化処理動作について
　　２－３．画像復号装置の構成
　　２－４．画像復号装置の動作
　３．第２の実施の形態
　　３－１．画像符号化装置の構成
　　３－２．画像符号化装置の動作
　　　３－２－１．イントラ予測テーブルについて
　　　３－２－２．符号化処理動作について
　４．応用例
　＜１．画像処理装置について＞
　画像処理装置では、魚眼レンズを用いて撮像を行うことにより取得された動画像（以下「魚眼画像」ともいう）の符号化処理、またはこの符号化処理で生成された符号化ストリームの復号処理を行う。また、画像処理装置は、魚眼歪みを生じないレンズ（以下「通常レンズ」ともいう）を用いて撮像を行うことにより取得された動画像（以下「通常画像」ともいう）の符号化処理、またはこの符号化処理で生成された符号化ストリームの復号処理も行えるようにする。
　＜２．第１の実施の形態＞
　第１の実施の形態では、レンズ歪特性に応じてイントラ予測テーブルを切り替えることで、イントラ予測の符号化効率を向上させる。
　＜２－１．画像符号化装置の構成＞
　図１は、魚眼画像の符号化処理を行う画像符号化装置の構成を例示している。画像符号化装置１０は、予測処理を用いて画像データの符号化を行い、例えばＨ．２６５／ＨＥＶＣ規格に対応した符号化ストリームを生成する。
　画像符号化装置１０は、画面並べ替えバッファ２１、演算部２２、直交変換部２３、量子化部２４、可逆符号化部２５、蓄積バッファ２６、レート制御部２７を有する。また、画像符号化装置１０は、逆量子化部３１、逆直交変換部３２、演算部３３、デブロッキングフィルタ３４、ＳＡＯ（Sample Adaptive Offset）フィルタ３５、フレームメモリ３６、選択部３７を有している。さらに、画像符号化装置１０は、イントラ予測部４１、インター予測部４２、予測選択部４３を有する。
　魚眼画像は、入力画像として画面並べ替えバッファ２１に入力される。また、魚眼画像に関する魚眼情報は、イントラ予測部４１とインター予測部４２、可逆符号化部２５に入力される。魚眼情報では、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含む。例えば入力画像が魚眼画像であることを示すフラグ情報や二次元画像における魚眼中心の位置、魚眼画像の半径等を示す情報を含む。また、魚眼情報には、魚眼画像の取得に用いたレンズに関する情報（例えば射影方式やレンズ名等）を含めてもよい。魚眼画像の取得に用いたレンズに関する情報を入力画像が魚眼画像であることを示す情報として用いてもよい。
　画面並べ替えバッファ２１は、入力画像を記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ２１は、符号化順とされたフレーム画像の画像データ（原画像データ）を、演算部２２へ出力する。また、画面並べ替えバッファ２１は、原画像データをＳＡＯフィルタ３５、イントラ予測部４１およびインター予測部４２へ出力する。
　演算部２２は、画面並べ替えバッファ２１から供給された原画像データから、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを画素毎に減算して、予測残差を示す残差データを直交変換部２３へ出力する。
　例えば、イントラ符号化が行われる画像の場合、演算部２２は原画像データからイントラ予測部４１で生成された予測画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部２２は原画像データからインター予測部４２で生成された予測画像データを減算する。
　直交変換部２３は、演算部２２から供給される残差データに対して直交変換処理を行う。例えば直交変換部２３は、各ＣＴＵ（Coding　Tree　Unit）内に設定される１つ以上のＴＵの各々について、離散コサイン変換または離散サイン変換あるいはカルーネン・レーベ変換等の直交変換を行う。直交変換部２３は、直交変換処理を行うことにより得られた周波数領域の変換係数を量子化部２４へ出力する。
　量子化部２４は、直交変換部２３が出力する変換係数を量子化する。量子化部２４は、変換係数の量子化データを可逆符号化部２５へ出力する。また、量子化部２４は、生成した量子化データを逆量子化部３１にも出力する。
　可逆符号化部２５は、各ＣＴＵについて量子化部２４から入力される量子化データの可逆符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）の可逆符号化処理を行う。また、可逆符号化部２５は、予測選択部４３で選択された予測モードに関する情報、例えばイントラ予測情報やインター予測情報などを取得する。さらに、可逆符号化部２５は、後述するＳＡＯフィルタ３５からフィルタ処理に関するフィルタ情報を取得する。さらに、画像にＣＴＵ、ＣＵ、ＴＵおよびＰＵをどのように設定すべきかを示すブロック情報を取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した符号化処理に関するパラメータ情報をＨ．２６５／ＨＥＶＣ規格のシンタックス要素として、符号化ストリームのヘッダ情報の一部として蓄積バッファ２６に蓄積させる。また、可逆符号化部２５は、画像符号化装置１０に入力された魚眼情報を、符号化ストリームのシンタックス要素として、あるいは付加情報であるＳＥＩ(Supplemental Enhancement Information）として符号化ストリームに含める。
　蓄積バッファ２６は、可逆符号化部２５から供給されたデータを一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。
　レート制御部２７は、蓄積バッファ２６に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２４の量子化動作のレートを制御する。
　逆量子化部３１は、量子化部２４から供給された変換係数の量子化データを、量子化部２４で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データを、逆直交変換部３２へ出力する。
　逆直交変換部３２は、供給された逆量子化データを、直交変換部２３で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復元された残差データを、演算部３３へ出力する。
　演算部３３は、逆直交変換部３２から供給された残差データに、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを加算し、局部的に復号された画像（復号画像）を得る。例えば、残差データが、イントラ符号化が行われる画像に対応する場合、演算部３３は、その残差データにイントラ予測部４１から供給される予測画像データを加算する。また、例えば、残差データが、インター符号化が行われる画像に対応する場合、演算部３３は、その残差データにインター予測部４２から供給される予測画像データを加算する。加算結果である復号画像データは、デブロッキングフィルタ３４へ出力される。また、復号画像データは参照画像データとしてフレームメモリ３６へ出力される。
　デブロッキングフィルタ３４は、適宜デブロッキングフィルタ処理を行うことにより復号画像データのブロック歪を除去する。デブロッキングフィルタ３４は、そのフィルタ処理結果をＳＡＯフィルタ３５へ出力する。
　ＳＡＯフィルタ３５は、デブロッキングフィルタ３４によるフィルタ後の復号画像データに対して、適応オフセットフィルタ処理（ＳＡＯ（Sample Adaptive Offset）処理ともいう）を行う。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像をフレームメモリ３６へ出力する。
　フレームメモリ３６に蓄積されている参照画像データは、所定のタイミングで選択部３７を介してイントラ予測部４１またはインター予測部４２に出力される。例えば、イントラ符号化が行われる画像の場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われていない参照画像データが読み出されて、選択部３７を介してイントラ予測部４１へ出力される。また、例えば、インター符号化が行われる場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われている参照画像データが読み出されて、選択部３７を介してインター予測部４２へ出力される。
　イントラ予測部４１は、入力画像が魚眼レンズを用いて撮像した魚眼画像である場合、魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行う。処理対象ブロックの位置は、処理対象ブロック内の左上画素の位置とする。また、入力画像が通常画像である場合、所定のイントラ予測モードテーブルを用いてイントラ予測を行う。
　図２は、イントラ予測部４１の構成を例示している。イントラ予測部４１は、ブロック位置算出部４１１とテーブル選択部４１２と予測画像生成部４１３および最適モード決定部４１４を有している。
　ブロック位置算出部４１１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、魚眼中心に対する処理対象ブロックの位置（処理対象ブロック内の左上画素の位置）を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。
　テーブル選択部４１２は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、外部から供給されたあるいは予め記憶されている複数のイントラ予測モードテーブルから、位置情報に基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、魚眼レンズのレンズ特性（例えば射影方式）毎にイントラ予測モードテーブルが設けられる場合、魚眼情報で示されたレンズ特性と処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、入力画像が通常画像である場合、所定の複数の予測方向を方向性予測の予測モードとするイントラ予測モードテーブル（以下「基本テーブル」ともいう）を予測画像生成部４１３へ出力する。
　予測画像生成部４１３は、テーブル選択部４１２から供給されたイントラ予測モードテーブルとフレームメモリ３６から選択部３７を介して読み出された参照画像データとを用いて方向性予測を行い、イントラ予測モードテーブルで示された全ての予測モードの予測画像データを生成する。また、予測画像生成部４１３は、処理対象ブロックを予測ブロックサイズとして予測モード毎の予測画像データの生成を、予測ブロックサイズ毎に行う。予測画像生成部４１３は、生成した予測画像データを最適モード決定部４１４へ出力する。
　最適モード決定部４１４は、画面並べ替えバッファ２１から供給された原画像データと、予測ブロックサイズ毎および予測モード毎の予測画像データを用いてコスト関数値を算出する。さらに、最適モード決定部４１４は、コスト関数値が最小となる即ち圧縮率が最も高くなるイントラ予測モードと予測ブロックサイズの組み合わせを最適イントラ予測モードおよび最適予測ブロックサイズとして、最適イントラ予測モード等を示すイントラ予測情報を生成する。最適モード決定部４１４は、最適イントラ予測モードおよび最適予測ブロックサイズで生成された予測画像データとコスト関数値、およびイントラ予測情報を予測選択部４３へ出力する。
　図１に戻り、インター予測部４２は、原画像データおよび復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてインター予測処理（動き検出および動き補償）を実行する。例えば、インター予測部４２は、例えばＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差および発生する符号量に基づくコスト関数値を評価する。また、インター予測部は、入力画像が通常画像と異なる魚眼画像であることを魚眼情報に基づき判別した場合、魚眼画像に応じて例えばカレント予測ブロックに隣接する周辺ブロックの動きベクトルをスケーリング処理する。インター予測部４２は、周辺ブロックのスケーリング処理後の動きベクトルを用いて予測動きベクトルを生成する。また、インター予測部４２は、カレント予測ブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成して、コスト関数値の算出に用いる。次に、インター予測部４２は、コスト関数値が最小となる予測モード、すなわち圧縮率が最も高くなる予測モードを、最適インター予測モードとして選択する。また、インター予測部４２は、コスト関数値が最小となる差分ベクトルや予測動きベクトルを示す動き情報等を含むインター予測情報を生成する。インター予測部２は、最適インター予測モードと最適予測ブロックで生成された予測画像データとコスト関数値、およびインター予測情報を予測選択部４３へ出力する。
　予測選択部４３は、イントラ予測部４１およびインター予測部４２から入力されるコスト関数値の比較に基づいて、ＣＴＵ又はＣＵ等毎に予測モードを設定する。予測選択部４３は、イントラ予測モードを設定したブロックについては、イントラ予測部４１により生成される予測画像データを演算部２２，３３へ出力すると共に、イントラ予測情報を可逆符号化部２５へ出力する。また、予測選択部４３は、インター予測モードを設定したブロックについては、インター予測部４２により生成される予測画像データを演算部２２，３３へ出力すると共に、インター予測情報を可逆符号化部２５へ出力する。
　＜２－２．画像符号化装置の動作＞
　＜２－２－１．イントラ予測テーブルについて＞
　次に、イントラ予測部４１で用いるイントラ予測テーブルについて説明する。図３は、魚眼画像と通常画像の歪みの違いを説明するための図である。被写体ＯＢは、例えば半径が等間隔で相違する同心円であり、同心円の中心を中央位置として被写体ＯＢを通常レンズまたは魚眼レンズを用いて撮像する。図３の（ａ）は、通常レンズを用いて取得された通常画像、図３の（ｂ）は、魚眼レンズを用いて取得された魚眼画像を示している。
　通常画像における被写体ＯＢの同心円は、半径が等間隔で相違した状態として示される。しかし、魚眼画像は、中心から距離が離れるほど中心に向かう歪みが大きくなるという特徴を有しており、被写体ＯＢの同心円は、中心から離れるに伴い半径の間隔が狭くなる。また、歪みは中心方向にのみ生じているため、円の中心とレンズの中心が一致している場合、形は真円のままである。こういった魚眼レンズの特徴は、どのような射影方式を採用している魚眼レンズでも変わらない。したがって、歪みの度合いに基づき魚眼画像を通常画像へ補正することが可能となる。ここで、魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率を「Ｋ」とすると、補正率Ｋは式（１）および式（２）の特徴を有する。なお、式（１）は補正率Ｋが魚眼の中心からの距離ｒの関数であることを示しており、式（２）は魚眼画像を通常画像に変換すると、絵柄が伸張されることを示している。
　　Ｋ＝Ｆ（ｒ）　　・・・（１）
　　Ｋ＞１　　　　　・・・（２）
　補正率Ｋは、例えば魚眼画像と通常画像の特性式に基づき決定できる。図４は魚眼レンズの射影方式を示している。図４の（ａ）は正射影方式であり、入射角αで入射した光と入射された光が投影される位置ｙの関係（特性式）は、式（３）で示すことができる。なお、「ｆ」は魚眼レンズの焦点距離である。
　　ｒ＝ｆ・ｓｉｎα　　・・・（３）
　図４の（ｂ）は等距離射影方式であり、特性式を式（４）に示す。
　　ｒ＝ｆ・α　　　　　・・・（４）
　図４の（ｃ）は立体射影方式であり、特性式を式（５）に示す。
　　ｒ＝２ｆ・ｔａｎ（α／２）　　・・・（５）
　図４の（ｄ）は等立体角射影方式であり、特性式を式（６）に示す。
　　ｒ＝２ｆ・ｓｉｎ（α／２）　　・・・（６）
　なお、魚眼歪みを生じないレンズ（以下「通常レンズ」という）の射影方式は、図４の（ｅ）に示す中心射影方式であり、特性式は式（７）である。
　　ｒ＝ｆ・ｔａｎα　　　・・・（７）
　魚眼レンズによる被写体像の射影により生じた魚眼歪みを補正するための補正率は、魚眼レンズと通常レンズの特性式に基づいて算出できる。例えば、焦点距離や撮像条件が同一で、レンズだけを変更した場合、補正率Ｋを式（１）に示すように魚眼の中心からの距離ｒの関数とするため、αを媒介変数として、魚眼レンズの中心からの距離ｒ(α)と通常レンズの中心からの距離Ｒ（α）と補正率Ｋ（α）の対応付けを行う。すなわち、補正率Ｋ＝通常レンズの特性式／魚眼レンズの特性式とする。
　図５は、魚眼画像を通常画像に補正するための補正率を射影方式毎に示している。例えば正射影方式の補正率は「１／ｃｏｓα」となる。また、等距離射影方式の補正率は「ｔａｎα／α」、立体射影方式の補正率は「ｔａｎα／（２・ｔａｎ（α／２））」、等立体角射影方式の補正率は「ｔａｎα／（２・ｓｉｎ（α／２））となる。
　図６は、補正率の導出を説明するための図である。図６の（ａ）に示すように、入射角αを０≦α≦９０°の範囲で変化させ、その際の魚眼レンズと通常レンズの特性式の値（以下「特性値」という）を記録する。そして、補正前の特性値をｒ０とし、補正後の特性値をｒ１とすると、補正率（ｒ１／ｒ０）は、図６の（ｂ）に示す特性となる。なお、入射角が０°である場合の補正率は（０／０）となるため定義されないが、魚眼レンズの中心では通常レンズを用いた場合に対する歪みが小さいことから補正率を「１」とする。この図６の（ａ）と図６の（ｂ）の結果に基づき、特性値ｒ０を基準として補正率（ｒ１／ｒ０）を示すと、特性値ｒ０に対する補正率（ｒ１／ｒ０）の関係は図６の（ｃ）に示す特性となる。また、特性値は焦点距離ｆによって異なることから、特性値ｒ０の範囲を「０」から「１」までの範囲に正規化すれば、特性値ｒ０を正規化した補正率と焦点距離に基づき所望の特性値ｒ０に対する補正率（ｒ１／ｒ０）を取得できる。なお、補正率は上述の方法に限らず他の方法を用いて算出してもよい。
　イントラ予測において、通常画像は特定の方向特性を持たないことから、図７のように、処理対象ブロックの位置がいずれの位置であっても、所定の複数の予測方向を方向性予測の予測モードとしたイントラ予測モードテーブル（基本テーブル）が用いられている。しかし、魚眼画像は上述のように歪みが存在するため方向特性を有する。したがって、歪特性を考慮して魚眼の中心からの方向と距離に応じて基本テーブルを歪ませる方向および強さ変更して、図８に示す歪みを生じさせたイントラ予測モードテーブル（以下「歪テーブル」ともいう）の予測モードを用いて魚眼画像の絵柄に忠実なイントラ予測を行い、基本テーブルを用いた場合に比べて符号化効率の向上を可能とする。なお、図８では、魚眼中心に向かって基本テーブルを圧縮されることで予測方向の粗密が発生する様子を例示しており、圧縮状態を容易に把握できるようにイントラ予測では必要とされていないベクトルの長さも圧縮に応じて調整している。
　次に図９を用いて歪テーブルの生成について説明する。魚眼画像における処理対象ブロックの位置Ｐm（ｘ，ｙ）の歪テーブルを生成する場合、魚眼の中心Ｐg（ｘg,ｙg）からみた位置Ｐm（ｘ，ｙ）の方向を特定する。具体的には、図９に示すように、魚眼の中心Ｐg（ｘg,ｙg）からみた位置Ｐm（ｘ，ｙ）の方向を示す角度θを式（８）に基づいて算出する。
　ｔａｎθ＝（ｙ－ｙg）／（ｘ－ｘg）　・・・（８）
　図１０は、通常画像で用いるイントラ予測モードテーブル（基本テーブル）の予測モードと傾きの関係を示している。図１０の（ａ）は予測モード毎の参照方向を示しており、図１０の（ｂ）では予測モードの参照方向（傾き）を角度とtanβで予測モード毎に示している。
　図１１はイントラ予測の予測方向を説明するための図である。図１１の（ａ）は、基本テーブルを用いた場合の予測方向を示している。予測方向ｔａｎβは、魚眼中心Ｐg（ｘg,ｙg）を基準とした位置Ｐm（ｘ，ｙ）の傾きθ1と、傾きθ1を基準とした差分θ2に分けることができる。すなわち「θ＝θ1＋θ2」となる。また、予測方向の傾きは線分ＣＭを基準にして、水平成分であるｃｏｓθ2と、垂直成分であるｓｉｎθ2に成分分解できる。
　図１１の（ｂ）は、歪テーブルを用いる場合を示している。魚眼画像における位置Ｐm（ｘ，ｙ）を通常画像へ変化する場合の補正率を「Ｋm」とすると、歪テーブルの予測方向ｔａｎβdは、魚眼中心Ｐg（ｘg,ｙg）を基準とした位置Ｐm（ｘ，ｙ）の傾きθ1に、傾きθ1を基準とした差分φを加えればよい。ここで、傾きθ1を基準とした水平成分は、基本テーブルと比べて１／Ｋm倍に圧縮されていることから、ｔａｎφは式（９）となる。
　ｔａｎφ＝Ｋm・ｓｉｎθ2／ｃｏｓθ2＝Ｋm・ｔａｎθ2　　・・・（９）
　すなわち基本テーブルのｔａｎ（θ1＋θ2）からｔａｎ（θ1＋φ）を式（１０）に基づき算出することで、位置Ｐm（ｘ，ｙ）に対応する歪テーブルを生成できる。なお、式（１０）においてパラメータａは式（１１）で算出される値であり、パラメータｂは式（１２）で算出される値である。
　ｔａｎ（θ1＋φ）＝（ｂａ２＋（１－Ｋm）ａ＋Ｋmｂ）
　　　　　　　　　　　／（Ｋmａ２＋（１－Ｋm）ｂａ＋１）・・・（１０）
　ａ＝ｔａｎθ1＝（ｙ－ｙg）／（ｘ－ｘg）　・・・（１１）
　ｂ＝ｔａｎ（θ1＋θ2）　　　　　　　　　・・・（１２）
　図１２は、魚眼画像で用いるイントラ予測モードテーブル（歪テーブル）の予測モードと傾きの関係（θ1＝π／４，Ｋm＝１．３の場合）を示している。図１２の歪テーブルでは、図１０に示す基本テーブルに対して、予測方向が１３５°に近づくに伴い密になるように変更されている。
　以上のような処理を行えば、処理対象ブロックの位置に応じたイントラ予測モードテーブル（歪テーブル）を処理対象ブロックの位置における補正率と所定のイントラ予測モードテーブル（基準テーブル）に基づき生成できる。
　ところで、イントラ予測を行う処理対象ブロックの位置（補正率）に基づいて歪テーブルを生成すると方向性予測の処理コストが大きくなってしまう。また、位置毎に歪テーブルを予め生成して記憶させておく場合、処理コストを抑えることができるが、歪テーブルを記憶するためのメモリ容量が大きくなってしまう。したがって、魚眼画像の領域分けを行い、領域毎に予め歪テーブルを用意して、イントラ予測部４１では、処理対象ブロックが属する領域に対応する歪テーブルを用いることで方向性予測の処理コストやメモリ容量を抑える。
　図１３は、魚眼画像の領域区分を説明するための図である。魚眼画像の領域区分は補正率に基づいて行う。補正率は、魚眼画像の中心からの距離が等しければ等しくなる。したがって、魚眼画像は、魚眼画像の中心を基準として径方向に区分される。また、魚眼画像の区分数（層数ともいう）は、魚眼画像の中心から径方向の補正率の変化、すなわち、魚眼レンズのレンズ特性に応じて設定して、例えば径方向の所定距離に対する補正率変化の最大値が大きくなるに伴い層数を大きくする。
　図１３の（ａ）（ｂ）は、補正率に応じて魚眼画像を複数領域に区分した場合を例示している。魚眼画像の中心から径方向の補正率の変化が緩やかである場合、層数を所定数（図１３の（ａ）では層数を「４」）とする。また、魚眼画像の中心から径方向の補正率の変化が急峻である場合、補正率の変化が緩やかである場合に比べて層数を増加する（図１３　の（ｂ）では層数を「５」）。
　このように、魚眼画像の中心から径方向の補正率の変化に応じて径方向の領域区分数を調整すれば、領域内における補正率の変化が大きくなってしなうことを防ぐことが可能となる。
　また、魚眼画像の中心を基準として点対称の位置（対角の位置）では歪みの強さが等しい。したがって、魚眼画像の領域区分では、魚眼画像の中心を通過する直線を領域の境界として、周方向に領域を区分する。なお、魚眼画像の中心を含む領域は歪みが少ないことから、周方向に領域を区分しなくともよく、イントラ予測モードテーブルとして基本テーブルを用いるようにしてもよい。
　図１３の（ｃ）（ｄ）は、魚眼画像を径方向と周方向に領域区分した場合を例示している。なお、図１３の（ｃ）（ｄ）では周方向を８つに区分した場合を例示している。区分された領域については、対応する歪テーブルのインデックス（table_idx）をテーブル情報として付与することで、魚眼画像の画素位置がいずれの領域に属しているかに応じて、画素位置に対応するテーブル情報によって、対応する歪テーブルを選択可能とする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を基準として点対称の位置にある領域は同じインデックスを付与する。
　各領域に対応する歪テーブルは、領域毎に傾きθ1と補正率Ｋmを設定して、図１１の（ｂ）を用いて説明したように生成する。例えばインデックスtable_idx＝１０である領域は周方向の中心が角度４５°であり、例えば径方向の中心の補正率が「１．３」である場合、傾きをθ1＝４５°として補正率をＫm＝１．３として算出した図１２に示す歪テーブルを、インデックスtable_idx＝１０である領域に対応する歪テーブルとする。
　このように、魚眼画像の領域区分を行い、区分された領域毎に歪テーブルを設けて、イントラ予測では、処理対象ブロックが属する領域に対応するインデックスの歪テーブルを用いる。
　さらに、魚眼レンズには図４に示すように複数の射影方式があり、射影方式によって図５のように補正率が異なる。したがって、魚眼レンズのレンズ特性（例えば射影方式）毎および領域毎に歪テーブルを設けて、魚眼情報で示された魚眼レンズのレンズ特性と処理対象ブロックの位置に応じた歪テーブルを選択するようにしてもよい。魚眼レンズ毎のレンズ特性毎および領域毎の歪テーブルは、予めイントラ予測部４１のテーブル選択部４１２に記憶させてもよく、魚眼情報等と共にテーブル選択部４１２へ供給してもよい。
　＜２－２－２．符号化処理動作について＞
　次に、符号化処理動作について説明する。図１４は、画像符号化装置の符号化処理動作を例示したフローチャートである。
　ステップＳＴ１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０の画面並べ替えバッファ２１は、表示順の入力画像を符号化順に並べ替えて、イントラ予測部４１とインター予測部４２およびＳＡＯフィルタ３５へ出力する。
　ステップＳＴ２において画像符号化装置はイントラ予測処理を行う。図１５はイントラ予測処理を例示したフローチャートである。ステップＳＴ２１においてイントラ予測部は入力画像が魚眼画像であるか判別する。画像符号化装置１０のイントラ予測部４１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合にステップＳＴ２２に進み、入力画像が魚眼画像でないと判別した場合、入力画像は通常画像であるとしてステップＳＴ２３に進む。
　ステップＳＴ２２においてイントラ予測部は歪テーブルを取得する。イントラ予測部４１は、魚眼中心に対する処理対処ブロックの位置に応じた歪テーブルを取得する。また、魚眼画像を複数の領域に区分して領域毎に歪テーブルを設けた場合、イントラ予測部４１は、処理対処ブロックが属する領域に対応する歪ブロックを取得する。さらに、魚眼レンズのレンズ特性毎および領域毎に歪テーブルを設けた場合、イントラ予測部４１は、魚眼情報で示された魚眼レンズのレンズ特性と処理対象ブロックが属する領域に対応する歪テーブルを取得する。イントラ予測部４１は、歪テーブルを取得してステップＳＴ２４に進む。
　ステップＳＴ２３においてイントラ予測部は基本テーブルを取得する。イントラ予測部４１は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ２４に進む。
　ステップＳＴ２４においてイントラ予測部は最適イントラ予測モード選択処理を行う。イントラ予測部４１は、ステップＳＴ２２で取得した歪テーブルまたはステップＳＴ２３で取得した基本テーブルとフレームメモリ３６から読み出した参照画像データを用いて方向性予測を行い、歪テーブルまたは基本テーブルで示されたイントラ予測モードで処理対象ブロックの予測画像データを予測ブロックサイズ毎に生成する。イントラ予測部４１は、生成した予測画像データと原画像データを用いてコスト関数値を算出する。なお、参照画像データとしては、デブロッキングフィルタ３４等によりフィルタ処理されていない復号画像データが用いられる。イントラ予測部４１は、算出されたコスト関数値に基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとコスト関数値とイントラ予測情報を予測選択部４３に出力する。
　図１４に戻り、ステップＳＴ３において画像符号化装置はインター予測処理を行う。インター予測部４２は、カレントピクチャに応じて参照ピクチャを取得して、カレントピクチャのカレント予測ブロックが参照ピクチャのいずれの領域に対応するか動き探索を全ての予測モードについて行う。また、インター予測部４２は最適インター予測モード選択処理を行い予測モード毎に算出されているコスト関数値を比較して、例えばコスト関数値が最小となる予測モードを最適なインター予測モードと選択する。また、インター予測部４２は、予測動きベクトルの算出に用いる動きベクトルを魚眼情報に基づいて調整して、調整後の動きベクトルを用いて予測動きベクトルを算出する。インター予測部４２は、選択された最適なインター予測モードで動き補償を行い予測画像データを生成する。さらに、インター予測部４２は、最適なインター予測モードで生成した予測画像データとコスト関数値、インター予測情報を予測選択部４３へ出力してＳＴ４に進む。
　ステップＳＴ４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０の予測選択部４３は、ステップＳＴ２およびステップＳＴ３で算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４３は、決定した最適予測モードの予測画像データを選択して、演算部２２，３３へ出力する。なお、予測画像データは、後述するステップＳＴ５，ＳＴ１０の演算に利用される。また、予測選択部４３は、最適予測モードのイントラ予測情報またはインター予測情報を可逆符号化部２５へ出力する。
　ステップＳＴ５において画像符号化装置は差分演算処理を行う。画像符号化装置１０の演算部２２は、ステップＳＴ２で並べ替えられた原画像データと、ステップＳＴ４で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部２３へ出力する。
　ステップＳＴ６において画像符号化装置は直交変換処理を行う。画像符号化装置１０の直交変換部２３は、演算部２２から供給された残差データを直交変換する。具体的には、離散コサイン変換等の直交変換を行い、得られた変換係数を量子化部２４へ出力する。
　ステップＳＴ７において画像符号化装置は量子化処理を行う。画像符号化装置１０の量子化部２４は、直交変換部２３から供給された変換係数を量子化する。この量子化に際しては、後述するステップＳＴ１６の処理で説明されるように、レートが制御される。
　以上のようにして生成された量子化情報は、次のようにして局部的に復号される。すなわち、ステップＳＴ８において画像符号化装置は逆量子化処理を行う。画像符号化装置１０の逆量子化部３１は、量子化部２４から出力された量子化データを量子化部２４に対応する特性で逆量子化する。
　ステップＳＴ９において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０の逆直交変換部３２は、逆量子化部３１で生成された逆量子化データを直交変換部２３に対応する特性で逆直交変換して残差データを生成して演算部３３へ出力する。
　ステップＳＴ１０において画像符号化装置は画像加算処理を行う。画像符号化装置１０の演算部３３は、予測選択部４３から出力された予測画像データを局部的に復号された残差データに加算し、局部的に復号された（すなわち、ローカルデコードされた）画像を生成する。
　ステップＳＴ１１において画像符号化装置はデブロッキングフィルタ処理を行う。画像符号化装置１０のデブロッキングフィルタ３４は、演算部３３から出力された画像データに対して、デブロッキングフィルタ処理を行い、ブロック歪みを除去してＳＡＯフィルタ３５とフレームメモリ３６へ出力する。
　ステップＳＴ１２において画像符号化装置はＳＡＯ処理を行う。画像符号化装置１０のＳＡＯフィルタ３５は、デブロッキングフィルタ３４から出力された画像データに対してＳＡＯ処理を行う。このＳＡＯ処理により、最大の符号化単位であるＬＣＵ毎にＳＡＯ処理のタイプと係数が求められて、それらを用いてフィルタ処理が行われる。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像データをフレームメモリ３６に記憶させる。また、ＳＡＯフィルタ３５は、ＳＡＯ処理に関するパラメータを可逆符号化部２５へ出力して、後述するようにステップＳＴ１４で符号化する。
　ステップＳＴ１３において画像符号化装置は記憶処理を行う。画像符号化装置１０のフレームメモリ３６は、デブロッキングフィルタ３４等でフィルタ処理が行われる前の画像と、デブロッキングフィルタ３４等でフィルタ処理が行われた後の画像を記憶する。
　一方、上述したステップＳＴ７において量子化された変換係数は、可逆符号化部２５にも出力される。ステップＳＴ１４において画像符号化装置は可逆符号化処理を行う。画像符号化装置１０の可逆符号化部２５は、量子化部２４から出力された量子化後の変換係数と、供給された魚眼情報やイントラ予測情報およびインター予測情報等を符号化する。
　ステップＳＴ１５において画像符号化装置は蓄積処理を行う。画像符号化装置１０の蓄積バッファ２６は、符号化データを蓄積する。蓄積バッファ２６に蓄積された符号化データは適宜読み出されて、伝送路等を介して復号側に伝送される。
　ステップＳＴ１６において画像符号化装置はレート制御を行う。画像符号化装置１０のレート制御部２７は、蓄積バッファ２６に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部２４の量子化動作のレートを制御する。
　このような画像符号化装置によれば、入力画像が魚眼画像であるとき、処理対象ブロックの位置で生じる魚眼歪みに応じて予測方向の粗密が調整された歪テーブルを用いてイントラ予測が行われる。したがって、予測方向の粗密が調整されていない基本テーブルを用いてイントラ予測を行う場合に比べて符号化効率を向上させることができるようになる。また、入力画像が通常画像であるとき符号化ストリームに魚眼情報を含めることで、魚眼情報の有無あるいは魚眼情報に基づき入力画像が通常画像または魚眼画像のいずれであるか画像復号装置で判別できるようになる。また、入力画像が通常画像であるときは基本テーブルを用いたイントラ予測が行われて、入力画像が魚眼画像であるときは歪テーブルを用いてイントラ予測が行われていることを画像復号装置で判別できるようになる。魚眼情報は、例えばシンタックスとして符号化ストリームに含める。また、魚眼情報はシーケンスが切り替わるまで変化しないことから、シーケンスレイヤに魚眼情報を示すシンタックスを設ければよい。
　また、魚眼情報に魚眼レンズのレンズ特性を含めれば、魚眼画像の取得に用いた魚眼レンズに対応した歪テーブルを画像符号化装置と画像復号装置で用いて符号化処理や復号処理を行うことができる。さらに、図１３に示す層数や分割位置を示す情報をシンタックスとしてシーケンスレイヤに設けてもよい。また、魚眼レンズのレンズ特性に応じて、径方向の領域区分間隔を設定してもよい。例えば、補正率と層数と間隔比率を関係付けてもよい。図１６は、層数＝４の場合の各層における補正率と間隔比率の関係を例示している。例えば第０層の補正率は「１．０」で、径方向の間隔比率は魚眼半径に対して「０．４」とされている。第１層の補正率は「１．１」で、径方向の間隔比率は魚眼半径に対して「０．３」、第２層の補正率は「１．２」で、径方向の間隔比率は魚眼半径に対して「０．２」、第３層の補正率は「１．３」で、径方向の間隔比率は魚眼半径に対して「０．１」とされている。したがって、層数や分割位置を示す情報に基づき、図１３の（ｃ）のように魚眼画像を領域分けすることが可能となり、画像符号化装置で用いた領域毎の歪テーブルを画像復号でも等しく利用できるようになる。
　＜２－３．画像復号装置の構成＞
　図１７は、魚眼画像の符号化ストリームの復号処理を行う画像復号装置の構成を例示しており、画像復号装置５０は、図１に示す画像符号化装置１０に対応する画像復号装置である。画像符号化装置１０で生成された符号化された符号化ストリームは、画像復号装置５０に供給されて復号される。
　画像復号装置５０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ６６、ＳＡＯフィルタ６７、画面並べ替えバッファ６８を有する。また、画像復号装置５０は、フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４を有する。
　蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。この符号化ストリームは、所定のタイミングで読み出されて可逆復号部６２へ出力される。
　可逆復号部６２は、パースを行う機能を有する。可逆復号部６２は、符号化ストリームの復号結果に含まれる情報、例えば魚眼情報やイントラ予測情報とインター予測情報およびフィルタ制御情報等をパースし、必要なブロックに供給する。例えば、イントラ予測情報と魚眼情報をイントラ予測部７３へ出力し、インター予測情報と魚眼情報を動き補償部７４へ出力し、フィルタ制御情報をＳＡＯフィルタ６７へ出力する。また、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３へ出力する。
　逆量子化部６３は、可逆復号部６２により復号されて得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化する。逆量子化部６３は、逆量子化されたデータを逆直交変換部６４へ出力する。
　逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。
　演算部６５には、イントラ予測部７３若しくは動き補償部７４から予測画像データが供給される。演算部６５は、復号残差データと予測画像データとを加算して、画像符号化装置１０の演算部２２により予測画像データが減算される前の原画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ６６へ出力する。
　デブロッキングフィルタ６６は、デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ６６は、フィルタ処理後の画像データをＳＡＯフィルタ６７へ出力する。
　ＳＡＯフィルタ６７は、デブロッキングフィルタ６６によるフィルタ後の画像データに対してＳＡＯ処理を行う。ＳＡＯフィルタ６７は、可逆復号部６２から供給されるパラメータを用いて、ＬＣＵ毎に、デブロッキングフィルタ６６によるフィルタ後の画像データに対してフィルタ処理を行い、画面並べ替えバッファ６８へ出力する。
　画面並べ替えバッファ６８は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２１により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。
　ＳＡＯフィルタ６７の出力は、さらに、フレームメモリ７１に供給される。選択部７２は、イントラ予測に用いられる画像データをフレームメモリ７１から読み出し、イントラ予測部７３へ出力する。また、選択部７２は、インター処理される画像データと参照される画像データをフレームメモリ７１から読み出し、動き補償部７４へ出力する。
　イントラ予測部７３は、画像符号化装置１０の図２に示すイントラ予測部４１の構成から最適モード決定部４１４を除いた構成されており、画像復号装置５０では予測画像生成部４１３の動作が画像符号化装置１０と異なる。イントラ予測部７３は、可逆復号部６２から供給された魚眼情報と処理対象ブロックの位置に基づき符号化処理と等しいイントラ予測モードテーブルを選択して、予測画像生成部は、可逆復号部６２から供給された最適イントラ予測モードの復号処理をフレームメモリ７１から取得した復号画像データを用いて行い、予測画像データを生成して演算部６５へ出力する。
　動き補償部７４は、可逆復号部６２符号化ビットストリームの復号結果に含まれる情報をパースして出力された魚眼情報やインター予測情報に基づいて、フレームメモリ７１から取得した画像データから予測画像データを生成して演算部６５へ出力する。また、動き補償部７４は、魚眼画像を復号する場合、画像符号化装置１０のインター予測部４２と同様に、カレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルの調整を行う。動き補償部７４は、調整後の動きベクトルを用いて算出したカレント予測ブロックの動きベクトルを用いて動き補償を行い予測画像データを生成する。
　＜２－４．画像復号装置の動作＞
　次に、画像復号装置の実施の形態の動作について説明する、図１８は画像復号装置の動作を例示したフローチャートである。
　復号処理が開始されると、ステップＳＴ３１において画像復号装置は蓄積処理を行う。画像復号装置５０の蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。
　ステップＳＴ３２において画像復号装置は可逆復号処理を行う。画像復号装置５０の可逆復号部６２は、蓄積バッファ６１から供給される符号化ストリームを復号する。可逆復号部６２は、符号化ストリームの復号結果に含まれる情報をパースし、必要なブロックに供給する。可逆復号部６２は、魚眼情報やイントラ予測情報をイントラ予測部７３へ出力して、魚眼情報やインター予測情報を動き補償部７４へ出力する。
　ステップＳＴ３３において画像復号装置は予測画像生成処理を行う。画像復号装置５０のイントラ予測部７３または動き補償部７４は、可逆復号部６２から供給されるイントラ予測情報やインター予測情報に対応して、それぞれ予測画像生成処理を行う。
　すなわち、イントラ予測部７３は可逆復号部６２から魚眼情報とイントラ予測情報が供給された場合、符号化ストリームが魚眼画像を示すときは処理対象画素位置に応じた歪テーブルを用いて予測画像データの生成を行い、符号化ストリームが通常画像を示すときは基本テーブルを用いて最適イントラ予測モードで予測画像データの生成を行う。動き補償部７４は、可逆復号部６２から魚眼情報とインター予測情報が供給された場合、最適インター予測モードで動き補償処理を行い、予測画像データを生成する。図１９は、イントラ予測の予測画像生成処理を示したフローチャートである。
　ステップＳＴ５１においてイントラ予測部７３は魚眼情報が含まれているか判別する。イントラ予測部７３は、符号化ストリームに魚眼情報が含まれている場合はステップＳＴ５２に進み、魚眼情報が含まれていない場合は通常画像の符号化ストリームと判別してステップＳＴ５４に進む。
　ステップＳＴ５２においてイントラ予測部７３は魚眼画像であるか判別する。イントラ予測部７３は、符号化ストリームに含まれた魚眼情報によって魚眼画像であることが示されている場合にステップＳＴ５３に進み、魚眼画像でないすなわち通常画像であることが示された場合にステップＳＴ５４に進む。
　ステップＳＴ５３において、イントラ予測部７３は、歪テーブルを取得する。イントラ予測部７３は、魚眼中心に対する処理対処ブロックの位置に応じた歪テーブルを取得してステップＳＴ５５に進む。
　ステップＳＴ５４においてイントラ予測部は基本テーブルを取得する。イントラ予測部７３は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ５５に進む。
　ステップＳＴ５５においてイントラ予測部は予測画像データ生成処理を行う。イントラ予測部７３は、フレームメモリ７１から読み出した参照画像データとステップＳＴ５３で取得した歪テーブルまたはステップＳＴ５４で取得した基本テーブルを用いて、イントラ予測情報で示された最適イントラ予測モードで予測画像データを生成する。イントラ予測部４１は、生成した予測画像データを演算部６５へ出力する。
　図１８に戻り、ステップＳＴ３４において画像復号装置は逆量子化処理を行う。画像復号装置５０の逆量子化部６３は、可逆復号部６２で得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化して、逆量子化データを逆直交変換部６４へ出力する。
　ステップＳＴ３５において画像復号装置は逆直交変換処理を行う。画像復号装置５０の逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。
　ステップＳＴ３６において画像復号装置は画像加算処理を行う。画像復号装置５０の演算部６５は、ステップＳＴ３３でイントラ予測部７３若しくは動き補償部７４で生成された予測画像データと、逆直交変換部６４から供給された復号残差データを加算して復号画像データを生成する。演算部６５は、生成した復号画像データをデブロッキングフィルタ６６とフレームメモリ７１へ出力する。
　ステップＳＴ３７において画像復号装置はデブロッキングフィルタ処理を行う。画像復号装置５０のデブロッキングフィルタ６６は、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ６６からの復号画像は、ＳＡＯフィルタ６７へ出力する。
　ステップＳＴ３８において画像復号装置はＳＡＯ処理を行う。画像復号装置５０のＳＡＯフィルタ６７は、可逆復号部６２から供給されたＳＡＯ処理に関するパラメータを用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、ＳＡＯ処理を行う。ＳＡＯフィルタ６７は、ＳＡＯ処理後の復号画像データを画面並べ替えバッファ６８およびフレームメモリ７１へ出力する。
　ステップＳＴ３９において画像復号装置は記憶処理を行う。画像復号装置５０のフレームメモリ７１は、演算部６５から供給されたフィルタ処理前の復号画像データと、デブロッキングフィルタ６６とＳＡＯフィルタ６７によってフィルタ処理が行われた復号画像データを記憶する。
　ステップＳＴ４０において画像復号装置は画面並べ替え処理を行う。画像復号装置５０の画面並べ替えバッファ６８は、ＳＡＯフィルタ６７から供給された復号画像データを蓄積して、蓄積した復号画像データを画像符号化装置１０の画面並べ替えバッファ２１で並べ替えられる前の表示順序に出力する。
　このような復号処理を行えば、上述の画像符号化装置１０で生成された符号化ストリームの復号を行い、画像符号化装置１０された魚眼画像を画像復号装置５０から出力できる。
　また、魚眼情報が含まれていない場合、基本テーブルを用いて予測画像データが生成されるので、従来の符号化ストリームの復号処理も行うことができる。
　＜３．第２の実施の形態＞
　第２の実施の形態では、イントラ予測において、方向性予測における予測モードを選択的に用いる。また、予測モードの選択では、魚眼画像の歪みに応じて選択する予測モードを決定する。
　＜３－１．画像符号化装置の構成＞
　第２の実施の形態の画像符号化装置は、図１に示す第１の実施の形態の画像符号化装置と同様に構成されており、可逆符号化部２５とイントラ予測部４１の動作が異なる。
　可逆符号化部２５は、各ＣＴＵについて量子化部２４から入力される量子化データの可逆符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）の可逆符号化処理を行う。また、可逆符号化部２５は、魚眼情報、予測選択部４３で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報、またはインター予測モードを示す情報と動き情報などを取得する。さらに、可逆符号化部２５は、後述するＳＡＯフィルタ３５からフィルタ処理に関するパラメータを取得する。さらに、画像にＣＴＵ、ＣＵ、ＴＵおよびＰＵをどのように設定すべきかを示すブロック情報を取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した符号化処理に関する各パラメータをＨ．２６５／ＨＥＶＣ規格のシンタックス要素として、符号化ストリームのヘッダ情報の一部として蓄積バッファ２６に蓄積させる。また、可逆符号化部２５は、画像符号化装置１０に入力された魚眼情報を、符号化ストリームのシンタックス要素として、あるいは付加情報であるＳＥＩ(Supplemental Enhancement Information）として符号化ストリームに含める。
　イントラ予測部４１は、図２に示す第１の実施の形態のイントラ予測部と同様に構成されており、テーブル選択部で選択されるイントラ予測モードテーブルが第１の実施の形態と相違する。
　ブロック位置算出部４１１は、入力画像が魚眼画像である場合、魚眼中心に対する処理対象ブロックの位置を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。
　テーブル選択部４１２は、入力画像が魚眼画像である場合、位置情報に基づいて魚眼中心に対する処理対象ブロックの位置に応じて予測モードが選択されたイントラ予測モードテーブルを予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、入力画像が通常画像である場合、所定のイントラ予測モードテーブルを予測画像生成部４１３へ出力する。
　予測画像生成部４１３は、フレームメモリ３６から選択部３７を介して読み出された参照画像データを用いて、テーブル選択部４１２から供給されたイントラ予測モードテーブルで示された全ての予測モードの予測画像データを生成する。また、予測画像生成部４１３は、処理対象ブロックを予測ブロックサイズとして各予測モードの予測画像データの生成を予測ブロックサイズ毎に行う。予測画像生成部４１３は、生成した予測画像データを最適モード決定部４１４へ出力する。
　最適モード決定部４１４は、画面並べ替えバッファ２１から供給された原画像データと、各予測ブロックサイズおよび各予測モードの予測画像データを用いてコスト関数値を算出する。また、最適モード決定部４１４は、コスト関数値が最小となる即ち圧縮率が最も高くなるイントラ予測モードと予測ブロックサイズの組み合わせを最適イントラ予測モードと予測ブロックの最適サイズとして、最適イントラ予測モードと最適サイズおよび入力画像が魚眼画像である場合に選択したイントラ予測モードテーブルを示すテーブル情報を有するイントラ予測情報を生成する。最適モード決定部４１４は、最適イントラ予測モードで生成された予測画像データとイントラ予測情報、および最適イントラ予測モードと最適サイズにおけるコスト関数値を予測選択部４３へ出力する。
　＜３－２．画像符号化装置の動作＞
　＜３－２－１．イントラ予測テーブルについて＞
　魚眼画像は、魚眼中心の方向に画像が歪むことから、上述の図８に示すように、周方向に予測方向が密集する特性を生じる。また、魚眼中心からの距離が長くなるに伴い、密集度合いが高くなる。そこで、第２の実施の形態では、基本テーブルの予測モードから、密集する方向や密集度合いに応じて予測モードを選択したイントラ予測モードテーブル（以下「選択テーブル」という）を予め生成しておき、処理対象ブロックの位置に応じた選択テーブルを用いてイントラ予測を行うことで、基本テーブルを用いた場合よりも効率よくイントラ予測を行う。
　選択テーブルは、魚眼中心に対する処理対象ブロックの方角、または方角と魚眼中心から処理対象ブロックまでの距離に応じて生成する。
　図２０は、魚眼中心に対する処理対象ブロックの方角に基づいて選択テーブルを生成する場合の動作を例示している。処理対象ブロックの位置Ｐａが魚眼中心Ｐｇに対して角度θである場合、角度θは上述したように式（８）で示される値となる。また、円周方向の角度θdは式（１３）となる。なお、θ＞１８０°の場合、円周方向の角度θdは、魚眼中心Ｐｇを基準として点対称となる。
　　　θd＝（θ±９０°）　・・・（１３）
　選択テーブルは、基本テーブルの予測モードから、角度θdの方向を密集方向としてイントラ予測モードを選択して生成する。
　図２１は、魚眼中心に対する処理対象ブロックの方角と予測モードの選択結果を例示している。図２１の（ａ）は処理対象ブロックが、図２０の（ａ）に示すように位置Ｐａ1（θ＝１３５°）である場合を例示している。この場合、θd＝４５°，２２５°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，４，７，１２，１８，２４，２９，３２，３４を選択する。
　図２１の（ｂ）は処理対象ブロックが位置Ｐａ2（θ＝９０°）である場合を例示している。この場合、θd＝１８０°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，６，８，１０，１２，１４，１８，２６，３４を選択する。
　図２１の（ｃ）は処理対象ブロックが位置Ｐａ3（θ＝４５°）である場合を示している。この場合、θd＝１３５°の方向を密集方向として予測モードの選択を行い、方向性予測２，８，１３，１６，１８，２０，２３，２８，３４を選択する。
　図２１の（ｄ）は処理対象ブロックが位置Ｐａ4（θ＝０°）である場合を示している。この場合、θd＝９０°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，１０，１８，２１，２４，２６，２８，３１，３４を選択する。
　このように、魚眼中心に対する処理対象ブロックの方角に基づく円周方向を密集方向として予測モードを選択して選択テーブルを生成すれば、基準テーブルを用いる場合に比べてイントラ予測を効率よく行うことができるようになる。
　次に、魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に基づいて選択テーブルを生成する場合について説明する。上述の図８に示すように、処理対象ブロックが魚眼画像の中心から離れるに伴い、予測モードの円周方向の密度が高くなる、したがって、イントラ予測部４１は、処理対象ブロックが魚眼画像の中心から離れるに伴い、密集度合いが高くなるように予測モードが選択された選択テーブルを用いてイントラ予測を行う。
　図２２は、魚眼中心に対する処理対象ブロックの方角と魚眼中心からの距離に基づいて選択テーブルを生成する場合の動作を例示している。処理対象ブロックの位置Ｐａが魚眼中心Ｐｇに対して距離ＧＡである場合、距離ＧＡは式（１４）で示される値となる。
Figure JPOXMLDOC01-appb-M000001
　選択テーブルは、基本テーブルの予測モードから、角度θdの方向を密集方向として距離ＧＡが長くなるに伴い密集度合いが高くなるようにイントラ予測モードテーブルを選択して生成する。
　図２３は、魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に応じた予測モードの選択結果を例示している。なお、図２２の（ａ）に示すように、魚眼中心からの処理対象ブロックの位置Ｐａ3-1までの距離ＧＡをＬ1とする。また、魚眼中心からの処理対象ブロックの位置Ｐａ3-2，Ｐａ3-3，Ｐａ3-4までの距離ＧＡをＬ2（＞Ｌ1），Ｌ3（＞Ｌ2），Ｌ4（＞Ｌ3）とする。
　図２３の（ａ）は処理対象ブロックが位置Ｐａ3-1（θ＝４５°，ＧＡ＝Ｌ1）である場合を示している。この場合、Ｌ1が短い距離であることから、等間隔で予測モードの選択を行い例えば方向性予測２，６，１０，１４，１８，２２，２６，３０，３４を選択する。
　図２３の（ｂ）は処理対象ブロックが位置Ｐａ3-2（θ＝４５°，ＧＡ＝Ｌ2）である場合を示している。この場合、θd＝１３５°の方向の密度が高く、位置Ｐａ3-1の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，７，１１，１５，１８，２１，２５，２９，３４を選択する。
　図２３の（ｃ）は処理対象ブロックが位置Ｐａ3-3（θ＝４５°，ＧＡ＝Ｌ3）である場合を示している。この場合、θd＝１３５°の方向の密度が高く、位置Ｐａ3-2の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，８，１３，１６，１８，２０，２３，２８，３４を選択する。
　図２３の（ｄ）は処理対象ブロックが位置Ｐａ3-4（θ＝４５°，ＧＡ＝Ｌ4）である場合を示している。この場合、θd＝１３５°の方向の密度が高く、位置Ｐａ3-3の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，１１，１５，１７，１８，１９，２１，２５，３４を選択する。
　このように、魚眼中心に対する処理対象ブロックの方角に基づく円周方向を密集方向として、処理対象ブロックの魚眼中心からの距離が長くなるに伴い密集度合いが高くなるように予測モードを選択して選択テーブルを生成すれば、基準テーブルを用いる場合に比べてイントラ予測を効率よく行うことができるようになる。また、魚眼中心に対する処理対象ブロックの方角に基づいて生成される選択テーブルよりも、魚眼画像に対応した予測モードの選択テーブルを生成できる。
　ところで、魚眼中心に対する方角と魚眼中心からの距離に応じて基本テーブルから予測モードを選択して選択テーブルを場合、イントラ予測を行う処理対象ブロックの位置に応じて選択テーブルを生成するとイントラ予測の処理コストが大きくなってしまう。また、位置毎に選択テーブルを予め生成して記憶させておく場合、処理コストを抑えることができるが、選択テーブルを記憶するためのメモリ容量が大きくなってしまう。したがって、魚眼画像の領域分けを行い、領域毎に予め選択テーブルを用意して、処理対象ブロックが属する領域に対応する選択テーブルを用いることでイントラ予測の処理コストやメモリ容量を抑えるようにする。
　魚眼画像の領域区分は、例えば第１の実施の形態と同様に、補正率に基づき魚眼画像の中心を基準として径方向に行う。また、魚眼画像の区分数（層数ともいう）は、魚眼画像の中心から径方向の補正率の変化に応じて設定して、例えば径方向の所定距離に対する補正率変化の最大値が大きくなるに伴い層数を大きくする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を通過する直線を領域の境界として、周方向に領域を区分する。なお、魚眼画像の中心を含む領域は歪みが少ないことから周方向に領域を区分しなくともよく、図２１の（ａ），図２３の（ａ）に示すように、基本テーブルから一定間隔で選択した所定の複数の予測モードを示すイントラ予測モードテーブルを用いるようにしてもよい。
　区分された領域については対応するテーブルのインデックス（table_idx）を付与することで、魚眼画像の画素位置がいずれの領域に属しているかに応じて、画素位置に対応するインデックスの選択テーブルを利用できるようにする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を基準として点対称の位置にある領域は同じインデックスを付与する。
　また、各領域に対応する選択テーブルからなる選択テーブル群を、魚眼画像の生成に用いる魚眼レンズ毎に設けてもよい。魚眼レンズ毎の選択テーブル群は、予め画像符号化装置に記憶させてもよく、魚眼情報等と共に画像符号化装置に供給してもよい。
　＜３－２－２．符号化処理動作について＞
　次に、符号化処理動作について説明する。第２の実施の形態の画像符号化装置の符号化処理動作は、図１４に示す第１の実施の形態の画像符号化装置の動作と同様であり、ステップＳＴ２のイントラ予測処理が異なる。
　図２４はイントラ予測処理を示すフローチャートである。ステップＳＴ６１においてイントラ予測部は入力画像が魚眼画像であるか判別する。画像符号化装置１０のイントラ予測部４１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合にステップＳＴ６２に進み、入力画像が魚眼画像でないと判別した場合、入力画像は通常画像であるとしてステップＳＴ６４に進む。
　ステップＳＴ６２においてイントラ予測部はブロック位置を算出する。イントラ予測部４１は、魚眼中心に対する処理対象ブロックの方角、または方角と魚眼中心から処理対象ブロックまでの距離を算出してステップＳＴ６３に進む。
　ステップＳＴ６３においてイントラ予測部はブロック位置に応じて選択テーブルを取得する。イントラ予測部４１は、ステップＳＴ６２で方角を算出した場合、方角に応じた選択テーブルを取得する。また、イントラ予測部４１は、ステップＳＴ６２で方角と距離を算出した場合、方角と距離に応じた選択テーブルを取得する。なお、魚眼中心に近接する位置では歪みがすくないことから、選択テーブルとして基準テーブルを選択してもよい。イントラ予測部４１は処理対象ブロックの位置に応じて選択テーブルを取得してステップＳＴ６５に進む。
　ステップＳＴ６４においてイントラ予測部は基本テーブルを取得する。イントラ予測部４１は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ６５に進む。
　ステップＳＴ６５においてイントラ予測部は最適イントラ予測モード選択処理を行う。イントラ予測部４１は、フレームメモリ３６から読み出した参照画像データとステップＳＴ６３で取得した選択テーブルまたはステップＳＴ６４で取得した基本テーブルで示された予測モードでイントラ予測を行い、予測画像データを生成する。イントラ予測部４１は、生成した予測画像データと原画像データを用いてコスト関数値を算出する。なお、参照画像データとしては、デブロッキングフィルタ３４等によりフィルタ処理されていない復号画像データが用いられる。イントラ予測部４１は、算出されたコスト関数値に基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとパラメータやコスト関数値を予測選択部４３に出力する。
　なお、画像符号化装置では、上述のように基本テーブルから予測モードを選択して符号化処理を行っているため、画像復号装置では、入力画像が魚眼画像であっても、通常画像の場合と同様に符号化ストリームで示された予測モードでイントラ予測を行い予測画像データを生成すれば魚眼画像を再生できる。
　このような第２の実施の形態によれば、イントラ予測において、方向性予測における予測モードを選択的に用いるので、全ての予測モードを用いる場合に比べて効率よくイントラ予測を行うことができるようになる。さらに、入力画像が魚眼画像である場合には、魚眼画像の歪みに応じて予測モードが選択されるので、魚眼画像の歪みを考慮することなく予測モードを選択した場合に比べて、符号化効率を高めることが可能となる。
　＜４．応用例＞
　次に、本技術の画像処理装置の応用例について説明する。本技術の画像処理装置は、例えば魚眼レンズを用いて動画像を撮影する撮像装置に適用できる。この場合、撮像装置に画像符号化装置１０を設ければ、魚眼画像を効率よく符号化して、符号化ストリームを記録媒体に記録あるいは外部機器に出力できる。また、撮像装置に画像復号装置５０を設ければ、符号化ストリームを復号して魚眼画像の記録再生を行うことができる。また、画像符号化装置１０を設けた撮像装置を、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載すれば、移動体の周囲全体の画像を効率よく記録あるいは外部機器に伝送することができるようになる。さらに、魚眼レンズを用いて動画像を撮影する機能を有した携帯型電子機器に本技術の画像処理装置を設ければ、記録媒体に魚眼画像を記録する際に、従来よりもデータ量を削減することが可能となる。また、復号処理を行う画像処理装置を画像再生装置に設ければ、全天球画像をヘッドマウントディスプレイ等で表示できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部を備える画像処理装置。
　（２）　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて変更したテーブルである（１）に記載の画像処理装置。
　（３）　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて前記予測方向が変更したテーブルである（２）に記載の画像処理装置。
　（４）　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて選択した予測方向を示すテーブルである（１）に記載の画像処理装置。
　（５）　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、前記所定の複数の予測方向から選択した予測方向を示すテーブルである（４）に記載の画像処理装置。
　（６）　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、前記所定の複数の予測方向から選択した予測方向を示すテーブルである（４）または（５）に記載の画像処理装置。
　（７）　前記魚眼画像の魚眼中心を基準として前記魚眼画像を径方向および周方向に複数の領域に区分して、領域毎に前記イントラ予測モードテーブルを設けて、
　前記イントラ予測部は、前記処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行う（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記魚眼中心を対象点として点対称の領域に、等しいイントラ予測モードテーブルを設けた（７）に記載の画像処理装置。
　（９）　前記魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルである（７）または（８）に記載の画像処理装置。
　（１０）　前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分数を設定した（７）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分間隔を設定した（７）乃至（１０）に記載の画像処理装置。
　（１２）　入力画像が魚眼画像である場合、前記入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含む（１２）に記載の画像処理装置。
　（１４）　前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含む（１３）に記載の画像処理装置。
　（１５）　前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
　前記可逆復号部は、前記符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、
　前記イントラ予測部は、前記可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１６）　前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含み、
　前記イントラ予測部は、前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる（１５）に記載の画像処理装置。
　（１７）　前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含み、
　前記イントラ予測部は、前記魚眼レンズに関する情報と前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる（１６）に記載の画像処理装置。
　この技術の画像処理装置と画像処理方法によれば、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像が生成される。このため、歪みを生じた画像の符号化または復号処理を効率よく行うことができる。したがって、魚眼画像の記録や再生，伝送等を行う電子機器や移動体装置等に適している。
　１０・・・画像符号化装置
　２１，６８・・・画面並べ替えバッファ
　２２，３３，６５・・・演算部
　２３・・・直交変換部
　２４・・・量子化部
　２５・・・可逆符号化部
　２６・・・蓄積バッファ
　２７・・・レート制御部
　３１，６３・・・逆量子化部
　３２，６４・・・逆直交変換部
　３４，６６・・・デブロッキングフィルタ
　３５，６７・・・ＳＡＯフィルタ
　３６，７１・・・フレームメモリ
　３７，７２・・・選択部
　４１・・・イントラ予測部
　４２・・・インター予測部
　４３・・・予測選択部
　５０・・・画像復号装置
　６１・・・蓄積バッファ
　６２・・・可逆復号部
　７３・・・イントラ予測部
　７４・・・動き補償部
　４１１・・・ブロック位置算出部
　４１２・・・テーブル選択部
　４１３・・・予測画像生成部
　４１４・・・最適モード決定部

Claims (18)

  1. 　魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部
    を備える画像処理装置。
  2. 　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて変更したテーブルである
    請求項１に記載の画像処理装置。
  3. 　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて前記予測方向が変更したテーブルである
    請求項２に記載の画像処理装置。
  4. 　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて選択した予測方向を示すテーブルである
    請求項１に記載の画像処理装置。
  5. 　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、前記所定の複数の予測方向から選択した予測方向を示すテーブルである
    請求項４に記載の画像処理装置。
  6. 　前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、前記所定の複数の予測方向から選択した予測方向を示すテーブルである
    請求項４に記載の画像処理装置。
  7. 　前記魚眼画像の魚眼中心を基準として前記魚眼画像を径方向および周方向に複数の領域に区分して、領域毎に前記イントラ予測モードテーブルを設けて、
    　前記イントラ予測部は、前記処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行う
    請求項１に記載の画像処理装置。
  8. 　前記魚眼中心を対象点として点対称の領域に、等しいイントラ予測モードテーブルを設けた
    請求項７に記載の画像処理装置。
  9. 　前記魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルである
    請求項７に記載の画像処理装置。
  10. 　前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分数を設定した
    請求項７に記載の画像処理装置。
  11. 　前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分間隔を設定した
    請求項７に記載の画像処理装置。
  12. 　入力画像が魚眼画像である場合、前記入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える
    請求項１に記載の画像処理装置。
  13. 　前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含む
    請求項１に記載の画像処理装置。
  14. 　前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含む
    請求項１３に記載の画像処理装置。
  15. 　前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
    　前記可逆復号部は、前記符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、
    　前記イントラ予測部は、前記可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する
    請求項１に記載の画像処理装置。
  16. 　前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含み、
    　前記イントラ予測部は、前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる
    請求項１５に記載の画像処理装置。
  17. 　前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含み、
    　前記イントラ予測部は、前記魚眼レンズに関する情報と前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる
    請求項１６に記載の画像処理装置。
  18. 　魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い予測画像をイントラ予測部で生成すること
    を含む画像処理方法。
PCT/JP2019/014761 2018-06-21 2019-04-03 画像処理装置と画像処理方法 WO2019244439A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980039781.6A CN112352425B (zh) 2018-06-21 2019-04-03 图像处理装置和图像处理方法
JP2020525283A JP7215480B2 (ja) 2018-06-21 2019-04-03 画像処理装置と画像処理方法
US17/251,914 US11818339B2 (en) 2018-06-21 2019-04-03 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018117789 2018-06-21
JP2018-117789 2018-06-21

Publications (1)

Publication Number Publication Date
WO2019244439A1 true WO2019244439A1 (ja) 2019-12-26

Family

ID=68983885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014761 WO2019244439A1 (ja) 2018-06-21 2019-04-03 画像処理装置と画像処理方法

Country Status (4)

Country Link
US (1) US11818339B2 (ja)
JP (1) JP7215480B2 (ja)
CN (1) CN112352425B (ja)
WO (1) WO2019244439A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US20220329837A1 (en) * 2021-04-06 2022-10-13 Lemon Inc. Neural Network-Based Post Filter For Video Coding
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
WO2017204185A1 (ja) * 2016-05-27 2017-11-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US20180103219A1 (en) * 2016-10-12 2018-04-12 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI563469B (en) * 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
JP2015115901A (ja) * 2013-12-13 2015-06-22 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
EP3301916A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
EP3301915A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
US11032545B2 (en) * 2017-06-29 2021-06-08 Qualcomm Incorporated Reducing seam artifacts in 360-degree video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
WO2017204185A1 (ja) * 2016-05-27 2017-11-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US20180103219A1 (en) * 2016-10-12 2018-04-12 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EICHENSEER, ANDREA ET AL.: "Coding of distortion-corrected fisheye video sequences using H.265/HEVC", 2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP, October 2014 (2014-10-01), pages 4132 - 4136, XP032967407, DOI: 10.1109/ICIP.2014.7025839 *
HANHART, PHILIPPE ET AL.: "AHG8: Reference samples derivation using geometry padding for intra coding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-D0092, 4TH MEETING, October 2016 (2016-10-01), Chengdu, CN, pages 1 - 6 *

Also Published As

Publication number Publication date
CN112352425B (zh) 2024-02-13
JP7215480B2 (ja) 2023-01-31
CN112352425A (zh) 2021-02-09
US11818339B2 (en) 2023-11-14
JPWO2019244439A1 (ja) 2021-07-08
US20210168363A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US11902575B2 (en) Image encoding method using a skip mode, and a device using the method
US20240129463A1 (en) Video or image coding applying adaptive loop filter
JP7440544B2 (ja) 画像デコード方法及びその装置
WO2019244439A1 (ja) 画像処理装置と画像処理方法
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010035137A (ja) 画像処理装置および方法、並びにプログラム
JP2006005438A (ja) 画像処理装置およびその方法
US11677939B2 (en) In-loop filtering-based video or image coding
US11647200B2 (en) Method and apparatus for decoding image by using transform according to block size in image coding system
JP7469480B2 (ja) ルマ成分及びクロマ成分に対するｂｄｐｃｍに基づく画像デコード方法及びその装置
US20230156199A1 (en) Image decoding method using bdpcm and device therefor
JP7476399B2 (ja) クロマ成分の映像デコード方法及びその装置
KR20220079982A (ko) 영상 코딩 장치 및 방법
JP2024023972A (ja) サインデータハイディング関連映像デコーディング方法及びその装置
US11245919B2 (en) Image processing device and image processing method
KR20220097997A (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
JP2022539354A (ja) ルマサンプルのマッピング及びクロマサンプルのスケーリングに基づくビデオまたは画像コーディング
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
RU2808075C1 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
JP7493656B2 (ja) フィルタリングに基づく画像コーディング装置及び方法
US20230079866A1 (en) Image decoding method associated with residual coding, and device therefor
US20220141477A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19822538

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020525283

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19822538

Country of ref document: EP

Kind code of ref document: A1