WO2014196118A1 - 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法 - Google Patents

画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法 Download PDF

Info

Publication number
WO2014196118A1
WO2014196118A1 PCT/JP2014/002146 JP2014002146W WO2014196118A1 WO 2014196118 A1 WO2014196118 A1 WO 2014196118A1 JP 2014002146 W JP2014002146 W JP 2014002146W WO 2014196118 A1 WO2014196118 A1 WO 2014196118A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional information
intra
unit
screen prediction
Prior art date
Application number
PCT/JP2014/002146
Other languages
English (en)
French (fr)
Inventor
勝大 草野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US14/762,750 priority Critical patent/US20150358626A1/en
Priority to GB1513265.7A priority patent/GB2540440A/en
Priority to JP2015521267A priority patent/JP5885886B2/ja
Publication of WO2014196118A1 publication Critical patent/WO2014196118A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to an image encoding device that encodes an image and an image analysis device that performs image analysis from encoded data.
  • MPEG-2 Motion Picture Expert Group
  • DVD Digital Versatile Disk
  • HDD Digital Versatile Disk
  • DVD-VIDEO terrestrial digital broadcasting (one-segment broadcasting) for mobile terminals
  • Blu- ray registered trademark
  • MPEG-4 AVC Advanced Video Coding
  • ITU-T H. H.264 system for example, Patent Document 1.
  • a technique for analyzing image characteristics and movement from image data is used. For example, an object part is extracted from the image and the movement of the object is tracked.
  • the image encoding apparatus can compress the data amount of the moving image by performing encoding. It is necessary to analyze the encoded data after decoding the encoded data into image data.
  • the conventional image analysis apparatus performs analysis after decoding the encoded data into image data by the image decoding apparatus, there has been a problem that a large amount of calculation is required for the decoding process of the encoded data.
  • the present invention has been made to solve the above-described problems.
  • the image encoding apparatus performs encoding, texture encoded data obtained by encoding an image and auxiliary parameters of the image data are provided.
  • Output encoded data obtained by multiplexing additional information encoded data obtained by encoding the included additional information, and the image analysis apparatus separates the additional information encoded data from the encoded data and decodes and analyzes the additional information
  • an object is to perform image analysis without decoding texture encoded data and to reduce the amount of calculation related to decoding processing of encoded data.
  • An image encoding device encodes a texture encoding unit that encodes a compressed image generated from an input image to generate texture encoded data, and additional information including information necessary for the analysis of the input image. And an additional information encoding unit that generates additional information encoded data and a multiplexing unit that multiplexes the texture encoded data and the additional information encoded data and outputs an encoded stream.
  • the image analysis apparatus performs demultiplexing for separating additional information encoded data and texture encoded data in which additional information including information necessary for analysis of an image multiplexed in an encoded stream is encoded
  • An additional information decoding unit that decodes the additional information encoded data and generates the additional information
  • an image analysis unit that performs image analysis based on information necessary for analyzing an image included in the additional information It is equipped with.
  • the texture encoding unit that encodes the texture by the image encoding device, and the additional information encoding unit that encodes additional information when encoding the texture , Equipped with a multiplexing unit that multiplexes texture encoded data and additional information encoded data into an encoded stream, and includes the information necessary for image analysis included in the additional information, so that image analysis can be performed using only the additional information Therefore, it is possible to generate an encoded stream that can be analyzed with only additional information.
  • the demultiplexing unit that separates the additional information encoded data and the texture encoded data multiplexed into the encoded stream, and the additional information encoded data
  • an additional information decoding unit that generates additional information and an image analysis unit that performs image analysis based on the additional information, and is configured so that image analysis can be performed from the additional information that includes information necessary for image analysis Therefore, by separating the additional information encoded data from the encoded stream, decoding the additional information, and analyzing the image, the decoding process of the texture encoded data is unnecessary, and the amount of calculation can be reduced.
  • Embodiment 1 when encoding an image, texture encoded data obtained by encoding a texture and additional information encoded data for encoding additional information used when encoding the texture are multiplexed.
  • the information required for image analysis is included in the additional information, and the encoded stream that can be analyzed with only the additional information is generated. Therefore, the additional information encoded data is separated from the encoded stream in the image analysis device.
  • FIG. 1 is a block diagram showing an example of an image coding apparatus according to Embodiment 1 of the present invention.
  • the compression unit 11 generates a compressed image by subtracting a predicted image from an input image.
  • the decompression unit 12 generates a decoded image by adding a prediction image to the compressed image generated by the compression unit 11.
  • the image storage unit (picture buffer) 13 stores the decoded image generated by the decompression unit 12 as storage means such as a memory.
  • the intra-screen prediction unit 14 generates an intra-screen prediction image from the input image and the decoded image generated by the decompression unit 12, and outputs intra-screen prediction additional information.
  • the inter-screen prediction unit 15 generates an intra-screen prediction image from the input image and the decoded image stored in the image storage unit (picture buffer) 13 and outputs inter-screen prediction additional information.
  • the selection unit 16 selects the intra-screen prediction image generated by the intra-screen prediction unit 14 based on the prediction mode or the inter-screen prediction image generated by the inter-screen prediction unit 15 as a predicted image.
  • the texture encoding unit 17 encodes the compressed image generated by the compression unit 11 to generate texture encoded data.
  • the additional information encoding unit 18 encodes additional information including the prediction mode and the intra-screen prediction additional information output by the intra-screen prediction unit 14 and the inter-screen prediction additional information output by the inter-screen prediction unit 15 to encode additional information. Generate data.
  • the multiplexing unit 19 multiplexes the texture encoded data generated by the texture encoding unit 17 and the additional information encoded data generated by the additional information encoding unit 18 and outputs an encoded stream (encoded data).
  • the intra-screen prediction unit 14, the inter-screen prediction unit 15, and the selection unit 16 may be collectively regarded as a predicted image generation unit (predicted image generation unit).
  • the texture encoding unit 17 performs entropy encoding such as Huffman encoding and arithmetic encoding on the compressed image.
  • FIG. 2 is a block diagram showing an example of the compression unit of the image coding apparatus according to Embodiment 1 of the present invention.
  • the compressing unit 11 includes a subtracting unit 111, an orthogonal transform unit 112, and a quantizing unit 113 to form a compression unit.
  • the subtraction unit 111 subtracts the prediction image selected by the selection unit 16 from the input image, that is, the intra-screen prediction image generated by the intra-screen prediction unit 14 or the inter-screen prediction image generated by the inter-screen prediction unit 15. A difference image is generated.
  • the orthogonal transform unit 112 performs orthogonal transform on the difference image and outputs an orthogonal transform coefficient.
  • the quantization unit 113 quantizes the orthogonal transform coefficient to generate a compressed image.
  • FIG. 3 is a block diagram showing an example of the decompressing unit of the image coding apparatus according to Embodiment 1 of the present invention.
  • the decompression unit 12 includes decompression means including an inverse quantization unit 121, an inverse orthogonal transform unit 122, and an addition unit 123, and performs an inverse transform process for the forward transform process of the compression unit 11.
  • an inverse quantization unit 121 inversely quantizes the compressed image compressed by the compression unit 11 and outputs orthogonal transform coefficients.
  • the inverse orthogonal transform unit 122 performs inverse orthogonal transform on the inversely quantized orthogonal transform coefficient and outputs a difference image.
  • the adding unit 123 adds the predicted image to the difference image obtained by inverse orthogonal transformation to generate a decoded image.
  • the predicted image added to the difference image inversely orthogonally transformed by the decompressing unit 12 is the same image as the predicted image subtracted from the input image by the subtracting unit 111 of the compressing unit 11.
  • the processing units corresponding to forward transform and inverse transform in the orthogonal transform unit 112, the quantization unit 113, the inverse quantization unit 121 of the decompression unit 12, and the inverse orthogonal transform unit 122 of the compression unit 11 are omitted. May be configured.
  • a configuration without the orthogonal transform unit 112 and the inverse orthogonal transform unit 122, a configuration without the quantization unit 113, and the inverse quantization unit 121 may be employed.
  • FIG. 4 shows an example of the encoded stream according to Embodiment 1 of the present invention.
  • the header information is, for example, H.264.
  • SPS Sequence Parameter Set: sequence level encoding information
  • PPS Picture Parameter Set: picture level encoding information
  • prediction information and quantization coefficients are encoded and multiplexed in units of 16 ⁇ 16 macroblocks.
  • prediction information is treated as a part of additional information, for example, additional information encoded data obtained by encoding additional information in units of 16 ⁇ 16 macroblocks and compressed in units of 16 ⁇ 16 macroblocks. It is assumed that texture encoded data obtained by encoding an image is separated and encoded and multiplexed.
  • Additional information includes information necessary for decoding, such as macroblock type, quantization step, intra prediction mode, reference image information, motion vector, and not necessarily required for decoding, for example, intra prediction cost, inter-screen Data such as prediction cost and macroblock code amount is included.
  • the additional information may include other data that is not necessarily required for decoding and that can be used for image analysis not listed here.
  • a DC component of an orthogonal transform coefficient or PSNR may be encoded as additional information.
  • PSNR Peak Signal-to-Noise Ratio
  • information essential for decoding and information not necessarily required for decoding are individually encoded within the additional information encoding unit 18 and multiplexed to generate additional information encoded data. May be.
  • the intra-frame prediction cost, the inter-screen prediction cost, and the macroblock code amount that are not required for original decoding are encoded in the additional information encoded data
  • information that is not necessarily required for decoding May not be included in the additional information, and only information essential for decoding may be encoded as the additional information.
  • the texture encoding unit encodes the quantized coefficient and outputs the texture encoded data.
  • the encoding according to the standard is performed and multiplexed with the additional information encoded data. It may be configured so that it can be decoded by a general image decoding apparatus. Further, the encoded stream may be generated by being modified as described as a modified example related to the configuration of FIGS.
  • the texture encoding unit that encodes the compressed image output from the compression unit and outputs the texture encoded data, and the output when performing the encoding.
  • Additional information encoding unit that encodes additional information such as intra-screen prediction additional information, inter-screen prediction additional information, and macroblock code amount, and outputs additional information encoded data; texture encoded data and additional information code
  • a multiplexing unit that multiplexes the encoded data.
  • Information encoded data is multiplexed, information necessary for image analysis is included in the additional information, and an encoded stream that can be analyzed with only the additional information can be generated. Further, the image analysis apparatus that has received this encoded stream analyzes the image from the additional information obtained by separating and decoding the additional information encoded data, thereby reducing the amount of calculation for decoding the texture encoded data.
  • Embodiment 2 the additional information encoded data multiplexed in the encoded stream encoded by the image encoding apparatus of the first embodiment of the present invention is decoded, and image analysis is performed using the decoded additional information.
  • An image analysis apparatus that performs the above will be described.
  • FIG. 5 is a block diagram showing an example of an image analysis apparatus according to Embodiment 2 of the present invention.
  • the demultiplexing unit 21a separates the additional information encoded data and the texture encoded data multiplexed into the encoded stream (encoded data), and outputs the additional information encoded data.
  • the additional information decoding unit 22 decodes the additional information encoded data output from the demultiplexing unit 21a to generate additional information.
  • the image analysis unit 23 performs image analysis based on the intra-screen prediction additional information and the inter-screen prediction additional information included in the additional information generated by the additional information decoding unit 22, and generates an image analysis result.
  • the image analysis result obtained by this image analysis apparatus may be used as auxiliary data for image analysis performed by another image analysis apparatus.
  • the additional information encoded data multiplexed in the encoded stream may be encoded separately, for example, information essential for decoding and information not necessarily required for decoding.
  • the additional information decoding unit 22 encodes additional information encoded data separated from the encoded stream by the demultiplexing unit 21a, information that is essential for decoding and information that is not necessarily required for decoding.
  • the data encoding and the image analysis device only need to be negotiated.
  • FIG. 6 is a flowchart showing an example of the clustering process based on the intra-picture prediction mode in the image analysis unit of the image coding apparatus according to Embodiment 2 of the present invention. Here, it is assumed that the clustering process is performed using the intra prediction mode and the intra prediction cost.
  • the image analysis unit 23 determines whether or not the intra-screen prediction cost of the intra-screen prediction additional information is equal to or lower than the threshold value TH_INTRA in each macroblock (step ST21).
  • the current macroblock is set to the same cluster as the cluster in the prediction direction of the intra-screen prediction mode (step ST22).
  • the intra-screen prediction cost is not equal to or lower than the threshold TH_INTRA (No)
  • the current macroblock is set to a new cluster different from the cluster in the prediction direction of the intra-screen prediction mode (step ST23).
  • Step ST21 to step ST23 are repeated until the final macroblock processing is completed (step ST24).
  • FIG. 7 is an explanatory diagram showing an example of the clustering process based on the intra-picture prediction mode in the image analysis unit of the image coding device according to the second embodiment of the present invention.
  • mode 16 ⁇ 16 intra prediction mode
  • cost intra prediction cost
  • Each square shown represents a 16 ⁇ 16 macroblock.
  • the intra prediction mode and the intra prediction cost described therein are divided by the demultiplexing unit 21a from the encoded stream, and the additional information encoded data is separated. It is assumed that the additional information decoding unit 22 decodes the macroblock.
  • In-screen prediction modes are: vertical prediction in which mode 0 calculates a prediction pixel from a pixel adjacent to the top of the macroblock, horizontal prediction in which mode 1 calculates a prediction pixel from a pixel adjacent to the left of the macroblock, mode 2 Is DC prediction for calculating a prediction pixel from the average value of surrounding pixels, and mode 3 is Plane prediction for calculating a prediction pixel from the surrounding pixels.
  • the macroblock clusters are classified by a cluster 1 indicated by a diagonal line with a lower right, a cluster 2 indicated by an oblique line with a lower left, and a cluster 3 without a diagonal line.
  • the threshold value TH_INTRA is set to 30, for example.
  • mode 0 is the same cluster as the macroblock adjacent to the upper part
  • mode 1 is the same cluster as the macroblock adjacent to the left part
  • mode 2 and mode 3 are the upper and left parts. If the clusters of the macroblocks in the same part are the same, the same cluster as the macroblocks in the upper part and the left part is set. If the clusters of the macroblocks in the upper part and the left part are different, a new cluster is set.
  • the first macroblock from the top left is set to the first cluster 1 regardless of the intra prediction mode and the intra prediction cost.
  • the second macroblock is set to the same cluster 1 as the left cluster that is the prediction direction of mode 1 that is the in-screen prediction mode.
  • the third and fourth macroblocks also have the same intra-screen prediction cost values 23 and 14 that are equal to or lower than the threshold value TH_INTRA, so the same cluster as the left cluster that is the prediction direction of mode 1 that is the intra-screen prediction mode Set to 1.
  • the second macroblock is set to a new cluster 2 because the in-screen predicted cost value 70 is not less than or equal to the threshold value TH_INTRA.
  • the third and fourth macroblocks are set to the same cluster 2 as the left cluster which is the prediction direction of mode 1 which is the in-screen prediction mode because the in-screen prediction cost values 21 and 19 are equal to or less than the threshold TH_INTRA.
  • the first macroblock from the left in the lower row is set to a new cluster 3 because the in-screen predicted cost value 63 is not less than or equal to the threshold value TH_INTRA.
  • the second macroblock is set to the same cluster 3 as the left cluster that is the prediction direction of mode 1 that is the in-screen prediction mode.
  • the third macroblock is set to the same cluster 2 as the upper cluster that is the prediction direction of mode 0 that is the intra prediction mode because the intra prediction cost value 21 is equal to or less than the threshold TH_INTRA.
  • the fourth macroblock has the same intra-screen prediction mode 27 because the intra-screen prediction cost value 27 is equal to or less than the threshold TH_INTRA, and the upper and left macroblocks are the same cluster 2. Set to cluster 2.
  • FIG. 8 is an explanatory diagram showing an example of the clustering process based on the intra-picture prediction mode of a block having a size different from that of the macro block in the image analysis unit of the image coding apparatus according to Embodiment 2 of the present invention.
  • an example of cluster selection when the intra-screen prediction cost is equal to or less than the threshold TH_INTRA and the 4 ⁇ 4 intra-screen prediction mode is used will be described.
  • the left figure shows the correspondence between the reference direction of the pixel and the mode number in the 4 ⁇ 4 intra prediction mode.
  • the figure on the right shows a case where a 16 ⁇ 16 macro block (large block) is divided into, for example, four 16 ⁇ 4 blocks (small blocks) in the vertical and horizontal directions.
  • the intra prediction mode is shown.
  • the arrow at the block boundary indicates the reference direction of the pixel corresponding to the prediction mode shown in the left diagram.
  • Mode 2 is DC prediction in which a prediction pixel is calculated from an average value of neighboring pixels as in 16 ⁇ 16 intra-screen prediction, and is assumed to be the same reference direction as in mode 4 in the second embodiment of the present invention.
  • the demultiplexer 21a separates the additional information encoded data from the encoded stream, and the additional information decoder 22 decodes the macroblock.
  • the size of such an encoded block is indicated in the macro block type information included in the additional information as information essential for decoding.
  • the 16 ⁇ 16 macroblock is set to the same cluster as a cluster in which pixels referred to by many 4 ⁇ 4 blocks exist in the direction of the prediction mode of seven 4 ⁇ 4 blocks at the upper end and the left end, for example.
  • the corresponding macroblock is set to the same cluster as the cluster to which the upper macroblock belongs.
  • FIG. 9 is a flowchart showing an example of clustering processing based on the inter-picture prediction mode in the image analysis unit of the image coding apparatus according to Embodiment 2 of the present invention. Here, it is assumed that clustering processing is performed using the reference image information, the motion vector, and the inter-picture prediction cost.
  • the image analysis unit 23 determines whether or not the inter-screen prediction cost of the inter-screen prediction additional information is equal to or lower than the threshold value TH_INTER in each macroblock (step ST25).
  • the current macroblock is set to the same cluster as the reference image cluster indicated by the motion vector (step ST26).
  • the inter-screen prediction cost is not less than or equal to the threshold TH_INTER (No)
  • the current macroblock is set to a new cluster different from the reference image cluster indicated by the motion vector (step ST27).
  • Steps ST25 to ST27 are repeated until the final macroblock processing is completed (step ST28).
  • FIG. 10 is an explanatory diagram showing an example of clustering processing based on the inter-picture prediction mode in the image analysis unit of the image coding device according to Embodiment 2 of the present invention.
  • an example of image analysis by clustering processing using reference image information for each macroblock, a motion vector, and an inter-screen prediction cost (Cost) will be described based on the flowchart of FIG.
  • the reference image information is information indicating which image that has been analyzed in the past by the currently analyzed macroblock.
  • the broken-line arrows are macroblock level information indicating which macroblock in the reference image the motion vector of the macroblock of the image under analysis refers to, and the exact motion vector referred to Although it does not indicate the pixel position, it will be described here as indicating a motion vector.
  • Each square shown represents a 16 ⁇ 16 macroblock, and the inter-screen prediction cost described inside the image being analyzed is added by separating the additional information encoded data from the encoded stream by the demultiplexing unit 21a. It is assumed that the information decoding unit 22 has decoded the macroblock.
  • Clusters of macroblocks are classified as cluster 1 indicated by a left-slanting diagonal line, cluster 2 indicated by a diagonally downward-sloping line, cluster 3 not hatched, and cluster 4 indicated by a steeply downward-sloping diagonal line.
  • the threshold value TH_INTER is set to 30, for example.
  • the first macroblock from the left in the upper stage is set to the same cluster 1 as the reference image cluster indicated by the motion vector.
  • the second, third, and fourth macroblocks are set to the same cluster 1 as the reference image cluster indicated by the motion vector because the inter-screen prediction cost is equal to or lower than the threshold value TH_INTER.
  • the inter-screen prediction cost value 22 is equal to or less than the threshold value TH_INTERTERION
  • the first macroblock from the left in the middle stage is set to the same cluster 1 as the reference image cluster indicated by the motion vector.
  • the inter-screen prediction cost value 10 is less than or equal to the threshold TH_INTER
  • the second macroblock is set to the same cluster 2 as the reference image cluster indicated by the motion vector.
  • the intra-screen prediction cost values 21 and 19 are equal to or less than the threshold value TH_INTER, and hence the same cluster 2 as the reference image cluster indicated by the motion vector is set.
  • the first macroblock from the left in the lower row is set to a new cluster 3 because the in-screen predicted cost value 63 is not less than or equal to the threshold value TH_INTER.
  • the second macroblock is set to a new cluster 4 because the in-screen predicted cost value 67 is not less than or equal to the threshold value TH_INTER.
  • the third and fourth macroblocks are set to the same cluster 2 as the reference image cluster indicated by the motion vector because the intra-screen prediction cost values 21 and 27 are equal to or less than the threshold value TH_INTER.
  • the image analysis processing such as clustering for the macroblock of the image as described above is performed, and the image analysis unit 23 of the image analysis apparatus outputs the image analysis result.
  • the image analysis is performed using the intra-screen prediction cost and the inter-screen prediction cost has been described.
  • the image analysis is performed using the macroblock code amount and the quantization step. May be.
  • a value obtained by multiplying the macroblock code amount by the quantization step is regarded as an intra-screen prediction cost or an inter-screen prediction cost according to the encoded scheme, and the prediction cost is compared with a threshold value. It may be set to the same cluster as the cluster indicated by the direction of the intra prediction mode and the motion vector, and may be set to a new cluster if it is not less than the threshold value.
  • a prediction cost adjusted by multiplying a value obtained by multiplying a macroblock code amount by a quantization step and a different adjustment coefficient based on an encoded scheme may be compared with a common threshold.
  • the prediction cost based on a common formula calculated as a value obtained by multiplying the macroblock code amount by the quantization step may be compared with different threshold values based on the coded scheme.
  • the demultiplexing unit that separates the additional information encoded data and the texture encoded data multiplexed on the input encoded stream, and the separation Since an additional information decoding unit that decodes the encoded additional information encoded data and outputs additional information and an image analysis unit that performs image analysis using the additional information are provided, an image is decoded from the texture encoded data. Therefore, the amount of calculation for image analysis can be reduced.
  • Embodiment 3 FIG.
  • the image analysis apparatus that decodes the additional information encoded data multiplexed in the encoded stream and performs image analysis using the decoded additional information has been described.
  • the third embodiment of the present invention not only the image analysis performed in the second embodiment of the present invention but also an image analysis apparatus that decodes the multiplexed texture encoded data to obtain a decoded image will be described.
  • FIG. 11 is a block diagram showing an example of an image analysis apparatus according to Embodiment 3 of the present invention.
  • the demultiplexing unit 21b separates the additional information encoded data and the texture encoded data multiplexed in the encoded stream, and outputs the additional information encoded data and the texture encoded data.
  • the texture decoding unit 34 decodes the texture encoded data separated by the demultiplexing unit 21b to generate a compressed image.
  • the decompressing unit 35 generates a decoded image by adding a predicted image to the compressed image generated by the texture decoding unit 34.
  • the image storage unit (picture buffer) 36 stores the decoded image generated by the decompression unit 35 as storage means such as a memory.
  • the intra-screen prediction unit 37 generates an intra-screen prediction image from the decoded image generated by the decompression unit 35 based on the intra-screen prediction additional information included in the additional information generated by the additional information decoding unit 22.
  • the inter-screen prediction unit 38 calculates an intra-screen prediction image from the decoded image stored in the image storage unit (picture buffer) 36 based on the inter-screen prediction additional information included in the additional information generated by the additional information decoding unit 22. Generate.
  • the selection unit 39 selects the intra-screen prediction image generated by the intra-screen prediction unit 37 or the inter-screen prediction image generated by the inter-screen prediction unit 38 based on the prediction mode included in the additional information generated by the additional information decoding unit 22. Select a prediction image.
  • the decoded images stored in the image storage unit (picture buffer) 36 are output in the order of pictures of the input image input to the image encoding device that has generated the encoded stream, and is displayed on a display unit (not shown) such as a display. It may be regenerated.
  • the texture decoding unit 34 performs a decoding method corresponding to the encoding method applied by the image encoding device, for example, entropy decoding such as Huffman decoding or arithmetic decoding.
  • the intra-screen prediction unit 37, the inter-screen prediction unit 38, and the selection unit 39 may be collectively regarded as a predicted image generation unit (predicted image generation unit).
  • FIG. 12 is a block diagram showing an example of the decompression unit of the image analysis apparatus according to Embodiment 3 of the present invention.
  • the decompression unit 35 of this image analysis apparatus corresponds to the decompression unit 12 of the image coding apparatus according to Embodiment 1 of the present invention shown in FIG. To do.
  • the decompression unit in which the decompression unit 35 of the image analysis device is also transformed It shall be adapted to 12 configurations.
  • the image analysis apparatus performs image analysis based on additional information encoded data separated from the encoded stream encoded by the image encoding apparatus according to Embodiment 1 of the present invention.
  • the image analysis apparatus according to Embodiment 2 may be configured as an image decoding apparatus provided as image analysis means.
  • the demultiplexing unit that separates the additional information encoded data and the texture encoded data multiplexed with respect to the input encoded stream, and the separation Since an additional information decoding unit that decodes the encoded additional information encoded data and outputs additional information and an image analysis unit that performs image analysis using the additional information are provided, an image is decoded from the texture encoded data. Therefore, the amount of calculation for image analysis can be reduced.
  • the demultiplexing unit that separates the additional information encoded data and the texture encoded data multiplexed with respect to the input encoded stream, and the separated texture Since it comprises the texture decoding part 34 which decodes encoding data, the decoded image which performed the image analysis can be acquired.
  • the image encoding device, the image analysis device, the image encoding method, and the image analysis method according to the present invention include the texture encoded data obtained by encoding an image when the image encoding device performs encoding. Then, it outputs as encoded data obtained by multiplexing additional information encoded data obtained by encoding additional information including information necessary for image analysis. Then, the image analysis apparatus separates and decodes the additional information encoded data from the encoded data, and performs image analysis based on the additional information, thereby reducing the amount of calculation related to the decoding process of the texture encoded data. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明にかかる画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法は、画像符号化装置が符号化を行う際に、画像を符号化したテクスチャ符号化データと、画像データの解析に必要な情報を含む付加情報を符号化した付加情報符号化データとを多重化した符号化データを出力し、画像解析装置が符号化データから付加情報符号化データを分離して復号し付加情報を解析することで、テクスチャ符号化データを復号することなく画像解析を行うようにしたので、符号化データの復号処理に係る計算量を低減することができる。

Description

画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法
　この発明は、画像を符号化する画像符号化装置と、符号化データから画像解析を行う画像解析装置に関するものである。
　近年、動画像を圧縮して符号化する技術が広く用いられている。動画像の符号化方式としては、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）－ＶＩＤＥＯに採用されているＭＰＥＧ－２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ－ｒａｙ（登録商標）　Ｄｉｓｋに採用されているＭＰＥＧ－４　ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）／ＩＴＵ－Ｔ　Ｈ．２６４方式などがある（例えば特許文献１）。
　また、画像データから画像の特性や動きなどを解析する技術が用いられている。例えば、画像内からオブジェクト部分を抽出し、オブジェクトの動きを追跡する等である。
　例えば特許文献１に示される符号化方式を用いて、画像符号化装置が符号化を行うことにより、動画像のデータ量を圧縮することが可能となるが、画像解析を行うには、画像復号装置にて符号化データを画像データに復号してから解析を行う必要がある。
ＭＰＥＧ－４　ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０）／ＩＴＵ－Ｔ　Ｈ．２６４規格
　従来の画像解析装置は、画像復号装置にて符号化データを画像データに復号してから解析を行うため、符号化データの復号処理に多くの計算量が必要になるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、画像符号化装置が符号化を行う際に、画像を符号化したテクスチャ符号化データと、画像データの補助的なパラメータを含めた付加情報を符号化した付加情報符号化データとを多重化した符号化データを出力し、画像解析装置が符号化データから付加情報符号化データを分離して復号し付加情報を解析することで、テクスチャ符号化データを復号することなく画像解析を行い、符号化データの復号処理に係る計算量を低減することを目的とする。
　この発明に係る画像符号化装置は、入力画像から生成された圧縮画像を符号化してテクスチャ符号化データを生成するテクスチャ符号化部と、前記入力画像の解析に必要な情報を含む付加情報を符号化して付加情報符号化データを生成する付加情報符号化部と、前記テクスチャ符号化データおよび前記付加情報符号化データを多重化して符号化ストリームを出力する多重化部とを備えたものである。
　また、この発明に係る画像解析装置は、符号化ストリームに多重化された画像の解析に必要な情報を含む付加情報が符号化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離部と、前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号部と、前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析部とを備えたものである。
　この発明によれば、画像を符号化する際に、画像符号化装置がテクスチャを符号化するテクスチャ符号化部と、そのテクスチャを符号化する際の付加情報を符号化する付加情報符号化部と、テクスチャ符号化データと付加情報符号化データを多重化して符号化ストリームとする多重化部を備え、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できるように構成したので、付加情報のみで画像解析できる符号化ストリームを生成することができる。
　また、この発明によれば、画像解析装置が画像を解析する際に、符号化ストリームに多重化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離部と、付加情報符号化データを復号し、付加情報を生成する付加情報復号部と、付加情報をもとに画像解析を行う画像解析部を備え、画像解析に必要な情報が含まれた付加情報から画像解析できるように構成したので、符号化ストリームから付加情報符号化データを分離して付加情報を復号して画像解析することで、テクスチャ符号化データの復号処理を不要として計算量を低減させることができる。
この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。 この発明の実施の形態１に係る符号化ストリームの一例を示すものである。 この発明の実施の形態２に係る画像解析装置の一例を示す構成図である。 この発明の実施の形態２に係る画像符号化装置の画像解析部における画像内予測モードに基づくクラスタリング処理の一例を示すフローチャートである。 この発明の実施の形態２に係る画像符号化装置の画像解析部における画像内予測モードに基づくクラスタリング処理の一例を示す説明図である。 この発明の実施の形態２に係る画像符号化装置の画像解析部におけるマクロブロックと異なるサイズのブロックの画像内予測モードに基づくクラスタリング処理の一例を示す説明図である。 この発明の実施の形態２に係る画像符号化装置の画像解析部における画像間予測モードに基づくクラスタリング処理の一例を示すフローチャートである。 この発明の実施の形態２に係る画像符号化装置の画像解析部における画像間予測モードに基づくクラスタリング処理の一例を示す説明図である。 この発明の実施の形態３に係る画像解析装置の一例を示す構成図である。 この発明の実施の形態３に係る画像解析装置の伸長部の一例を示す構成図である。
　以下に、本発明にかかる画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態１．
　この発明の実施の形態１では、画像を符号化する際に、テクスチャを符号化したテクスチャ符号化データとそのテクスチャを符号化する際に使用した付加情報を符号化する付加情報符号化データを多重化し、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できる符号化ストリームを生成するように構成したので、画像解析装置に符号化ストリームから付加情報符号化データを分離して画像解析させることを可能とする画像符号化装置を説明する。
　図１は、この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。図において、圧縮部１１は、入力画像から予測画像を減じて圧縮画像を生成する。伸長部１２は、圧縮部１１が生成した圧縮画像に予測画像を加えて復号画像を生成する。画像蓄積部（ピクチャバッファ）１３は、メモリ等の蓄積手段として、伸長部１２が生成した復号画像を蓄積する。画面内予測部１４は、入力画像と伸長部１２が生成した復号画像とから画面内予測画像を生成し、画面内予測付加情報を出力する。画面間予測部１５は、入力画像と画像蓄積部（ピクチャバッファ）１３に蓄積された復号画像とから画面内予測画像を生成し、画面間予測付加情報を出力する。選択部１６は、予測モードに基づいて画面内予測部１４が生成した画面内予測画像または画面間予測部１５が生成した画面間予測画像を選択して予測画像とする。テクスチャ符号化部１７は、圧縮部１１が生成した圧縮画像を符号化してテクスチャ符号化データを生成する。付加情報符号化部１８は、予測モードおよび画面内予測部１４が出力した画面内予測付加情報および画面間予測部１５が出力した画面間予測付加情報を含む付加情報を符号化して付加情報符号化データを生成する。多重化部１９は、テクスチャ符号化部１７が生成したテクスチャ符号化データおよび付加情報符号化部１８が生成した付加情報符号化データを多重化して符号化ストリーム（符号化データ）を出力する。なお、画面内予測部１４、画面間予測部１５、選択部１６をまとめて予測画像生成部（予測画像生成手段）とみなしてもよい。テクスチャ符号化部１７は、圧縮画像に対し、例えばハフマン符号化や算術符号化などのエントロピー符号化するものとする。
　図２は、この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。この圧縮部１１は、減算部１１１、直交変換部１１２、量子化部１１３から圧縮手段を構成する。図において、減算部１１１は、入力画像から選択部１６が選択した予測画像、すなわち画面内予測部１４が生成した画面内予測画像または画面間予測部１５が生成した画面間予測画像を減算して差分画像を生成する。直交変換部１１２は、差分画像を直交変換し、直交変換係数を出力する。量子化部１１３は、直交変換係数を量子化し、圧縮画像を生成する。
　図３は、この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。この伸長部１２は、逆量子化部１２１、逆直交変換部１２２、加算部１２３から伸長手段を構成し、圧縮部１１の順変換処理に対する逆変換処理を行う。図において、逆量子化部１２１は、圧縮部１１が圧縮した圧縮画像を逆量子化し、直交変換係数を出力する。逆直交変換部１２２は、逆量子化された直交変換係数を逆直交変換し、差分画像を出力する。加算部１２３は、逆直交変換した差分画像に予測画像を加算して復号画像を生成する。
　ここで、伸長部１２が逆直交変換した差分画像に加算する予測画像は、圧縮部１１の減算部１１１が入力画像から減算した予測画像と同一の画像である。また、変形例として、圧縮部１１の直交変換部１１２、量子化部１１３、伸長部１２の逆量子化部１２１、逆直交変換部１２２において順変換および逆変換の対応する処理部は、省略して構成してもよい。例えば、直交変換部１１２と逆直交変換部１２２がない構成、量子化部１１３、逆量子化部１２１がない構成を採用してもよい。さらに、直交変換部１１２、量子化部１１３、逆量子化部１２１、逆直交変換部１２２のすべてがなく、減算部１１１のみの圧縮部１１および加算部１２３のみの伸長部１２とした構成を採用してもよく、可逆となる場合は、実質的に伸長部１２を省略し、入力画像を画像蓄積部１３に直接入力して蓄積させても等価となる。
　図４は、この発明の実施の形態１に係る符号化ストリームの一例を示すものである。図において、ヘッダ情報は、例えばＨ．２６４符号化におけるＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：シーケンスレベルの符号化情報）やＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：ピクチャレベルの符号化情報）を示す。
　Ｈ．２６４符号化では、１６×１６のマクロブロック単位で予測情報と量子化係数が符号化多重される。この発明の実施の形態１では、予測情報を付加情報の一部として扱い、例えば１６×１６のマクロブロック単位で付加情報を符号化した付加情報符号化データと１６×１６のマクロブロック単位で圧縮画像を符号化したテクスチャ符号化データとを分離して符号化し、多重化するものとする。
　付加情報には、復号に必須となる情報であるマクロブロックタイプ、量子化ステップ、画面内予測モード、参照画像情報、動きベクトルと、復号には必ずしも必要とされない、例えば画面内予測コスト、画面間予測コスト、マクロブロック符号量などのデータを含ませておく。ここで、より効率よく伝送や蓄積ができるように符号化を適用するものとする。なお、復号には必ずしも必要とされないデータで、ここに挙げていない画像解析に使用できる他のデータを付加情報に含めてもよい。例えば、直交変換係数のＤＣ成分や、ＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）を付加情報として符号化してもよい。なお、付加情報のうち、例えば復号に必須となる情報と復号には必ずしも必要とされない情報は、付加情報符号化部１８内部で個別に符号化して、多重化して付加情報符号化データを生成してもよい。
　また、付加情報符号化データに本来の復号には必要とされない画面内予測コスト、画面間予測コスト、マクロブロック符号量が符号化されている場合について説明したが、復号には必ずしも必要としない情報は付加情報に含ませず、復号に必須となる情報のみを付加情報として符号化しても構わない。
　なお、この実施の形態１では、テクスチャ符号化部が量子化係数を符号化してテクスチャ符号化データを出力する場合を説明したが、規格に則した符号化を行い、付加情報符号化データと多重化するようにして一般的な画像復号装置で復号できるように構成してもよい。また、図２および図３の構成に関する変形例として説明したように変形させて符号化ストリームを生成してもよい。
　以上のように、この実施の形態１に係る画像符号化装置によれば、圧縮部が出力した圧縮画像を符号化しテクスチャ符号化データを出力するテクスチャ符号化部と、符号化を行う際に出力される画面内予測付加情報と画面間予測付加情報、マクロブロックの符号量等の付加情報を符号化し、付加情報符号化データを出力する付加情報符号化部と、テクスチャ符号化データと付加情報符号化データを多重化する多重化部とを備えたので、画像を符号化する際に、テクスチャを符号化したテクスチャ符号化データとそのテクスチャを符号化する際に使用した付加情報を符号化する付加情報符号化データを多重化し、画像解析に必要な情報を付加情報に含めておき、付加情報のみで画像解析できる符号化ストリームを生成することができる。また、この符号化ストリームを受け取った画像解析装置が付加情報符号化データを分離して復号した付加情報から画像解析することで、テクスチャ符号化データを復号する演算量を低減させることができる。
実施の形態２．
　この発明の実施の形態２では、この発明の実施の形態１の画像符号化装置が符号化した符号化ストリームに多重された付加情報符号化データを復号し、復号した付加情報を用いて画像解析を行う画像解析装置を説明する。
　図５は、この発明の実施の形態２に係る画像解析装置の一例を示す構成図である。図において、多重分離部２１ａは、符号化ストリーム（符号化データ）に多重化された付加情報符号化データおよびテクスチャ符号化データを分離し、付加情報符号化データを出力する。付加情報復号部２２は、多重分離部２１ａから出力された付加情報符号化データを復号し、付加情報を生成する。画像解析部２３は、付加情報復号部２２が生成した付加情報に含まれた画面内予測付加情報および画面間予測付加情報をもとに画像解析を行い、画像解析結果を生成する。この画像解析装置で得られた画像解析結果は、さらに他の画像解析装置が行う画像解析の補助データとして使用されてもよい。
　なお、符号化ストリームに多重された付加情報符号化データが、例えば復号に必須となる情報と復号には必ずしも必要とされない情報が個別に符号化されている場合もある。このとき、付加情報復号部２２は、多重分離部２１ａによって符号化ストリームから分離された付加情報符号化データに対して、さらに復号に必須となる情報と復号には必ずしも必要とされない情報の符号化データに分離して個別に復号するなど対応することになるが、画像符号化装置と画像解析装置で取り決めておけばよい。
　次に、画像解析部２３の動作について説明する。
　図６は、この発明の実施の形態２に係る画像符号化装置の画像解析部における画像内予測モードに基づくクラスタリング処理の一例を示すフローチャートである。ここでは、画像内予測モード及び画像内予測コストを用いてクラスタリング処理するものとする。
　画像解析部２３は、各マクロブロックにおいて、画面内予測付加情報のうち画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下であるか否かを判定する（ステップＳＴ２１）。
　画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下の場合（Ｙｅｓ）は、現在のマクロブロックを画面内予測モードの予測方向のクラスタと同じクラスタに設定する（ステップＳＴ２２）。一方、画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下でない場合（Ｎｏ）は、現在のマクロブロックを画面内予測モードの予測方向のクラスタと異なる新規クラスタに設定する（ステップＳＴ２３）。
　最終マクロブロックの処理が完了するまで、ステップＳＴ２１からステップＳＴ２３を繰り返す（ステップＳＴ２４）。
　図７は、この発明の実施の形態２に係る画像符号化装置の画像解析部における画像内予測モードに基づくクラスタリング処理の一例を示す説明図である。ここでは、マクロブロックごとの１６×１６画面内予測モード（ｍｏｄｅ）と画面内予測コスト（ｃｏｓｔ）によるクラスタリング処理による画像解析の一例について、図６のフローチャートに基づいて説明する。図示された各正方形が１６×１６マクロブロックを表しており、その内部に記載した画面内予測モードと画面内予測コストは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。
　画面内予測モードは、モード０がマクロブロックの上部に隣接する画素から予測画素を算出する垂直方向予測、モード１がマクロブロック左部に隣接する画素から予測画素を算出する水平方向予測、モード２が周辺画素の平均値から予測画素を算出するＤＣ予測、モード３が周辺画素から予測画素を算出するＰｌａｎｅ予測である。
　ここでは、左上を基準に、上段から水平方向に走査し、下方の中段、下段を同様に走査してマクロブロックをクラスタリングするものとして説明する。マクロブロックのクラスタは、右下がりの斜線で示したクラスタ１、左下がりの斜線で示したクラスタ２、斜線を付けていないクラスタ３で分類を示すものとする。なお、閾値ＴＨ＿ＩＮＴＲＡは、例えば３０とする。
　イントラ予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下であった場合、モード０では上部に隣接するマクロブロックと同じクラスタに、モード１では左部に隣接するマクロブロックと同じクラスタに、モード２及びモード３は上部と左部のマクロブロックのクラスタが同一の場合、上部と左部のマクロブロックと同じクラスタに、上部と左部のマクロブロックのクラスタが異なる場合は、新しいクラスタに設定する。
　まず、上段の左から１番目のマクロブロックは、画面内予測モードおよび画面内予測コストによらず、最初のクラスタ１に設定される。次に、２番目のマクロブロックは、画面内予測コスト値１０は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ１に設定される。さらに、３番目、４番目のマクロブロックも、同様に画面内予測コスト値２３、１４は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ１に設定される。
　次に、中段の左から１番目のマクロブロックは、画面内予測コスト値２２は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード０の予測方向である上のクラスタと同じクラスタ１に設定する。次に、２番目のマクロブロックは、画面内予測コスト値７０は閾値ＴＨ＿ＩＮＴＲＡ以下でないため、新しいクラスタ２に設定される。３番目、４番目のマクロブロックは、画面内予測コスト値２１、１９は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ２に設定される。
　また、下段の左から１番目のマクロブロックは、画面内予測コスト値６３は閾値ＴＨ＿ＩＮＴＲＡ以下でないため、新しいクラスタ３に設定される。次に、２番目のマクロブロックは、画面内予測コスト値２９は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード１の予測方向である左のクラスタと同じクラスタ３に設定される。３番目のマクロブロックは、画面内予測コスト値２１は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード０の予測方向である上のクラスタと同じクラスタ２に設定される。４番目のマクロブロックは、画面内予測コスト値２７は閾値ＴＨ＿ＩＮＴＲＡ以下であるため、その画面内予測モードであるモード３であり、上部と左部のマクロブロックが同一のクラスタ２であるため、同じクラスタ２に設定される。
　図８は、この発明の実施の形態２に係る画像符号化装置の画像解析部におけるマクロブロックと異なるサイズのブロックの画像内予測モードに基づくクラスタリング処理の一例を示す説明図である。ここでは、画面内予測コストが閾値ＴＨ＿ＩＮＴＲＡ以下で、４×４画面内予測モードが使用されている場合のクラスタの選択の一例を説明する。図において、左図は、４×４画面内予測モードは画素の参照方向とモード番号の対応を表している。右図は、１６×１６マクロブロック（大ブロック）が、例えば縦横各４つの１６個の４×４ブロック（小ブロック）に分割される場合であり、上端、左端の各４×４ブロック内に画面内予測モードを示している。ブロック境界の矢印は、左図に示した予測モードに対応した画素の参照方向を示している。モード２は１６×１６画面内予測と同様に周辺画素の平均値から予測画素を算出するＤＣ予測であり、この発明の実施の形態２においてはモード４と同じ参照方向とみなすものとする。図中の４×４画面内予測モードは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。このような符号化されたブロックのサイズは、復号に必須の情報として付加情報に含まれたマクロブロックタイプ情報に示されている。
　ここで、１６×１６マクロブロックは、例えば上端、左端の７つの４×４ブロックの予測モードの方向で、多くの４×４ブロックから参照される画素が存在するクラスタと同じクラスタに設定する。この例では、上部に隣接するマクロブロックの画素からの予測が多いため、該当マクロブロックは上部のマクロブロックが属するクラスタと同じクラスタに設定するものとする。
　図９は、この発明の実施の形態２に係る画像符号化装置の画像解析部における画像間予測モードに基づくクラスタリング処理の一例を示すフローチャートである。ここでは、参照画像情報、動きベクトル及び画像間予測コストを用いてクラスタリング処理するものとする。
　画像解析部２３は、各マクロブロックにおいて、画面間予測付加情報のうち画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下であるか否かを判定する（ステップＳＴ２５）。
　画面内予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下の場合（Ｙｅｓ）は、現在のマクロブロックを動きベクトルが指し示す、参照画像のクラスタと同じクラスタに設定する（ステップＳＴ２６）。一方、画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下でない場合（Ｎｏ）は、現在のマクロブロックを動きベクトルが指し示す、参照画像のクラスタと異なる新規クラスタに設定する（ステップＳＴ２７）。
　最終マクロブロックの処理が完了するまで、ステップＳＴ２５からステップＳＴ２７を繰り返す（ステップＳＴ２８）。
　図１０は、この発明の実施の形態２に係る画像符号化装置の画像解析部における画像間予測モードに基づくクラスタリング処理の一例を示す説明図である。ここでは、マクロブロックごとの参照画像情報、動きベクトル、画面間予測コスト（Ｃｏｓｔ）によるクラスタリング処理による画像解析の一例について、図９のフローチャートに基づいて説明する。ここで、参照画像情報は、現在解析しているマクロブロックが過去に解析済みのどの画像を参照するかを示す情報である。なお、破線の矢印は、解析中の画像のマクロブロックの動きベクトルが参照画像のどのマクロブロック中の画素を参照するかを示すマクロブロックレベルの情報であり、実際の動きベクトルが参照する正確な画素位置を示すものではないが、ここでは動きベクトルを指すものとして説明する。図示された各正方形が１６×１６マクロブロックを表しており、解析中の画像の内部に記載した画面間予測コストは、多重分離部２１ａが符号化ストリームから付加情報符号化データを分離し、付加情報復号部２２がマクロブロックに対して復号したものとする。
　ここでは、左上を基準に、上段から水平方向に走査し、下方の中段、下段を同様に走査してマクロブロックをクラスタリングするものとして説明する。マクロブロックのクラスタは、左下がりの斜線で示したクラスタ１、右下がりの斜線で示したクラスタ２、斜線を付けていないクラスタ３、急勾配の左下がりの斜線で示したクラスタ４で分類を示すものとする。なお、閾値ＴＨ＿ＩＮＴＥＲは、例えば３０とする。
　まず、上段の左から１番目のマクロブロックは、画面間予測コスト値３０が閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画像のクラスタと同じクラスタ１に設定する。２番目、３番目、４番目のマクロブロックも同様に、画面間予測コストが閾値ＴＨ＿ＩＮＴＥＲ以下であるため、動きベクトルが指す参照画像のクラスタと同じクラスタ１に設定する。
　次に、中段の左から１番目のマクロブロックは、画面間予測コスト値２２は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画像のクラスタと同じクラスタ１に設定する。次に、２番目のマクロブロックは、画面間予測コスト値１０は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画像のクラスタと同じクラスタ２に設定する。３番目、４番目のマクロブロックも同様に、画面内予測コスト値２１、１９は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画像のクラスタと同じクラスタ２に設定する。
　また、下段の左から１番目のマクロブロックは、画面内予測コスト値６３は閾値ＴＨ＿ＩＮＴＥＲ以下でないため、新しいクラスタ３に設定される。次に、２番目のマクロブロックは、画面内予測コスト値６７は閾値ＴＨ＿ＩＮＴＥＲ以下でないため、新しいクラスタ４に設定する。３番目、４番目のマクロブロックは、画面内予測コスト値２１、２７は閾値ＴＨ＿ＩＮＴＥＲ以下であるため、その動きベクトルが指す参照画像のクラスタと同じクラスタ２に設定する。
　これまで説明したような画像のマクロブロックに対するクラスタリングなどの画像解析処理を行って、画像解析装置の画像解析部２３は画像解析結果を出力する。
　なお、この実施の形態２では、画面内予測コスト及び画面間予測コストを用いて画像解析を行う場合について説明したが、例えばマクロブロック符号量と量子化ステップを用いて画像解析を行うように構成してもよい。
　例えば、マクロブロック符号量に量子化ステップを乗算した値を、符号化されている方式に従って画面内予測コストまたは画面間予測コストとみなし、予測コストを閾値と比較し、閾値以下であれば、画面内予測モードの方向や動きベクトルの指すクラスタと同一クラスタに設定し、閾値以下でなければ新クラスタに設定するようにしてもよい。なお、このとき、例えばマクロブロック符号量に量子化ステップを乗算した値に、さらに符号化されている方式に基づく異なる調整係数を乗算して調整した予測コストを共通の閾値と比較してもよいし、またマクロブロック符号量に量子化ステップを乗算した値として算出する共通の算式による予測コストを符号化されている方式に基づく異なる閾値と比較するようにしてもよい。
　以上のように、この実施の形態２に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離された付加情報符号化データを復号し付加情報を出力する付加情報復号部と、付加情報を用いて画像解析を行う画像解析部とを備えるように構成したので、テクスチャ符号化データから画像を復号することなく画像解析を行うことができるため、画像解析のための計算量を低減することができる。
実施の形態３．
　先に説明したこの発明の実施の形態２では、符号化ストリームに多重された付加情報符号化データを復号し、復号した付加情報を用いて画像解析を行う画像解析装置を説明した。この発明の実施の形態３では、この発明の実施の形態２で行った画像解析だけでなく、さらに多重されていたテクスチャ符号化データを復号して復号画像を得る画像解析装置を説明する。
　図１１は、この発明の実施の形態３に係る画像解析装置の一例を示す構成図である。図中、図５と同一符号で示した構成部は、同一または相当部分を示すので説明を省略する。図において、多重分離部２１ｂは、符号化ストリームに多重化された付加情報符号化データおよびテクスチャ符号化データを分離し、付加情報符号化データおよびテクスチャ符号化データを出力する。テクスチャ復号部３４は、多重分離部２１ｂが分離したテクスチャ符号化データを復号して圧縮画像を生成する。伸長部３５は、テクスチャ復号部３４が生成した圧縮画像に予測画像を加えて復号画像を生成する。画像蓄積部（ピクチャバッファ）３６は、メモリ等の蓄積手段として、伸長部３５が生成した復号画像を蓄積する。画面内予測部３７は、付加情報復号部２２が生成した付加情報に含まれた画面内予測付加情報に基づいて伸長部３５が生成した復号画像から画面内予測画像を生成する。画面間予測部３８は、付加情報復号部２２が生成した付加情報に含まれた画面間予測付加情報に基づいて画像蓄積部（ピクチャバッファ）３６に蓄積された復号画像とから画面内予測画像を生成する。選択部３９は、付加情報復号部２２が生成した付加情報に含まれた予測モードに基づいて画面内予測部３７が生成した画面内予測画像または画面間予測部３８が生成した画面間予測画像を選択して予測画像とする。なお、符号化ストリームを生成した画像符号化装置に入力された入力画像のピクチャ順に、画像蓄積部（ピクチャバッファ）３６が蓄積した復号画像を出力させ、ディスプレイなどの表示部（図示せず）で再生させてもよい。テクスチャ復号部３４は、画像符号化装置が適用した符号化方式に対応する復号方式、例えばハフマン復号や算術復号などのエントロピー復号を行うものとする。また、画面内予測部３７、画面間予測部３８、選択部３９をまとめて予測画像生成部（予測画像生成手段）とみなしてもよい。
　図１２は、この発明の実施の形態３に係る画像解析装置の伸長部の一例を示す構成図である。この画像解析装置の伸長部３５は、図３に示したこの発明の実施の形態１に係る画像符号化装置の伸長部１２に対応し、同一名称の構成部と同様に動作するので説明を省略する。また、この発明の実施の形態１に係る画像符号化装置の圧縮部１１、伸長部１２に対して説明した変形例で構成されるとき、この画像解析装置の伸長部３５も変形させた伸長部１２の構成に合わせるものとする。
　この発明の実施の形態３に係る画像解析装置は、発明の実施の形態１に係る画像符号化装置が符号化した符号化ストリームから分離した付加情報符号化データに基づいて画像解析するこの発明の実施の形態２に係る画像解析装置を画像解析手段として備えた画像復号装置として構成してもよい。
　以上のように、この実施の形態３に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離された付加情報符号化データを復号し付加情報を出力する付加情報復号部と、付加情報を用いて画像解析を行う画像解析部とを備えるように構成したので、テクスチャ符号化データから画像を復号することなく画像解析を行うことができるため、画像解析のための計算量を低減することができる。
　また、本実施の形態３に係る画像解析装置によれば、入力された符号化ストリームに対し多重化された付加情報符号化データとテクスチャ符号化データを分離する多重分離部と、分離されたテクスチャ符号化データを復号するテクスチャ復号部３４とを備えるように構成したので、画像解析を行った復号画像を取得することができる。
　以上のように、本発明にかかる画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法は、画像符号化装置が符号化を行う際に、画像を符号化したテクスチャ符号化データと、画像解析に必要な情報を含む付加情報を符号化した付加情報符号化データとを多重化した符号化データとして出力する。そして、画像解析装置が符号化データから付加情報符号化データを分離して復号し、付加情報をもとに画像解析することで、テクスチャ符号化データの復号処理に係る計算量を低減することができる。
　１１　圧縮部、１２　伸長部、１３　画像蓄積部（ピクチャバッファ）、１４　画像内予測部、１５　画像間予測部、１６　選択部（スイッチ）、１７　テクスチャ符号化部、１８　付加情報符号化部、１９　多重化部、２１ａ、２１ｂ　多重分離部、２２　付加情報復号部、２３　画像解析部、３４　テクスチャ復号部、３５　伸長部、３６　画像蓄積部（ピクチャバッファ）、３７　画像内予測部、３８　画像間予測部、３９　選択部（スイッチ）、１１１　減算部、１１２　直交変換部、１１３　量子化部、１２１　逆量子化部、１２２　逆直交変換部、１２３　加算部、３５１　逆量子化部、３５２　逆直交変換部、３５３　加算部。

Claims (14)

  1. 入力画像から生成された圧縮画像を符号化してテクスチャ符号化データを生成するテクスチャ符号化部と、
    前記入力画像の解析に必要な情報を含む付加情報を符号化して付加情報符号化データを生成する付加情報符号化部と、
    前記テクスチャ符号化データおよび前記付加情報符号化データを多重化して符号化ストリームを出力する多重化部と
    を備えた画像符号化装置。
  2. 前記入力画像から予測画像を減じて圧縮画像を生成する圧縮部と、
    前記圧縮画像に予測画像を加えて復号画像を生成する伸長部と、
    前記入力画像と前記伸長部が生成した復号画像から画面内予測画像を生成し、
    マクロブロックごとの画面内予測コストと画面内予測モードの情報を含む画面内予測付加情報を出力する画面内予測部を更に備え、
    前記付加情報は、前記画面内予測付加情報を含むことを特徴とする
    請求項１に記載の画像符号化装置。
  3. 前記画面内付加情報に含まれる画面内予測モードの情報は、
    マクロブロックタイプ情報を含む
    請求項２に記載の画像符号化装置。
  4. 前記入力画像から予測画像を減じて生成された圧縮画像に前記予測画像を加えて生成された復号画像を蓄積する画像蓄積部と、
    前記入力画像と前記画像蓄積部に蓄積された復号画像から画面間予測画像を生成し、
    マクロブロックごとの画面間予測コストと動きベクトルの情報を含む画面間予測付加情報を出力する画面間予測部を更に備え、
    前記付加情報は、前記画面間予測付加情報を含むことを特徴とする
    請求項１に記載の画像符号化装置。
  5. 前記付加情報符号化データは、
    マクロブロックごとのマクロブロック符号量と量子化ステップの情報を含む
    請求項１に記載の画像符号化装置。
  6. 符号化ストリームに多重化された画像の解析に必要な情報を含む付加情報が符号化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離部と、
    前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号部と、
    前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析部と
    を備えた画像解析装置。
  7. 前記テクスチャ符号化データを復号して圧縮画像を生成するテクスチャ復号部と、
    前記圧縮画像に予測画像を加えて復号画像を生成する伸長部と、
    前記復号画像を蓄積する画像蓄積部と、
    前記付加情報に含まれた画面内予測付加情報に基づいて前記伸長部が生成した復号画像から画面内予測画像を生成する画面内予測部と、
    前記付加情報に含まれた画面間予測付加情報に基づいて前記画像蓄積部に蓄積された復号画像から画面内予測画像を生成する画面間予測部と、
    前記付加情報に含まれた予測モードに基づいて前記画面内予測画像または前記画面間予測画像を選択して前記予測画像とする選択部と
    を備えた請求項６に記載の画像解析装置。
  8. 前記画面内付加情報は、
    マクロブロックごとの画面内予測コストと画面内予測モードの情報を含み、
    前記画像解析部は、
    マクロブロックの前記画面内予測コストが閾値以下であれば、当該マクロブロックを前記画面内予測モードの予測方向のマクロブロックの属する同一クラスタに分類し、前記画面内予測コストが前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
    請求項６または請求項７に記載の画像解析装置。
  9. 前記画面内付加情報に含まれる画面内予測モードの情報は、
    マクロブロックタイプ情報を含み、
    前記画像解析部は、
    前記マクロブロックタイプ情報に基づいて、当該マクロブロックがより細分化された小ブロックで符号化されているとき、クラスタに分類済みのマクロブロックに接した当該マクロブロックの前記小ブロックの画面内予測モードの予測方向に基づいて参照画素数が最も多いクラスタと同一クラスタに分類する
    請求項８に記載の画像解析装置。
  10. 前記画面間付加情報は、
    マクロブロックごとの画面間予測コストと動きベクトルの情報を含み、
    前記画像解析部は、
    マクロブロックの前記画面間予測コストが閾値以下であれば、当該マクロブロックを前記動きベクトルが指す参照画素が属するクラスタと同一クラスタに分類し、前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
    請求項６または請求項７に記載の画像解析装置。
  11. 前記付加情報符号化データは、
    マクロブロックごとのマクロブロック符号量と量子化ステップの情報を含み、
    前記画像解析部は、マクロブロックの前記マクロブロック符号量と前記量子化ステップとにより算出されるコストが閾値以下であれば、当該マクロブロックが画面内予測符号化されている場合、当該マクロブロックを前記画面内予測モードの予測方向のマクロブロックが属するクラスタと同一クラスタに分類し、当該マクロブロックが画面間予測符号化されている場合、前記動きベクトルが指す参照画素が属するクラスタと同一クラスタに分類し、前記コストが前記閾値以下でなければ、当該マクロブロックを新規のクラスタとして分類する
    請求項６または請求項７に記載の画像解析装置。
  12. 画像を符号化する画像符号化装置の画像符号化方法において、
    入力された画像から生成された
    圧縮画像を符号化してテクスチャ符号化データを生成するテクスチャ符号化ステップと、
    前記画像の解析に必要な情報を含む付加情報を符号化して付加情報符号化データを生成する付加情報符号化ステップと、
    前記テクスチャ符号化データおよび前記付加情報符号化データを多重化して符号化ストリームを出力する多重化ステップと
    を有する画像符号化方法。
  13. 符号化ストリームに多重化された画像の解析に必要な情報を含む付加情報が符号化された付加情報符号化データおよびテクスチャ符号化データを分離する多重分離ステップと、
    前記付加情報符号化データを復号し、前記付加情報を生成する付加情報復号ステップと、
    前記付加情報に含まれた画像の解析に必要な情報をもとに画像解析を行う画像解析ステップと
    を有する画像解析方法。
  14. 前記テクスチャ符号化データを復号して圧縮画像を生成するテクスチャ復号ステップと、
    前記圧縮画像に予測画像を加えて復号画像を生成する伸長ステップと、
    前記復号画像を蓄積手段に蓄積する画像蓄積ステップと、
    前記付加情報に含まれた画面内予測付加情報に基づいて前記伸長ステップで生成された復号画像から画面内予測画像を生成する画面内予測ステップと、
    前記付加情報に含まれた画面間予測付加情報に基づいて前記蓄積ステップで蓄積手段に蓄積された復号画像から画面内予測画像を生成する画面間予測ステップと、
    前記付加情報に含まれた予測モードに基づいて前記画面内予測画像または前記画面間予測画像を選択して前記予測画像とする選択ステップと
    を有する請求項１３に記載の画像解析方法。
PCT/JP2014/002146 2013-06-04 2014-04-16 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法 WO2014196118A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/762,750 US20150358626A1 (en) 2013-06-04 2014-04-16 Image encoding apparatus, image analyzing apparatus, image encoding method, and image analyzing method
GB1513265.7A GB2540440A (en) 2013-06-04 2014-04-16 Image encoding device, image analysis device, image encoding method and image analysis method
JP2015521267A JP5885886B2 (ja) 2013-06-04 2014-04-16 画像解析装置及び画像解析方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-117726 2013-06-04
JP2013117726 2013-06-04

Publications (1)

Publication Number Publication Date
WO2014196118A1 true WO2014196118A1 (ja) 2014-12-11

Family

ID=52007781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002146 WO2014196118A1 (ja) 2013-06-04 2014-04-16 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法

Country Status (4)

Country Link
US (1) US20150358626A1 (ja)
JP (1) JP5885886B2 (ja)
GB (1) GB2540440A (ja)
WO (1) WO2014196118A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171819B2 (en) * 2015-08-03 2019-01-01 Arris Enterprises Llc Intra prediction mode selection in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262004A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 動画像符号化／復号化の方法及び装置
JP2007288627A (ja) * 2006-04-19 2007-11-01 Nec Corp Ｍｐｅｇ復号処理回路及びそれに用いるｍｐｅｇフィルタリング表示方法
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838830A (en) * 1996-09-18 1998-11-17 Sharp Laboratories Of America, Inc. Vertex-based hierarchical shape representation and coding method and apparatus
US6285788B1 (en) * 1997-06-13 2001-09-04 Sharp Laboratories Of America, Inc. Method for fast return of abstracted images from a digital image database
KR100374717B1 (ko) * 1998-03-05 2003-03-04 주식회사 팬택앤큐리텔 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치
JP4218112B2 (ja) * 1999-02-26 2009-02-04 三菱電機株式会社 マルチメディア通信システム
EP1322117A1 (fr) * 2001-12-06 2003-06-25 Koninklijke Philips Electronics N.V. Dispositif de codage/décodage arithmétique
JP4154902B2 (ja) * 2002-03-07 2008-09-24 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP2009017505A (ja) * 2007-07-09 2009-01-22 Toshiba Corp 画像圧縮装置、画像伸張装置及び画像処理装置
WO2010146771A1 (ja) * 2009-06-19 2010-12-23 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
GB2495301B (en) * 2011-09-30 2018-01-17 Advanced Risc Mach Ltd Method of and apparatus for encoding data
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
US10616573B2 (en) * 2013-01-07 2020-04-07 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262004A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 動画像符号化／復号化の方法及び装置
JP2007288627A (ja) * 2006-04-19 2007-11-01 Nec Corp Ｍｐｅｇ復号処理回路及びそれに用いるｍｐｅｇフィルタリング表示方法
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
US20150358626A1 (en) 2015-12-10
GB2540440A (en) 2017-01-18
JPWO2014196118A1 (ja) 2017-02-23
GB201513265D0 (en) 2015-09-09
JP5885886B2 (ja) 2016-03-16

Similar Documents

Publication Publication Date Title
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
JP5418756B2 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
US10284859B2 (en) Video decoding device and method using inverse quantization
WO2010004939A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CA3052608C (en) Image coding device, image decoding device, image coding method, and image decoding method
CN114205630B (zh) 边界强制分区的改进
KR20140092374A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
KR20140081681A (ko) 영상의 부호화 방법 및 이를 이용하는 장치
JP5885886B2 (ja) 画像解析装置及び画像解析方法
KR20140080569A (ko) 비트스트림 분석 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14806810

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015521267

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14762750

Country of ref document: US

ENP Entry into the national phase

Ref document number: 201513265

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20140416

WWE Wipo information: entry into national phase

Ref document number: 1513265.7

Country of ref document: GB

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14806810

Country of ref document: EP

Kind code of ref document: A1