WO2009035144A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2009035144A1
WO2009035144A1 PCT/JP2008/066911 JP2008066911W WO2009035144A1 WO 2009035144 A1 WO2009035144 A1 WO 2009035144A1 JP 2008066911 W JP2008066911 W JP 2008066911W WO 2009035144 A1 WO2009035144 A1 WO 2009035144A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
intra
quantization
offset
difference
Prior art date
Application number
PCT/JP2008/066911
Other languages
English (en)
French (fr)
Inventor
Yuya Horiuchi
Shojiro Shibata
Takaaki Fuchie
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP08830296A priority Critical patent/EP2187648A4/en
Priority to CN2008800081548A priority patent/CN101641958B/zh
Priority to US12/530,872 priority patent/US8369403B2/en
Priority to JP2009532267A priority patent/JP5212372B2/ja
Publication of WO2009035144A1 publication Critical patent/WO2009035144A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Definitions

  • the present invention relates to an encoding apparatus and method for detecting, for example, a quantization matrix, a quantization parameter and the like used in the previous encoding in a predetermined unit.
  • the MPEG Moving picture experts group
  • back search refers to the quantization step used in the previous coding, or the quantization step that is in the multiple relation thereof, as the remainder of the discrete cosine transfer (DCT) coefficient. It is a method to find the quantization step related to the minimum value as the optimal quantization step by using the property that the total sum becomes minimum.
  • the quantization step in the previous encoding is reproduced by the back search method, and again with the same quantization step and GOP (Group of pictures) phase as in the previous time.
  • a video data compression device is disclosed that prevents degradation of video quality when encoding and decoding input video data by tandeming an encoder and a decoder to repeat video data encoding and decoding. It is done.
  • AVC Advanced Video Coding
  • AVC Intra In this AVC intraframe coding, in order to improve the coding efficiency, a pixel value in the macro block is predicted from peripheral pixels in the screen, and a screen in which the differential image data from the prediction is coded A forecast has been introduced.
  • the AVC stream encoded using this intraframe coding only is hereinafter referred to as AVC Intra. That is, in this AVC Intra, an input image is separated into a predicted image from peripheral pixels and a difference at the time of encoding, and the difference is encoded. :.
  • the prediction image is prepared in nine modes, such as prediction from the upper pixel and prediction from the horizontal pixel, and usually the sum of differences from the prediction image per unit block (eg 4 ⁇ 4 samples etc.) Has adopted the smallest prediction mode.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 10-17040.
  • ⁇ ' However, although the generated code amount at the time of encoding tends to decrease in the above-mentioned conventional method, since the part of AVC encoding is a non-reversible transform, the encoding and AVC do not Decoding ⁇ : causes quantization distortion to the original input image, so the quantization distortion degrades the image quality each time encoding and decoding are repeated during dubbing.
  • a difference image data consisting of difference values from peripheral pixels of the processing target pixel to be processed is generated for each of a plurality of predetermined in-screen prediction modes.
  • the difference image data generation unit On the basis of the difference image data generation unit, the difference sum value based on the sum of the absolute values of the respective processing target pixels in the difference image data table, and the priority set in advance in the in-screen prediction mode.
  • a ranking unit has been added to prioritize internal prediction modes.
  • the image processing apparatus can set the priority of a particular in-screen prediction mode to a high level each time, which makes it easy to select a particular in-screen prediction mode, and the in-screen used in the previous encoding.
  • the prediction mode can be easily selected to suppress quantization distortion during dubbing.
  • a difference image data that is different from the difference value from the peripheral pixel of the processing target pixel to be processed is generated for each of a plurality of predetermined in-screen prediction modes.
  • the intra prediction mode is selected according to the difference image data generation step, the difference total value which is the sum of the absolute values of the processing target pixels in the difference image data, and the priority set in advance in the intra prediction mode.
  • a ranking step has been established.
  • the image processing apparatus can set the priority of a particular in-screen prediction mode to a high level each time, it becomes easy to select a particular in-screen prediction mode, and the screen used in the previous encoding is selected. By making it easy to select the inner prediction mode, it is possible to suppress quantization distortion during dubbing.
  • this enables the image processing apparatus to set the priority of a specific intra prediction mode to a high level each time, which makes it easy to select a specific intra prediction mode, and the previous encoding It is possible to easily select the intra-frame prediction mode that is sometimes used, to suppress quantization distortion during dubbing, and to realize an image processing apparatus and an image processing method that can suppress deterioration in image quality.
  • FIG. 1 is a conceptual diagram of an encoding apparatus according to the first and second embodiments of the present invention.
  • FIG. 2 is a schematic diagram for explaining transformation and quantization in the AVC standard.
  • FIG. 3 is a diagram showing the relationship between the quantization parameter QP and the sum of remainders ( ⁇ r) when an image that has never been encoded is used as the input image.
  • FIG. 4 is a diagram showing the relationship between the quantization parameter QP and the sum of remainders ( ⁇ ⁇ ⁇ ⁇ r) for an input image that has been encoded and decoded. '
  • Figure 5 shows the quantization parameters after normalization with the rescaling factor RF.
  • FIG. 6 is a diagram showing the relationship between the normalization with rescheduling factor 1 RF and the quantization parameter QP after correction of a predetermined region and the sum ⁇ of evaluation values.
  • FIG. 7 is a block diagram of a coding apparatus according to the first embodiment of the present invention.
  • FIG. 9 shows the relationship between macro projects and intra coding units.
  • Figure 10 (a). ⁇ (:)) Is an illustration of nine different 4 x 4 Intra prediction modes.
  • FIG. 11 shows the flow of processing according to the first embodiment of the present invention.
  • FIG. 11 shows the flow of processing according to the first embodiment of the present invention.
  • FIG. According to the processing of Q matrix ⁇ outpouring in slice units by Ronitija. 'FIG. 13 explains the processing of QP ⁇ ⁇ out in macro unit by the QP. Detection unit of the encoder according to the first embodiment of the present invention.
  • FIG. 14 is a detailed flowchart of offset priority application processing according to the first embodiment of the present invention.
  • FIG. 15 is a block diagram of a coding apparatus according to a second embodiment of the present invention.
  • FIG. 16 is a flowchart describing processing of prediction mode detection by the encoding device according to the second embodiment of the present invention.
  • FIG. 17 is a detailed flowchart of the offset-first application process according to another embodiment of the present invention. Low chart Best mode for carrying out the invention
  • coding according to the Advanced Video Coding (AVC) standard is lossy conversion, and thus coding and decoding cause distortion to the original baseband image. Therefore, for example, each time encoding and decoding are repeated by dubbing or the like by tandem connection, the image quality is degraded due to the distortion.
  • AVC Advanced Video Coding
  • the intraframe coding of the AVC standard when re-coding an image that has been once coded and decoded, it is used in the previous coding.
  • One of the features is that the distortion of the image can be suppressed only to the operation error of the encoder and the decoder by reusing the following three parameters.
  • FIG. 1 is a conceptual diagram of the coding apparatus and method according to the first embodiment of the present invention, and will be described.
  • the image processing apparatus 1 includes a first encoding unit 2, a second encoding unit 3, and a back search unit 3.
  • the back search unit 3 further includes a prediction mode detection unit 5, quantum A quantization matrix (Q matrix) detection unit 6 and a quantization parameter (QP) detection unit 7 are provided.
  • the first encoding unit 2 performs the first encoding on the input image information.
  • the back search unit 3 calculates integer precision DCT coefficients obtained in the process of the first encoding with a resizing factor (RF) by combining various quantization matrices Qmatrix and quantization parameter QP.
  • RF resizing factor
  • the quantization matrix Qmatrix, the quantization parameter QP, and the in-screen prediction mode, which were used in the first encoding, are evaluated by evaluating the size of the remainder r obtained when the division is performed. Then, the second encoding unit 4 performs the second encoding using the quantization matrix Qmatrix, the quantization parameter QP and the intra prediction mode detected by the back search unit 3 in the first encoding. .
  • the Qmatrix detection unit 6 detects the integer precision DCT in the first coding based on the integer precision DCT coefficients obtained in the first coding process.
  • the quantization matrix Qmatrix is detected for each slice using the remainder obtained by dividing the coefficients by the combination of various quantization matrices Qmatrix and quantization parameter QP and RF by one.
  • the QP detection unit 7 rescales the integer precision DCT coefficients based on the integer precision DCT coefficients obtained in the first coding process by combining the various quantization matrices Qmatrix and the quantization parameter QP. Divided by: The remainder is detected, and the quantization parameter QP is detected for each macro block.
  • the prediction mode detection unit 5 detects the intra prediction mode used in the previous encoding.
  • the detected prediction mode is adopted in the second encoding unit 4.
  • DCT processing is performed on the difference image data, and the obtained DCT coefficients are quantized by dividing by the resizing factor RF by combining Qmatrix and the quantization parameter QP.
  • This quantization data is further coded by a predetermined coding method to form a coded stream.
  • the intra-frame prediction mode used for coding, the quantization matrix Qmatrix, and the quantization parameter QP are set. : '
  • the quantization data is decoded using the set in-frame prediction mode, quantization, matrix Qmatrix and quantization parameter QP.
  • the remainder portion rounded off during encoding Can not be restored. Therefore, in the AV.C standard, the image quality is degraded by the remainder of this quantization.
  • this image quality is called quantization distortion. ,.
  • the quantization matrix Qmatrix used in the previous encoding By detecting the parameter QP or the intra prediction mode and performing coding using them, the image quality degradation of the video data is suppressed.
  • quantization matrix Qmatrix used in the previous encoding
  • the back search divides the DCT coefficients by each quantization scale Q in Moving Picture Experts Group (MPEG) 12 and has the smallest remainder r.
  • the quantization scale Q can be detected as the quantization scale Q used at the previous encoding.
  • the A V C standard differs from M P E G-2 in the following points, and if the M P E G E-2 method is applied as it is, the detection accuracy will decrease.
  • the present invention adopts AVC encoding, detects quantization matrix Qmatrix and quantization parameter QP used in the previous encoding with a high probability with a predetermined unit, and reuses them. It is therefore an issue to reduce rounding errors due to quantization during dubbing and improve the dubbing characteristics.
  • the quantization level Z is multiplied by the quantization matrix Qmatrix and the rescaling factor one RF which is a function of the quantization parameter QP, and the precision is improved.
  • the shifted one is decoded.
  • the remainder r is considered to be 0 if (W ⁇ 6) is the same. From these characteristics, the combination of various quantization matrices Qmatrix and quantization parameter QP can be used to divide integer precision DCT coefficients (W ⁇ 6) that are shifted using resizing factor-one RF. By evaluating the size of the remainder r, it is possible to detect the quantization matrix Qmatrix and the quantization parameter QP 'used in the previous coding. In addition to the above, in the image processing apparatus 1 according to the first embodiment, in order to improve detection accuracy, the following (i) to (vi Consider the point of). The following is a group statement for each point.
  • the DCT part is divided into an integer precision part and a non-integer precision part, the integer precision part is called integer precision DCT, and the non-integer precision part and quantization are collectively called quantization.
  • integer precision DCT used for encoding hereinafter referred to simply as “DCT” and integer used for decoding
  • the precision inverse DCT hereinafter simply referred to as “inverse DCT” is not an inverse transform, therefore, the DCT coefficient W used in encoding and the inverse DCT coefficient W used in decoding (hereinafter: “W ′” Not to be equal).
  • a quantization error ER expressed by the following equation occurs during quantization. If Eq. (7) is expressed as an actual numerical value, it can be represented as Eq. (8). That is, in AVC Intra, when quantization processing and inverse quantization processing are performed on the DCT coefficients by encoding and decoding, the values of the elements of the inverse DCT coefficients are scaled up by the quantization error ER.
  • the value of the decoded differential image data is made the same level as the differential image data by dividing the decoded differential image data by “64”. There is.
  • the rescaling factor at the time of decoding is given by the following equation
  • decoding re-scaling factor one RF r the re-scaling factor RF used as a value to be divided in the back search process is calculated.
  • the effect of scale-up accompanying DCT processing can be removed from the remainder r, and the remainder r can be compared on the same scale.
  • the image processing apparatus 1 calculates the rescaling factor-one RF by multiplying the value of the transformation matrix D with respect to the decoding rescheduling factor RF r.
  • the image processing apparatus 1 by dividing the difference image data by the re-scaling factor-one RF, it is possible to simultaneously divide the portion that is uniformly scaled up by the DCT processing, so that the scale-up It is designed to reduce the variation of remainder r and improve the accuracy of back search detection.
  • the sum of absolute differences (SAD: Sum of Absolute Differences) with the predicted image from surrounding pixels is encoded.
  • SAD Sum of Absolute Differences
  • the quantization level Z is multiplied by the decoding rescheduling factor-one RF r at the time of decoding
  • the decoding rescheduling factor-one RF r is carried in advance in the standard by 6 bits in order to prevent calculation rounding at the time of decoding. This is why the DCT coefficient W 'is shifted 6 bits to the left at the time of.
  • inverse quantization and inverse DCT processing are performed with a 6-bit carry condition, After adding up the image with a 6-bit carry, the sum is reduced by 6 bits to obtain a baseband image. Since the data contained in the lower 6 bits is rounded off by this 6-bit digit reduction, an operation error E is generated, and the shifted DCT coefficient (W ⁇ 6) generated in the next encoding is re-scaled. It can not be divided by factor one RF. Therefore, the present invention detects the quantization parameter QP whose remainder is the minimum value, not the quantization parameter QP whose remainder r becomes 0.
  • the operation error E at this time of decoding may be a negative value
  • the actual remainder r is compared with the value obtained by subtracting the remainder r from the rescaling factor one RF, and the smaller one is evaluated value Y I assume.
  • the evaluation value Y is calculated according to the equation (12).
  • the quantization parameter QP that minimizes the evaluation value Y is detected.
  • the image processing apparatus 1 can appropriately detect the quantization parameter QP using the appropriate evaluation value ⁇ .
  • the residual r is calculated by dividing the 6-bit shifted DCT coefficient (W ⁇ 6) by the various quantization parameter respinning factor one RF by using an image that has never been encoded as an input image.
  • the horizontal axis represents the quantization parameter QP, and the vertical axis represents the sum of remainders ( ⁇ r), resulting in the curve rising to the right as shown in FIG.
  • the remainder r is calculated by dividing the 6-bit shifted DCT coefficient (W ⁇ 6) by the various quantization parameter QPs and the rescaling factor one RF by the QP
  • the horizontal axis represents the quantization parameter
  • the vertical axis the sum of remainders ( ⁇ r), as shown in Fig.4.
  • a local minimum value of the sum ( ⁇ . ⁇ ) of the remainder r is generated, there is also a tendency of rising to the right, regardless of whether encoding and decoding have already been performed. It can be seen that the sum ( ⁇ r) of small small residues r also decreases.
  • the rescaling factor RF Standardize.
  • the DCT coefficient W that can take a large residue has a small residue, it can be considered as random and can be weighted (usually, the low frequency component is weighted because the low frequency component has a larger DCT coefficient W).
  • Figure 6 shows the relationship between the sum of the evaluation value Y normalized with resizing factor 1 RF and the quantization parameter QP after scaling the remainder r by the absolute value IWI of the DCT coefficient. ing. From the figure, the sum of the evaluation values Y in the quantization parameter QP used in the previous encoding ( ⁇ ⁇ ) and the sum of the evaluation values of the quantization parameter QP with a shift of 6 n: ( ⁇ ⁇ ) It is clear that there is almost no change compared to Figure 5. :,
  • normalization with rescaling factor one RF is performed only in a region where the sum ( ⁇ ) of the evaluation values Y has a slope (
  • the value of the DCT coefficient absolute value I WI can also be used as the evaluation value Y.
  • the sum of the evaluation values Y ( ⁇ ⁇ ) is minimized in the region where (IWI 7 7) ⁇ RF, and the wrong quantization parameter ⁇ QP is the last used quantization. It is designed to be able to reliably prevent detection as a parameter or QP.
  • the image processing apparatus 1 stores the values of approximately 5 quantization parameter values QP. In an array in order from the one with the smallest sum ( ⁇ ⁇ r) of the remainder r, and If the difference between the QP with the smallest r) and the QP with the second smallest sum ( ⁇ r) of the remainder r is small and the difference is 6n, the larger of the QP is adopted. Furthermore, the image processing apparatus .1 compares the adopted quantization parameter QP with the quantization parameter QP having the third smallest sum r of residual r ( ⁇ r), and the difference between the two is 6n. Then, the larger quantization parameter QP is adopted, and the adopted quantization parameter QP is replaced.
  • the image processing apparatus 1 when the image processing apparatus 1 detects a plurality of local minimum values of the sum ( ⁇ r) of the remainder r, the quantization parameter QP having a large value is prioritized and used in the previous encoding. Adopted as quantization parameter QP. As a result, the image processing apparatus 1 can calculate the quantization parameter in which the quantization parameter 1Q shifted by 6n is used in the previous encoding.
  • the image processing apparatus ⁇ which is designed to be able to suppress false detection as a QP, further checks whether the sum ( ⁇ r) of the detected plurality of remainders r is 6 ⁇ cycles or not. In order to be able to suppress false detection of accidentally existing local minimum values as quantization parameter QP.
  • the resizing factor 1 RF is calculated as described above for various quantization parameter QPs, and is used in the previous encoding using the evaluation value Y calculated from the remainder r. Detect the quantised quantization parameter QP. Therefore, the larger the number of quantization parameter QPs that can be taken, the larger the amount of computation and evaluation. In order to avoid this problem, if the approximate value of the quantization parameter QP used for the previous encoding is known, it is sufficient to evaluate only with the quantization parameter QP around it, and the amount of operation To reduce Note that this quantization parameter QP can be calculated, for example, in the original image determination processing using the quantization coefficient in the third embodiment. It can also be inferred from the activity of the input image data.
  • quantization matrix Qmatrix several patterns are defined in advance (for example, it can be identified by an ID number).
  • the combination of the quantization matrix Qmatrix and the quantization parameter QP is changed in macro block units, and the rescheduling factor one RF is calculated for each quantization matrix Qmatrix and the quantization parameter QP.
  • the minimum value of the remainder r has a period of 6 n for quantization parameter Q.
  • QP even if quantization parameter Q P deviates by 6 n. It only needs to be able to detect the quantization matrix Qmatrix. For this reason, in the image processing apparatus 1, if the approximate value of the quantization parameter used in the previous encoding is known, the continuous 6 quantization parameters including the value of the QP are known. It is assumed that it is sufficient to evaluate by QP.
  • the quantization matrix execute quantization parameter detection processing to detect quantization parameter QP using Qmatrix.
  • the configuration of the coding apparatus 10 according to the first embodiment of the present invention will be shown and described below with reference to FIG.
  • the encoding device 10 corresponds to the image processing device 1 in FIG.
  • the back search unit 30 is a back search unit 3
  • the parameter one time encoder 50 is a second encoding unit 4
  • the Qmatrix detection unit 31 is a Qmatrix detection unit 6
  • the QP detection unit 32 is a QP detection unit It corresponds to 7 respectively.
  • the encoder 10 has a pre-encoder 20 for the first pass (pass) and a first-order section 30 for the first pass, a parameter encoder for the second pass (pass) 50, the code amount A control unit 40, a Qmatrix / QP decision unit 41, and an in-screen prediction mode decision unit 45 are provided.
  • the first-pass pre-encoder 20 further comprises an Intra prediction mode determining unit 21 with offset, integer precision 0 2 2, a quantizing unit 2 3 and an entropy calculation unit 2 4.
  • the back search unit 30 further comprises a Qmatrix detection unit 31, a QP detection unit 32, an in-screen prediction mode detection unit 33.
  • the second-pass parameter encoder 50 includes an intra-frame prediction processing unit 51, an integer precision DCT unit .52, a quantization unit 5.3 and an entropy coding unit 54.
  • 2-pass coding is adopted, but the basic idea is the same even if it is multi-pass coding more than that.
  • FIG. 8 (a) a detailed configuration example of the Qmatrix detection unit 31 is shown in FIG. 8 (a).
  • a detailed configuration example of the QP detection unit 3.2 is shown in Fig. 8 (b). ⁇ ⁇ ⁇ :.
  • the Qmatrix detection unit 31 is composed of a remainder calculation unit 31a, an evaluation. Value determination unit 31b, and a Qmatrix determination unit 31c.
  • the Q P detection unit 32 includes a remainder calculation unit 3 2 a, an evaluation value determination unit 3. 2 b, and a QP determination unit 3 2 c.
  • the input image is input to the first pass pre-encoder 20.
  • the input image data is input to the Intra prediction mode determination unit 21 with offset.
  • the Intra prediction mode determining unit 21 with offsets 1 gives priority to offsets described later.
  • the application processing determines the optimal in-screen prediction mode from the nine in-screen prediction modes, and generates the difference image data and the difference absolute value sum SAD from the prediction image in which the input image uses peripheral pixels, Input to the integer precision DCT unit 2 2.
  • the integer precision DCT unit 22 generates a DCT coefficient W from the difference image data by orthogonal transform using discrete cosine transform, and supplies the DCT coefficient W to the quantization unit 23 and the backtracking unit 3.
  • the quantization unit 23 quantizes the DCT coefficient to generate quantized data.
  • the quantization level Z output from the quantization unit 2 3 by this quantization is sent to the entropy calculation unit 2 4.
  • the entropy calculation unit 24 binarizes and quantizes the input quantization level Z to generate a coded stream, and supplies the coded stream to the code amount control unit 40.
  • the code amount control unit 40 estimates the quantization matrix Qmatri and the quantization parameter 1 QP. When performing code amount control for the parameter encoder 50 based on the generated code amount of the encoded stream. , This is sent to the Qmatrix / QP determination unit 41. .
  • the DCT coefficient W sent from the integer precision DCT unit 22 to the back search unit 30 in slice units is input to the Q matrix detection unit 31.
  • the Qmatrix detection unit 3.1 divides the DCT coefficient W by the remainder calculation unit 3 1 a by the various quantization matrices Q matrix by the rescaling factor 1 RF and supplies the result to the evaluation value determination unit 3 1 b.
  • the evaluation value determination unit 31b converts the remainder r. Into the evaluation value Y according to the concept described in (iii) and sends it to the -Q matrix determination unit 31c.
  • the Qmatrix determination unit 31 c compares the evaluation values Y of various quantization matrices Qmatrix, and calculates a quantization matrix having the smallest evaluation value Y.
  • the Qmatrix is used as the previously used quantization matrix Qmatrix. Output. The details of the quantization matrix detection processing procedure by the Qmatrix detection unit 31 will be described later.
  • the quantization matrix Qmatrix detected at this time is sent to the QP detection unit 32.
  • the remainder calculating unit 32 a divides the DCT coefficient W by the resizing factor 1 RF based on various quantization parameter QPs, and supplies the result to the evaluation value judging unit 32 b.
  • the evaluation value determination unit 32b converts the remainder r into an evaluation value Y according to the concept described in (iii), using the quantization matrix Qmatrix detected by the evaluation value Qmatrix detection unit 31. Send to QP judgment unit 3 2 c.
  • the QP deciding unit 32c compares the evaluation values Y of various quantization parameter QPs, and determines the quantization parameter QP having the smallest evaluation value Y as the quantization parameter QP used last time. Output.
  • the details of the quantization parameter detection processing procedure by the 0 to 3 detection unit 3 2 will be described later.
  • the detected previous quantization parameter QP and quantization matrix Qmatrix are sent to the Qmatrix / QP determination unit 41.
  • the back search unit 30 detects whether the one estimated in the first pass pre-encoder 20 is adopted for the quantization matrix Qmatrix and the quantization parameter QP. Decide what to use. Normally, if the input image data is an original image that has never been encoded, the back search will fail because there is no previous encoding, and it is estimated by the encoding process of the first pass Preen coder 20. Adopt the Conversely, if the input image is a non-original image that has already been encoded, the quantization distortion may be repeated to avoid the occurrence of the: detected by the back search unit 30.
  • the quantization matrix Qmatrix, the quantization parameter QP, and the intra prediction mode decision unit with offset 2 1 determined by the Qmatrix / QP determination unit 4 1. Encode the input image using the determined intra prediction mode: and output it as an encoded stream (Stream). .
  • the in-screen prediction processing unit 51 it is selected as the optimal in-screen prediction mode: and the in-screen prediction mode determined in the Intra prediction mode determining unit with offset 21:
  • the prediction image is scanned to generate a difference image data from the input image, and the difference image data is input to the integer precision DCT unit 5: 2.
  • the difference image data is output as DCT coefficient W by orthogonal transform using discrete cosine transform:
  • the quantization unit 5 3 receives the DCT coefficient W as input and performs quantization using the quantization matrix Qma trix X determined by the Qmatrix / QP determination unit 4 1 and the quantization parameter QP, and the quantization level Z is entropic.
  • the input quantization level Z is binarized and arithmetically coded and output as a coded stream.
  • the quantization level Q is a function of the quantization matrix Qmatrix and the quantization parameter QP.
  • the scaling factor RF is multiplied and the DCT coefficient W 6 bits left shifted is decoded. If the intra prediction mode changes, the distribution of DCT coefficients changes, so the probability that the remainder r is 0 is low.
  • the above-mentioned quantization matrix detection processing and quantization parameter detection processing are executed in units of macroblocks MB (16 ⁇ 16 pixels).
  • the intra prediction mode in which the code amount is minimized is detected in advance, and the above-mentioned quantization matrix detection / processing and quantization parameter processing is performed in the detected intra prediction mode. Execute detection processing.
  • the detected in-screen prediction mode is not limited to the previously coded in-screen prediction mode, since the in-screen prediction mode 'in which the generated code amount is minimized is used, Among the Indra coding units IA, it is assumed that many of them were previously coded and they are intra prediction modes.
  • the encoder 10 0 detects the local minimum value using the sum of remainders ( ⁇ r) for each macro block. For this reason, even if the intra-frame prediction mode different from the one used last in the intra-frame coding unit IA of 16 is mixed, the image processing apparatus 1 generates many previously-coded intra-frame prediction modes. It is possible to appropriately detect the quantization matrix Qmatrix and the quantization parameter QP based on.
  • the encoding apparatus 10 of the present invention performs nine intra-screen (Intra (intra)) predictions defined by the AVC standard when encoding is performed by the AVC Intra. Of the modes, a specific in-screen prediction mode is selected preferentially. As a result, the encoding device 10 prevents the change in the intra prediction mode during dubbing. As a result, it is possible to suppress the occurrence of quantization distortion again and improve the dubbing characteristics.
  • this embodiment is characterized in that the dubbing characteristic is improved such that a predetermined in-screen prediction mode is preferentially selected.
  • Figures 10 (a) to (;)) show the prediction directions for the nine intra prediction modes (mode numbers 0 to 8). '
  • the prediction direction is one prediction direction for each 4 ⁇ 4 pixel block (ie, in-screen prediction). ⁇ ⁇ ⁇ ⁇ )))) will be encoded in blocks of 4 ⁇ 4 pixels using this selected prediction direction.
  • the screen with mode number 2 If in the inner prediction mode, the 4 pixels to the left (horizontally adjacent 'of the processing target pixel of 4 to .4 to be processed and the upper (adjacent to the vertical direction) Based on the average value of 8 pixels in total (for example, mean (A, B, C ⁇ D, ⁇ , J ⁇ , L)) of 4 pixels, and all 4 ⁇ 4 pixels of the pixel to be processed are predicted. Ru .. -.
  • DC Direct Current prediction mode
  • intra-screen prediction modes mode numbers 0 to I, 3 to 8
  • prediction is performed according to the directions of arrows shown in the figure.
  • -Fig. 11 shows the flow of processing performed when the input image data is a non-original image, and shows a part of the configuration in the encoding device 10 of Fig. 7 extracted.
  • the encoder 10 serves as an intra prediction mode determining means.
  • Intra offset mode with offset (offset) 2 1, integer precision DCT 2 as discrete cosine transform means 2 2, back search portion 30 as quantization parameter calculation means 3 0, as quantization means
  • the process is performed by the quantization unit 53, the entropy encoding unit 54 consisting of CABAC (Context-based Adaptive Binary Arithmetic Code, etc.) as encoding means. It uses binary arithmetic coding that adaptively codes according to the context:
  • the input image data is input to the Intra prediction mode determination unit 21 with offset, and the Intra prediction mode determination unit 21 with offset is one of nine types of in-screen prediction modes.
  • the intra prediction mode of is adopted.
  • the predicted image for each intra coding unit IA that is, difference image data
  • the smallest difference absolute value sum SAD which is the sum of the absolute values of the processing target pixel in, is adopted. In the present embodiment, processing is performed along the flow of the flowchart of FIG. 14 described later.
  • Intra.prediction mode determination unit 21 with offset of encoding device 10 sets in advance the value of offset for each intra-frame prediction mode, and is encoded according to each intra-frame prediction mode. Calculate the sum of absolute differences SAD in the differential image data. Then, the Intra prediction mode determination unit with offset 2.1 adds an offset- corresponding to the intra-frame prediction mode to the difference absolute value sum SAD, and also adds an offset-added difference absolute value sum to which an offset is added. SAD f Comparison is performed, and the intra prediction mode that minimizes the sum of absolute differences SAD is adopted as the intra prediction mode to be used for actual coding.
  • the Intra prediction mode determining unit 21 with offset supplies the mode number X of the intra prediction mode selected in this way and the difference image data to the integer precision DCT unit 22.
  • the integer precision DCT unit 22 orthogonally transforms the difference image data by DCT, and sends it to the back search unit 30 as a DCT coefficient W.
  • the quantization parameter QP and the quantization matrix are obtained by the above-mentioned back-slash processing.
  • the Q matrix is detected, and these and the DCT coefficient W are supplied to the quantization unit 53.
  • the quantization unit 53 quantizes this DCT coefficient W using the quantization parameter QP. And the quantization matrix Qmatrix, and outputs the result as the quantization level Z to the entropy coding unit 5 4.
  • the entropy coding unit 54 binary-arithmetically codes the quantization level Z and outputs it as a coded stream. .
  • the Intra prediction mode decision unit with offset 21 exerts the following characteristic actions.
  • the correlation in a certain direction is extremely strong and fixed to DC prediction mode, the difference absolute value sum SAD from the predicted image becomes extremely large. If the amount of generated code increases, select the intra prediction mode in the direction of the larger correlation, and suppress the increase in the amount of generated code.
  • the encoding apparatus realizes flexible control of the image quality and dubbing characteristics according to the characteristics of the input image.
  • the coding apparatus 10 when only one single intra prediction mode is permitted among the nine intra prediction modes as described above, DC is used to obtain a predicted image from the average value of peripheral pixels.
  • the prediction mode ie, the intra prediction mode number 2 in FIG. 10 (c)
  • the coding apparatus 10 preferentially selects the DC prediction mode.
  • the intra-frame prediction mode with the smallest difference absolute value sum SAD to be originally selected and the DC prediction mode are estimated from the predicted image. Compare the absolute difference sum SAD, and if the difference is less than offset, adopt DC prediction mode.
  • the Intra prediction mode decision unit with offset 21 sets the value of offset [n] for each intra prediction mode.
  • the value of offset [nI is predetermined for each in-screen prediction mode.
  • offset The Intra prediction mode determination unit 21 sets the value of offset [n] by reading o lpfset [n] from ROM (Read Only Memory) or the like (not shown).
  • the value of this offsetb] is determined in accordance with the degree of deterioration of the image quality due to coding, and is set so that the smaller the decrease in the image quality is, the smaller the in-screen prediction mode is. That is, the value of offset [n] is set to “high” (does not add offset) to the offset to the DC prediction mode with the smallest image quality degradation. Further, the value of offset [n] is set so as to be large relative to the in-screen prediction mode in which the degree of degradation of image quality is large, and to be small relative to the intra-screen prediction mode in which the degree of degradation of image quality is small.
  • the Intra prediction mode determining unit with offset 21 generates difference image data from input image data for each intra prediction mode and calculates difference absolute value sum .SAD.
  • the Intra prediction mode determination unit with offset 2 1 adds offset [n] corresponding to the intra prediction mode to the difference absolute value sum SAD to calculate an offset difference absolute value sum SAD f, Do. Note: For DC prediction mode, the sum of absolute differences SAD, two offsets, and the sum of absolute differences SAD f. .
  • Intra Intra prediction mode decision unit with offset 21 A screen that uses the intra prediction mode with the smallest offset absolute difference sum SAD f for encoding, by comparing offset absolute difference sums SAD f with each other. Select as inner prediction mode.
  • the Intra prediction mode determination unit 21 with offset is supplied to the integer precision DCT processing unit 22 with the mode number X of the selected intra prediction mode and the differential image data. It is done.
  • the following effects can be obtained. That is, by preferentially selecting the DC prediction mode according to the value of the offset, it is possible to suppress the change in the prediction mode in the screen at the time of dubbing. Further, the purpose of using the image according to the value of the offset.
  • the dubbing characteristics can be controlled flexibly, and the same intra prediction mode as the previous encoding can be selected easily during dubbing to prevent repeated quantization distortion from being applied, and image quality degradation during dubbing. Can be reduced. (2-3) Processing procedure
  • the encoding device 10 rescales the residual r by one rescaling factor only when the absolute value IWI of each DCT coefficient is equal to or less than the standardized threshold (ie,
  • the evaluation value Y is calculated by normalization with RF, and if the absolute value I D W of the DCT coefficient is larger than the normalization threshold, the remainder r is the evaluation value Y. Then, the encoding device 10 is configured to detect the quantization matrix Q matrix based on the rescaling fac- tor R F that minimizes the evaluation value Y.
  • the Qmatrix detection unit .3 1 is used in the previous encoding with the absolute value IW.I of the DCT coefficient W determined by the integer precision DCT unit 22 as input.Possible quantization matrix Qmatrix and quantum An initial value is determined from among the conversion parameter QP (step S 1). Subsequently, the Qmatrix detection unit 31 changes the combination of the quantization matrix Qmatrix and the quantization parameter QP in units of macroblocks, and changes the rescaling factor one for each quantization matrix Qmatrix. And each quantization parameter QP. Calculate RF.
  • the remainder calculation unit 3 1 a calculates a remainder r obtained by dividing IW.I «6 by the re-scaling factor one RF for each sample in the slice: (step S 2).
  • the minimum value of the remainder r has a period of 6n with respect to the quantization parameter QP, and even if the quantization parameter QP is shifted by 6n, Since it is only necessary to detect the quantization matrix Qmatrix in the processing of FIG. 10, if the approximate value of the quantization parameter QP used in the previous encoding is known, the continuous 6 It is assumed that it is sufficient to evaluate with the number of quantization parameter QPs.
  • the evaluation value determination unit 3 lb determines whether or not
  • «7> RF, and if the relationship is satisfied, the remainder r is normalized by the rescheduling factor one RF (The schedule The value of one ring is taken as the evaluation value Y (step S4). On the other hand, when the relationship does not hold, the evaluation value determination unit 3 lb sets IW ⁇ ⁇ 6 as the evaluation value Y (step S5). In this way, the evaluation value determination unit 3 lb calculates the remainder r obtained by dividing the shifted DCT coefficient (W ⁇ 6) by the rescaling factor -RF with respect to 256 ( 16xl6) samples in the macroblock. Let iii) be normalized and corrected for evaluation value Y, and calculate the sum of evaluation values Y for each quantization matrix Qmatrix and quantization parameter QP.
  • the Qmatrix determination unit 31 c is a slice.
  • the sum of the quantization matrix Qmatrix and the evaluation value Y for each quantization parameter QP is compared on a unit basis (step S 9), the quantization matrix Qmatiix for which the sum ( ⁇ ) becomes the smallest is detected, and the previously used quantum It is assumed that the quantization matrix Qmatrix (step S 10), and the ID number of the quantization matrix Qmatrix is output.
  • the encoding device 10 multiplies the remainder r by the absolute value I Dw of the DCT coefficient, for example, to calculate a weighted multiplication value before the step S 2, and calculates the multiplication value, and rescheduling the multiplication value to a factor of 1 RF It is good also as an evaluation value Y by normalizing by. In this case, even if the absolute value IWI of each DCT coefficient is large in the coding apparatus 1, the evaluation value Y of the area may be increased to prevent false detection.
  • the standardized value can be made uniform as the evaluation value Y. '
  • the encoding device 10 detects local minimum values, for example, using the remainder r as the evaluation value Y as it is, and when multiple local minimum values are detected, the period of the local minimum in the quantization parameter QP: is 6 It is also possible to detect a large quantization parameter Q.sub.Q as the quantization parameter Q.sub.P used in the previous encoding. .
  • encoder 10 rescales residual r only when the absolute value IWI of each DCT coefficient is equal to or less than the normalization threshold (ie,
  • the evaluation value Y is calculated by normalizing with factor 1 RF, and when the absolute value IWI of the DCT coefficient is larger than the normalization threshold, the remainder r is set as the evaluation value Y. Then, the encoding device 10 is configured to detect the quantization parameter QP based on the resizing factor RF with which the evaluation value Y is minimum.
  • the QP detection unit 32 receives the absolute value IWI of the DCT coefficient W calculated by the integer precision DCT unit 22 and uses the quantization matrix Qmatrix detected by to calculate various quantization parameters in macro block units. Calculate the rescaling factor one RF for each QP. At this point, the QP detection unit 32 knows the approximate value of the quantization parameter QP used last time: If it is, the calculation is performed by reducing the amount of detection by targeting only the QPs around that. be able to. When the QP detection unit 32 obtains an initial value from the quantization parameter QP that may have been used in the previous encoding (step S 21), all the DCTs in the macro block are calculated. It is determined whether the absolute value I WI of the coefficient is 0 (step S22).
  • the QP detection unit 32 makes the quantization parameter QP undetectable when the absolute value [W “is 0. of all the DCT coefficients (step S 23). Immediate QP QP If the absolute value IWI of all D. CT. Coefficients in the macro block is 0, the detection unit 32 determines the quantization parameter QP by dividing by any quantization parameter QP, so that r is 0 ⁇ .
  • Step S22 when the absolute value IWI of all the DCT coefficients is not 0, the remainder calculation unit 32a of the QP detection unit 32 Calculate the remainder r divided by the rescaling factor RF calculated according to the equation (9) for the DCT coefficient (
  • ⁇ 6) shifted for each sample of 256 ( 16xl6) in the macro block. Do (Step S 2 4) o
  • the evaluation value determination unit 32 b determines whether (
  • ⁇ 6) be the evaluation value Y (step S27). That is, the evaluation value determination unit 32b performs the normalization and correction described in (iii) on the remainder obtained by dividing the shifted DCT coefficient (W ⁇ 6) by RF for 256 ( 16xl6) samples in the macro block. The evaluation value Y is set as the evaluation value Y, and the sum ( ⁇ ) is calculated for each quantization parameter QP (step S 28).
  • the evaluation value determination unit 32b determines whether or not the evaluation value Y is calculated with respect to all possible quantization parameters. QP (step S29), and all quantization parameters are determined. If the evaluation value Y is not calculated for the QP, the quantization parameter QP is changed (step S30), and the processes of steps S26, S28, and S29 are repeated ⁇ To r-'-
  • the QP deciding unit 32 c determines, in macro block units, each QP.
  • the sum ( ⁇ ⁇ ⁇ ) of evaluation values Y is compared (step S 31), and the quantization parameter QP for which the sum becomes the smallest is taken as the quantization parameter QP used last time (step S 32). It will output the value of QP.
  • the region where the quantization parameter QP is less than 6 is excluded because it increases the possibility of false detection. That is because, for example, in the practical area of 200 Mbps or less, the quantum parameter less than 6 is rarely used, and the detection rate is higher if it is excluded.
  • the coding apparatus 10 is used in the previous encoding of DCT coefficients obtained in the process of encoding by the Qmatrix detection unit 3.1.
  • Qmatrix can be detected with high probability for each slice using remainder r.
  • the encoding device 10 can detect the QP used in the previous encoding from the DCT coefficients obtained in the encoding process by the QP detection unit 32 with high probability using the remainder r for each macroblock. .
  • the encoding device 10 By reusing the quantization matrix Qmatrix and the quantization parameter QP that have been detected, the rounding error during dubbing can be reduced, and the dubbing characteristics can be improved.
  • the encoding device 10 can treat the DCT coefficients in encoding and decoding equally. Furthermore, the coding device 10 can improve detection accuracy by weighting the remainder r with the DCT coefficient W and normalizing it with the rescheduling “ring factor one RF”.
  • the coding device 10 takes into account the periodicity of 6n of the quantization parameter QP introduced from AVC, and the minimum value of the remainder r is a minimum value of 6n greater than the quantization parameter QP. If there is a value, let the quantization parameter QP be the quantization parameter QP used in the previous encoding, even if it is not the minimum value. And the encoding device
  • the intra prediction mode determining unit 21 with offset of the encoding device 10 starts offset offset application processing procedure RT3 when the input image data is supplied, and proceeds to step S51. :. ''
  • step S 51 the Intra prediction mode deciding unit with offset 2: 1 sets the offset [n] according to the mode number n for each image prediction mode, and the next step S 52 Move to
  • step S 52 the Intra prediction mode determination unit with offset 21 1 generates difference image data corresponding to each mode number n in each image prediction mode, and also generates a difference absolute value sum SAD from the difference image data.
  • Each step is calculated, then the process goes to the next step S53.
  • step S 53 the Intra prediction mode determination unit with offset 2 1 performs an addition process. If the mode number n of the target intra prediction mode is set to “0” and the minimum difference absolute value sum minSAD is set to the integer maximum value INT_MAX assumed in calculation, the process proceeds to the next step S 54.
  • step S54 the Intra prediction mode determination unit with offset 21 determines whether or not the mode number n of the current addition processing target is "2". If a negative result is obtained here, this indicates that it is necessary to add an offset to the absolute difference sum SAD, and in this case, the Intra prediction mode determination unit with offset 21 1 Move on to next step S55.
  • step S55 the intra prediction mode determination unit with offset 21 adds the offset [n] set in step S51 to the difference absolute value sum SAD, and the offset difference absolute value sum SAD f is added. Is calculated, the next step S 56 is performed.
  • step S54 if an affirmative result is obtained in step S54, this means that the difference absolute value sum SAD should be offset as it is, such as with the offset absolute value sum SAD.
  • the intra prediction mode determination unit 21 moves to the next step S 56.
  • step S 56 the Intra prediction mode decision unit with offset 2 1 determines whether the mode number of the current addition processing target is n or not. ⁇ Here, the result is good. If this is the case, this means that there is still an intra-screen prediction mode to be processed, and at this time, the Intra prediction mode determination unit with offset-2 1 moves to the next step S 57 and adds processing If “1” is added to the mode number n of interest, the process returns to step S 54 to continue the process. .
  • step S 56 this is the sum of offset absolute values with offset S.
  • AD f corresponding to all intra prediction modes from n 2 0 to 8
  • the Intra prediction mode determination unit 21 with offset is moved to the next step S 59.
  • step S 59 when the intra prediction mode determination unit with offset 21 sets the mode number n to be compared to “0”, the process proceeds to the next step S 59.
  • step S59 the intra prediction mode determination unit with offset 21 determines whether the sum of absolute differences with offsets SAD f to be subjected to comparison processing is less than the minimum sum of absolute differences with differences minSAD.
  • the Intra prediction mode determination unit with offset 21 moves to the next step S 61 and the minimum absolute difference sum minSAD is compared with the offset absolute difference sum SAD to be compared. Update to the value of f and move on to the next step S 6 2 ,.
  • step S60 the Intra prediction mode decision unit with offset 21 does not need to update the minimum difference absolute value sum minSAD, so it proceeds to the next step S62. .
  • step S62 the Intra prediction mode determination unit with offset 21 determines whether or not the mode number n of the comparison processing target is "8". If a negative result is obtained here, this means that the intra prediction mode to be processed still remains. At this time, the Intra prediction mode determination unit with offset 21 1 performs the following: Step S 6 3 : If the mode number n to be compared is incremented by one, the process returns to step S6.0 to continue the process.
  • the encoding device 10 has a 9 'screen previously determined by the AVC standard based on the differential image data consisting of the difference values from the peripheral pixels of the processing target pixel to be processed. Generate in inner prediction mode. Then, the encoding device 10 calculates the difference absolute value sum SAD as the difference sum value based on the sum of the absolute values of the respective processing target pixels in the difference image data, and the offset [n] preset in the in-screen prediction mode.
  • the in-screen prediction mode is prioritized according to the priority according to.
  • the encoder 10 has a low value of offset [n] and a high priority specific screen.
  • the intra prediction modes can be prioritized to high priority. .
  • the encoding apparatus 10 adds an offset (offset [n]) according to the intra prediction mode to the difference absolute value sum SAD for a plurality of difference image data, and adds the offset difference absolute value sum SAD. Generate f Then, the encoding device 10 ranks the intra prediction modes by comparing the offset sum SAD with offsets.
  • the coding apparatus 10 can easily set the priority of the ranking according to the intra prediction mode. Further, the encoding apparatus 10 can suppress an increase in the generated code amount by adding offset [n] to the last, instead of using a specific intra prediction mode in a fixed manner.
  • the encoding device 10 determines the intra prediction mode when the differential image data with offset absolute difference sum SAf takes a minimum value as the intra prediction mode for encoding the differential image data when the differential image data is generated. It was made to do.
  • the encoding apparatus 10 can easily determine the particular intra prediction mode as the intra prediction mode for encoding the differential image data, so that the screen used in the previous encoding.
  • the coding device can improve the probability of using the intra prediction mode same as that of the previous encoding, the image quality during dubbing can be improved. It is made to be able to
  • the intra-frame encoding apparatus 10 encodes the differential image data by not adding an offset to one intra-frame prediction mode with little deterioration in image quality.
  • the prediction mode it is easy to select the intra prediction mode with less degradation of image quality, and it is possible to suppress the degradation of image quality at the time of decoding.
  • One intra prediction mode in which the image quality degradation is small is a DC prediction mode in which the difference value from the average value of peripheral pixels is taken, and the difference value from the average value of peripheral pixels in the vertical and parallel directions in the AVC Standard is calculated. It is mode 2 to take.
  • the coding apparatus 10 can suppress the image quality deterioration at the time of coding by using many DC prediction modes with the smallest image quality deterioration.
  • offset [n] according to the degree of deterioration of the image quality in the in-screen prediction mode
  • the encoding apparatus 10 ranks in such a way that the priority of the in-screen prediction mode becomes higher as the deterioration of the image quality decreases. It can be attached.
  • the encoding device 10 detects the quantization factor that is the basis of the quantization step used in the previous encoding from the difference image data in the intra-frame prediction mode, thereby reducing the image quality during dubbing. Can be suppressed.
  • the encoding apparatus 10 weighs the amount of generated code and the degradation of the image quality, and offset [according to the application and purpose] n] can be set to meet the user's request.
  • the encoding device 10 compares the absolute difference value sum SAD in each intra-frame prediction mode, and prioritizes a specific intra-frame prediction mode with a higher priority, thereby a specific screen
  • the intra prediction mode can be ranked high each time.
  • the encoding apparatus 10 can easily rank the intra-frame prediction mode used at the time of the previous encoding in a highly selective manner and select it as the intra-frame prediction mode of the differential image data used for encoding.
  • the present invention can realize an image processing apparatus and an image processing method that can suppress the degradation of image quality. '.
  • intra prediction mode detection process only the input image data is used, and the intra prediction mode used in the previous encoding is arithmetically calculated using the remainder r. It is characterized by detecting. .
  • the coding apparatus 11 uses the quantization matrix Qmatrix and the quantization parameter QP to display in the screen for each input coding unit IA.
  • the prediction mode is changed and the minimum value is detected using the sum ( ⁇ r) of the remainder r. This makes it possible for the coding device 11 to detect the intra-frame prediction mode encoded last time for all intra-coding units IA in the macroblock MB ′.
  • the encoder '11 ranks the offset difference absolute value sum SAD by offset priority application processing, and the difference absolute value sum SAD with offset is three intra-frame prediction modes from the smaller side.
  • the prediction mode detection process is executed.
  • the encoding device 11 can easily select the intra-frame prediction mode encoded last time. Therefore, the intra-frame prediction mode encoded last time is selected as the three intra-frame prediction modes to be processed. It is made to be able to include surely.
  • the quantization matrix and quantization parameter used in the previous encoding are based on the concept described above in the quantization matrix detection process and the quantization parameter detection process. If is known, by dividing the DCT coefficients of each of the nine intra prediction modes by 6 bit shifts (W ⁇ 6) by the resizing factorer RF, the remainder r is minimized. Detect the in-screen prediction mode. .
  • the image processing apparatus 1 takes into consideration the following points due to the unique characteristics of AVC Intra, which were not considered in MPG. That is, in this in-screen prediction command detection processing, in addition to (i) and (ii) described above in the quantization matrix detection processing and the quantization parameter detection processing, the following (vii) Consider.
  • the intra prediction mode changes, the difference value also changes, and as a result, the distribution of DCT coefficients also changes. Therefore, it is generally considered fair to divide the sum of residues r in a sub-macroblock by the number of non-zero DCT coefficients and compare with the residue per sample.
  • the prediction mode used in the previous encoding is chosen, then the prediction is high.
  • the number of non-zero DCT coefficients tends to decrease, and the number of non-zero DCT coefficients tends to increase as the mode is shifted in direction from the previous prediction.
  • the sum of the remainder r is not divided by the number of non-zero DCT coefficients, but multiplied by the number of non-zero DCT coefficients.
  • the sum of remainder r and the number of non-zero DCT coefficients are multiplied by the evaluation value Y, and this evaluation value Y is compared between each prediction mode, and the prediction mode with the smallest evaluation value Y is the previous encoding. Think of it as a prediction mode.
  • an optimal prediction mode is determined based on the characteristic viewpoint (vii) above.
  • the point having the intra prediction mode detection unit 33 and the intra prediction mode determination unit 45, the intra prediction processing unit 51 and the integer precision DCT unit 52 are different from the encoder 10 in that they have. The following description focuses on the differences.
  • the previous quantization parameter QP detected by the Q matrix detection unit 32 and the quantization matrix Qmatrix are sent to the Qmatrix / QP determination unit 41.
  • the Qmatrix / QP decision section 41 with regard to the quantization matrix Qmatrix and the quantization parameter QP, whether the one estimated in the first-pass pre-encoder 20 is adopted or not? 3 Decide whether to use the one detected in 0.
  • the back search fails because there is no previous encoding, and the encoding process by the pre-encoder 20 of the first pass is performed. Adopt what was estimated.
  • the one detected by the back search unit 3 0 is employed in order to avoid repeated quantization distortion.
  • the quantization parameter selector QP and the quantization matrix Qmatrix used for the previous encoding detected by the back search unit 30 are also sent to the intra prediction mode detection unit 33.
  • the in-screen prediction mode detection unit 33 detects the previous in-screen prediction mode by the above-described in-screen prediction mode detection process by using the quantization parameter QP and the quantization matrix Qmatrix. The details of the in-screen prediction mode detection process procedure by the in-screen prediction mode detection unit 33 will be described later.
  • This previous prediction mode is sent to the in-screen prediction mode determination unit 45. In the in-screen prediction mode determination unit 45,
  • the in-screen prediction mode detection unit 33 detects the previous prediction mode on the basis of the quantization parameter Q.Q. and the quantization matrix Qmatrix. This previous prediction mode is sent to the in-screen prediction mode determination unit 45. In the in-screen prediction mode determination unit 45,
  • the intra prediction mode detection unit 33 determines whether the input image data is an original image that has never been encoded. That is, if the input image data is an original image that has never been encoded, detection of the intra prediction mode (backtracking) fails because there is no previous encoding, and the Intra prediction mode with offset The one estimated by the decision unit 2 1 is adopted. Conversely, if the input image is a non-original image that has already been encoded, in order to avoid repeated quantization distortion, the signal detected by the intra prediction mode detection unit 33 is used. Do.
  • the quantization matrix Qmatrix, the quantization parameter QP, the in-screen prediction mode determination unit 45 determined by the Qmatrix / QP determination unit 41 as described above Encode the input image using the estimated intra prediction mode, Output as a coded stream (Stream).
  • the in-screen prediction mode determined by the in-screen prediction mode determining unit 45 is selected as the optimal in-screen prediction mode, and the prediction image of peripheral pixels is used.
  • Differential image data is generated from the input image, and the differential image data is input to the integer precision DCT unit 52.
  • the integer precision DCT unit 52 outputs the difference image data as a DCT coefficient W by orthogonal transformation using discrete cosine transformation.
  • the quantization unit 53 receives the DCT coefficient W and performs quantization using the quantization matrix Qmatrix s quantization parameter QP determined by the Qmatrix / QP determination unit 41, and the quantization level Z is entropic.
  • the input quantization level Z is binarized and arithmetically coded and outputted as a coding stream.
  • the intra-frame prediction mode according to the second embodiment of the present invention will be described with reference to the flowchart in FIG.
  • the process of prediction mode detection by the detection unit 33 will be further described. This corresponds to the image information coding method according to the embodiment.
  • the in-screen prediction mode detection unit 33 sets the in-screen prediction mode with the smallest difference absolute value sum of the predicted image (ie, the sum of absolute values of difference image data) as the initial value;
  • Step S 1 5 the in-screen prediction mode detection unit 33 performs DCT processing on the difference image data from the predicted image (step S 15 2).
  • Intra-frame prediction mode detector 33 shifts the absolute value IW I. of the DCT coefficient W by 6 bits for each sample in the 4 ⁇ 4 sub-mac mouth block and divides it by (IW
  • the in-screen prediction mode detection unit 33 sets an evaluation value Y as the sum of the remainder r and the even number of the DCT coefficient (step S 1 56).
  • the in-screen prediction mode detection unit 33 determines whether Y has been calculated for all the in-screen prediction modes that may have no screen (step S 1 5 7), and the evaluation is performed. If the value Y has not been calculated, the mode is switched to the prediction mode in which the sum of absolute differences SAD is smaller next (step S158), and the processing of steps S52 to S57 is repeated.
  • step S 157 branches to Yes
  • the evaluation value Y between the in-screen prediction modes is determined. Are compared (step S159), the prediction mode with the smallest evaluation value Y is set as the prediction mode used last time (step S160), and the process is ended.
  • the encoding apparatus 10 detects AVC by arithmetically detecting the intra prediction mode used in the previous encoding from the input image. It is possible to suppress the occurrence of repeated quantization distortion during dubbing of an intra frame. As a result, the encoding device 10 can improve the deterioration of the SN ratio and the visual characteristics during dubbing.
  • the encoding device 10 when comparing the difference absolute value sum SAD from the predicted image in the sub-track between the intra-frame prediction modes, the encoding device 10 sequentially starts from the small difference material sum S. SAD.
  • This comparison is equivalent to comparing from the high-prediction intra-frame prediction mode used in the previous encoding.
  • the intra-prediction prediction mode with a small sum of absolute differences SAD It is possible to reduce the amount of computation by comparing only a predetermined number (for example, three) of modes in order. It is possible to treat DCT coefficients in conversion and decoding equally.
  • the encoding apparatus 10 can detect regardless of the algorithm of intra prediction of the previous encoding, the intra prediction method in consideration of the visual characteristics in the first encoding is used: An algorithm is available.
  • the encoding device 1 1 uses the difference image data for which the absolute value sum with offset SAD is minimum as the quantization factor to be the basis of the quantization step used in the previous encoding.
  • the encoding device 1 1 is a target number of three differences in the ascending order of the offset difference absolute value sum by the division factor based on the quantization parameter QP and the quantization matrix Qmatrix detected by the back search. Calculate the remainder value r when dividing the image data.
  • the encoding device 11 determines the intra prediction mode in which the differential image data for which the remainder value r is minimum is generated as the intra prediction mode for the differential image data.
  • the encoding device 11 can reliably detect the intra prediction mode used in the previous encoding, it is possible to further suppress the image quality degradation during dubbing.
  • the encoding device 11 1 prioritizes a specific in-screen prediction mode by offset priority application processing to be a target of the in-screen prediction mode detection processing.
  • the three intra prediction modes can almost certainly be included in the intra prediction mode used at the previous encoding. .
  • the coding device 11 can almost certainly detect the intra prediction mode used at the time of the previous encoding by the intra prediction mode detection process.
  • the present invention can realize an image processing apparatus and an image processing method capable of suppressing a decrease in image quality at the time of encoding. (4) Other embodiments
  • the Intra prediction mode determination unit with offset determines the value of offset [n] for each prediction mode (step S 2 0 1).
  • n means a prediction mode number (0 to 8 (except 2)) to be compared with the DC prediction.
  • X means a prediction mode number adopted in coding.
  • the Intra prediction mode determination unit with offset is an intra prediction mode to be compared. It is determined whether the sum of absolute difference sums SAD and offset [n] is smaller than the sum of absolute difference values SAD in the DC prediction mode (step S 2 0 4).
  • the Intra prediction mode determination unit with offset is the sum of difference absolute value sum with offset SAD f that is the sum of difference absolute value sum SAD in the in-screen prediction mode to be compared and offset [n]. If it is determined that is smaller than the sum of offsets with absolute value SAD f of mode number X (branch to step S 2 0 4 Yes), the intra prediction mode within the screen to be compared against X is selected. Substitute the code number n, and move to step S 2 0 5.
  • the offset difference absolute value sum SAD f which is the addition value of the difference absolute value sum SAD of the prediction mode to be compared and the offset] is more than the offset absolute value sum SAD f of the mode number X If it is judged not to be small (the step S2 04 is branched to No), the Intra prediction mode deciding unit with offset judges whether or not comparison has been made with respect to all possible prediction modes ( Step S 2 0 5), Intra offset added Intra prediction mode determination unit updates the value of n (step S 2 0 5 branches to No) if all the determinations have not been completed (step S 2 0 5) S 2 0 6) Perform the comparison of step S 5 for the next candidate mode.
  • step S 2 05 If it is determined in step S 2 05 that comparison has been made with respect to all possible prediction modes to be adopted (step S 2 0 5 is branched to “Yes”), the Intra prediction mode determination unit with offset is Mode X The prediction mode to be adopted in encoding (step S 2 0 7), ends the series of processing.
  • the encoding apparatus selects: an intra prediction mode in which the sum of absolute differences SAD is minimum, and the sum of absolute differences SAD in the selected intra prediction mode and one of the plurality of intra prediction modes. Comparison with absolute value sum SAD in prediction mode (DC prediction mode). Then, when the difference between the absolute value sum SAD is less than the threshold value, the encoding apparatus determines the differential image data corresponding to the differential absolute value sum priority prediction mode as the differential image data to be actually encoded. good.
  • the difference absolute value sum SAD He described the case where it was decided to prioritize.
  • the present invention is not limited to this, and for example, it may be used based on SATD (Sum of Absolute Transiormed Diiierence) or S SD,.. .Sum 01 Square Difference, sum of squared error), which has been Hadamard transformed to SAD. It may be possible to rank the SATD (Sum of Absolute Transiormed Diiierence) or S SD,.. .Sum 01 Square Difference, sum of squared error), which has been Hadamard transformed to SAD. It may be possible to rank the SATD (Sum of Absolute Transiormed Diiierence) or S SD,.. .Sum 01 Square Difference, sum of squared error), which has been Hadamard transformed to SAD. It may be possible to rank the SATD (Sum of Absolute Transiormed Diiierence) or S SD,.. .Sum 01 Square Difference, sum of squared error), which has been Hadamard transformed to SAD. It
  • offsettn] is not added only to the DC prediction mode.
  • the present invention is not limited to this, and the offset] may not be added to other in-screen prediction modes. Further, according to the present invention, offset [n] may not be added to two or more in-screen prediction modes. .
  • offsettn is added according to the degree of deterioration of the image quality.
  • the present invention is not limited to this.
  • offset [n] may be added according to the generation degree of the generated code amount.
  • an index for adding offset [n] is not necessarily required.
  • the encoding device performs both the backtracking process and the offset priority application process.
  • the present invention is not limited to this, and only the offset priority application process may be executed.
  • the integer precision D C T unit 2 2 supplies the D C T coefficient to the quantization parameter calculation unit (not shown).
  • the quantization parameter calculation unit determines an appropriate quantization parameter QP according to the size of the DCT coefficient W and the distribution state of the frequency range, supplies this to the quantization unit 53, and performs entropy coding Output as a coded stream via part 54.
  • the case has been described in which the encoding device executes the in-screen prediction mode detection process for the three in-screen prediction modes as the number of processes.
  • the present invention is not limited to this, and the number of processes is not particularly limited.
  • the case has been described where the sum of absolute differences SAD is calculated for each intra-coding unit consisting of submacroblocks of 4 ⁇ 4 pixels.
  • the present invention is not limited to this, and may be, for example, 8 ⁇ 8 pixels or 16 ⁇ 8 pixels, and there is no limitation on the intra coding unit.
  • the present invention is not limited to this, and the present invention can be applied to all methods for selecting one intra prediction mode out of a plurality of intra prediction modes.
  • the coding apparatus as an image processing apparatus by the differential image data generation unit and the Intra prediction mode determination unit with offset 21 as a ranking unit 10 And 11 described the case where 1 was to be configured.
  • the present invention is not limited to this, and the image processing apparatus of the present invention may be configured by a differential image data generation unit and a ranking unit having other various configurations.
  • the image information encoding apparatus and method according to the first and second embodiments described above can also be implemented as a program executed by a conduit and a recording medium storing the program. It is a matter of course that f is also the case, in which case the above-mentioned effects can be achieved. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、符号化時の画質の低下を抑制することができる。本発明は、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、ＡＶＣ規格により予め定められた９の画面内予測モードごとに生成する。そして符号化装置は、差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値としての差分絶対値和（ＳＡＤ）と、画面内予測モードに予め設定されたoffset[n]による優先順位とに応じて、当該画面内予測モードを順位付けするようにした。

Description

明 細 書 画像処理装置及び画像処理方法 技術分野
本発明は、 例えば前回の符号化で使われた量子化行列や量子化パラメ一夕等を 所定単位で検出する符号化装置及び方法に関する。 背景技術
従来、 テレビジョン放送局間で映像デ一夕の伝送を行う際、 或いは複数のビデ ォテープレコーダ （V T R装置） を用いて映像デ一夕の複写を行う際には、 MPEG (Moving picture experts group) 方式で符号化した映像デ" "夕を復号化 し、 再度、 符号化することから、 エンコーダとデコーダを直列にタンデム接続す る必要がある。
そして、 このようなタンデム接続時の符号化と復号化の繰り返しによる映像の 品質劣化を低減する手法として所謂 「バックサーチ」 という手法が採用されてい る。
ここで、 「バックサーチ」 とは、 以前の符号化で使用された量子化ステップ、 或いは、 その倍数関係にある量子化ステップを用いると、 離散余弦変換 (DCT； discrete cosine transfer) 係数の剰余の総和が極小となる.という性質を 利用して、 最小値に係る量子化ステップを最適な量子化ステップとして求める手 法である。
この 「バックサーチ」 を用いた技術については、 例えば特許文献 1では、 前回 の符号化における量子化ステップをバックサーチ方式により再生し、 前回と同じ 量子化ステップ及び G O P ( Group of pictures) 位相で再び入力映像デ一夕を 符号化し、 エンコーダとデコーダをタンデム接続して映像データの符号化及び復 号化を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示 されている。
一方、 今日では、 MPEG 方式に代えて、 AVC (Advanced Video Coding) 規 格が、 携帯電話のテレビ電話といった低速 ·低画質の用途からハイビジョンテレ ビ放送等の大容量 ·高画質の動画まで幅広い用途に用いられてきているが、 動き 補償、 フレーム間予測、 DCT、 エントロピ一符号化などを組み合わせたァルゴ リズムを利用しており、 MPEG に比べて同じクオリティならば、 概ね半分程度 のデータ量で済むよう改良されている。
この AVC の画面内符号化では、 符号化効率を向上させるために、 画面内の周 辺画素からマクロプロック内の画素値を予測し、 その予測からの差分画像デ一夕 を符号化する画面内予測が導入された。 この画面内符号化のみを用いて符号化さ れた AVC のストリームを、 以下、 AVC Intra と呼ぶ。 すなわち、 この AVC Intra では、 符号化の際に入力画像を周辺画素からの予測画像と差分に分離し、 該差分を符号化する。 ： .
予測画像は、 上の画素からの予測や横の画素からの予測等、 9個のモードが用 意されており、 通常は単位ブロック （例えば 4x4 サンプル等） あたりの予測画 像からの差分の総和が最も小さぐなるような予測モードを採用するようになつて いる。 特許文献 1 特開平 1 0— 1 7 4 0 9 8号公報。 · '： しかしながら、 前述した従来の手法では、 符号化時の発生符号量は減少する傾 向にあるが、 AVC による符号化は、 量子化の部分が非可逆変換であるため、 符 号化と復号^:を行うと元の入力画像に対して量子化歪が生じることから、 ダビン グ時に符号化と復号化を繰り返す度に、 量子化歪により画質が低下していく。 特 に、 ダビング時に、 この量子化歪の影響により前回の符号化時とは異なる予測モ —ドが採用されると、 再度量子化歪が発生してしまい、 その結果、 画質が低下す るという問題が生じるおそれがある。 発明の開示
かかる課題を解決するため本発明の画像処理装置においては、 処理対象どなる 処理対象画素の周辺画素からの差分値からなる差分画像デ一夕を、 予め定められ た複数の画面内予測モードごとに生成する差分画像デ一夕生成部と、 差分画像デ 一夕における各処理対象画素の絶対値の和に基づく差分合計値と画面内予測モー ドに予め設定された優先順位とに基づいて、 当該画面内予測モードを順位付けす る順位付け部とを設けるようにした。
これにより画像処理装置は、 特定の画面内予測モードの優先順位を毎回高く設 定することができるため、 特定の画面内予測モードを選択し易くなり、 前回の符 号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪み を抑制できる。 ' ·
また本発明の画像処理方法においては、 処理対象となる処理対象画素の周辺画 素からの差分値かちなる差分画像デ一夕を、 予め定められた複数の画面内予測モ 一ドごとに生成する差分画像データ生成ステップと、 差分画像データにおける各- 処理対象画素の絶対値の和.となる差分合計値と画面内予測モードに予め設定ざれ た優先順位とに応じて、 当該画面内予測モードを順位付けする順位付けステップ とを設けるようにした。
これにより画像処理装置は、 特定の画面内予測モードの優先順位を毎回高く設' 定することができるため、 特定の画面内予測モードを選択し易くなり、 前回の符 号化時に使用された画面内予測モードを選択し易ぐしてダビング時の量子化歪み を抑制できる。
本発明によれば、 これにより画像処理装置は、 特定の画面内予測モードの優先 順位を毎回高く設定することができるため、 特定の画面内予測モードを選択し易. くなり、 前回の符号化時に使用された画面内予測モ一ドを選択し易くしてダビン グ時の量子化歪みを抑制でき、 画質の低下を抑制し得る画像処理装置及び画像処 理方法を実現できる。 図面の簡単な説明
図 1は、 本発明の第 1及び第 2の実施の形態に係る符号化装置の概念図。
図 2は、 A V C規格における変換と量子化の説明に供する略線図である。
図 3は、 一度も符号化されていない画像を入力画像としたときの、 量子化パラ メータ QPと剰余の総和 （∑ r ) との関係を示す図。
図 4は、 符号化と復号が行われた入力画像について、 量子化パラメ一夕 QP と: 剰余の総和 （∑ r ) との関係を示す図。 '
図 5は、 リスケーリングファクター RF による規格化後の量子化パラメ一夕
QPと評価値の総和∑ Υとの関係を示す図。
図 6は、 リスケ一リングファクタ一 RF による規格化、 所定領域の補正後の量 子化パラメ一夕 QPと評価値の総和 Σ Υとの関係を示す図。
図 7_ν本発明の第 1の実施の形態に係る符号化装置の構成図。
図 8は、 . （ a ) は Q matrix検出部の構成図、 （ b ) は QP検出部の構成図。 図 9は、 マクロプロヅクとイントラ符号化.単位の関係を示す図。
図 1 0は、 （a ). 〜 （： ί ) は、 9種類の 4 X 4Intra予測モードの説明図。
図 1 1は、 本発明の第 1の実施の形態の処理の流れを示すプロッケ図 b - - : 図 1 2は、 本発明の第 1の実施の形態に係る符号化装置の Q matrix検出部に よるスラィス単位での Q matrix ^贪出の処理について説明する ロニチヤ ト。' 図 1 3.は、 本発明の第 1の実施の形態に係る符号化装置の QP.検出部によるマ クロプロヅケ単位での QP^ ^出の処理について説明するフ口一チヤ「ト。
図 1 4は、 本発明の第 1の実施の形態によるオフセッ ト優先適用処理の詳細な フローチヤ一ト。
図 1 5は、 本発明の第 2の実施の形態に係る符号化装置の構成図。
図 1 6は、 本発明の第 2の実施の形態に係る符号化装置による予測モード検出 の処理について説明するフローチャート。
図 1 7は、 本発明の他の実施の形態によるオフセッ ト優先適用処理の詳細なフ ローチャート 発明を実施するための最良の形態
以下、 図面を参照して、 本発明を実施するための最良の形態 （以下、 単に実施 の形態と称する） について詳細に説明する。 なお説明は以下の順序で行う。
( 1 ) 本発明の概略
( 2 ) 第 1の実施の形態 （オフセット優先適用処理）
( 3 ) 第 2の実施の形態.（バックサーチによる画面内予測モードの確認）
( 1 ) 本発明の概略
( 1— 1 ) 前提
一般に、 AVC (Advanced Video Coding) 規格による符号化は非可逆変換であ るため符号化と復号化を行うと元のベースバンド (Baseband) 画像に対して歪 が生じる。 従って、 例えばタンデム接続によるダビング等により符号化と復号化 を繰り返す度に該歪により画質が低下していく。
この点に鑑みて、 本発明の第 1の実施の形態では、 AVC 規格の画面内符号化 において、 一度符号化、 復号化を通した画像を再度符号化する際に、 前回の符号 化で使われた以下の 3つのパラメ一夕を再利用することで、 画像の歪を符号器と- 復号器の演算誤差のみに抑える.ことを特徴の一つとしている。
(1) ：画面内予測モード . ' ' '
(2) . 量子化行列 (Qmatrix)
(3) 量子化パラメ 夕 （QP)
これらのうち、 第 1の実施の形態における量子化行列検出処理では、 特に (2) に着目し、 量子化パラメ一夕検出処理では (3)に着目し、 オフセッ ト優先適用処 理では (1)に着目する。
すなわち AVC規格におけるイントラ （Intra) 画像、 即ち AVC Intraに対し ダビングを行う際に、 前回の符号化で使われた量子化行列 Qmatrix、 量子化パ ラメ一夕 QP及び画面内予測モードを検出して、 同じ Qmatrix と QP とを利用 することで量子化丸めを防ぎ、 ダビング特性の向上を実現する。
ここで、 図 1には本発明の第 1の実施の形態に係る符号化装置及び方法におけ る概念図を示し説明する。
同図に示されるように、 この画像処理装置 1は第 1の符号化部 2、 第 2の符号 化部 3、 バックサーチ部 3を備え、 更にバックサーチ部 3は予測モード検出部 5、 量子化行列 (Qmatrix)検出部 6、 量子化パラメ一夕 (QP)検出部 7を有している。 このような構成において、 第 1の符号化部 2は、 入力された画像情報に対して 第 1の符号化を行う。 バックサーチ部 3は、 種々の量子化行列 Qmatrix と量子 化パラメ一夕 QP の組み合わせによる リスケ一リ ングファクタ一 （ RF; Rescaling factor) で第 1の符号化の過程で得られる整数精度 DCT 係数を除算 したときに得られる剰余 rの大きさを評価することで、 第 1の符号化において使 われた.量子化行列 Qmatrix、 量子化パラメ一夕 QP 及び画面内予測モードを検 出する。 そして、 第 2の符号化部 4は、 第 1の符号化においてバックサーチ部 3 により検出された量子化行列 Qmatrix、 量子化パラメ 夕 QP 及び画面内予測 モードを用いて第 2の符号化を行う。
即ち、. より詳細には、 バックサーチ部 3では、 Qmatrix 検出部 6は、 第 1の 符号化の過程で得られる整数精度 DCT係数に基づいて、 '第 1の符号化において、 上記整数精度 DCT係数を種々の量子化行列 Qmatrixと量子化パラメ一夕 QPの 組み合わせによるリスケ一リングファクタ一 RF で除算した剰余を用いて、 スラ イス毎に量子化行列 Qmatrixを検出する。
QP 検出部 7は、 第 1の符号化の過程で得られる整数精度 DCT係数に基づい て、 整数精度 DCT係数を種々の量子化行列 Qmatrixと量子化パラメ二夕 QPの 組み合わせによるリスケ一リングファクター RF で除算した：剰余を甩いて、 量子 化パラメ一夕 QPをマクロプロック毎に検出する。
さらに、 予測モード検出部 5は、 前回の符号化の際に使用された画面内予測モ ―ドを検出する。 この検出された予測モードは第 2の符号化部 4において採用さ れる。 先ず、 本発明の第 1の実施の形態に係る画像処理装置 1に対する理解を深める ベく、 本実施の形態が着目した特徴的な性質 ·原理について詳細に説明する。 図 1に示すように、 AVC規格では、 Intra画像に対し、 9つの画面内予測モー ドから選択された一の画面内予測モードを用いて入力画像から差分画像データを 生成する。 なお以下、 Intra画像に対する AVC規格を AVC Intraと称する。 次 いで AVC Intraでは、 差分画像データに対して D C T処理を実行し、 得られた D C T係数を量子化行列. Qmatrix と量子化パラメ 夕 QPの組み合わせによる リスケ リングフアクター RF で除算することにより量子化して量子化レベル (量子化係数） でなる量子化データを生成する。 この量子化デ一夕は、 さらに所 定の符号化方式により符号化され、 符号化ストリームとなる。 この符号化ストリ ームは、 符号化に使用された画面内予測モード、 量子化行列 Qmatrix 及び量子 化パラメ一夕 QPが設定されることになる。 ： '
A V C規格では、 復号化の際、 設定された画面内予測モード、 量子化.行列 Qmatrix 及び量子化パラメータ QP を用いて量子化デ一タを復号するが、 符号 化の際に丸められた剰余部分を復元することはできない。 従って、 A V.C規格で は、 この量子化の剰余分だけ画質を低下させることになる。 以下、 この画質め低 下を:量子化歪と呼ぶ。 , . ·
例えば業務用の放送装置などでは、 映像データに対し、 複数回に亘つ 符号化 及び復号化を繰り返すような場合が想定される。 このどき、. 毎回異なる画面内予 測モ一ド、' 量子化行列 Qmatrix及び量子化パラメ一夕 QP を用いると、 符号化 . の度に量子化歪が発生してしまい、 符号化の度に映像デーダの画質を低下させて しまう。
AVC Intraでは、 一度符号化、 復号化を通した画像を再度符号化する條に、 前 回の符号化で使われた量子化行列 Qmatrix、 量子化パラメ一夕 QP 及び画面内 予測モードを使うと、 前回の符号化で量子化歪が既に落とされているので、 それ 以上量子化歪が生じにくいという性質がある。
このため本発明では、 前回の符号化で使われた量子化行列 Qmatrix、 量子化 パラメ一夕 QP又は画面内予測モードを検出し、 これらを用いて符号化を実行す ることにより、 映像データの画質低下を抑制する。
このように前回の符号化で使われた量子化行列 Qmatrix、 量子化パラメ一夕
QP 又は画面内予測モードを高い確率で検出することを、 以下の説明においては 「バックサーチ」 と称する。 ここで上述した特許文献 1に記載されているように、 バックサーチは、 M P E G (Moving picture experts group) 一 2において、 D C T係数を各量子化スケ —ル Qによって除算すると共に、 剰余 rの最も小さい量子化スケール Qを前回符 号化したときに使用した量子化スケール Qとして検出することができる。
しかしながら A V C規格では、 M P E G— 2とは以下の点において相違してお り、 M P E G—2の手法をそのまま適用すると、 検出の精度が低下してしまう。
•整数精度演算の導入により符号化と復号化における DCT係数が等価に扱え ないひ ノ
•復号峙の演算誤差-が大きぐ、 検出精度に大きく影響する。: .
•剰余関数が量子化パラメ一夕 QPに関して周期をもっため、 同じ値の最小値 が複数存在する。 . . ^
そこで、 本発明は、 AVC による符号化を採用し、 前回の符号化で使われた量 子化行列 Qmatrixや量子化パラメ一夕 QP等を所定単位で高い確率で検出し、 それらを再利用することでダビング時の量子化による丸め誤差を低減し、 ダビン グ特性を向上することを課題とする。 ，
( .1 — 2 ) バックサ チの原理
以下、 該バヅクサーチの具体的方法につき言及する。 .
AVC Intraでは、 復号化の際に、 量子化レベル Zに量子化行列 Qmatrixと量 子化パラメ一夕 QPの関数であるリスケーリングファクタ一 RFが乗算されて整. 数精度 DCT係数 Wを 6bit左シフ トしたものが復号される。
(W « 6) = Z*RF ( 1 ) RFr = {V Qmatrix 2 floo,<QP 6)} » 4 · · · ( 2 )
V： AVCの規格で定められた Multiplication factor このように、 復号の過程で、 量子化レベル Z に RF を乗算して整数精度 DCT 係数 Wを得ているので、 次の符号化において整数精度 DCT係数 Wは RF.で割 り切れる。 つま り、 次の符号化の際にシフ トされた整数精度 DCT 係数
(W<<6) を同じ. RFで割った場合に、 その剰余 rは 0になると考えられる。 こ のような性質に着目から、 種々の量子化行列 Qmatrix と量子化パラメ一夕 QP の組み合わせによるリスケ一リングファクタ一 RF を用いてシフトされた整数精 度 DCT係数 (W<<6)を割った剰余 rの大きさを評価することで、 前回の符号化で 使われた量子化行列 Qmatrix と量子化パラメ一夕 QP 'を検出することができる。 以上に加えて、 第 1の実施の形態に係る画像処理装置 1では、 検出精度を向上 させる為に、 MPEG では考慮されなかった、 AVC Intra 特有の性質に起因する 以下の (i)〜(vi)の点を考慮する。 以下、 各点につき群述する。
( 0 符号化と復号化における RFの変換
AVC Intra では、 DCT部を整数精度部と非整数精度部に分け、 整数精度部を 整数精度 DCT と称し、 非整数精度部と量子化を合わせて量子化と称している。 . AVC Intraでは、.符号化と復号化で整数精度部と非整数精度部の切り分け位置が 異なるため、 符号化に用いる整数精度 DCT (以下、.単に 「DCT」 と表記する と復号に用いる整数精度逆 DCT (以下、 単に 「逆 DCT」 と表記する） は逆変換 ではない。 ゆえに、 符号化で使われる DCT係数 Wと復号で使われる逆 DCT係 数 W (以下、： 「W'」 と表記する）は等しくならない。
即ち、 DCT係数 Wと DCT係数 W'は次式で示される。
Figure imgf000012_0001
Figure imgf000012_0002
この DCT, 逆 DCTの式より、 DCT係数 Wと DCT係数 W'の間には次式が成 立する。 ：
Figure imgf000013_0001
(5) このように DCT係数 W， の位置 （i，j) により 16、 20、 25を掛けたものが W となるが、 この変換行列を 「D」 とし、 （6) 式に定義する。 即ち、 バックサ一 チ処理における符号化で用いる RF は復号化で用いる RF (以下、 「RFr」 と表 記する） に、 DCT係数 Wと DCT係数 W'の変換行列 Dを乗じたものとする。 16 20 16 20、
20 25 20 25
D (6)
16 20 16 20
20 25 20 25 すなわち AVC Intra では、 図 2に示すように、 差分画像デ一夕に対して符号 化及び復号化により DCT処理を施した後に逆 DCT処理を行うと、 復号差分画 像データの値が変換行列 Dだけスケールアップされることになる。
また AVC Intra では、 量子化の際に、 次式で表される量子化誤差 E Rが発生 する。 なお （7 ) 式を実際の数値として表すと、 （8 ) 式のように表すことがで きる。 すなわち AVC Intra では、 D C T係数に対して符号化及び復号化により 量子化処理及び逆量子化処理を行うと、 逆 D C T係数の要素の値が量子化誤差 E Rだけスケールアップされることになる。
ER = MFx V/2lj ( 7 )
Figure imgf000014_0001
このため AVC Intra では、 復号化の際、 復号差分画像デ 夕を.「 6 4」 で除 算することにより、 復号差分画像データの値を差分画像デ一夕と同レベルにする . ようなされている。
すなわち隠 Intra:では、 差分画像デ一夕に対して DCT処理を施した時点で、 変換行列 D が乗算されてスケールアップされているものとみなすことができる。 これに伴い、 剰余. rの値もスケールアップされることになるが、 （8 ) 式に示し たように、 その値 （すなわち係数要素） は行列の位置によって異なっている。 従って仮に DCT係数を復号リスケーリングファクター RF によって除算する と、 DCT 係数の位置に応じて剰余 rが大きくなつたり、 小さくなつたりしてし まうことになり、 剰余 rを単純に比較できなくなってしまう。
従って画像処理装置 1では、 次式のように復号時のリスケーリングファクター (以下、 これを復号リスケーリングファクタ一 RF rと呼ぶ） に対して変換行列 D を乗算することにより、 バックサーチ処理の際に除算する値として使用され るリスケ一リングファクター RFを算出する。
RF = RFr * D
( 9 )
= {V Qmatrix D 2floo,(QP/6)} » 4
即ち、 一度、 符号化を介した入力画像 （差分画像データ） の DCT係数 W は ( 5 ) 式による DCT係数 W と DCT係数 W'の変換行列 D を考慮すると、 {V Qmatrix D 2fl。。r(QP/6)}で割り切れ、 剰余 rが 0となると考えられる。
これにより画像処理装置 1では、 剰余 rから DCT処理に伴うスケールアップ の影響を排除することができ、 剰余 rを同一スケールで比較し得るようになされ ている。
このように画像処理装置 1では、 復号リスケ一リングファクダ一 RF rに対し て変換行列 Dの値を乗算してリスケーリングファクタ一 RFを算出する。 これに より画像処理装置 1では、 リスケ一リングファクタ一 RF によって差分画像デー 夕を除算することにより、 DCT 処理によって一律にスケールアップされる分を も同時に除算することができるため、 スケ一ルアップによる剰余 rの変動を低減. し、 バックサーチの検出の精度を向上させ得るようになされている。'
(ii) 復号.時の誤差
. AVC Intra では、 周辺画素からの予測画像との差分絶対値和 （SAD: Sum of Absolute Differences すなわち差分画像デ一夕） を符号化する。 復号時に量子 化レベル Z に復号リスケ一リングファクタ一 RF rを乗じるが、 復号時の演算丸 めを防ぐため、 復号リスケ一リングファクタ一 RF rは規格上予め 6bit桁上げさ れている（復号の際に DCT係数 W'を 6bit左シフトしたものが得られるのはその ためである）。
従って、 逆量子化、 逆 DCT処理は、 6bit桁上げされた状態で演算され、 予測 画像を 6bit桁上げしたものと足し合わせた後に、 その和を 6bit桁下げしてベー スバンド画像を得る。 この 6bitの桁下げにより、 下位 6bitに入っていたデータ が四捨五入される為、 演算誤差 E が発生し、 次回の符号化で生じたシフ 卜され た DCT係数 (W<<6)はリスケ一リングファクタ一 RFで割り切れないことがある。 そこで本発明は、 剰余 rが 0になる量子化パラメ一夕 QPではなく、 剰余 が 最小値になる量子化パラメ 夕 QPを検出する。
ここでこの復号時の演算誤差 Eは負の値であることもあるので、 実際の剰余 r の値と、 剰余 rをリスケーリングファクタ一 RFから引いた値を比較し、 小さい 方を評価値 Yとする。
例として、 RF = 3600、 DCT係数 W = 7200の場合を考える。
演算誤差 Eがない場合の剰余 rは、 次式のようになる
r = W%RF . . . ( 10)
= 7200 % 360,0 = 0
実際には演算誤差 Eは見積もれないが、 E = -2として単純に剰余 !：を評価値 Yとすると、 次式のようにな 、 最小値として検出され難くなる。 ' γ = r = (W + E) % RF = 3598 · · · ( 1 1) ここで、.上記のように実際の剰余 rの値と、 剰余 rをリスケーリングファクタ 一 RFから引いた値を比較し、 小さい方を評価値 Yとすると、 次式が得ちれ、 評 価値 Yは演算誤差 Eの絶対値となる。 ·
Y = minrr. (RF - r)] = min[3598, 2] = 2 . . . ( 12) 従って本発明の画像処理装置 1では、 （ 12) 式に従って評価値 Y を算出す ると共に、 評価値 Yが最小値となる量子化パラメ一夕 QP を検出するようにし た。 これにより画像処理装置 1は、 適切な評価値 Υ を用いて適切に量子化パラ メ一夕 QPを検出することができる。
(iii) 剰余曲線の性質と量子化パラメ一夕 QPの周期について
一度も符号化されていない画像を入力画像として、 6bitシフトされた DCT係 数 (W<<6)を種々の量子化パラメ一夕 QPによるリスケ一リングファクタ一 RFで 割って剰余 r を算出し、 横軸に量子化パラメータ QP、 縦軸に剰余の総和 （∑ r ) をとると、 図 3に示されるような右上がりの曲線となる。
同様に、 符号化と復号化が行われた入力画像について 6bitシフトされた DCT 係数 (W<<6)を種々の量子化パラメ一夕 QPによるリスケーリングファクタ一 RF で割って剰余 rを算出し、 横軸に量子化パラメ一夕、 縦軸に剰余の総和 （∑ r ) をとると、 図 4に示されるようになる。 この場合、 剰余 rの総和 （Σ. Γ ) の極小 値は生じるが、 やはり右上がりの傾向があり、 符号化と復号化を既に行っている か否かによらず量子化パラメ一夕 QPが小さいぽど剰余 rの総和 （∑ r ) も小さ くなることが分かる。
従って、 種々の量子化パラメ ^"夕 QPによる剰余 rの総和 （∑ r ) の大小関係 を単純に評価すると、 前回の符号化で使われた量子化パラメ一夕. QPよりも小さ い量子化パラメ一夕 QPが最小値として誤検出されることがある。 この問題を解 決するだめに、 剰余 rの値をさらにリスケーリングファクタ一 RFで規格化した ものを評価値 Yとして用いる。 . . .：.
. このとぎの評価値 Yの総和 （ Σ Υ) と量子化パラメ.一夕 QPとの関係を図 5に. 示している。 図 5.から、 ·前回の符号化で使用された量子化パラメ一夕 QPについ ての評価値 Yの総和 （Σ Υ) が、 6 nずれた量子化パラメ一夕 QPについての評 価値 Yの総和 （Σ Υ) よりも小さくなつていることがわかる。
また、 図 3、 図 4に示されるように、 （| W | <<7) ≤ RF となる量子化パラメ —夕 QP で評価値 Y の値 （剰余 rの絶対値） がフラッ卜になる領域が発生する 傾向があり、 この領域はリスケーリングファクター RF による規格化を行うと単 調減少して （図 5参照）.、 誤検出の原因となる。
この際、 同じリスケーリングファクタ一 RF で割った場合でも統計的には DCT係数 Wが大きいほど剰余 rも大きくなるため、 剰余 rを DCT係数の絶対 値 IWIでスケーリングした後、 リスケーリングファクター RF で規格化する。 こ れにより、 大きな剰余を採り得る DCT係数 W が小さな剰余をもった場合は偶 然ではないと考え、 重み付けできる （通常、 低周波成分ほど大きな DCT係数 W を持っため、 低周波成分が重み付けされる）。
図 6に、 剰余 rを DCT係数の絶対値 IWIでスケーリングした後、 リスケ一リ ングファクタ一 RFで規格化した評価値 Yの総和 （ΣΥ) と、 量子化パラメ一夕 QP との関係を示している。 図から、 前回の符号化で使用された量子化パラメ一 夕 QPにおける評価値 Yの総和 （ΣΥ) と 6 nずれた量子化パラメ一夕 QPにつ いての評価値 Yの総和:（ΣΥ) は図 5と比較して殆ど変化していなレ、ことがわか る。： ,
. さらに画像処理装置 1では、 評価値 Yの総和（ΣΎ)が傾斜を有する（|W|<<7) > RF となる領域のみでリスケーリングファクタ一 RF による規格化を行い、 そ れ以外の領域では DCT係数絶対値 I WIの値を評価値 Yとして用いることもでき これにより、 画像処理装置 1では、 図 6に示したように、 リスケ一リングファ •ク夕一 RFによ.る規格化に起因して、 (IWIくく 7) ≤ RFとな.る領域に'おいて評価 値 Yの総和 （ΣΥ) が最小となり、 誤った量子化パラメ一.夕 QPが前回使用され た量子化パラメ一夕 QPとして検出されてしまうことを確実に防止し得るように なされている。 · , ·
(iv) 量子化パラメ一夕 QPの周期について
• AVC Intraでは、 規格上、 量子化パラメ一夕 QPが ±6変化すると、 リスケ一 リングファクター RF が ±2 倍になる性質を有している。 従って、 ある量子化パ ラメ一夕 QP において剰余 r の総和 （∑ r) が極小値をもった場合、 QP±6n (n=l、 2〜） でも剰余 rの総和 （∑ r) が極小値を持つことがある（図 4参照)。 このため単純に上記の評価値 Y を評価すると、 6n ずれた量子化パラメ一夕 QP が検出されることがある。 従って画像処理装置 1では、 剰余 r の総和 （∑ r ) が最小となる量子化パラメ一夕 QPより 6n大きな量子化パラメ一夕 QPに 極小値がある場合はその量子化パラメ一夕 QPを採用する。
具体的に、 画像処理装置 1は、 剰余 rの総和 （∑ r ) が小さい方から順に 5個 程度の量子化パラメ一夕 QP.の値を配列に格納しておき、 剰余 rの総和 （∑ r ) が最小となる QPと 2番目に剰余 rの総和 （∑ r ) が小さい QPとを比較してそ の差が 6n であれば、 QP の大きな方を採用する。 更に、 画像処理装置.1は、 採 用した量子化パラメ一夕 QPと 3番目に剰余 rの総和 .（∑ r ) が小さい量子化パ ラメ一夕 QP とを比較し、 両者の差が 6nであれば、 また大きい方の量子化パラ メータ QPを採用し、 採用された量子化パラメ一夕 QPの入れ替えを行う。
このように画像処理装置 1は、 剰余 rの総和 （∑ r ) の極小値を複数検出した 場合には、 大きい値を有する量子化パラメ一夕 QPを優先して前回の符号化に使 用された量子化パラメ 夕 QPとして採用する。 これにより画像処理装置 1は、 6n ずれた量子化パラメ一夕 QP が前回の符号化に使用された量子化パラメ一夕
QPとして誤検出されることを抑制し得るようになされている σ · さらに画像処理装置 Γは、 当該検出された複数の剰余 rの総和 （∑ r ) が 6η 周期でなるか否かを確認し偶発的に存在する極小値が前回の符号化に使用された 量子化パラメ一夕 QP.として誤検出されることを抑制し得るよう:になざれている。
(ν). 演算量の削減方法
本発明の画像処理装置 1では、 種々の量子化パラメ一夕 QPに関して前述した ようにリスケ一リングファクタ一 RFを計算し、 剰余 rから算出ざれる評価値 Y を用いて前回の符号化で使われた量子化パラメ一夕 QPを検出する。 従って、 採 り得る量子化パラメ一夕 QPの数が多い程、 演算、 評価も処理量が多くなる。 こ の問題を避けるために、 前回符号化に使われた量子化パラメ一夕 QPの大体の値 が既知の場合は、 その周辺の量子化パラメ一夕 QPのみで評価すれば十分とし、 演算量を削減している。 なおこの量子化パラメ一夕 QPは、 例えば第 3の実施の形態における量子化係 数による原画判定処理において算出することができる。 また入力画像データのァ クテイビティなどから推測することもできる。
(vi) その他、 以下の条件も考慮する。
画面内予測モードが前回の符号化の時と異なっていても、 上記 (iv)の 6n 入れ 替えを行うと、 検出率は維持できる。 また、 量子化パラメ一夕 QPの大体の値が 既知である場合にも同様である。 これは、 予測モードを前回の符号化時と異なる モードに変えたときに生じる問題に着目したものであるが、 予測モ一ドが前回の： 符号化時と異なっていても、 この実施の形態では対応可能とする。
量子化行列 Qmatrix は予めいくつかのパターンが定義されているものとする (例えば ID番号などで識別できるものとする） 。
すなわち画像処理装置 1では、 量子化行列 Qmatrix が変化することによりリ スケ一リングファクタ一 RF も変化するため、 量子化パラメ一夕： QP に加えて.量 子化行列 Qmatrixをも検出する必要がある。 . r
. 画像処理装置 1では、 マクロプロック単位で量子化行列 Qmatrix と量子化パ ラメ一ダ QPの組み合わせを変えて、 各量子化行列 Qmatrix と量子化パラメ 夕 QP ごとにリスケ一リングファクタ一 RF を計算する。 尚、 先に図 4で前述し たように、 剰余 rの最小値は、 量子化パラメ一夕. QP:に関して 6nめ周期を有し ており、 量子化パラメ一夕 QPが 6nずれていても、 量子化行列 Qmatrixさえ検 出できれば良い。 このため画像処理装置 1では、 前回の符号化で使われた量子化 パラメ.一夕. QP.の大体の値が分かっていれば、 該 QPの値を含んだ連続した 6個 の量子化パラメ一夕 QPで評価すれば十分であるものとする。
以上を考慮して、 本発明の画像処理装置 1では、 上記特徴的な視点をふまえて、 先ず前回使用した量子化行列 Qmatrix を検出する量子化行列検出処理を実行し た後、 該量子化行列 Qmatrix を用いて量子化パラメ一夕 QP を検出する量子化 パラメ一夕検出処理を実行する。
( 2 ) 第 1の実施の形態 ( 2 - 1 ) 符号化装置の構成
以下、 図 7には本発明の第 1の実施の形態に係る符号化装置 1 0の構成を示し 説明する。 なお符号化装置 1 0は、 図 1における画像処理装置 1に対応するもの である。 またバックサーチ部 3 0はバックサーチ部 3に、 パラメ一夕エンコーダ 5 0は第 2の符号化部 4に、 Qmatrix検出部 3 1は Qmatrix検出部 6に、 Q P 検出部 3 2は QP検出部 7にそれぞれ対応するものである。
図 7に示されるように、 符号化装置 1 0は、 1パス (pass)目のプレエンコーダ 2 0とソ ヅクサ一チ部 3 0、 2パス (pass)目のパラメーダエンコーダ 5 0、 符号 量制御部 4 0、 Qmatrix/QP決定部 4 1、 画面内予測モード決定部 4 5を備えて いる。 より詳細には、 1パス目のプレエンコーダ 2 0は、 更に offset付 Intra予 測モード決定部 2 1、 整数精度 0〇 部2 2、 量子化部 2 3、 エントロピ一計算 部 2 4から.なる。 バ:ックサーチ部 3 0は、 更に Qmatrix 検出部 3 1、 Q P検出 部 3 2、 .画面内予測モード検出部.3 3からなる。 そして、 2パス目のパラメ ダ エンコーダ 5 0は、 画面内予測処理部 5 1、 整数精度 DCT部.5 2、 量子化.部 5 .3、 エントロピ一符号化部 5 4からなる。 尚、 ここでは、 2パス符号化を採用す ることを想定レているが、 それ以上のマルチパス （multi-pass) 符号化であって も基本的な考え方は同:じである。
ここで、 Qmatrix 検出部 3 1の詳細な構成例を図 8 ( a ) に示している。 ま た Q P検出部 3. 2の詳細な構成例を図 8 ( b ) に示している。 · . · . , :
図 8 ( a.) に示すように、 Qmatrix 検出部 3 1は、.剰余計算部 3 1 a、 評価. 値判定部 3 1 b、 Qmatrix 判定部 3 1 cからなる。 そして、. 図 8 ( b ) .に示す: ように、 Q P検出部 3 2は、 剰余計算部 3 2 a、 評価値判定部.3 2 b、 QP 判定 部 3 2 cからなる。
このような構成において、 入力画像は 1パス目のプレエンコーダ 2 0に入力さ れる。
より詳細には、 入力画像デ一夕は offset付 Intra予測モード決定部 2 1に入力 される。 この offset付 Intra予測モード決定部 2 1は、 後述するオフセッ ト優先 適用処理により、 9つの画面内予測モードから最適な画面内予測モードを決定す ると共に、 入力画像が周辺画素を用いた予測画像からの差分画像データ及び差分 絶対値和 SADを生成し、 これらを整数精度 DCT部 2 2に入力する。
整数精度 DCT部 2 2は、 離散余弦変換による直行変換により差分画像データ から DCT係数 Wを生成し、 量子化部 2 3及びバックサ一チ部 3に供給する。 量子化部 2 3では DCT係数 Wが入力されると、 当該 DCT係数を量子化し、 量子化データを生成する。 この量子化により量子化部 2 3より出力された量子化 レベル Zは、 エントロピ一計算部 2 4に送られる。
エントロピ一計算部 2 4は、 入力された量子化レベル Z をバイナライズ、 算 術符号化して符号化ストリームを生成し、 符号量制御部 4 0に供給する。 符号量 制御部 4 0は、 当該符号化ストリームの発生符号量に基づいてパラメ一夕ェンコ —ダ 5 0に対する符号量制御を実行する場合の量子化行列 Qmatri 及び量子化 パラメ一夕 QP.を見積り、 これを Qmatrix/QP決定部 4 1に送出する。 .
一方、 スライス単位で整数精度 DCT部 2 2よりバックサ チ部 3 0に送られ た DCT係数 Wは、 Qmatrix検出部 3 1に入力される。 Qmatrix検出部 3. 1は、 剰余計算部 3 1 aにょうて DCT係数 Wを種々の量子化行列 Qmatrixによる.リ スケーリングファクタ一 RF によって除算し、 評価値判定部 3 1 bに供給する。 評価値判定部 3 1 bは、 剰余 r.を剰余 rを (iii)で前述した考え方に従って評価値 Y に変換し、 -Qmatrix 判定部 3 1 cに送出する。 Qmatrix 判定部 3 1 cは、 ' 種々の量子化行列 Qmatrixについての評価値 Yを比較し、 評価値 Yが最小であ る量子化行列. Qmatrixを前回使われた量子化行列 Qmatrixと.して出力する。 尚、 Qmatrix 検出部 3 1による量子化行列検出処理手順の詳細については後述する。 このとき検出された量子化行列 Qmatrix は Q P検出部 3 2に送られる。 剰余 計算部 3 2 aは、 DCT係数 Wを種々の量子化パラメ一夕 QPによるリスケ一リ ングファクタ一 RF によって除算し、 評価値判定部 3 2 bに供給する。 評価値判 定部 3 2 bは、 評価値 Qmatrix 検出部 3 1によって検出された量子化行列 Qmatrix を用い、 剰余 r を (iii)で前述した考え方に従って評価値 Y に変換し、 QP 判定部 3 2 cに送出する。 QP 判定部 3 2 cは、 種々の量子化パラメ一夕 QP についての評価値 Yを比較し、 評価値 Yが最小である量子化パラメ一夕 Q P を前回使われた量子化パラメ一夕 Q P として出力する。 尚、 0 ?検出部3 2 による量子化パラメ一夕検出処理手順の詳細については後述する。
この検出された前回の量子化パラメ一夕 QP と量子化行列 Qmatrix は、 Qmatrix/QP決定部 4 1に送られる。 Qmatrix/QP決定部 4 1では、 量子化行列 Qmatrix と量子化パラメ一夕 QP に関して、 1パス目のプレエンコーダ 2 0で 見積もられたものを採用するのか、 バックサーチ部 3 0で検出されたものを使う かを決定する。 通常、 入力画像データが一度も符号化されていない原画像である 場合には、 前回の符号化がないためバックサーチは失敗し、 1パス目のプレェン コーダ 2 0による符号化処理により見積もられたものを採用する。 逆に入力画像 が既に符号化されたこどのある非原画である場合には、 量子化歪が繰り返し乗る ：ことを避ける為、:バックサーチ部 3 0によって検出されたも.のを採用する。
2パス目のパラメ一夕エンコーダ 5 0では、 前述したように Qmatrix/QP 決 定部 4 1で决定された量子化行列 Qmatrix、 量子化パラメ一夕 QP、 offset 付 Intra 予測モード決定部 2 1で決定された画面内予測モード:を使って、 入力画像 を符号化し、 符号化ストリーム （Stream) として出力する。 .
より詳細には、 画面内予測処理部 5 1では、 最適な画面内予測モードとし:て offset付 Intra予測モード決定部 2 1で決定された画面内予測モ ド:に選定し、 ： 周辺画素の予測画像を甩いて入力画像から差分画像デ 夕を生成し、 当該差分画 像デ 夕を整数精度 DCT部 5 : 2に入力する。 整数精度 0じ ..部5 2では、 離散 コサイン変換による直行変換により差分画像デ一夕を DCT係数 W として出力: する。 量子化部 5 3では DCT係数 Wを入力として、 Qmatrix/QP決定部 4 1で 決定された量子化行列 QmatriX、 量子化パラメ一夕 QP を用いて量子化を行い、 量子化レベル Z をェントロピー符号化部 5 4に送出する。 エントロピー符号化 部 5 4では、 入力された量子化レベル Z をバイナライズ、 算術符号化して符号 化ストリームとして出力する。 ( 2— 2 ) オフセッ ト優先適用処理
AVCのィントラ（画面内符号化）フレームでは、 ダビングにおいて前回の符号化 で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な 手段である。
量子化行列検出処理及び量子化パラメ一夕検出処理において、 前述したように、 AVC Intraでは、 復号の際に、 量子化レベル Zに量子化行列 Qmatrixど量子化 パラメ一夕 QP の関数であるリスケーリングファクター RF が乗算ざれて DCT 係数 Wを 6bit左シフ卜したものが復号される。 画面内予測モードが変わった'場 合は DCT係数の分布が変わるので、 剰余 rが 0である確率は低くなる。
すなわち、 図 9に示すように、 上述した量子化行列検出処理及び量子化パラメ —夕検出処理はマクロブロック MB ごと （ 1 6 x 1 6画素） 単位で実行される。 これに対して画面予測は、 例えば 4 4画素のサブマクロブロックによるイン卜. ラ.符号化単位 IAで実行される。 すなわち、 マクロプロック MBには 4 X 4 = 1 6のイントラ符号化単位 IAが含まれることになる。 .
符号化装置 1ひでは、； 予め符号量が最小となる画面内予測モードを検出すると 共に、 当該検出された画面内予測モ一ドにおいて上述した量子化行列検出.処理及 び量子化パラメ一夕検出処理を実行する。 このとき、 検出された画面内予測モー： ド：が前回符号化された画面内予測モードとは限らないものの、 発生符号量が最小 となる画面内予測モード'を用いているため、 1 6のインドラ符号化単位 IAのう ち、 多数は前回符号化された.画面内予測モ一ドであることが想定される。
この場合、 符号化装置 1 0.は、 上述したようにマクロブロヅクごとに剰余 の 総和 （∑ r ) を用いて極小値を検出する。 このため画像処理装置 1は、 1 6のィ ントラ符号化単位 IAにおいて、 前回使用したものとは異なる画面内予測モード が混ざっていたとしても、 多数の前回符号化された画面内予測モ一ドに基づいて、 量子化行列 Qmatrix及び量子化パラメ一夕 QP を適切に検出することができる。 かかる構成に加えて、 本発明の符号化装置 1 0では、 AVC Intraで符号化を行 う際に、 AVCの規格で定義されている 9個の画面内 （Intra (イントラ） ） 予測 モードのうち、 特定の画面内予測モードを優先的に選択させる。 これにより符号 化装置 1 0では、 ダビング時の画面内予測モード変化を防止する。.その結果、 再 度量子化歪が発生することを抑え、 ダビング特性を向上させるものである。
即ち、 ダビング時に前回の符号化で使われた画面内予測モードが選択されると、 既に前回の量子化で丸められるべきデ一夕が落ちているので、 それ以上量子化歪 が発生しにくいという性質がある。 このような性質に着目し、 この実施の形態で は、 所定の画面内予測モードが優先的に選択されるようにしてダビング特性を向 上させることを特徴とする。 '
ここで、 本発明の理解を助けるために、 図.1 0を参照して、 AVC Intraで符号 化を行う際の 9個の画面内予測モードについて、 その概略を説明する。
図 1 0 ( a ) 〜 （； ί ) は、 9 種類の画面内予測モード （モード番号 0〜8) の 予測方向を示している。'
予測方向は、，この 9通りの予測方向 （モ一ド番号 0〜8でなる画面内予測モ一 ド） .の中から、 4 X 4 画素のブロック毎に一の予測方向 （すなわち画面内予測乇 —ド） を選択して、 この選択した予測方向を用いて. 4 X 4 画素のブロック単位で 符号化することになる。 特に、 モード番号 2 でなる画面：内予測モードでば、 処 理対象となる 4 Χ.4の処理対象画素の左 (水平方向に隣接') の 4画素と、 上 （垂 直方向に隣接） の 4画素の計 8画素の平均値 (例えば mean(A、 B、 Cヽ D、 Γ、 J Κ、 L))を基準とし、 処理対象画素の 4 X 4画素の全てを予測するものであ る.。 - .
以下、 このモマド番号 2でなる画面内予測モ一ドを、 以下 DC ( Direct Current) 予測モ一ドと呼ぶ。 他の画面内予測モード (モード番号 0〜： I、 3~8) については、 図に示す矢印の方向に従って予測が行われる。 - 図 1 1は、 入力画像データが非原画であった場合に実行される処理の流れを示 したものであり、 図 7の符号化装置 1 0における構成の一部を抽出して示してい
0
この図 1 1に示すように、 符号化装置 1 0は、 画面内予測モード決定手段とし ての offset (オフセヅ ト） 付 Intra予測モード決定部 2 1、 離散余弦変換手段と しての整数精度 DCT部 2 2、 量子化パラメ一夕計算手段としてのバックサーチ 部 3 0、 量子化手段としての量子化部 5 3、 符号化手段としての CABAC (Context-based Adaptive Binary Arithmetic Codeリ などでなるェントロピ一 符号化部 5 4によって処理を実行する。 尚、 エントロピー符号化部 5 4は、 周囲 の状況 （コンテキスト） に応じて、 適応的に符号化を行う 2値の算術符号化方式 を採用するものである。 ：
このような構成において、 入力画像データは offset付 Intra予測モ一ド決定部 2 1に入力され、 offset付 Intra予測モ一ド決定部 2 1にて、 9種類の画面内予 測モードのうち 1 の画面内予測モードが採用される。 従来の情報符号化装置で は、 量子化係数におけるゼロを増大させてエントロピー符号化部 5 4における発 生符号量を小さぐするため、 イントラ符号化単位 IA ごとの予測画像 （すなわち 差分画像データ） における処理対象画素の絶対値の和となる差分絶対値和 SAD が最も小さい:ものが採用される。 本実施の形態では、 後述する図 1 4のフローチ ヤートの流れに沿って処理が実行される。 すなわち符号化装置 1 0の offset 付 Intra .予測モード決定部 2 1は、 各画面内予測モ一.ドに対して offsetの値を予め 設定しておき、 それぞれの画面内予測モードによって符号化された差分画像デー 夕における差分絶対値和 SADを算出する。 そして offset付 Intra予測モ ド決 定部 2 .1は、 差分絶対値和 SADに対して画面内予測モードに対応する offset-を 付加すると共に、 オフセッ トが付加されたオフセッ ト付差分絶対値和 SAD f 同 士を比較して、 差分絶対値和 SAD が最小となる画面内予測モードを実際の符号 化に使用する画面内予測モ一ドとして採用する。 offset付 Intra予測モード決定 部 2 1は、 このようにして選択された画面内予測モ"ドのモード番号 X と、 差 分画像データとを整数精度 DCT部 2 2に供給する。
整数精度 DCT部 2 2では、 差分画像データを DCT により直交座標変換し、 DCT係数 Wとしてバックサーチ部 3 0へと送出する。 バックサーチ部 3 0では、 上述したバックサ一チ処理によ り量子化パラメ一夕 QP 及び量子化行列 Qmatrix を検出し、 これらと DCT係数 W とを量子化部 5 3に供給する。 量子 化部 5 3では、 この DCT 係数 W を量子化パラメ一夕 QP.及び量子化行列 Qmatrix を用いて量子化し、 量子化レベル Z としてエントロピー符号化部 5 4 へと出力する。
こうして、 ェントロピ一符号化部 5 4では、 量子化レベル Z を、 バイナライ ズ、 算術符号化して符号化ストリームとして出力することになる。 .
ここで、 特に offset付 Intra予測モード決定部 2 1は、 以下の特徴的な作用を 奏する。
(1) それぞれの画面内予測モード間での予測画像からの差分絶対値和 SADの 差が小さく、 符号化時の量子化歪により再度符号化を実行したときに差分絶対値 和 SADの大小関係が入れ替わる可能性のあるものを予め DC予測モ一ドに固定 することにより、 再度量子化歪が発生することを抑える。 ..
： : (2) 例えば、 イン夕一レースの.画像等、 ある方向の相関が極端に強く、 DC予 測モ ,ドに固定すると予測画像からの差分絶対値和 SAD .が極端に大きく.なり、 . 発生符号量が増大するような場合は、 その相関の大きい方向の画面内予測モード を選び、 発生符号量の増大を抑える。
- (3) 入力画像の特性により、 上記 (1)、 （2)の閾値をパラメータ offsetの値によ つて調節する。 また、 パラメ一夕 offset は、 .画面内予測モード毎に別々の値を 設定して、 DC .予測 縦方向予測→横方向予測 …方向予測のように、 段階的に : 優先順位を付与してもよい。 . -
. この実施の形態に係る符号化装置では、 以上 (1)〜(3)により、 入力画像の特性 により柔軟な画質、，ダビング特性の制御を実現する。
より具体的には、 AVC Intra では、 前述したような 9 個の画面内予測モード のうち、 ある単一の画面内予測モードのみを許可した場合に、 周辺画素の平均値 から予測画像を得る DC予測モード （即ち、 図 1 0 ( c ) の画面内予測モード番 号 2) が SNRの値だけでなく、 視覚的にも優れている。 このような点に着目し て、 この実施の形態に係る符号化装置 1 0では該 DC予測モードを優先的に選択 させる。 実際上、.符号化装置 1 0では、 9 つの画面内予測モードのうち、 本来選 ばれるべき最も差分絶対値和 SADの小さい画面内予測モードと DC予測モ一ド との間で予測画像からの差分絶対値和 SADを比較して、 その差が offset未満な ら DC予測モードを採用する。
具体的に、 入力画像デーダが入力されると、 offset付 Intra予測モード決定部 2 1は、 画面内予測モードごとに offset[n】の値を設定する。 offset[nIの値は、 画 面内予測モードごとに予め定められている。 offset付 Intra予測モ一ド決定部 2 1は、 図示しない R O M (Read Only Memory) などから o£fset[n]を読出すこと により、 offset[n】の値を設定する。
この offsetb]の値は、 符号化による画質の低下の度合いに応じて決定されて おり、 当該画質の低下が小さい画面内予測モード程小さくなるように設定されて いる。 すなわち offset[n]の値は、 最も画質の低下が小さい DC 予測モ" "ドに対 するオフセヅ トを 「ひ」 (オフセッ 卜を付加しない） に設定される。 また offset[n]の値は、 画質の低下度合いが大きい画面内予測モードに対じて大きく、 画質の低下度合いが小さい画面内予測モードに対して小さくなるように設定され る。
.次いで offset付 Intra予測モ一ド決定部 2 1は、 各画面内予測モ一ドごとに入 力画像データから差分画像データを生成すると共に、 差分絶対値和. SAD .を算出 する。. offset付 Intra予測モ ド決定部 2 1は、 当該差分絶対値和 SAD に対レ て画面内予測モードに対応する offset[n]を付加し、 オフセッ ト付差分絶対値和 SAD f,を算出する。 なお: DC 予測モードについては、 差分絶対値和 SAD二オフ セッ ト付差分絶対値和 SAD f とする。 .
offset付 Intra 予測モード決定部 2 1は、 オフセッ ト付差分絶対値和 SAD f 同士を比較し、 オフセッ ト付差分絶対値和 SAD f が最小となる画面内予測モー ドを符号化に使用する画面内予測モードとして選択する。
そして offset付 Intra予測モード決定部 2 1は、 選択された画面内予測モード のモード番号 Xと、 差分画像データとを整数精度 DCT処理部 2 2に供給するよ うになされている。
最後に、 offsetの値は、 一般的に以下のような結果を与える。
(a) offsetの値が小さい場合
この場合は、 最も差分絶対値和 SAD が小さい画面内予測モードが選ばれやす くなるため、 一回目の符号化で得られる画像の画質は良くなる傾向にあるが、 DC 予測モードに固定する効果が弱いので、 ダビングによる画質劣化はあまり改 善されない。
(b) offsetの値が大きい場合
この場合は、 DC 予測モードに固定する効果が強いため、 ダビングによる画質 劣化は抑えられるが、 差分絶対値和 SAD が最小の画面内予測モードが選ばれに く くなるため、 一回目の符号化で得られる画像の画質は悪くなる傾向にある。 ダ ビングを繰り返すと差分絶対値和 SAD が最も小さい画面内予測モードを採用す る通常のダビングを繰り返す場合より SNR、 視覚特性が向上する。 y - これら (a)、 （b)の効果を考慮すると、 テレビ放送局など、 予め複数回のダビン グをして利用することが予想される画像に対しては offset を大きめ （ 32〜 128 程度） に設定することが望ましい。 逆に一回目の符号化で得ちれる画像での利用 や、 あまりダビングをしないことが予想される画像に対しては offset を小さめ (例えば、 32 未満） に設定することで、 符号化画像の最適な利用段階 （ダビン グ回数) において最良の SNR特性、 視覚特性を得る.ことができるものと考えら れる。
以上説明したように、 本発明の一実施の形態に係る符号化装置 1 0.によれば以 下のような効果が奏される。 即ち、 offsetの値に応じて DC予測モ"ドを優先的 に選択させることで、 ダビング時の画面内予測モー卞変化を抑えるこ.とができる。 更に、 offsetの値により、 画像の使用目的に合わせた柔軟なダビング特性制御が できる。 そして、 ダビング時に前回の符号化と同じ画面内予測モードが選ばれや すくすることで、 繰り返し量子化歪が乗ることを回避し、 ダビング時の画質劣化 を抑えることができる。 (2-3) 処理手順
(2-3- 1) 量子化行列検出処理
以下、 量子化行列検出処理手順 RT 1を示す図 12のフローチャートを参照し て、 本発明の第 1の実施の形態に係る符号化装置 1 0の Qmatrix検出部 3 1に よるスライス単位での Qmatrix検出の処理について更に説明する。 これは、 同 実施の形態に係る画像情報符号化方法にも相当する。
なおこの図 1 2において、 符号化装置 10は、 各 DCT係数の絶対値 IWIが 規格化閾値以下 （すなわち |W|<< 7が RF以下） である場合にのみ、 剰余 r をリスケーリングファクタ一 RFによって規格化することにより評価値 Yを算出 し、 D CT係数の絶対値 IWIが規格化閾値より大きい場合には、 剰余 rを評価 値 Yどする。 そして符号化装置 10は、 評価値 Yが最小となるリスケーリングフ ァクダ ~~ R Fに基づいて量子化行列 Q matrixを検出するようになされている。
Qmatrix検出部.3 1は、 整数精度 DCT部 22で求められた DCT係数 Wの絶 対値 IW.Iを入力として、 前回の符号化で使われた.可能性のある量子化行列 Qmatrix と量子化パラメ一ダ QP の中から初期値を決める （ステップ S 1 ) 。 続いて Qmatrix検出部 3 1.は、 マクロブロック単位で量子化行列 Qmatrixと量 子化パラメ一タ QPの組み合わせを変えて、 各量子化行列 Qmatrix .と量子化パ ラメータ QP ごとにリスケーリングファクタ一 RFを計算する。 このとき剰余計 算部 3 l aは、 スライス内:の各サンプルに対して IW.I «6 を該リスケ一リング ファクタ一 RF で割った剰余 rを計算する （ステップ S 2) 。 尚、 先に図 4で前 述したように、 剰余 rの最小値は、 量子化パラメ一夕 QPに関して 6nの周期,を 有レており、 量子化パラメ一夕 QPが 6nずれでいても、 この図 10の処理では 量子化行列 Qmatrix さえ検出できればいいので、 前回の符号化で使われた量子 化パラメ一夕 QPの大体の値が分かっていれば、 該 QPの値を含んだ連続した 6 個の量子化パラメ一夕 QPで評価すれば十分であるものとする。
続いて、 評価値判定部 3 l bは、 |W|«7>RF であるか否かを判定し、 該関 係が成立する場合には、 剰余 rをリスケ一リングファクタ一 RF で規格化 （スケ 一リング） したものを評価値 Y とする （ステップ S 4) 。 一方評価値判定部 3 l bは、 該関係が成立しない場合には、 IW卜 <6 を評価値 Y とする （ステップ S 5) 。 このように、 評価値判定部 3 l bは、 マクロブロック内の 256(=16xl6) サンプルに関して、 シフ トされた DCT係数 (W<<6)をリスケーリングファクタ -RFで割った剰余 rに上記 （iii)の規格化と補正を施したものを評価値 Yとし、 該評価値 Yの総和を量子化行列 Qmatrixと量子化パラメ一夕 QP毎に計算する
(ステップ S 6〜8) 。
こうして、 可能性のある全ての量子化行列 Qmatrix、 6つの量子化パラメ一 夕 QP について評価値 Y が計算されると （ステップ S 7を Y e sに分岐） 、 Qmatrix判定部 3 1 cは、 スライス単位で量子化行列 Qmatrix と量子化パラメ 一夕 QPごとの評価値 Yの総和を比較し （ステップ S 9) 、 総和 （ΣΥ) が最小 となる量子化行列 Qmatiixを検出し、 前回使われた量子化行列 Qmatrixである ものとし （ステップ S 10 ) 、 該量子化行列 Qmatrixの I D番号を出力する。
•なお符号化装置 10は、 例えぱステップ S 2の前段において剰余 rに対して D CT係数の絶対値 IWIを乗算して重み付けした乗算値を算出し、 当該乗算値を リスケ一リングファクタ一 RFによって規格化し、 評価値 Yとしても良い。 この 場合、 符号化装置 1ひは、 各 D CT係数の絶対値 IWIが大きい領域であっても、 当該領: ^の評価値 Yを大きくして誤検出を防止し得るため、 重み付けによって当 該規格化した値を一律に評価値 Yとすることができる。 '
また符号化装置 10は、 例えば剰余 rをそのまま評価値 Yとして極小値を検出 し、 複数の極小値が検出ざれた場合には、 量子化パラメ 夕 QP:における極小値 の周期が 6 であることを確認した上で、 大きい値でなる量子化パラメ一夕. QP を前回の符号化に使用された量子化パラメ一夕 QPとして検出することも可能で ある。 .
(2 -3 -2) 量子化パラメ一夕検出処理
次に、 量子化パラメ一夕検出処理手順 RT 2を示す図 13のフローチャートを 参照して、 本発明の第 1の実施の形態に係る符号化装置 10の QP検出部 32に よるマクロプロック単位での量子化パラメ一夕 QP検出の処理について更に説明 する。 これは、 同実施の形態に係る画像情報符号化方法にも相当する。
なおこの図 1 3において、 符号化装置 1 0は、 各 D CT係数の絶対値 IWIが 規格化閾値以下 （すなわち |W|<< 7が RF以下） である場合にのみ、 剰余 r をリスケーリングファクタ一 RFによって規格化することにより評価値 Yを算出 し、 D C T係数の絶対値 IWIが規格化閾値より大きい場合には、 剰余 rを評価 値 Yとする。 そして符号化装置 10は、 評価値 Yが最小となるリスケ一リングフ アクター R Fに基づいて量子化パラメ一夕 QPを検出するようになされている。
Q P検出部 32は、 整数精度 DCT部 22で求められた DCT係数 Wの.絶対値 IWIを入力として、 で検出された量子化行列 Qmatrix を用いて、 マクロプロッ ク単位で種々の量子化パラメ一夕 QP ごとにリスケーリングファクタ一 RF を計 算する。 QP検出部 32は、 .この時点で前回使われた量子化パラメ一夕 QPの大 体の値が分かって:いる場合は、 その周辺の QPのみを検出対象とすることで演算： 量を減らすことができる。 QP検出部 32は、 前回の符号化で使われた可能性の ある量子化パラメ一夕 QPの中から初期値を求め.ると （ステップ S 2 1) 、·マク 口プロック内の全ての DCT係数の絶対値 I WIが 0であるか否かを判断する （ス テツプ S 22) 。：:そじて QP検出部 32は、 全ての DCT係数の絶対値 [W「が 0. である場合には量子化パラメ一夕 QP は検出不可能とする（ステップ S 23)。 即 ぢ QP検出部 32は、 マクロブロック内のすべての D.CT.係数の絶対値 IWIが 0 の場合はどの量子化パラメ一夕 QPで割っても剰余 rは 0-となるので量子化パラ メ ダ .QPは検出.できない為、：検出除外する。 - .——方、 ステップ S 22にて、 全ての DCT係数の絶対値 IWIが 0でない場合に は、 QP検出部 32の剰余計算部 32 aは、 マクロ.ブロック内の 256(=16xl6)の 各サンプルに対してシフトされた DCT係数 （|W|<<6) を （9) 式に従ってに 求めたリスケーリングファクター RF で割った剰余 rを計算する （ステップ S 2 4) o
続いて、 評価値判定部 32 bは、 （ |W|<<7) >RF であるか否かを判定し (ステップ S 25) 、 ( |W|«7) >RF である場合には、 剰余 rをリスケーリ ングファクタ一 RF で規格化したものを評価値 Y とし （ステップ S 26) 、 (|W|«7) >RF でない場合には （|W|<<6) を評価値 Y とする （ステップ S 27) 。 即ち評価値判定部 32 bは、 マクロブロック内の 256(=16xl6)サンプル に関して、 シフトされた DCT係数 (W《6)を RFで割った剰余に (iii)で述べた規 格化と補正を行ったものを評価値 Yとし、 その総和 （ΣΥ) を量子化パラメ一夕 QPごとに計算する （ステップ S 28) 。
次いで、 評価値判定部 32 bは、 可能性のある全ての量子化パラメ一夕. QPに 関して評価値 Y が計算されているか否かを判断し （ステップ S 29) 、 全ての 量子化パラメ一夕 QP に関して評価値 Yが計算されていない場合には、 量子化 パラメ一夕 QPを変更し （ステップ S 30) 、 ステップ S 26、 S 28、 S 29 の処理を繰り返す <r へ - ' -
. こうじてく 可能性のある全ての量子化パラメ 夕 QP について評価値 Yが計 算されると （ステップ S 29を Yesに分岐） 、 QP判定部 32 cは、 マクロブ口 ック単位で QP毎の評価値 Yの総和 （ΣΥ) を比較し （ステップ S 31 ) 、 総和 が最小となる量子化パラメ一夕 QPを前回使用された量子化パラメ一夕 QPとし (ステップ S 32) 、 当該量子化パラメ一夕 QPの値を出力することになる。 ：.こ.のとき、 量子化パラメータ QPが 6未満となる領域は誤検出の可能性が高く なる.ので除外する。.それは、 例えば 200Mbps以下の実用領域では 6未満の量子 ィ匕パラメ.一夕 QPが使われることはほとんどなく、. 除外した方が検出率が高くな るからである。
以上説明したように、 本発明の第 1の実施の形態の符号化装置 1 0は ·、 Qmatrix検出部 3.1により、 符号化の過程で得られる DCT係数から前回の符.号 化で使われた Qmatrix をスライスごとに剰余 rを用いて高い確率で検出するこ とができる。 更に符号化装置 10は、 QP検出部 32により、 符号化の過程で得 られる DCT係数から前回の符号化で使われた QPをマクロブロックごとに剰余 rを用いて高い確率で検出することができる。 そして、 符号化装置 10は、 これ ら検出された量子化行列 Qmatrix と量子化パラメ一夕 QP を再利用することで ダビング時の丸め誤差を低減し、 ダビング特性を向上することができる。 また符 号化装置 1 0は、 変換行列 Dを導入することで、 符号化と復号化における DCT 係数を等価に扱うことが可能となる。 さらに符号化装置 1 0は、 剰余 rを DCT 係数 W で重み付けし、 リスケ^"リングファクタ一 RF で規格化することで検出 精度を高めることができる。
また符号化装置 1 0は、 AVCから導入された量子化パラメ一夕の QPの 6nの 周期性を考慮し、 剰余 rが最小値をと量子化パラメータ QP より、 6n 大きい QP に剰余 rの極小値がある場合は、 最小値でなくてもその量子化パラメ一夕 QP を前回の符号化で使われた量子化パラメ一夕 QP とする。 そして符号化装置
1 0は、 前回の符号化で使われた量子化パラメ一夕の QPのおおよその値が既知 の場合、 該値から ±nだけ量子化パラメ一夕 QPを変化させて評価する'ことで、 演算量を減ちすことができる。 .
( 2— 3 ^ 3 ) オフセット優先適用処理手順 ·
次に、 符号化プログラムに従って実行されるオフセット優先適用処理手順 R T 3について、 図 1 4のフローチャートを用いて説明する。
符号化装置 1 0の offset付 Intra予測モ一ド決定部 2 1は、 入力画像デ^"夕が 供給されると、 オフセッ ト優先適用処理手順 R T 3を開始し、 ステップ S 5 1へ 移る。 ：. ' '
..ステツプ S 5 1において、 offset付 Intra予測モード決定部 2 :1は、 それぞれ の画像予測モードに対し、 当該モード番号 nに応じた. offset[n]を設定すると、 次のステップ S 5 2へ移る。
. ステップ S 5 2において、 offset付 Intra予測モード決定部 2 1は、 各画像予 測モードにおける各モード番号 nに対応する差分画像データをそれぞれ生成する と共に、 当該差分画像データから差分絶対値和 SAD をそれぞれ算出すると、 次 のステツプ S 5 3へ移る。
ステップ S 5 3において、 offset付 Intra予測モ一ド決定部 2 1は、 付加処理 対象となる画面内予測モードのモード番号 nを 「0」 に設定し、 最小差分絶対値 和 minSADを計算上想定される整数の最大値 INT_MAXに設定すると、 次のス テツプ S 5 4へ移る。
ステップ S 5 4において、 offset付 Intra予測モード決定部 2 1は、 現在の付 加処理対象のモード番号 nが 「2」 であるか否かについて判別する。 ここで否定 結果が得られた場合、 このことは差分絶対値和 SAD に対してオフセッ トを付加 する必要があることを表しており、 このとき offset付 Intra予測モ一ド決定部 2 1は、 次のステヅプ S 5 5へ移る。
ステップ S 5 5において、 offset付 Intra予測モード決定部 2 1は、 差分絶対 値和 SADに対してステップ S 5 1において設定した offset[n]を付加してオフセ ッ卜付差分絶対値和 SAD f を算出すると、 次のステップ S 5 6へ移る。
これに対してステップ S 5 4において肯定結果が得られた場合、 このことは差 分絶対値和 SADをそのままオフセッ ト付差分絶対値和 SAD f どすべきことを表 しており、 このとき offset付 Intra予測モード決定部 2 1は、 次のステップ S 5 6へ移る。
.ステツプ S 5 6において、 offset付 Intra予測モ一ド決定部 2 1は 現在の付 加処理対象のモード番号. nが 「8」 であるか否かについて判別する ό ここで否定. 結果が得られた場合、 このことは処理すベき画面内予測モードが残っていること を表しており、 このとき offset付 Intra予測モード決定部- 2 1は、 次のステップ S 5 7へ移り、 付加処理対象のモード番号 nを 「1」加算すると、 ステップ S 5 4へ戻って処理を継続する。 .
. これに対してステップ S 5 6において肯定結果が得られた場合、 このことは n 二 0〜 8までの全ての画面内予測モードに対応するオフセット付差分絶対値和 S . A D f を算出したことを表しており、 このとき offset付 Intra予測モ一ド決定部 2 1は、 次のステップ S 5 9へ移る。
ステップ S 5 9において、 offset付 Intra予測モード決定部 2 1は、 比較処理 対象のモ一ド番号 nを 「0」 に設定すると、 次のステップ S 5 9へ移る。 ステップ S 5 9において、 offset付 Intra予測モード決定部 2 1は、 比較処理 対象のオフセッ ト付き差分絶対値和 S A D f が最小差分絶対値和 minSAD 未満 であるか否かについて判別する。
ここで肯定結果が得られた場合、 offset付 Intra予測モード決定部 2 1は、 次 のステップ S 6 1へ移り、 最小差分絶対値和 minSAD を比較処理対象のオフセ ッ ト付き差分絶対値和 S A D fの値に更新し、 次のステップ S 6 2,へ移る。
これに対してステップ S 6 0において否定結果が得られた場合、 offset 付 Intra 予測モード決定部 2 1は、 最小差分絶対値和 minSAD を更新する必要が ないため、 次のステップ S 6 2へ移る。
ステップ S 6 2において、 offset付 Intra予測モ一ド決定部 2 1は、 比較処理 対象のモード番号 nが 「8」 であるか否かについて判別する。 ここで否定結果が 得られた場合、 このことは処理すべき画面内予測モードが残っていることを表し ており、 このとき offset付 Intra予測モード決定部 2 1は、 次の:ステツプ S 6 3： 八移り、 比較処理対象のモード番号 nを 「 1」 加算すると、 ステップ S 6.0へ'戻 つて処理を継続する。
これに対してステップ S 6 .2において肯定結果が得られた場合、 このことは n = 0〜 8までの全ての画面内予測モードに対応するオフセッ小付差分絶対 和 S A D fを比較したことを表しており、 このとき offset付 Intra予測モード決定部 2 1.ば、 終了ステップへ移り、 オフセット優先適用処理手順 R T 3を終了する。
2—4 ) 動作及び効果
以上の構成において、：符号化装置 1 0は、 処理対象となる処 ¾1対象画素の周辺. 画素からの.差分値からなる差分画像デ一夕を、 AVC 規格により予め定められた 9'の画面内予測モードごどに生成する。 そして符号化装置 1 0は、 差分画像デー . 夕における各処理対象画素の絶対値の和に基づく差分合計値としての差分絶対値 和 SAD と、 画面内予測モードに予め設定された offset[n]による優先順位とに応 じて、 当該画面内予測モードを順位付けするようにした。
これにより符号化装置 1 0は、 offset[n]の値が低く優先順位の高い特定の画面 内予測モードを優先的に高い順位に順位付けすることができる。.
また符号化装置 1 0は、 複数の差分画像データについての差分絶対値和 SAD に対し、 画面内予測モードに応じたオフセッ ト （offset[n]) を付加してオフセヅ 卜付差分絶対値和 SAD f を生成する。 そして符号化装置 1 0は、 オフセッ ト付 差分絶対値和 SAD f を比較することにより、 画面内予測モードを順位付けする ようにした。
これにより符号化装置 1 0は、 画面内予測モードに応じた順位付けの優先度合 いを簡単に設定することができる。 また符号化装置 1 0は、 特定の画面内予測モ —ドを固定的に用いるのではなく、 あくまで offset[n]を付加することにより、 発生符号量の増大を抑制することができる。
さちに符号化装置 1 0は、 オフセット付差分絶対値和 S Aひ f が最小値をとる 差分画像データを生成したときの画面内予測モードを、 差分画像データを符号化 する画面内予測モードとして決定するようにした。
これにより符号化装置 1 0は、 特定の画面内予測モ"ドが差分画像デ一ダを符 号化する画面内予測モードとして決定され易くすることができるため、 前回符号 化時に使用された画面内予測モードを選択し易くできる。 この結果符号化装置- 1 0は、 前回符号化時と同 の画面内予測モ一ドを用いる確率を向上ざせることが できるため、 ダビング時の画質を向上させ得るようになされている。 .
まお符号化装置 1 0は、 複数の画面内予測モードのうち、 .画質の低下が少ない 一の画面内予測モードに対してオフセットを付加しないことにより、 差分画像デ —夕を符号化する画面内予測モードとして画質の低下が少ない画面内予測モード を選択し易くでき、 復号化時の画質の低下を抑制.できる。
この画質の低下が少ない一の画面内予測モードは、 周辺画素の平均値からの差 分値をとる D C予測モードであり、 A V C規格における垂直及び平行方向の周辺 画素の平均値からの差分値をとるモード 2である。 これにより符号化装置 1 0は、 最も画質の低下が小さい D C予測モードを多用して符号化時の画質低下を抑制す ることができる。 さらに符号化装置 1 0は、 画面内予測モードにおける画質の低下度合いに応じ て、 offset[n]を設定することにより、 画質の低下が少ない程画面内予測モードの 優先順位が高くなるように順位付けすることができる。
また符号化装置 1 0は、 画面内予測モードによる差分画像データから、 前回の 符号化時に使用ざれた量子化ステップの基になる量子化因子を検出することによ り、 ダビング時の画質の低下を抑制することができる。
さらに符号化装置 1 0は、 offset[n]として、 想定されるダビング回数に応じた 値を設定することにより、 発生符号量と画質の低下とを比較考量して用途や目的 に応じた offset[n]を設定し、 ユーザの要望に応じることができる。
以上の構成によれば、 符号化装置 1 0は、 各画面内予測モードによる差分絶対 値和 S A Dを比較した上で特定の画面内予測モードを優先的に高く順位付けする ことにより、 特定の画面内予測モードを毎回高く順位付けできる。 この結果符号 化装置 1 0は、 前回符号化時に使用した画面内予測モードを選択的に高く順位付 けして符号化に使用される差分画像データの画面内予測モードとして選択し易く できる。 かくして本発明は、 画質の低下を抑制し得る画像処理装置及び画像処理 方法を実現できる。 ： ' .
( 3 ) 第 2の実施の形態.
. 図 1 5及び図 1 6に示す第 2の実施の形態では、 図 2〜図 1 4に示した第 1の 実施の形態と対応する箇所に同一符号を附して示し.ている。 第 2の実施の形態に おける符号化装置 1 1では、 量子化行列検出処理及び量子化パラメ一夕検岀処理 の後に、 画面:内予測モード検出処理を実行する点が、 第 1の実施の形態と異なつ. ている。
( 3 — 1 ) 画面内予測モードの検出
AVCのィントラ（画面内符号化）フレームでは、 ダビングにおいて前回の符号化 で使用された画面.内予測モードを再利用することは画質低下を防ぐために有効な 手段である。 そこで、 画面内予測モード検出処理では、 入力画像データのみを利 用し、 その剰余 rを用いて算術的に前回の符号化で使われた画面内予測モードを 検出することを特徴とする。 .
すなわち符号化装置 1 1.は、 量子化行列 Qmatrix 及び量子化パラメ一夕 QP を検出した後に、 当該量子化行列 Qmatrix及び量子化パラメ一夕 QP を用いて、 ィントラ符号化単位 IA ごとに画面内予測モードを変えて剰余 rの総和 （∑ r ) を用いて極小値を検出する。 これにより符号化装置 1 1は、 マクロブロック MB' における全てのイントラ符号化単位 IAについて、 前回符号化された画面内予測 モードを検出することが可能と.なる。
この:とき符号化装置' 1 1は、 オフセット優先適用処理によってオフセッ ト付差 分絶対値和 S A Dを順位付けし、 当該オフセッ ト付差分絶対値和 S A Dが小ざい 方から 3つの画面内予測モードに対し、 画面内予測モ一ド検出処理を実行する。 これにより符号化装置 1 1は、 前回符号化された画面内予測モードを選び易くす ることができるため、 処理対象となる 3つの画面.内予測モードとして、 前回符号 化された画面内予測モードを確実に含ませ得るようになされている。
すなわち画面内予測モ一ド検出処理では、 量子化行列検出処理及び量子化パラ メ一夕検出処理で前述した考え方等に基づき前回の符号化で使われた量子化マト リクスと量子化パラメ一夕が既知の場合、 9個の画面内予測モードのそれぞれの DCT係数を 6 ビヅ トシフ卜した (W<<6)をリスケ一リングファグター RFで割つ ていぐことにより、 剰余 rが最小となる画面内予測モードを検出する。. .
以上に加えて、 .画像処理装置 1では、 検出精度を向上させ.る為に、 MP G で は考慮されなかった、 AVC Intra特有の性質に起因する以下の点を考慮する。 即 ち、 この画面内予測乇一ド検出処理おいては、 量子化行列検出処理及び量子化パ ラメ一夕検出処理で前述した (i)、 （ii)に加えて、 以下の (vii)を考慮する。
(vii) DCT係数の分布 」
画面内予測モードが異なると、 差分の値も変わり、 結果として DCT係数の分 布が異なる。 したがって、 一般的にはサブマクロブロック内の剰余 rの総和を 0 でない DCT係数の個数で除算し、 1サンプルあたりの剰余で比較するのが公平 であると考えられる。 しかしながら、 実際には、 前回の符号化で使われた予測モードが選ばれると、 予測が高
い精度で当たるために、 0 でない DCT係数の個数が少なくなり、 前回の予測と 方向的にずれたモードであるほど、 0 でない DCT係数の個数も増加する傾向に ある。
従って、 画面内予測モード検出処理では、 剰余 r の総和に対し、 0 でない DCT係数の個数で除算せず、 0でない DCT係数の個数を乗算した。 これにより、 前回の予測と方向的にずれたモードの剰余 rの総和に数値的なペナルティを与え ることができると考えられる。
剰余 rの総和に 0でない DCT係数の個数を乗算したものを評価値 Yとし、 各 予測モード間で、 この評価値 Yを比較して、 評価値 Yが最小の予測モードを前 回の符号化で使われた.予測モードと考える。
• 、本発明の符号化装置 1 1では、 上記特徴的な視点 (vii)をふまえて、 最適な予測 モード:を決定する。'ヽ - ■ · '
( 3 - 2 ) 符号化装置の構成
：符号化装置. 1 1では、 画面内予測モード検出部 3 3と、.画面内予測モード決定 部 4 5を有している点と、 画面内予測処理部 5 1及び整数精度 DCT部 5 2を有 している点と.が符号化装置 1 0と異なっている。 以下、 当該相違点を中心に説明 する。 . 一'.. '' .
Qmatrix検出部 3 1.及び QP 検出部 3 2によって検出された前回の量子化パ ラメ一夕 QP、と量子化行列 Qmatrixは、 Qmatrix/QP決定部 4 1に送られる。 Qmatrix/QP決定部 4 1では、 量子化行列 Qmatrix と量子化パラメ一夕 QP に 関して、 1パス目のプレエンコーダ 2 0で見積もられたものを採用するのか、 ノ、' ックサ一チ部 3 0で検出されたものを使うかを決定する。 通常、 入力画像デ一夕 がー度も符号化されていない原画像である場合には、 前回の符号化がないためバ ックサーチは失敗し、 1パス目のプレエンコーダ 2 0による符号化処理により見 積もられたものを採用する。 逆に入力画像が既に符号化されたことのある非原画 である場合には、 量子化歪が繰り返し乗ることを避ける為、 バックサーチ部 3 0 によって検出されたものを採用する。
また、 バックサーチ部 3 0によって検出された前回の符号化に使用された量子 化パラメーダ QP と量子化行列 Qmatrix は、 画面内予測モード検出部 3 3にも 送られる。 画面内予測モード検出部 3 3は、 量子化パラメ一夕 QPと量子化行列 Qmatrix を用いることにより、 上述した画面内予測モード検出処理により前回 の画面内予測モードを検出する。 尚、 この画面内予測モード検出部 3 3による画 面内予測モード検出処理手順の詳細については後述す.る。 この前回の予測モ一ド は画面内予測モード決定部 4 5に送出される。 画面内予測モード決定部 4 5では、
1パス符号化でオフセット付差分絶対値和 SAD f が最小となる第 1予測モード を採用するか、 画面内予測モード検出部 3 3により検出された前回の予測モード を採用するかを決定する。.
即ち、：画面内予測モード検出部 3 3は、 量子化パラメ一夕. QP. と量子化行列 Qmatrix に基づいて、 前回の予測モードを検出する。 この前回の予測モ一ドは 画面内予測モード決定部 4 5に送出される。 画面内予測モード決定部 4 5では、
1パス符号化で差分絶対値和 SAD が最小となる第 1予測モードを採用するか、 . 画面内予測モード検出部 3 3により検出された前回の予測モードを採用するかを. 決定する。 . .
すなわち、 入力画像デ一夕が一度も符号化されていない原画像である場合には、 前回の符号化がないため画面内予測モードの検出 （バックサ一チ） は失敗し、 offset付 Intra予測モード決定部 2 1により見積もられたものを採用する。 逆に 入力画像が既に符号化されたことのある非原画である場合には、 量子化歪が繰り 返し乗ることを避ける為、 画面内予測モ一ド検出部 3 3によって検出されたもの を採用する。
2パス目のパラメ一夕エンコーダ 5 0では、 前述したように Qmatrix/QP 決 定部 4 1で決定された量子化行列 Qmatrix、 量子化パラメ一夕 QP、 画面内予測 モード決定部 4 5で決定された画面内予測モ一ドを使って、 入力画像を符号化し、 符号化ストリーム （Stream) として出力する。
より詳細には、 画面内予測処理部 5 1では、 最適な画面内予測モードとして画 面内予測モード決定部 4 5で決定された画面内予測モードに選定し、 周辺画素の 予測画像を用いて入力画像から差分画像データを生成し、 当該差分画像デ一夕を 整数精度 DCT部 5 2に入力する。 整数精度 DCT部 5 2では、 離散コサイン変 換による直行変換により差分画像デ一夕を DCT係数 W として出力する。 量子 化部 5 3では DCT係数 Wを入力として、 Qmatrix/QP決定部 4 1で決定された 量子化行列 Qmatrixs 量子化パラメ一夕 QP を用いて量子化を行い、 量子化レ ベル Z をェントロピー符号化部 5 4に送出する。 エントロピー符号化部 5 4で は、 入力された量子化レベル Z をバイナライズ、 算術符号化して符号化ス トリ —ムとして出力する。
( 3— 3 ) 画面内予測モード検出処理
以下、 画面内予測モード検出処理手順 R T 4を示す図 1 4:のフローチヤ—トを 参照して、 本発明の第 2の実施の形態に係る符号化装置: 1 0の画面内予測モード .; 検出部 3 3による予測モ ド検出の処理について更に説明する。 これは、 同実施 の形態に係る画像情報符号化方法にも相当する。 . 先ず画面内予測モード検出部 3 3は、 予測画像かちの差分絶対値和 （すなわち- 差分画像データの絶対値の総和） が最も小さい画面内予測モードを初期値とする ；
(ステ、 ブ S 1 5 1 ) 。 続いて画面内予測モード検出部 3 3は、 予測画像からの 差分画像データ分に対して DCT処理を行う （ステップ S 1 5 2 ) 。 画面内予測 モード検出部 3 3は 4 X 4 のサブマク口ブロック内の各サンプルに対して DCT 係数 Wの絶対値 I W I.を 6ビットシフトした （ I W | <<6) ·を RFで割つた剰余 r を計算する （ステップ S 1 5 3 ) 。
そして画面内予測モード検出部 3 3は、 剰余 rの総和に DCT係数の偶数を掛 けたものを評価値 Yとする （ステップ S 1 5 6 ) 。
続いて画面内予測モード検出部 3 3は、 画面ない可能性のある全ての画面内予 測モードに関して Y が計算されたか否かを判定し （ステップ S 1 5 7 ) 、 評価 値 Yが計算されていなければ次に差分絶対値和 SADが小さい予測モ一ドに切り 替え （ステップ S 158) 、 ステップ S 52〜S 57の処理を繰り返す。 そして 画面内予測モード検出部 33は、 可能性のある全ての画面内予測モードに関して Yが計算されたものと判定すると （ステップ S 157を Yesに分岐） 、 各画面内 予測モード間で評価値 Yを比較し （ステップ S 159) 、 評価値 Yが最小であ る画面内予測モードを前回使われた予測モードとし （ステヅブ S 160) 、 処理 を終了する。
以上説明したように、 本発明の第 1の実施の形態の符号化装置 10は、 前回の 符号化で使われた画面内予測モ一ドを入力画像から算術的に検出することにより、 AVC ィントラフレームのダビング時に繰り返し量子化歪が発生することを抑制 することができる。 これにより符号化装置 10は、 ダビング時の SN比と視覚特 性の低下を改善することができる。
さらに符号化装置 10は、 画面内予測モード間で、.サブァクロブ口ヅク内の予 測画像からの差分絶対値和 SAD を比較する際に、 該差分絶対値和. SAD の小ざ い物から順に比較するが、 これは、 前回の符号化で使われた確率の高い画面内予 測モードから比較していくことと等価であり、 例えば差分絶対値和 SAD の小さ い画面内予測モ^"ドから.順に所定数 (例えば 3 つ) のモードのみを比較するこ . とで演算量を軽減することが可能となる。 また符号化装置 1 0.ほ、 変換行列 D. め導人により、 符号化と復号化における DCT係数を等価に扱うことが可能とな. る。 . . . ' + ·
以上のほか、 符号化装置 10は、 前回の符号化の画面内予測のアルゴリズムに よらず検出できるので、 一回目の符号化で視覚特性を考慮した画面内予測方法を： 用いてもダビング時には本アルゴリズムを利用可能である。
(3— 4) 動作及び効果
以上の構成によれば、 符号化装置 1 1は、 オフセット付差分絶対値和 SAD f が最小となる差分画像データから、 前回の符号化時に使用された量子化ステップ の基になる量子化因子としての量子化パラメ一夕 QP 及び量子化行列 Qmatrix を検出する。
符号化装置 1 1は、 バックサーチによって検出された量子化パラメ一夕 QP及 び量子化行列 Qmatrix に基づく除算因子によって、 オフセタ卜付差分絶対値和 が小さい順で、 対象数である 3つの差分画像データを除算したときの剰余値 rを 算出する。
そして符号化装置 1 1は、 剰余値 rが最小となる差分画像データが生成された 画面内予測モードを、 差分画像データに対する画面内予測モードとして決定する ようにしだ。
これにより符号化装置 1 1は、 前回の符号化時に使用された画面内予測モード を確実に検出できるため、 ダビング時の画質低下を一段と抑制することができる。 以上の構成によれば、 符号化装置 1 1は、 オフセット優先適用処理によって特 定の画面内予測モ一ドを優先的に高く順位付けすることにより , 画面内予測モ一 ド検出処理の対象となる 3つの画面内予測モードに前回の符号化時に使用された 画面内予測モードをほぼ確実に含ませることができる。 .
これにより符号化装置 1 1は、 画面内予測モード検出処理によって前回の符号 化時に使用された画面内予測モードをほぼ確実に検出できる。 かぐして本発明は、 符号化時の画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。 ( 4 ) 他の実施の形態
. 以下、 図 1 7のフローチャートを参照して、 他の実施の形態に係る符号化装置 によるオフセット優先適用処理手順 R T 5について詳細に説明する。
入力画像データが入力されると、 offset付 Intra予測モ一ド決定部は、 予測モ 一ドごとに offset[n】の値を決める （ステツプ S 2 0 1 ) 。 ここで、 nは DC予測 と比較する予測モード番号 （0〜8 (2 を除く） ） を意味している。 続いて offset 付 Intra 予測モード決定部は、 x=2 (DC 予測モードに設定） として （ステップ S 2 0 2 ) 、 n に比較対象となる画面内予測モード番号を付与する （ステップ S 2 0 3 ) 。 ここで Xは符号化で採用される予測モード番号を意味している。
続いて offset付 Intra予測モード決定部は、 比較対象となる画面内予測モード の差分絶対値和 SAD と offset[n]の総和が DC予測モードの差分絶対値和 SAD よりも小さいか否かを判断する （ステップ S 2 0 4 ) 。
ステツプ S 2 0 4において、 offset付 Intra予測モード决定部は比較対象とな る画面内予測モードの差分絶対値和 SAD と offset[n]との加算値であるオフセッ ト付差分絶対値和 S A D fがモード番号 Xのオフセット付差分絶対値和 S A D f よりも小さいと判断された場合には （ステップ S 2 0 4を Yes に分岐） 、 Xに 対して比較対象となる画面内予測モードのモ一ド番号 nを代入し、 ステップ S 2 0 5へ移る。
一方、 比較対象となる画面内予測モードの差分絶対値和 SAD と offset ]との 加算値であるオフセッ 卜付差分絶対値和 S A D f がモード番号 Xのオフセッ ト付 差分絶対値和 S A D f よりも小さくないと判断された場合 （ステップ S 2 0 4を No に分岐） 、 offset付 Intra予測モード決定部は、 採用する可能性のある全て の.予測モードに関して比較を行ったか否かを判断する （ステップ S 2 0 5 ) , offset付 Intra予測モ一ド決定部は、 全ての判断を完了していない場合 （ステッ プ S 2 0 5を Noに分岐） には、 nの値を更新し （ステップ S 2 0 6 ) 、 次の候 補のモードについてステップ S 5の比較を実施する。
ステヅプ S 2 0 5において、 採用する可能性のある全での予測モードに関して 比較を行ったと判断された場合 （ステップ S 2 0 5を Yes に分岐） 、 offset 付 Intra 予測モード決定部は、 Mode Xを符号化で採用する予測モードとじ （ステ ヅプ S 2 0 7 ) 、 一連の処理を終了する。
また符号化装置は、： 差分絶対値和 SAD が最小どなる画面内予測モードを選択 し、. 選択された画面内予測モードにおける差分絶対値和 SAD と、 複数の画面内 予測モードのうち一の優先予測モード （DC 予測モード） .における差分絶対値和 SADとを比較する。 そして符号化装置は、 当該差分絶対値和 SADの差が閾値未 満のときには差分絶対値和優先予測モードに対応する差分画像データを実際に符 号化する差分画像データとして決定するようにしても良い。
また上述した第 1及び第 2の実施の形態においては、 差分絶対値和 SAD に基 づいて順位付けするようにした場合について述べた。 本発明はこれに限らず、 例 えば差分絶対値和 S A Dにアダマール変換し、 絶対値和を算出した SATD ( Sum of Absolute Transiormed Diiierence ) や ύ S D 、. Sum 01 Square Difference, 二乗誤差和） を用いて順位付けするようにしても良い。
さらに上述した第 1及び第 2の実施の形態においては、 D C予測モードにのみ offsettn]を付加しないようにした場合について述べた。 本発明はこれに限らず、 他の画面内予測モードに対して offset ]を付加しないようにしても良い。 また 本発明は、 2以上の画面内予測モードに対して offset[n]を付加しないようにし ても良い。 . .
さらに上述した第 1及び第 2の実施の形態においては、 各画面内予測モードご とに異なる値を offset[n]として付加するようにした場合について述べた。 本発 明ばこれに限らず、 同一の値を付加するようにしても良い。
さらに上述した第 1及び第 2の実施の形態においては、： 画質の低下度合いに応 じた： offsettn]を付加するようにした場合について述べた。 本発明はこれに限ら ず、 例えば発生符号量の発生度合いに応じた offset[n]を付加するようにしても. 良い。 また本発明は、 offset[n]を付加する指標は必ずしも必要ではない。
さらに上述した第 1及び第 2の実施の形態においては、 符号化装置がバックサ —チ処理及びオフセッ ト優先適用処理の両方を実行するようにした場合について 述べた。 本発明はこれに限らず、 .オフセッ ト優先適用処理のみを実行するように しても良い。 この場合整数精度 D C T部 2 2は、 D C T係数を量子化パラメ.一夕 計算部 . (図示せず）.に供給する。 量子化パラメ一夕.計算部は、 この DCT係数 W の大きさや周波数域の分布状況に応じて適切な量子化パラメ一ダ QPを決定し、 量子化部 5 3へ供給し、 エントロピ一符号化部 5 4を介して符号化ストリームと して出力させる。
さらに上述した第 2の実施の形態においては、 符号化装置が処理数として 3つ の画面内予測モードに対して画面内予測モード検出処理を実行するようにした場 合について述べた。 本発明はこれに限らず、 処理数に特に制限はない。 さらに上述した第 1及び第 2の実施の形態においては、 4 X 4画素のサブマク ロブロックでなるイントラ符号化単位ごとに差分絶対値和 SAD を算出するよう にした場合について述べた。 本発明はこれに限らず、 例えば 8 x 8画素や 1 6 x 8画素などでも良く、 ィントラ符号化単位に制限はない。
さらに上述した第 1及び第 2の実施の形態においては、 符号化装置が AVC規 格に準拠して処理を実行するようにした場合について述べた。 本発明はこれに限 らず、 複数の画面内予測モードのうち、 一の画面内予測モードを選択する全ての 方式に対して本発明を適用することができる。
さらに上述した第 1及び第 2の実施の形態においては、 差分画像デ一夕生成部 及び順位付け部としての offset付 Intra予測モード決定部 2 1によつて画像処理 装置としての符号化装置 1 0及び 1 1を構成するようにした場合について述べた。 本発明はこれに限らず、 その他種々の構成による差分画像デ一夕生成部及び順位 付け部によって本発明の画像処理装置を構成しても良い。
- 以土、 本発明の実施の形態について説明したが、 本発明はこれに限定されるこ となくその趣旨を逸脱しない範囲で種々の改良 ·変更が可能であることは勿論で · ある。 ノ .
例えば、.前述した第 1及び第 2の実施の形態に係る画像情報符号化処理装置及 び方法は、 コンどユー夕により実行されるプログラム、 及び該プログラムを格納 じた記録媒体としても実施可能であることは勿 fであり、 その場合も、 前述した 作用効果が奏される。 . .

Claims

請 求 の 範 囲
1 . 処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像デー 夕を、 予め定められた複数の画面内予測モードごとに生成する差分画像デ一夕生 成部と、
上記差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値 と上記画面内予測モードに予め設定された優先順位とに基づいて、 当該画面内予 測モードを順位付けする順位付け部と
を有する画像処理装置。
2 . 上記順位付け部は、
上記複数の差分画像デ一夕の発生符号量に対し、 画面内予測モードに応じたォ フセッ トを付加してオフセッ ト付発生符号量を生成するオフセッ ト付加部と、 上記オフセット付差分合計値を比較することにより、 画面内予測モードを順位 付げする差分合計値比較部と '.
. を有する請求項 1に記載の画像処理装置。 . . . …
3 . 上記オフセット付差分合計値が最小値をとる差分画像データを生成したとき の画面内予測モードを 上記画像デ一夕を符号化する画面内予測モードとして決 定する画面内予測モード決定部
を有する請求項 2に記載の画像処理装置。. ： …
4. 上記オフセット付加部は、
上記複数の画面内予測モードのうち、 画質の低下が少ない一の画面内予測モー ドに対して上記オフセットを付加しない
請求項 3に記載の画像処理装置。
5 . 上記画質の低下が少ない一の画面内予測モードは、
周辺画素の平均値からの差分値をとる画面内予測モードである
請求項 4に記載の画像処理装置。
6 . 上記画像処理装置は、
. A V C規格に対応しており、
上記画質の低下が少ない一の画面内予測モードは、
垂直及び平行方向の周辺画素の平均値からの差分値をとるモード 2である 請求項 5に記載の画像処理装置。
7 . 上記オフセッ ト付加部は、
上記画面内予測モードにおける画質の低下度合いに応じて、 上記オフセッ トを 設定する
請求項 6に記載の画像処理装置。
8 . 上記画面内予測モード決定部によって決定された画面内予測モードによる差 分画像データから、 前回の符号化時に使用された量子化ステップの基になる量子 化因子を検出するバヅクサーチ部
を有する請求項 3に記載の画像処理装置。 .
9 . 上記オフセッ ト付差分合計値が最小となる差分画像データから、 前回の符号 化時に使用された量子化ステップの基になる量子化因子を検出するノ ックサーチ 部と、 .
上記バックサーチ部によつて検出された上記量子化因子に基づく除算因子によ つて、.上記オフセッ ト付差分合計値が小さい順で、 対象数の差分画像データを除 算したときの剰余値を算出する剰余値算出部と、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、 上記画像データに対する画面内予測モードとして決定する画面内予測モ一ド.決定 部と . - を有する請求項 3に記載の画像処理装置。
1 0 . 上記処理数は、
3でなる
請求項 1に記載の画像処理装置。
1 1 . 上記オフセッ ト付加部は、
上記オフセッ卜として、 想定されるダビング回数に応じた値を設定する 請求項 3に記載の画像処理装置。
1 2 . 処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像デ 一夕を、 予め定められた複数の画面内予測モードごとに生成する差分画像データ 生成ステップと、
上記差分画像デー夕における各処理対象画素の絶対値の和となる差分合計値と 上記画面内予測モ一ドに予め設定された優先順位とに応じて、 当該画面内予測モ ―ドを順位付けする順位付けステツプと
を有する画像処理方法。
PCT/JP2008/066911 2007-09-12 2008-09-12 画像処理装置及び画像処理方法 WO2009035144A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP08830296A EP2187648A4 (en) 2007-09-12 2008-09-12 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN2008800081548A CN101641958B (zh) 2007-09-12 2008-09-12 图像处理设备和图像处理方法
US12/530,872 US8369403B2 (en) 2007-09-12 2008-09-12 Image processing device and image processing method
JP2009532267A JP5212372B2 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007-236945 2007-09-12
JP2007236945 2007-09-12
JP2007-236943 2007-09-12
JP2007236943 2007-09-12

Publications (1)

Publication Number Publication Date
WO2009035144A1 true WO2009035144A1 (ja) 2009-03-19

Family

ID=40452144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/066911 WO2009035144A1 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法

Country Status (7)

Country Link
US (1) US8369403B2 (ja)
EP (1) EP2187648A4 (ja)
JP (1) JP5212372B2 (ja)
KR (1) KR20100065240A (ja)
CN (1) CN101641958B (ja)
TW (1) TWI392372B (ja)
WO (1) WO2009035144A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146772A1 (ja) * 2009-06-19 2010-12-23 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP2282545A1 (en) 2009-07-27 2011-02-09 Sony Corporation Image encoding device and image encoding method
WO2015033510A1 (ja) * 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
JP7540082B2 (ja) 2021-06-30 2024-08-26 テンセント・アメリカ・エルエルシー オフセット・ベースのリファインメント及び複数参照ライン選択の調和的設計

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
TWI395490B (zh) * 2010-05-10 2013-05-01 Univ Nat Central 實施於電子裝置之影像編碼方法
TWI403175B (zh) * 2010-06-11 2013-07-21 Ind Tech Res Inst 畫面內預測模式最佳化方法與影像壓縮方法以及裝置
MY173604A (en) * 2011-03-11 2020-02-10 Sony Corp Image processing apparatus and method
MX2013013909A (es) 2011-06-13 2014-01-24 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imágenes.
KR101953522B1 (ko) * 2011-06-17 2019-02-28 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 및 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR101621854B1 (ko) 2014-02-21 2016-05-17 연세대학교 산학협력단 Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
WO2017086746A1 (ko) 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
EP3324628B1 (en) * 2016-11-18 2021-12-29 Axis AB Method and encoder system for encoding video
CN108804476B (zh) * 2017-05-05 2021-05-25 北京京东尚科信息技术有限公司 图像搜索结果的排序方法、装置、电子设备和存储介质
US11997275B2 (en) * 2018-08-27 2024-05-28 AT Technologies ULC Benefit-based bitrate distribution for video encoding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294263A (ja) * 1996-04-24 1997-11-11 Victor Co Of Japan Ltd 画像情報圧縮装置
JP2002290914A (ja) * 2001-03-26 2002-10-04 Sony Corp 記録再生装置及びそのバックサーチ方法
JP2005192232A (ja) * 2002-05-28 2005-07-14 Sharp Corp 画像符号化システム、画像復号システム、及び画像を分割したブロックの画素値の予測方法
JP2006148419A (ja) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979498A (en) 1989-10-30 1990-12-25 Machida Incorporated Video cervicoscope system
JPH04114585A (ja) 1990-09-04 1992-04-15 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
US5565921A (en) 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
US5703646A (en) 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JP3264043B2 (ja) 1993-04-30 2002-03-11 ソニー株式会社 量子化コントロール装置および方法
EP0671816B1 (en) 1993-09-28 2000-03-29 Sony Corporation Encoding/decoding device with all odd or all even value rounding
US5508942A (en) 1993-11-24 1996-04-16 Intel Corporation Intra/inter decision rules for encoding and decoding video signals
JP3561962B2 (ja) 1994-07-25 2004-09-08 ソニー株式会社 量子化コントロール装置および方法
JP2882287B2 (ja) 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
JP3890606B2 (ja) 1995-03-09 2007-03-07 ソニー株式会社 画像信号符号化装置及び画像信号符号化方法
US6100931A (en) 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5805228A (en) 1996-08-09 1998-09-08 U.S. Robotics Access Corp. Video encoder/decoder system
US6337879B1 (en) 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
JP3864461B2 (ja) 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
JPH1079948A (ja) 1996-09-03 1998-03-24 Mitsubishi Electric Corp 画像符号化装置
KR100599017B1 (ko) 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
JP4114210B2 (ja) 1996-12-12 2008-07-09 ソニー株式会社 映像データ圧縮装置およびその方法
CA2264834C (en) 1997-07-08 2006-11-07 Sony Corporation Video data encoder, video data encoding method, video data transmitter, and video data recording medium
KR100563756B1 (ko) 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
US6393060B1 (en) 1997-12-31 2002-05-21 Lg Electronics Inc. Video coding and decoding method and its apparatus
JP4511649B2 (ja) 1999-02-03 2010-07-28 三菱電機株式会社 画像符号化方式および画像符号化装置
JP2001169281A (ja) 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
WO2001058166A1 (en) * 2000-02-01 2001-08-09 Koninklijke Philips Electronics N.V. Video encoding with a two step motion estimation for p-frames
JP2002010259A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002359853A (ja) 2001-03-26 2002-12-13 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
EP1377070A4 (en) 2001-03-28 2010-08-11 Sony Corp QUANTIZATION DEVICE, QUANTIZATION PROCESS, QUANTIZATION PROGRAM AND RECORDING MEDIUM
JP3846424B2 (ja) 2001-03-30 2006-11-15 ソニー株式会社 画像信号量子化装置およびその方法
US7099951B2 (en) * 2001-05-24 2006-08-29 Vixs, Inc. Method and apparatus for multimedia system
US6934330B2 (en) * 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
JP4135427B2 (ja) * 2001-08-01 2008-08-20 ソニー株式会社 画像処理装置および方法、ならびに、画像処理プログラム
EP1827026A1 (en) 2002-01-18 2007-08-29 Kabushiki Kaisha Toshiba Video decoding method and apparatus
US7236524B2 (en) 2002-05-28 2007-06-26 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode communication
US7289672B2 (en) 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7715477B2 (en) 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
US7054497B2 (en) 2002-06-14 2006-05-30 Koninklijke Philips Electronics N.V. Method and system for optimizing image sharpness during coding and image enhancement
US6944224B2 (en) 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
JP4114585B2 (ja) 2002-09-27 2008-07-09 東洋インキ製造株式会社 ガスバリア性積層体の製造方法
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
JP4127818B2 (ja) 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
JP3846489B2 (ja) 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
JP2006222555A (ja) 2005-02-08 2006-08-24 Matsushita Electric Ind Co Ltd 符号化装置及び符号化方法
KR101088375B1 (ko) 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
AU2007244443A1 (en) 2006-04-28 2007-11-08 Ntt Docomo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
US8184712B2 (en) 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294263A (ja) * 1996-04-24 1997-11-11 Victor Co Of Japan Ltd 画像情報圧縮装置
JP2002290914A (ja) * 2001-03-26 2002-10-04 Sony Corp 記録再生装置及びそのバックサーチ方法
JP2005192232A (ja) * 2002-05-28 2005-07-14 Sharp Corp 画像符号化システム、画像復号システム、及び画像を分割したブロックの画素値の予測方法
JP2006148419A (ja) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2187648A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146772A1 (ja) * 2009-06-19 2010-12-23 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2010146772A1 (ja) * 2009-06-19 2012-11-29 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP2282545A1 (en) 2009-07-27 2011-02-09 Sony Corporation Image encoding device and image encoding method
JP2011029953A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
WO2015033510A1 (ja) * 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
JPWO2015033510A1 (ja) * 2013-09-09 2017-03-02 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
JP7540082B2 (ja) 2021-06-30 2024-08-26 テンセント・アメリカ・エルエルシー オフセット・ベースのリファインメント及び複数参照ライン選択の調和的設計

Also Published As

Publication number Publication date
US20100046621A1 (en) 2010-02-25
JPWO2009035144A1 (ja) 2010-12-24
TWI392372B (zh) 2013-04-01
EP2187648A1 (en) 2010-05-19
TW200920142A (en) 2009-05-01
CN101641958A (zh) 2010-02-03
KR20100065240A (ko) 2010-06-16
EP2187648A4 (en) 2012-07-11
CN101641958B (zh) 2011-10-19
US8369403B2 (en) 2013-02-05
JP5212372B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
WO2009035144A1 (ja) 画像処理装置及び画像処理方法
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
US6876703B2 (en) Method and apparatus for video coding
JP5350404B2 (ja) 早いマクロブロック・デルタｑｐの決定
US7620107B2 (en) Video transcoding method and apparatus and motion vector interpolation method
US6590936B1 (en) Coded data transform method, transcoding method, transcoding system, and data storage media
JP5472105B2 (ja) 画像処理装置及び画像処理方法
JP5893002B2 (ja) ビデオ符号化におけるレート制御
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US20050265447A1 (en) Prediction encoder/decoder, prediction encoding/decoding method, and computer readable recording medium having recorded thereon program for implementing the prediction encoding/decoding method
US9071844B2 (en) Motion estimation with motion vector penalty
US20100329333A1 (en) Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US8891892B2 (en) Image encoding method using adaptive preprocessing scheme
KR20080096760A (ko) 부호화 장치, 부호화 방법 및 프로그램
JP2001145113A (ja) 画像情報変換装置及び方法
WO2009157581A1 (ja) 画像処理装置及び画像処理方法
US8442113B2 (en) Effective rate control for video encoding and transcoding
JP4407249B2 (ja) データ処理装置およびその方法と符号化装置、その方法及びプログラム
JP4719854B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
WO1997016031A1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
US9167263B2 (en) Methods and devices for image encoding and decoding, and corresponding computer programs
JP2008245201A (ja) 符号化装置
JP4517963B2 (ja) 符号化装置、符号化方法、プログラムおよび記録媒体
JP2006121538A (ja) 画像符号化装置、及び画像符号化方法
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880008154.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08830296

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009532267

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2008830296

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12530872

Country of ref document: US

Ref document number: 1020097019021

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE