WO2010023782A1 - 画像表示装置、録画再生装置、及び画像処理方法 - Google Patents

画像表示装置、録画再生装置、及び画像処理方法 Download PDF

Info

Publication number
WO2010023782A1
WO2010023782A1 PCT/JP2009/002066 JP2009002066W WO2010023782A1 WO 2010023782 A1 WO2010023782 A1 WO 2010023782A1 JP 2009002066 W JP2009002066 W JP 2009002066W WO 2010023782 A1 WO2010023782 A1 WO 2010023782A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
decoded
prediction
pixel
decoded image
Prior art date
Application number
PCT/JP2009/002066
Other languages
English (en)
French (fr)
Inventor
伊藤浩朗
軽部勲
高橋昌史
小松佑人
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN2009801314535A priority Critical patent/CN102132567A/zh
Priority to US13/058,578 priority patent/US20110142127A1/en
Priority to EP20090809440 priority patent/EP2320663A4/en
Publication of WO2010023782A1 publication Critical patent/WO2010023782A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Definitions

  • the present invention relates to an image processing technique for decoding, reproducing, and displaying an encoded image signal.
  • Coding methods such as the MPEG (Moving Picture Experts Group) method have been established as a method for recording and transmitting moving image data such as TV signals with high efficiency.
  • the MPEG-1 standard, MPEG-2 standard, MPEG-4 It is an international standard encoding method as a standard.
  • H.264 / AVC Advanced Video Coding
  • encoding distortion In general, in moving picture coding, high compression efficiency is achieved by processes such as predictive coding using the spatial or temporal correlation of images, frequency conversion, quantization, variable length coding, etc. Since the lossy encoding method that does not return to the original signal is used in the process of, signal degradation occurs in the decoded image with respect to the original original image.
  • signal degradation caused by the above encoding is referred to as encoding distortion.
  • Flicker noise which is cited as one of the coding distortions, is a degradation in which the screen appears to flicker because the luminance and color change greatly every frame or every few frames in the decoded image.
  • a technique for reducing flicker noise is disclosed in Patent Document 1.
  • Patent Document 1 is a decoded image in a case where only intra prediction encoding (prediction encoding using correlation of image signals in one screen) is used when encoding a moving image. Is a technique to reduce flicker noise, and uses inter-screen predictive coding (predictive coding using correlation of image signals between multiple screens) used in general video coding Thus, there is a problem that flicker noise is not always sufficiently reduced when encoding is performed.
  • the present invention has been made in view of the above problems, and an object thereof is to more suitably reduce flicker noise.
  • flicker noise is more preferably reduced.
  • FIG. 1 is a configuration block diagram of an image display device according to Embodiment 1 of the present invention. It is a block diagram which shows an example of the encoding apparatus which produces
  • FIG. 1 is a configuration block diagram of an image display apparatus according to the first embodiment of the present invention.
  • An image display device (100) shown in FIG. 1 includes an input unit (101), an image decoding unit (102), a first buffer unit (103), a second buffer unit (104), and a third buffer unit ( 105), a filter unit (106), a switching unit (107), and an output unit (108).
  • the first buffer unit (103), the second buffer unit (104), the third buffer unit (105), the filter unit (106), and the switching unit (107) constitute an image processing unit (109). is doing.
  • Each unit described above may be configured by hardware or software. Further, it may be a module combining hardware and software.
  • encoded image data (150) input from an input unit (101) is data generated by, for example, the image encoding device shown in FIG.
  • the image decoding unit (102) decodes the encoded image data to generate a decoded image (151).
  • the first buffer unit (103) stores the first decoded image encoded using the intra prediction encoding means in the decoded image (151).
  • the second buffer unit (104) stores, among the decoded images (151), the second decoded image encoded using the intra prediction encoding means that is temporally behind the first decoded image.
  • the third buffer unit (105) includes one or more decoded images (151) that are temporally behind the first decoded image and temporally before the second decoded image. Store the image.
  • the switching unit (107) switches and outputs the first decoded image (152), the second decoded image (153), and the filtered decoded image (155) read from the filter processing unit (106). At this time, the image signal (156) output from the switching unit (107) is in the same order as the decoded image (151) output from the image decoding unit (102).
  • the output unit (108) displays and outputs the image signal (156) output from the switching unit (107).
  • a moving image encoding method for generating encoded image data input to the image display apparatus will be described.
  • an intra-screen predictive encoding method that uses an encoded image in the same screen as the encoding target image as a reference image and a screen that uses the previous and subsequent screens as reference images on the time axis.
  • Two encoding methods of the predictive encoding method are used adaptively.
  • a picture is used as a unit for switching between the two encoding methods, and a picture that is encoded using only the intra prediction encoding method is called an I picture. In the following description, when I is simply expressed, an I picture is shown.
  • P is a picture that can be subjected to inter-picture predictive encoding (forward prediction) from a past picture on the encoded time axis.
  • inter-frame predictive coding from the future picture on the encoded time axis backward prediction
  • inter-picture predictive coding using both past and future coded pictures both A picture that can be (directionally predicted) is called a B picture.
  • P and B pictures are simply expressed as P and B, respectively.
  • FIG. 4 shows an example of encoded data when only I and P pictures are used for the sake of simplicity.
  • a moving picture has a high correlation in the temporal direction, so that the ratio of selecting an inter-picture predictive coding method is high for P pictures and B pictures. Therefore, the coding distortion caused by the coding is propagated to the P picture and the B picture after the I picture by the inter-picture prediction (I0 to P8 and I9 to P17 in FIG. 4A). On the other hand, since inter-picture predictive coding is not performed in the I picture, the above coding distortion does not propagate (P8 to I9 and P17 to I18 in FIG. 4A).
  • the present invention provides an image display device and a recording / playback device capable of reducing the flicker as described above and displaying with high image quality.
  • the block dividing unit (201) divides the input image (250) into blocks.
  • the subtracter (202) performs a subtraction process between the divided input image block (251) on the left and a predicted image block (256) output from the encoding mode selection unit (212) described later, and performs a difference image signal (252). ) Is generated.
  • the DCT unit (203) outputs the differential image signal (252) output from the subtracter (202) to the quantization unit (204) by performing Discrete Cosine Transfer (discrete cosine transform, hereinafter referred to as DCT transform) for each image block. To do.
  • the quantization unit (204) quantizes the input DCT transform data and generates quantized data (253).
  • the variable length encoding unit (205) performs variable length encoding on the quantized data (253) and outputs encoded image data (254) in accordance with the transmission line.
  • the inverse quantization unit (206) inversely quantizes the quantized data (253) and outputs the inversely quantized data.
  • the inverse DCT unit (207) performs inverse DCT transform on the inversely quantized data to generate difference block data.
  • the adder (208) adds the difference block data and the predicted image block (256) from the encoding mode selection unit (212) to generate a decoded image.
  • the frame memory (209) stores the decoded image for use as a reference image for the input image to be encoded next.
  • the motion search unit (210) performs a motion search on the reference image (255) read from the frame memory (209), and obtains a predicted image that minimizes the difference from the divided input image block (251). Further, the intra-screen prediction unit (211) performs intra-screen prediction from the reference image read from the frame memory (209), and obtains a predicted image that minimizes the difference from the divided input image block (251). The encoding mode selection unit (212) selects one of the prediction image calculated by the motion search unit (210) and the prediction image calculated by the in-screen prediction unit (211), and uses this as a prediction image block (256). It outputs to a subtracter (202).
  • the encoding mode selection unit (212) selects the prediction image calculated by the motion search unit (210), information indicating the inter-frame prediction encoding method when the prediction image is obtained is set as the encoding mode (257). It outputs to a variable length encoding part (205). Further, when the encoding mode selection unit (212) selects the prediction image calculated by the in-screen prediction unit (211), information indicating the in-screen prediction method when the prediction image is obtained is encoded mode (257). Is output to the variable length encoding unit (205). The variable length coding unit (205) performs variable length coding on the coding mode (257) together with the quantized data (253) and outputs the result.
  • FIG. 3 is a block diagram showing a configuration example of the image decoding unit (102) in FIG. Below, the image decoding part shown in FIG. 3 is demonstrated.
  • the variable length decoding unit (301) performs variable length decoding on the input encoded image data (350), and outputs the quantized data to the inverse quantization unit (302).
  • the inverse quantization unit (302) inversely quantizes the quantized data and outputs the inversely quantized data.
  • the inverse DCT unit (303) performs inverse DCT transform on the inversely quantized data and outputs difference block data (351).
  • the adder (304) adds the difference block data (351) and the prediction image (352) output from the encoding mode selection unit (308) to generate a decoded image.
  • the generated decoded image is output as decoded image data (353) and input to the frame memory (305) for use as a reference image of the next encoded data.
  • the motion compensation unit (306) receives the encoding mode (354) from the variable length decoding unit (301) when the encoded image data to be decoded next is encoded by the inter-frame predictive encoding method, and performs the above encoding An image corresponding to the mode is read from the frame memory (306) to generate a predicted image, and is output to the encoding mode selection unit (308).
  • the intra prediction unit (307) receives the encoding mode (354) from the variable length decoding unit (301) when the encoded image data to be decoded next is encoded by the intra prediction encoding method, and the frame memory A prediction image (352) corresponding to the encoding mode is generated from the image read out from (306), and is output to the encoding mode selection unit (308).
  • the encoding mode selection unit (308) selects a predicted image output from the motion compensation unit (306) when the encoded image data to be decoded is encoded by the inter-frame prediction encoding method, and adds an adder ( 304).
  • the prediction image output from the intra prediction unit (307) is selected and output to the adder (304).
  • FIG. 4A is the decoded image (151) of FIG. 1, I0 (401) is stored in the first buffer unit (103) as a decoded image encoded by using the intra prediction encoding means. .
  • I9 (410) is stored in the second buffer unit (104) as a decoded image encoded using the intra prediction encoding means that is temporally behind I0 (401).
  • P1 (402) to P8 (409) that are temporally later than I0 (401) and temporally earlier than I9 (410) are stored in the third buffer unit (105).
  • FIG. 5 is a flowchart showing the operation of the filter unit (106). Below, the flowchart of FIG. 5 is demonstrated along the operation example of FIG.
  • an image (610) indicates a decoded image read from the first buffer unit (103) in FIG.
  • An image (611) indicates a decoded image read from the third buffer unit (105) in FIG.
  • An image (612) indicates a decoded image read from the second buffer unit (104) in FIG.
  • An image (611) is a target image for correction filter processing.
  • FIG. 6A shows a case where correction filter processing is performed on the block (601) of the image (611).
  • an image (610) is an image positioned forward by T1 of the image (611)
  • an image (612) is an image positioned backward by T2 of the image (611). It is.
  • the track (622) which is an object, moves from the left side of the screen to the right side of the screen as time elapses for the image (610), the image (611), and the image (612).
  • the background part (620) and the road surface part (621) are stationary.
  • the area occupied by the track (622) is referred to as a moving area
  • the area where the background portion (620) and the road surface portion (621) are closed is referred to as a stationary area, as necessary.
  • the reference blocks used for the correction filter processing are the block (600) of the image (610) and the block (602) of the image (612). ).
  • the details of the method for determining the reference block will be described later, if the method for determining the reference block according to the present embodiment is used, if the block belonging to the still area is the target block for the correction filter process, the reference block is displayed on the screen. The position of is the same as the target block of the correction filter process. Therefore, in the example of FIG. 6A, the positions of the reference block (600) and the reference block (602) on the screen are not different from the positions of the correction filter target block (601) on the screen.
  • FIG. 6A shows an example in which the effect is most easily confirmed. That is, the luminance of the background portion (620), which is a still region to which the correction filter target block (601), the reference block (600), and the reference block (602) belong, is changed from the image (610) to the image (611) and the image (612). ) Shows the case where the time has changed.
  • FIG. 6B shows a case where correction filter processing is performed on the block (604) of the image (611).
  • the relationship with the area is the same as in the example of FIG.
  • the target block for the correction filter processing in FIG. 6B is the block (604), but the reference blocks used for the correction filter processing are the block (604) of the image (610) and the block (605) of the image (612). is there.
  • the block including the moving region is the target block for the correction filter processing.
  • the position of the reference block on the screen changes following the movement of the moving object constituting the moving area. Therefore, the correction filter target block (603) includes a part of the track (622) that is a moving object. Therefore, the position of the reference block on the screen follows the movement of the track (622) and becomes the position of the reference block (603) and the reference block (605) shown in FIG. 6B, respectively.
  • the correction filter processing according to the present embodiment reduces flicker noise that occurs when the luminance of the image temporally changes between the reference block and the correction filter target block.
  • the correction filter processing according to the present embodiment can also reduce flicker noise that occurs when the luminance of a pixel on a moving object changes with time. Therefore, FIG. 6B shows an example of a luminance change different from that in FIG. 6A in order to show an example in which the flicker noise reduction effect on the moving object is most easily confirmed.
  • the luminance of the pixels constituting the moving region (track (622)) including the correction filter target block (604), the reference block (603), and the reference block (605) is changed from the image (610) to the image (611), The case where time has changed to the image (612) is shown.
  • FIG. 6A a target block (FIG. 6A) (601) to be filtered from the decoded image (FIGS. 6A and 611) read from the third buffer unit 105 in FIG. 1. )) Is extracted (FIG. 5 (S501)).
  • a reference block (FIGS. 6A and 600) used for correction is extracted from the decoded image (FIGS. 6A and 610) read out from the first buffer unit 103 in FIG. 1 (FIG. 6). 5 (S502).
  • a reference block (FIGS.
  • the filter process is performed for the next pixel (FIG. 5 (S506)).
  • the target block (601) is the last in the decoded image (611). It is determined whether it is a block (FIG. 5 (S507)).
  • the filter process is performed for the next block (FIG. 5 (S508)).
  • this processing ends.
  • target block means the target block (601) in the decoded image (611) when applied to the example of FIG. When applied to the example, it means the target block (604) in the decoded image (611).
  • the expression “reference block” for the decoded image (610) means the reference block (600) in the decoded image (610) when applied to the example of FIG. When applied to the example of FIG. 6B, it means the reference block (603) in the decoded image (610).
  • the expression “reference block” for the decoded image (612) is applied to the example of FIG. 6 (a), and the reference block (602) in the decoded image (612).
  • Steps (S502) and (S503) An example of a reference block extraction method is as follows. First, as a method for obtaining the reference block in the image (610), the sum of absolute differences of the pixels included in the target block and the pixels included in the block in the image (610) is calculated. The smallest block may be selected.
  • FIG. 8B shows a target block in the decoded image (611).
  • the block size is 2 ⁇ 2 here.
  • the pixel values included in the target block in the decoded image (611) are set as c 00 , c 01 , c 10 , and c 11 .
  • FIG. 8A shows a decoded image (610).
  • four blocks of a block (801), a block (802), a block (803), and a block (804) can be listed as candidates having the same size as the target block.
  • the sum of absolute differences between the target block and the block (801) can be calculated as in Equation 3 below.
  • the sum of absolute differences can be calculated for the block (802), the block (803), and the block (804), and the sum of absolute differences is the smallest among the four blocks. Is a reference block.
  • the above is an operation example when the reference block is obtained using the existing pixel value in the decoded image (610).
  • the pixel that originally does not exist in the reference image (610) is generated by interpolation. It is also possible to obtain an optimum block using the generated interpolation pixel.
  • the interpolated pixel b ij can be generated by the following calculation.
  • the pixel value b 01 can be obtained by Expression 4. is there.
  • the interpolation pixel b 10 corresponding to the intermediate position in the vertical direction between the pixels a 00 and a 20 can also be obtained from Expression 5.
  • the pixel b 11 that is at the intermediate position in both the horizontal direction and the vertical direction can be calculated from the two interpolation pixels b 01 and b 21 as shown in Expression 6.
  • interpolation pixels at 1/2 pixel positions are generated. If this is expanded by increasing the number of taps, interpolation with higher accuracy of 1/4, 1/8, and 1/16 accuracy is possible. It is also possible to generate pixels.
  • the reference block in the decoded image (610) can be calculated with decimal pixel accuracy.
  • the block (805) in FIG. 6A is an area composed of half-precision interpolation pixels b 11 , b 13 , b 31 , and b 33 , and the target block and the block ( The sum of absolute differences with respect to 805) can be calculated as in Equation 7 below.
  • the accuracy can be further improved as compared with the integer accuracy.
  • the example of the method for obtaining the reference block in the decoded image (610) illustrated in FIG. 6 has been described above.
  • the reference block in the decoded image (610) is replaced with the reference block in the decoded image (612). Since the reference block in the decoded image (612) can be extracted by the same method, the description is omitted.
  • FIG. 9 Images (610), (611), and (612) in FIG. 9 show the same contents as in FIG.
  • the target block (901) in FIG. 9 corresponds to the block (601) or the block (604) in FIG.
  • a block on the decoded image (610) that is point-symmetric about the pixel in the target block (901) is a block (900)
  • a block on the decoded image (612) is a block (902).
  • the sum of absolute differences (SATD1) between the pixels in the target block (901) and the pixels in the block (900) and the absolute difference between the pixels in the target block (901) and the pixels in the block (902) A sum of values (SATD2) is calculated, and blocks (900) and (902) when the sum of SATD1 and SATD2 is minimized are used as reference blocks.
  • the target block in the decoded image (611) included in the still region As reference blocks corresponding to 601), a reference block (600) in the decoded image (610) and a reference block (602) in the decoded image (612) are extracted.
  • the target block (601) in the decoded image (611), the reference block (600) in the decoded image (610), and the reference block (602) in the decoded image (612) The position in the image is the same. This is because, in a still region, a difference value between blocks at the same position in an image is low between a plurality of images having different temporal positions.
  • a moving object (track (622)) that is a moving area is selected.
  • the reference block (603) in the decoded image (610) and the reference block (605) in the decoded image (612) are extracted as reference blocks corresponding to the target block (604) in the included decoded image (611).
  • the target block (601) in the decoded image (611) has a positional relationship in which the target block (601) has moved following the movement of the moving object (track (622)) from the position of the reference block (603) in the decoded image (610).
  • the reference block (602) in the decoded image (612) moves from the position of the target block (604) in the decoded image (611) following the movement of the moving object (track (622)). It is in. This is because, in the moving region, the difference value between the blocks at the positions moved by following the movement of the moving object is low between a plurality of images having different temporal positions.
  • the block (604) in which the background portion and the track are mixed like the target block (604) in the decoded image (611) in FIG. Evaluation is performed based on Equations 3 to 7, and a reference block is obtained.
  • the reference block is obtained by obtaining the reference block. It is also possible to improve block extraction accuracy. This can be realized by adding a process of separating the background area and the track area from the block (604).
  • steps (S502) and (S503) in FIG. 5 can determine and extract a reference block.
  • target block is a decoded image (611) when applied to the example of FIG. This means the target block (601) in the middle, and when applied to the example of FIG. 6 (b), it means the target block (604) in the decoded image (611).
  • the expression “reference block” for the decoded image (610) means the reference block (600) in the decoded image (610) when applied to the example of FIG. When applied to the example of FIG. 6B, it means the reference block (603) in the decoded image (610).
  • the expression “reference block” for the decoded image (612) is applied to the example of FIG. 6 (a), and the reference block (602) in the decoded image (612).
  • Equation 1 S curr (i) represents a value before filtering of the i th pixel in the target block, and S fil (i) represents a value after filtering of the i th pixel in the target block.
  • S back (i) indicates the value of the i th pixel in the reference block in the decoded image (610), and S fwd (i) indicates the value of the i th pixel in the reference block in the decoded image (612).
  • w0, w1, and w2 are weighting coefficients for S back (i), S curr (i), and S fwd (i). An example of specific settings is shown in Equation 2.
  • T1 represents the interframe distance between the decoded image (611) and the decoded image (610)
  • T2 represents the interframe distance between the decoded image (611) and the decoded image (612).
  • F (T) represents a Gaussian function (FIG. 7).
  • the coefficient value is set larger as the interframe distance from the decoded image (611) to be corrected becomes shorter.
  • the filter unit (106) in FIG. 1 performs the pixel value, the reference block (600), and the reference block (the reference block) of the pixel constituting the target block (601) before correction, as shown in Equations 1 and 2 above.
  • 602 is a coefficient calculated by applying a temporal inter-frame distance between the target image (611), the reference image (610), and the reference image (612) to a Gaussian function for each of the pixel values of the pixels constituting 602). Is multiplied by a weighting coefficient using, and the pixel value of the pixel constituting the corrected target block (601) is calculated.
  • the filter processing for correcting the pixel value of the target block (601) to be close to the transition of the change in the pixel value from the pixel constituting the reference block (600) to the pixel constituting the reference block (602). Can be performed. Details of this pixel value correction example will be described later.
  • I0 (401) is in the first buffer unit (103) in FIG. 1
  • I9 is in the second buffer unit (104) in FIG. 1
  • P1 (402) to P8 (409) are in the image in FIG.
  • the images stored in the third buffer unit (105) in FIG. 1 and subjected to the filter processing on P1 (402) to P8 (409) by the filter processing described above are respectively P1 ′ to P8 ′.
  • the switching unit (107) first outputs I0 read from the first buffer unit (103).
  • the filtered images P1 'to P8' read from the filter processing unit (106) are output.
  • I9 read from the second buffer unit (104) is output.
  • I9 (410) stored in the second buffer unit (104) in FIG. 1 is referred to as the “first decoded image” in the above description, and the intra prediction code that is temporally behind I9 (410).
  • I18 (419) is a “second decoded image” in the first buffer unit (103) of FIG. 1 as a decoded image encoded using the encoding means
  • the first decoded image I9 Filter processing from P10 (411) to P17 (418) is performed using (410) and the second decoded image I18 (419).
  • each image handled in FIGS. 11 to 14 indicates a series of pixels as shown in FIG. 18A or FIG. 18B, for example.
  • FIG. 18A is an example corresponding to FIG.
  • the decoded images (610), (611), and (612) are all the same as FIG. 6 (a).
  • the decoded images (6105) and (6115) are images arranged between the decoded image (610) and the decoded image (611), and images arranged between the decoded image (611) and the decoded image (612), respectively. is there.
  • Blocks (600), (601), and (602) are all the same as in FIG. 6 (a), and block (601) uses blocks (601) and (602) as reference blocks in the flowchart of FIG. This is the target block to be extracted.
  • Both the block (6005) and the block (6015) are target blocks from which the block (601) and the block (602) are extracted as reference blocks in the same manner as the block (601). Since these blocks all belong to the still area, they are at the same position on the screen.
  • FIG. 18B is an example corresponding to FIG.
  • the decoded images (610), (611), and (612) are all the same as FIG. 6 (b).
  • the decoded images (6105) and (6115) are images arranged between the decoded image (610) and the decoded image (611), and images arranged between the decoded image (611) and the decoded image (612), respectively. is there.
  • each of these blocks includes a moving object (track (622)) that is a moving area, and therefore is in a position where it has moved following the movement of the moving object.
  • the pixels in the moving area such as the pixels (633), (6335), (634), (6345), and (635)
  • all of the pixels at the position moved following the movement of the moving object are the pixels values shown in FIG.
  • FIG. 18B shows a case where the moving object (track (622)) is moving at a constant speed, so that the pixels (633), (6335), (634), (6345), (635) is shown on a straight line, but the speed of the moving object (track (622)) may not be constant. However, in this case as well, the pixel remains at the position moved following the movement of the moving object.
  • 11 to 14 show pixel value correction examples according to the present embodiment, taking as an example pixel values on a plurality of images having the relationship shown in FIG. 18 described above. Details will be described below.
  • FIG. 11 shows an example of pixel values of an input image and a decoded image for I0 (401) to I18 (419) shown in FIG.
  • filtering processing is performed on the decoded image of FIG. 11 based on the above-described Expression 1 and Expression 2.
  • Equation 9 is calculated only for w0, but w1 and w2 can be similarly calculated as w1 ⁇ 0.5065 and w2 ⁇ 0.0145.
  • FIG. 13 shows the results of performing the above processing from P1 to P17.
  • the pixel values that reduce the pixel value difference between the pixel on the object of the P picture immediately before the I picture and the pixel on the object of the I picture are reduced. Perform correction filter processing. Thereby, the flickering of the screen can be reduced.
  • the pixel value of the first intra-screen predictive decoded image in the decoded image including the intra-screen predictive decoded image and the inter-screen predictive decoded image, the pixel value of the first intra-screen predictive decoded image .
  • Filter processing is performed by a correction filter on the inter-screen predictive decoded image positioned in time with the intra-predicted decoded image.
  • the pixel value of the inter-screen prediction decoded image is corrected using the pixel value of the intra-screen prediction decoded image that is closer to the original image than the inter-screen prediction decoded image, the pixel value closer to the original image is set. Flicker noise can be reduced while reproducing.
  • flicker noise can be more suitably reduced in a decoded image including an intra-screen predictive decoded image and an inter-screen predictive decoded image.
  • FIG. 4A is shown as an example of the first buffer unit (103), the second buffer unit (104), and the third buffer unit (105) in FIG.
  • FIG. 4A is the decoded image (151) of FIG. 1, I0 (401) is stored in the first buffer unit (103) as a decoded image encoded by using the intra prediction encoding means. .
  • I9 (410) is stored in the second buffer unit (104) as a decoded image encoded using the intra prediction encoding means that is temporally behind I0 (401).
  • P10 (411) to P17 (418) that are later in time than I9 (410) are stored in the third buffer unit (105).
  • the details of the filter processing can be applied to the same method as described in the first embodiment, and thus the description thereof is omitted here.
  • I0 (401) is in the first buffer unit (103) in FIG. 1 and I9 (410) is in the second buffer unit (104) in FIG. 1, and P10 (411) to P17 ( 418) are stored in the third buffer unit (105) of FIG. 1, and the images after P10 to P17 are subjected to the filtering process by the filtering process described above are denoted as P10 ′ to P17 ′, respectively.
  • the switching unit (107) first outputs I9 (410) read from the second buffer unit (104).
  • the filtered images P10 'to P17' read from the filter processing unit (106) are output.
  • the I0 (401) stored in the first buffer unit (103) is not output at this timing because it has already been output after the filter processing for P1 (402) to P8 (409) performed before the above description.
  • the processing described above makes it possible to perform the filter processing from P10 (411) to P17 (418) in FIG. 4. Subsequent to this filtering processing, the same applies to the processing after P19 (420) in FIG. It is necessary to perform processing.
  • I9 (410) stored in the second buffer unit (104) in FIG. 1 is referred to as the “first decoded image” in the above description, and the intra prediction code that is temporally behind I9 (410).
  • I18 (419) as a “second decoded image” in the first buffer unit (103) of FIG. 1 as a decoded image encoded using the encoding means
  • the first decoded image I9 (410) and the second decoded image I18 (419) are used to perform a filtering process on the decoded image after P19 (420).
  • the pixels of each image illustrated in FIGS. 15 to 17 are pixels at the same position on the image in the still region, and follow the movement of the moving object in the moving region. The pixel at the moved position.
  • FIG. 15 shows an example of the pixel values of the input image and the decoded image for I0 (401) to P17 (418) shown in FIG. 4, and the same numerical values as in FIG. 11 are taken as an example. Then, the pixel values of the decoded image in P1 to P7 and I8 in FIG. 11 are deleted. This clearly shows that corrections from P10 to P17 are performed using the decoded images of I0 and I9.
  • the image (I18) subjected to intraframe prediction encoding that is temporally behind P10 to P17 is unknown, this is estimated from I0 and I9.
  • the luminance change from I0 to I18 is a linear characteristic.
  • the interframe distance of I0 to I9 is T back
  • the interframe distance of I9 to I18 is T fwd
  • the pixel value of the decoded image of I0 is S I0_dec
  • the pixel value of the decoded image of I9 is S I9_dec
  • I18 S I18 — pred can be calculated as the following equation 11 for the predicted pixel value of the decoded image.
  • FIG. 16 shows the result of performing the above processing from P10 to P17.
  • the correction filter processing is performed. Thereby, the flickering of the screen can be reduced.
  • the pixel value of the first intra-screen predictive decoded image in the decoded image including the intra-screen predictive decoded image and the inter-screen predictive decoded image, the pixel value of the first intra-screen predictive decoded image .
  • Filter processing is performed on the inter-screen prediction decoded image by a correction filter.
  • the filtering process is performed on the decoded image that is later in time than the plurality of images used for the correction filter. Then, in the image display apparatus according to the first embodiment, a maximum delay of 1 GOP occurs to perform the filtering process, and a buffer for storing decoded image information for 1 GOP is required. In the image display apparatus according to the second embodiment, the delay can be reduced, and the buffer for storing the decoded image can be reduced.
  • the image display device in addition to the effects of the image display device according to the first embodiment, it is possible to reduce delay for performing filter processing and reduce the hardware scale, which is more preferable. In addition, flicker noise can be reduced.
  • FIG. 10 is a configuration diagram illustrating an example of a recording / playback apparatus to which the image signal processing according to the first embodiment or the second embodiment is applied.
  • the image signal processing unit (1003) has the same configuration as the image decoding unit (102) and the image processing unit (109) of the first embodiment. Therefore, the details of the operation of the image signal processing unit (1003) are as described in the first embodiment or the second embodiment, and thus the description thereof is omitted.
  • the recording / reproducing apparatus (1000) includes an input unit (1001) for inputting an encoded image signal encoded by a predetermined encoding method, and recording or reproduction of content input from the input unit (1001), or described later.
  • a recording / playback switching unit (1002) that switches between playback of images stored in the content storage unit, and a content storage unit (1004) that records content when the recording / playback switching unit (1002) performs a recording operation.
  • the recording / playback switching unit (1002) performs the image signal processing described in the first or second embodiment on the content input from the input unit (1001) or the encoded image signal read from the content storage unit (1004).
  • the video recording / playback apparatus performs the filtering process as described in the first or second embodiment on the decoded image signal in the image signal processing unit (1003).
  • DESCRIPTION OF SYMBOLS 100 ... Image display apparatus 101 ... Input part 102 ... Image decoding part 103 ... 1st buffer part 104 ... 2nd buffer part 105 ... 3rd buffer part 106 ... Filter part 107 ... Switching part 108 ... Output part 150 ... Encoded image data 151... Decoded image 152. Decoded image output from the first buffer unit (103) 153. Decoded image output from the second buffer unit (104) 154... Third buffer unit (105) Decoded image 155 ... decoded image after filtering 156 ... decoded image output from the switching unit (107) 200 ... image encoding device 201 ... block dividing unit 202 ... subtractor 203 ...
  • DCT unit 204 ... quantization Unit 205 ... variable length coding unit 206 ... inverse quantization unit 207 ... inverse DCT unit 208 ... adder 209 ... frame memory 210
  • Motion search unit 250 ... input image 251 ... input image block 252 ... difference image signal 253 ... quantized data 254 ... encoded image data 255 ... reference image 256 ... prediction image block 257 ... motion information 301 ... variable length decoding unit 302 ... Inverse quantization unit 303 ... Inverse DCT unit 304 ... Adder 305 ... Frame memory 306 ... Motion compensation unit 350 ... Encoded image data 351 ... Difference block data 352 ... Reference image 353 ... Decoded image 354 ... Motion information 1000 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 本発明は、より好適にフリッカノイズを低減する画像処理技術に関する。本発明の画像表示装置は、画面内予測と画面間予測とにより符号化された画像を含む符号化画像データを入力する入力部と、前記符号化画像データを復号化する画像復号化部と、前記画像復号化部より出力された復号画像に対してフィルタ処理を行うフィルタ部と、前記フィルタ処理後の画像を表示する表示部とを備える。前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、少なくとも画面内予測により復号化された復号画像の時間的に直前の画面間予測により復号化された復号画像内の画素値を補正する処理を行う。

Description

画像表示装置、録画再生装置、及び画像処理方法
 本発明は、符号化された画像信号を復号して再生、表示する画像処理技術に関する。
 TV信号などの動画像データを高能率に符号化して記録あるいは伝送する方法としてMPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、H.264/AVC(Adbanced Video Coding)規格等が定められている。
 一般に動画像符号化では、画像の空間方向または時間方向の相関性を利用した予測符号化、周波数変換、量子化、可変長符号化等の処理により高い圧縮効率を実現するが、左記の符号化の過程では元の信号に戻らない非可逆符号化方法が用いられているため、復号画像では元の原画像に対して信号の劣化が生ずることとなる。以下では、上記符号化によって生ずる信号の劣化を符号化歪みと呼ぶ。
 符号化歪みの1つとして挙げられるフリッカノイズは、復号画像において1フレーム毎あるいは数フレーム毎に輝度や色が大きく変化するために画面がちらついて見える劣化である。フリッカノイズを軽減する技術が特許文献1に開示されている。
特開2006-229411号公報
 しかしながら、特許文献1に記載した技術は、動画像を符号化する際に画面内予測符号化(1枚の画面内の画像信号の相関を利用した予測符号化)のみを用いた場合の復号画像に対してフリッカノイズを低減する技術を提案したものであり、一般的な動画像符号化で用いられる画面間予測符号化(複数の画面間の画像信号の相関を利用した予測符号化)を用いて符号化が行われた場合に対しては、フリッカノイズが必ずしも十分に低減されないという課題があった。
 本発明は上記課題を鑑みてなされたものであり、その目的は、より好適にフリッカノイズを低減することである。
 本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
 本発明によれば、より好適にフリッカノイズを低減する。
本発明の実施例1の画像表示装置の構成ブロック図である。 本発明の実施例1の画像表示装置に入力される符号化画像データを生成する符号化装置の一例を示すブロック図である。 本発明の実施例1の画像復号化部の詳細を示すブロック図である。 符号化画像データの構成およびフリッカ歪みの発生例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例3の録画再生装置の構成ブロック図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例1の画像処理部の動作例を示す説明図である。 本発明の実施例2の画像処理部の動作例を示す説明図である。 本発明の実施例2の画像処理部の動作例を示す説明図である。 本発明の実施例2の画像処理部の動作例を示す説明図である。 本発明の各実施例の画像処理部の動作例を示す説明図である。
 以下、本発明の実施例を説明する。
 図1は、本発明の実施例1の画像表示装置の構成ブロック図である。
 図1に示す画像表示装置(100)は、入力部(101)、画像復号化部(102)、第1のバッファ部(103)、第2のバッファ部(104)、第3のバッファ部(105)、フィルタ部(106)、切替部(107)、出力部(108)を備える。ここで、第1のバッファ部(103)、第2のバッファ部(104)、第3のバッファ部(105)、フィルタ部(106)、切替部(107)は画像処理部(109)を構成している。上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
 以下に、図1に示した画像表示装置の動作について説明する。
  図1において、入力部(101)より入力される符号化画像データ(150)は例えば図2に示す画像符号化装置で生成されるデータである。画像復号化部(102)は上記符号化画像データを復号して復号画像(151)を生成する。第1のバッファ部(103)は復号画像(151)のうち、画面内予測符号化手段を用いて符号化された第1の復号画像を格納する。第2のバッファ部(104)は復号画像(151)のうち、上記第1の復号画像より時間的に後ろとなる画面内予測符号化手段を用いて符号化された第2の復号画像を格納する。第3のバッファ部(105)は復号画像(151)のうち、上記第1の復号画像より時間的に後ろであり、かつ上記第2の復号画像より時間的に前となる1枚以上の復号画像を格納する。
 フィルタ部(106)は第3のバッファ部(105)より読み出した復号画像(154)に対して、第1のバッファ部(103)から読み出した第1の復号画像(152)および第2のバッファ部(104)より読み出した第2の復号画像(153)の信号を用いて補正フィルタ処理を行う。切替部(107)は、第1の復号画像(152)、第2の復号画像(153)およびフィルタ処理部(106)から読み出したフィルタ処理復号画像(155)を切り替えて出力する。この時、切替部(107)より出力される画像信号(156)は画像復号化部(102)から出力される復号画像(151)と同じ順番になることとする。出力部(108)は切替部(107)から出力される画像信号(156)を表示出力する。
 ここで、本実施例に係る画像表示装置に入力される符号化画像データを生成する動画像符号化方法について説明する。一般に、動画像符号化では、符号化対象画像と同一画面内の符号化済み画像を参照画像として利用する画面内予測符号化方法と、時間軸上で前後の画面を参照画像として利用する画面間予測符号化方法の2つの符号化方法が適応的に用いられる。例えばMPEG-2規格では上記2つの符号化方法を切り替える単位としてピクチャが用いられ、画面内予測符号化方法のみを用いて符号化を行うピクチャをIピクチャと呼ぶ。以降の説明で、単にIと表現した場合はIピクチャを示す。一方、画面間予測符号化方法を用いて符号化を行うピクチャについては、符号化済みの時間軸上で過去のピクチャからの画面間予測符号化(前方予測)を行うことが可能なピクチャをPピクチャ、左記に加えて符号化済みの時間軸上で未来のピクチャからの画面間予測符号化(後方予測)、および過去と未来の両方の符号化済みピクチャを用いた画面間予測符号化(双方向予測)を行うことが可能なピクチャをBピクチャと呼ぶ。以降の説明で、単にP、Bと表現した場合はそれぞれPピクチャ、Bピクチャを示す。復号・表示時におけるランダムアクセス等を考慮した際、PピクチャおよびBピクチャの復号には、参照先となるピクチャが必要となることから、一般には他のピクチャを参照しないで復号が可能なIピクチャを定期的に設けるデータ形式が用いられる。図4(a)はIピクチャ間隔=9を例にした時の符号化データ形式を示す。図4では、説明の簡略化のため、IピクチャとPピクチャのみを用いた時の符号化データ例を示している。
 次に、本実施例において取り扱うフリッカノイズについて説明する。一般に動画像には時間方向に高い相関があるため、Pピクチャ、Bピクチャでは画面間予測符号化方法を選択する割合が高くなる。そのため、符号化によって生じる符号化歪みは上記画面間予測によって、Iピクチャ以降のPピクチャ、Bピクチャに伝播することとなる(図4(a)におけるI0からP8および、I9からP17)。一方、Iピクチャでは画面間予測符号化を行わないため、上記の符号化歪みが伝播しない(図4(a)におけるP8からI9およびP17からI18)。このため、符号化歪みの性質がIピクチャの間隔で変化し、復号画像において輝度や色が大きく変化するために画面がちらついて見えるものである。左記の現象は例えば、画像信号の値が徐々に変化するフェード・インやフェード・アウト等において特に目立ちやすくなる。これを図4に当てはめてみると、入力画像では図4(b)に示すように時間とともに信号の値が大きくなっているのに対して、復号画像では、一例として図4(c)に示すようにI0からP8まで信号の変化が小さく、P8からI9において信号が大きく変化し、これがフリッカノイズとして視認されるものである。本発明では、上記のようなフリッカを軽減し、高画質に表示することが可能な画像表示装置および録画再生装置を提供する。
 ここで、図2を用いて、図1の画像表示装置(100)に入力される符号化画像データ(150)を生成する画像符号化装置(200)について説明する。
 画像符号化装置(200)において、ブロック分割部(201)は入力画像(250)をブロックに分割する。減算器(202)は、左記の分割入力画像ブロック(251)と、後述の符号化モード選択部(212)より出力される予測画像ブロック(256)との減算処理を行い、差分画像信号(252)を生成する。DCT部(203)は減算器(202)から出力される差分画像信号(252)を画像ブロック毎にDiscrete Cosine Transfer(離散コサイン変換、以下DCT変換と記載)して量子化部(204)に出力する。量子化部(204)は入力されたDCT変換データを量子化し、量子化データ(253)を生成する。可変長符号化部(205)は量子化データ(253)を可変長符号化し、伝送回線にあわせて符号化画像データ(254)を出力する。一方、逆量子化部(206)は量子化データ(253)を逆量子化し、逆量子化データを出力する。逆DCT部(207)は逆量子化データを逆DCT変換して差分ブロックデータを生成する。加算器(208)は差分ブロックデータと、符号化モード選択部(212)からの予測画像ブロック(256)を加算して復号画像を生成する。フレームメモリ(209)は左記の復号画像を次に符号化する入力画像に対する参照画像として用いるために格納する。動き探索部(210)は、フレームメモリ(209)から読み出した参照画像(255)に対して動き探索を行い、分割入力画像ブロック(251)との差が最小となる予測画像を求める。また、画面内予測部(211)はフレームメモリ(209)から読み出した参照画像から画面内予測を行い、分割入力画像ブロック(251)との差が最小となる予測画像を求める。符号化モード選択部(212)は動き探索部(210)で算出した予測画像と画面内予測部(211)で算出した予測画像のいずれか片方を選択し、これを予測画像ブロック(256)として減算器(202)に出力する。符号化モード選択部(212)が動き探索部(210)で算出した予測画像を選択した時は上記予測画像を求めた時の画面間予測符号化方法を示す情報を符号化モード(257)として可変長符号化部(205)に出力する。また、符号化モード選択部(212)が画面内予測部(211)で算出した予測画像を選択した時は上記予測画像を求めた時の画面内予測方法を示す情報を符号化モード(257)として可変長符号化部(205)に出力する。可変長符号化部(205)は量子化データ(253)とともに上記符号化モード(257)を可変長符号化して出力する。
 図3は、図1の画像復号化部(102)の構成例を示したブロック図である。以下では、図3に示した画像復号化部について説明する。可変長復号化部(301)は入力された符号化画像データ(350)を可変長復号し、量子化データを逆量子化部(302)に出力する。逆量子化部(302)は量子化データを逆量子化し、逆量子化データを出力する。逆DCT部(303)は逆量子化データを逆DCT変換して差分ブロックデータ(351)を出力する。加算器(304)は差分ブロックデータ(351)と符号化モード選択部(308)から出力した予測画像(352)を加算し、復号画像を生成する。生成された復号画像は復号画像データ(353)として出力されるとともに、次の符号化データの参照画像として使用するためフレームメモリ(305)に入力する。動き補償部(306)は次に復号する符号化画像データが画面間予測符号化方法で符号化されていた場合に可変長復号部(301)から符号化モード(354)を受け取り、上記符号化モードに該当する画像をフレームメモリ(306)から読み出して予測画像を生成し、符号化モード選択部(308)出力する。画面内予測部(307)は次に復号する符号化画像データが画面内予測符号化方法で符号化されていた場合に可変長復号部(301)から符号化モード(354)を受け取り、フレームメモリ(306)から読み出した画像から上記符号化モードに該当する予測画像(352)を生成し、符号化モード選択部(308)に出力する。符号化モード選択部(308)は、復号する符号化画像データが画面間予測符号化方法で符号化されていた場合に動き補償部(306)から出力される予測画像を選択して加算器(304)に出力する。一方、復号する符号化画像データが画面内予測符号化方法で符号化されていた場合に画面内予測部(307)から出力される予測画像を選択して加算器(304)に出力する。
 次に、前述の図4(a)を用いて、図1の第1のバッファ部(103)、第2のバッファ部(104)、第3のバッファ部(105)について説明する。
 図4(a)を図1の復号画像(151)とした時、画面内予測符号化手段を用いて符号化された復号画像としてI0(401)を第1のバッファ部(103)に格納する。次に、I0(401)に対して時間的に後ろとなる画面内予測符号化手段を用いて符号化された復号画像としてI9(410)を第2のバッファ部(104)に格納する。最後に、上記I0(401)より時間的に後ろであり、かつI9(410)より時間的に前となるP1(402)~P8(409)を第3のバッファ部(105)に格納する。
 次に、図5及び図6を用いて、図1のフィルタ部(106)の動作について説明する。図5はフィルタ部(106)の動作を示したフローチャートである。以下では、図6の動作例に沿って、図5のフローチャートを説明する。
 図6(a)(b)において、画像(610)は図1における第1のバッファ部(103)から読み出した復号画像を示す。画像(611)は図1における第3のバッファ部(105)から読み出した復号画像を示す。画像(612)は図1の第2のバッファ部(104)から読み出した復号画像を示す。画像(611)が補正フィルタ処理の対象画像である。
 まず、図6(a)について説明する。図6(a)は、画像(611)のブロック(601)について補正フィルタ処理を行う場合を示している。図6(a)において、画像(610)は画像(611)の時間的にT1だけ前方に位置する画像であり、画像(612)は画像(611)の時間的にT2だけ後方に位置する画像である。図6(a)の例では、画像(610)、画像(611)、画像(612)と時間が経過するにつれて、オブジェクトであるトラック(622)が画面左から画面右へと移動している。これに対し、背景部(620)、路面部(621)は静止している。以下、各画面の説明においては、必要に応じてトラック(622)の占める領域を動領域と称し、背景部(620)、路面部(621)の閉める領域をそれぞれ静止領域と称することとする。
 また、図6(a)における補正フィルタ処理の対象ブロックはブロック(601)であるが、補正フィルタ処理に用いる参照ブロックは、画像(610)のブロック(600)及び画像(612)のブロック(602)である。参照ブロックを決定する方法の詳細は後述するが、本実施例に係る参照ブロックを決定方法を用いれば、静止領域に属するブロックが補正フィルタ処理の対象ブロックである場合には、参照ブロックの画面上の位置は、補正フィルタ処理の対象ブロックと変わらない。したがって、図6(a)の例において、参照ブロック(600)、参照ブロック(602)の画面上における位置は、補正フィルタ対象ブロック(601)の画面上における位置と変わらない。
 また、本実施例に係る補正フィルタ処理は参照ブロックと補正フィルタ対象ブロックとの間で画像の輝度が時間的に変化する場合に生じるフリッカノイズを低減するものである。よって、図6(a)においては、その効果が最も確認しやすい例を示している。すなわち、補正フィルタ対象ブロック(601)と参照ブロック(600)と参照ブロック(602)とが属する静止領域である背景部(620)の輝度が、画像(610)から画像(611)、画像(612)へと時間が変化している場合を示している。
 次に、図6(b)について説明する。図6(b)は、画像(611)のブロック(604)について補正フィルタ処理を行う場合を示している。図6(b)においても、画像(610)と画像(611)と画像(612)の位置関係や、トラック(622)からなる動領域と背景部(620)、路面部(621)からなる静止領域との関係は図6(a)の例と同様であるので説明を省略する。
 ここで、図6(b)において図6(a)の例と異なる点について説明する。図6(b)における補正フィルタ処理の対象ブロックはブロック(604)であるが、補正フィルタ処理に用いる参照ブロックは、画像(610)のブロック(604)及び画像(612)のブロック(605)である。図6(a)と同様に参照ブロックを決定する方法の詳細は後述するが、本実施例に係る参照ブロックを決定方法を用いれば、動領域を含むブロックが補正フィルタ処理の対象ブロックである場合には、参照ブロックの画面上の位置は、動領域を構成する移動オブジェクトの移動に追従して変化する。したがって、補正フィルタ対象ブロック(603)には移動オブジェクトであるトラック(622)の一部分が含まれる。よって、参照ブロックの画面上の位置は、トラック(622)の動きに追従し、それぞれ図6(b)に示される参照ブロック(603)、参照ブロック(605)の位置となる。
 さらに、本実施例に係る補正フィルタ処理は参照ブロックと補正フィルタ対象ブロックとの間で画像の輝度が時間的に変化する場合に生じるフリッカノイズを低減するものである。ここで、本実施例に係る補正フィルタ処理は、移動するオブジェクト上の画素の輝度が時間的に変化する場合に生じるフリッカノイズも低減することが可能である。よって、図6(b)においては、この移動オブジェクト上のフリッカノイズの低減効果が最も確認しやすい例を示すために図6(a)と異なる輝度変化の例を示している。すなわち、補正フィルタ対象ブロック(604)と参照ブロック(603)と参照ブロック(605)とが含む動領域(トラック(622))を構成する画素の輝度が、画像(610)から画像(611)、画像(612)へと時間が変化している場合を示している。
 以上説明した図6(a)(b)の例を用いて、図1のフィルタ部(106)の動作の流れを説明する。まずは、図6(a)の例を用いて説明する。図5のフローチャートでは、最初に、図1における第3のバッファ部(105)から読み出した復号画像(図6(a)(611))からフィルタ処理を行う対象ブロック(図6(a)(601))を抽出する(図5(S501))。次に、図1の第1のバッファ部(103)から読み出した復号画像(図6(a)(610))から補正に用いる参照ブロック(図6(a)(600))を抽出する(図5(S502))。次に、図1の第2のバッファ部(104)から読み出した復号画像(図6(a)(612))から補正に用いる参照ブロック(図6(a)(602))を抽出する(図5(S503))。上記のステップ(S502)及び(S503)における、参照ブロック(図6(a)(600))および参照ブロック(図6(a)(602))の抽出方法は後述する。次に、対象ブロック(601)におけるi番目の画素についてフィルタ処理を行う(図5(S504))。フィルタ処理の詳細は後述する。次に、対象ブロック(601)に含まれるすべての画素についてフィルタ処理が終了したかを判定し(図5(S505))、対象ブロック(601)内にフィルタ処理が終了していない画素がある場合(図5(S505)の判定結果がNOの時)は、次の画素についてフィルタ処理を行う(図5(S506))。一方、対象ブロック(601)内にフィルタ処理が終了していない画素がない場合(図5(S505)の判定結果がYESの時)は、対象ブロック(601)が復号画像(611)内の最後のブロックかを判定する(図5(S507))。復号画像(611)内にフィルタ処理が終了していないブロックがある場合(図5(S507)の判定結果がNOの時)は、次のブロックについてフィルタ処理を行う(図5(S508))。一方、復号画像(611)内にフィルタ処理が終了していないブロックがない場合(図5(S507)の判定結果がYESの時)は、本処理を終了する。
 以上、図5のフローチャートの動作を図6(a)の例をもちいて説明したが、図6(b)の例であっても、対象ブロックをブロック(601)からブロック(604)に変更し、ステップ(S502)及び(S503)において抽出される参照ブロックが参照ブロック(600)(602)から参照ブロック(603)(605)にそれぞれ変わる点が相違するのみあり、その他の処理は同様である。すなわち、図5のフローチャートの動作は、図6(a)(b)のそれぞれ例に適用することが可能である。
 次に、図5における補正に用いる参照ブロックを抽出するステップ(S502)及び(S503)の詳細について説明する。以下の参照ブロックの抽出処理は、図6(a)(b)の例いずれにも同様の処理を適用可能である。
 よって、以下の説明において「対象ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(611)中の対象ブロック(601)を意味し、図6(b)の例に適用する場合は、復号画像(611)中の対象ブロック(604)を意味するものとする。
 同様に、以下の説明において復号画像(610)についての「参照ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(610)中の参照ブロック(600)を意味し、図6(b)の例に適用する場合は、復号画像(610)中の参照ブロック(603)を意味するものとする。
 また、同様に、以下の説明において復号画像(612)についての「参照ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(612)中の参照ブロック(602)を意味し、図6(b)の例に適用する場合は、復号画像(612)中の参照ブロック(605)を意味するものとする。
 ステップ(S502)及び(S503):参照ブロックを抽出方法の例は以下のとおりである。まず、画像(610)内の参照ブロックを求める方法として、対象ブロックに含まれる画素について、画像(610)内のブロックに含まれる画素との差分絶対値和を算出し、この差分絶対値和が最小となるブロックを選択すればよい。
 以下では、上記動作について図8を用いて説明する。図8(b)は復号画像(611)中の対象ブロックを示す。説明の簡略化のため、ここではブロックのサイズを2×2としている。復号画像(611)中の対象ブロックに含まれる画素値をc00、c01、c10、c11とする。また、図8(a)は復号画像(610)を示す。復号画像(610)中の画素値をaij(i=0,2,4、j=0,2,4)とする。この時、対象ブロックと同じサイズとなるブロックとして、ブロック(801)、ブロック(802)、ブロック(803)、ブロック(804)の4つを候補としてあげることが出来る。例えば対象ブロックとブロック(801)についての差分絶対値和は以下の数式3のように算出することが可能である。
Figure JPOXMLDOC01-appb-M000001
 上記の数式3と同様、ブロック(802)、ブロック(803)、ブロック(804)についても差分絶対値和を算出することが可能であり、上記4つのブロックの中から差分絶対値和が最小となるブロックを参照ブロックとする。
 また、上記は復号画像(610)中の既存の画素値を用いて参照ブロックを求めた場合の動作例であるが、例えば参照画像(610)において元々存在しない画素を補間して生成し、該生成した補間画素を用いて最適なブロックを求めることも可能である。図8(a)において、bij(i=0~4、j=0~4)は補間画素である。補間画素bijは次の演算により生成することが可能である。
 例えば、図8(a)における画素a00とa02の水平方向の中間位置(1/2画素の位置)に当たる画素をb01とするとき、画素値b01は数式4により求めることが可能である。
Figure JPOXMLDOC01-appb-M000002
 同様に画素a00とa20の垂直方向の中間位置に当たる補間画素b10についても、数式5から求めることが可能である。
Figure JPOXMLDOC01-appb-M000003
 さらに、水平方向、垂直方向いずれも中間位置となる画素b11は、2つの補間画素b01、b21から、数式6のように算出することが可能である。
Figure JPOXMLDOC01-appb-M000004
 上記は1/2画素位置での補間画素を生成したものであるが、タップ数を増やすことでこれを拡張すれば、さらに高精度の1/4、1/8、1/16精度での補間画素を生成することも可能である。このようにして生成した補間画素を用いることで、復号画像(610)中の参照ブロックの算出を小数画素精度で行うことができる。例えば図6(a)のブロック(805)は、1/2精度の補間画素b11、b13、b31、b33で構成した領域であり、復号画像(611)中の対象ブロックとブロック(805)についての差分絶対値和は以下の数式7のように算出することが可能である。
Figure JPOXMLDOC01-appb-M000005
 このように、小数画素精度での評価を行うことにより、整数精度と比べて更に精度を向上することが可能である。
  以上、図6に記載の復号画像(610)中の参照ブロックを求める方法の一例を説明したが、上記の説明中、復号画像(610)中の参照ブロックを復号画像(612)中の参照ブロックに置き換えれば、復号画像(612)中の参照ブロックついても同様の方法により抽出することが可能であるので、説明を省略する。
 また、参照ブロックを別の方法により算出することも可能である。以下では、参照ブロックを算出する別の一例について図9を用いて説明する。図9における画像(610)(611)(612)は図6と同一内容を示す。図9における対象ブロック(901)は、図6におけるブロック(601)またはブロック(604)に相当する。ここで、図9において、対象ブロック(901)中の画素を中心として点対称となる復号画像(610)上のブロックをブロック(900)、復号画像(612)上のブロックをブロック(902)とする。この時、対象ブロック(901)内の画素とブロック(900)内の画素との差分絶対値和(SATD1)と、対象ブロック(901)内の画素とブロック(902)内の画素との差分絶対値和(SATD2)をそれぞれ算出し、SATD1とSATD2の和が最小となる時のブロック(900)、(902)をそれぞれ参照ブロックとする。
 以上、図6、図8、図9を用いて説明した参照ブロックの抽出方法を用いれば、例えば、図6(a)の場合では、静止領域に含まれる復号画像(611)中の対象ブロック(601)に対応する参照ブロックとして、復号画像(610)中の参照ブロック(600)、復号画像(612)中の参照ブロック(602)が抽出される。既に説明したとおり、復号画像(611)中の対象ブロック(601)と、復号画像(610)中の参照ブロック(600)と、復号画像(612)中の参照ブロック(602)とは、それぞれの画像中の位置が同一である。これは、静止領域においては、時間的位置の異なる複数の画像間において、画像中の同一の位置にあるブロック間の差分値が低くなるからである。
 また、同じく、図6、図8、図9を用いて説明した参照ブロックの抽出方法を用いれば、例えば、図6(b)の場合では、動領域である移動オブジェクト(トラック(622))を含む復号画像(611)中の対象ブロック(604)に対応する参照ブロックとして、復号画像(610)中の参照ブロック(603)、復号画像(612)中の参照ブロック(605)が抽出される。復号画像(611)中の対象ブロック(601)は、復号画像(610)中の参照ブロック(603)の位置から、移動オブジェクト(トラック(622))の動きに追従して移動した位置関係にある。また、復号画像(612)中の参照ブロック(602)は、復号画像(611)中の対象ブロック(604)の位置から、移動オブジェクト(トラック(622))の動きに追従して移動した位置関係にある。これは、動領域においては、時間的位置の異なる複数の画像間において、移動オブジェクトの動きの追従して移動した位置にあるブロック間の差分値が低いからである。
 また上記の動作例では、例えば、図6(b)の復号画像(611)中の対象ブロック(604)のように、背景部とトラックが混在したブロック(604)について、ブロック内の全画素について数式3~数式7に基づいて評価を行って参照ブロックを求めている。ここで、背景部は信号レベルが時間的に変化していることから、ブロック(604)のうちトラックの領域のみについて数式3~数式7に基づいて評価を行い、参照ブロックを求めることにより、参照ブロックの抽出精度を向上させることも可能である。これは、ブロック(604)から背景領域とトラック領域を分離する処理を追加することにより実現できる。
 以上説明した参照ブロックを抽出方法を用いることにより、図5のステップ(S502)及び(S503)は参照ブロックの決定・抽出を行うことができる。
 次に、図5(S504)に記載のフィルタ処理の詳細を説明する。以下の説明においては、図5のステップ(S502)及び(S503)の説明と同様に、「対象ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(611)中の対象ブロック(601)を意味し、図6(b)の例に適用する場合は、復号画像(611)中の対象ブロック(604)を意味するものとする。
 同様に、以下の説明において復号画像(610)についての「参照ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(610)中の参照ブロック(600)を意味し、図6(b)の例に適用する場合は、復号画像(610)中の参照ブロック(603)を意味するものとする。
 また、同様に、以下の説明において復号画像(612)についての「参照ブロック」との表現は、図6(a)の例に適用する場合は、復号画像(612)中の参照ブロック(602)を意味し、図6(b)の例に適用する場合は、復号画像(612)中の参照ブロック(605)を意味するものとする。
 図5(S504)に記載のフィルタ処理の動作の一例を数式1用いて説明する。
Figure JPOXMLDOC01-appb-M000006
 数式1において、Scurr(i)は対象ブロックにおけるi番目の画素のフィルタ処理前の値を、Sfil(i)は対象ブロックにおけるi番目の画素のフィルタ処理後の値を示す。また、Sback(i)は復号画像(610)中の参照ブロックにおけるi番目の画素の値を、Sfwd(i)は復号画像(612)中の参照ブロックにおけるi番目の画素の値を示す。w0、w1、w2はSback(i)、Scurr(i)、Sfwd(i)に対する重み付け係数であり、具体的な設定の一例を数式2に示す。
Figure JPOXMLDOC01-appb-M000007
 数式2において、T1は復号画像(611)と復号画像(610)とのフレーム間距離を、T2は復号画像(611)と復号画像(612)とのフレーム間距離を示す。またf(T)はガウス関数(図7)を示す。数式2では補正対象の復号画像(611)からのフレーム間距離が近くなるほど係数値を大きく設定する。
 すなわち、図1のフィルタ部(106)は、上記の数式1、数式2において示したとおり、補正前の対象ブロック(601)を構成する画素の当該画素値、参照ブロック(600)及び参照ブロック(602)を構成する画素の画素値のそれぞれに対して、対象画像(611)と参照画像(610)、参照画像(612)との時間的なフレーム間距離をガウス関数に適用して算出した係数を用いた重み付け係数を乗じて加算し、補正後の対象ブロック(601)を構成する画素の画素値を算出する。
 これにより、参照ブロック(600)を構成する画素から参照ブロック(602)を構成する画素への画素値の変化の遷移に対して、対象ブロック(601)の画素値が近づくように補正するフィルタ処理を行うことが可能となる。この画素値の補正例の詳細については後述する。
 以下では、図1の切替部(107)の動作について説明する。図4の画像のうち、I0(401)が図1の第1のバッファ部(103)に、I9が図1の第2のバッファ部(104)に、P1(402)~P8(409)が図1の第3のバッファ部(105)に格納され、上記に記載のフィルタ処理によりP1(402)~P8(409)に対してフィルタ処理が行われた後の画像をそれぞれP1’~P8’とする。この時、切替部(107)は最初に第1のバッファ部(103)から読み出したI0を出力する。次にフィルタ処理部(106)から読み出したフィルタ処理後の画像P1’~P8’を出力する。最後に、第2のバッファ部(104)から読み出したI9を出力する。なお、以上に記載した処理により図4におけるP1(402)~P8(409)までのフィルタ処理が可能となるものであるが、このフィルタ処理に引き続いて図4のP10(411)~P17(418)についても同様にフィルタ処理を行う必要がある。この場合、図1の第2のバッファ部(104)に格納されたI9(410)を上記記載における「第1の復号画像」とし、I9(410)より時間的に後ろとなる画面内予測符号化手段を用いて符号化された復号画像としてI18(419)を「第2の復号画像」として図1の第1のバッファ部(103)に格納することにより、第1の復号画像であるI9(410)と第2の復号画像であるI18(419)を用いてP10(411)~P17(418)までのフィルタ処理を行うものである。
 以下では、図11~図14を用いて、本実施例に係る画素値の補正例を具体的な画像信号を例示して説明する。
 なお、図11~図14にて取り扱う各画像の画素値は、例えば図18(a)または図18(b)に示されるような一連の画素を示している。
 まず、図18(a)について説明する。図18(a)は、図6(a)に対応する例である。図18において、復号画像(610)、(611)、(612)はいずれも図6(a)と同様である。復号画像(6105)、(6115)は、それぞれ復号画像(610)と復号画像(611)の間に配置される画像、復号画像(611)と復号画像(612)の間に配置される画像である。
 ブロック(600)、(601)、(602)はいずれも図6(a)と同様であり、ブロック(601)は、図5のフローチャートにおいて、参照ブロックとしてブロック(601)、ブロック(602)を抽出する対象ブロックである。ブロック(6005)、ブロック(6015)はいずれも、ブロック(601)と同様に参照ブロックとしてブロック(601)、ブロック(602)を抽出する対象ブロックである。これらのブロックはいずれも静止領域に属するため、画面上の同一位置にある。
 よって、参照ブロック(600)、対象ブロック(6005)、対象ブロック(601)、対象ブロック(6015)、参照ブロック(602)内の同位置にある画素(630)、(6305)、(631)、(6315)、(632)のように、静止領域においておける画素については、画像上の同一位置にある画素の画素値を示したものが図11に示す画素値となる。
 次に、図18(b)について説明する。図18(b)は、図6(b)に対応する例である。図18において、復号画像(610)、(611)、(612)はいずれも図6(b)と同様である。復号画像(6105)、(6115)は、それぞれ復号画像(610)と復号画像(611)の間に配置される画像、復号画像(611)と復号画像(612)の間に配置される画像である。
 よって、ブロック(603)、(604)、(605)はいずれも図6(a)と同様であり、ブロック(604)は、図5のフローチャートにおいて、参照ブロックとしてブロック(603)、ブロック(605)を抽出する対象ブロックである。これらのブロックはいずれも動領域である移動オブジェクト(トラック(622))を含むため、移動オブジェクトの動きに追従して移動した位置にある。
 よって、画素(633)、(6335)、(634)、(6345)、(635)のように動領域においておける画素については、いずれも移動オブジェクトの動きに追従して移動した位置にある画素の画素値を示したものが図11に示す画素値となる。
 なお、図18(b)においては、移動オブジェクト(トラック(622))が等速で移動している場合を示しているので、画素(633)、(6335)、(634)、(6345)、(635)は直線上に示されているが、移動オブジェクト(トラック(622))の速度が等速ではない場合もありうる。しかし、この場合も移動オブジェクトの動きに追従して移動した位置にある画素であることに変わりはない。
 図11~図14では以上説明した図18のような関係を有する複数の画像上の画素値を例に挙げて、本実施例に係る画素値の補正例を示している。以下に詳細を説明する。
 まず、図11は図4に記載のI0(401)~I18(419)について、入力画像と復号画像の画素値の一例を示したものである。以下では図11の復号画像について、前述の式1、式2にもとづいてフィルタ処理を行う。
 図12は図7のガウス関数として以下の式8で算出される値をグラフとして表記したものである。なお、図12では式8においてσ=3としている。
Figure JPOXMLDOC01-appb-M000008
 上記の式8を式2に当てはめてみる。例えば、P1をフィルタ対象画像とした時、T1=1(I0とP1のフレーム間距離)、T2=8(P1とI9のフレーム間距離)となるため、以下の式9のように算出することが可能である。
Figure JPOXMLDOC01-appb-M000009
 式9はw0についてのみ算出したものであるが、w1、w2についても同様にして、w1≒0.5065、w2≒0.0145と算出することが可能である。
 次に、上記で算出したw0、w1、w2および、Sback(i)=13(I0の復号画像)、Scurr(i)=17(P1の復号画像)、Sfwd(i)=30(I9の復号画像)を式1に代入すると、以下の式10のようになり、P1のフィルタ処理後の画素値として15を算出することが可能である。
Figure JPOXMLDOC01-appb-M000010
 以上の処理をP1~P17まで実施した結果を図13に示す。また、図14は、本動作例における入力画像、復号画像、補正画像の画素値をグラフとして図示したものである。図14より、復号画像では例えば時刻=8(P8)から時刻=9(I9)の間で画素値が大きく変動しているのに対し、補正画像ではその変動幅を抑制するように補正処理がなされていることが分かる。
 すなわち、本発明の実施例1に係る画像表示装置では、Iピクチャの直前のPピクチャのオブジェクト上の画素と、Iピクチャのオブジェクト上の画素との画素値の差を低減するような画素値の補正フィルタ処理を行う。これにより画面のちらつきを低減することができる。
 以上のように、本発明の実施例1に係る画像表示装置では、画面内予測復号化画像と画面間予測復号化画像とを含む復号画像において、第1の画面内予測復号画像の画素値と、前記第1の画面内予測復号画像に対して時間的に後ろとなる第2の画面内予測復号画像の画素値とを用いて、前記第1の画面内予測復号画像と前記第2の画面内予測復号画像との時間的に間に位置する画面間予測復号画像に対して補正フィルタによってフィルタ処理を行う。
 これにより画面内予測復号画像をはさんだ時間的に前後となる復号画像について時間方向の信号変化が平滑化され、画面のちらつきを低減し、フリッカノイズを低減することができる。
 さらに、画面間予測復号画像よりもより画素値が原画像に近い画面内予測復号画像の画素値を用いて、画面間予測復号画像の画素値を補正するため、より原画像に近い画素値を再現しながらフリッカノイズを低減することができる。
 すなわち、本発明の実施例1に係る画像表示装置によれば、画面内予測復号化画像と画面間予測復号化画像とを含む復号画像において、より好適にフリッカノイズを低減することができる。
 以下に、本発明の実施例2の画像表示装置について説明する。本実施形態における画像表示装置について、上記の実施例1と同じく図1の構成ブロック図を用いて説明する。なお図1に示す画像表示装置(100)の詳細については説明を省略する。
 以下では、図1の第1のバッファ部(103)、第2のバッファ部(104)、第3のバッファ部(105)について図4(a)を例として示す。
 図4(a)を図1の復号画像(151)とした時、画面内予測符号化手段を用いて符号化された復号画像としてI0(401)を第1のバッファ部(103)に格納する。次に、I0(401)に対して時間的に後ろとなる画面内予測符号化手段を用いて符号化された復号画像としてI9(410)を第2のバッファ部(104)に格納する。次に、上記I9(410)より時間的に後ろとなるP10(411)~P17(418)を第3のバッファ部(105)に格納する。フィルタ処理の詳細については実施例1に記載と同様の方法が適用可能であるため、ここでは説明を省略する。
 以下では、図1の切替部(107)の動作について説明する。図4の画像のうち、I0(401)が図1の第1のバッファ部(103)に、I9(410)が図1の第2のバッファ部(104)に、P10(411)~P17(418)が図1の第3のバッファ部(105)に格納され、上記に記載のフィルタ処理によりP10~P17に対してフィルタ処理が行われた後の画像をそれぞれP10’~P17’とする。この時、切替部(107)は最初に第2のバッファ部(104)から読み出したI9(410)を出力する。次に、フィルタ処理部(106)から読み出したフィルタ処理後の画像P10’~P17’を出力する。第1のバッファ部(103)に格納されているI0(401)は上記説明より以前に行われるP1(402)~P8(409)に対するフィルタ処理後に出力済みのため、このタイミングでは出力しない。以上に記載した処理により図4におけるP10(411)~P17(418)までのフィルタ処理が可能となるものであるが、このフィルタ処理に引き続いて図4のP19(420)以降についても同様にフィルタ処理を行う必要がある。この場合、図1の第2のバッファ部(104)に格納されたI9(410)を上記記載における「第1の復号画像」とし、I9(410)より時間的に後ろとなる画面内予測符号化手段を用いて符号化された復号画像としてI18(419)を「第2の復号画像」として図1の第1のバッファ部(103)に格納することにより、第1の復号画像であるI9(410)と第2の復号画像であるI18(419)を用いてP19(420)以降の復号画像に対してフィルタ処理を行うものである。
 以下では、図15~図17を用いて、本実施例に係る画素値の補正例を具体的な画像信号を例示して説明する。図15~図17に例示する各画像の画素は、図18と同様、静止領域においておける画素については、画像上の同一位置にある画素であり、動領域においては、移動オブジェクトの動きに追従して移動した位置にある画素である。
 図15は、図4に記載のI0(401)~P17(418)について、入力画像と復号画像の画素値の一例を示したものであり、図11と同じ数値を例としているが、図15では図11におけるP1~P7およびI8における復号画像の画素値を削除している。これは、I0およびI9の復号画像を用いて、P10~P17までの補正を行うことを明確に示したものである。
 上記のように、本実施例ではP10~P17に対して時間的に後ろとなる画面内予測符号化された画像(I18)が未知のため、これをI0およびI9より推定する。ここでは一例として、I0~I18までの輝度変化が線形特性であると仮定する。この時、I0~I9のフレーム間距離をTback、I9~I18のフレーム間距離をTfwd、I0の復号画像の画素値をSI0_dec、I9の復号画像の画素値をSI9_decとすると、I18の復号画像の予測画素値をSI18_predは以下の式11のように算出することが可能である。
Figure JPOXMLDOC01-appb-M000011
 これにより、上記で算出したSI18_pred=47およびSI9_dec=30を用い、前述の式8~式10と同様にしてフィルタ処理を行うことが可能である。
  以上の処理をP10~P17まで実施した結果を図16に示す。また、図17は、本動作例における入力画像、復号画像、補正画像の画素値をグラフとして図示したものである。図17より、復号画像では例えば時刻=17(P17)から時刻=18(I18)の間で画素値が大きく変動しているのに対し、補正画像ではその変動幅が抑制されていることが分かる。
 すなわち、本発明の実施例2に係る画像表示装置においても、Iピクチャの直前のPピクチャのオブジェクト上の画素と、Iピクチャのオブジェクト上の画素との画素値の差を低減するような画素値の補正フィルタ処理を行う。これにより画面のちらつきを低減することができる。
 以上のように、本発明の実施例2に係る画像表示装置では、画面内予測復号化画像と画面間予測復号化画像とを含む復号画像において、第1の画面内予測復号画像の画素値と、前記第1の画面内予測復号画像に対して時間的に後ろとなる第2の画面内予測復号画像の画素値とを用いて、前記第2の画面内予測復号画像よりも時間的に後に位置する画面間予測復号画像に対して補正フィルタによってフィルタ処理を行う。
 このように、本発明の実施例2に係る画像表示装置では、補正フィルタに用いる複数の画像よりも、時間的に後の復号画像に対してフィルタ処理を行う。すると、第1の実施例に係る画像表示装置ではフィルタ処理を行うために最大1GOPの遅延が発生するとともに、1GOP分の復号画像情報を格納するためのバッファが必要となったのに対して、第2の実施例に係る画像表示装置では上記遅延を軽減することが可能であり、また復号画像を格納するためのバッファを削減することが可能となる。
 すなわち、本発明の実施例2に係る画像表示装置では、実施例1に係る画像表示装置の効果に加え、フィルタ処理を行うための遅延の軽減やハードウェア規模の削減するが可能となり、より好適にフリッカノイズを低減することができる。
 図10は、実施例1または実施例2の画像信号処理を適用した録画再生装置の例を示す構成図である。ここで、画像信号処理部(1003)は、実施例1の画像復号化部(102)及び画像処理部(109)と同様の構成を有する。よって、画像信号処理部(1003)の動作の詳細は、実施例1または実施例2に記載のとおりであるので説明を省略する。
 録画再生装置(1000)は、所定の符号化方式で符号化された符号化画像信号を入力する入力部(1001)と、入力部(1001)から入力されたコンテンツの録画もしくは再生、または後述のコンテンツ蓄積部に蓄積された画像の再生のいずれかを切り替える録画再生切替部(1002)と、録画再生切替部(1002)が録画動作を行った際にコンテンツを記録するコンテンツ蓄積部(1004)と、録画再生切替部(1002)が入力部(1001)から入力されたコンテンツまたはコンテンツ蓄積部(1004)から読み出した符号化画像信号に実施例1または実施例2に記載された画像信号処理を行う画像信号処理部(1003)と、画像信号処理部(1003)にて処理された画像信号を出力する画像出力部(1005)と、録画再生切替部(1002)から出力した音声信号を出力する音声出力部(1006)と、録画再生装置(1000)の各構成部を制御する制御部(1007)と、ユーザーが録画再生装置(1000)の操作を行うユーザインターフェース部(1008)などを備える。
 本発明の実施例3に係る録画再生装置は、画像信号処理部(1003)において、復号化された画像信号に対して、実施例1または実施例2に記載のとおりのフィルタ処理をおこなう。
 これにより、入力部に入力された、もしくはコンテンツ蓄積部に蓄積され、再生された画面内予測復号化画像と画面間予測復号化画像とを含む復号画像について、より好適にフリッカノイズを低減し、出力する録画再生装置を提供することができる。
 100…画像表示装置
 101…入力部
 102…画像復号化部
 103…第1のバッファ部
 104…第2のバッファ部
 105…第3のバッファ部
 106…フィルタ部
 107…切替部
 108…出力部
 150…符号化画像データ
 151…復号画像
 152…第1のバッファ部(103)より出力される復号画像
 153…第2のバッファ部(104)より出力される復号画像
 154…第3のバッファ部(105)より出力される復号画像
 155…フィルタ処理後の復号画像
 156…切替部(107)より出力される復号画像
 200…画像符号化装置
 201…ブロック分割部
 202…減算器
 203…DCT部
 204…量子化部
 205…可変長符号化部
 206…逆量子化部
 207…逆DCT部
 208…加算器
 209…フレームメモリ
 210…動き探索部
 250…入力画像
 251…入力画像ブロック
 252…差分画像信号
 253…量子化データ
 254…符号化画像データ
 255…参照画像
 256…予測画像ブロック
 257…動き情報
 301…可変長復号化部
 302…逆量子化部
 303…逆DCT部
 304…加算器
 305…フレームメモリ
 306…動き補償部
 350…符号化画像データ
 351…差分ブロックデータ
 352…参照画像
 353…復号画像
 354…動き情報
 1000…録画再生装置
 1001…入力部
 1002…録画再生切替部
 1003…画像信号処理部
 1004…コンテンツ蓄積部
 1005…画像出力部
 1006…音声出力部
 1007…制御部
 1008…ユーザインタフェース部。

Claims (17)

  1.  画面内予測と画面間予測とにより符号化された画像を含む符号化画像データを入力する入力部と、
     前記符号化画像データを復号化する画像復号化部と、
     前記画像復号化部より出力された復号画像に対してフィルタ処理を行うフィルタ部と、
     前記フィルタ処理後の画像を表示する表示部とを備え、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、少なくとも画面内予測により復号化された復号画像の時間的に直前の画面間予測により復号化された復号画像内の画素値を補正する処理を行うことを特徴とする画像表示装置。
  2.  請求項1に記載の画像表示装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された第1の復号画像内のオブジェクト上の画素と、前記第1の復号画像の時間的に直前の画面間予測により復号化された第2の復号画像内のオブジェクト上の画素であって前記第1の復号画像内のオブジェクト上の画素に対応する画素との画素値の差を低減することを特徴とする画像表示装置。
  3.  請求項1に記載の画像表示装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された復号画像と、前記画面内予測により復号化された復号画像に時間的に前後にある画面間予測により復号化された複数の復号画像間とでの時間方向の信号値を平滑化するフィルタ処理を行うことを特徴とする画像表示装置。
  4.  請求項1に記載の画像表示装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された第1の復号画像よりも時間的に前であって、最も近い前方予測復号画像である第2の復号画像の画素の画素値を、前記第1の復号画像における対応する画素の画素値に近づける処理を行うことを特徴とする画像表示装置。
  5.  請求項1に記載の画像表示装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された2つの画面内予測復号画像の信号値を用いて、前記2つの画面内予測復号画像の時間的位置の間または後ろに位置する、画面間予測により復号化された画面間予測復号画像の信号値を補正する処理を行うことを特徴とする画像表示装置。
  6.  請求項5に記載の画像表示装置であって、
     画面内予測復号画像を記憶する第1のバッファと第2のバッファと、
     画面間予測復号画像を記憶する第3のバッファとを備え、
     前記前記フィルタ部は、前記第1のバッファと前記第2のバッファに記憶された2つの画面内予測復号画像の信号値を用いて、前記第3のバッファに記憶された画面間予測復号画像の信号値を補正する処理を行うことを特徴とする画像表示装置。
  7.  画面内予測と画面間予測とにより符号化された画像を含む符号化画像データが入力される入力部と、
     前記符号化画像データを記憶する記憶部と、
     前記入力部に入力される符号化画像データまたは前記記憶部から出力された符号化画像データを復号する画像復号部と、
     前記画像復号化部より出力された復号画像に対してフィルタ処理を行うフィルタ部と、
     前記フィルタ処理後の画像を出力する出力部とを備え、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、少なくとも画面内予測により復号化された復号画像の時間的に直前の画面間予測により復号化された復号画像内の画素値を補正する処理を行うことを特徴とする録画再生装置。
  8.  請求項7に記載の録画再生装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された第1の復号画像内のオブジェクト上の画素と、前記第1の復号画像の時間的に直前の画面間予測により復号化された第2の復号画像内のオブジェクト上の画素であって前記第1の復号画像内のオブジェクト上の画素に対応する画素との画素値の差を低減することを特徴とする録画再生装置。
  9.  請求項7に記載の録画再生装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された復号画像と、前記画面内予測により復号化された復号画像に時間的に前後にある画面間予測により復号化された複数の復号画像間とでの時間方向の信号値を平滑化するフィルタ処理を行うことを特徴とする録画再生装置。
  10.  請求項7に記載の録画再生装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された第1の復号画像よりも時間的に前であって、最も近い前方予測復号画像である第2の復号画像の画素の画素値を、前記第1の復号画像における対応する画素の画素値に近づける処理を行うことを特徴とする録画再生装置。
  11.  請求項7に記載の録画再生装置であって、
     前記フィルタ部は、前記画像復号化部より出力された復号画像のうち、画面内予測により復号化された2つの画面内予測復号画像の信号値を用いて、前記2つの画面内予測復号画像の時間的位置の間または後ろに位置する、画面間予測により復号化された画面間予測復号画像の信号値を補正する処理を行うことを特徴とする録画再生装置。
  12.  請求項11に記載の録画再生装置であって、
     画面内予測復号画像を記憶する第1のバッファと第2のバッファと、
     画面間予測復号画像を記憶する第3のバッファとを備え、
     前記前記フィルタ部は、前記第1のバッファと前記第2のバッファに記憶された2つの画面内予測復号画像の信号値を用いて、前記第3のバッファに記憶された画面間予測復号画像の信号値を補正する処理を行うことを特徴とする録画再生装置。
  13.  画面内予測と画面間予測とにより符号化された画像を復号化する画像復号化ステップと、
     前記画像復号化ステップにより復号化された復号画像に対してフィルタ処理を行うフィルタ処理ステップとを備え、
     前記フィルタ処理ステップでは、前記画像復号化ステップにより復号化された復号画像のうち、少なくとも画面内予測により復号化された復号画像の時間的に直前の画面間予測により復号化された復号画像内の画素値を補正する処理を行うことを特徴とする画像処理方法。
  14.  請求項13に記載の画像処理方法であって、
     前記フィルタ処理ステップでは、前記画像復号化ステップにより復号化された復号画像のうち、画面内予測により復号化された第1の復号画像内のオブジェクト上の画素と、前記第1の復号画像の時間的に直前の画面間予測により復号化された第2の復号画像内のオブジェクト上の画素であって前記第1の復号画像内のオブジェクト上の画素に対応する画素との画素値の差を低減することを特徴とする画像処理方法。
  15.  請求項13に記載の画像処理方法であって、
     前記フィルタ処理ステップでは、前記画像復号化ステップにより復号化された復号画像のうち、画面内予測により復号化された復号画像と、前記画面内予測により復号化された復号画像に時間的に前後にある画面間予測により復号化された複数の復号画像間とでの時間方向の信号値を平滑化するフィルタ処理を行うことを特徴とする画像処理方法。
  16.  請求項13に記載の画像処理方法であって、
     前記フィルタ処理ステップでは、前記画像復号化ステップにより復号化された復号画像のうち、画面内予測により復号化された第1の復号画像よりも時間的に前であって、最も近い前方予測復号画像である第2の復号画像の画素の画素値を、前記第1の復号画像における対応する画素の画素値に近づける処理を行うことを特徴とする画像処理方法。
  17.  請求項13に記載の画像処理方法であって、
     前記フィルタ処理ステップでは、前記画像復号化ステップにより復号化された復号画像のうち、画面内予測により復号化された2つの画面内予測復号画像の信号値を用いて、前記2つの画面内予測復号画像の時間的位置の間または後ろに位置する、画面間予測により復号化された画面間予測復号画像の信号値を補正する処理を行うことを特徴とする画像処理方法。
PCT/JP2009/002066 2008-08-25 2009-05-12 画像表示装置、録画再生装置、及び画像処理方法 WO2010023782A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801314535A CN102132567A (zh) 2008-08-25 2009-05-12 图像显示装置、录像再生装置、以及图像处理方法
US13/058,578 US20110142127A1 (en) 2008-08-25 2009-05-12 Image Processing Device
EP20090809440 EP2320663A4 (en) 2008-08-25 2009-05-12 IMAGE DISPLAY DEVICE, IMAGE RECORDING AND PLAYING DEVICE, AND IMAGE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-214800 2008-08-25
JP2008214800A JP2010050860A (ja) 2008-08-25 2008-08-25 画像表示装置、録画再生装置、及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2010023782A1 true WO2010023782A1 (ja) 2010-03-04

Family

ID=41720966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002066 WO2010023782A1 (ja) 2008-08-25 2009-05-12 画像表示装置、録画再生装置、及び画像処理方法

Country Status (5)

Country Link
US (1) US20110142127A1 (ja)
EP (1) EP2320663A4 (ja)
JP (1) JP2010050860A (ja)
CN (1) CN102132567A (ja)
WO (1) WO2010023782A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4799674B1 (ja) * 2010-05-25 2011-10-26 株式会社東芝 画像処理装置、画像表示装置及び画像処理方法
WO2016192073A1 (zh) * 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224250A (ja) * 1996-02-16 1997-08-26 Nippon Hoso Kyokai <Nhk> レベル変動検出装置および画質改善装置
JPH11113001A (ja) * 1997-10-03 1999-04-23 Matsushita Electric Ind Co Ltd 信号処理方法及び信号再生装置
JP2006229411A (ja) 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
JP2008016904A (ja) * 2006-07-03 2008-01-24 Sony Corp ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP2008177648A (ja) * 2007-01-16 2008-07-31 Nippon Hoso Kyokai <Nhk> 動画像データ復号装置、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
FR2759524B1 (fr) * 1997-02-10 1999-05-14 Thomson Multimedia Sa Procede et dispositif de codage par estimation de luminance
US6442206B1 (en) * 1999-01-25 2002-08-27 International Business Machines Corporation Anti-flicker logic for MPEG video decoder with integrated scaling and display functions
JP4407015B2 (ja) * 2000-06-15 2010-02-03 ソニー株式会社 ノイズ除去装置およびノイズ除去方法
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
US20080101469A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224250A (ja) * 1996-02-16 1997-08-26 Nippon Hoso Kyokai <Nhk> レベル変動検出装置および画質改善装置
JPH11113001A (ja) * 1997-10-03 1999-04-23 Matsushita Electric Ind Co Ltd 信号処理方法及び信号再生装置
JP2006229411A (ja) 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
JP2008016904A (ja) * 2006-07-03 2008-01-24 Sony Corp ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP2008177648A (ja) * 2007-01-16 2008-07-31 Nippon Hoso Kyokai <Nhk> 動画像データ復号装置、及びプログラム

Also Published As

Publication number Publication date
US20110142127A1 (en) 2011-06-16
JP2010050860A (ja) 2010-03-04
EP2320663A1 (en) 2011-05-11
EP2320663A4 (en) 2012-02-08
CN102132567A (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
KR100681370B1 (ko) 전방 예측된 인터레이스드 비디오 프레임의 필드에 대한모션 벡터의 예측
JP5330647B2 (ja) 適応参照画像の発生
US8630347B2 (en) Video decoding apparatus and video decoding method
JP4480713B2 (ja) 改良型符号化モード選択の方法および装置
JP5362831B2 (ja) 構成参照フレームを用いた動画符号化システムおよび方法
US8718138B2 (en) Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image
US8275035B2 (en) Video coding apparatus
US9270993B2 (en) Video deblocking filter strength derivation
JP5325638B2 (ja) 画像復号化方法
JP2005318620A (ja) 適応時間予測を用いた動きベクトル検出
JP2008219876A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
JP2005513968A (ja) 映像鮮明度の向上における一時的な整合性の改善
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP2024020201A (ja) ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
WO2010023782A1 (ja) 画像表示装置、録画再生装置、及び画像処理方法
JP2010226528A (ja) 符号化装置およびその方法
US8306116B2 (en) Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
JP4697802B2 (ja) 動画像予測符号化方法および装置
JP2008109642A (ja) 映像復号化装置及び方法
JP5248583B2 (ja) 動画像復号装置及び動画像復号方法
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2009081781A (ja) 動き補償装置及び動き補償方法
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2008016985A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980131453.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09809440

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13058578

Country of ref document: US

Ref document number: 2009809440

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE