WO2006043392A1 - 画像処理装置および処理方法 - Google Patents

画像処理装置および処理方法 Download PDF

Info

Publication number
WO2006043392A1
WO2006043392A1 PCT/JP2005/017327 JP2005017327W WO2006043392A1 WO 2006043392 A1 WO2006043392 A1 WO 2006043392A1 JP 2005017327 W JP2005017327 W JP 2005017327W WO 2006043392 A1 WO2006043392 A1 WO 2006043392A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
intensity
basic pattern
image processing
Prior art date
Application number
PCT/JP2005/017327
Other languages
English (en)
French (fr)
Inventor
Jun Murayama
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR20077008703A priority Critical patent/KR101193267B1/ko
Priority to EP20050785876 priority patent/EP1814333A1/en
Priority to BRPI0516944-5A priority patent/BRPI0516944A/pt
Priority to MX2007004577A priority patent/MX2007004577A/es
Priority to US11/665,558 priority patent/US8139648B2/en
Priority to CA 2584065 priority patent/CA2584065A1/en
Priority to AU2005297645A priority patent/AU2005297645B2/en
Priority to CN2005800434175A priority patent/CN101080929B/zh
Publication of WO2006043392A1 publication Critical patent/WO2006043392A1/ja
Priority to US13/328,540 priority patent/US8681878B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine

Definitions

  • the present invention relates to an image processing apparatus and a processing method applied to, for example, a case where a film image is encoded using MPEG-4 AVC (or H.264) encoding.
  • MPEG-4 AVC or H.264
  • a conventional image transmission reception or image recording / reproducing apparatus (hereinafter, both are simply referred to as an image transmission apparatus) will be described with reference to FIG.
  • the input image 11 is encoded by the image encoding device 12, and the encoded information is transmitted or recorded to the wireless / wired transmission path 13 or the storage media 14 according to the transmission system.
  • the obtained data is decoded by the image decoding device 15 to obtain a decoded image 16.
  • the input image data is transmitted or recorded after the data amount is reduced to a fraction of a fraction to a few tenths.
  • MP EG-4 AVC or H.264
  • encoding can reduce the image data to a transmission rate of 1.5 Mbps. Since such encoding is performed, the difference between the decoded image 16 obtained on the decoding side and the input image '11' is recognized as degradation by humans.
  • image transmission devices In conventional image transmission devices, the amount of input image data is reduced during transmission or recording.
  • image coding standards such as MPEG-4 AVC (or H.264) coding stipulate a method for efficiently reducing the amount of data without significant degradation for human vision.
  • image detail information is greatly impaired.
  • FIG. 2A shows an example of a film image applied as the input image 11
  • FIG. 2B shows an example of the decoded image 16.
  • the input image 21 can perceive film particles detected as the texture of the film, almost no film grain information is lost in the decoded image 22. It is a crisp image. Since film particles are lost in this way, there is a problem that the texture of the film cannot be felt.
  • Japanese Patent Application Laid-Open No. 11-255042 describes that noise in an image captured by a scanner is suppressed and sharpness is enhanced.
  • Japanese Patent Laid-Open No. 11-25502 46 is intended to suppress grain noise peculiar to a film image, and a film image lost due to encoding by high-efficiency encoding. It does not improve the texture of the image on the decoding side.
  • an object of the present invention is to provide an image processing apparatus and process that can hardly detect the loss of film grain information on the decoding side, can maintain the texture of the film in the input image, and can greatly improve the image quality as a result. It is to provide a rational method. Disclosure of the invention
  • a first aspect of the present invention is an image processing apparatus that performs high-efficiency encoding of an input image signal.
  • An area detecting means for detecting an area that does not include a steep change in the input image;
  • First extraction means for extracting basic pattern information indicating a level distribution of pixel values in the area detected by the area detection means;
  • An image processing apparatus comprising: Further, the present invention is an image processing method on the encoding side that realizes the processing of the above-described apparatus on the encoding side.
  • a highly efficient encoded encoding data basic pattern information indicating a level distribution of pixel values in an area not including a steep change in an input image, film grain
  • An image processing apparatus that receives or reproduces intensity information indicating a degree to be added
  • Decoding means for decoding the encoded data
  • a basic pattern generation means for reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information
  • Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information
  • an adding means for adding the film particle image whose intensity has been adjusted to the decoded image information obtained by the decoding means
  • the present invention also provides a decoding-side image processing method that realizes the processing of the decoding-side device described above.
  • the present invention relates to an image processing apparatus that performs high-efficiency encoding on an input image signal, transmits or records encoded data, and decodes received or reproduced encoded data.
  • an image processing apparatus that performs high-efficiency encoding on an input image signal, transmits or records encoded data, and decodes received or reproduced encoded data.
  • An area detecting means for detecting an area that does not include a steep change in the input image; a first extracting means for extracting basic pattern information indicating a level distribution of pixel values in the area detected by the area detecting means;
  • a basic pattern generation means for reconstructing a film grain image by converting it into the same level distribution as shown in the basic pattern information
  • Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information
  • an adding means for adding the film particle image whose intensity has been adjusted to the decoded image information obtained by the decoding means
  • the present invention is also an image processing method on the encoding side and decoding side that realizes the processing of the above-described encoding side and decoding side devices.
  • FIG. 1 is a block diagram showing an example of a conventional image transmission apparatus to which the present invention can be applied.
  • Fig. 2 A and Fig. 2 B show the conventional image transmission equipment. It is an approximate line figure showing an example of an input picture and a decoded picture.
  • FIG. 3 is a block diagram showing an outline of an embodiment of an image transmission apparatus according to the present invention.
  • FIG. 4 is a block diagram of an example of a film particle information extracting device in one embodiment of the present invention.
  • FIG. 5 is a block diagram of an example of the film particle basic pattern information extracting device in the film particle extracting device.
  • FIG. 6 is a block diagram of an example of a film particle strength information extracting device in the film particle extracting device.
  • FIG. 7C are schematic diagrams for schematically explaining the film grain basic pattern information extraction process.
  • FIG. 8 is a block diagram of an example of a film particle adding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an example of a basic pattern generating device in the film particle adding device.
  • FIG. 10 is a schematic diagram schematically illustrating the film particle addition process.
  • FIG. 11 is a timing chart for explaining the first method of film particle information extraction and film particle addition processing.
  • FIG. 12 is a timing chart for explaining a second method of film particle information extraction and film particle addition processing.
  • FIG. 13 is a timing chart illustrating a third method of film particle information extraction and film particle addition processing.
  • FIG. 14 is a timing chart for explaining a fourth method of film particle information extraction and film particle addition processing.
  • FIG. 15 is a timing chart for explaining a fifth method of film particle information extraction and film particle addition processing.
  • FIG. 16 is a timing chart for explaining a sixth method of film particle information extraction and
  • the figure shows an image transmission apparatus according to the present invention.
  • the input image 31 is subjected to high-efficiency encoding by the image encoding device 32, and encoded information 34 in which the amount of data is compressed is generated.
  • the encoded information 34 is sent to a wireless / wired transmission path 36 or recorded on a storage medium 37 such as a DVD (Digital Versatile Disc) depending on the transmission system.
  • Reference numeral 33 indicates a film grain information extracting device.
  • the film particle information extraction device 3 3 extracts film particle information from the input image 3 1, and the extracted film particle information 3 5 depends on the transmission system in the same manner as the encoded information 34. Sent to 6 or recorded on storage media 37.
  • the decoding side On the decoding side, the received encoded information 3 8 is supplied to the image decoding device 40, and the image decoding device 40 generates decoded image information 42 from the received encoded information 38.
  • Reference numeral 41 denotes a film particle adding device.
  • the film particle adding device 41 reproduces the film particle information from the received film particle information 39, adds the film particle information reconstructed according to the characteristics of the decoded image information 42, and outputs it as the decoded image 43.
  • the image encoding device 32 and the image decoding device 40 that have performed the processing according to the MPEG-4 AVC (or H.264) encoding standard as an example.
  • the encoding information 34 has a stream data structure having a unit of a predetermined length as a unit.
  • film grain information 35 is transmitted or recorded using a unit for transmitting supplemental additional information (SEI: Supplemental Enhancement Information) that is not essential for decoding of moving images.
  • SEI Supplemental Enhancement Information
  • FIG. 4 shows an example of the film particle extraction device 33.
  • the film particle extracting device 33 is composed of a basic pattern extracting device 51 and an intensity extracting device 52.
  • the basic pattern extraction device 51 extracts information for representing film particles from the input image 31 and outputs it as film particle basic pattern information 53.
  • the intensity extractor 52 stores information on how much strength film particles should be added to a region having an average value for each frame, for example, a range of pixel values, for example, 0—2 0, 2 1— 4 0,. ⁇ Calculate for each piece and output the information as film grain strength information 54.
  • the film particle information 35 is a general term for both the film particle basic pattern information 53 and the film particle strength information 54.
  • FIG. 5 shows an example of the configuration of the basic pattern extraction device 51.
  • the basic pattern extraction device 51 includes a uniform region extraction device 61, a filter bank 62, and histogram calculation devices 6 3, 6 4, 6 5, 6 6 and 6 7.
  • the uniform region extraction device 61 is a region of a predetermined size in which film particles are uniformly distributed from the input image 31 and the image does not include a sharp change (such a region is referred to as a uniform region). ) Is extracted and uniform area data 6 8 is output.
  • An example of a uniform region is a flat image, such as a background sky image.
  • the uniform area data 68 is composed of a plurality of pixel data existing in the uniform area. In order to obtain uniform region data 68, it is possible to specify either directly by humans or by specifying one of the candidates output by the device.
  • the uniform region data 6 8 obtained in this way is composed of a plurality of subsequent high-pass fill events (represented by H in the figure) and low-pass fill events (represented by L in the figure) 6 2 a and 6 2 Divided into multiple subbands by b.
  • Each filter constituting the filter punctures 6 2 a and 6 2 b is a digital filter in which filter coefficients are defined in two dimensions.
  • each of the filter banks 6 2 a and 6 2 is composed of one high pass band and one mouth pass band. It is possible to provide a bandpass fill with a multi-stage configuration instead of the two stages shown in Fig. 5.
  • Histogram calculation devices 63 to 67 The output of the base band and each sub-band is supplied to histogram calculation devices 63 to 67 corresponding to the respective bands. Histogram calculation devices 63 3 to 6 7 extract frequency distribution information of pixel values of each band (hereinafter referred to as “histogram” as appropriate), and output the extracted histogram information as film grain basic pattern information 53 Is done.
  • the histogram information is frequency information indicating the number of pixels included in a predetermined pixel value range (hereinafter referred to as a divided section as appropriate). For example, suppose that the predetermined division interval is 1 1 9 to 1 1 0, — 9 to 0, 1 to 10 1 0, + 1 1 to + 2 0, and the histogram calculation device at that time If the value of each pixel in the input data is, for example, [-1 1, 5, 1, + 3, + 8, +1 4], the output histogram information is the pixel data included in each range. Overnight frequency, ie, [1, 2, 2, 1]. Histogram information is output for each band.
  • FIG. 6 shows an example of the configuration of the intensity extraction device 52.
  • the intensity extraction device 5 2 includes a uniform area extraction device 71 and an intensity calculation device 72.
  • a uniform region is extracted from the input image 31 by a uniform region extractor 71 similar to the uniform region extractor 61, and uniform region information 73 is output.
  • information that is different from other uniform areas is output as a non-uniform area.
  • a, b, c, d, e, and f in the input image are uniform regions, and the blacked out region is a non-uniform region.
  • Uniform area information 73 is supplied to intensity calculator 72.
  • the average pixel value of the region and the dispersion value of the film grain are calculated.
  • the dispersion value of the film grain can be calculated by using the dispersion value of the pixel value within the uniform region.
  • the film grain strength information 54 is calculated using the average pixel value and the film grain dispersion value.
  • the film grain strength information 54 is an average value of dispersion of film grains in a range of a predetermined area average value.
  • the average value range of pixel values in a predetermined area for example, (1 6 X 1 6) pixel area, is 0 to 15, 5, 6 to 3, 1, 240 to 255, and the input image
  • the film grain information is detected only by the luminance signal Y, and the film grain generated in each component of Y, Cb, and Cr by the detected result. Information can be added, and film grain information can be detected for each component, and the generated film grain information can be added to each of the Y, Cb, and Cr components based on the detection results.
  • FIGS. 7A A uniform region R is detected from the input image I.
  • the size of the uniform region R is a predetermined size, for example, (6 4 X 6 4) pixels. Pixels in the uniform region R are divided into baseband, low band and high band by the filter bank 62a. In the configuration of Fig. 5, the low band is further frequency-divided by filter bank 6 2 b, but Figs. 7A to C show an example in which only filter bank 6 2 a is used for simplicity. ing.
  • Fig. 7B shows an example of frequency division.
  • the horizontal axis represents the spatial horizontal frequency
  • the vertical axis represents the spatial vertical frequency.
  • the rectangular region is the baseband B1
  • the region where both the horizontal and vertical frequencies are high is the high region B2
  • the region where both the horizontal and vertical frequencies are low is the low region B3.
  • the broken line indicates the position of the high-frequency boundary
  • the solid line indicates the position of the low-frequency boundary.
  • the low and high frequency regions overlap in the middle region.
  • Histogram calculator 63 calculates the histogram for the baseband as shown by F1 in Fig. 7C, and Histogram calculator 63 for the baseband as shown by F1 in Fig. 7C.
  • the histogram calculation device 63 calculates the histogram for the baseband as shown by F 1 in FIG. 7C.
  • the vertical axis represents frequency
  • the horizontal axis represents pixel value segmentation sections
  • each segment section has a predetermined pixel value range for each band.
  • Histograms F1, F2, and F3 are the film grain basic pattern information.
  • the film grain strength information is not explained, but as described above, the film grain strength information is (16 ⁇ 16) pixels. As shown, the average value of the dispersion of the film particles in the range of the average value of the pixel values in a predetermined region is subjected to normalization processing as necessary.
  • FIG. 8 shows an example of the film grain adding device 41 on the decoding side.
  • the film grain adding device 4 1 includes a film grain basic pattern generating device 8 1, a pattern intensity calculating device 8 2, an area average value calculating device 8 3, a multiplier 8 4, and an adder 8 5.
  • the basic pattern generation device 81 generates a film particle pattern that is added to the decoded image information 42 from the film particle basic pattern information 53 and outputs a film particle basic pattern 86.
  • the film particle pattern is an area having the same size as the area set for extracting the basic pattern on the encoding side, for example, an area of (6 4 X 6 4) pixels.
  • an average value of pixel values of a predetermined area of the decoded image information 42 for example, an area of (16 ⁇ 16) pixels is obtained, and an area average value 87 is output.
  • the area average value 87 is supplied to the pattern intensity calculation device 82.
  • the pattern intensity calculation device 8 2 determines which average value section in the region average value 87 belongs to the film particle strength information 54, and the film particle strength corresponding to the section is used as the film particle strength information 88. Output.
  • the film grain strength information 5 4 at that time is [0, 7 5 0, 4 0 0,..., 2 0], and if the average value of the input region is 23, the film grain strength output at that time is 7 5 0.
  • the film grain strength information is converted into a value that can be used for multiplication for strength adjustment as it is when the encoding process has been subjected to normalization processing in advance. This normalization should be done on the decryption side You can also.
  • the film grain basic pattern 86 is multiplied by film grain strength information 88 and a multiplier 84.
  • a reconstructed film grain image 89 from the multiplier 84 is obtained.
  • the film grain image 89 is added to the decoded image information 42 by the adder 85.
  • the decoded image 43 is output from the adder 85.
  • the film grain image 8 9- is added in units of (1 6 X 1 6) pixels, and the pixels at the positions corresponding to the (1 6 X 1 6) pixels of the decoded image information 42 are added.
  • the film grain image 89 is cut out from the basic pattern of (64 ⁇ 64) pixels generated by the basic pattern generator 81.
  • the film grain basic pattern 8 6 can be added by shifting the pattern for each area unit to which the film grain pattern is added, for example, 1 6 X 16 (pixel), in order to achieve uniformity on the screen. It is. For example, if the region size is HXV and the pattern pixel value is G (h, V) (0 ⁇ h ⁇ H) (0 ⁇ v ⁇ V), random numbers randh, randv (0 ⁇ randh ⁇ H, 0 ⁇ randv ⁇ V) is generated, and a pattern shifted by random numbers can be obtained by calculating the actually added pattern A as follows. This pattern may be the film grain basic pattern 86.
  • FIG. 9 shows an example of the configuration of the film grain basic pattern generation device 81.
  • the basic pattern generator 8 1 includes a noise generator 9 1, a histogram matching device 9 2, 9 3, 94, 9 5, 9 6, a high pass filter 97, 9 9, and a low pass filter 9 8, 100.
  • the synthetic fill evening punk consists of 1 0 1 and.
  • the noise generator 9 1 is the same size as the film grain basic pattern (H XV) For example, (64 X 6 4) Pixel noise (Gaussian noise, random noise such as uniform random number) is generated.
  • the generated noise is supplied to the histogram matching device 92.
  • the histogram matching device 92 converts the noise so as to have a histogram almost identical to the film grain basic pattern information 53.
  • An example of the conversion algorithm when the histogram matching device 92 is realized by software processing is shown below.
  • the minimum value of the histogram to be matched in the film grain basic pattern information 53 is CMIN
  • the maximum value is CMAX
  • the number of histogram divisions between CMIN and CMAX is number of bins. bins represents one of the histogram division sections.
  • CDF ref (bin) (0 ⁇ bin ⁇ number of bins-1) be the cumulative distribution function of the histogram created and received or regenerated on the encoding side.
  • val org (h, v) be the input signal (output of noise generator 9 1)
  • CDF org (bin) (0 ⁇ bin ⁇ number of bins_l) be the cumulative distribution function of the input signal.
  • histogram matching devices 9 3, 9 4, 9 5 and 9 6 also have the histogram matching function of the algorithm described above.
  • the output signal of the histogram matching device 9 2 is supplied to the analysis high-pass filter 9 7 and the analysis low-pass filter 9 8, and the output of the analysis high-pass filter 9 7 is supplied to the histogram matching device 9 3 and the output of the analysis low-pass filter 9 8 Is supplied to the histogram matching device 94.
  • the output signal of the histogram matching device 94 is supplied to the analysis high pass filter 9 9 and the analysis port 1 pass filter 10 100, and the output of the analysis high pass filter 9 9 is supplied to the histogram matching device 95.
  • the output of one pass fill 100 is supplied to the histogram matching device 96.
  • the film grain basic pattern information 53 gives different histogram information to each of the histogram matching devices 92-96. Since the histogram information F 1 in FIG. 7C relates to the baseband, it is supplied to the histogram matching device 92, and since the histogram information F 2 relates to the high frequency range, the histogram matching device 9 3 Is supplied to the histogram matching device 92, and since the histogram information F3 relates to the low frequency band, it is supplied to the histogram matching device 9.
  • the synthesis filter bank 1 0 1 is a synthesis high pass to which the output signal of the histogram matching device 93 is supplied It is composed of a filter 100, a composite high-pass filter 10 3 that is supplied with the output signal of the histogram matching device 95, and a composite low-pass filter 10 10 that is supplied with the output signal of the histogram matching device 96. It has been.
  • the output signal of the synthesized high pass filter 10 3 and the output signal of the synthesized low pass filter 1 0 4 are added in the adder 1 0 5, and the output signal of the synthesized high pass filter 1 1 0 2 and the output signal of the adder 1 0 5 Are added by the adder 1 0 6.
  • Film grain basic pattern information 8 6 is taken out from the output of the adder 1 0 6. Note that the composition of the synthesis filter bank corresponds to the structure of subband division on the encoding side.
  • the film grain basic pattern information 8 6 is multiplied by the film grain intensity information 8 8 and the multiplier 84 to correct or adjust the intensity.
  • the intensity-adjusted film particle image 89 is added to the decoded image information 42 to obtain a high-quality decoded image 43 having the film particle information lost by the high-efficiency encoding and decoding.
  • FIG. 10 schematically explains the film grain image reconstruction process on the decoding side.
  • the basic pattern generator 81 generates a film grain basic pattern 86 whose noise histogram is almost the same as the film grain basic pattern information 53.
  • the film grain basic pattern 8 6 is (6 4 X 6 4) pixels, and an area of (1 6 X 1 6) pixels is cut out and supplied to the multiplier 84.
  • the film grain intensity information 54 is stored, and the intensity information 8 8 is stored according to the average value 8 7 of the (16 x 16) pixel area of the decoded image information 4 2. Is output.
  • the intensity of the basic pattern 86 is adjusted by the intensity information 88.
  • Intensity-adjusted film grain image 8 9 is added to adder 85 5 (16 x 16) pixel area of decoded image information 42 Added in units.
  • FIG. 11 shows the first processing method.
  • the first processing method extracts film grain basic pattern information and film grain strength information separately for each of the components Y, C r, and C b, and also extracts these information in each frame. To extract.
  • the image signal where scene A and scene B exist is shown.
  • the film grain is reconstructed using the film grain basic pattern information and the film grain strength information for each frame for each of the components Y, Cr, and Cb.
  • FIG. 12 shows the second processing method.
  • film grain basic pattern information and film grain strength information are extracted separately for each of the components Y, Cr, and Cb.
  • Film grain basic pattern information is extracted only in the first frame of each scene.
  • the extracted basic pattern information is used in common for all frames in the same scene.
  • the film grain strength information is extracted for each component as in the first processing method, and is extracted for each frame.
  • FIG. 13 shows the third processing method.
  • film grain basic pattern information is extracted from only the luminance signal Y in the component.
  • Film grain basic pattern information is extracted only in the first frame of each scene.
  • the extracted basic pattern information is used in common for all frames and all components in the same scene.
  • the film grain strength information is extracted for each component as in the first processing method, and is extracted for each frame.
  • FIG. 14 shows the fourth processing method.
  • the film grain basic pattern information is separately obtained for each of the components C Y, Cr, and Cb.
  • Information and film grain strength information are extracted. Both film grain basic pattern information and film grain strength information are extracted only in the first frame of each scene.
  • the extracted basic pattern information and intensity information are used in common for all frames in the same scene.
  • FIG. 15 shows the fifth processing method.
  • film grain basic pattern information is extracted from only the luminance signal Y in the component.
  • the film grain basic pattern information is extracted only in the first frame of each scene.
  • the extracted basic pattern information is used in common for all frames and all components in the same scene.
  • Film grain strength information is extracted separately for each of components Y, C r, and C b. Film grain strength information is extracted only in the first frame of each scene. On the decoding side, the extracted film particle intensity information is commonly used for each component for all frames in the same scene.
  • FIG. 16 shows the sixth processing method.
  • both the film grain basic pattern information and the film grain strength information are extracted only from the luminance signal Y in the component.
  • both the extracted basic pattern information and intensity information are used in common for all frames and all components in the same scene.
  • the first to sixth processing methods described above are appropriate in consideration of the balance between the image quality improvement effect due to the addition of film particles and the data amount of film particle information to be transmitted.
  • two or more of the first to sixth processing methods may be configured to be selectable and switched by a user operation.
  • the embodiment of the present invention has been specifically described.
  • the present invention is not limited to the above-described embodiment, but the technical idea of the present invention.
  • Various modifications based on the idea are possible.
  • a subband division method each of the horizontal frequency direction and the vertical frequency direction may be divided into two to form four subbands.
  • a method of processing the noise component according to the film grain basic pattern information a method other than the algorithm described above can be applied.
  • encoding such as MPEG 2 other than MPEG-4 AVC (or H.264) encoding may be used as a high-efficiency encoding method for moving images.
  • the film grain information lost on the decoding side is efficiently extracted in advance on the encoding side and then transmitted to the decoding side, or recorded on the recording medium, and the information obtained on the decoding side is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

基本パターン生成装置８１によって、ランダムノイズのヒストグラムがフィルム粒子基本パターン情報５３とほぼ同一とされたフィルム粒子基本パターン８６が生成される。フィルム粒子基本パターン８６は、（６４×６４）画素であり、その中の（１６×１６）画素の領域が切り出されて乗算器８４に供給される。符号化側で作成されたフィルム粒子強度情報５４と、復号画像情報４２の（１６×１６）画素の領域の画素値の平均値８７に基づいて強度情報８８が生成される。この強度情報８８によって基本パターン８６の強度が調整される。強度調整がされたフィルム粒子画像８９が加算器８５にて復号画像情報４２の（１６×１６）画素の領域に対して画素単位で加算される。

Description

明 細 書
画像処理装置および処理方法 技術分野
この発明は、 例えばフィルム画像を MPEG-4 AVC (または H. 264)符号化 を用いて符号化する場合に対して適用される画像処理装置および処理方 法に関する。 背景技術
従来の画像伝送受信、 または画像記録再生装置 （以下、 両者を単に画 像伝送装置と総称する。 ） について、 第 1図を参照して説明する。 まず 、 入力画像 1 1が画像符号化装置 1 2で符号化され、 符号化情報は伝送 系に応じて、 無線 ·有線伝送路 1 3または蓄積メディァ 1 4に送出また は記録される。 受信再生側では得られたデータが画像復号装置 1 5によ つて復号され、 復号画像 1 6が得られる。
画像符号化装置 1 2において、 入力画像データが数分の一から数十分 の一にそのデータ量を削減された後に送信または記録される。 例えば MP EG-4 AVC (または H. 264)符号化によって画像データを 1 . 5 M bpsの伝送 レートまで低くできる。 このような符号化を行っているために、 復号側 で得られる復号画像 1 6と入力画像' 1 1の違いは人間によって劣化とし て認識される。
従来の画像伝送装置においては送信または記録時に入力画像データ量 の削減を行う。 一般的に MPEG- 4 AVC (または H. 264)符号化などの画像符 号化規格においては人間の視覚にとって顕著な劣化無しに効率的にデー 夕量を削減する方式が規定されている。 しかしながら、 限られた伝送帯 域幅や記憶容量の下では画像のディテール情報が大幅に損なわれる。 特 に映画のようなフィルム画像を伝送または記録する場合は、 映画の質感 の多くを表現しているフィルム粒子情報が失われるために得られる復号 画像の質が著しく劣化する。
第 2図 Aは、 入力画像 1 1として適用されるフィルム画像の一例を示 し、 第 2図 Bは、 復号画像 1 6の一例を示す。 第 2図 A， Bから分かる ように、 入力画像 2 1ではフィルムの質感として検知されるフィルム粒 子が知覚できるにも関わらず、 復号画像 2 2ではそのフィルム粒子情報 がほとんど失われてのつぺりした画像となっている。 このようにフィル ム粒子が失われるために、 フィルムの質感を感じることができない問題 が生じる。
従来では、 スキャナで取り込んだ画像のノイズを抑制し、 シャープネ スを強調することが日本国の特開平 1 1— 2 5 0 2 4 6号公報に記載さ れている。
かかる特開平 1 1— 2 5 0 2 4 6号公報に記載のものは、 フィルム画 像に特有の粒状ノイズを抑制するものであり、 高能率符号化による符号 化のために失われたフィルム画像の質感を復号側で改善するものではな い。
従って、 この発明の目的は、 復号側においてフィルム粒子情報の喪失 がほとんど感知されず、 入力画像におけるフィルムの質感は保つことが でき、 結果として大幅な画質の改善を可能とする画像処理装置および処 理方法を提供することにある。 発明の開示
上述した課題を解決するために、 この発明の第 1の態様は、 入力画像 信号を高能率符号化する画像処理装置において、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、 領域検出手段により検出された領域内の画素値のレベル分布を示す基 本パターン情報を抽出する第 1の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出手 段と、
符号化データと基本パターン情報と強度情報とを伝送または記録する 手段と
からなることを特徴とする画像処理装置である。 また、 この発明は、 上述した符号化側の装置の処理を実現する符号化側の画像処理方法であ る。
この発明の第 2の態様は、 高能率符号化された符号化デ一夕と、 入力 画像中で急峻な変化を含まない領域内の画素値のレベル分布を示す基本 パターン情報と、 フィルム粒子を付加すべき程度を表す強度情報とを受 信または再生する画像処理装置であって、
符号化データを復号する復号手段と、
ランダムノイズのレベル分布を基本パターン情報に示されるレベル分 布と同様のものに変換してフィルム粒子画像を再構成する基本パターン 生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と 強度が調整されたフィルム粒子画像を復号手段により得られた復号画 像情報に付加する付加手段と
からなる画像処理装置である。 また、 この発明は、 上述した復号側の 装置の処理を実現する復号側の画像処理方法である。
この発明は、 入力画像信号を高能率符号化し、 符号化データを伝送ま たは記録し、 受信または再生された符号化デ一夕を復号する画像処理装 置において、 符号化側に、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、 領域検出手段により検出された領域内の画素値のレベル分布を示す基 本パターン情報を抽出する第 1の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出手 段と、
符号化データと基本パ夕一ン情報と強度情報とを伝送または記録する 手段と
を設け、
復号側に、
符号化データと、 基本パターン情報と、 強度情報とを受信または再生 する手段と、
Figure imgf000006_0001
基本パターン情報に示されるレベル分 布と同様のものに変換してフィルム粒子画像を再構成する基本パターン 生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と 強度が調整されたフィルム粒子画像を復号手段により得られた復号画 像情報に付加する付加手段と
を設けた画像処理装置である。 また、 この発明は、 上述した符号化側 および復号側の装置の処理を実現する符号化側および復号側の画像処理 方法である。 図面の簡単な説明
第 1図は、 この発明を適用できる従来の画像伝送装置の一例を示すブ ロック図である。 第 2図 Aおよび第 2図 Bは、 従来の画像伝送装置にお ける入力画像と復号画像の例を示す略線図である。 第 3図は、 この発明 による画像伝送装置の一実施形態の概略を示すブロック図である。 第 4 図は、 この発明の一実施形態におけるフィルム粒子情報抽出装置の一例 のブロック図である。 第 5図は、 フィルム粒子抽出装置におけるフィル ム粒子基本パターン情報抽出装置の一例のブロック図である。 第 6図は 、 フィルム粒子抽出装置におけるフィルム粒子強度情報抽出装置の一例 のブロック図である。 第 7図 A , 第 7図 Bおよび第 7図 Cは、 フィルム 粒子基本パターン情報の抽出処理を概略的に説明する略線図である。 第 8図は、 この発明の一実施形態におけるフィルム粒子付加装置の一例の ブロック図である。 第 9図は、 フィルム粒子付加装置における基本パ夕 ーン生成装置の一例のブロック図である。 第 1 0図は、 フィルム粒子付 加処理を概略的に説明する略線図である。 第 1 1図は、 フィルム粒子情 報抽出およびフィルム粒子付加処理の処理の第 1の方法を説明するタイ ミングチヤ一トである。 第 1 2図は、 フィルム粒子情報抽出およびフィ ルム粒子付加処理の処理の第 2の方法を説明するタイミングチャートで ある。 第 1 3図は、 フィルム粒子情報抽出およびフィルム粒子付加処理 の処理の第 3の方法を説明するタイミングチャートである。 第 1 4図は 、 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第 4の方 法を説明するタイミングチャートである。 第 1 5図は、 フィルム粒子情 報抽出およびフィルム粒子付加処理の処理の第 5の方法を説明するタイ ミングチャートである。 第 1 6図は、 フィルム粒子情報抽出およびフィ ルム粒子付加処理の処理の第 6の方法を説明するタイミングチャートで ある。 発明を実施するための最良の形態
以下、 この発明の一実施形態について図面を参照して説明する。 第 3 図は、 この発明による画像伝送装置を示す。 先ず符号化側について説明 する。 入力画像 3 1が画像符号化装置 3 2で高能率符号化され、 デ一夕 量が圧縮された符号化情報 34が生成される。 符号化情報 34は、 伝送 系に応じて、 無線 ·有線伝送路 36に送出され、 または DVD (Digital Versatile Disc)等の蓄積メディァ 3 7に記録される。
参照符号 3 3がフィルム粒子情報抽出装置を示す。 フィルム粒子情報 抽出装置 3 3は、 入力画像 3 1からフィルム粒子情報を抽出し、 抽出さ れたフィルム粒子情報 3 5が符号化情報 34と同様に伝送系に応じて、 無線 ·有線伝送路 3 6に送出され、 または蓄積メディア 3 7に記録され る。
次に復号側について説明する。 復号側において、 受信符号化情報 3 8 が画像復号装置 40に供給され、 画像復号装置 40が受信符号化情報 3 8から復号画像情報 42を生成する。 参照符号 4 1がフィルム粒子付加 装置を示す。 フィルム粒子付加装置 4 1は、 受信フィルム粒子情報 3 9 からフィルム粒子情報を再生した後、 復号画像情報 42の特性に応じて 再構成されたフィルム粒子情報を付加し、 復号画像 43として出力する 上述した画像符号化装置 3 2および画像復号装置 40は、 一例として MPEG-4 AVC (または H.264)符号化規格による処理を行う。 この場合では 、 符号化情報 34が所定長のユニットを単位とするストリームデ一夕の 構成を有する。 ストリームデータの中で、 動画像の復号に必須でない、 補足的な付加情報 (S E I ： Supplemental Enhancement Informationと 称される） を伝送するためのュニットを使用してフィルム粒子情報 3 5 が伝送または記録される。 すなわち、 S E Iには、 ユーザが独自に定義 する情報が存在しているので、 このユーザ ·データを利用してフィルム 粒子情報 3 5が伝送または記録される。 第 4図は、 フィルム粒子抽出装置 3 3の一例を示す。 フィルム粒子抽 出装置 3 3は、 基本パターン抽出装置 5 1および強度抽出装置 5 2とか ら構成されている。 基本パターン抽出装置 5 1は、 入力画像 3 1からフ イルム粒子を表すための情報を抽出し、 フィルム粒子基本パターン情報 5 3として出力する。 強度抽出装置 5 2は、 フレーム毎にある平均値を 持つ領域にどの程度の強度のフィルム粒子を付加すべきかという情報を 画素値の範囲、 例えば、 0— 2 0 , 2 1— 4 0， · · ·毎に計算し、 そ の情報をフィルム粒子強度情報 5 4として出力する。 フィルム粒子情報 3 5は、 フィルム粒子基本パターン情報 5 3およびフィルム粒子強度情 報 5 4の両者を総称するものである。
第 5図は、 基本パターン抽出装置 5 1の一例の構成を示す。 基本パ ターン抽出装置 5 1は、 均一領域抽出装置 6 1とフィルタバンク 6 2と ヒストグラム計算装置 6 3 , 6 4， 6 5， 6 6および 6 7からなる。 均一領域抽出装置 6 1は、 入力画像 3 1からフィルム粒子が均一に分 布しており、 且つ、 画像が急峻な変化を含まない所定の大きさの領域 （ このような領域を均一領域と称する） を抽出し、 均一領域データ 6 8を 出力する。 均一領域の例は、 背景の空の画像のような平坦な画像である 。 均一領域データ 6 8は、 均一領域内に存在する複数の画素データから なる。 なお、 均一領域データ 6 8を得るために、 人間が直接指定する方 法、 または装置が出力した候補の中から一つを指定するといつた方法も 可能である。
このように得られた均一領域データ 6 8が以降の複数のハイパスフィ ル夕 （図中 Hで表す） と、 ローパスフィル夕 （図中 Lで表す） とで構成 されるフィルタバンク 6 2 aおよび 6 2 bによって複数のサブバンドに 分割される。 フィル夕パンク 6 2 a , 6 2 bを構成する各フィルタは、 2次元にフィルタ係数が規定されたディジタルフィルタである。 なお、 第 5図に示す構成例のように、 一つのハイパスバンドと、 一つ の口一パスバンドでフィルタバンク 6 2 aおよび 6 2 のそれぞれを構 成しているが、 これに加え、 複数のバンドパスフィル夕を設けるような 構成も可能であり、 段数も第 5図に示した 2段ではなく多段の構成が可 能である。
ベースパンドと、 各サブバンドの出力は、 それぞれのバンドに対応し たヒストグラム計算装置 6 3〜6 7に供給される。 ヒストグラム計算装 置 6 3〜6 7によって各バンドの画素値の度数分布情報 （以下、 ヒス卜 グラムと適宜称する） がそれぞれ抽出され、 抽出されたヒストグラム情 報がフィルム粒子基本パターン情報 5 3として出力される。
ヒストグラム情報は、 予め定められた画素値範囲 （以下、 分割区間と 適宜称する） に含まれる画素の個数を示す頻度情報である。 例えば、 予 め定めた分割区間が一 1 9〜一 1 0 , — 9〜0， 1〜十 1 0， + 1 1〜 + 2 0の 4区間であったとし、 その時のヒストグラム計算装置への入力 データの各画素の値が例えば 〔― 1 1 ,— 5，— 1 , + 3 , + 8， + 1 4 〕 であったとすると、 出力されるヒストグラム情報は、 各範囲に含まれ る画素デ一夕の度数、 すなわち、 〔 1 , 2， 2 , 1〕 となる。 ヒストグ ラム情報は、 それぞれのバンド毎に出力される。
第 6図は、 強度抽出装置 5 2の一例の構成を示す。 強度抽出装置 5 2 は、 均一領域抽出装置 7 1と強度計算装置 7 2とから構成されている。 均一領域抽出装置 6 1と同様の均一領域抽出装置 7 1によって、 入力画 像 3 1から、 均一領域が抽出され、 均一領域情報 7 3が出力される。 こ の場合、 画像の急峻な領域については、 非均一領域として、 他の均一領 域とは区別された情報が出力される。 第 6図に示すように、 入力画像中 の a , b， c， d , e , f が均一領域であり、 黒くぬりつぶした領域が 非均一領域である。 均一領域情報 7 3が強度計算装置 7 2に供給される。 強度計算装置 7 2では、 各均一領域に対して、 その領域の平均画素値とフィルム粒子の 分散値を算出する。 フィルム粒子の分散値の算出には、 例えば、 均一領 域内の画素値の分散値そのものを用いる、 といつた方法が可能である。 そして、 平均画素値とフィルム粒子の分散値を使用してフィルム粒子強 度情報 54が算出される。 フィルム粒子強度情報 54は、 予め定められ た領域平均値の範囲におけるフィルム粒子の分散の平均値である。
例えば、 予め定めた領域例えば （ 1 6 X 1 6) 画素の領域の画素値の 平均値の範囲を、 0〜1 5, 1 6〜3 1， · · ·， 240〜 25 5とし、 入力画像の均一領域における領域平均値と分散値の組が（領域平均値 = 28, 分散値 = 5 00)， （3 0， 1 0 0 0), (44, 400), (2 5 0, 2 0)であったとすると、 出力フィルム粒子強度情報は、 〔0, 7 5 0 (= ( 5 0 0 + 1 0 00) / 2, 40 0， · · ·， 2 0〕 となる。 これ らは、 画像が R， G, Bまたは Y, C b， C rのコンポーネントで構成 されていた際には、 各コンポーネント毎に出力される。 このフィルム粒 子強度情報は、 1 / 1 0 0 0にされる等の正規化処理がなされ、 復号側 で生成されたフィルム粒子基本パターンに乗算されるのに適した値に変 換される。
コンポーネントビデオ信号例えば Y, C b， C rのコンポーネントか らなる場合、 輝度信号 Yのみでフィルム粒子情報を検出し、 検出した結 果によって Y， C b, C rの各コンポーネントに生成したフィルム粒子 情報を付加する方法と、 各コンポーネント毎にフィルム粒子情報を検出 し、 検出した結果によって Y， C b， C rの各コンポーネントに生成し たフィルム粒子情報を付加する方法とが可能である。
上述した符号化側の処理における基本パターン抽出処理について第 7 図 A〜Cを参照して概略的に説明する。 第 7図 Aに示すように、 1フレ —ムの入力画像 Iから均一領域 Rが検出される。 均一領域 Rの大きさは 、 所定の大きさ例えば （ 6 4 X 6 4 ) 画素とされる。 均一領域 Rの画素 がフィルタバンク 6 2 aによって、 ベースバンド、 低域および高域に分 割される。 第 5図の構成では、 さらにフィルタバンク 6 2 bによって低 域を周波数分割しているが、 第 7図 A〜Cでは、 簡単のために、 フィル 夕バンク 6 2 aのみを使用した例を示している。
第 7図 Bは、 周波数分割の一例を示している。 第 7図 Bにおいて、 横 軸が空間水平周波数を示し、 縦軸が空間垂直周波数を示す。 矩形の領域 がベースバンド B 1であり、 水平および垂直の両周波数が高くなる領域 が高域 B 2であり、 水平および垂直の両周波数が低くなる領域が低域 B 3である。 破線が高域の境界の位置を示し、 実線が低域の境界の位置を 示している。 この例では、 低域および高域の周波数領域が中域付近で重 なっている。
各サブバンドの出力デ一夕がヒストグラム計算装置 6 3 , 6 4および 6 5にそれぞれ供給される。 ヒストグラム計算装置 6 3が第 7図 Cにお いて、 F 1で示すようなベースバンドに関するヒストグラムを計算し、 ヒストグラム計算装置 6 3が第 7図 Cにおいて、 F 1で示すようなベ一 スバンドに関するヒストグラムを計算し、 ヒス卜グラム計算装置 6 3が 第 7図 Cにおいて、 F 1で示すようなベースバンドに関するヒストグラ ムを計算する。
第 7図 Cにおいて、 縦軸が度数であり、 横軸が画素値の分割区間であ り、 各分割区間は、 バンド毎に予め定められた画素値の範囲を有してい る。 ヒストグラム F l， F 2 , F 3がフィルム粒子基本パターン情報で ある。
第 7図 A〜Cでは、 フィルム粒子強度情報については説明されていな いが、 上述したように、 フィルム粒子強度情報は、 （ 1 6 X 1 6 ) 画素 のように、 予め定められた領域の画素値の平均値の範囲におけるフィル ム粒子の分散の平均値であり、 必要に応じて正規化処理を受けたもので ある。
次に復号側の構成および処理について説明する。 第 8図は、 復号側の フィルム粒子付加装置 4 1の一例を示す。 フィルム粒子付加装置 4 1は 、 フィルム粒子の基本パターン生成装置 8 1と、 パターン強度計算装置 8 2と、 領域平均値計算装置 8 3と、 乗算器 8 4と、 加算器 8 5とから 構成されている。 基本パターン生成装置 8 1は、 フィルム粒子基本パタ —ン情報 5 3から復号画像情報 4 2に付加される元となるフィルム粒子 のパターンを生成し、 フィルム粒子基本パターン 8 6を出力する。 フィ ルム粒子のパターンは、 符号化側で基本パターン抽出のために設定され た領域と同一の大きさの領域例えば （6 4 X 6 4 ) 画素の領域とされる 領域平均値計算装置 8 3は、 復号画像情報 4 2の予め決められた領域 、 例えば （1 6 X 1 6 ) 画素の領域の画素値の平均値を求め、 領域平均 値 8 7を出力する。 領域平均値 8 7がパターン強度計算装置 8 2に供給 される。 パターン強度計算装置 8 2は、 領域平均値 8 7がフィルム粒子 強度情報 5 4中のどの平均値区間に属するのかを判定し、 その区間に対 応したフィルム粒子強度をフィルム粒子強度情報 8 8として出力する。 例えば、 予め定めた領域平均値の範囲が 0〜 1 5， 1 6〜3 1， · · ·， 2 4 0〜 2 5 5であったとし、 その時のフィルム粒子強度情報 5 4 が 〔0， 7 5 0 , 4 0 0， · · ·， 2 0〕 の場合、 入力された領域平均 値が 2 3であったとすると、 その時出力されるフィルム粒子強度が 7 5 0となる。 但し、 フィルム粒子強度情報は、 上述したように、 予め符号 化側で正規化処理を受けている場合には、 そのまま強度調整のための乗 算に使用できる値に変換されている。 この正規化は、 復号側で行うこと もできる。
フィルム粒子基本パターン 8 6は、 フィルム粒子強度情報 88と乗算 器 84によって乗算される。 乗算器 84から再構成されたフィルム粒子 画像 8 9が得られる。 フィルム粒子画像 8 9が加算器 8 5にて復号画像 情報 42に加算される。 加算器 8 5から復号画像 43が出力される。 加 算器 8 5では、 例えば （ 1 6 X 1 6) 画素単位でフィルム粒子画像 8 9 - が復号画像情報 42の （ 1 6 X 1 6) 画素に対して対応する位置の画素 同士が加算される。 フィルム粒子画像 8 9は、 基本パターン生成装置 8 1にて生成された （64 X 64) 画素の基本パターンから切り出された ものである。
なお、 フィルム粒子基本パターン 8 6は、 画面における均一性を出す ために、 フィルム粒子パターンを付加する領域単位、 例えば 1 6 X 1 6 (画素） 毎にそのパターンをシフトして加算することも可能である。 例 えば、 領域のサイズを HXV、 パターンの画素値を G (h , V) ( 0≤ h<H) ( 0≤ v<V) とした場合、 領域ごとに乱数 randh, randv (0 ≤randh<H, 0≤randv<V) を生成し、 実際に付加するパターン Aを 以下のように計算することによって乱数でシフトされたパターンを得る ことができる。 このパターンを、 フィルム粒子基本パターン 86として も良い。
A(h,v) = G(mod(h+randh,H), mod (v + Irandv, V))
第 9図は、 フィルム粒子基本パターン生成装置 8 1の一例の構成を示 す。 基本パターン生成装置 8 1は、 ノイズ生成装置 9 1と、 ヒストグラ ムマッチング装置 9 2, 9 3， 94, 9 5, 9 6と、 ハイパスフィルタ 97， 9 9と、 ローパスフィルタ 9 8 , 1 00と、 合成フィル夕パンク 1 0 1とから構成されている。
ノイズ生成装置 9 1は、 フィルム粒子基本パターンと同一サイズ （H XV) 例えば （64 X 6 4) 画素のノイズ （ガウスノイズ、 一様乱数な どのランダムノイズ) を生成する。 生成されたノイズがヒストグラムマ ツチング装置 9 2に供給される。 ヒストグラムマッチング装置 9 2は、 フィルム粒子基本パターン情報 5 3とほぼ同一のヒストグラムを持つよ うにノイズに対して変換を行う。 ヒストグラムマッチング装置 9 2をソ フトウエア処理によって実現した場合の変換アルゴリズムの一例を下記 に示す。
〔ヒストグラムマッチング装置におけるヒストグラムマツチアルゴリズ ム〕
1. フィルム粒子基本パターン情報 53におけるマッチさせる対象とな るヒストグラムの最小値を CMIN、 最大値を CMAX、 CMINと CMAXの間のヒス トグラムの分割区間の数を number of binsとする。 binsは、 ヒストグラ ム分割区間の一つを表している。 また、 符号化側で作成され、 受信また は再生されたヒストグラムの累積分布関数を CDF ref (bin) (0≤bin<n umber of bins - 1)とする。
2. 入力信号 （ノイズ生成装置 9 1の出力） を val org(h，v)とし、 入力 信号の累積分布関数を CDF org(bin) ( 0≤bin<number of bins_l)と する。
3.入力信号 val org(h,v)のそれぞれの要素について、 以下の擬似コー ドによって val replを得、 val org (h， v)をその値で置き換える。
val = CDF org(((val org(h, v) - CMIN) / (CMAX- CMIN) * (number of bin s-1))) ; for (i = 0 ; i く number of bins ; i++)
if (CDF ref (i) >= val)
break; i f (i -= number o f b i ns) i—- va l rep l = i I (number o f b ins - 1) (CMAX 一 CMIN) + CMIN ;
他のヒストグラムマッチング装置 9 3， 9 4 , 9 5， 9 6も、 上述し たアルゴリズムのヒストグラムマッチング機能を有する。 ヒストグラム マッチング装置 9 2の出力信号が分析ハイパスフィル夕 9 7および分析 ローパスフィルタ 9 8に供給され、 分析ハイパスフィルタ 9 7の出力が ヒストグラムマッチング装置 9 3に供給され、 分析ローパスフィル夕 9 8の出力がヒストグラムマッチング装置 9 4に供給される。
さらに、 ヒストグラムマッチング装置 9 4の出力信号が分析ハイパス フィル夕 9 9および分析口一パスフィル夕 1 0 0に供給され、 分析ハイ パスフィルタ 9 9の出力がヒストグラムマッチング装置 9 5に供給され 、 分析口一パスフィル夕 1 0 0の出力がヒストグラムマッチング装置 9 6に供給される。
フィルム粒子基本パターン情報 5 3は、 ヒストグラムマッチング装置 9 2〜9 6のそれぞれに対して異なるヒストグラム情報を与える。 第 7 図 Cにおけるヒストグラム情報 F 1がベースバンドに関するものである ので、 ヒストグラムマッチング装置 9 2に対して供給され、 ヒストグラ ム情報 F 2が高域に関するものであるので、 ヒストグラムマッチング装 置 9 3に対して供給され、 ヒストグラムマッチング装置 9 2に対して供 給され、 ヒストグラム情報 F 3が低域に関するものであるので、 ヒスト グラムマッチング装置 9 に対して供給される。
分析ハイパスフィルタ 9 7および 9 9、 分析口一パスフィルタ 9 8お よび 1 0 0によってサブバンド分割が行われ、 各サブパンドの成分が合 成フィルタバンク 1 0 1に供給される。 合成フィルタバンク 1 0 1は、 ヒストグラムマッチング装置 9 3の出力信号が供給される合成ハイパス フィル夕 1 0 2と、 ヒストグラムマッチング装置 9 5の出力信号が供給 される合成ハイパスフィル夕 1 0 3と、 ヒストグラムマッチング装置 9 6の出力信号が供給される合成ローパスフィル夕 1 0 4とから構成され ている。
合成ハイパスフィル夕 1 0 3の出力信号および合成ローパスフィルタ 1 0 4の出力信号が加算器 1 0 5において加算され、 合成ハイパスフィ ル夕 1 0 2の出力信号と加算器 1 0 5の出力信号とが加算器 1 0 6で加 算される。 加算器 1 0 6の出力にフィルム粒子基本パターン情報 8 6が 取り出される。 なお、 合成フィル夕バンクの構成は、 符号化側における サブバンドの分割の構成に対応したものとされる。
フィルム粒子基本パターン情報 8 6が上述したように、 フィルム粒子 強度情報 8 8と乗算器 8 4によって乗算されることによって、 強度が補 正または調整される。 強度調整されたフィルム粒子画像 8 9が復号画像 情報 4 2に加算され、 高能率符号化および復号化によって失われたフィ ルム粒子情報が有する高画質の復号画像 4 3が得られる。
第 1 0図は、 復号側におけるフィルム粒子画像の再構成処理を概略的 に説明するものである。 基本パターン生成装置 8 1によって、 ノイズの ヒストグラムがフィルム粒子基本パターン情報 5 3とほぼ同一とされた フィルム粒子基本パターン 8 6が生成される。 フィルム粒子基本パター ン 8 6は、 （ 6 4 X 6 4 ) 画素であり、 その中の （ 1 6 X 1 6 ) 画素の 領域が切り出されて乗算器 8 4に供給される。
符号化側で作成され、 フィルム粒子強度情報 5 4が保存され、 復号画 像情報 4 2の （ 1 6 X 1 6 ) 画素の領域の画素値の平均値 8 7に応じて 強度情報 8 8が出力される。 この強度情報 8 8によって基本パターン 8 6の強度が調整される。 強度調整がされたフィルム粒子画像 8 9が加算 器 8 5にて復号画像情報 4 2の （ 1 6 X 1 6 ) 画素の領域に対して画素 単位で加算される。
次に、 フィルム粒子情報の抽出とフィルム粒子画像の再構成の処理の いくつかの方法について、 コンポ一ネントビデオ信号の場合を例に説明 する。 第 1 1図は、 第 1の処理方法を示す。 第 1の処理方法は、 コンポ 一ネント Y， C r , C bのそれぞれで別々にフィルム粒子基本パ夕一ン 情報とフィルム粒子強度情報とを抽出し、 また、 各フレームにおいて、 これらの情報を抽出するものである。 シ一ン Aとシーン Bとが存在する 画像信号が示されている。 復号側においても、 コンポーネント Y , C r ， C bのそれぞれに関して、 フレーム毎のフィルム粒子基本パターン情 報とフィルム粒子強度情報とを使用してフィルム粒子が再構成される。 第 1 2図は、 第 2の処理方法を示す。 第 2の処理方法では、 コンポ一 ネント Y , C r , C bのそれぞれで別々にフィルム粒子基本パターン情 報とフィルム粒子強度情報とが抽出される。 フィルム粒子基本パ夕一ン 情報は、 各シーンの先頭のフレームにおいてのみ抽出される。 復号側で は、 抽出された基本パターン情報が同じシーン内の全フレームに対して 共通に使用される。 フィルム粒子強度情報は、 第 1の処理方法と同様に 、 コンポーネント毎に抽出され、 また、 各フレームで抽出される。
第 1 3図は、 第 3の処理方法を示す。 第 3の処理方法では、 コンポ一 ネント中の輝度信号 Yのみからフィルム粒子基本パ夕ーン情報が抽出さ れる。 また、 フィルム粒子基本パターン情報は、 各シ一ンの先頭のフレ ームにおいてのみ抽出される。 復号側では、 抽出された基本パターン情 報が同じシーン内の全フレームおよび全コンポーネントに対して共通に 使用される。 フィルム粒子強度情報は、 第 1の処理方法と同様に、 コン ポーネント毎に抽出され、 また、 各フレームで抽出される。
第 1 4図は、 第 4の処理方法を示す。，第 4の処理方法では、 コンポ一 ネン卜 Y， C r， C bのそれぞれで別々にフィルム粒子基本パターン情 報とフィルム粒子強度情報とが抽出される。 フィルム粒子基本パ夕一ン 情報およびフィルム粒子強度情報の両者は、 各シーンの先頭のフレーム においてのみ抽出される。 復号側では、 抽出された基本パターン情報お よび強度情報が同じシーン内の全フレームに対して共通に使用される。 第 1 5図は、 第 5の処理方法を示す。 第 5の処理方法では、 コンポ一 ネント中の輝度信号 Yのみからフィルム粒子基本パ夕一ン情報が抽出さ れる。 また、 フィルム粒子基本パターン情報は、 各シーンの先頭のフレ —ムにおいてのみ抽出される。 復号側では、 抽出された基本パターン情 報が同じシーン内の全フレームおよび全コンポ一ネントに対して共通に 使用される。 フィルム粒子強度情報は、 コンポーネント Y， C r , C b のそれぞれで別々に抽出される。 フィルム粒子強度情報は、 各シーンの 先頭のフレームにおいてのみ抽出される。 復号側では、 抽出されたフィ ルム粒子強度情報が同じシーン内の全フレームに対してコンポーネント 毎に共通に使用される。
第 1 6図は、 第 6の処理方法を示す。 第 6の処理方法では、 フィルム 粒子基本パターン情報およびフィルム粒子強度情報の両者がコンポ一ネ ント中の輝度信号 Yのみから抽出される。 復号側では、 抽出された基本 パターン情報および強度情報の両者が同じシーン内の全フレームおよび 全コンポーネントに対して共通に使用される。
上述した第 1乃至第 6の処理方法は、 フィルム粒子付加による画質改 善効果と、 伝送するフィルム粒子情報のデータ量との兼ね合いを考慮し て適切なものが使用される。 また、 第 1乃至第 6の処理方法の 2以上の 方法を選択可能と構成してユーザの操作で切り替えるようにしても良い 以上、 この発明の実施の形態について具体的に説明したが、 この発明 は、 上述の実施の形態に限定されるものではなく、 この発明の技術的思 想に基づく各種の変形が可能である。 例えば、 サブバンドの分割方法と しては、 水平周波数方向および垂直周波数方向のそれぞれを 2分割して 4個のサブバンドを形成しても良い。 また、 ノイズ成分をフィルム粒子 基本パタ一ン情報にしたがって加工する方法としては、 上述したァルゴ リズム以外のものを適用できる。 さらに、 この発明においては、 動画の 高能率符号化方法としては、 MPEG- 4 AVC (または H. 264)符号化以外の M P E G 2等の符号化を使用しても良い。
この発明によれば、 復号側で失われるフィルム粒子情報を符号化側で 予め効率よく抽出した上で復号側に伝送し、 または、 記録メディアに対 して記録し、 復号側では得られた情報から画像に付加するべきフィルム 粒子情報を再構成して復号画像に付加することにより、 フィルムの質感 を復号画像に与え、 結果として大幅な画質の改善を行うことを可能とす る。

Claims

請 求 の 範 囲
1 . 入力画像信号を高能率符号化する画像処理装置において、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、 上記領域検出手段により検出された上記領域内の画素値のレベル分布 を示す基本パ夕一ン情報を抽出する第 1の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出手 段と、
符号化デ一夕と上記基本パターン情報と上記強度情報とを伝送または 記録する手段と
からなることを特徴とする画像処理装置。
2 . 請求の範囲 1に記載の画像処理装置において、
上記第 1の抽出手段は、 上記領域内の画素の値の度数分布を上記基本 パターン情報とする画像処理装置。
3 . 請求の範囲 1に記載の画像処理装置において、
上記第 1の抽出手段は、 上記領域内の画素を複数の周波数帯域に分割 し、 各周波数帯域毎に上記基本パターン情報を抽出する画像処理装置。
4 . 請求の範囲 1に記載の画像処理装置において、
上記第 2の抽出手段は、 領域毎の画素の平均値に応じて上記強度情報 を生成する画像処理装置。
5 . 請求の範囲 1に記載の画像処理装置において、
上記第 1および第 2の抽出手段が上記基本パターン情報および上記強 度情報を上記入力画像中のフレーム毎に検出する画像処理装置。
6 . 請求の範囲 1に記載の画像処理装置において、
上記第 1および第 2の抽出手段が上記基本パターン情報および上記強 度情報を上記入力画像中のシーン毎に検出する画像処理装置。
7 . 請求の範囲 1に記載の画像処理装置において、 上記第 1および第 2の抽出手段の一方が上記基本パターン情報および 上記強度情報の一方を上記入力画像のフレーム毎に検出し、 上記第 1お よび第 2の抽出手段の他方が上記基本パターン情報および上記強度情報 の他方を上記入力画像中のシーン毎に検出する画像処理装置。
8 . 高能率符号化された符号化データと、 入力画像中で急峻な変化を含 まない領域内の画素値のレベル分布を示す基本パターン情報と、 フィル ム粒子を付加すべき程度を表す強度情報とを受信または再生する画像処 理装置であって、
符号化データを復号する復号手段と、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレべ ル分布と同様のものに変換してフィルム粒子画像を再構成する基本パタ —ン生成手段と、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調 整手段と、
強度が調整された上記フィルム粒子画像を上記復号手段により得られ た復号画像情報に付加する付加手段と
からなる画像処理装置。
9 . 請求の範囲 8に記載の画像処理装置において、
上記基本パターン生成手段により生成された上記フィルム粒子画像内 の領域を切り出して上記復号画像情報に付加する画像処理装置。
1 0 . 請求の範囲 9に記載の画像処理装置において、
切り出される上記領域の位置をランダムに変化させる画像処理装置。
1 1 . 請求の範囲 8に記載の画像処理装置において、
上記強度調整手段は、 画像の一定領域単位で強度を調整する画像処理 装置。
1 2 . 入力画像信号を高能率符号化し、 符号化データを伝送または記録 し、 受信または再生された上記符号化データを復号する画像処理装置に おいて、
符号化側に、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、 上記領域検出手段により検出された上記領域内の画素値のレベル分布 を示す基本パターン情報を抽出する第 1の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出手 段と、
符号化デ一夕と上記基本パターン情報と上記強度情報とを伝送または 記録する手段と
を設け、
復号側に、
上記符号化データと、 上記基本パターン情報と、 上記強度情報とを受 信または再生する手段と、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレべ ル分布と同様のものに変換してフィルム粒子画像を再構成する基本バタ ーン生成手段と、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調 整手段と、
強度が調整された上記フィルム粒子画像を上記復号手段により得られ た復号画像情報に付加する付加手段と
を設けた画像処理装置。
1 3 . 入力画像信号を高能率符号化する画像処理方法において、 入力画像中で急峻な変化を含まない領域を検出する領域検出ステップ と、
上記領域検出ステツプにより検出された上記領域内の画素値のレベル 分布を示す基本パターン情報を抽出する第 1の抽出ステップと、 付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出ス テツプこ、
符号化データと上記基本パターン情報と上記強度情報とを伝送または 記録するステップと
からなることを特徴とする画像処理方法。
1 4 . 高能率符号化された符号化データと、 入力画像中で急峻な変化を 含まない領域内の画素値のレベル分布を示す基本パターン情報と、 フィ ルム粒子を付加すべき程度を表す強度情報とを受信または再生する画像 処理方法であって、
符号化データを復号する復号ステップと、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレべ ル分布と同様のものに変換してフィルム粒子画像を再構成する基本パタ —ン生成ステップと、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調 整ステップと、
強度が調整された上記フィルム粒子画像を上記復号ステップにより得 られた復号画像情報に付加する付加ステップと
からなる画像処理方法。
1 5 . 入力画像信号を高能率符号化し、 符号化データを伝送または記録 し、 受信または再生された上記符号化データを復号する画像処理方法に おいて、
符号化側の処理は、
入力画像中で急峻な変化を含まない領域を検出する領域検出ステップ と、
上記領域検出ステップにより検出された上記領域内の画素値のレベル 分布を示す基本パターン情報を抽出する第 1の抽出ステップと、 付加すべきフィルム粒子の強度を表す強度情報を求める第 2の抽出ス テツプと、
符号化データと上記基本パターン情報と上記強度情報とを伝送または 記録するステップと
からなり、
復号側の処理は、
上記符号化データと、 上記基本パターン情報と、 上記強度情報とを受 信または再生するステップと、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレべ ル分布と同様のものに変換してフィルム粒子画像を再構成する基本パ夕 ーン生成ステップと、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調 整ステツプと、
強度が調整された上記フィルム粒子画像を上記復号ステップにより得 られた復号画像情報に付加する付加ステップと
からなる画像処理方法。
PCT/JP2005/017327 2004-10-18 2005-09-14 画像処理装置および処理方法 WO2006043392A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR20077008703A KR101193267B1 (ko) 2004-10-18 2005-09-14 화상 처리 장치 및 처리 방법
EP20050785876 EP1814333A1 (en) 2004-10-18 2005-09-14 Image processing device and processing method
BRPI0516944-5A BRPI0516944A (pt) 2004-10-18 2005-09-14 aparelho e método de processamento de imagem
MX2007004577A MX2007004577A (es) 2004-10-18 2005-09-14 Dispositivo de procesamiento de imagenes y metodo de procesamiento.
US11/665,558 US8139648B2 (en) 2004-10-18 2005-09-14 Image processing apparatus and image processing method
CA 2584065 CA2584065A1 (en) 2004-10-18 2005-09-14 Image processing apparatus and image processing method
AU2005297645A AU2005297645B2 (en) 2004-10-18 2005-09-14 Image processing device and processing method
CN2005800434175A CN101080929B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法
US13/328,540 US8681878B2 (en) 2004-10-18 2011-12-16 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004302676A JP4543873B2 (ja) 2004-10-18 2004-10-18 画像処理装置および処理方法
JP2004-302676 2004-10-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/665,558 A-371-Of-International US8139648B2 (en) 2004-10-18 2005-09-14 Image processing apparatus and image processing method
US13/328,540 Continuation US8681878B2 (en) 2004-10-18 2011-12-16 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2006043392A1 true WO2006043392A1 (ja) 2006-04-27

Family

ID=36202814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/017327 WO2006043392A1 (ja) 2004-10-18 2005-09-14 画像処理装置および処理方法

Country Status (11)

Country Link
US (2) US8139648B2 (ja)
EP (1) EP1814333A1 (ja)
JP (1) JP4543873B2 (ja)
KR (1) KR101193267B1 (ja)
CN (3) CN102088601B (ja)
AU (1) AU2005297645B2 (ja)
BR (1) BRPI0516944A (ja)
CA (1) CA2584065A1 (ja)
MX (1) MX2007004577A (ja)
RU (1) RU2345417C1 (ja)
WO (1) WO2006043392A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
EP2372996B1 (en) * 2008-12-26 2018-10-03 Fujitsu Limited Image processing system, image processing device, and image processing method
JP5751679B2 (ja) * 2010-01-15 2015-07-22 マーベル ワールド トレード リミテッド 圧縮アーチファクトをマスクするためのフィルムグレインの利用
US20110249743A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
JP5693089B2 (ja) * 2010-08-20 2015-04-01 キヤノン株式会社 画像処理装置、及び画像処理装置の制御方法
RU2452025C1 (ru) * 2011-03-02 2012-05-27 Открытое акционерное общество "Государственный Рязанский приборный завод" Способ улучшения цифровых изображений
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
WO2013010248A1 (en) * 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
JP6303176B2 (ja) * 2012-01-18 2018-04-04 ロッサト、ルカ 信号をデコードする方法、コンピュータプログラム及びデコーダ
US9438821B1 (en) * 2014-04-11 2016-09-06 Suny Behar Parker Method for applying multi-layered film grain and texture mapping to a digital video image
WO2023211861A1 (en) * 2022-04-25 2023-11-02 Invizipro Llc Simulation of analog film characteristics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03210889A (ja) * 1990-01-16 1991-09-13 Nec Corp 予測復号化回路
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
JPH09107549A (ja) * 1995-08-09 1997-04-22 Sony Corp 動画像符号化方法及び装置、並びに信号記録媒体
JP2002359845A (ja) * 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd ディザ処理装置
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0497681A (ja) * 1990-08-16 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 映像符号化復号化装置
US8505108B2 (en) * 1993-11-18 2013-08-06 Digimarc Corporation Authentication using a digital watermark
US7720249B2 (en) * 1993-11-18 2010-05-18 Digimarc Corporation Watermark embedder and reader
JPH08149466A (ja) * 1994-09-30 1996-06-07 Sanyo Electric Co Ltd 動画像処理方法及び処理装置
US6381365B2 (en) * 1997-08-22 2002-04-30 Minolta Co., Ltd. Image data processing apparatus and image data processing method
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
WO2000062243A1 (fr) * 1999-04-14 2000-10-19 Fujitsu Limited Procede et dispositif d'extraction de chaines de caracteres utilisant un composant de base d'une image de document
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
US7546464B2 (en) * 2001-06-26 2009-06-09 Canon Kabushiki Kaisha Network access terminal, network system, method of network system, storage medium, and program code
US20030011795A1 (en) * 2001-06-27 2003-01-16 Bobo Wang Belt control means for an image forming apparatus
JP4273692B2 (ja) * 2002-01-21 2009-06-03 宇部興産株式会社 熱電変換材料の製造方法
US7218785B2 (en) * 2002-10-09 2007-05-15 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
JP2004236251A (ja) * 2003-02-03 2004-08-19 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
BRPI0408570B1 (pt) * 2003-04-10 2018-02-27 Dolby International Ab Processos e aparelho para simular granulação de filme em uma imagem
US7738721B2 (en) * 2003-08-29 2010-06-15 Thomson Licensing Method and apparatus for modeling film grain patterns in the frequency domain
RU2342703C2 (ru) * 2003-09-23 2008-12-27 Томсон Лайсенсинг Методика имитации зернистости пленки с помощью частотной фильтрации
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03210889A (ja) * 1990-01-16 1991-09-13 Nec Corp 予測復号化回路
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
JPH09107549A (ja) * 1995-08-09 1997-04-22 Sony Corp 動画像符号化方法及び装置、並びに信号記録媒体
JP2002359845A (ja) * 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd ディザ処理装置
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法

Also Published As

Publication number Publication date
AU2005297645B2 (en) 2009-12-24
RU2345417C1 (ru) 2009-01-27
JP2006115380A (ja) 2006-04-27
US8139648B2 (en) 2012-03-20
AU2005297645A1 (en) 2006-04-27
CN102088600B (zh) 2013-08-21
BRPI0516944A (pt) 2008-09-23
CN101080929B (zh) 2011-03-02
CN101080929A (zh) 2007-11-28
JP4543873B2 (ja) 2010-09-15
EP1814333A1 (en) 2007-08-01
MX2007004577A (es) 2007-09-11
CN102088601A (zh) 2011-06-08
CA2584065A1 (en) 2006-04-27
KR20070072523A (ko) 2007-07-04
US8681878B2 (en) 2014-03-25
KR101193267B1 (ko) 2012-10-19
US20120086861A1 (en) 2012-04-12
CN102088601B (zh) 2013-07-24
US20080137727A1 (en) 2008-06-12
CN102088600A (zh) 2011-06-08

Similar Documents

Publication Publication Date Title
WO2006043392A1 (ja) 画像処理装置および処理方法
JP5249784B2 (ja) 高ダイナミックレンジコーデック
Mantiuk et al. Backward compatible high dynamic range MPEG video compression
JP3943333B2 (ja) 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置
CA2570090C (en) Representing and reconstructing high dynamic range images
US6195394B1 (en) Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures
WO2007040765A1 (en) Content adaptive noise reduction filtering for image signals
JP2015536108A (ja) 映像圧縮方法
JP3900155B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム、ならびに、量子化制御装置、量子化制御方法および量子化制御プログラム
CN110896432A (zh) 图像处理方法和系统
JP3271098B2 (ja) ディジタル画像信号復号装置および方法
JP2558996B2 (ja) 画像符号化方法及び画像符号化装置
Matsuo et al. Video coding of 8K UHDTV by HEVC/H. 265 with spatio-gradational reduction and its restoration
JP2004187036A (ja) 輪郭補正システム
EP1341381A1 (en) Image recording device and image reproducing device
JP2021103818A (ja) 画像符号化装置、撮像装置、画像符号化装置の制御方法、及び、プログラム
JP2000197011A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを記憶した記憶媒体
JPH06284404A (ja) 画像圧縮装置
WO2002054780A1 (en) Apparatus for artifacts reduction in the display of decompressed motion pictures

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2584065

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2005785876

Country of ref document: EP

Ref document number: MX/a/2007/004577

Country of ref document: MX

Ref document number: 2834/DELNP/2007

Country of ref document: IN

Ref document number: 2005297645

Country of ref document: AU

Ref document number: 1020077008703

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2005297645

Country of ref document: AU

Date of ref document: 20050914

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2007118502

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 200580043417.5

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2005785876

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11665558

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0516944

Country of ref document: BR