WO2012008602A1 - 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体 - Google Patents

映像処理装置、映像処理方法、映像処理プログラム、記憶媒体 Download PDF

Info

Publication number
WO2012008602A1
WO2012008602A1 PCT/JP2011/066317 JP2011066317W WO2012008602A1 WO 2012008602 A1 WO2012008602 A1 WO 2012008602A1 JP 2011066317 W JP2011066317 W JP 2011066317W WO 2012008602 A1 WO2012008602 A1 WO 2012008602A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
noise
amount
quantization parameter
processing
Prior art date
Application number
PCT/JP2011/066317
Other languages
English (en)
French (fr)
Inventor
嘉憲 河野
亮介 新妻
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to EP11806932.7A priority Critical patent/EP2611154A1/en
Priority to US13/808,042 priority patent/US8737465B2/en
Priority to CN201180034980.1A priority patent/CN103004193B/zh
Priority to BR112013001184A priority patent/BR112013001184A2/pt
Publication of WO2012008602A1 publication Critical patent/WO2012008602A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise

Definitions

  • the present invention relates to a technique for processing image noise.
  • Patent Document 1 listed below describes a technique for setting a weighting coefficient based on a distance from an encoding block boundary of block encoding and controlling an image quality correction amount at the time of image quality correction according to the weighting coefficient.
  • Patent Document 1 The technique described in Patent Document 1 is based on the premise that the distance from the coding block boundary of block coding is acquired. For this reason, in an apparatus that cannot acquire the distance, the same method cannot be adopted, and noise reduction processing and image quality correction processing cannot be performed.
  • the present invention has been made in order to solve the above-described problems, and provides a video processing technique capable of performing noise reduction processing and image quality correction using a general configuration used in decoding processing.
  • the purpose is to do.
  • the video processing apparatus counts the number of blocks in which the video quantization parameter exceeds a predetermined threshold, and calculates the noise amount of the video based on the count result. Further, the amount of noise reduction is adjusted according to the calculated noise amount.
  • the amount of noise is calculated based on whether or not the quantization parameter exceeds a predetermined threshold. Therefore, if the quantization parameter can be obtained, noise reduction processing and image quality correction are performed. Can be implemented. Since the quantization processing is adopted in many image encoding methods such as MPEG2, for example, it can be said that noise reduction processing and image quality correction can be performed in many cases. That is, it is advantageous in that it is not necessary to adopt a special method for calculating the amount of noise.
  • FIG. 1 is a functional block diagram of a video processing apparatus 100 according to Embodiment 1.
  • FIG. 10 is an operation flow of the video processing apparatus 100 according to the second embodiment.
  • FIG. 10 is a functional block diagram of a video processing apparatus 100 according to a fourth embodiment.
  • FIG. 10 is a functional block diagram of a video processing apparatus 100 according to a fifth embodiment. It is a figure which shows notionally the relationship between the image correction amount which the image processing apparatus 100 implements, and the noise amount of the said image
  • FIG. 1 is a functional block diagram of a video processing apparatus 100 according to Embodiment 1 of the present invention.
  • the video processing device 100 is a device that corrects noise in an input video signal, and includes a video acquisition unit 110, a decoding processing unit 120, a quantization parameter acquisition unit 130, a storage unit 140, a noise amount calculation unit 150, and a noise reduction process. Part 160.
  • the video acquisition unit 110 receives a video signal obtained by converting a video signal.
  • the acquisition source of the video signal may be an arbitrary form of video signal source such as a broadcast wave or video data stored in a storage medium. However, it is necessary that the video signal adopts a technique capable of acquiring a quantization parameter described later.
  • the decoding processing unit 120 decodes the video signal acquired by the video acquisition unit 110. Since the video signal is usually encoded by some technique, the processing of the decoding processing unit 120 is necessary.
  • the quantization parameter acquisition unit 130 acquires a quantization parameter used in the process in which the decoding processing unit 120 decodes the video signal.
  • quantization processing is performed when video is encoded. Since the quantization parameter at this time is necessary for performing the decoding process, it is delivered to the side that performs the decoding process in some form. For example, the quantization parameter for each video block can be described in the header portion of the video stream.
  • the quantization parameter acquisition unit 130 acquires this quantization parameter in accordance with the format adopted by the encoding method.
  • the storage unit 140 stores a threshold for calculating the noise amount of the video using the quantization parameter. This threshold value is used to determine whether a high-frequency component is largely removed from the video block to which the quantization parameter is applied based on the magnitude of the quantization parameter value.
  • the noise amount calculation unit 150 calculates the noise amount of the video using the quantization parameter acquired by the quantization parameter acquisition unit 130 and the threshold value stored in the storage unit 140. The calculation method will be described later.
  • the noise reduction processing unit 160 performs processing for reducing noise of the video based on the noise amount calculated by the noise amount calculation unit 150. Specifically, for example, processing for removing high-frequency components of an image, processing for reducing noise generated at a boundary portion of an image, and the like are applicable.
  • the video acquisition unit 110, the decoding processing unit 120, the quantization parameter acquisition unit 130, the noise amount calculation unit 150, and the noise reduction processing unit 160 can also be realized using hardware such as a circuit device that implements these functions. However, it can also be configured using an arithmetic device such as a microcomputer or a CPU (Central Processing Unit) and software defining its operation.
  • arithmetic device such as a microcomputer or a CPU (Central Processing Unit) and software defining its operation.
  • the storage unit 140 can be configured using a storage device such as an HDD (Hard Disk Drive).
  • HDD Hard Disk Drive
  • the configuration of the video processing apparatus 100 according to the first embodiment has been described above. Next, processing for calculating the amount of video noise by the video processing apparatus 100 will be described together with a basic concept.
  • ⁇ Embodiment 1 Concept of noise amount calculation>
  • quantization processing is performed when a video signal is encoded.
  • the main purpose of this processing is to compress the amount of information by thinning out the high frequency components of the video signal. For example, the amplitude value of each frequency component is divided by the quantization parameter to reduce the scale of the amplitude value. As a result, the number of bits necessary for expressing the amplitude value of each frequency component is reduced, and processing such as simplification by approximating a minute amplitude value by 0 can be performed. As a result, it is possible to reduce the amount of information necessary for expressing the video.
  • the video When encoding a video signal, the video may be divided into a plurality of regions (blocks), and encoding processing and quantization processing may be performed on each block. In this case, a different quantization parameter can be adopted for each block.
  • a large quantization parameter value of a certain block means that more high-frequency components have been thinned out during the encoding process. That is, if a block having a large quantization parameter value is decoded, more high-frequency components are lost, so that it is considered that noise is likely to occur in the decoded video.
  • the magnitude of the noise amount after decoding in the block is estimated based on the magnitude of the value of the quantization parameter.
  • the decoding parameter should always be able to acquire the quantization parameter. Therefore, under the coding method that employs quantization, the amount of noise can be calculated reliably without using a special coding method or method by calculating the amount of noise using the quantization parameter. There is an advantage that can be.
  • correction processing noise reduction processing
  • Optimal correction processing such as increasing the correction amount can be performed.
  • Step 1 Obtain video signal
  • the video acquisition unit 110 acquires a video signal from an arbitrary video signal source.
  • Step 2 Get quantization parameter
  • the decoding processing unit 120 decodes the video signal acquired by the video acquisition unit 110.
  • the quantization parameter acquisition unit 130 acquires a quantization parameter obtained in the process of decoding the video signal.
  • the quantization parameter of each block is acquired.
  • Step 2 Get quantization parameter: supplement
  • the method by which the quantization parameter acquisition unit 130 acquires the quantization parameter differs depending on the encoding method. For example, as described above, when the quantization parameter is recorded in the video signal itself, the value may be acquired. Although it is not always necessary to derive the quantization parameter from the video signal itself, the value of the quantization parameter is required when performing the decoding process, regardless of which encoding method is employed. What is necessary is just to acquire the value.
  • Step 3 Get threshold
  • the noise amount calculation unit 150 acquires the quantization parameter acquired by the quantization parameter acquisition unit 130.
  • a threshold for calculating the noise amount of the video is acquired from the storage unit 140 based on the quantization parameter.
  • Step 4 Calculate the amount of noise
  • the noise amount calculation unit 150 counts the number of blocks in which the quantization parameter value exceeds the threshold among the video blocks in the video.
  • the noise amount calculation unit 150 calculates the noise amount of the video using the count result.
  • Step 4 Calculate the amount of noise: Supplement 1
  • the fact that there are many blocks whose quantization parameter value exceeds the threshold means that there are many blocks from which many high-frequency components have been removed.
  • the difference between before and after the encoding is considered to increase, so that the block is handled as having a large noise after decoding. It can be considered that the more noise blocks there are, the greater the noise amount of the entire video. Therefore, the number of blocks whose quantization parameter exceeds the threshold is defined as the noise amount.
  • Step 4 Calculate the amount of noise: Supplement 2
  • the number of blocks whose quantization parameter exceeds the threshold value itself may be used as the noise amount, or the noise amount may be calculated again by applying some arithmetic expression thereto. In any case, the noise amount of the video is calculated based on the number of blocks whose quantization parameter exceeds the threshold. This also applies to the following embodiments.
  • the noise reduction processing unit 160 performs the noise reduction processing after adjusting the amount of noise reduction of the video according to the noise amount calculated by the noise amount calculation unit 150. Specifically, if the amount of noise in the video is large, the strength of the noise reduction process is increased. For example, the reduction amount (filter gain) of the high frequency component removed by the high frequency filter is increased.
  • Step 5 Noise reduction processing: Supplement 1 Since the quantization process is a process for removing high-frequency components in the encoding process, increasing the amount of high-frequency components removed in this step seems to be removing double high-frequency components. However, when a video from which high-frequency components have been removed in the encoding process is decoded, the original high-frequency components are lost in the encoding process, so that high-frequency noise may occur. A typical example of this is block noise, which looks as if the image is partitioned in a grid at block boundaries. Thus, this step is considered necessary to effectively remove noise generated after decoding.
  • Step 5 Noise reduction processing: Supplement 2
  • a quantization parameter is used as a reference for calculating the amount of noise after decoding.
  • the quantization parameter suggests the degree of information compression. That is, if the value of the quantization parameter is large, more high-frequency components are removed, so that it is considered that more noise is generated after decoding. Therefore, it is considered valid to estimate the noise amount based on the magnitude of the quantization parameter.
  • the present invention is advantageous in that it can enjoy these double advantages effectively.
  • the video processing apparatus 100 calculates the noise amount of the video using the number of blocks whose quantization parameter value exceeds the threshold.
  • the decoding side can also acquire the quantization parameter, so use special information to calculate the noise amount, There is no need to adopt an original calculation method, and the amount of noise can be calculated reliably.
  • the amount of noise is calculated using the number of blocks whose quantization parameter value exceeds the threshold value when decoding a block in which more high-frequency components are removed in the encoding process, Based on the idea that more noise is generated.
  • the amount of noise can be calculated in accordance with the process of the encoding process, so that it can be said that the amount of noise suitable for the characteristics of the image can be obtained.
  • the noise reduction amount is adjusted according to the calculated noise amount. Accordingly, it is possible to avoid an inconvenience that the noise reduction amount is increased by increasing the noise reduction amount for an image with little noise, and appropriate noise reduction processing can be performed.
  • the noise amount is calculated based on whether or not the quantization parameter exceeds the threshold value.
  • the quantization parameter values are divided into a plurality of levels based on the magnitude thereof, and the values are totalized after being multiplied by a weighting coefficient assigned to each level. As a result, the noise level of the video is analyzed in more detail, and the amount of noise after decoding is calculated more appropriately. Since the configuration of the video processing apparatus 100 is the same as that of the first embodiment, the following description will focus on the differences relating to the calculation method.
  • FIG. 2 is an operation flow of the video processing apparatus 100 according to the second embodiment. Hereinafter, each step of FIG. 2 will be described.
  • Step S200 When the video acquisition unit 110 acquires a video signal, this operation flow is started.
  • the decoding processing unit 120 decodes the video signal acquired by the video acquisition unit 110.
  • the quantization parameter acquisition unit 130 acquires the quantization parameter of each video block obtained in the course of the decoding process.
  • the noise amount calculation unit 150 classifies the quantization parameter value of each video block acquired by the quantization parameter acquisition unit 130 into a plurality of levels according to the magnitude.
  • the noise amount calculation unit 150 determines which of the three levels the quantization parameter value belongs.
  • the noise amount calculation unit 150 multiplies the quantization parameter by a predetermined weighting coefficient according to the level to which the value of the quantization parameter belongs.
  • the value of the quantization parameter is used as it is, but in the second embodiment, the value after being multiplied by the weighting coefficient is used. Thereby, the process of calculating the amount of noise can be finely adjusted by adjusting the weighting coefficient.
  • Steps S205 to S207: Supplement 1 The weighting coefficient in this step is not necessarily common to all blocks. For example, for blocks that appear to be low in importance, the weighting coefficient at each level is generally reduced, and for blocks that appear to be high in importance, LV2 to 3 are set higher than other blocks. Can also be adjusted.
  • the value of the weighting coefficient may be stored in advance in a storage device such as the storage unit 140, and may be read out as needed.
  • Step S208 The noise amount calculation unit 150 determines whether or not the above steps have been completed for the entire block of the screen. If not completed, the process returns to step S202 and the same processing is repeated. If completed, the process proceeds to step S209.
  • the noise amount calculation unit 150 counts the number of blocks in which the value of the quantization parameter exceeds the threshold, and calculates the noise amount of the video based on the result.
  • the difference from the first embodiment is that the present embodiment multiplies the quantization parameter by the weighting coefficient and compares it with the threshold value.
  • the processing of the noise reduction processing unit 160 is the same as that in the first embodiment.
  • the noise amount calculation unit 150 divides the quantization parameter into levels and assigns a weighting coefficient to each level.
  • the noise amount calculation unit 150 calculates the noise amount of the video by adding up the results of multiplying the quantization parameter and the weighting coefficient. Thereby, since the weighting coefficient can be adjusted in addition to the threshold value stored in the storage unit 140, the process of calculating the noise amount can be finely adjusted.
  • a method of adjusting the weighting coefficient according to the type of video is also conceivable.
  • the adjustment of the threshold value and the weighting coefficient may be performed dynamically every time a video is input, or a plurality of combination patterns assumed in advance are prepared and stored in the storage unit 140 so that the video is input. One of them may be applied when it is done.
  • the number of blocks whose quantization parameter exceeds the threshold is counted, and the value is adopted as the noise amount of the video.
  • the number of blocks whose quantization parameter exceeds a threshold value is counted, and a value obtained by dividing the number by the total number of blocks, that is, a ratio of blocks having a large quantization parameter to the whole is defined as a noise amount. You can also.
  • the occupying ratio can also be defined as the amount of noise of the video.
  • FIG. 3 is a functional block diagram of the video processing apparatus 100 according to the fourth embodiment of the present invention.
  • the video processing apparatus 100 according to the fourth embodiment includes a high frequency filter 161 and an edge filter 162 as internal functions of the noise reduction processing unit 160 in the configuration described in the first to third embodiments. Other configurations are the same as those in the first to third embodiments.
  • the high frequency filter 161 is a filter that removes high frequency components of the video signal decoded by the decoding processing unit 130.
  • the high frequency filter 161 performs processing for removing high frequency components on the entire screen of the video signal decoded by the decoding processing unit 130. Note that the amount of high-frequency components to be removed (filter gain) can be changed.
  • the edge filter 162 is a filter that removes noise (edge noise) generated in the contour portion of the video signal decoded by the decoding processing unit 130. For example, mosquito noise generated at the edge portion of the image is removed.
  • the edge filter 162 performs processing for removing edge noise on the entire screen of the video signal decoded by the decoding processing unit 130. Note that the amount of high-frequency components to be removed (filter gain) can be changed.
  • the noise amount calculation unit 150 adjusts the noise reduction amount of the high frequency filter 161 and the noise reduction amount of the edge filter 162 based on the calculated noise amount. Specifically, the noise reduction amount of each filter is increased and the noise after decoding is reduced as the noise amount of the video is larger.
  • the filter gain may be adjusted.
  • the amount of noise reduction is adjusted according to the method.
  • the noise amount calculation unit 150 adjusts the filter gain of each noise filter based on the calculated noise amount. Thereby, the noise correction processing amount can be adjusted in accordance with the calculated noise amount.
  • FIG. 4 is a functional block diagram of the video processing apparatus 100 according to the fifth embodiment of the present invention.
  • the video processing apparatus 100 according to the fifth embodiment is further provided with a coring processing unit 171 and a sharpness processing unit 172 in addition to the configurations described in the first to fourth embodiments.
  • Other configurations are the same as those in the first to fourth embodiments.
  • FIG. 4 shows an example in which the coring processing unit 171 and the sharpness processing unit 172 are provided in addition to the configuration described in the fourth embodiment.
  • the coring processing unit 171 and the sharpness are provided.
  • a processing unit 172 may be provided.
  • the coring processing unit 171 performs processing for removing minute high-frequency components on the entire screen of the video after the noise reduction processing unit 160 performs the noise reduction processing. This is to remove high frequency components in advance so that the sharpness processing unit 172 described below does not emphasize high frequency noise. In particular, the block noise generated at the boundary portion of the video block may not be sufficiently removed by the high frequency filter 161. By removing the block noise in advance by the coring processing unit 171, even if the sharpness processing unit 172 emphasizes the block noise, the influence can be suppressed.
  • the sharpness processing unit 172 performs contour enhancement processing on the entire screen of the video after the noise reduction processing unit 160 performs the noise reduction processing. Since the contour emphasis processing has an effect of amplifying high frequency components, the coring processing unit 171 removes minute high frequency components in advance and then performs the contour emphasis processing.
  • the sharpness processing unit 172 after performing processing for reducing high-frequency noise in accordance with the calculation result of the noise amount calculation unit 150, the sharpness processing unit 172 further performs contour enhancement processing, thereby reducing noise. A clear image can be obtained while removing the image.
  • the coring processing unit 171 by removing minute high-frequency noise such as block noise by the coring processing unit 171, it is possible to suppress the adverse effect of the sharpness processing unit 172 and effectively exert the effect of contour enhancement. it can.
  • the processing target of the high-frequency filter 161, the edge filter 162, the coring processing unit 171, and the sharpness processing unit 172 is the entire screen of the video. It may be limited to only some of the blocks. For example, the processing of each unit described above may be performed only on a block whose quantization parameter value (or weighted quantization parameter value) exceeds a threshold value.
  • noise reduction processing or sharpening processing is performed only on a specific block, there is a possibility that it is not possible to balance the adjacent blocks. Therefore, for example, similar noise reduction processing and sharpening processing may be performed on a peripheral region including a block with a large amount of noise. Thereby, it is possible to balance with other blocks while suppressing the processing load.
  • FIG. 5 is a diagram conceptually showing the relationship between the image correction amount implemented by the image processing apparatus 100 according to the present invention and the noise amount of the image.
  • the amount of noise of the video is calculated based on the block whose quantization parameter value exceeds the threshold, it is not determined as noise unless the quantization parameter value exceeds the threshold. .
  • the video correction amount does not increase and becomes substantially constant until the noise amount reaches the threshold value.
  • the noise reduction amount in the noise reduction processing unit 160 increases as the noise amount increases, so the relationship between the noise amount and the correction amount is proportional.
  • the processing characteristics of the video processing apparatus 100 can be adjusted by adjusting the threshold value in FIG. 5 and the proportional coefficient between the noise amount and the correction amount. The same effect can also be achieved by adjusting the weighting coefficient described in the second embodiment.
  • the characteristics in the vertical axis direction of FIG. 5 can be adjusted.
  • Video signal source example 1 A video signal is acquired from an analog video broadcast wave.
  • a video signal is acquired from a digital video broadcast wave.
  • Example 3 of Video Signal Source A video signal recorded on a storage medium such as a Blu-ray (registered trademark) disc, a DVD (Digital Versatile Disk: registered trademark), or an HDD is acquired.
  • a storage medium such as a Blu-ray (registered trademark) disc, a DVD (Digital Versatile Disk: registered trademark), or an HDD is acquired.
  • a video signal is acquired from a broadcast wave such as an IP broadcast wave or a CATV broadcast wave.
  • a video signal is acquired from an external device such as an external video recording device or an external video acquisition device.
  • a program for realizing the processing of each functional unit of the video processing apparatus 100 described in the first to eighth embodiments is recorded on a computer-readable storage medium, and the program recorded on the storage medium is stored in a computer system.
  • the processing of each functional unit may be realized by being read and executed.
  • the “computer system” includes hardware such as an OS (Operating System) and peripheral devices.
  • the program may be for realizing a part of the functions described above, and may be capable of realizing the functions described above in combination with a program already recorded in the computer system. .
  • the “storage medium” storing the above program includes a computer-readable portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD-ROM, and a hard disk built in the computer system.
  • a storage device a program that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, and a server or client in that case
  • a volatile memory inside a computer system as described above includes a program that holds a program for a certain period of time.
  • 100 Video processing device, 110: Video acquisition unit, 120: Decoding processing unit, 130: Quantization parameter acquisition unit, 140: Storage unit, 150: Noise amount calculation unit, 160: Noise reduction processing unit, 161: High frequency filter, 162: Edge filter, 171: Coring processing unit, 172: Sharpness processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

　復号処理において用いられる一般的な構成を用いて、ノイズ低減処理および画質補正を実施することのできる映像処理技術を提供する。　本発明に係る映像処理装置は、映像の量子化パラメータが所定閾値を超えているブロック数をカウントし、そのカウント結果に基づき当該映像のノイズ量を算出する。また、算出したノイズ量に応じて、ノイズを低減させる量を調整する。

Description

映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
　本発明は、映像のノイズを処理する技術に関するものである。
　従来、圧縮符号化した映像を復号化する過程で生じるノイズを低減するための技術が開発されている。
　下記特許文献１には、ブロック符号化の符号化ブロック境界からの距離に基づいて重み付け係数を設定し、この重み付け係数に応じて、画質補正時の画質補正量を制御する技術が記載されている。
特開平１０－２２９５４６号公報
　上記特許文献１に記載の技術では、ブロック符号化の符号化ブロック境界からの距離を取得することが前提となっている。そのため、上記距離を取得することができない装置においては、同手法を採用することができず、ノイズ低減処理および画質補正処理ができなくなってしまう。
　本発明は、上記のような課題を解決するためになされたものであり、復号処理において用いられる一般的な構成を用いて、ノイズ低減処理および画質補正を実施することのできる映像処理技術を提供することを目的とする。
　本発明に係る映像処理装置は、映像の量子化パラメータが所定閾値を超えているブロック数をカウントし、そのカウント結果に基づき当該映像のノイズ量を算出する。また、算出したノイズ量に応じて、ノイズを低減させる量を調整する。
　本発明に係る映像処理装置によれば、量子化パラメータが所定閾値を超えているか否かに基づいてノイズ量を算出するので、量子化パラメータを取得することができれば、ノイズ低減処理および画質補正を実施することができる。量子化処理は、例えばＭＰＥＧ２などの多くの画像符号化方式で採用されているので、多くの場合においてノイズ低減処理および画質補正を実施できるといえる。すなわち、ノイズ量を算出するために特殊な方式を採用する必要がない点で、有利である。
実施形態１に係る映像処理装置１００の機能ブロック図である。 実施形態２に係る映像処理装置１００の動作フローである。 実施形態４に係る映像処理装置１００の機能ブロック図である。 実施形態５に係る映像処理装置１００の機能ブロック図である。 映像処理装置１００が実施する映像補正量と、当該映像のノイズ量との関係を概念的に示す図である。
＜実施の形態１＞
　図１は、本発明の実施形態１に係る映像処理装置１００の機能ブロック図である。映像処理装置１００は、入力された映像信号のノイズを補正する装置であり、映像取得部１１０、復号処理部１２０、量子化パラメータ取得部１３０、記憶部１４０、ノイズ量算出部１５０、ノイズ低減処理部１６０を備える。
　映像取得部１１０は、映像を信号化した映像信号を受け取る。映像信号の取得元は、例えば放送波、記憶媒体に格納された映像データなど、任意の形態の映像信号源が考えられる。ただし、後述する量子化パラメータを取得することができる手法を採用した映像信号である必要がある。
　復号処理部１２０は、映像取得部１１０が取得した映像信号を復号化する。映像信号は何らかの手法によって符号化されていることが通常であるため、復号処理部１２０の処理が必要となる。
　量子化パラメータ取得部１３０は、復号処理部１２０が映像信号を復号化する過程で用いる量子化パラメータを取得する。多くの画像符号化手法では、映像を符号化する際に量子化処理を実施する。このときの量子化パラメータは、復号処理を実施するために必要となるので、何らかの形態で復号処理を実施する側に引き渡される。例えば、映像ストリームのヘッダ部分などに、映像ブロック毎の量子化パラメータを記述することができる。量子化パラメータ取得部１３０は、符号化手法が採用する形式に合わせて、この量子化パラメータを取得する。
　なお、映像が符号化されていない場合は、量子化パラメータを取得することができないが、符号化処理が行われていなければ符号化にともなうノイズも発生しないので、本発明に係る手法を採用する必然性はない。
　記憶部１４０は、量子化パラメータを用いて当該映像のノイズ量を算出するための閾値を記憶している。この閾値は、量子化パラメータの値の大小に基づき、当該量子化パラメータが適用されている映像ブロックが高周波成分を多く除去されているか否かを判定するために用いられる。
　ノイズ量算出部１５０は、量子化パラメータ取得部１３０が取得した量子化パラメータと、記憶部１４０が格納している閾値とを用いて、当該映像のノイズ量を算出する。算出手法については後述する。
　ノイズ低減処理部１６０は、ノイズ量算出部１５０が算出したノイズ量に基づき、当該映像のノイズを低減する処理を実施する。具体的には、例えば画像の高周波成分を除去する処理、画像の境界部分に生じるノイズを低減させる処理、などが該当する。
　映像取得部１１０、復号処理部１２０、量子化パラメータ取得部１３０、ノイズ量算出部１５０、ノイズ低減処理部１６０は、これらの機能を実現する回路デバイスなどのハードウェアを用いて実現することもできるし、マイコンやＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算装置とその動作を規定するソフトウェアを用いて構成することもできる。
　記憶部１４０は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶装置を用いて構成することができる。
　以上、本実施形態１に係る映像処理装置１００の構成を説明した。次に、映像処理装置１００が映像のノイズ量を算出する処理について、基本的な考え方とともに説明する。
＜実施の形態１：ノイズ量算出の考え方＞
　一般に、映像信号を符号化する際には、量子化処理を実施する。この処理は、映像信号の高周波成分を間引いて情報量を圧縮するのが主な目的であるといえる。例えば、各周波数成分の振幅値を量子化パラメータで除算し、振幅値のスケールを小さくする。これにより、各周波数成分の振幅値を表現するために必要なビット数が減り、また微小な振幅値は０で近似して簡易化するなどの処理を施すことができる。結果として、映像を表現するために必要な情報量を削減することができる。
　映像信号を符号化する際に、映像を複数の領域（ブロック）に分割し、各ブロックに対して符号化処理および量子化処理を実施する場合がある。この場合、ブロック毎に異なる量子化パラメータを採用することもできる。あるブロックの、量子化パラメータの値が大きいということは、より多くの高周波成分が、符号化の過程で間引かれたということを意味する。すなわち、量子化パラメータの値が大きいブロックを復号化すると、高周波成分がより多く喪失しているので、復号化後の映像においてノイズが生じやすいのではないかと考えられる。
　本発明では、この点に着目し、量子化パラメータの値の大小をもって、当該ブロックにおける復号化後のノイズ量の大小を推定する。符号化処理を実施する際に量子化処理を行う符号化方式では、必ず復号側でも量子化パラメータを取得できるようになっているはずである。そのため、量子化を採用した符号化方式の下において、量子化パラメータを用いてノイズ量を算出することにより、特別な符号化方式や算出手法を採用することなく、確実にノイズ量を算出することができる利点がある。
　ノイズ量を算出した後は、そのノイズ量に適した補正処理（ノイズ低減処理）を映像に施すことにより、ノイズの少ないブロックに対しては補正量を小さくし、ノイズの多いブロックに対しては補正量を大きくする、といった最適な補正処理を実施することができる。
＜実施の形態１：ノイズ低減手順＞
　以下では、映像処理装置１００がノイズ量を算出し、そのノイズ量を用いてノイズ低減処理を実施する手順を説明する。
（ステップ１：映像信号を取得）
　映像取得部１１０は、任意の映像信号源から映像信号を取得する。
（ステップ２：量子化パラメータを取得）
　復号処理部１２０は、映像取得部１１０が取得した映像信号を復号化する。量子化パラメータ取得部１３０は、映像信号を復号化する過程で得られる量子化パラメータを取得する。映像内のブロック毎に量子化パラメータが設定されている場合は、各ブロックの量子化パラメータを取得する。
（ステップ２：量子化パラメータを取得：補足）
　量子化パラメータ取得部１３０が量子化パラメータを取得する手法は、符号化手法によって異なる。例えば先に述べたように、映像信号そのものに量子化パラメータが記録されている場合は、その値を取得すればよい。必ずしも映像信号そのものから量子化パラメータを導出する必要はないが、いずれの符号化手法が採用されている場合であっても、復号処理を実施する際に量子化パラメータの値が必要となるので、その値を取得すればよい。
（ステップ３：閾値を取得）
　ノイズ量算出部１５０は、量子化パラメータ取得部１３０が取得した量子化パラメータを取得する。また、記憶部１４０から、量子化パラメータに基づき当該映像のノイズ量を算出するための閾値を取得する。
（ステップ４：ノイズ量を算出）
　ノイズ量算出部１５０は、当該映像内の映像ブロックのうち、量子化パラメータの値が上記閾値を超えているブロックの数をカウントする。ノイズ量算出部１５０は、そのカウント結果を用いて、当該映像のノイズ量を算出する。
（ステップ４：ノイズ量を算出：補足その１）
　量子化パラメータの値が閾値を超えているブロックが多いということは、高周波成分を多く除去されているブロック数が多いということである。高周波成分が多く除去されたブロックを復号すると、符号化前後の差異が大きくなると考えられるので、当該ブロックは復号化後のノイズが大きいものとして取り扱う。ノイズが大きいブロックが多いほど、当該映像全体のノイズ量は大きいと考えられるので、量子化パラメータが閾値を超えているブロック数をもって、ノイズ量と定義することにした。
（ステップ４：ノイズ量を算出：補足その２）
　量子化パラメータが閾値を超えているブロック数そのものをノイズ量としてもよいし、これに何らかの演算式を適用してノイズ量を改めて算出してもよい。いずれの場合でも、量子化パラメータが閾値を超えているブロック数に基づき、当該映像のノイズ量を算出する点は共通である。この点は、以下の実施形態でも同様である。
（ステップ５：ノイズ低減処理）
　ノイズ低減処理部１６０は、ノイズ量算出部１５０が算出したノイズ量に応じて、当該映像のノイズを低減する量を調整した上で、ノイズ低減処理を実施する。具体的には、当該映像のノイズ量が大きければ、ノイズ低減処理の強度をより強くする。例えば、高周波フィルタで除去する高周波成分の低減量（フィルタゲイン）を大きくする。
（ステップ５：ノイズ低減処理：補足その１）
　量子化処理は、符号化過程において高周波成分を除去する処理であるため、本ステップにおいて高周波成分を除去する量を増やすのは、２重に高周波成分を除去しているかのようにも思える。しかし、符号化過程において高周波成分を除去した映像を復号化すると、元の高周波成分が符号化過程で失われているがゆえに、かえって高周波ノイズが生じてしまう場合がある。この典型的な例として、画像がブロック境界で格子状に区切られているかのように見える、ブロックノイズがある。このように、復号化後に生じるノイズを効果的に除去するためにも、本ステップは必要であると考えられる。
（ステップ５：ノイズ低減処理：補足その２）
　復号化後のノイズ量を算出する基準として、本実施形態１では量子化パラメータを用いている。この理由は、復号側で量子化パラメータを必ず取得できる点のほか、量子化パラメータが情報圧縮の程度を示唆する点も加味している。すなわち、量子化パラメータの値が大きいということは、高周波成分がより多く除去されていることになるので、復号化後により多くのノイズが発生すると考えられる。したがって、量子化パラメータの大小に基づきノイズ量を推定することは、妥当性があると考えられる。本発明は、これら２重の利点を効果的に享受することができる点で、有利であると考える。
＜実施の形態１：まとめ＞
　以上のように、本実施形態１に係る映像処理装置１００は、量子化パラメータの値が閾値を超えているブロック数を用いて、当該映像のノイズ量を算出する。映像符号化の過程で量子化処理を実施している場合、復号側でもその量子化パラメータを取得できるようになっていると思われるので、ノイズ量を算出するために特殊な情報を用いたり、独自の算出手法を採用したりする必要がなくなり、確実にノイズ量を算出することができる。
　また、本実施形態１において、量子化パラメータの値が閾値を超えているブロック数を用いてノイズ量を算出するのは、高周波成分が符号化過程でより多く除去されているブロックを復号すると、より多くのノイズが生じるという考え方に基づく。これにより、符号化処理の過程に対応してノイズ量を算出することができるので、画像の特性に合ったノイズ量を求めることができるといえる。
　また、本実施形態１では、算出したノイズ量に応じて、ノイズ低減量を調整する。これにより、ノイズの少ない映像に対してノイズ低減量を大きくして却ってノイズを大きくしてしまうような不具合を避け、適切なノイズ低減処理を実施することができる。
＜実施の形態２＞
　実施形態１では、量子化パラメータが閾値を超えているか否かを基準として、ノイズ量を算出した。本発明の実施形態２では、量子化パラメータの値をその大小に基づき複数レベルに段階分けし、各レベルに付与した重み付け係数を乗算した上で集計する。これにより、当該映像のノイズの程度をより詳細に分析し、復号化後のノイズ量をより適正に算出することを図る。映像処理装置１００の構成は実施形態１と同様であるため、以下では上記算出手法にかかる差異点を中心に説明する。
　図２は、本実施形態２に係る映像処理装置１００の動作フローである。以下、図２の各ステップについて説明する。
（図２：ステップＳ２００）
　映像取得部１１０が映像信号を取得すると、本動作フローが開始される。復号処理部１２０は、映像取得部１１０が取得した映像信号を復号化する。
（図２：ステップＳ２０１）
　量子化パラメータ取得部１３０は、実施形態１で説明したように、復号処理の過程で得られる各映像ブロックの量子化パラメータを取得する。
（図２：ステップＳ２０２～Ｓ２０４）
　ノイズ量算出部１５０は、量子化パラメータ取得部１３０が取得した、各映像ブロックの量子化パラメータの値を、その大小によって複数レベルに区分けする。ここでは３レベルに区分けする例を示したが、これに限られるものではない。ノイズ量算出部１５０は、当該量子化パラメータの値が３レベルのいずれに属するかを判定する。
（図２：ステップＳ２０５～Ｓ２０７）
　ノイズ量算出部１５０は、当該量子化パラメータの値が属するレベルに応じて、あらかじめ定めておいた重み付け係数を当該量子化パラメータに乗算する。実施形態１では量子化パラメータの値をそのまま用いていたところ、本実施形態２では重み付け係数を乗じた後の値を用いる。これにより、重み付け係数を調整するなどして、ノイズ量を算出する過程をよりきめ細かく調整することができる。
（図２：ステップＳ２０５～Ｓ２０７：補足その１）
　本ステップにおける重み付け係数は、必ずしも全てのブロックについて共通でなくともよい。例えば、重要度が低いと思われるブロックについては各レベルの重み付け係数を全体的に小さくし、重要度が高いと思われるブロックについては、ＬＶ２～３を他のブロックよりも高めに設定する、などの調整を施すこともできる。
（図２：ステップＳ２０５～Ｓ２０７：補足その２）
　重み付け係数の値は、記憶部１４０などの記憶装置にあらかじめ格納しておき、必要なときに適宜読み出せばよい。
（図２：ステップＳ２０８）
　ノイズ量算出部１５０は、以上のステップを画面全体のブロックに対して実施完了したか否かを判定する。完了していなければステップＳ２０２に戻って同様の処理を繰り返し、完了していればステップＳ２０９へ進む。
（図２：ステップＳ２０９～Ｓ２１１）
　ノイズ量算出部１５０は、実施形態１と同様に、量子化パラメータの値が閾値を超えているブロック数をカウントし、その結果に基づき当該映像のノイズ量を算出する。実施形態１と異なるのは、本実施形態では重み付け係数を量子化パラメータに乗算した上で閾値と比較する点である。ノイズ低減処理部１６０の処理は、実施形態１と同様である。
＜実施の形態２：まとめ＞
　以上のように、本実施形態２によれば、ノイズ量算出部１５０は、量子化パラメータをレベル分けし、各レベルに重み付け係数を割り当てる。ノイズ量算出部１５０は、量子化パラメータと重み付け係数を乗算した結果を集計して、当該映像のノイズ量を算出する。これにより、記憶部１４０が格納している閾値に加えて重み付け係数も調整することができるので、ノイズ量を算出する過程をより細かく調整することができる。
　例えば、先に述べたブロック毎の重要度に応じて重み付け係数を調整する手法のほか、映像の種類に応じて重み付け係数を調整する、などの手法も考えられる。なお、閾値や重み付け係数の調整は、映像が入力される毎に動的に実施してもよいし、あらかじめ想定される組合せパターンを複数準備して記憶部１４０に格納しておき、映像が入力されるときにそのいずれかを適用するようにしてもよい。
＜実施の形態３＞
　実施の形態１～２では、量子化パラメータが閾値を超えたブロック数をカウントし、その値を当該映像のノイズ量として採用することとした。その他の変形例として、量子化パラメータが閾値を超えたブロック数をカウントし、その値を総ブロック数で除算した値、すなわち量子化パラメータが大きいブロックが全体に占める割合を、ノイズ量として定義することもできる。
　また、実施形態２のように重み付け係数と量子化パラメータを乗算する場合でも、最終的に得られたカウント結果を総ブロック数で除算した値、すなわち重み付け後の量子化パラメータが大きいブロックが全体に占める割合を、当該映像のノイズ量として定義することもできる。
＜実施の形態４＞
　図３は、本発明の実施形態４に係る映像処理装置１００の機能ブロック図である。本実施形態４における映像処理装置１００は、実施形態１～３で説明した構成において、ノイズ低減処理部１６０の内部機能として、高周波フィルタ１６１とエッジフィルタ１６２を備える。その他の構成は、実施形態１～３と同様である。
　高周波フィルタ１６１は、復号処理部１３０が復号化した映像信号の高周波成分を除去するフィルタである。高周波フィルタ１６１は、復号処理部１３０が復号化した映像信号の画面全体に対して、高周波成分を除去する処理を施す。なお、除去する高周波成分の量（フィルタゲイン）は、変更できるように構成されている。
　エッジフィルタ１６２は、復号処理部１３０が復号化した映像信号の輪郭部分に生じたノイズ（エッジノイズ）を除去するフィルタである。例えば、画像のエッジ部分に生じるモスキートノイズなどを除去する。エッジフィルタ１６２は、復号処理部１３０が復号化した映像信号の画面全体に対して、エッジノイズを除去する処理を施す。なお、除去する高周波成分の量（フィルタゲイン）は、変更できるように構成されている。
　本実施形態４において、ノイズ量算出部１５０は、算出したノイズ量に基づき、高周波フィルタ１６１のノイズ低減量とエッジフィルタ１６２のノイズ低減量を調整する。具体的には、当該映像のノイズ量が多いほど、各フィルタのノイズ低減量を増やし、復号化後のノイズを低減させる。
　本実施形態４では、ノイズフィルタによってノイズを低減するようにしているので、ノイズ低減量を調整するためには、フィルタゲインを調整すればよい。その他の手法でノイズを低減する場合は、当該手法に合わせてノイズ低減量を調整する。
＜実施の形態４：まとめ＞
　以上のように、本実施形態４によれば、ノイズ量算出部１５０は、算出したノイズ量に基づき、各ノイズフィルタのフィルタゲインを調整する。これにより、算出したノイズ量に合わせてノイズ補正処理量を調整することができる。
＜実施の形態５＞
　図４は、本発明の実施形態５に係る映像処理装置１００の機能ブロック図である。本実施形態５における映像処理装置１００は、実施形態１～４で説明した構成に加え、新たにコアリング処理部１７１とシャープネス処理部１７２を備える。その他の構成は、実施形態１～４と同様である。
　図４では、実施形態４で説明した構成に加えてコアリング処理部１７１とシャープネス処理部１７２を設けた例を示したが、その他の実施形態における構成の下で、コアリング処理部１７１とシャープネス処理部１７２を設けてもよい。
　コアリング処理部１７１は、ノイズ低減処理部１６０がノイズ低減処理を施した後の映像の画面全体に対して、微小な高周波成分を除去する処理を施す。これは、次に説明するシャープネス処理部１７２が高周波ノイズを強調してしまわないように、あらかじめ高周波成分を除去しておくためのものである。特に、映像ブロックの境界部分に生じるブロックノイズは、高周波フィルタ１６１では十分に取り除けない可能性がある。コアリング処理部１７１によってブロックノイズをあらかじめ除去しておくことにより、シャープネス処理部１７２がブロックノイズを強調してしまったとしても、その影響を抑えることができる。
　シャープネス処理部１７２は、ノイズ低減処理部１６０がノイズ低減処理を施した後の映像の画面全体に対して、輪郭強調処理を施す。輪郭強調処理は、高周波成分を増幅させる作用があるため、コアリング処理部１７１によってあらかじめ微小な高周波成分を除去した上で、輪郭強調処理を施すこととした。
＜実施の形態５：まとめ＞
　以上のように、本実施形態５によれば、ノイズ量算出部１５０の算出結果にしたがって高周波ノイズを低減する処理を施した上で、さらにシャープネス処理部１７２によって輪郭強調処理を施すことにより、ノイズを除去しつつ鮮明な映像を得ることができる。
　また、本実施形態５によれば、コアリング処理部１７１によってブロックノイズなどの微小な高周波ノイズを除去することにより、シャープネス処理部１７２の悪影響を抑えて輪郭強調の効果を有効に発揮させることができる。
＜実施の形態６＞
　実施形態４～５では、高周波フィルタ１６１、エッジフィルタ１６２、コアリング処理部１７１、およびシャープネス処理部１７２の処理対象は、映像の画面全体であるものとしたが、これら各部の処理対象を、画面の一部のブロックのみに限定してもよい。例えば量子化パラメータの値（または重み付け後の量子化パラメータの値）が閾値を超えているブロックに対してのみ、上記各部の処理を施すようにしてもよい。
　これにより、ノイズ量の大きいブロックに対してはノイズ低減処理を施し、かつノイズ低減処理にともなって鮮明度が落ちた画像を改めて鮮明化することができる。また、処理対象とするブロックを限定することにより、処理負荷を抑えることができる点も、実施形態４～５と比較して有利である。
　なお、特定のブロックのみに対してノイズ低減処理や鮮明化処理を施すと、近接するブロックとのバランスがとれなくなる可能性がある。そこで、例えばノイズ量の大きいブロックを含む周辺領域に対して、同様のノイズ低減処理や鮮明化処理を施すようにしてもよい。これにより、処理負荷を抑えつつ、他のブロックとのバランスを取ることができる。
＜実施の形態７＞
　図５は、本発明に係る映像処理装置１００が実施する映像補正量と、当該映像のノイズ量との関係を概念的に示す図である。
　本発明においては、量子化パラメータの値が閾値を超えているブロックに基づき当該映像のノイズ量を算出するので、量子化パラメータの値が閾値を超えない限り、ノイズであると判定されないことになる。すなわち、ノイズ量が閾値に達するまでは、映像補正量は増えずに略一定となる。
　ノイズ量が閾値を超えた以降は、ノイズ量が増えるとノイズ低減処理部１６０におけるノイズ低減量を増やすので、ノイズ量と補正量の関係は比例する。
　図５における閾値や、ノイズ量と補正量の比例係数を調整することにより、映像処理装置１００の処理特性を調整することができる。また、実施形態２で説明した重み付け係数を調整することによっても、同様の効果を発揮することができる。
　その他、ノイズ低減処理部１６０のノイズ低減量、コアリング処理部１７１およびシャープネス処理部１７２の処理量を調整することにより、図５の縦軸方向の特性を調整することができる。
＜実施の形態８＞
　以上の実施形態１～７において、映像取得部１１０が映像信号を取得する取得元として以下のような例が考えられる。
（映像信号源の例１）アナログ映像放送波から映像信号を取得する。
（映像信号源の例２）デジタル映像放送波から映像信号を取得する。
（映像信号源の例３）Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ：登録商標）、ＨＤＤなどの記憶媒体に記録されている映像信号を取得する。
（映像信号源の例４）ＩＰ放送波、ＣＡＴＶ放送波などの放送波から映像信号を取得する。
（映像信号源の例５）外付け映像記録装置、外付け映像取得装置などの外部装置から、映像信号を取得する。
＜実施の形態９＞
　以上の実施の形態１～８で説明した映像処理装置１００の各機能部の処理を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各機能部の処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。
　また、前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上記プログラムを格納した「記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などのことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
　１００：映像処理装置、１１０：映像取得部、１２０：復号処理部、１３０：量子化パラメータ取得部、１４０：記憶部、１５０：ノイズ量算出部、１６０：ノイズ低減処理部、１６１：高周波フィルタ、１６２：エッジフィルタ、１７１：コアリング処理部、１７２：シャープネス処理部。

Claims (13)

  1. 　映像を処理する装置であって、
    　映像を信号化した映像信号を受け取る映像取得部と、
    　前記映像内のブロック毎の量子化パラメータを取得する量子化パラメータ取得部と、
    　前記映像のノイズ量を算出するための閾値を記憶する記憶部と、
    　前記量子化パラメータおよび前記閾値を用いて前記映像のノイズ量を算出するノイズ量算出部と、
    　前記ノイズ量算出部が算出したノイズ量に応じて前記映像のノイズ低減処理を実施するノイズ低減処理部と、
    　を備え、
    　前記ノイズ量算出部は、
    　　前記量子化パラメータの値が前記閾値を超えている前記ブロックの数に基づき、前記映像のノイズ量を算出し、
    　前記ノイズ低減処理部は、
    　　前記ノイズ量の大きさに合わせて前記映像のノイズを低減させる量を加減する
    　ことを特徴とする映像処理装置。
  2. 　前記ノイズ量算出部は、前記ノイズ量を算出する際に、
    　　前記映像内のブロック毎の量子化パラメータの値を複数レベルに段階分けし、
    　　前記レベルそれぞれに異なる重み係数を割り当て、
    　　前記ブロックの量子化パラメータの値に、当該量子化パラメータが属する前記レベルに割り当てた前記重み係数を乗算した値が、前記閾値を超えている前記ブロックの数をカウントし、そのカウント結果を用いて前記映像のノイズ量を算出する
    　ことを特徴とする請求項１記載の映像処理装置。
  3. 　前記ノイズ量算出部は、前記ノイズ量を算出する際に、
    　　前記量子化パラメータが前記閾値を超えている前記ブロックの数が、前記映像内の全ブロック数に対して占める割合を用いて、前記ノイズ量を算出する
    　ことを特徴とする請求項１記載の映像処理装置。
  4. 　前記ノイズ量算出部は、前記ノイズ量を算出する際に、
    　　前記映像内のブロック毎の量子化パラメータを複数レベルに段階分けし、
    　　前記レベルそれぞれに異なる重み係数を割り当て、
    　　前記ブロックの量子化パラメータの値に、当該量子化パラメータが属する前記レベルに割り当てた前記重み係数を乗算した値が、前記閾値を超えている前記ブロックの数をカウントし、そのカウント結果を前記映像内の全ブロック数で除算した値を用いて、前記ノイズ量を算出する
    　ことを特徴とする請求項１記載の映像処理装置。
  5. 　前記ノイズ低減処理部は、
    　　前記映像の高周波成分を除去する高周波フィルタを備え、
    　　前記ノイズ量の大きさに合わせて前記高周波フィルタが前記高周波成分を除去する量を加減する
    　ことを特徴とする請求項１から４のいずれか１項記載の映像処理装置。
  6. 　前記ノイズ低減処理部は、
    　　前記映像の輪郭部分のノイズを除去するエッジフィルタを備え、
    　　前記ノイズ量の大きさに合わせて前記エッジフィルタが前記輪郭部分のノイズを除去する量を加減する
    　ことを特徴とする請求項１から５のいずれか１項記載の映像処理装置。
  7. 　前記ノイズ低減処理部は、
    　　前記映像の全画面に対してコアリング処理を実施するコアリング部を備える
    　ことを特徴とする請求項１から６のいずれか１項記載の映像処理装置。
  8. 　前記ノイズ低減処理部は、
    　　前記映像内のブロックのうち前記量子化パラメータが前記閾値を超えているブロックに対してコアリング処理を実施するコアリング部を備える
    　ことを特徴とする請求項１から６のいずれか１項記載の映像処理装置。
  9. 　前記ノイズ低減処理部は、
    　　前記映像の全画面に対して輪郭強調処理を実施するシャープネス処理部を備える
    　ことを特徴とする請求項５から８のいずれか１項記載の映像処理装置。
  10. 　前記ノイズ低減処理部は、
    　　前記映像内のブロックのうち前記量子化パラメータが前記閾値を超えているブロックに対して輪郭強調処理を実施するシャープネス処理部を備える
    　ことを特徴とする請求項５から８のいずれか１項記載の映像処理装置。
  11. 　映像を処理する方法であって、
    　映像を信号化した映像信号を受け取るステップと、
    　前記映像内のブロック毎の量子化パラメータを取得する量子化パラメータ取得ステップと、
    　前記映像内のブロックにノイズが基準値よりも多く存在しているか否かを判定するための閾値を記憶した記憶装置から前記閾値を取得するステップと、
    　前記量子化パラメータおよび前記閾値を用いて前記映像のノイズ量を算出するノイズ量算出ステップと、
    　前記ノイズ量算出ステップで算出したノイズ量に応じて前記映像のノイズ低減処理を実施するノイズ低減処理ステップと、
    　を有し、
    　前記ノイズ量算出ステップでは、
    　　前記量子化パラメータの値が前記閾値を超えている前記ブロックの数に基づき、前記映像のノイズ量を算出し、
    　前記ノイズ低減処理ステップでは、
    　　前記ノイズ量の大きさに合わせて前記映像のノイズを低減させる量を加減する
    　ことを特徴とする映像処理方法。
  12. 　請求項１１記載の映像処理方法をコンピュータに実行させることを特徴とする映像処理プログラム。
  13. 　請求項１２記載の映像処理プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。
PCT/JP2011/066317 2010-07-16 2011-07-19 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体 WO2012008602A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11806932.7A EP2611154A1 (en) 2010-07-16 2011-07-19 Video processing device, video processing method, video processing program, and memory medium
US13/808,042 US8737465B2 (en) 2010-07-16 2011-07-19 Video processing device, video processing method, video processing program, and storage medium
CN201180034980.1A CN103004193B (zh) 2010-07-16 2011-07-19 视频处理装置、视频处理方法、视频处理程序、存储介质
BR112013001184A BR112013001184A2 (pt) 2010-07-16 2011-07-19 dispositivo de processamento de vídeo, método de processamento de vídeo, programa de processamento de vídeo, e meio de armazenagem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-162142 2010-07-16
JP2010162142A JP5055408B2 (ja) 2010-07-16 2010-07-16 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
WO2012008602A1 true WO2012008602A1 (ja) 2012-01-19

Family

ID=45469595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/066317 WO2012008602A1 (ja) 2010-07-16 2011-07-19 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体

Country Status (6)

Country Link
US (1) US8737465B2 (ja)
EP (1) EP2611154A1 (ja)
JP (1) JP5055408B2 (ja)
CN (1) CN103004193B (ja)
BR (1) BR112013001184A2 (ja)
WO (1) WO2012008602A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5514338B2 (ja) * 2012-04-11 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
CN106572357A (zh) * 2016-11-11 2017-04-19 协创数据技术股份有限公司 一种视频直播图像失真在线处理装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229546A (ja) 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置
JP2003179921A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd 符号化映像復号化装置
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2007028489A (ja) * 2005-07-21 2007-02-01 Noritsu Koki Co Ltd 画像処理装置および画像処理プログラム
JP2007281542A (ja) * 2006-04-03 2007-10-25 Hitachi Ltd デジタル放送受信装置
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置
JP2008311951A (ja) * 2007-06-14 2008-12-25 Sony Corp 画像処理装置、及び、画像処理方法
JP2009033317A (ja) * 2007-07-25 2009-02-12 Panasonic Corp Ｍｐｅｇノイズ除去装置、ｍｐｅｇノイズ除去方法、及びｍｐｅｇノイズ除去プログラム
JP2009296124A (ja) * 2008-06-03 2009-12-17 Pioneer Electronic Corp 画像処理装置及び方法並びに復号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
JPH08214309A (ja) 1995-02-07 1996-08-20 Canon Inc 画像信号復号装置
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JP2001069463A (ja) * 1999-08-25 2001-03-16 Matsushita Electric Ind Co Ltd 映像記録装置、映像記録方法および映像記録媒体
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
GB2432069A (en) * 2005-11-03 2007-05-09 Tandberg Television Asa Reducing block noise by applying a dither signal in areas of low spatial detail
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
JP2008109642A (ja) * 2006-09-28 2008-05-08 Matsushita Electric Ind Co Ltd 映像復号化装置及び方法
US8295633B2 (en) * 2007-04-04 2012-10-23 Samsung Electronics Co., Ltd. System and method for an adaptive de-blocking filter after decoding of compressed digital video
JP5146388B2 (ja) * 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
JP5374753B2 (ja) * 2009-04-24 2013-12-25 シャープ株式会社 映像表示装置、および映像表示装置の動作方法
JP2011193391A (ja) * 2010-03-16 2011-09-29 Toshiba Corp 画像処理装置及び画像処理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229546A (ja) 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置
JP2003179921A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd 符号化映像復号化装置
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2007028489A (ja) * 2005-07-21 2007-02-01 Noritsu Koki Co Ltd 画像処理装置および画像処理プログラム
JP2007281542A (ja) * 2006-04-03 2007-10-25 Hitachi Ltd デジタル放送受信装置
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置
JP2008311951A (ja) * 2007-06-14 2008-12-25 Sony Corp 画像処理装置、及び、画像処理方法
JP2009033317A (ja) * 2007-07-25 2009-02-12 Panasonic Corp Ｍｐｅｇノイズ除去装置、ｍｐｅｇノイズ除去方法、及びｍｐｅｇノイズ除去プログラム
JP2009296124A (ja) * 2008-06-03 2009-12-17 Pioneer Electronic Corp 画像処理装置及び方法並びに復号化装置

Also Published As

Publication number Publication date
JP5055408B2 (ja) 2012-10-24
EP2611154A1 (en) 2013-07-03
CN103004193A (zh) 2013-03-27
JP2012023683A (ja) 2012-02-02
US8737465B2 (en) 2014-05-27
BR112013001184A2 (pt) 2016-05-31
US20130107946A1 (en) 2013-05-02
CN103004193B (zh) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5514338B2 (ja) 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
WO1999045713A1 (en) Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US20080031336A1 (en) Video decoding apparatus and method
US8824825B2 (en) Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
JP2010199631A (ja) 画像ノイズ除去方法
JP4762352B1 (ja) 画像処理装置及び画像処理方法
MX2007004577A (es) Dispositivo de procesamiento de imagenes y metodo de procesamiento.
US8811765B2 (en) Encoding device configured to generate a frequency component extraction signal, control method for an encoding device using the frequency component extraction signal, transmission system, and computer-readable recording medium having a control program recorded thereon
WO2012036251A1 (en) Methods and apparatuses for estimating compression noise
JP2007336468A (ja) 再符号化装置、再符号化方法およびプログラム
JPH0715631A (ja) 画像信号雑音除去方法および装置
JP4839375B2 (ja) 画像処理方法及び装置、画像処理用プログラム及びそのプログラムを記録した記録媒体
JP5055408B2 (ja) 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
JP6901895B2 (ja) 帯域制限装置及びプログラム
JP2007265122A (ja) 画像処理装置
JP2005117449A (ja) モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム
US8526506B1 (en) System and method for transcoding with quality enhancement
JP2005012641A (ja) ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JP5436082B2 (ja) ノイズ低減装置及びノイズ低減方法
JP3023205B2 (ja) 符号化前置フィルタ
JP2015130616A (ja) 画像符号化装置及びプログラム、画像復号装置及びプログラム、並びに、画像符号化システム
US20170064337A1 (en) Image processing device, recording medium, and image processing method
JP3326377B2 (ja) 画質補正回路
JP7290968B2 (ja) 画像処理装置及びプログラム
JPWO2009130942A1 (ja) 画像符号化装置および画像復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11806932

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13808042

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011806932

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013106789

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013001184

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013001184

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130116