JP5866245B2 - Super-resolution parameter determination device, image reduction device, and program - Google Patents

Super-resolution parameter determination device, image reduction device, and program Download PDF

Info

Publication number
JP5866245B2
JP5866245B2 JP2012095553A JP2012095553A JP5866245B2 JP 5866245 B2 JP5866245 B2 JP 5866245B2 JP 2012095553 A JP2012095553 A JP 2012095553A JP 2012095553 A JP2012095553 A JP 2012095553A JP 5866245 B2 JP5866245 B2 JP 5866245B2
Authority
JP
Japan
Prior art keywords
super
image
resolution
noise
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012095553A
Other languages
Japanese (ja)
Other versions
JP2013222432A (en
Inventor
康孝 松尾
康孝 松尾
俊枝 三須
俊枝 三須
境田　慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2012095553A priority Critical patent/JP5866245B2/en
Publication of JP2013222432A publication Critical patent/JP2013222432A/en
Application granted granted Critical
Publication of JP5866245B2 publication Critical patent/JP5866245B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置、該超解像パラメータ判定装置を有する画像縮小装置、及びこれらのプログラムに関するものである。   The present invention relates to a super-resolution parameter determination device that determines an optimum super-resolution parameter from a super-resolution parameter group used for generating a super-resolution image group, an image reduction device having the super-resolution parameter determination device, and It is about these programs.

近年、撮像装置及び表示装置の高精細化が進んでおり、いわゆる４Ｋシステムと呼ばれるデジタルシネマのような高精細映像、又は８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。高精細画像は膨大な情報量を持つため、送信装置側では低解像度の画像を送信し、受信装置側で低解像度の画像から高解像度の画像（超解像画像）を生成する高解像化技術が研究されている。   In recent years, high-definition imaging devices and display devices have advanced, and high-definition video such as a digital cinema called a so-called 4K system or super high-definition video such as Super Hi-Vision (SHV) called an 8K system has been conventionally used. The high resolution (HDTV) video is 4 to 16 times as high as the video. High-definition images have a huge amount of information, so a high-resolution image is generated by transmitting a low-resolution image on the transmission device side and generating a high-resolution image (super-resolution image) from the low-resolution image on the reception device side. Technology is being researched.

送信装置は低解像度の画像とともに、超解像画像を生成するための超解像パラメータを受信装置に送信し、受信装置は受信した低解像度の画像から超解像パラメータを用いて超解像画像を生成する。超解像パラメータとしては、例えば超解像度変換処理の強さを設定し、超解像パラメータ値が大きいほど鮮鋭化のゲインを高く、超解像度変換処理を強くする技術が知られている（例えば、特許文献１参照）。   The transmitter transmits a super-resolution parameter for generating a super-resolution image together with the low-resolution image to the receiver, and the receiver uses the super-resolution parameter from the received low-resolution image. Is generated. As the super-resolution parameter, for example, a technique is known in which the strength of the super-resolution conversion process is set, and as the super-resolution parameter value is larger, the sharpening gain is higher and the super-resolution conversion process is stronger (for example, Patent Document 1).

また、原画像を基準として、原画像と超解像画像の差分が最小となる超解像パラメータを判定する技術が知られている（例えば、非特許文献１参照）。   A technique for determining a super-resolution parameter that minimizes the difference between an original image and a super-resolution image using the original image as a reference is known (for example, see Non-Patent Document 1).

特許第４４４４３５４号公報Japanese Patent No. 4444354

Y.Matsuo, T.Misu, S.Sakaida, Y.Shishikui, “Video Coding with Wavelet Image Size Reduction and Wavelet Super Resolution Reconstruction,” Proceedings of 18thIEEE International Conference on Image Processing (ICIP2011), MG.PG.6, p.1181-1184, 2011Y. Matsuo, T. Misu, S. Sakaida, Y. Shishikui, “Video Coding with Wavelet Image Size Reduction and Wavelet Super Resolution Reconstruction,” Proceedings of 18thIEEE International Conference on Image Processing (ICIP2011), MG.PG.6, p. .1181-1184, 2011

特許文献１に記載の技術では、放送波の種類に応じて超解像パラメータを設定する。例えば、ＣＳ放送はＢＳ放送に比べて情報量が少なく、強度な超解像度変換処理を行うと、鮮明化の効果に対してノイズの増加が大きくなってしまうため、ＣＳ放送の場合には超解像パラメータをＢＳ放送の場合よりも小さな値とする。つまり、超解像パラメータ判定の基準に放送波の種類を用いている。しかし、特に原画像に近い超解像画像を得るためには、放送波の種類に応じて超解像パラメータを判定するのみでは不十分であった。   In the technique described in Patent Document 1, super-resolution parameters are set according to the type of broadcast wave. For example, CS broadcasts have a smaller amount of information than BS broadcasts, and if strong super-resolution conversion processing is performed, the increase in noise increases for the effect of sharpening. The image parameter is set to a smaller value than in the case of BS broadcasting. That is, the type of broadcast wave is used as a reference for determining the super-resolution parameter. However, in order to obtain a super-resolution image close to the original image, it is not sufficient to determine the super-resolution parameter according to the type of broadcast wave.

また、非特許文献１に記載の技術では、単純に原画像と超解像画像の差分が最小となる超解像パラメータを、最適な超解像パラメータとして設定する。しかし、この手法では、特に原画像のＳＮ比（信号対雑音比）が低い場合に、雑音成分の影響により最適な超解像パラメータを高い精度で判定することができなかった。   In the technique described in Non-Patent Document 1, the super-resolution parameter that minimizes the difference between the original image and the super-resolution image is simply set as the optimum super-resolution parameter. However, with this method, particularly when the SN ratio (signal-to-noise ratio) of the original image is low, the optimum super-resolution parameter cannot be determined with high accuracy due to the influence of noise components.

本発明は、上述の課題を鑑みて為されたものであり、超解像画像の生成に用いられる超解像パラメータのうち最適なパラメータを高い確度で判定することが可能な超解像パラメータ判定装置、画像縮小装置、及びプログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and is capable of determining an optimum parameter among the super-resolution parameters used for generating a super-resolution image with high accuracy. An object is to provide an apparatus, an image reduction apparatus, and a program.

上記課題を解決するため、本発明に係る超解像パラメータ判定装置は、原画像の縮小画像を超解像処理した超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置であって、原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成する時空間周波数解析部と、周波数帯域毎に、前記分解画像における孤立点要素を検出する帯域毎孤立点要素検出部と、周波数帯域毎に、前記孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定する帯域毎雑音要素情報生成部と、所定数以上の周波数帯域にわたって前記雑音要素を有する画素を原画像の雑音画素と決定し、該雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する最適超解像パラメータ検出部と、を備えることを特徴とする。   In order to solve the above-described problem, the super-resolution parameter determination device according to the present invention provides an optimal super-resolution from a super-resolution parameter group used to generate a super-resolution image group obtained by super-resolution processing of a reduced image of an original image. A super-resolution parameter determination device for determining an image parameter, wherein the spatio-temporal frequency analysis unit generates a decomposed image for each frequency band by performing frequency decomposition on the original image in the time direction and the spatial direction, and for each frequency band, A band-by-band isolated point element detection unit for detecting an isolated point element in the decomposed image, and a band-by-band noise element information for determining, for each frequency band, an isolated point element whose isolated point element value exceeds a predetermined noise threshold as a noise element And determining a pixel having the noise element over a predetermined number of frequency bands as a noise pixel of the original image, calculating an index of a difference between the original image and the super-resolution image, excluding the noise pixel, Is the smallest indicator And becomes super-resolution optimum super-resolution parameters and determines the optimum super-resolution parameter detector super-resolution parameters used to generate the image, characterized in that it comprises a.

さらに、本発明に係る超解像パラメータ判定装置において、前記周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部を更に備え、前記帯域毎雑音要素情報生成部は、前記孤立点要素の値が前記帯域毎雑音閾値決定部により決定された雑音閾値を超える孤立点要素を雑音要素と決定することを特徴とする。   Furthermore, in the super-resolution parameter determination device according to the present invention, the noise level for each frequency band is detected based on the isolated point element for each frequency band, and the noise level increases as the noise level increases for each frequency band. A band-by-band noise threshold value determination unit for determining a threshold value, wherein the band-by-band noise element information generation unit detects an isolated point element whose isolated point element value exceeds a noise threshold value determined by the band-by-band noise threshold value determination unit; The noise element is determined.

さらに、本発明に係る超解像パラメータ判定装置において、前記帯域毎雑音閾値決定部は、前記周波数帯域毎の孤立点要素のＲＭＳ値を周波数帯域毎の雑音レベルとして検出することを特徴とする。   Furthermore, in the super-resolution parameter determination device according to the present invention, the noise threshold determination unit for each band detects an RMS value of an isolated point element for each frequency band as a noise level for each frequency band.

さらに、本発明に係る超解像パラメータ判定装置において、前記時空間周波数解析部は、原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うことを特徴とする。   Furthermore, in the super-resolution parameter determination apparatus according to the present invention, the spatio-temporal frequency analysis unit performs wavelet packet decomposition that performs octave decomposition on the high frequency side of the original image.

また、上記課題を解決するため、本発明に係る画像縮小装置は、上記超解像パラメータ判定装置と、原画像の縮小画像を生成する縮小画像生成部と、前記縮小画像を超解像処理して縮小画像の超解像画像を生成する超解像処理部と、を備え、前記最適超解像パラメータ検出部は、前記雑音画素を除いて原画像と前記超解像処理部により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定することを特徴とする。   In order to solve the above-described problem, an image reduction device according to the present invention includes the super-resolution parameter determination device, a reduced image generation unit that generates a reduced image of an original image, and super-resolution processing of the reduced image. A super-resolution processing unit that generates a super-resolution image of the reduced image, and the optimum super-resolution parameter detection unit is generated by the original image and the super-resolution processing unit excluding the noise pixel An index of the difference between the super-resolution images is calculated, and the super-resolution parameter used to generate the super-resolution image that minimizes the index of the difference is determined as the optimum super-resolution parameter.

また、上記課題を解決するため、本発明に係る超解像パラメータ判定プログラムは、コンピュータを、上述した超解像パラメータ判定装置又は画像縮小装置として機能させることを特徴とする。   In order to solve the above-described problem, a super-resolution parameter determination program according to the present invention causes a computer to function as the above-described super-resolution parameter determination device or image reduction device.

本発明によれば、原画像の雑音位置をマスクして原画像と超解像画像を比較するため、超解像画像の生成に用いられる超解像パラメータのうち最適なパラメータを高い確度で判定することができるようになる。   According to the present invention, since the noise position of the original image is masked and the original image and the super-resolution image are compared, the optimum parameter among the super-resolution parameters used for generating the super-resolution image is determined with high accuracy. Will be able to.

本発明に係る実施例１の超解像パラメータ判定装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the super-resolution parameter determination apparatus of Example 1 which concerns on this invention. 本発明に係る実施例１の超解像パラメータ判定装置における時空間周波数解析部によるウェーブレットパケット分解の分解図の一例を示す図である。It is a figure which shows an example of the exploded view of the wavelet packet decomposition | disassembly by the spatio-temporal frequency analysis part in the super-resolution parameter determination apparatus of Example 1 which concerns on this invention. 本発明に係る実施例１の超解像パラメータ判定装置における最適超解像パラメータ検出部の概略構成を説明する図である。It is a figure explaining schematic structure of the optimal super-resolution parameter detection part in the super-resolution parameter determination apparatus of Example 1 which concerns on this invention. 本発明に係る実施例１の超解像パラメータ判定装置における雑音画素情報生成部の処理を説明する図である。It is a figure explaining the process of the noise pixel information generation part in the super-resolution parameter determination apparatus of Example 1 which concerns on this invention. 本発明に係る実施例２の超解像パラメータ判定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the super-resolution parameter determination apparatus of Example 2 which concerns on this invention. 本発明に係る実施例２の超解像パラメータ判定装置における帯域毎雑音閾値決定部の第１の構成例を示すブロック図である。It is a block diagram which shows the 1st structural example of the noise threshold value determination part for every band in the super-resolution parameter determination apparatus of Example 2 which concerns on this invention. 本発明に係る実施例２の超解像パラメータ判定装置における帯域毎雑音閾値決定部の第２の構成例を示すブロック図である。It is a block diagram which shows the 2nd structural example of the noise threshold value determination part for every band in the super-resolution parameter determination apparatus of Example 2 which concerns on this invention. 本発明に係る実施例３の画像縮小装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image reduction apparatus of Example 3 which concerns on this invention. 本発明に係る実施例３の画像縮小装置における超解像処理部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the super-resolution process part in the image reduction apparatus of Example 3 which concerns on this invention. 本発明に係る実施例３の画像縮小装置における超解像処理部の動作を説明する図である。It is a figure explaining operation | movement of the super-resolution process part in the image reduction apparatus of Example 3 which concerns on this invention.

以下、図面を参照して、本発明の実施形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

本発明に係る実施例１の超解像パラメータ判定装置について、以下に説明する。図１は、本発明に係る実施例１の超解像パラメータ判定装置の構成例を示すブロック図である。図１に示すように、超解像パラメータ判定装置１は、時空間周波数解析部１１と、帯域毎孤立点要素検出部１２と、帯域毎雑音要素情報生成部１３と、最適超解像パラメータ検出部１４と、を備える。   The super-resolution parameter determination apparatus according to the first embodiment of the present invention will be described below. FIG. 1 is a block diagram illustrating a configuration example of the super-resolution parameter determination device according to the first embodiment of the present invention. As shown in FIG. 1, the super-resolution parameter determination device 1 includes a spatio-temporal frequency analysis unit 11, a band-by-band isolated point element detection unit 12, a band-by-band noise element information generation unit 13, and an optimum super-resolution parameter detection. Unit 14.

時空間周波数解析部１１は、原画像を時間方向にｎｔ階、空間方向にｎｓ階の周波数分解（例えば、オクターブ分解）を行い、周波数帯域毎の分解画像（周波数分解画像）を生成する。そして、周波数分解画像を帯域毎孤立点要素検出部１２に出力する。分解回数ｎｔ，ｎｓは予め設定される。以下では、説明の便宜上、周波数分解画像のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。 Spatio-temporal frequency analyzer 11, n t floor in the direction of the original image time frequency decomposition of n s floor in the spatial direction (e.g., octave decomposition) performed to generate a separation image for each frequency band (frequency resolution image) . Then, the frequency-resolved image is output to the isolated point element detection unit 12 for each band. The number of decompositions n t and n s is set in advance. Hereinafter, for convenience of explanation, a minimum unit that constitutes an image decomposed for each frequency band such as a frequency-resolved image is referred to as an “element”, and a minimum unit that constitutes an image that is not frequency-resolved such as an original image. These are referred to as “pixels” to distinguish them.

図２は、原画像を空間高周波側にオクターブ分解するウェーブレットパケット分解の分解図の一例を示す図である。図２ではｎｔ＝１、ｎｓ＝２の場合を示しており、左側に時間低周波成分、右側に時間高周波成分の分解図を示している。また、図２に示す分解図では、空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。白色雑音成分は、信号成分よりも時空間高周波帯域に成分を持ちやすく、図２では斜線で示した時空間高周波帯域により多くの白色雑音成分が含まれる。そこで、時空間周波数解析部１１は雑音成分を高精度に判別するために、周波数分解として原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うのが好適である。 FIG. 2 is a diagram showing an example of an exploded view of wavelet packet decomposition for octave decomposition of the original image toward the spatial high frequency side. FIG. 2 shows a case where n t = 1 and n s = 2, and an exploded view of the time low frequency component on the left side and the time high frequency component on the right side. In the exploded view shown in FIG. 2, the spatial frequency component is a higher frequency component on the right side in the horizontal direction and a higher frequency component on the lower side in the vertical direction. The white noise component has a component in the spatio-temporal high-frequency band more easily than the signal component, and more white noise components are included in the spatio-temporal high-frequency band shown by hatching in FIG. Therefore, it is preferable that the spatio-temporal frequency analysis unit 11 performs wavelet packet decomposition that performs octave decomposition of the original image on the high frequency side as frequency decomposition in order to discriminate noise components with high accuracy.

図２では説明の便宜上、デジメーション有りでウェーブレットパケット分解を行った場合の分解図を示している。オクターブ分解では一般的にデシメーションされることが多いが、後述する最適超解像パラメータ検出部１４において高精度に（画素単位で）雑音画素をマスクすることができるようにするために、デジメーション無しで周波数分解を行い、生成される周波数分解画像のサイズを同一とするのが好適である。   For the convenience of explanation, FIG. 2 shows an exploded view when wavelet packet decomposition is performed with dimming. In general, the octave decomposition is often decimated, but there is no decimation so that the optimum super-resolution parameter detector 14 described later can mask noise pixels with high accuracy (in pixel units). It is preferable that the frequency resolution is performed in order to make the generated frequency-resolved images have the same size.

帯域毎孤立点要素検出部１２は、時空間周波数解析部１１により生成された周波数分解画像の各周波数帯域において孤立点要素を検出し、孤立点要素の位置及び値を示す孤立点要素情報を生成する。そして、周波数帯域毎の孤立点要素情報を帯域毎雑音要素情報生成部１３に出力する。孤立点要素の検出方法としては、例えば、ある要素の値とその周囲８要素の値との微分（差分）値が孤立点閾値Ｔｈｉ(ｎ)を超えれば、当該要素を孤立点要素とみなす。ｎは周波数帯域の識別番号である。図２に示すウェーブレットパケット分解の例では、周波数帯域数Ｎが２６であるため、ｎ＝１〜２６とする。ここで、孤立点閾値Ｔｈｉ(ｎ)は、例えば識別番号ｎの周波数帯域の周波数分解画像の各要素についてその周囲の８要素の微分（差分）値を求め、その中央値又は平均値とする。なお、最も低い周波数帯域（ｎ＝１）は直流成分であり、直流成分に雑音が含まれる場合には孤立点として検出されないおそれがある。そのため、帯域毎孤立点要素検出部１２は、最も低い周波数帯域を除く各周波数帯域（ｎ＝２〜２６）において孤立点要素を検出するのが好適である。 The isolated point element detection unit 12 for each band detects an isolated point element in each frequency band of the frequency-resolved image generated by the spatio-temporal frequency analysis unit 11, and generates isolated point element information indicating the position and value of the isolated point element To do. Then, the isolated point element information for each frequency band is output to the noise element information generation section 13 for each band. As a method for detecting an isolated point element, for example, if a differential (difference) value between a value of a certain element and its surrounding eight elements exceeds an isolated point threshold Th i (n), the element is regarded as an isolated point element. . n is an identification number of the frequency band. In the example of wavelet packet decomposition shown in FIG. 2, since the frequency band number N is 26, n = 1 to 26. Here, for the isolated point threshold Th i (n), for example, a differential (difference) value of eight surrounding elements is obtained for each element of the frequency-resolved image of the frequency band of the identification number n, and the median value or average value thereof is obtained. . The lowest frequency band (n = 1) is a direct current component, and if the direct current component contains noise, it may not be detected as an isolated point. Therefore, it is preferable that the isolated point element detection unit 12 for each band detects isolated point elements in each frequency band (n = 2 to 26) excluding the lowest frequency band.

帯域毎雑音要素情報生成部１３は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素の値が、周波数帯域毎に設定された雑音閾値Ｔｈｎ(ｎ)を超えるか否かを判定する。そして、孤立点要素の値が雑音閾値Ｔｈｎ(ｎ)を超える孤立点要素を雑音要素と決定し、雑音要素の位置を示す雑音要素情報を生成する。そして、周波数帯域毎の雑音要素情報を最適超解像パラメータ検出部１４に出力する。雑音閾値Ｔｈｎ(ｎ)は予め設定された値であり、例えば識別番号ｎの周波数帯域の孤立点要素の中央値又は平均値とする。雑音要素情報は、例えば、要素値が雑音閾値Ｔｈｎ(ｎ)を超える孤立点要素の要素値を１とし、それ以外の要素の要素値を０とする２値画像である。 The noise element information generation unit for each band 13 determines whether the value of the isolated point element for each frequency band detected by the band isolated point element detection unit 12 exceeds the noise threshold Th n (n) set for each frequency band. Determine whether or not. Then, an isolated point element whose isolated point element value exceeds the noise threshold Th n (n) is determined as a noise element, and noise element information indicating the position of the noise element is generated. Then, the noise element information for each frequency band is output to the optimum super-resolution parameter detection unit 14. The noise threshold Th n (n) is a preset value, for example, the median value or average value of isolated point elements in the frequency band of the identification number n. The noise element information is, for example, a binary image in which the element value of an isolated point element whose element value exceeds the noise threshold Th n (n) is 1 and the element value of other elements is 0.

最適超解像パラメータ検出部１４は、外部から入力される原画像及び超解像画像群と、帯域毎雑音要素情報生成部１３により生成された周波数帯域毎の雑音要素情報とを用いて、外部から入力される超解像パラメータ群から最適な超解像パラメータを検出する。ここで、超解像画像は、原画像の縮小画像を超解像パラメータを用いて超解像処理することにより生成される、原画像と同一サイズの画像である。   The optimum super-resolution parameter detection unit 14 uses an original image and a super-resolution image group input from the outside, and noise element information for each frequency band generated by the noise element information generation unit 13 for each band. The optimal super-resolution parameter is detected from the super-resolution parameter group input from. Here, the super-resolution image is an image having the same size as the original image, which is generated by subjecting a reduced image of the original image to super-resolution processing using the super-resolution parameter.

図３は、最適超解像パラメータ検出部１４の構成例を示すブロック図である。図３に示すように、最適超解像パラメータ検出部１４は、雑音画素情報生成部１４１と、画像差分値検出部１４２と、画像差分値判定部１４３と、を備える。   FIG. 3 is a block diagram illustrating a configuration example of the optimum super-resolution parameter detection unit 14. As shown in FIG. 3, the optimum super-resolution parameter detection unit 14 includes a noise pixel information generation unit 141, an image difference value detection unit 142, and an image difference value determination unit 143.

雑音画素情報生成部１４１は、所定数以上の周波数帯域にわたって雑音要素を有する画素を原画像の雑音画素と決定する。つまり、雑音画素情報生成部１４１は、帯域毎雑音要素情報生成部１３により生成された周波数帯域毎の雑音要素情報から、要素毎に全周波数帯域の雑音要素の数を計数し、雑音要素の数が閾値を超える場合に、該要素位置に対応する画素を雑音画素と決定する。そして、雑音画素の位置を示す雑音画素情報を画像差分値検出部１４２に出力する。   The noise pixel information generation unit 141 determines a pixel having a noise element over a predetermined number of frequency bands or more as a noise pixel of the original image. That is, the noise pixel information generation unit 141 counts the number of noise elements in the entire frequency band for each element from the noise element information for each frequency band generated by the noise element information generation unit 13 for each band. When the value exceeds the threshold, the pixel corresponding to the element position is determined as a noise pixel. Then, noise pixel information indicating the position of the noise pixel is output to the image difference value detection unit 142.

図４は、雑音画素情報生成部１４１の処理を説明する図である。図４では、時空間周波数解析部１１にてデジメーション無しで周波数分解を行い、周波数帯域数Ｎ＝２６であり、最も低い周波数帯域（ｎ＝１）を除く各周波数帯域（ｎ＝２〜２６）における雑音要素情報から雑音画素を決定する場合を示している。図４（ａ）は、帯域毎雑音要素情報生成部１３から入力される、最も低い周波数帯域（ｎ＝１）を除く各周波数帯域（ｎ＝２〜２６）の雑音要素情報を示す図である。図４（ａ）中の１は雑音要素を表している。図４（ｂ）は、要素毎に、最も低い周波数帯域（ｎ＝１）を除く周波数帯域（ｎ＝２〜２６）における雑音要素の数の計数値を示す図であり、計数値は０〜２５となる。図４（ｃ）は、雑音画素情報生成部１４１から出力される雑音画素情報である。図４（ｃ）中の１は雑音画素を表している。雑音画素情報生成部１４１は、図４（ｂ）に示す雑音要素の計数値が閾値（例えば２２）以上の画素を雑音画素と決定する。白色雑音はほぼ全周波数帯域にパワーを持つ可能性が高いため、所定数（例えば２２）以上の周波数帯域にわたって雑音要素を有する画素を検出することにより、白色雑音の位相位置を精度良く判定することができる。   FIG. 4 is a diagram for explaining processing of the noise pixel information generation unit 141. In FIG. 4, the spatio-temporal frequency analysis unit 11 performs frequency decomposition without decimating, the frequency band number N = 26, and each frequency band (n = 2 to 26) excluding the lowest frequency band (n = 1). The case where a noise pixel is determined from the noise element information in FIG. FIG. 4A is a diagram showing noise element information of each frequency band (n = 2 to 26) excluding the lowest frequency band (n = 1) input from the noise element information generation unit 13 for each band. . 1 in FIG. 4A represents a noise element. FIG. 4B is a diagram illustrating the count value of the number of noise elements in the frequency band (n = 2 to 26) excluding the lowest frequency band (n = 1) for each element. 25. FIG. 4C shows noise pixel information output from the noise pixel information generation unit 141. 1 in FIG. 4C represents a noise pixel. The noise pixel information generation unit 141 determines a pixel whose noise element count value illustrated in FIG. 4B is a threshold value (for example, 22) or more as a noise pixel. Since white noise is likely to have power in almost all frequency bands, the phase position of white noise can be accurately determined by detecting pixels having noise elements over a predetermined number (for example, 22) or more of frequency bands. Can do.

画像差分値検出部１４２は、雑音画素情報生成部１４１により雑音画素と決定された画素を除いて、原画像と超解像画像との差の指標を算出する。そして、差の指標を外部から入力される超解像画像パラメータと対応付けて画像差分値判定部１４３に出力する。ここで、差の指標は差の絶対値の和、差の絶対値の積、差の二乗和など、種々の演算方法によって算出することができる。   The image difference value detection unit 142 calculates an index of the difference between the original image and the super-resolution image, excluding pixels determined as noise pixels by the noise pixel information generation unit 141. Then, the difference index is output to the image difference value determination unit 143 in association with the super-resolution image parameter input from the outside. Here, the difference index can be calculated by various calculation methods such as a sum of absolute values of differences, a product of absolute values of differences, and a sum of squares of differences.

画像差分値判定部１４３は、記憶部（図示せず）にこれまでの処理で求めた最小の差の指標及びその超解像パラメータを記憶しておき、画像差分値検出部１４２から入力された差の指標と比較する。画像差分値検出部１４２から入力された差の指標のほうが小さい場合には、当該差分値及びその超解像パラメータを記憶部に記憶して更新する。この処理を全ての超解像画像及びその超解像パラメータについて行い、差分値が最小となる超解像パラメータを、最適な超解像パラメータとして出力する。なお、超解像パラメータの具体例については実施例３で詳述する。   The image difference value determination unit 143 stores the minimum difference index and its super-resolution parameter obtained in the processing so far in a storage unit (not shown), and is input from the image difference value detection unit 142. Compare with the difference indicator. When the difference index input from the image difference value detection unit 142 is smaller, the difference value and its super-resolution parameter are stored in the storage unit and updated. This process is performed for all super-resolution images and their super-resolution parameters, and the super-resolution parameter that minimizes the difference value is output as the optimum super-resolution parameter. A specific example of the super-resolution parameter will be described in detail in the third embodiment.

上述したように、超解像パラメータ判定装置１は、時空間周波数解析部１１により原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成し、帯域毎孤立点要素検出部１２により周波数帯域毎に、分解画像における孤立点要素を検出し、帯域毎雑音要素情報生成部１３により周波数帯域毎に、孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定し、最適超解像パラメータ検出部１４により所定数以上の周波数帯域にわたって雑音要素を有する画素を原画像の雑音画素と決定し、雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する。これにより、超解像パラメータ判定装置１によれば、原画像の雑音位置をマスクして原画像と超解像画像を比較するため、信号成分に対して最適な超解像パラメータを高い確度で判定することができるようになる。   As described above, the super-resolution parameter determination device 1 generates a decomposed image for each frequency band by frequency-decomposing the original image in the time direction and the spatial direction by the spatio-temporal frequency analysis unit 11 to detect isolated point elements for each band. The isolated point element in the decomposed image is detected by the unit 12 for each frequency band, and the isolated point element whose value exceeds the predetermined noise threshold is determined as the noise element for each frequency band by the noise element information generation unit 13 for each band. And the optimum super-resolution parameter detection unit 14 determines a pixel having a noise element over a predetermined number of frequency bands as a noise pixel of the original image, and removes the noise pixel to determine the difference between the original image and the super-resolution image. The index is calculated, and the super-resolution parameter used to generate the super-resolution image that minimizes the index of the difference is determined as the optimum super-resolution parameter. Thus, according to the super-resolution parameter determination device 1, since the noise position of the original image is masked and the original image and the super-resolution image are compared, the optimum super-resolution parameter for the signal component can be obtained with high accuracy. It becomes possible to judge.

なお、上述した超解像パラメータ判定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像パラメータ判定装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。   It should be noted that a computer can be suitably used to function as the above-described super-resolution parameter determination device 1, and such a computer is a program describing processing contents for realizing each function of the super-resolution parameter determination device 1. Is stored in the storage unit of the computer, and this program is read and executed by the CPU of the computer.

次に、本発明に係る実施例２の超解像パラメータ判定装置について説明する。図５は、本発明に係る実施例２の超解像パラメータ判定装置の構成例を示すブロック図である。図５に示すように、超解像パラメータ判定装置２は、時空間周波数解析部１１と、帯域毎孤立点要素検出部１２と、帯域毎雑音要素情報生成部１３と、最適超解像パラメータ検出部１４と、帯域毎雑音閾値決定部１５と、を備える。   Next, a super-resolution parameter determination apparatus according to Embodiment 2 of the present invention will be described. FIG. 5 is a block diagram illustrating a configuration example of the super-resolution parameter determination device according to the second embodiment of the present invention. As shown in FIG. 5, the super-resolution parameter determination device 2 includes a spatio-temporal frequency analysis unit 11, a band-by-band isolated point element detection unit 12, a band-by-band noise element information generation unit 13, and an optimum super-resolution parameter detection. Unit 14 and a noise threshold determination unit 15 for each band.

超解像パラメータ判定装置２は、図１を参照して説明した実施例１の超解像パラメータ判定装置１と比較して、更に帯域毎雑音閾値決定部１５を備える点が相違する。実施例１では、帯域毎雑音要素情報生成部１３において予め設定された雑音閾値Ｔｈｎ（ｎ）を用いるが、実施例２では、帯域毎雑音要素情報生成部１３において帯域毎雑音閾値決定部１５により生成された雑音閾値Ｔｈｎ（ｎ）を用いる。なお、時空間周波数解析部１１、帯域毎孤立点要素検出部１２、及び最適超解像パラメータ検出部１４については、実施例１の超解像パラメータ判定装置１と同様であるため、説明を省略する。 The super-resolution parameter determination device 2 is different from the super-resolution parameter determination device 1 according to the first embodiment described with reference to FIG. In the first embodiment, the noise threshold Th n (n) set in advance in the noise element information generation unit 13 for each band is used. In the second embodiment, the noise threshold value determination part 15 for each band is used in the noise element information generation unit 13 for each band. Is used as a noise threshold Th n (n). Note that the spatio-temporal frequency analysis unit 11, the band-by-band isolated point element detection unit 12, and the optimum super-resolution parameter detection unit 14 are the same as those of the super-resolution parameter determination device 1 according to the first embodiment, and thus description thereof is omitted. To do.

帯域毎雑音閾値決定部１５は、帯域毎孤立点要素検出部１２により生成された周波数帯域毎の孤立点要素情報に基づいて雑音レベルＬ（ｎ）を検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値Ｔｈｎ（ｎ）を決定する。 The noise threshold determination unit 15 for each band detects the noise level L (n) based on the isolated point element information for each frequency band generated by the isolated point element detection unit 12 for each band, and the noise level is determined for each frequency band. The noise threshold value Th n (n), which increases as the value increases, is determined.

図６は、帯域毎雑音閾値決定部１５の第１の構成例を示すブロック図である。第１の構成例では、帯域毎雑音閾値決定部１５は、雑音レベル算出部１５１と、雑音閾値設定部１５２と、を備える。   FIG. 6 is a block diagram illustrating a first configuration example of the noise threshold determination unit 15 for each band. In the first configuration example, the band-by-band noise threshold determination unit 15 includes a noise level calculation unit 151 and a noise threshold setting unit 152.

雑音レベル算出部１５１は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素情報に基づいて、周波数帯域毎の雑音レベルをＬ（ｎ）検出する。そして、周波数帯域毎の雑音レベルＬ（ｎ）を雑音閾値設定部１５２に出力する。周波数帯域毎の雑音レベルＬ（ｎ）は、例えば周波数帯域毎の孤立点要素のＲＭＳ（二乗平均平方根）値とする。   The noise level calculation unit 151 detects a noise level L (n) for each frequency band based on the isolated point element information for each frequency band detected by the band isolated point element detection unit 12. Then, the noise level L (n) for each frequency band is output to the noise threshold setting unit 152. The noise level L (n) for each frequency band is, for example, the RMS (root mean square) value of the isolated point element for each frequency band.

雑音閾値設定部１５２は、雑音レベルＬ（ｎ）と、雑音レベルＬ（ｎ）が大きくなるほど大きい値となるように定められた雑音閾値Ｔｈｎ（ｎ）との対応関係を示すテーブルを有しており、このテーブルを参照して、雑音レベル算出部１５１により算出された雑音レベルＬ（ｎ）に対応する雑音閾値Ｔｈｎ（ｎ）を決定する。 The noise threshold value setting unit 152 has a table indicating a correspondence relationship between the noise level L (n) and the noise threshold value Th n (n) determined so as to increase as the noise level L (n) increases. The noise threshold Th n (n) corresponding to the noise level L (n) calculated by the noise level calculation unit 151 is determined with reference to this table.

図７は、帯域毎雑音閾値決定部１５の第２の構成例を示すブロック図である。第２の構成例では、帯域毎雑音閾値決定部１５は、雑音レベル算出部１５１と、雑音閾値設定部１５２と、基準雑音閾値設定部１５３と、を備える。   FIG. 7 is a block diagram illustrating a second configuration example of the noise threshold determination unit 15 for each band. In the second configuration example, the band-by-band noise threshold determination unit 15 includes a noise level calculation unit 151, a noise threshold setting unit 152, and a reference noise threshold setting unit 153.

雑音レベル算出部１５１は、図６に示した雑音レベル算出部１５１と同様に、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素情報に基づいて、周波数帯域毎の雑音レベルＬ（ｎ）を検出し、雑音閾値設定部１５２に出力する。   Similarly to the noise level calculation unit 151 illustrated in FIG. 6, the noise level calculation unit 151 performs noise for each frequency band based on the isolated point element information for each frequency band detected by the band isolated point element detection unit 12. The level L (n) is detected and output to the noise threshold setting unit 152.

基準雑音閾値設定部１５３は、帯域毎孤立点要素検出部１２により生成された周波数帯域毎の孤立点要素の中央値又は平均値を、周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）として算出する。そして、周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）を雑音閾値設定部１５２に出力する。 The reference noise threshold setting unit 153 calculates the median value or average value of isolated point elements for each frequency band generated by the band isolated point element detection unit 12 as a reference noise threshold C_Th n (n) for each frequency band. . Then, the reference noise threshold C_Th n (n) for each frequency band is output to the noise threshold setting unit 152.

雑音閾値設定部１５２は、基準雑音閾値設定部１５３により算出された周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）及び雑音レベル算出部１５１により検出された周波数帯域毎の雑音レベルＬ（ｎ）を用いて、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値Ｔｈｎ（ｎ）を決定する。そして、雑音閾値Ｔｈｎ（ｎ）を帯域毎雑音要素情報生成部１３に出力する。例えば、雑音閾値設定部１５２は、雑音レベルＬ（ｎ）と係数αとの対応関係を示すテーブルを有しており、このテーブルを参照し、雑音閾値Ｔｈｎ（ｎ）を次式により算出する。
Ｔｈｎ（ｎ）＝Ｃ_Ｔｈｎ（ｎ）×α The noise threshold setting unit 152 calculates the reference noise threshold C_Th n (n) for each frequency band calculated by the reference noise threshold setting unit 153 and the noise level L (n) for each frequency band detected by the noise level calculation unit 151. Using, for each frequency band, a noise threshold value Th n (n) that becomes a larger value as the noise level increases is determined. Then, the noise threshold Th n (n) is output to the noise element information generation unit 13 for each band. For example, the noise threshold value setting unit 152 has a table indicating a correspondence relationship between the noise level L (n) and the coefficient α. The noise threshold value Th n (n) is calculated by the following equation with reference to this table. .
Th n (n) = C_Th n (n) × α

帯域毎雑音要素情報生成部１３は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素の値が、帯域毎雑音閾値決定部１５により決定された雑音閾値Ｔｈｎ(ｎ)を超えるか否かを判定する。そして、孤立点要素の値が雑音閾値Ｔｈ(ｎ)を超える孤立点要素を雑音要素と決定し、雑音要素の位置を示す雑音要素情報を生成する。そして、周波数帯域毎の雑音要素情報を最適超解像パラメータ検出部１４に出力する。 The band-by-band noise element information generation unit 13 uses the noise threshold Th n (n) in which the value of the isolated point element for each frequency band detected by the band-by-band isolated point element detection unit 12 is determined by the band-by-band noise threshold determination unit 15. ) Is exceeded. Then, an isolated point element whose isolated point element value exceeds the noise threshold Th (n) is determined as a noise element, and noise element information indicating the position of the noise element is generated. Then, the noise element information for each frequency band is output to the optimum super-resolution parameter detection unit 14.

上述したように、超解像パラメータ判定装置２は、周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部１５を更に備え、帯域毎雑音要素情報生成部１３は、孤立点要素の値が帯域毎雑音閾値決定部１５により決定された雑音閾値を超える孤立点要素を雑音要素と決定する。雑音レベルが大きいほど画像のＳＮ比が低く、信号成分を検出することが難しいが、このように雑音レベルの大きさに応じて雑音閾値を設定することにより、ＳＮ比の低い原画像においても、最適な超解像パラメータを高い確度で判定することができるようになる。   As described above, the super-resolution parameter determination device 2 detects the noise level for each frequency band based on the isolated point element for each frequency band, and the noise threshold value increases as the noise level increases for each frequency band. The band-by-band noise threshold value determination unit 15 further determines the noise factor information generation unit 13 for each band. Decide as an element. The larger the noise level, the lower the S / N ratio of the image and the more difficult it is to detect the signal component. By setting the noise threshold according to the magnitude of the noise level in this way, even in the original image having a low S / N ratio, The optimum super-resolution parameter can be determined with high accuracy.

なお、上述した超解像パラメータ判定装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像パラメータ判定装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。   It should be noted that a computer can be suitably used to function as the above-described super-resolution parameter determination device 2, and such a computer is a program describing processing contents for realizing each function of the super-resolution parameter determination device 2. Is stored in the storage unit of the computer, and this program is read and executed by the CPU of the computer.

次に、本発明に係る実施例３の画像縮小装置について説明する。この画像縮小装置は、原画像の縮小画像を生成して出力するとともに、縮小画像の超解像画像の生成に用いられる超解像パラメータのうち、最適なパラメータを超解像パラメータ判定装置１又は２により判定して出力する。   Next, an image reducing apparatus according to a third embodiment of the present invention will be described. The image reduction device generates and outputs a reduced image of the original image, and selects an optimum parameter from among the super-resolution parameters used for generating the reduced-resolution super-resolution image. 2 is judged and output.

図８は、本発明に係る実施例３の画像縮小装置の構成例を示すブロック図である。図８に示すように、画像縮小装置３は、縮小画像生成部３１と、超解像処理部３２と、実施例１又は２の超解像パラメータ判定装置１又は２と、を備える。   FIG. 8 is a block diagram illustrating a configuration example of the image reducing device according to the third embodiment of the present invention. As illustrated in FIG. 8, the image reduction device 3 includes a reduced image generation unit 31, a super-resolution processing unit 32, and the super-resolution parameter determination device 1 or 2 according to the first or second embodiment.

縮小画像生成部３１は、原画像をダウンサンプリングして縮小画像を生成する。そして、縮小画像を超解像処理部３２、及び外部に出力する。ダウンサンプリングは既知の手法で行うことができ、例えば原画像をウェーブレット分解することにより行う。   The reduced image generation unit 31 downsamples the original image to generate a reduced image. Then, the reduced image is output to the super-resolution processing unit 32 and the outside. Downsampling can be performed by a known method, for example, by wavelet decomposition of the original image.

超解像処理部３２は、縮小画像生成部３１により生成された縮小画像を超解像処理して縮小画像の超解像画像を複数生成する。そして、複数の超解像画像（超解像画像群）及び超解像画像群を生成するために用いられた超解像パラメータ群を超解像パラメータ判定装置１又は２に出力する。超解像処理は既知の手法で行うことができる。   The super-resolution processing unit 32 performs super-resolution processing on the reduced image generated by the reduced-image generating unit 31 to generate a plurality of reduced-resolution super-resolution images. Then, the super-resolution parameter group used to generate a plurality of super-resolution images (super-resolution image group) and the super-resolution image group is output to the super-resolution parameter determination device 1 or 2. Super-resolution processing can be performed by a known method.

図９及び図１０を参照して超解像処理部３２の処理例を説明する。図９は、超解像処理部３２の構成例を示すブロック図である。図９に示すように、超解像処理部３２は、空間周波数分解部３２１と、空間高周波成分拡大部３２２と、空間高周波成分平滑化部３２３と、周波数成分再構成部３２４と、を備える。図１０は、超解像処理部３２の動作を説明する図である。   A processing example of the super-resolution processing unit 32 will be described with reference to FIGS. 9 and 10. FIG. 9 is a block diagram illustrating a configuration example of the super-resolution processing unit 32. As illustrated in FIG. 9, the super-resolution processing unit 32 includes a spatial frequency decomposition unit 321, a spatial high-frequency component enlargement unit 322, a spatial high-frequency component smoothing unit 323, and a frequency component reconstruction unit 324. FIG. 10 is a diagram for explaining the operation of the super-resolution processing unit 32.

空間周波数分解部３２１は、縮小画像生成部３１により生成された縮小画像を空間方向に１階ウェーブレット分解し、空間低周波成分の画像ＬＬ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを生成する（ステップＳ１０１）。そして、高周波成分の画像、すなわち水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを空間高周波成分拡大部３２２に出力する。   The spatial frequency decomposition unit 321 performs first-order wavelet decomposition on the reduced image generated by the reduced image generation unit 31 in the spatial direction, and generates a spatial low-frequency component image LL, a horizontal high-frequency component image LH, and a vertical high-frequency component image. An image HH of HL and oblique high frequency components is generated (step S101). The high-frequency component image, that is, the horizontal high-frequency component image LH, the vertical high-frequency component image HL, and the diagonal high-frequency component image HH are output to the spatial high-frequency component enlargement unit 322.

空間高周波成分拡大部３２２は、空間周波数分解部３２１により生成された水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨをそれぞれ拡大処理（アップサンプリング）する（ステップＳ１０２，１０３，１０４）。そして、水平方向高周波成分の画像ＬＨの拡大画像（水平方向高周波成分拡大画像Ｅｘ．ＬＨ）、垂直方向高周波成分の画像ＨＬの拡大画像（垂直方向高周波成分拡大画像Ｅｘ．ＨＬ）、及び斜め方向高周波成分の画像ＨＨの拡大画像（斜め方向高周波成分拡大画像Ｅｘ．ＨＨ）を空間高周波成分平滑化部３２３に出力する。   The spatial high-frequency component enlargement unit 322 enlarges (up-samples) each of the horizontal high-frequency component image LH, the vertical high-frequency component image HL, and the diagonal high-frequency component image HH generated by the spatial frequency decomposition unit 321. (Steps S102, 103, 104). The enlarged image of the horizontal high-frequency component image LH (horizontal high-frequency component enlarged image Ex.LH), the enlarged image of the vertical high-frequency component image HL (vertical high-frequency component enlarged image Ex.HL), and the oblique high-frequency component An enlarged image of the component image HH (oblique high-frequency component enlarged image Ex.HH) is output to the spatial high-frequency component smoothing unit 323.

具体的には、空間高周波成分拡大部３２２は、図１０に示すように、垂直方向高周波成分の画像ＨＬを拡大する場合には、垂直方向高周波成分の画像ＨＬを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ｅｘ．ＨＬを生成する。同様に、水平方向高周波成分の画像ＬＨを拡大する場合には、水平方向高周波成分の画像ＬＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ｅｘ．ＬＨを生成する。斜め方向高周波成分の画像ＨＨを拡大する場合には、斜め方向高周波成分の画像ＨＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ｅｘ．ＨＨを生成する。   Specifically, as shown in FIG. 10, the spatial high-frequency component enlarging unit 322 enlarges the vertical high-frequency component image HL as the spatial low-frequency component and expands the spatial high-frequency component image HL. First-order wavelet reconstruction is performed in the spatial direction for an image with zero components, and a vertical high-frequency component enlarged image Ex. HL is generated. Similarly, when the image LH of the horizontal high-frequency component is enlarged, the first-order wavelet reconstruction is performed in the spatial direction with respect to the image in which the horizontal high-frequency component image LH is the spatial low-frequency component and the spatial high-frequency component is zero. The horizontal high-frequency component enlarged image Ex. LH is generated. When enlarging the image HH of the oblique high-frequency component, the first-order wavelet reconstruction is performed in the spatial direction with respect to the image with the spatial high-frequency component set to zero with the image HH of the oblique high-frequency component as the spatial low-frequency component. Oblique high-frequency component enlarged image Ex. HH is generated.

空間高周波成分平滑化部３２３は、空間高周波成分拡大部３２２により生成された、水平方向高周波成分拡大画像Ｅｘ．ＬＨ、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨをそれぞれ平滑化フィルタにより平滑化する（ステップＳ１０５，１０６，１０７）。そして、平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を周波数成分再構成部３２４に出力する。平滑化フィルタとしては、例えば、ガウシアンフィルタやバイラテラルフィルタを用いる。   The spatial high-frequency component smoothing unit 323 generates a horizontal direction high-frequency component enlarged image Ex. LH, vertical high-frequency component enlarged image Ex. HL and oblique high-frequency component enlarged image Ex. Each HH is smoothed by a smoothing filter (steps S105, 106, 107). Then, the smoothed horizontal high-frequency component enlarged image Ex. LH ′, vertical high-frequency component enlarged image Ex. HL ′ and the oblique high-frequency component enlarged image Ex. HH ′ is output to the frequency component reconstruction unit 324. For example, a Gaussian filter or a bilateral filter is used as the smoothing filter.

また、空間高周波成分平滑化部３２３は、平滑化フィルタの標準偏差の値を超解像画像パラメータとして外部に出力する。超解像処理部３２は、平滑化フィルタの標準偏差の値を変化させることにより、超解像画像群を生成する。   Also, the spatial high-frequency component smoothing unit 323 outputs the value of the standard deviation of the smoothing filter to the outside as a super-resolution image parameter. The super-resolution processing unit 32 generates a super-resolution image group by changing the standard deviation value of the smoothing filter.

周波数成分再構成部３２４は、高周波成分平滑化部３３により平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’と、縮小画像生成部３１により生成された縮小画像とを用いて再構成処理を行い、超解像画像を生成する（ステップＳ１０８）。   The frequency component reconstruction unit 324 is configured to output the horizontal direction high-frequency component enlarged image Ex. LH ′, vertical high-frequency component enlarged image Ex. HL ′ and the oblique high-frequency component enlarged image Ex. Reconstruction processing is performed using HH ′ and the reduced image generated by the reduced image generation unit 31 to generate a super-resolution image (step S108).

具体的には、周波数成分再構成部３２４は、図１０に示すように、縮小画像生成部３１により生成された縮小画像を空間低周波成分とし、水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に１階ウェーブレット再構成を行い、超解像画像を生成する。   Specifically, as shown in FIG. 10, the frequency component reconstruction unit 324 sets the reduced image generated by the reduced image generation unit 31 as the spatial low frequency component, and uses the horizontal direction high frequency component enlarged image Ex. LH ′, vertical high-frequency component enlarged image Ex. HL ′ and the oblique high-frequency component enlarged image Ex. A first-order wavelet reconstruction is performed in the spatial direction for an image in which HH ′ is a horizontal high-frequency component, a vertical high-frequency component, and a diagonal high-frequency component, respectively, and a super-resolution image is generated.

超解像パラメータ判定装置１又は２は、原画像と、超解像処理部３２により生成された超解像画像及び超解像パラメータとを用いて、実施例１，２の説明で記載した処理を行い、最適な超解像パラメータを判定する。   The super-resolution parameter determination device 1 or 2 uses the original image, the super-resolution image and the super-resolution parameter generated by the super-resolution processing unit 32, and the processing described in the description of the first and second embodiments. To determine the optimum super-resolution parameter.

上述したように、画像縮小装置３は、縮小画像生成部３１により原画像の縮小画像を生成し、超解像処理部３２により縮小画像を超解像処理して縮小画像の超解像画像を生成する。超解像パラメータ判定装置１又は２は、最適超解像パラメータ検出部１４により、雑音画素を除いて原画像と超解像処理部３２により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する。これにより、画像縮小装置３は、実施例１又は２に記載の超解像パラメータ判定装置１又は２と同じ効果を得ることができる。また、画像縮小装置３は、縮小画像及び最適な超解像パラメータを組みにして出力するため、画像縮小装置３から縮小画像及び最適な超解像パラメータを受け取ることで、最適な超解像パラメータを用いて縮小画像を超解像処理し、原画像との差分が少ない最適な超解像画像を生成することができる。   As described above, the image reduction device 3 generates a reduced image of the original image by the reduced image generation unit 31, and super-resolves the reduced image by the super-resolution processing unit 32 to obtain a super-resolution image of the reduced image. Generate. The super-resolution parameter determination device 1 or 2 calculates an index of the difference between the original image and the super-resolution image generated by the super-resolution processing unit 32 except for noise pixels by the optimum super-resolution parameter detection unit 14. The super-resolution parameter used to generate the super-resolution image that minimizes the difference index is determined as the optimum super-resolution parameter. Thereby, the image reduction device 3 can obtain the same effect as the super-resolution parameter determination device 1 or 2 described in the first or second embodiment. Further, since the image reduction device 3 outputs the reduced image and the optimum super-resolution parameter as a set, the image reduction device 3 receives the reduced image and the optimum super-resolution parameter from the image reduction device 3, so that the optimum super-resolution parameter is received. Can be used to super-resolution the reduced image to generate an optimal super-resolution image with little difference from the original image.

なお、上述した画像縮小装置３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像縮小装置３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。   It should be noted that a computer can be suitably used to cause the image reduction device 3 to function as described above, and such a computer stores a program describing processing contents for realizing each function of the image reduction device 3. The program can be realized by reading out and executing the program by the CPU of the computer.

上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。   Although the above-described embodiments have been described as representative examples, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes may be made without departing from the scope of the claims. Is possible.

本発明は、超解像画像の生成に用いられる超解像パラメータ群から最適なパラメータを判定する任意の用途に有用である。   The present invention is useful for any application for determining an optimum parameter from a super-resolution parameter group used for generating a super-resolution image.

１，２ 超解像パラメータ判定装置
１１ 時空間周波数解析部
１２ 帯域毎孤立点要素検出部
１３ 帯域毎雑音要素情報生成部
１４ 最適超解像パラメータ検出部
１５ 帯域毎雑音閾値決定部
３１ 縮小画像生成部
３２ 超解像処理部
１４１ 雑音画素情報生成部
１４２ 画像差分値検出部
１４３ 画像差分値判定部
１５１ 雑音レベル算出部
１５２ 雑音閾値設定部
１５３ 基準雑音閾値設定部
３２１ 空間周波数分解部
３２２ 空間高周波成分拡大部
３２３ 空間高周波成分平滑化部
３２４ 周波数成分再構成部 DESCRIPTION OF SYMBOLS 1, 2 Super-resolution parameter determination apparatus 11 Spatio-temporal frequency analysis part 12 Isolated point element detection part for every band 13 Noise element information generation part for every band 14 Optimal super-resolution parameter detection part 15 Noise threshold value determination part for every band 31 Reduced image generation Unit 32 super-resolution processing unit 141 noise pixel information generation unit 142 image difference value detection unit 143 image difference value determination unit 151 noise level calculation unit 152 noise threshold setting unit 153 reference noise threshold setting unit 321 spatial frequency decomposition unit 322 spatial high frequency component Enlargement unit 323 Spatial high frequency component smoothing unit 324 Frequency component reconstruction unit

Claims (7)

原画像の縮小画像を超解像処理した超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置であって、
原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成する時空間周波数解析部と、
周波数帯域毎に、前記分解画像における孤立点要素を検出する帯域毎孤立点要素検出部と、
周波数帯域毎に、前記孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定する帯域毎雑音要素情報生成部と、
所定数以上の周波数帯域にわたって前記雑音要素を有する画素を原画像の雑音画素と決定し、該雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する最適超解像パラメータ検出部と、
を備えることを特徴とする超解像パラメータ判定装置。 A super-resolution parameter determination device that determines an optimal super-resolution parameter from a super-resolution parameter group used to generate a super-resolution image group obtained by super-resolution processing of a reduced image of an original image,
A spatio-temporal frequency analysis unit that generates a decomposed image for each frequency band by frequency-decomposing the original image in the time direction and the spatial direction;
An isolated point element detection unit for each band that detects an isolated point element in the decomposed image for each frequency band;
For each frequency band, a noise element information generation unit for each band that determines an isolated point element having a value of the isolated point element exceeding a predetermined noise threshold as a noise element;
A pixel having the noise element over a predetermined number of frequency bands or more is determined as a noise pixel of the original image, and an index of the difference between the original image and the super-resolution image is calculated excluding the noise pixel, and the index of the difference is minimized. An optimal super-resolution parameter detector that determines the super-resolution parameter used to generate the super-resolution image as an optimal super-resolution parameter;
A super-resolution parameter determination apparatus comprising: 前記周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部を更に備え、
前記帯域毎雑音要素情報生成部は、前記孤立点要素の値が前記帯域毎雑音閾値決定部により決定された雑音閾値を超える孤立点要素を雑音要素と決定することを特徴とする、請求項１に記載の超解像パラメータ判定装置。 A noise level for each frequency band is detected based on the isolated point element for each frequency band, and a noise threshold value for each band is further determined for each frequency band to determine a noise threshold value that increases as the noise level increases.
2. The noise element information generation unit for each band determines an isolated point element whose value of the isolated point element exceeds a noise threshold value determined by the noise threshold value determination unit for each band as a noise element. The super-resolution parameter determination device described in 1. 前記帯域毎雑音閾値決定部は、前記周波数帯域毎の孤立点要素のＲＭＳ値を周波数帯域毎の雑音レベルとして検出することを特徴とする、請求項２に記載の超解像パラメータ判定装置。   The super-resolution parameter determination device according to claim 2, wherein the noise threshold determination unit for each band detects an RMS value of an isolated point element for each frequency band as a noise level for each frequency band. 前記時空間周波数解析部は、原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うことを特徴とする、請求項１から３のいずれか一項に記載の超解像パラメータ判定装置。   4. The super-resolution parameter determination apparatus according to claim 1, wherein the spatio-temporal frequency analysis unit performs wavelet packet decomposition for octave decomposition of an original image toward a high frequency side. 5. 請求項１又は２に記載の超解像パラメータ判定装置と、
原画像の縮小画像を生成する縮小画像生成部と、
前記縮小画像を超解像処理して縮小画像の超解像画像を生成する超解像処理部と、
を備え、
前記最適超解像パラメータ検出部は、前記雑音画素を除いて原画像と前記超解像処理部により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定することを特徴とする画像縮小装置。 The super-resolution parameter determination device according to claim 1 or 2,
A reduced image generator for generating a reduced image of the original image;
A super-resolution processing unit that performs super-resolution processing of the reduced image to generate a super-resolution image of the reduced image;
With
The optimal super-resolution parameter detection unit calculates an index of a difference between the original image and the super-resolution image generated by the super-resolution processing unit excluding the noise pixel, and the super-resolution that minimizes the index of the difference. An image reduction apparatus for determining a super-resolution parameter used for generating a resolution image as an optimum super-resolution parameter. コンピュータを、請求項１から４のいずれか一項に記載の超解像パラメータ判定装置として機能させるためのプログラム。   The program for functioning a computer as a super-resolution parameter determination apparatus as described in any one of Claim 1 to 4. コンピュータを、請求項５に記載の画像縮小装置として機能させるためのプログラム。   A program for causing a computer to function as the image reduction device according to claim 5.
JP2012095553A 2012-04-19 2012-04-19 Super-resolution parameter determination device, image reduction device, and program Active JP5866245B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012095553A JP5866245B2 (en) 2012-04-19 2012-04-19 Super-resolution parameter determination device, image reduction device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012095553A JP5866245B2 (en) 2012-04-19 2012-04-19 Super-resolution parameter determination device, image reduction device, and program

Publications (2)

Publication Number Publication Date
JP2013222432A JP2013222432A (en) 2013-10-28
JP5866245B2 true JP5866245B2 (en) 2016-02-17

Family

ID=49593319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012095553A Active JP5866245B2 (en) 2012-04-19 2012-04-19 Super-resolution parameter determination device, image reduction device, and program

Country Status (1)

Country Link
JP (1) JP5866245B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363878B2 (en) * 2014-06-04 2018-07-25 日本放送協会 Super-resolution image optimization apparatus and program
CN112700368A (en) * 2019-10-22 2021-04-23 华为技术有限公司 Image processing method and device and electronic equipment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4444354B2 (en) * 2008-08-04 2010-03-31 株式会社東芝 Image processing apparatus and image processing method
JP5027757B2 (en) * 2008-08-18 2012-09-19 日本放送協会 Moving image denoising device, method and program thereof
JP5452337B2 (en) * 2010-04-21 2014-03-26 日本放送協会 Image coding apparatus and program

Also Published As

Publication number Publication date
JP2013222432A (en) 2013-10-28

Similar Documents

Publication Publication Date Title
US20170323430A1 (en) Image processing apparatus and image processing method
US9811882B2 (en) Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
US9471958B2 (en) Image processing method and apparatus
JP2012257148A (en) Motion vector detection apparatus, encoder, decoder and program of them
JP5829898B2 (en) Image space super-resolution apparatus and program
KR20150127598A (en) Control of frequency lifting super-resolution with image features
JP5866245B2 (en) Super-resolution parameter determination device, image reduction device, and program
JP5056242B2 (en) Image determination apparatus, image determination method, and program
JP2012257120A (en) Super resolution assistance information generating device, encoder, decoder and program of them
JP6202725B2 (en) Image difference amount calculation device, image encoding device, and program
JP5514132B2 (en) Image reduction device, image enlargement device, and program thereof
US9275446B2 (en) Large radius edge-preserving low-pass filtering
JP5894422B2 (en) Spatio-temporal low correlation image super-resolution device, image space super-resolution device, and program thereof
US9313395B2 (en) Focus evaluation value generation apparatus, focus evaluation value generation method, and computer-readable medium storing focus evaluation value generation program
US9392145B2 (en) Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams
US8934720B2 (en) Image processing device, image processing method, and integrated circuit in which super resolution process data is output as output data for input pixel data that is classified as high-frequency region data and that has noise less than or equal to a threshold
JP5067044B2 (en) Image processing apparatus and image processing method
CN101346742A (en) Reduction of compression artefacts in displayed images
JP6250988B2 (en) Image processing method and apparatus
JP6669277B2 (en) Audio noise detection device, digital broadcast receiving device, and audio noise detection method
US11960996B2 (en) Video quality assessment method and apparatus
US20220101123A1 (en) Video quality assessment method and apparatus
JP2007074051A (en) Scanning conversion apparatus, program thereof, and system having the scanning conversion apparatus
JP2017069959A (en) Image quality detection method and decoding system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R150 Certificate of patent or registration of utility model

Ref document number: 5866245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250