JP5417290B2

JP5417290B2 - Image super-resolution processing apparatus and program thereof

Info

Publication number: JP5417290B2
Application number: JP2010203480A
Authority: JP
Inventors: 康孝松尾; 善明鹿喰; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-09-10
Filing date: 2010-09-10
Publication date: 2014-02-12
Anticipated expiration: 2030-09-10
Also published as: JP2012059138A

Description

本発明は、原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理を行う画像超解像処理装置及びそのプログラムに関する。 The present invention provides an image super-resolution process for performing a super-resolution process on an original image, for example, by enlarging a reduced image that has been reduced through a deterioration process by an encoding process at a predetermined enlargement factor to the original image size. The present invention relates to an image processing apparatus and a program thereof.

原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理が知られている（例えば、特許文献１参照）。 For example, a super-resolution process is known in which a reduced image that has been reduced through a deterioration process, for example, by an encoding process, is enlarged at a predetermined enlargement ratio and returned to the size of the original image (for example, a patent). Reference 1).

また、画像拡大を行う際に、ウェーブレット変換を用いて、縮小画像を超え原画像の空間標本化周波数に至る高周波スペクトルを生成することにより、超解像画像を得る技術が知られている（例えば、特許文献２参照）。このような周波数再構成型の超解像処理は、例えば、縮小画像と原画像のスペクトル間には、相似性（「自己相似性」とも称する）が存在することが多いことを利用している。 In addition, when performing image enlargement, a technique for obtaining a super-resolution image by generating a high-frequency spectrum that exceeds the reduced image and reaches the spatial sampling frequency of the original image using wavelet transform is known (for example, , See Patent Document 2). Such a frequency reconfiguration type super-resolution processing utilizes, for example, that similarity (also referred to as “self-similarity”) often exists between the spectrum of the reduced image and the original image. .

つまり、縮小画像のスペクトルから、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る高周波スペクトルを生成する。例えば、縮小画像を水平２倍、垂直２倍に拡大して原画像を生成する場合、縮小画像のスペクトルについて水平、垂直方向共に標本化周波数の１／２倍を超えて１倍に至る領域のスペクトルを補間拡大し、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る帯域へコピーすることで高周波スペクトルを生成する。 That is, a high-frequency spectrum is generated from the spectrum of the reduced image to reach the spatial sampling frequency of the original image beyond the spatial sampling frequency of the reduced image. For example, when an original image is generated by enlarging a reduced image twice horizontally and twice vertically, the spectrum of the reduced image is an area that exceeds half the sampling frequency in the horizontal and vertical directions and reaches 1 time. The spectrum is interpolated and expanded, and a high frequency spectrum is generated by copying to a band that exceeds the spatial sampling frequency of the reduced image and reaches the spatial sampling frequency of the original image.

尚、周波数再構成型の超解像処理として、離散ウェーブレットパケット変換を用いる技術（例えば、非特許文献１参照）や、離散フーリエ変換を用いる技術（例えば、非特許文献２参照）が知られている。 As frequency reconstruction type super-resolution processing, a technique using a discrete wavelet packet transform (for example, see Non-Patent Document 1) and a technique using a discrete Fourier transform (for example, see Non-Patent Document 2) are known. Yes.

特開平３−２０４２６８号公報JP-A-3-204268 特許第２６３９３２３号明細書Japanese Patent No. 2,639,323

R. Coifman, Y. Meyer, S. Quake, and V. Wickerhauser, “Signal Processing and Compression with Wavelet Packets,” Numerical Algorithms Research Group, New Haven, CT, Yale University, 1990R. Coifman, Y. Meyer, S. Quake, and V. Wickerhauser, “Signal Processing and Compression with Wavelet Packets,” Numerical Algorithms Research Group, New Haven, CT, Yale University, 1990 S. G. Mallat, “A theory for multiresolution signal decomposition: The wavelet decompression,” IEEE Trans. Patt. Anal. Mach. Intell., vol.11, pp. 674-693, 1989S. G. Mallat, “A theory for multiresolution signal decomposition: The wavelet decompression,” IEEE Trans. Patt. Anal. Mach. Intell., Vol.11, pp. 674-693, 1989

従来技術は、高周波スペクトルを生成する際、その高周波スペクトルパワーを正確に設定することができない。ゆえに、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じる。 In the prior art, when generating a high frequency spectrum, the high frequency spectrum power cannot be set accurately. Therefore, there is a problem that the high-frequency spectrum power becomes excessive and artifacts occur, and conversely, the high-frequency spectrum power becomes excessively low and a high-definition feeling is hardly obtained.

そこで、本発明の目的は、上述の問題に鑑みて、スペクトルパワーを制御して、縮小画像に対して超解像処理を行う画像超解像処理装置及びそのプログラムを提供することにある。 Therefore, in view of the above-described problems, an object of the present invention is to provide an image super-resolution processing apparatus that controls a spectral power and performs super-resolution processing on a reduced image, and a program thereof.

本発明では、縮小画像を原画像サイズに拡大する際、縮小画像のスペクトルと原画像帯域毎スペクトルパワー代表値を用いて、縮小画像を超え原画像の空間標本化周波数に至る空間高周波スペクトルを推定し、高画質化を図ることにある。 In the present invention, when the reduced image is enlarged to the original image size, the spatial high-frequency spectrum that exceeds the reduced image and reaches the spatial sampling frequency of the original image is estimated using the spectrum of the reduced image and the spectral power representative value for each original image band. The aim is to improve image quality.

即ち、本発明の画像超解像処理装置は、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、を備えることを特徴とする。 In other words, the image super-resolution processing apparatus of the present invention is an image super-resolution processing apparatus that enlarges a reduced image that has been reduced in advance with respect to the original image, and that performs a reduced image that has been reduced in advance on the original image. An orthogonal transform unit that performs an orthogonal transform process and converts the reduced image bandwidth into a reduced image spectrum, and an enlargement magnification for returning the original image to a size of the original image. A high-frequency spectrum generation unit that estimates and generates a spatial high-frequency spectrum with a bandwidth from the sampling frequency to the spatial sampling frequency of the original image, and an original that represents a spectrum power representative value for each band of the original image that is determined in advance. With respect to the spectral power representative value for each image band, in accordance with the enlargement magnification, the representative value within each bandwidth of the reduced image spectrum and the spatial high-frequency spectrum is set. Correctly, a spectrum power determination unit for each original image band for generating a spectrum power correction value for each original image band, and a spectrum power for correcting the reduced image spectrum and the spatial high-frequency spectrum by the spectrum power correction value for each original image band. The image processing apparatus includes: a correction unit; and an inverse orthogonal transform unit that performs an inverse orthogonal transform process on the corrected reduced image spectrum and spatial high-frequency spectrum to generate an enlarged image of the reduced image.

また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする。 In the image super-resolution processing apparatus according to the present invention, the high-frequency spectrum generation unit performs estimation using wavelet transform.

前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする。 The orthogonal transform unit is one of discrete Fourier transform, discrete cosine transform, discrete wavelet transform, and discrete wavelet packet transform as the orthogonal transform process, and the orthogonal transform unit is the orthogonal transform process as the inverse orthogonal transform process. One of the inverse discrete Fourier transform, the inverse discrete cosine transform, the inverse discrete wavelet transform, and the inverse discrete wavelet packet transform corresponding to the transform process is used.

前記原画像帯域毎スペクトルパワー決定部は、原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、を有することを特徴とする。 When the spectral power representative value for each original image band is not prepared in advance, the reduced power for each original image band is subjected to octave decomposition, and the average value of the spectral power in each band is calculated for each band. When the means for obtaining the spectral power representative value for each original image band and the spectral power representative value for each original image band are prepared in advance, the bandwidth having the spectral power representative value for each original image band is the reduced image spectrum and When corresponding to the bandwidth of the spatial high-frequency spectrum, the spectrum power representative value for each original image band in each band, the bandwidth having the spectrum power representative value for each original image band is the reduced image spectrum and the When it does not correspond to the bandwidth of the spatial high frequency spectrum, Means for interpolating the representative power of the spectrum power so as to correspond to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum, and determining the spectrum power representative value for each original image band in each band. And

また、本発明のプログラムは、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、を実行させるためのプログラムとして構成される。 In addition, the program of the present invention inputs a reduced image reduced in advance with respect to the original image to a computer that is configured as an image super-resolution processing apparatus that enlarges the reduced image reduced in advance with respect to the original image. Performing an orthogonal transform process to convert the reduced image bandwidth into a reduced image spectrum, and from the reduced image spectrum according to an enlargement factor for returning to the size of the original image, from the spatial sampling frequency of the reduced image Estimating and generating a spatial high-frequency spectrum with a bandwidth up to the spatial sampling frequency of the original image, and determining a spectral power representative value for each original image band that represents a predetermined spectral power representative value for each band of the original image. On the other hand, according to the magnification, the reduced image spectrum and the spatial high frequency spectrum are corrected so as to be representative values within each bandwidth. Generating a spectral power correction value for each original image band, correcting the reduced image spectrum and the spatial high-frequency spectrum by the spectral power correction value for each original image band, and the corrected reduced image spectrum and space. And a step of performing an inverse orthogonal transform process on the high-frequency spectrum and generating an enlarged image of the reduced image.

本発明では、従来技術の課題である高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題を解決し、高画質な超解像画像が得られる。 The present invention solves the problem that the high-frequency spectrum power, which is a problem of the prior art, is excessive and causes artifacts, and conversely the high-frequency spectrum power is too low to obtain a high-definition feeling. A resolution image is obtained.

本発明による一実施例の画像超解像処理装置のブロック図である。1 is a block diagram of an image super-resolution processing apparatus according to an embodiment of the present invention. （ａ），（ｂ），（ｃ）は、周波数再構成型の超解像処理の概念図を示す図である。(A), (b), (c) is a figure which shows the conceptual diagram of a frequency reconfiguration type super-resolution process. （ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における直交変換処理として、２次元１階ウェーブレット変換を用いた場合の例を示す図である。(A), (b) is a figure which shows the example at the time of using two-dimensional 1st-order wavelet transformation as orthogonal transformation processing in the image super-resolution processing apparatus of one Example by this invention. （ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、本発明による一実施例の画像超解像処理装置における高周波スペクトル生成部の処理例を示す図である。(A), (b), (c), (d), (e) is a figure which shows the process example of the high frequency spectrum production | generation part in the image super-resolution processing apparatus of one Example by this invention. （ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。(A), (b) is a figure which shows the process example of the spectrum power determination part for every original image band in the image super-resolution processing apparatus of one Example by this invention. （ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。(A), (b) is a figure which shows the process example of the spectrum power determination part for every original image band in the image super-resolution processing apparatus of one Example by this invention. （ａ），（ｂ），（ｃ）は、本発明による一実施例の画像超解像処理装置におけるスペクトルパワー補正部の処理例を示す図である。(A), (b), (c) is a figure which shows the process example of the spectrum power correction | amendment part in the image super-resolution processing apparatus of one Example by this invention.

以下、本発明による一実施例の画像超解像処理装置について説明する。 Hereinafter, an image super-resolution processing apparatus according to an embodiment of the present invention will be described.

〔装置構成〕
図１は、本発明による一実施例の画像超解像処理装置のブロック図である。本実施例の画像超解像処理装置１は、原画像に対して予め縮小された縮小画像を画像拡大するための装置であり、直交変換部１０と、高周波スペクトル生成部２０と、代表値判定部３０と、原画像帯域毎スペクトルパワー決定部４０と、スペクトルパワー補正部５０と、逆直交変換部６０とを備える。本実施例では、直交変換として離散ウェーブレット分解を用い、縮小画像（縮小画像Ｆ）を水平２倍、垂直２倍に画像拡大する場合について説明する。〔Device configuration〕
FIG. 1 is a block diagram of an image super-resolution processing apparatus according to an embodiment of the present invention. The image super-resolution processing apparatus 1 according to the present embodiment is an apparatus for enlarging a reduced image that has been reduced in advance with respect to an original image, and includes an orthogonal transform unit 10, a high-frequency spectrum generation unit 20, and representative value determination. Unit 30, original image band-specific spectral power determination unit 40, spectral power correction unit 50, and inverse orthogonal transform unit 60. In this embodiment, a case will be described in which discrete wavelet decomposition is used as orthogonal transform, and a reduced image (reduced image F) is enlarged twice horizontally and twice vertically.

直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルに変換し、高周波スペクトル生成部２０に送出する。 The orthogonal transform unit 10 inputs a reduced image F that has been reduced in advance with respect to the original image, performs orthogonal transform processing, converts the reduced image F into a reduced image spectrum of the bandwidth of the reduced image F, and sends the reduced image spectrum to the high-frequency spectrum generation unit 20. .

高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成し、原画像帯域毎スペクトルパワー決定部４０に送出する。 The high-frequency spectrum generation unit 20 inputs an enlargement magnification value A for returning to the size of the original image, and from the reduced image spectrum obtained through the orthogonal transform unit 10, the original image is obtained from the spatial sampling frequency of the reduced image. A spatial high-frequency spectrum having a bandwidth up to the spatial sampling frequency is estimated and generated, and is transmitted to the spectral power determination unit 40 for each original image band.

原画像帯域毎スペクトルパワー決定部４０は、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を入力し、拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成し、スペクトルパワー補正部５０に送出する。 The spectral power determining unit 40 for each original image band inputs a spectral power representative value P (O) for each original image band representing a spectral power representative value for each band of the original image determined in advance, and inputs an enlargement magnification value A. Then, correction is performed so that the reduced image spectrum obtained through the orthogonal transform unit 10 and the spatial high-frequency spectrum obtained through the high-frequency spectrum generation unit 20 become representative values within the respective bandwidths, and the spectral power correction for each original image band. A value is generated and sent to the spectral power correction unit 50.

スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値によって、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し、逆直交変換部６０に送出する。 The spectrum power correction unit 50 corrects the reduced image spectrum and the spatial high-frequency spectrum with the spectrum power correction value for each original image band obtained from the spectrum power determination unit 40 for each original image band, and sends it to the inverse orthogonal transform unit 60. .

逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する。 The inverse orthogonal transform unit 60 performs an inverse orthogonal transform process on the reduced image spectrum and the spatial high-frequency spectrum corrected by the spectrum power correction unit 50, and generates an image obtained by enlarging the reduced image.

尚、代表値判定部３０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合を想定して設けられた機能部であり、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合には、直交変換部１０から得られる縮小画像スペクトルか、又は縮小画像そのものを原画像帯域毎スペクトルパワー決定部４０に送出し、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合には、この事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を原画像帯域毎スペクトルパワー決定部４０に送出する。 The representative value determination unit 30 is a functional unit provided assuming that the spectral power representative value P (O) for each original image band is not prepared in advance, and the spectral power representative value P for each original image band. If (O) is not prepared in advance, the reduced image spectrum obtained from the orthogonal transform unit 10 or the reduced image itself is sent to the original image band-specific spectral power determination unit 40, and the original image band-specific spectral power is sent. When the representative value P (O) is prepared in advance, this prepared spectral power representative value P (O) for each original image band is sent to the spectral power determining unit 40 for each original image band.

この場合、原画像帯域毎スペクトルパワー決定部４０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合に、直交変換部１０から得られる縮小画像スペクトルか、又は得られた縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を、拡大倍率値Ａに応じて各帯域における当該原画像帯域毎スペクトルパワー代表値として求め、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定し、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として新たに決定する。 In this case, the spectrum power determination unit 40 for each original image band is a reduced image spectrum obtained from the orthogonal transform unit 10 or obtained when the spectrum power representative value P (O) for each original image band is not prepared in advance. The obtained reduced image is subjected to octave decomposition, and an average value of spectral power in each band is obtained as a representative value of spectral power for each original image band in each band according to the magnification A, and a spectral power representative value P for each original image band is obtained. When (O) is prepared in advance, the bandwidth having the spectral power representative value P (O) for each original image band corresponds to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum. Is determined as a spectral power representative value for each original image band in each band, and has a spectral power representative value P (O) for each original image band. When the bandwidth does not correspond to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum, the spectrum power representative value P (O) for each original image band prepared in advance is used as the reduced image spectrum and the space. Interpolation is performed so as to correspond to the bandwidth of the high-frequency spectrum, and a new spectrum power representative value for each original image band in each band is newly determined.

以下、より具合的に、本実施例の画像超解像処理装置１の動作について、図２〜図７を参照して説明する。 Hereinafter, the operation of the image super-resolution processing device 1 according to the present embodiment will be described more specifically with reference to FIGS.

〔装置動作〕
まず、本発明の理解を高めるために、従来技術における超解像処理の問題点を明らかにする。図２には、周波数再構成型の超解像処理の概念図を示している。図２（ａ）は、原画像の空間標本化周波数において、特に水平方向のスペクトルを例示する図である。例えば、原画像が最大標本化周波数ω_ｘ０に従って徐々に減衰するようなスペクトルパワーを有していたとする。一方、図２（ｂ）は、原画像に対して１／２に縮小された縮小画像についての空間標本化周波数において、特に水平方向のスペクトルを例示する図である。この場合、縮小画像がその最大標本化周波数ω_ｘ０／２に従って徐々に減衰するようなスペクトルパワーを有していたとする。図２（ｃ）に示すように、従来技術における超解像処理（以下、「単純超解像度処理」とも称する）では、２倍の拡大倍率値を用いて縮小画像を画像拡大して再構成後の画像を得たとすると、この再構成後の画像のスペクトルは、ＤＣ成分及び原画像の最大標本化周波数ω_ｘ０のパワーＰが一致しても、ＤＣ成分から原画像の最大標本化周波数ω_ｘ０までの帯域内においてパワー誤差ΔＰが生じることがよくある。従って、単純超解像度処理では、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じ、原画像の復元に関して画質改善の余地があった。 [Device operation]
First, in order to enhance the understanding of the present invention, problems of super-resolution processing in the prior art will be clarified. FIG. 2 shows a conceptual diagram of frequency reconfiguration type super-resolution processing. FIG. 2A is a diagram illustrating a horizontal spectrum in particular at the spatial sampling frequency of the original image. For example, suppose that the original image has a spectral power that gradually attenuates according to the maximum sampling frequency ω _x0 . On the other hand, FIG. 2B is a diagram exemplarily showing a spectrum in the horizontal direction at the spatial sampling frequency for the reduced image reduced to ½ with respect to the original image. In this case, it is assumed that the reduced image has a spectral power that gradually attenuates according to the maximum sampling frequency ω _x0 / 2. As shown in FIG. 2C, in the super-resolution processing in the prior art (hereinafter also referred to as “simple super-resolution processing”), the reduced image is enlarged and reconstructed using a magnification factor value of 2 times. When afford the images, the spectrum of the image after the reconstruction, be a DC component and a maximum sampling frequency omega _x0 power P of the original image coincide, the maximum sampling frequency of the original image from the DC component omega _x0 In many cases, a power error ΔP occurs in the band up to. Therefore, with simple super-resolution processing, there is a problem that high-frequency spectral power becomes excessive and artifacts occur, and conversely, high-frequency spectral power is excessively low and high-definition is hardly obtained. There was room for.

このため、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うように構成している。 For this reason, the image super-resolution processing apparatus 1 according to the present embodiment is configured to perform the super-resolution processing on the reduced image by controlling the spectral power.

まず、直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルを算出する。図３は、この直交変換処理に、２次元１階ウェーブレット変換を用いた場合の例を示している。 First, the orthogonal transformation unit 10 inputs a reduced image F that has been reduced in advance with respect to the original image, performs orthogonal transformation processing, and calculates a reduced image spectrum of the bandwidth of the reduced image F. FIG. 3 shows an example in which a two-dimensional first-order wavelet transform is used for this orthogonal transform process.

例えば、直交変換部１０は、縮小画像Ｆに対して（図３（ａ）参照）、例えばスケーリング関数φを用いて２次元ｎ階離散ウェーブレット分解を行ない、空間低周波帯域成分Ｆ＿ＬＬ^ｎと、水平・垂直・斜め方向空間高周波帯域成分Ｆ＿ＬＨ^ｎ，Ｆ＿ＨＬ^ｎ，Ｆ＿ＨＨ^ｎを得ることができる（図３（ｂ）参照）。尚、ｎは階数を表し、図３の例ではｎ＝１である。 For example, the orthogonal transform unit 10 performs the two-dimensional n-th order discrete wavelet decomposition on the reduced image F (see FIG. 3A), for example, using the scaling function φ, the spatial low frequency band component F_LL ^n, and the horizontal The vertical and oblique spatial high-frequency band components F_LH ⁿ , F_HL ⁿ , and F_HH ⁿ can be obtained (see FIG. 3B). Note that n represents the rank, and n = 1 in the example of FIG.

次に、高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する。図４は、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する例を示しており、空間高周波成分を補間生成して水平・垂直方向にそれぞれ拡大する例である。 Next, the high frequency spectrum generation unit 20 inputs an enlargement magnification value A for returning to the size of the original image, and from the reduced image spectrum obtained through the orthogonal transform unit 10, from the spatial sampling frequency of the reduced image. A spatial high frequency spectrum having a bandwidth up to the spatial sampling frequency of the original image is estimated and generated. FIG. 4 shows an example in which the spatial high-frequency spectrum of the bandwidth from the spatial sampling frequency of the reduced image to the spatial sampling frequency of the original image is estimated and generated. -This is an example of enlargement in the vertical direction.

例えば、高周波スペクトル生成部２０は、縮小画像スペクトルより縮小画像が持つ空間標本化周波数を超え原画像が持つ空間標本化周波数に至る空間高周波スペクトルを推定する。ここでは、縮小画像Ｆを原画像サイズに超解像した画像のスペクトルと原画像スペクトルには、自己相似性を持つと仮定して、高周波成分の補間生成を行っている。 For example, the high frequency spectrum generation unit 20 estimates a spatial high frequency spectrum that exceeds the spatial sampling frequency of the reduced image and reaches the spatial sampling frequency of the original image from the reduced image spectrum. Here, interpolation generation of high frequency components is performed on the assumption that the spectrum of the image obtained by super-resolution of the reduced image F to the original image size and the original image spectrum have self-similarity.

図４に示す例では、縮小画像Ｆ（図４（ａ）参照）に対して例えば２次元１階の縮小画像スペクトルが得られているので（図４（ｂ）参照）、空間高周波スペクトルの推定のために、この縮小画像スペクトルのうちのＦ＿ＬＨ^１を空間低周波成分とし、同じサイズのゼロ行列（要素がゼロ）を空間高周波成分として（図４（ｃ）参照）、２次元１階ウェーブレット再構成し直交変換を施してＦ＿ＨＬ^０を得る（図４（ｄ）参照）。同様に、この縮小画像スペクトルのうちのＦ＿ＬＨ^１を空間低周波成分とし空間高周波成分をゼロとして、１階ウェーブレット再構成して直交変換を施しＦ＿ＬＨ^０を得るとともに、縮小画像スペクトルのうちのＦ＿ＨＨ^１を空間低周波成分とし空間高周波成分をゼロとして１階ウェーブレット再構成して直交変換を施しＦ＿ＨＨ^０を得る。最終的に、原画像サイズに相当するオクターブ分解のスペクトル成分は、縮小画像スペクトルの成分Ｆ＿ＬＬ^１，Ｆ＿ＬＨ^１，Ｆ＿ＨＬ^１，Ｆ＿ＨＨ^１と、推定して得られた空間高周波スペクトルＦ＿ＬＨ^０，Ｆ＿ＨＬ^０，Ｆ＿ＨＨ^０を組み合わせることで推定され、各帯域幅内のパワー値Ｐ（Ｆ＿ＬＬ^１），Ｐ（Ｆ＿ＬＨ^１），Ｐ（Ｆ＿ＨＬ^１），Ｐ（Ｆ＿ＨＨ^１），Ｐ（Ｆ＿ＬＨ^０），Ｐ（Ｆ＿ＨＬ^０），Ｐ（Ｆ＿ＨＨ^０）も推定することができる（図４（ｅ）参照）。この処理は、単純超解像処理と同等の推定性能であるが、後述するように、原画像帯域毎スペクトルパワー代表値を用いた補正処理に適した処理となっていることに留意する。 In the example shown in FIG. 4, for example, a two-dimensional first floor reduced image spectrum is obtained for the reduced image F (see FIG. 4A) (see FIG. 4B). Therefore, F_LH ¹ in the reduced image spectrum is a spatial low frequency component, and a zero matrix (element is zero) of the same size is a spatial high frequency component (see FIG. 4C). Configure and perform orthogonal transform to obtain F_HL ⁰ (see FIG. 4D). Similarly, F_LH ¹ of the reduced image spectrum is set to a spatial low frequency component and the spatial high frequency component is set to zero, and first-order wavelet reconstruction is performed to perform orthogonal transformation to obtain F_LH ⁰ and F_HH ^{1 of the} reduced image spectrum. the obtaining F_HH ⁰ performs orthogonal transformation to the first floor wavelet reconstruction the spatial high-frequency components as zero and spatial low-frequency component. Finally, octave decomposition spectral components corresponding to the original image size are reduced image spectral components F_LL ¹ , F_LH ¹ , F_HL ¹ , F_HH ^1, and spatial high-frequency spectra F_LH ⁰ , F_HL ⁰ , obtained by estimation. Estimated by combining F_HH ⁰ , power values P (F_LL ¹ ), P (F_LH ¹ ), P (F_HL ¹ ), P (F_HH ¹ ), P (F_LH ⁰ ), P (F_HL ⁰ ) within each bandwidth ), P (F_HH ⁰ ) can also be estimated (see FIG. 4E). Although this process has an estimation performance equivalent to that of the simple super-resolution process, it is noted that the process is suitable for the correction process using the spectral power representative value for each original image band, as will be described later.

次に、原画像帯域毎スペクトルパワー決定部４０は、代表値判定部３０による判定結果として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されているか否かに応じて、３種類のケースに場合分けして動作するように構成することができる。 Next, the spectrum power determining unit 40 for each original image band has three types according to whether or not the spectrum power representative value P (O) for each original image band is prepared in advance as a determination result by the representative value determining unit 30. It can be configured to operate in different cases.

（ケース１）
ケース１は、原画像帯域毎スペクトルパワー代表値がＮＵＬＬの場合（入力されない場合又は値がゼロの場合）である。この場合、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を生成する必要がある。ここで、原画像と縮小画像のスペクトルは、自己相似性があると仮定している。縮小画像Ｆをｎ階離散ウェーブレット分解して各帯域のスペクトルパワー代表値を求め（図５（ａ）参照）、そのまま水平・垂直方向に２倍した帯域のスペクトラムパワー値として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする（図５（ｂ）参照）。 (Case 1)
Case 1 is when the spectral power representative value for each original image band is NULL (when it is not input or when the value is zero). In this case, it is necessary to generate a spectral power representative value P (O) for each original image band. Here, it is assumed that the spectra of the original image and the reduced image have self-similarity. The reduced image F is subjected to n-th order discrete wavelet decomposition to obtain a representative value of spectral power in each band (see FIG. 5A), and the spectral power for each band of the original image as the spectral power value of the band doubled in the horizontal and vertical directions as it is. The representative value is P (O) (see FIG. 5B).

（ケース２）
ケース２は、原画像帯域毎スペクトルパワー代表値が入力され、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応している場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値を、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする。 (Case 2)
In case 2, the spectrum power representative value for each original image band is input, and the bandwidth having the spectrum power representative value for each original image band is passed through the reduced image spectrum and high frequency spectrum generation unit 20 obtained through the orthogonal transform unit 10. This is a case corresponding to the bandwidth of the obtained spatial high-frequency spectrum. In this case, the input spectral power representative value for each original image band is set as the spectral power representative value P (O) for each original image band.

（ケース３）
ケース３は、原画像帯域毎スペクトルパワー代表値が入力されるが、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応するように補間して、補間後の原画像帯域毎スペクトルパワー代表値を生成する。例えば、水平・垂直・斜め方向に最小二乗法による線形補間によって、入力される原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を補間して、補間後の原画像帯域毎スペクトルパワー代表値を算出することができる。図６に示すように、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）のうち水平方向の帯域の代表値を抽出して得られる帯域幅が（図６（ａ）参照）、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合に（尚、代表値が１つの帯域幅内に複数ある場合も対応していないと判断する）、最小二乗法による線形補間によって補間して新たな原画像帯域毎スペクトルパワー代表値を算出する例を示している（図６（ｂ）参照）。 (Case 3)
In case 3, the spectral power representative value for each original image band is input, and the reduced image spectrum and high frequency spectrum generating unit 20 obtained by the bandwidth having the spectral power representative value for each original image band obtained through the orthogonal transform unit 10 is used. Is not corresponding to the bandwidth of the spatial high-frequency spectrum obtained through the above. In this case, the input spectrum power representative value P (O) for each original image band corresponds to the reduced image spectrum obtained through the orthogonal transform unit 10 and the bandwidth of the spatial high frequency spectrum obtained through the high frequency spectrum generation unit 20. Thus, the spectral power representative value for each original image band after the interpolation is generated. For example, the input spectral power representative value P (O) for each original image band is interpolated by linear interpolation using the least square method in the horizontal, vertical, and diagonal directions, and the spectral power representative value for each original image band after interpolation is calculated. can do. As shown in FIG. 6, the bandwidth obtained by extracting the representative value of the horizontal band from the input spectral power representative value P (O) for each original image band is orthogonal (see FIG. 6 (a)). When it does not correspond to the bandwidth of the reduced image spectrum obtained through the conversion unit 10 and the spatial high-frequency spectrum obtained through the high-frequency spectrum generation unit 20 (this also corresponds to the case where there are a plurality of representative values within one bandwidth). FIG. 6B shows an example of calculating a new spectrum power representative value for each original image band by interpolation by linear interpolation using the least square method (see FIG. 6B).

次に、スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値（補間後の原画像帯域毎スペクトルパワー代表値に対応する）によって（図７（ａ）参照）、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し（図７（ｂ）参照）、補正後のパワー値からなるウェーブレット係数を得る（図７（ｃ）参照）。 Next, the spectral power correction unit 50 uses the original image band-specific spectral power correction value (corresponding to the inter-original image band-specific spectral power representative value) obtained from the original image band-specific spectral power determination unit 40 (FIG. 7). (See (a)), the reduced image spectrum and the spatial high-frequency spectrum are corrected (see FIG. 7B), and wavelet coefficients composed of corrected power values are obtained (see FIG. 7C).

例えば、図７に示すように、Ｆ＿ＬＨ^０帯域内で各要素のスペクトルパワー絶対平均値Ｐ（Ｆ＿ＬＨ^０）を算出し、該当帯域に相当する原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ＿ＬＨ^０）と同じになる倍率でＦ＿ＬＨ^０帯域内の全要素のウェーブレット分解係数に対して乗算を行うことで縮小画像スペクトル及び空間高周波スペクトルに対して補正し、同様の処理を全帯域に対して行う。 For example, as shown in FIG. 7, the spectrum power absolute average value P (F_LH ⁰ ) of each element in the F_LH ⁰ band is calculated, and the spectral power representative value P (O_LH ⁰ ) for each original image band corresponding to the corresponding band is calculated. The reduced image spectrum and the spatial high-frequency spectrum are corrected by multiplying the wavelet decomposition coefficients of all the elements in the F_LH ⁰ band at the same magnification, and the same processing is performed on the entire band.

最終的に、逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトル（スペクトルレベル補正後のｎ階離散ウェーブレット分解係数）に対して、ｎ階離散ウェーブレット逆変換を施し、当該縮小画像を拡大した超解像画像を生成する。 Finally, the inverse orthogonal transform unit 60 performs the nth-order discrete wavelet inverse transform on the reduced image spectrum and the spatial high-frequency spectrum (nth-order discrete wavelet decomposition coefficient after the spectrum level correction) corrected by the spectrum power correction unit 50. And a super-resolution image obtained by enlarging the reduced image is generated.

このように、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うため、単純超解像度処理で生じていた問題を解決し、原画像の復元に関して画質の改善を図ることができるようになる。 Thus, in the image super-resolution processing apparatus 1 of the present embodiment, the spectral power is controlled to perform the super-resolution processing on the reduced image, so that the problem that has occurred in the simple super-resolution processing is solved. The image quality can be improved with respect to the restoration of the original image.

また、上述の実施例では、各周波領域のパワーの算出のために、ウェーブレット変換を用いる例を説明したが、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換等を用いて各周波領域のパワーを算出することができる。ウェーブレット変換を用いる場合には、画像の周波数変化を高精度に捉えることができる点で優れており、離散コサイン変換を用いる場合には、既存のシステムが離散コサイン変換を用いている場合に装置構成が容易になる。 In the above-described embodiment, an example in which the wavelet transform is used to calculate the power of each frequency domain has been described. The power in the frequency domain can be calculated. When using the wavelet transform, it is superior in that it can capture the frequency change of the image with high accuracy. When using the discrete cosine transform, the device configuration is used when the existing system uses the discrete cosine transform. Becomes easier.

更に、本発明の一態様として、本発明の画像超解像処理装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の画像超解像処理装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。 Furthermore, as one aspect of the present invention, the image super-resolution processing apparatus of the present invention can be configured as a computer. A program for causing a computer to realize each component of the above-described image super-resolution processing apparatus of the present invention is stored in a storage unit provided inside or outside the computer. Such a storage unit can be realized by an external storage device such as an external hard disk or an internal storage device such as ROM or RAM. The control unit provided in the computer can be realized by controlling a central processing unit (CPU) or the like. In other words, the CPU can appropriately read from the storage unit a program in which the processing content for realizing the function of each component is described, and realize the function of each component on the computer. Here, the function of each component may be realized by a part of hardware.

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。 In addition, the program describing the processing contents can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM, and such a program can be distributed on a server on a network, for example. Can be distributed by transferring the program from the server to another computer via the network.

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。 In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In addition, the processing according to the received program may be executed sequentially.

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。 While the embodiments of the present invention have been described in detail with specific examples, it will be apparent to those skilled in the art that various modifications and changes can be made without departing from the scope of the claims of the present invention.

本発明によれば、原画像の復元に関して画質の改善を図ることができるようになるので、超解像処理を要する任意の用途に有用である。 According to the present invention, since the image quality can be improved with respect to the restoration of the original image, it is useful for any application requiring super-resolution processing.

１画像超解像処理装置
１０直交変換部
２０高周波スペクトル生成部
３０代表値判定部
４０原画像帯域毎スペクトルパワー決定部
５０スペクトルパワー補正部
６０逆直交変換部
DESCRIPTION OF SYMBOLS 1 Image super-resolution processing apparatus 10 Orthogonal transformation part 20 High frequency spectrum production | generation part 30 Representative value determination part 40 Spectral power determination part for every original image band 50 Spectral power correction part 60 Inverse orthogonal transformation part

Claims

An image super-resolution processing device for enlarging a reduced image that has been reduced in advance with respect to an original image,
An orthogonal transformation unit that inputs a reduced image that has been reduced in advance with respect to the original image, performs orthogonal transformation processing, and converts the reduced image into a reduced image spectrum of the reduced image bandwidth;
According to an enlargement factor for returning to the size of the original image, a spatial high-frequency spectrum having a bandwidth from a spatial sampling frequency of the reduced image to a spatial sampling frequency of the original image is estimated and generated from the reduced image spectrum. A high-frequency spectrum generator;
According to the enlargement magnification, representatives within the respective bandwidths of the reduced image spectrum and the spatial high-frequency spectrum with respect to the spectral power representative value for each original image band representing the spectral power representative value for each band of the original image determined in advance. A spectral power determining unit for each original image band that generates a spectral power correction value for each original image band,
A spectral power correction unit that corrects the reduced image spectrum and the spatial high-frequency spectrum according to the spectral power correction value for each original image band;
An inverse orthogonal transform unit that performs an inverse orthogonal transformation process on the corrected reduced image spectrum and spatial high-frequency spectrum, and generates an image obtained by enlarging the reduced image;
An image super-resolution processing apparatus comprising:

The image super-resolution processing apparatus according to claim 1, wherein the high-frequency spectrum generation unit performs estimation using wavelet transform.

The orthogonal transform unit is one of discrete Fourier transform, discrete cosine transform, discrete wavelet transform, and discrete wavelet packet transform as the orthogonal transform process,
The orthogonal transform unit is any one of an inverse discrete Fourier transform, an inverse discrete cosine transform, an inverse discrete wavelet transform, and an inverse discrete wavelet packet transform corresponding to the orthogonal transform process, as the inverse orthogonal transform process. The image super-resolution processing apparatus according to claim 1 or 2.

The original image band spectral power determination unit,
Means for performing octave decomposition on the reduced image and obtaining an average value of spectral power in each band as a spectral power representative value for each original image band in each band when a spectral power representative value for each original image band is not prepared in advance When,
When the spectrum power representative value for each original image band is prepared in advance, the bandwidth having the spectrum power representative value for each original image band corresponds to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum. The spectrum power representative value for each original image band in each band, when the bandwidth having the spectrum power representative value for each original image band does not correspond to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum Interpolates the spectral power representative value for each original image band prepared in advance so as to correspond to the bandwidth of the reduced image spectrum and the spatial high-frequency spectrum, and the spectral power representative value for each original image band in each band. Means to determine as
The image super-resolution processing apparatus according to claim 1, wherein the image super-resolution processing apparatus is provided.

In a computer configured as an image super-resolution processing device for enlarging a reduced image reduced in advance with respect to an original image,
Inputting a reduced image that has been reduced in advance with respect to the original image and performing orthogonal transformation processing to convert the reduced image into a reduced image spectrum of the reduced image bandwidth;
According to an enlargement factor for returning to the size of the original image, a spatial high-frequency spectrum having a bandwidth from a spatial sampling frequency of the reduced image to a spatial sampling frequency of the original image is estimated and generated from the reduced image spectrum. Steps,
According to the enlargement magnification, representatives within the respective bandwidths of the reduced image spectrum and the spatial high-frequency spectrum with respect to the spectral power representative value for each original image band representing the spectral power representative value for each band of the original image determined in advance. Correcting to become a value to generate a spectral power correction value for each original image band,
Correcting the reduced image spectrum and the spatial high-frequency spectrum by the spectral power correction value for each original image band; and
Performing an inverse orthogonal transform process on the corrected reduced image spectrum and spatial high-frequency spectrum, and generating an enlarged image of the reduced image;
A program for running