JP6703732B2 - Super-resolution device, super-resolution method, and program - Google Patents
Super-resolution device, super-resolution method, and program Download PDFInfo
- Publication number
- JP6703732B2 JP6703732B2 JP2015240324A JP2015240324A JP6703732B2 JP 6703732 B2 JP6703732 B2 JP 6703732B2 JP 2015240324 A JP2015240324 A JP 2015240324A JP 2015240324 A JP2015240324 A JP 2015240324A JP 6703732 B2 JP6703732 B2 JP 6703732B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- images
- super
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 19
- 238000011156 evaluation Methods 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000035772 mutation Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、入力画像の解像度を高めた出力画像を生成する超解像装置、超解像方法、およびプログラムに関する。 The present invention relates to a super-resolution device, a super-resolution method, and a program for generating an output image with an increased resolution of an input image.
デジタル画像のサイズを拡大し、解像度を向上させる超解像技術が知られている。特許文献１には、入力画像を線形補間によって拡大し、これに強調された高周波成分を加算することで出力画像を得る技術が開示されている。 A super-resolution technique is known that enlarges the size of a digital image and improves the resolution. Patent Document 1 discloses a technique for obtaining an output image by enlarging an input image by linear interpolation and adding the emphasized high-frequency component.
しかしながら、線形補間により入力画像を拡大する場合、拡大された画像には、入力画像に表れない細部の特徴を再現することはできない。特許文献１に開示された技術のように、線形補間により得られ得た画像に高周波成分を加算した場合、線形補間によりぼけたエッジを先鋭化することはできるが、入力画像に表れない細部の特徴を再現することはできない。
本発明の目的は、原画像に表れない細部の特徴を再現可能な超解像装置、超解像方法、およびプログラムを提供することにある。
However, when the input image is enlarged by linear interpolation, it is not possible to reproduce in the enlarged image the fine features that do not appear in the input image. When a high-frequency component is added to an image obtained by linear interpolation as in the technique disclosed in Patent Document 1, a blurred edge can be sharpened by linear interpolation, but details that do not appear in the input image can be obtained. The characteristics cannot be reproduced.
An object of the present invention is to provide a super-resolution device, a super-resolution method, and a program capable of reproducing details of features that do not appear in an original image.
本発明の第１の態様によれば、超解像装置は、原画像を複数の部分画像に分割する分割部と、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部と、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部と、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部と、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部と、前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部とを備える。 According to the first aspect of the present invention, the super-resolution device is configured to divide the original image into a plurality of partial images, and for each of the plurality of partial images , the partial image based on the partial image. larger and a candidate generator for generating a plurality of candidate images similar image is obtained as the partial image by reducing operation, each of the fractal dimensionality of the plurality of candidate images, and each of the fractal of the plurality of partial images and rank calculation unit that calculates a number of dimensions, for each of the plurality of candidate images, the fractal dimensionality of the candidate images, the difference in the number of fractal dimension of the corresponding partial image among the plurality of partial images is smaller An evaluation value calculation unit that calculates a fractal evaluation value indicating a relatively large value, and for each of the plurality of partial images , based on the fractal evaluation value, a partial super solution corresponding to the partial image from the plurality of candidate images. A determining unit that determines an image image and a combining unit that generates a super-resolution image by combining the plurality of partial super-resolution images are provided.
本発明の第２の態様によれば、第１の態様に係る超解像装置は、前記候補生成部が、前記部分画像を構成する画素のそれぞれを、平均明度が前記画素の明度と等しい所定の正方画素パターンに置換することで、前記複数の候補画像を生成する。 According to a second aspect of the present invention, in the super-resolution device according to the first aspect, the candidate generation unit determines that each of the pixels forming the partial image has a predetermined average brightness that is equal to the brightness of the pixel. To generate the plurality of candidate images.
本発明の第３の態様によれば、第１または第２の態様に係る超解像装置は、前記評価値算出部が、前記複数の候補画像ごとに、前記フラクタル評価値と他の評価値とを算出し、前記決定部が、前記複数の候補画像のうち、前記フラクタル評価値と前記他の評価値の和が最も大きいものを前記部分超解像画像に決定する。 According to a third aspect of the present invention, in the super-resolution device according to the first or second aspect, the evaluation value calculation unit causes the fractal evaluation value and other evaluation values for each of the plurality of candidate images. And the determination unit determines, as the partial super-resolution image, the one having the largest sum of the fractal evaluation value and the other evaluation value among the plurality of candidate images.
本発明の第４の態様によれば、第１から第３の何れかの態様に係る超解像装置は、前記次元数算出部が、前記部分画像または前記候補画像の明度のヒストグラムに基づいて画素数が一定数となる明度の範囲を特定し、特定した前記明度の範囲に含まれる画素と他の画素とで前記部分画像を二値化し、目の粗さが異なる複数の正方格子について、二値化された前記部分画像を前記正方格子で区切った場合に黒の画素が含まれる格子の数をカウントし、前記黒の画素が含まれる格子の数に基づいて、前記フラクタル次元数を算出する。 According to a fourth aspect of the present invention, in the super-resolution device according to any one of the first to third aspects, the dimension number calculation unit is based on a brightness histogram of the partial image or the candidate image. A range of lightness in which the number of pixels is a constant number is specified, the partial image is binarized with pixels and other pixels included in the specified range of lightness, and for a plurality of square lattices having different mesh roughness, When the binarized partial image is divided by the square lattice, the number of lattices including black pixels is counted, and the fractal dimension number is calculated based on the number of lattices including the black pixels. To do.
本発明の第５の態様によれば、超解像方法は、原画像を複数の部分画像に分割するステップと、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成するステップと、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出するステップと、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出するステップと、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定するステップと、前記複数の部分超解像画像を結合することで、超解像画像を生成するステップとを有する。 According to a fifth aspect of the present invention, a super-resolution method includes a step of dividing an original image into a plurality of partial images, and a step of dividing each of the plurality of partial images from the partial images based on the partial image. large and generating a plurality of candidate images similar image is obtained as the partial image by reducing operation, each of the fractal dimensionality of the plurality of candidate images, and each of the fractal dimensionality of the plurality of partial images calculating, for each of the plurality of candidate images, fractal showing the fractal dimensionality of the candidate images, the larger value as the difference between the fractal dimensionality is less of the corresponding partial image among the plurality of partial images Calculating an evaluation value; for each of the plurality of partial images , based on the fractal evaluation value, determining a partial super-resolution image corresponding to the partial image from the plurality of candidate images , Generating a super-resolution image by combining a plurality of partial super-resolution images .
本発明の第６の態様によれば、プログラムは、コンピュータを、原画像を複数の部分画像に分割する分割部、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部、前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部として機能させる。
According to a sixth aspect of the present invention, the program causes a computer to divide the original image into a plurality of partial images, and for each of the plurality of partial images , the partial image based on the partial image. large and candidate generator for generating a plurality of candidate images similar image is obtained as the partial image by reducing operation, each of the fractal dimensionality of the plurality of candidate images, and each number fractal dimension of the plurality of partial images dimensionality calculation unit for calculating a, for each of the plurality of candidate images, wherein the fractal dimensionality of the candidate image, corresponding the portion the fractal dimensionality of smaller the difference larger value of the image among the plurality of partial images An evaluation value calculation unit that calculates a fractal evaluation value indicating, for each of the plurality of partial images, a partial super-resolution image corresponding to the partial image is determined from the plurality of candidate images based on the fractal evaluation value. The determining unit that connects the plurality of partial super-resolution images functions as a combining unit that generates a super-resolution image .
上記態様のうち少なくとも１つの態様によれば、超解像装置は、原画像に近いフラクタル次元数を有する超解像画像を得ることができる。これにより、原画像に表れない細部の特徴が表れる超解像画像を得ることができる。 According to at least one of the above aspects, the super-resolution device can obtain a super-resolution image having a fractal dimension number close to that of the original image. As a result, it is possible to obtain a super-resolution image in which detailed features that do not appear in the original image appear.
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、一実施形態による超解像装置の構成を示す概略ブロック図である。
本実施形態に係る超解像装置１は、グレイスケールの入力画像の２倍の解像度を有する出力画像を生成する。なお、本明細書において「解像度をＸ倍にする」とは、画像の１辺当たりの画素数をＸ倍にすることをいう。つまり、解像度をＸ倍にすると、画素数はＸ２倍になる。超解像装置１は、画像入力部１０１、分割部１０２、候補生成部１０３、次元数算出部１０４、外部明度順位特定部１０５、内部明度順位特定部１０６、評価値算出部１０７、決定部１０８、結合部１０９を備える。
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 is a schematic block diagram showing the configuration of a super-resolution device according to an embodiment.
The super-resolution device 1 according to the present embodiment generates an output image having twice the resolution of the grayscale input image. In the present specification, “enhancing the resolution by X” means increasing the number of pixels per side of the image by X times. That is, when the resolution is increased by X times, the number of pixels becomes X 2 times. The super-resolution device 1 includes an image input unit 101, a dividing unit 102, a candidate generating unit 103, a dimension number calculating unit 104, an external lightness rank specifying unit 105, an internal lightness rank specifying unit 106, an evaluation value calculating unit 107, and a determining unit 108. , A coupling unit 109.
画像入力部１０１は、超解像処理の対象となる入力画像の入力を受け付ける。
分割部１０２は、画像入力部１０１に入力された入力画像を複数の部分画像に分割する。分割部１０２は、例えば入力画像をＰピクセル×Ｐピクセル（例えば、８×８）の部分画像に分割する。
候補生成部１０３は、分割部１０２が分割した部分画像それぞれについて、当該部分画像の各画素を、２ピクセル×２ピクセルの平方画素パターンに置換することで、部分画像の２倍のサイズ（すなわち、２Ｐピクセル×２Ｐピクセル）を有する候補画像を生成する。なお、候補画像は、部分画像と同じ解像度に縮小することで部分画像と同じ画像が得られる画像である。本実施形態において、部分画像は原画像の一例である。
The image input unit 101 receives an input of an input image that is a target of super-resolution processing.
The dividing unit 102 divides the input image input to the image input unit 101 into a plurality of partial images. The dividing unit 102 divides the input image into, for example, P pixel×P pixel (for example, 8×8) partial images.
For each partial image divided by the dividing unit 102, the candidate generating unit 103 replaces each pixel of the partial image with a square pixel pattern of 2 pixels×2 pixels, thereby doubling the size of the partial image (that is, A candidate image having 2P pixels×2P pixels) is generated. Note that the candidate image is an image in which the same image as the partial image can be obtained by reducing the resolution to the same resolution as the partial image. In the present embodiment, the partial image is an example of the original image.
次元数算出部１０４は、分割部１０２が生成した部分画像および候補生成部１０３が生成した候補画像のフラクタル次元数を算出する。本実施形態に係る次元数算出部１０４は、例えばボックスカウント法により、フラクタル次元数を算出する。具体的には、次元数算出部１０４は、以下の手順でフラクタル次元数を算出する。まず、次元数算出部１０４は、部分画像および候補画像の明度のヒストグラムを生成する。次に、次元数算出部１０４は、当該ヒストグラムに含まれる画素数をＱ等分（例えば、８等分）する明度の範囲を特定する。次に、次元数算出部１０４は、特定した範囲に含まれる画素と他の画素とで分割画素を二値化し、二値化画像を得る。例えば、次元数算出部１０４は、特定した範囲に含まれる画素を黒とし、他の画素を白とする二値化処理を行う。次に、次元数算出部１０４は、目の粗さが異なる複数の正方格子について、二値化画像をその正方格子で区切った場合に黒の画素が含まれる格子の数をカウントする。そして、次元数算出部１０４は、格子のサイズの対数と黒の画素が含まれる格子の数の対数との関係を一次関数で近似し、その傾きを、フラクタル次元数として特定する。つまり、次元数算出部１０４は、ヒストグラムをＱ等分する各範囲に係るフラクタル次元数を特定する。 The dimension number calculation unit 104 calculates the fractal dimension number of the partial image generated by the division unit 102 and the candidate image generated by the candidate generation unit 103. The dimension number calculation unit 104 according to the present embodiment calculates the fractal dimension number by, for example, the box count method. Specifically, the dimension number calculation unit 104 calculates the fractal dimension number in the following procedure. First, the dimension number calculation unit 104 generates a brightness histogram of the partial image and the candidate image. Next, the dimension number calculation unit 104 specifies a range of lightness that divides the number of pixels included in the histogram into Q equal parts (for example, 8 equal parts). Next, the dimension number calculation unit 104 binarizes the divided pixels by the pixels included in the specified range and other pixels to obtain a binarized image. For example, the dimension number calculation unit 104 performs binarization processing in which pixels included in the specified range are black and other pixels are white. Next, the dimension number calculation unit 104 counts the number of grids including black pixels when a binarized image is divided by the square grids for a plurality of square grids having different meshes. Then, the dimension number calculation unit 104 approximates the relationship between the logarithm of the size of the grid and the logarithm of the number of grids including black pixels by a linear function, and specifies the slope as the number of fractal dimensions. That is, the dimension number calculation unit 104 identifies the fractal dimension number related to each range that divides the histogram into Q equal parts.
外部明度順位特定部１０５は、部分画像を構成する各画素について、その画素に隣接する画素である隣接画素（左上隣接画素、右上隣接画素、左下隣接画素、および右下隣接画素）の平均明度の順位を特定する。左上隣接画素とは、対象画素の左、左上および上に隣接する画素をいう。右上隣接画素とは、対象画素の右、右上および上に隣接する画素をいう。左下隣接画素とは、対象画素の左、左下および下に隣接する画素をいう。右下隣接画素とは、対象画素の右、右下および下に隣接する画素をいう。
内部明度順位特定部１０６は、候補画像を構成する各平方画素パターンについて、その平方画素パターンを構成する４つの画素（左上画素、右上画素、左下画素、および右下画素）の明度の順位を特定する。
The external lightness rank identifying unit 105 determines, for each pixel forming the partial image, the average lightness of the adjacent pixels (upper left adjacent pixel, upper right adjacent pixel, lower left adjacent pixel, and lower right adjacent pixel) that are adjacent to the pixel. Identify the ranking. The upper left adjacent pixel is a pixel adjacent to the left, upper left and upper of the target pixel. The upper right adjacent pixel is a pixel adjacent to the right, upper right and upper sides of the target pixel. The lower left adjacent pixel means a pixel that is adjacent to the left, lower left, and lower of the target pixel. The lower right adjacent pixel means a pixel that is adjacent to the right, lower right, and lower of the target pixel.
The internal lightness rank identifying unit 106 identifies, for each square pixel pattern forming a candidate image, the lightness rank of four pixels (upper left pixel, upper right pixel, lower left pixel, and lower right pixel) forming the square pixel pattern. To do.
評価値算出部１０７は、フラクタル次元数に基づくフラクタル評価値と、隣接画素どうしの明度変化の滑らかさを評価するスムース評価値との加重和を求めることで、超解像評価値を算出する。フラクタル評価値は、部分画像と候補画像のフラクタル次元数の差が小さいほど大きい値を示す。スムース評価値は、外部明度順位特定部１０５が特定した順位と内部明度順位特定部１０６が特定した順位との差が小さいほど大きい値を表す。なお、フラクタル評価値およびスムース評価値は０以上１以下の値であり、大きいほど適性が高いことを示す。
決定部１０８は、評価値算出部１０７が算出した超解像評価値が最も大きい候補画像を、部分超解像画像に決定する。つまり、本実施形態において部分超解像画像は、超解像画像の一例である。
結合部１０９は、複数の部分画像それぞれに対応する部分超解像画像を結合することで、画像入力部１０１に入力された入力画像に対応する出力画像を生成する。
The evaluation value calculation unit 107 calculates the super-resolution evaluation value by obtaining the weighted sum of the fractal evaluation value based on the fractal dimension number and the smooth evaluation value for evaluating the smoothness of the brightness change between adjacent pixels. The fractal evaluation value shows a larger value as the difference in the fractal dimension number between the partial image and the candidate image is smaller. The smooth evaluation value represents a larger value as the difference between the rank specified by the external brightness rank specifying unit 105 and the rank specified by the internal brightness rank specifying unit 106 is smaller. The fractal evaluation value and the smooth evaluation value are values of 0 or more and 1 or less, and the larger the value, the higher the suitability.
The determination unit 108 determines the candidate image having the largest super-resolution evaluation value calculated by the evaluation value calculation unit 107 as the partial super-resolution image. That is, the partial super-resolution image in the present embodiment is an example of the super-resolution image.
The combining unit 109 combines the partial super-resolution images corresponding to each of the plurality of partial images to generate an output image corresponding to the input image input to the image input unit 101.
ここで、平方画素パターンについて説明する。
図２は、一実施形態に係る平方画素パターンの例を示す図である。
本実施形態に係る平方画素パターンは、部分画像の対応する画素に第１の明度Ｂ１を加算する画素ｐ＋Ｂ１、部分画像の対応する画素の明度に第２の明度Ｂ２を加算する画素ｐ＋Ｂ２、部分画像の対応する画素の明度に第１の明度Ｂ１を減算する画素ｐ−Ｂ１、および部分画像の対応する画素の明度に第２の明度Ｂ２を減算する画素ｐ−Ｂ２の４つの画素の組み合わせによって表される。そのため、平方画素パターンの各画素の平均値は、部分画像の対応する画素の明度と等しくなる。なお、第１の明度および第２の明度としては、例えば−２５以上２５以下の値が挙げられる。
本実施形態に係る平方画素パターンは、画素ｐ＋Ｂ１、画素ｐ＋Ｂ２、画素ｐ−Ｂ１、および画素ｐーＢ２の配置型として、６種類の画素の配置型を有する。第１の配置型は、図２（Ａ）に示すように、左上の画素が画素ｐ−Ｂ１、右上の画素が画素ｐ＋Ｂ１、左下の画素が画素ｐ＋Ｂ２、かつ右下の画素が画素ｐ−Ｂ２となる配置型である。第２の配置型は、図２（Ｂ）に示すように、左上の画素が画素ｐ＋Ｂ１、右上の画素が画素ｐ−Ｂ２、左下の画素が画素ｐ−Ｂ１、かつ右下の画素が画素ｐ＋Ｂ２となる配置型である。第３の配置型は、図２（Ｃ）に示すように、左上の画素が画素ｐ−Ｂ２、右上の画素が画素ｐ＋Ｂ２、左下の画素が画素ｐ＋Ｂ１、かつ右下の画素が画素ｐ−Ｂ１となる配置型である。第４の配置型は、図２（Ｄ）に示すように、左上の画素が画素ｐ＋Ｂ２、右上の画素が画素ｐ−Ｂ１、左下の画素が画素ｐ−Ｂ２、かつ右下の画素が画素ｐ＋Ｂ１となる配置型である。第５の配置型は、図２（Ｅ）に示すように、左上の画素が画素ｐ＋Ｂ２、右上の画素が画素ｐ＋Ｂ１、左下の画素が画素ｐ−Ｂ１、かつ右下の画素が画素ｐ−Ｂ２となる配置型である。第６の配置型は、図２（Ｆ）に示すように、左上の画素が画素ｐ＋Ｂ１、右上の画素が画素ｐ＋Ｂ２、左下の画素が画素ｐ−Ｂ２、かつ右下の画素が画素ｐ−Ｂ１となる配置型である。
したがって、平方画素パターンは、配置型、第１の明度、および第２の明度を格納するデータ構造で表現することができる。
Here, the square pixel pattern will be described.
FIG. 2 is a diagram illustrating an example of a square pixel pattern according to an embodiment.
The square pixel pattern according to the present embodiment has a pixel p +B1 for adding the first brightness B1 to the corresponding pixel of the partial image, a pixel p +B2 for adding the second brightness B2 to the brightness of the corresponding pixel of the partial image, the combination of the four pixels of the pixel p --B2 subtracting the second brightness B2 in the corresponding pixel lightness of the corresponding pixel p -B1, and partial image subtracting the first brightness B1 in brightness of the pixels of the partial image Represented by Therefore, the average value of each pixel of the square pixel pattern becomes equal to the brightness of the corresponding pixel of the partial image. It should be noted that examples of the first brightness and the second brightness include values of -25 or more and 25 or less.
Square pixel pattern according to the present embodiment, as an arrangement type of the pixel p + B1, the pixel p + B2, pixel p -B1, and pixel p over B2, with the arrangement type of six pixels. In the first arrangement type, as shown in FIG. 2A, the upper left pixel is pixel p- B1 , the upper right pixel is pixel p +B1 , the lower left pixel is pixel p +B2 , and the lower right pixel is pixel p. -B2 is an arrangement type. In the second arrangement type, as shown in FIG. 2B, the upper left pixel is the pixel p +B1 , the upper right pixel is the pixel p −B2 , the lower left pixel is the pixel p −B1 , and the lower right pixel is the pixel. The arrangement type is p +B2 . In the third arrangement type, as shown in FIG. 2C, the upper left pixel is the pixel p- B2 , the upper right pixel is the pixel p +B2 , the lower left pixel is the pixel p +B1 , and the lower right pixel is the pixel p. -B1 is an arrangement type. In the fourth arrangement type, as shown in FIG. 2D, the upper left pixel is the pixel p +B2 , the upper right pixel is the pixel p −B1 , the lower left pixel is the pixel p −B2 , and the lower right pixel is the pixel. The arrangement type is p +B1 . In the fifth arrangement type, as shown in FIG. 2E, the upper left pixel is pixel p +B2 , the upper right pixel is pixel p +B1 , the lower left pixel is pixel p −B1 , and the lower right pixel is pixel p. -B2 is an arrangement type. In the sixth arrangement type, as shown in FIG. 2F, the upper left pixel is pixel p +B1 , the upper right pixel is pixel p +B2 , the lower left pixel is pixel p− B2 , and the lower right pixel is pixel p. -B1 is an arrangement type.
Therefore, the square pixel pattern can be represented by a data structure that stores the arrangement type, the first brightness, and the second brightness.
次に、本実施形態による超解像装置１の動作について説明する。本実施形態では、超解像装置１が遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）に基づいて部分超解像画像を特定する例について説明する。なお、他の実施形態に係る超解像装置１は、遺伝的アルゴリズムに限られず、他の解探索手法を用いて部分超解像画像を特定してもよい。
図３は、一実施形態に係る超解像装置の動作を示す第１のフローチャートである。図４は、一実施形態に係る超解像装置の動作を示す第２のフローチャートである。
まず、利用者は、超解像処理の対象となる入力画像を超解像装置１に入力する。画像入力部１０１が入力画像の入力を受け付けると（ステップＳ１）、分割部１０２は、入力された入力画像を複数の部分画像に分割する（ステップＳ２）。
Next, the operation of the super-resolution device 1 according to the present embodiment will be described. In the present embodiment, an example will be described in which the super-resolution device 1 specifies a partial super-resolution image based on a genetic algorithm (GA). Note that the super-resolution device 1 according to another embodiment is not limited to the genetic algorithm and may specify a partial super-resolution image using another solution search method.
FIG. 3 is a first flowchart showing the operation of the super-resolution device according to the embodiment. FIG. 4 is a second flowchart showing the operation of the super-resolution device according to the embodiment.
First, the user inputs an input image to be the target of super-resolution processing to the super-resolution device 1. When the image input unit 101 receives an input of an input image (step S1), the dividing unit 102 divides the input image input into a plurality of partial images (step S2).
次に、超解像装置１は、分割部１０２が生成した部分画像を１つずつ選択し、選択した部分画像について以下に示すステップＳ４〜ステップＳ２１の処理を実行する（ステップＳ３）。
まず、次元数算出部１０４は、選択された部分画像のフラクタル次元数を、ヒストグラムをＱ等分する明度範囲ごとに算出する（ステップＳ４）。また、外部明度順位特定部１０５は、部分画像を構成する各画素について、隣接画素の平均明度の順位（外部明度順位）を特定する（ステップＳ５）。なお、外部明度順位は、０から３の整数により表される。次に、候補生成部１０３は、分割部１０２が生成した部分画像の各画素を、ランダムな平方画素パターンに置換することで、Ｎ個の候補画像を生成する（ステップＳ６）。ＮはＧＡの個体数であり、２以上の整数（例えば、１００）である。
Next, the super-resolution device 1 selects the partial images generated by the dividing unit 102 one by one, and executes the processes of steps S4 to S21 described below for the selected partial images (step S3).
First, the dimension number calculation unit 104 calculates the fractal dimension number of the selected partial image for each lightness range that divides the histogram into Q equal parts (step S4). Further, the external lightness rank identifying unit 105 identifies the rank of the average lightness of the adjacent pixels (external lightness rank) for each pixel forming the partial image (step S5). The external lightness rank is represented by an integer from 0 to 3. Next, the candidate generation unit 103 generates N candidate images by replacing each pixel of the partial image generated by the division unit 102 with a random square pixel pattern (step S6). N is the number of individuals of GA, and is an integer of 2 or more (for example, 100).
次に、次元数算出部１０４は、候補生成部１０３が生成した各候補画像のフラクタル次元数を、ヒストグラムをＱ等分する明度範囲ごとに算出する（ステップＳ７）。また、内部明度順位特定部１０６は、各候補画像を構成する各平方画素パターンについて、画素の明度の順位（内部明度順位）を特定する（ステップＳ８）。なお、内部明度順位は、０から３の整数により表される。次に、評価値算出部１０７は、次元数算出部１０４が算出した部分画像のフラクタル次元数と、候補画像のフラクタル次元数とに基づいて、フラクタル評価値を算出する（ステップＳ９）。具体的には、評価値算出部１０７は、次に示す式（１）に従ってフラクタル評価値ｆＤを算出する。 Next, the dimension number calculation unit 104 calculates the fractal dimension number of each candidate image generated by the candidate generation unit 103 for each lightness range that divides the histogram into Q equal parts (step S7). Further, the internal brightness rank identifying unit 106 identifies the rank of the brightness of pixels (internal brightness rank) for each square pixel pattern forming each candidate image (step S8). The internal lightness rank is represented by an integer from 0 to 3. Next, the evaluation value calculation unit 107 calculates a fractal evaluation value based on the fractal dimension number of the partial image calculated by the dimension number calculation unit 104 and the fractal dimension number of the candidate image (step S9). Specifically, the evaluation value calculation unit 107 calculates the fractal evaluation value f D according to the following equation (1).
変数Ｄｋ ｉｎは、部分画像のｋ番目の明度範囲に係るフラクタル次元数である。変数Ｄｋ ｏｕｔは、候補画像のｋ番目の明度範囲に係るフラクタル次元数である。 The variable D k in is the fractal dimension number related to the kth lightness range of the partial image. The variable D k out is the fractal dimension number related to the kth lightness range of the candidate image.
次に、評価値算出部１０７は、外部明度順位特定部１０５が特定した外部明度順位と、内部明度順位特定部１０６が特定した内部明度順位とに基づいて、スムース評価値を算出する（ステップＳ１０）。具体的には、評価値算出部１０７は、次に示す式（２）に従ってスムース評価値ｆＳを算出する。 Next, the evaluation value calculation unit 107 calculates a smooth evaluation value based on the external brightness rank specified by the external brightness rank specifying unit 105 and the internal brightness rank specified by the internal brightness rank specifying unit 106 (step S10). ). Specifically, the evaluation value calculation unit 107 calculates the smooth evaluation value f S according to the following equation (2).
変数Ｒｍｎ ｉｎは、部分画像のあるｍ番目の画素の第ｎ方向の隣接画素の平均明度の順位である。なお、第０方向は左上、第１方向は右上、第２方向は左下、第３方向は右下を示す。変数Ｒｍｎ ｏｕｔは、候補画像のｍ番目の平方画素パターンの第ｎ方向の画素の明度の順位である。 The variable R mn in is the rank of the average brightness of the pixel adjacent to the m-th pixel in the partial image in the n-th direction. Note that the 0th direction indicates upper left, the first direction indicates upper right, the second direction indicates lower left, and the third direction indicates lower right. The variable R mn out is the rank of the brightness of the pixel in the n-th direction of the m-th square pixel pattern of the candidate image.
次に、評価値算出部１０７は、フラクタル評価値とスムース評価値の加重和を、超解像評価値として算出する（ステップＳ１１）。フラクタル評価値の重みとスムース評価値の重みは、いずれも０以上１以下であって、その和が１となる値である。 Next, the evaluation value calculation unit 107 calculates a weighted sum of the fractal evaluation value and the smooth evaluation value as a super-resolution evaluation value (step S11). The weight of the fractal evaluation value and the weight of the smooth evaluation value are both 0 or more and 1 or less, and their sum is 1.
次に、候補生成部１０３は、上記のステップＳ７からステップＳ１１の処理を、Ｍ回繰り返し実行したか否かを判定する（ステップＳ１２）。ＭはＧＡの世代数であり、２以上の整数（例えば、２００００）である。 Next, the candidate generation unit 103 determines whether or not the processes of steps S7 to S11 have been repeated M times (step S12). M is the number of generations of GA, and is an integer of 2 or more (for example, 20000).
ステップＳ７からステップＳ１１の処理の繰り返し回数がＭ回に満たない場合（ステップＳ１２：ＮＯ）、候補生成部１０３は、以下のステップＳ１４からステップＳ１９の処理をＮ回繰り返し実行することで、次の世代の候補画像をＮ個生成する（ステップＳ１３）。
まず、候補生成部１０３は、選択、交叉、突然変異の何れの操作により次の世代の候補画像を生成するかを、ランダムに決定する（ステップＳ１４）。
When the number of repetitions of the processing of steps S7 to S11 is less than M (step S12: NO), the candidate generation unit 103 repeatedly executes the processing of the following steps S14 to S19 N times, thereby N generational candidate images are generated (step S13).
First, the candidate generation unit 103 randomly determines which operation of selection, crossover, and mutation to generate a candidate image of the next generation (step S14).
候補生成部１０３は、交叉操作を行うことを決定した場合（ステップＳ１４：交叉）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに２つの候補画像を選択する（ステップＳ１５）。次に、候補生成部１０３は、選択した２つの候補画像の任意の範囲の平方画素パターンを入れ替えることにより、新たな候補画像を生成する（ステップＳ１６）。 When the candidate generation unit 103 determines to perform the crossover operation (step S14: crossover), the super-resolution evaluation value is selected from the plurality of candidate images for which the evaluation-value calculation unit 107 has calculated the super-resolution evaluation value. Two candidate images are randomly selected with a weight corresponding to (step S15). Next, the candidate generation unit 103 generates a new candidate image by exchanging square pixel patterns in an arbitrary range of the two selected candidate images (step S16).
また、候補生成部１０３は、ステップＳ１４で突然変異操作を行うことを決定した場合（ステップＳ１４：突然変異）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに１つの候補画像を選択する（ステップＳ１７）。次に、候補生成部１０３は、選択した候補画像の任意の範囲の平方画素パターンを、ランダムに変更することで、新たな候補画像を生成する（ステップＳ１８）。 Further, when the candidate generation unit 103 determines to perform the mutation operation in step S14 (step S14: mutation), the evaluation value calculation unit 107 selects from among the plurality of candidate images for which the super-resolution evaluation value has been calculated. , One candidate image is randomly selected by the weight corresponding to the super-resolution evaluation value (step S17). Next, the candidate generation unit 103 generates a new candidate image by randomly changing the square pixel pattern in an arbitrary range of the selected candidate image (step S18).
また、候補生成部１０３は、ステップＳ１４で選択操作を行うことを決定した場合（ステップＳ１４：選択）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに１つの候補画像を次の世代の候補画像として抽出する（ステップＳ１９）。 Further, when the candidate generation unit 103 determines to perform the selection operation in step S14 (step S14: selection), the evaluation value calculation unit 107 selects from among the plurality of candidate images for which the super-resolution evaluation value has been calculated. One candidate image is randomly extracted as a candidate image for the next generation by weighting according to the super-resolution evaluation value (step S19).
上述したステップＳ１３〜ステップＳ１９の処理により、候補生成部１０３がＮ個の候補画像を生成すると、超解像装置１は処理をステップＳ７に戻し、生成された各候補画像の超解像評価値を算出する。 When the candidate generation unit 103 generates N candidate images by the processing of steps S13 to S19 described above, the super-resolution device 1 returns the processing to step S7, and the super-resolution evaluation value of each generated candidate image. To calculate.
他方、ステップＳ７からステップＳ１２の処理の繰り返し回数がＭ回に達した場合、決定部１０８は、候補生成部１０３が生成した候補画像のうち、評価値算出部１０７が算出した超解像評価値が最も大きいものを、ステップＳ３で選択された部分画像に対応する部分超解像画像に決定する（ステップＳ２０）。
決定部１０８が全ての部分画像について対応する部分超解像画像を決定すると、結合部１０９は、複数の部分超解像画像を結合することで、入力画像に対応する出力画像を生成する（ステップＳ２１）。
On the other hand, when the number of repetitions of the processing from step S7 to step S12 reaches M times, the determination unit 108 determines, among the candidate images generated by the candidate generation unit 103, the super-resolution evaluation value calculated by the evaluation value calculation unit 107. Is determined as the partial super-resolution image corresponding to the partial image selected in step S3 (step S20).
When the determining unit 108 determines the corresponding partial super-resolution images for all partial images, the combining unit 109 combines a plurality of partial super-resolution images to generate an output image corresponding to the input image (step S21).
このように、本実施形態に係る超解像装置１は、入力画像に近いフラクタル次元数を有する出力画像を得ることができる。これにより、超解像装置１は、入力画像に表れない細部の特徴が表れる出力画像を得ることができる。 As described above, the super-resolution device 1 according to the present embodiment can obtain an output image having a fractal dimension number close to that of the input image. As a result, the super-resolution device 1 can obtain an output image in which detailed features that do not appear in the input image appear.
ここで、入力画像と出力画像のフラクタル次元数が近いことにより、出力画像に入力画像に表れない細部の特徴が表れる理由について説明する。自然物の形状には、自己相似性を有するものがあることが知られている。つまり、自然物によっては、その一部分の形状が全体の形状と略相似の関係にある場合がある。このような場合に、その自然物のフラクタル次元数は、拡大倍率に依存しない。したがって、超解像装置１は、入力画像と近いフラクタル次元数を有する出力画像を生成することで、解像度の小ささから入力画像に表れない細部の特徴が表れる出力画像を得ることができる。 Here, the reason why the output image has features of details not appearing in the input image because the fractal dimension numbers of the input image and the output image are close to each other will be described. It is known that some natural objects have self-similarity. That is, depending on the natural object, the shape of a part of the natural object may be in a relationship similar to the shape of the entire object. In such a case, the fractal dimension number of the natural object does not depend on the magnification. Therefore, the super-resolution device 1 can obtain an output image having a detailed feature that does not appear in the input image due to the small resolution by generating an output image having a fractal dimension number close to that of the input image.
ここで、本実施形態に係る超解像装置１により生成される画像の例を示す。
図５は、一実施形態に係る超解像処理の例を示す図である。
本実施例では、図５（Ａ）に示すように、入力画像として６４ピクセル×６４ピクセルの、グレイスケール２５６階調の画像を用いた。また、本実施例では、フラクタル次元数の計算対象となる明度の範囲を、ヒストグラムに含まれる画素数を８等分する明度の範囲とした。また、候補生成部１０３がＧＡの１世代に生成する候補画像の数Ｎを１００とし、繰り返し世代数Ｍを２００００とした。また、候補生成部１０３によるＧＡの交叉率を０．８、突然変異率は０．０３とした。また、超解像評価値の算出に用いるフラクタル評価値の重さを０．６とし、スムース評価値の重さを０．４とした。
これらの条件により超解像装置１が生成した出力画像を、図５（Ｂ）に示す。また、従来の超解像手法である線形補間処理（バイリニア法）により生成した拡大画像を、図５（Ｃ）に示す。図５（Ｃ）に示すように、バイリニア法で生成された拡大画像は、細部の特徴が写っておらず、ぼやけた画像となっている。これに対し、本実施形態に係る超解像装置１が生成した出力画像は、図５（Ｂ）に示すように、入力画像に写らない細部の特徴が表れ、またエッジが明瞭に表れている。
このように、本実施形態に係る超解像装置１は、解像度の小ささから入力画像に表れない細部の特徴が表れる出力画像を得ることができる。
Here, an example of an image generated by the super-resolution device 1 according to the present embodiment will be shown.
FIG. 5 is a diagram illustrating an example of super-resolution processing according to an embodiment.
In this example, as shown in FIG. 5A, an image of 64 pixels×64 pixels with a gray scale of 256 gradations was used as the input image. Further, in the present embodiment, the range of lightness for which the fractal dimension number is calculated is the range of lightness that divides the number of pixels included in the histogram into eight equal parts. Further, the number N of candidate images generated by the candidate generation unit 103 in one generation of GA is 100, and the number M of repeated generations is 20000. Further, the GA crossover rate by the candidate generating unit 103 was set to 0.8, and the mutation rate was set to 0.03. Further, the weight of the fractal evaluation value used for calculating the super-resolution evaluation value was set to 0.6, and the weight of the smooth evaluation value was set to 0.4.
An output image generated by the super-resolution device 1 under these conditions is shown in FIG. An enlarged image generated by linear interpolation processing (bilinear method) which is a conventional super-resolution method is shown in FIG. As shown in FIG. 5(C), the enlarged image generated by the bilinear method is a blurred image in which the detailed features are not reflected. On the other hand, in the output image generated by the super-resolution device 1 according to the present embodiment, as shown in FIG. 5(B), the detailed features that are not reflected in the input image appear, and the edges appear clearly. ..
As described above, the super-resolution device 1 according to the present embodiment can obtain an output image in which detailed features that do not appear in the input image appear due to the small resolution.
また、本実施形態によれば、超解像装置１は、部分画像を構成する画素のそれぞれを、平均明度が画素の明度と等しい正方画素パターンに置換することで、候補画像を生成する。これにより、超解像装置１は、少ない計算量で候補画像を生成することができる。 Further, according to the present embodiment, the super-resolution device 1 generates a candidate image by replacing each of the pixels forming the partial image with a square pixel pattern whose average brightness is equal to the brightness of the pixel. Thereby, the super-resolution device 1 can generate a candidate image with a small amount of calculation.
また、本実施形態によれば、超解像装置１は、候補画像のうちフラクタル評価値とスムース評価値の荷重和が最も大きいものを部分超解像画像に決定する。これにより、超解像装置１は、細部の特徴が表れ、かつ正方画素パターン間に生じるエッジが小さいスムースな画像を、部分超解像画像に決定することができる。 Further, according to the present embodiment, the super-resolution device 1 determines, as the partial super-resolution image, the candidate image having the largest weighted sum of the fractal evaluation value and the smooth evaluation value. As a result, the super-resolution device 1 can determine a smooth image in which a detailed feature appears and a small edge between square pixel patterns is small as a partial super-resolution image.
また、本実施形態によれば、超解像装置１は、画像のヒストグラムに基づいて、画素数が一定数となる明度の範囲を特定し、明度が所定の範囲内に存在する画素の数に基づいてフラクタル次元数を算出する。これにより、超解像装置１は、画像のコントラストによらず図形を構成する画素を適切に特定することができる。そのため、超解像装置１は、ボックスカウント法により適切にフラクタル次元数を算出することができる。 Further, according to the present embodiment, the super-resolution device 1 specifies the range of lightness in which the number of pixels is a constant number based on the histogram of the image, and determines the number of pixels in which the lightness exists within the predetermined range. Based on this, the fractal dimension number is calculated. With this, the super-resolution device 1 can appropriately identify the pixels forming the figure regardless of the contrast of the image. Therefore, the super-resolution device 1 can appropriately calculate the fractal dimension number by the box count method.
また、上述した実施形態によれば、超解像装置１は、入力画像を複数の部分画像に分割し、複数の部分画像を部分超解像画像に変換し、これらを結合することで、出力画像を得る。これにより、超解像装置１は、入力画像にフラクタル次元数の異なる複数の物体が写っている場合にも、それぞれのフラクタル次元数に基づいて適切に超解像処理を施すことができる。 Further, according to the above-described embodiment, the super-resolution device 1 divides the input image into a plurality of partial images, converts the plurality of partial images into partial super-resolution images, and combines them to output. Get the image. Accordingly, the super-resolution device 1 can appropriately perform the super-resolution processing based on the respective fractal dimension numbers even when a plurality of objects having different fractal dimension numbers appear in the input image.
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態によれば、超解像装置１は、部分画像を構成する画素のそれぞれを、平均明度が画素の明度と等しい正方画素パターンに置換することで、候補画像を生成するが、これに限られない。例えば、他の実施形態において、解像度をＳ／Ｔ倍に拡大する場合、超解像装置１は、部分画像を構成するＴピクセル×Ｔピクセルの画素群を、平均明度が対応する画素群の平均明度と等しいＳピクセル×Ｓピクセルの正方画素パターンに置換してもよい。また、他の実施形態において超解像装置１は、正方画素パターンへの置換以外の方法により候補画像を生成してもよい。
Although one embodiment has been described in detail above with reference to the drawings, the specific configuration is not limited to the above, and various design changes and the like can be made.
For example, according to the above-described embodiment, the super-resolution device 1 generates a candidate image by replacing each of the pixels forming the partial image with a square pixel pattern whose average brightness is equal to the brightness of the pixel. , But not limited to this. For example, in another embodiment, when enlarging the resolution to S/T times, the super-resolution device 1 calculates the pixel groups of T pixels×T pixels forming the partial image as the average of the pixel groups corresponding to the average brightness. It may be replaced with a square pixel pattern of S pixels×S pixels having the same brightness. In another embodiment, the super-resolution device 1 may generate the candidate image by a method other than the replacement with the square pixel pattern.
また、上述した実施形態によれば、超解像装置１は、候補画像のうちフラクタル評価値とスムース評価値の荷重和が最も大きいものを部分超解像画像に決定するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、フラクタル評価値のみに基づいて部分超解像画像を決定してもよい。また、他の実施形態に係る超解像装置１は、フラクタル評価値に加え、スムース評価値でない他の評価値に基づいて部分超解像画像を決定してもよい。
他の評価値の例としては、部分画像が人物を含む場合に画像に写る物体の人物らしさを評価する評価値が挙げられる。具体的には、予め人物の部分が写った画像を複数用意しておき、これらとの類似度のうち最も高い物を、評価値として用いてもよい。
また、他の評価値の例としては、部分画像がエッジ上の点である場合に部分超解像画像にそのエッジが保存されているか否かを評価する評価値が挙げられる。具体的には、部分画像からエッジ成分を抽出し、部分超解像画像のうち抽出したエッジ成分に相当する部分のコントラストの強さを、評価値として用いてもよい。
また、他の評価値の例としては、部分画像の細部に、自己相似性を有する構造が表れているか否かを評価する評価値が挙げられる。具体的には、入力画像において解像度が小さいために細部の構造が写らない範囲（例えば、２ピクセル×２ピクセルの範囲）に対応する部分画像の範囲と、入力画像に写る自己相似性を有する構造との類似度を、評価値として用いてもよい。
Further, according to the above-described embodiment, the super-resolution device 1 determines, as the partial super-resolution image, the one having the largest weight sum of the fractal evaluation value and the smooth evaluation value among the candidate images, but is not limited to this. Absent. For example, the super-resolution device 1 according to another embodiment may determine the partial super-resolution image based on only the fractal evaluation value. In addition, the super-resolution device 1 according to another embodiment may determine the partial super-resolution image based on the fractal evaluation value and other evaluation values that are not smooth evaluation values.
An example of another evaluation value is an evaluation value that evaluates the person-likeness of an object shown in an image when a partial image includes a person. Specifically, a plurality of images in which a person's part is captured may be prepared in advance, and the one having the highest degree of similarity with these may be used as the evaluation value.
Further, as another example of the evaluation value, there is an evaluation value for evaluating whether or not the edge is stored in the partial super-resolution image when the partial image is a point on the edge. Specifically, the edge component may be extracted from the partial image, and the contrast strength of the portion corresponding to the extracted edge component in the partial super-resolution image may be used as the evaluation value.
Further, as another example of the evaluation value, there is an evaluation value for evaluating whether or not a structure having self-similarity appears in the details of the partial image. Specifically, a structure having a partial image range corresponding to a range (for example, a range of 2 pixels×2 pixels) in which a detailed structure is not captured due to a small resolution in the input image and a self-similarity captured in the input image The degree of similarity with may be used as the evaluation value.
また、上述した実施形態によれば、超解像装置１は、ボックスカウント法に基づいてフラクタル次元数を算出するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、フラクタル次元としてハウスドルフ次元、レニー次元、パッキング次元、または相関次元を算出してもよい。 Further, according to the above-described embodiment, the super-resolution device 1 calculates the fractal dimension number based on the box count method, but the invention is not limited to this. For example, the super-resolution device 1 according to another embodiment may calculate the Hausdorff dimension, the Lenny dimension, the packing dimension, or the correlation dimension as the fractal dimension.
また、上述した実施形態によれば、超解像装置１は、入力画像を複数の部分画像に分割し、複数の部分画像を部分超解像画像に変換し、これらを結合することで、出力画像を得るが、これに限られない。例えば、他の実施形態に係る超解像装置１は、入力画像を拡大した候補画像を生成し、入力画像と同じフラクタル次元数を有する出力画像を直接生成してもよい。 Further, according to the above-described embodiment, the super-resolution device 1 divides the input image into a plurality of partial images, converts the plurality of partial images into partial super-resolution images, and combines them to output. Get an image, but not limited to this. For example, the super-resolution device 1 according to another embodiment may generate a candidate image obtained by enlarging an input image and directly generate an output image having the same fractal dimension number as the input image.
また、上述した実施形態によれば、超解像装置１は、入力画像をＰピクセル×Ｐピクセルの部分画像に分割するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、パターン認識により認識された物体ごとに画像を分割してもよい。この場合、分割部１０２は、物体ごとのフラクタル次元数に基づいて超解像を行うことができる。 Further, according to the above-described embodiment, the super-resolution device 1 divides the input image into partial images of P pixels×P pixels, but is not limited to this. For example, the super-resolution device 1 according to another embodiment may divide an image for each object recognized by pattern recognition. In this case, the dividing unit 102 can perform super-resolution based on the fractal dimension number of each object.
また、上述した実施形態によれば、超解像装置１は、グレイスケールの画像を超解像処理したが、これに限られない。例えば、他の実施形態に係る超解像装置１は、カラー画像を超解像処理してもよい。この場合、超解像装置１は、ＲＧＢ空間の赤成分、緑成分、および青成分のそれぞれの明度、ＨＳＶ空間の明度、またはＹＵＶ空間の輝度に基づいてフラクタル次元数を算出する。また、この場合、超解像装置１は、拡大後の画素分布の平均色が入力画像の対象画素の色と等しくなるように候補画像を生成する。このとき、超解像装置１は、ＨＳＶ空間またはＹＵＶ空間など、色彩と明るさとが別に定義された体系に基づいて候補画像を生成することが好ましい。 Further, according to the above-described embodiment, the super-resolution device 1 performs super-resolution processing on a grayscale image, but the present invention is not limited to this. For example, the super-resolution device 1 according to another embodiment may perform super-resolution processing on a color image. In this case, the super-resolution device 1 calculates the fractal dimension number based on the brightness of each of the red component, the green component, and the blue component of the RGB space, the brightness of the HSV space, or the brightness of the YUV space. Further, in this case, the super-resolution device 1 generates a candidate image such that the average color of the pixel distribution after expansion becomes equal to the color of the target pixel of the input image. At this time, it is preferable that the super-resolution device 1 generate the candidate image based on a system such as HSV space or YUV space in which color and brightness are defined separately.
図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の超解像装置１は、コンピュータ９に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。
FIG. 6 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
The computer 9 includes a CPU 901, a main storage device 902, an auxiliary storage device 903, and an interface 904.
The super-resolution device 1 described above is implemented in the computer 9. The operation of each processing unit described above is stored in the auxiliary storage device 903 in the form of a program. The CPU 901 reads out the program from the auxiliary storage device 903, expands it in the main storage device 902, and executes the above processing in accordance with the program.
なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９に配信される場合、配信を受けたコンピュータ９が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。 Note that in at least one embodiment, the auxiliary storage device 903 is an example of a non-transitory tangible medium. Other examples of non-transitory tangible media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, etc., connected via an interface 904. Further, when this program is distributed to the computer 9 via a communication line, the computer 9 that has received the distribution may expand the program in the main storage device 902 and execute the above processing.
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the program may be for realizing some of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 903.
１ 超解像装置
１０１ 画像入力部
１０２ 分割部
１０３ 候補生成部
１０４ 次元数算出部
１０５ 外部明度順位特定部
１０６ 内部明度順位特定部
１０７ 評価値算出部
１０８ 決定部
１０９ 結合部
1 Super-Resolution Device 101 Image Input Unit 102 Dividing Unit 103 Candidate Generating Unit 104 Dimensional Number Calculation Unit 105 External Lightness Rank Specifying Unit 106 Internal Lightness Rank Specifying Unit 107 Evaluation Value Calculation Unit 108 Deciding Unit 109 Coupling Unit
Claims (6)
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部と、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部と、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部と、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部と、
前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部と
を備える超解像装置。 A division unit that divides the original image into multiple partial images,
For each of the plurality of partial images, and the portion based on the image, the larger than the partial image, and the candidate generation unit for generating a plurality of candidate images similar image is obtained as the partial image by reducing operation,
A fractal dimension number of each of the plurality of candidate images, and a dimension number calculation unit that calculates each fractal dimension number of the plurality of partial images,
For each of the plurality of candidate images, calculates said a fractal dimensionality of candidate images, fractal evaluation value indicating the larger value as the difference between the fractal dimensionality is less of the corresponding partial image among the plurality of partial images An evaluation value calculation unit,
For each of the plurality of partial images , based on the fractal evaluation value, a determining unit that determines a partial super-resolution image corresponding to the partial image from the plurality of candidate images ,
A super-resolution device comprising: a combining unit that generates a super-resolution image by combining the plurality of partial super-resolution images .
前記決定部が、前記複数の候補画像のうち、前記フラクタル評価値と前記他の評価値の和が最も大きいものを前記部分超解像画像に決定する
請求項１または請求項２に記載の超解像装置。 The evaluation value calculation unit, for each of the plurality of candidate images, calculates the fractal evaluation value and another evaluation value,
The superdetermination according to claim 1 or 2, wherein the determination unit determines, as the partial super-resolution image, the one having the largest sum of the fractal evaluation value and the other evaluation value among the plurality of candidate images. Resolution device.
前記部分画像または前記候補画像の明度のヒストグラムに基づいて画素数が一定数となる明度の範囲を特定し、
特定した前記明度の範囲に含まれる画素と他の画素とで前記部分画像を二値化し、
目の粗さが異なる複数の正方格子について、二値化された前記部分画像を前記正方格子で区切った場合に黒の画素が含まれる格子の数をカウントし、
前記黒の画素が含まれる格子の数に基づいて、前記フラクタル次元数を算出する
請求項１から請求項３の何れか１項に記載の超解像装置。 The dimension number calculation unit,
Based on the brightness histogram of the partial image or the candidate image, the range of brightness where the number of pixels is a constant number is specified,
Binarize the partial image with pixels and other pixels included in the specified brightness range,
For a plurality of square lattices having different meshes, counting the number of lattices including black pixels when the binarized partial image is divided by the square lattice,
The fractal dimension number is calculated based on the number of grids including the black pixels.
The super-resolution device according to any one of claims 1 to 3 .
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成するステップと、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出するステップと、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出するステップと、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定するステップと、
前記複数の部分超解像画像を結合することで、超解像画像を生成するステップと
を有する超解像方法。 Splitting the original image into multiple partial images,
For each of the plurality of partial images , based on the partial image, generating a plurality of candidate images that are larger than the partial image and obtain the same image as the partial image by a reduction operation,
Calculating each fractal dimension number of the plurality of candidate images and each fractal dimension number of the plurality of partial images;
For each of the plurality of candidate images, calculates said a fractal dimensionality of candidate images, fractal evaluation value indicating the larger value as the difference between the fractal dimensionality is less of the corresponding partial image among the plurality of partial images Steps,
For each of the plurality of partial images , based on the fractal evaluation value, determining a partial super-resolution image corresponding to the partial image from the plurality of candidate images ,
Generating a super-resolution image by combining the plurality of partial super-resolution images .
原画像を複数の部分画像に分割する分割部、
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部、
前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部
として機能させるためのプログラム。 Computer,
A division unit that divides the original image into multiple partial images,
Wherein for each of the plurality of partial images, based on the partial image, the larger than the partial image, and the candidate generation unit for generating a plurality of candidate images similar image is obtained as the partial image by reducing operation,
A fractal dimension number of each of the plurality of candidate images, and a dimension number calculation unit that calculates each fractal dimension number of the plurality of partial images,
For each of the plurality of candidate images, calculates said a fractal dimensionality of candidate images, fractal evaluation value indicating the larger value as the difference between the fractal dimensionality is less of the corresponding partial image among the plurality of partial images Evaluation value calculation unit,
For each of the plurality of partial images , based on the fractal evaluation value, a determination unit that determines a partial super-resolution image corresponding to the partial image from the plurality of candidate images ,
A program that functions as a combining unit that generates a super-resolution image by combining the plurality of partial super-resolution images .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015240324A JP6703732B2 (en) | 2015-12-09 | 2015-12-09 | Super-resolution device, super-resolution method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015240324A JP6703732B2 (en) | 2015-12-09 | 2015-12-09 | Super-resolution device, super-resolution method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017107378A JP2017107378A (en) | 2017-06-15 |
| JP6703732B2 true JP6703732B2 (en) | 2020-06-03 |
Family
ID=59060729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015240324A Expired - Fee Related JP6703732B2 (en) | 2015-12-09 | 2015-12-09 | Super-resolution device, super-resolution method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6703732B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007252892A (en) * | 2006-02-23 | 2007-10-04 | Masahiro Nakagawa | Estimation method of evaluation value by visual recognition of three-dimensional shape of skin surface |
| JP2013021623A (en) * | 2011-07-14 | 2013-01-31 | Jvc Kenwood Corp | Image resolution conversion method, and image resolution conversion device |
| JP5923889B2 (en) * | 2011-07-29 | 2016-05-25 | 株式会社島津製作所 | Trabecular bone analyzer |
| JP6174903B2 (en) * | 2013-05-14 | 2017-08-02 | 日本放送協会 | Spatial / gradation super-resolution device and program |
-
2015
- 2015-12-09 JP JP2015240324A patent/JP6703732B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017107378A (en) | 2017-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455712B2 (en) | Method and apparatus for enhancing stereo vision | |
| JP3740065B2 (en) | Object extraction device and method based on region feature value matching of region-divided video | |
| JP4795359B2 (en) | Image segmentation | |
| CN106485668A (en) | Mthods, systems and devices for overexposure correction | |
| Wu et al. | Reversible data hiding with image contrast enhancement based on two-dimensional histogram modification | |
| US20120251003A1 (en) | Image processing system and method | |
| JP2010211639A (en) | Image processing method, image processor and program | |
| CN110781740B (en) | Video image quality identification method, system and equipment | |
| CN111179173B (en) | Image splicing method based on discrete wavelet transform and gradient fusion algorithm | |
| JP2007047975A (en) | Method and device for detecting multiple objects of digital image, and program | |
| JP2009169925A (en) | Image retrieval device and image retrieval method | |
| CN105913451B (en) | A kind of natural image superpixel segmentation method based on graph model | |
| US9235773B2 (en) | Image processing device capable of determining types of images accurately | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| CN110580696A (en) | Multi-exposure image fast fusion method for detail preservation | |
| JP2007013795A (en) | Image processor, method and program for processing image and storage medium | |
| JP6703732B2 (en) | Super-resolution device, super-resolution method, and program | |
| JP4756436B2 (en) | Pattern recognition apparatus, pattern recognition method, and pattern recognition program | |
| JP7005280B2 (en) | Image processing equipment, image processing methods and programs | |
| JP2005100122A (en) | Device and program for determination of type and discrimination condition of feature quantity used in discrimination processing, recording medium with program recorded, and device for selection of data of specific content | |
| Mao et al. | Reversible data hiding based on stationary sequence of pixel value ordering | |
| TW201812697A (en) | Clustering method with a two-stage local binary pattern and an iterative image testing system thereof | |
| JP3509397B2 (en) | Markov model image coding device | |
| KR101071567B1 (en) | Contrast Enhancement Using a Density based Sub-histogram Equalization Technique | |
| CN118395746B (en) | Method for establishing RVE model of real microstructure of bearing steel based on image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6703732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |