JP5769241B2 - Super-resolution image processing device and super-resolution image processing dictionary creation device - Google Patents
Super-resolution image processing device and super-resolution image processing dictionary creation device Download PDFInfo
- Publication number
- JP5769241B2 JP5769241B2 JP2011156515A JP2011156515A JP5769241B2 JP 5769241 B2 JP5769241 B2 JP 5769241B2 JP 2011156515 A JP2011156515 A JP 2011156515A JP 2011156515 A JP2011156515 A JP 2011156515A JP 5769241 B2 JP5769241 B2 JP 5769241B2
- Authority
- JP
- Japan
- Prior art keywords
- principal component
- bitmap
- field
- super
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
本発明は、超解像画像処理装置及び超解像画像処理用辞書作成装置に適用して好適な技術に関する。
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用する辞書テーブルを作成する超解像画像処理用辞書作成装置に関する。
The present invention relates to a technique suitable for application to a super-resolution image processing device and a super-resolution image processing dictionary creation device.
More specifically, a super-resolution image processing device that outputs a high-resolution image from a low-resolution original image, and a dictionary creation for super-resolution image processing that creates a dictionary table used by the super-resolution image processing device Relates to the device.
超解像技術とは、低解像度の原画像から高解像度の画像を生成することで、違和感の少ない拡大画像を得るための技術である。この超解像技術は、テレビやパソコン等といった画像閲覧装置の高解像度化に伴い、注目され、一部の民生機器等で採用されている。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高詳細化することで、社会基盤の安全性向上に寄与できる可能性もある。
The super-resolution technique is a technique for obtaining a magnified image with little discomfort by generating a high-resolution image from a low-resolution original image. This super-resolution technique has attracted attention and has been adopted in some consumer devices and the like as the resolution of image browsing devices such as televisions and personal computers increases.
For example, when viewing images taken with a relatively low-resolution camera attached to a mobile phone on a high-resolution display, or viewing low-resolution video content created in the analog TV era on a high-resolution television, Alternatively, this super-resolution technique is used when browsing low-resolution video streaming data on a high-resolution display.
Furthermore, there is a possibility that it is possible to contribute to the improvement of the safety of the social infrastructure by making the captured image data of the surveillance camera or the like highly detailed.
前述のように、超解像技術は違和感のない拡大画像を得るための技術であるが、これは転じて「失われた高周波成分を類推する」技術である。
例えば、ある画像データのピクセルサイズを縦横半分ずつ、1/4倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横4倍ずつ、4倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。
As described above, the super-resolution technique is a technique for obtaining an enlarged image without a sense of incongruity, but this is a technique that in turn is a technique for “analyzing a lost high-frequency component”.
For example, when the pixel size of a certain image data is reduced by a factor of 1/4, both vertically and horizontally, an average value of two adjacent pixels is calculated and converted into one pixel. This average value calculation is a kind of integration. When the enumeration of pixels is regarded as a signal, thinning out the pixels by calculating the average value is equivalent to removing the high-frequency component of the signal.
On the other hand, when the pixel size of a certain image data is enlarged by 4 times by 4 times vertically and horizontally, the simplest method is to calculate an intermediate value between two adjacent pixels and obtain a pixel between them. However, this calculation method does not reproduce lost high frequency components. For this reason, the enlarged image obtained by the intermediate value calculation is an image in which the boundary line is ambiguous as if it is out of focus.
In other words, super-resolution technology is a technology that "analyzes lost high-frequency components" by analyzing pixel patterns, calculating appropriate pixels, and filling between adjacent pixels in the original image. It is.
発明者は、超解像画像処理をリアルタイムで処理できるための技術を開発している。より詳細には、画像データを位置とスケールで指定される小さな波の重ね合わせに分解し解析する手法である「モルフォロジカル・ウェーブレット変換」を、整数であるマックスプラス代数で記述することで、全体の見通しをよくすると共に数式を簡素化した「MPウェーブレット変換」を開発している。MPウェーブレット変換の概要については非特許文献1に開示されている。
The inventor has developed a technique for enabling super-resolution image processing to be processed in real time. More specifically, by describing the "morphological wavelet transform", which is a technique for decomposing and analyzing image data into a superposition of small waves specified by position and scale, using Max Plus algebra that is an integer, We are developing “MP wavelet transform” that improves the outlook and simplifies mathematical formulas. An outline of the MP wavelet transform is disclosed in
非特許文献1に開示されるウェーブレット変換・逆変換実証回路は、MPウェーブレット変換の再現性を確認するための実験であり、実応用に必要な技術的課題を解決出来ていなかった。それは、データ量及び計算量を減らすことである。
The wavelet transform / inverse transform demonstration circuit disclosed in Non-Patent
本発明はかかる課題を解決し、少ないハードウェアリソースで高速に処理できる、極めて実用的な超解像画像処理装置と、この超解像画像処理装置が利用する辞書テーブルを作成する超解像画像処理用辞書作成装置を提供することを目的とする。 The present invention solves such a problem, and can be processed at high speed with few hardware resources. A super-practical super-resolution image processing apparatus and a super-resolution image for creating a dictionary table used by the super-resolution image processing apparatus. An object is to provide a processing dictionary creation device.
上記課題を解決するために、本発明の超解像画像処理装置は、入力画像データから所定数のピクセルよりなるインデックスビットマップを生成するインデックス作成部と、インデックスビットマップに対して、第一主成分基底ベクトルとの内積を演算して第一主成分を算出し、第一主成分基底ベクトルとの内積を演算して第二主成分を算出する内積演算部と、第一主成分及び第二主成分を用いて辞書テーブルを検索し、第一主成分及び第二主成分に最も近いレコードを得る比較部と、レコードに含まれている高周波成分とインデックスビットマップを用いて超解像ビットマップを算出する超解像ビットマップ生成部とを具備する。 In order to solve the above-described problems, a super-resolution image processing apparatus according to the present invention provides an index creation unit that generates an index bitmap composed of a predetermined number of pixels from input image data, and a first main function for the index bitmap. Calculating an inner product with a component basis vector and calculating a first principal component; calculating an inner product with the first principal component basis vector to calculate a second principal component; and a first principal component and a second principal component Super-resolution bitmap using the comparison unit that searches the dictionary table using the principal component and obtains the record closest to the first principal component and the second principal component, and the high-frequency component and index bitmap contained in the record And a super-resolution bitmap generation unit for calculating.
上記課題を解決するために、本発明の超解像画像処理装置は、入力画像データから所定数のピクセルよりなるインデックスビットマップを生成するインデックス作成部と、インデックスビットマップに対して、第一主成分基底ベクトルとの内積を演算して第一主成分を算出し、第二主成分基底ベクトルとの内積を演算して第二主成分を算出する内積演算部と、第一主成分及び第二主成分を用いて辞書テーブルを検索し、第一主成分及び第二主成分に最も近いレコードを得る比較部と、レコードに含まれている高周波成分とインデックスビットマップを用いて超解像ビットマップを算出する超解像ビットマップ生成部とを具備する。 In order to solve the above-described problems, a super-resolution image processing apparatus according to the present invention provides an index creation unit that generates an index bitmap composed of a predetermined number of pixels from input image data, and a first main function for the index bitmap. Calculating an inner product with a component basis vector and calculating a first principal component; calculating an inner product with a second principal component basis vector to calculate a second principal component; and a first principal component and a second principal component Super-resolution bitmap using the comparison unit that searches the dictionary table using the principal component and obtains the record closest to the first principal component and the second principal component, and the high-frequency component and index bitmap contained in the record And a super-resolution bitmap generation unit for calculating.
汎用性の高い超解像画像処理を短時間に実行するため、本発明の超解像画像処理装置は、処理対象とする画像をシーンに分けて、そのシーンに適合する辞書テーブルを用いて、失われた高周波成分を辞書に対するツリー検索にて類推する。
辞書テーブルは検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを施し、その平均値を算出することで、辞書テーブルの必要レコード数が大幅に低減されている。
In order to perform highly versatile super-resolution image processing in a short time, the super-resolution image processing apparatus of the present invention divides an image to be processed into scenes, and uses a dictionary table suitable for the scene, Analogize the lost high-frequency components by tree search against the dictionary.
In order to speed up the search, the dictionary table uses principal component analysis to convert the index bitmap serving as the search key into the first principal component and the second principal component, which are scalar values, and the first principal component and the second principal component. By performing grouping with the main components and calculating the average value, the number of required records in the dictionary table is greatly reduced.
本発明により、少ないハードウェアリソースで高速に処理できる、極めて実用的な超解像画像処理装置と、この超解像画像処理装置が利用する辞書テーブルを作成する超解像画像処理用辞書作成装置を提供できる。 INDUSTRIAL APPLICABILITY According to the present invention, an extremely practical super-resolution image processing apparatus capable of high-speed processing with few hardware resources, and a super-resolution image processing dictionary creation apparatus for creating a dictionary table used by the super-resolution image processing apparatus Can provide.
[全体構成]
図1は、本発明の実施形態の例である、超解像画像処理装置と辞書作成装置の概略図である。
超解像画像処理装置101は、デジタルカメラ102や画像ファイル103等から、縦mピクセル×横nピクセルの入力画像データ104を受け取ると、縦k・mピクセル×横l・nピクセルの出力画像データ105を生成する。ここで、k、l、m及びnは2以上の自然数である。したがって、超解像画像処理装置101は、最低限、縦2倍及び横2倍の、4倍に拡大した画像を生成する。
超解像画像処理装置101が処理する画像は、静止画像であっても動画像であってもよい。本実施形態では説明を簡単にするため、静止画像を中心に説明する。
[overall structure]
FIG. 1 is a schematic diagram of a super-resolution image processing device and a dictionary creation device, which are examples of embodiments of the present invention.
When the super-resolution
The image processed by the super-resolution
超解像画像処理装置101は、入力画像データ104に対して超解像画像処理を施して出力画像データ105を生成する際、失われた高周波成分を類推するために、辞書テーブル106と、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を用いる。これらのデータは辞書作成装置109によって生成され、予め超解像画像処理装置101に組み込まれる。
辞書作成装置109は、一つ以上のサンプル画像ファイル110を受け取ると、後述する所定の演算処理を行うことで、辞書テーブル106と、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を生成する。
ここで、辞書テーブル106、第一主成分基底ベクトル107及び第二主成分基底ベクトル108は、これら三つで一つの組である。これ以降、辞書テーブル106、第一主成分基底ベクトル107及び第二主成分基底ベクトル108をまとめて「辞書テーブル等」と呼ぶ。
When the super-resolution
When the
Here, the dictionary table 106, the first principal
図1では、超解像画像処理装置101の具体的な実装形態について明記していないが、超解像画像処理装置101は画像データを処理する演算装置であるので、如何様にも実装可能である。
例えば、周知のパソコンにインストールするプログラムとして実現することができる。その際、辞書テーブル等はハードディスク装置等の不揮発性ストレージに格納されるであろう。
また、デジタルカメラ102のファームウェアとして、デジタルカメラ102に組み込むこともできる。
更には、FPGA(Field Programmable Gate Array)等のPLD(programmable logic device)やASIC(Application Specific Integrated Circuit)等を用いて実現することもできる。特に本実施形態の超解像画像処理装置101は、そのベースとなるMPウェーブレット変換が整数の加減算及び比較演算のみで構成されるため、これらハードウェアの実装面積は極めて少なく済む。
In FIG. 1, the specific implementation form of the super-resolution
For example, it can be realized as a program installed in a well-known personal computer. At that time, the dictionary table and the like will be stored in a nonvolatile storage such as a hard disk device.
Further, it can be incorporated into the
Further, it can be realized by using a programmable logic device (PLD) such as a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like. In particular, the super-resolution
図1では、辞書作成装置109の具体的な実装形態について明記していないが、辞書作成装置109はサンプル画像ファイル110から辞書テーブル等を生成する演算装置であるので、如何様にも実装可能である。辞書作成装置109は、例えばパソコン等にインストールされて実行されるプログラムで実現され、超解像画像処理装置101が製造される工場等の生産現場に設けられ、シーンに応じた辞書テーブル等を生成する。
シーンとは、画像の特色である。例えば風景の撮影画像であったり、医療用レントゲン画像であったり、或はアニメーション等である。風景の撮影画像の場合、そのピクセルパターンには中間色や中間輝度が多く現れる。一方、アニメーションの画像の場合、輪郭が明確であり、色彩や輝度がある境界で急激に変化する(エッジの効いた)ピクセルパターンが多く見受けられる。このように、画像にはそのシーンに応じた特色がある。そこで、サンプル画像ファイル110はシーンに応じた画像が集められ、辞書テーブル等の基となる。どのようなシーンに対しても最適な超解像処理ができる万能な辞書テーブル等を作成することは困難であるが、シーンに最適化した辞書テーブル等を作成することで、超解像画像処理装置101が適用されるシーンに適した辞書テーブル等を与えることができる。勿論、複数の辞書テーブル等を用意して、超解像画像処理装置101がシーンに応じて辞書テーブル等を切り替えることで、シーンに最適な超解像画像処理を実現することができる。また、シーンを細分化すればするほど、そのシーンにより適合した辞書テーブル等を作成することができ、以てより再現度の高い超解像画像処理を実現することができる。
In FIG. 1, a specific implementation form of the
A scene is a characteristic of an image. For example, it is a photographed image of a landscape, a medical X-ray image, or an animation. In the case of a landscape image, many intermediate colors and intermediate brightness appear in the pixel pattern. On the other hand, in the case of an animation image, there are many pixel patterns with clear outlines and sharply changing (edge-effected) borders with certain colors and brightness. Thus, the image has a special color according to the scene. Therefore, the
辞書テーブル等、つまり辞書テーブル106、第一主成分基底ベクトル107及び第二主成分基底ベクトル108は、その名称から明らかなように、周知の主成分分析を経て形成されている。このため、辞書テーブル106と、第一主成分基底ベクトル107及び第二主成分基底ベクトル108は密接な関係を有する。この関係の詳細は、辞書作成装置109の説明にて後述する。
A dictionary table or the like, that is, the dictionary table 106, the first principal
なお、説明を容易にするために、これ以降の実施形態の説明では、辞書作成装置109及び超解像画像処理装置101が取り扱う画像は白黒の静止画像であり、一つのピクセルは8ビットであるものとする。このため、一つのピクセルは0〜255の輝度データである。
For ease of explanation, in the following description of the embodiments, images handled by the
[辞書作成装置109:全体構成]
図2は、辞書作成装置109の機能ブロック図である。
図3は、一時テーブルのフィールド構成図である。
一以上のサンプル画像ファイル110は、分解処理部201によって所定の大きさの分割ビットマップに分解されて、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、「分解ビットマップ−3」フィールド及び「分解ビットマップ−4」フィールドに格納される。
次に、代数変換処理部ともいえるMPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−1」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−1」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−2」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−2」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−3」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−3」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−4」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−4」フィールドに格納する。
[Dictionary creation device 109: overall configuration]
FIG. 2 is a functional block diagram of the
FIG. 3 is a field configuration diagram of the temporary table.
The one or more sample image files 110 are decomposed into divided bitmaps of a predetermined size by the
Next, the MP
Similarly, the MP
Similarly, the MP
Similarly, the MP
次に、並べ替え処理部204は、一時テーブル202の「変換ビットマップ−1」フィールド、「変換ビットマップ−2」フィールド、「変換ビットマップ−3」フィールド及び「変換ビットマップ−4」フィールドのデータを読み込み、並べ替え処理を施して、夫々「インデックス」フィールド、「第一高周波」フィールド、「第二高周波」フィールド及び「第三高周波」フィールドに格納する。
次に、主成分分析処理部205は、一時テーブル202の全レコードの「インデックス」フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を算出する。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第一主成分基底ベクトル107とを内積演算し、得られた第一主成分データを「第一主成分」フィールドに格納する。
同様に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第二主成分基底ベクトル108とを内積演算し、得られた第二主成分データを「第二主成分」フィールドに格納する。
Next, the
Next, the principal component
Next, the inner
Similarly, the inner
次に、頻度分割処理部207は、一時テーブル202の全てのレコードについて、「第一主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第一主成分グループ番号」フィールドに格納される。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
Next, the frequency
Further, the frequency
最後に、平均値演算部208は、一時テーブル202の「第一主成分グループ番号」フィールドの値と「第二主成分グループ番号」フィールドの値が等しいレコードについて、「第一主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第一主成分」フィールドに格納する。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第三高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第三高周波」フィールドに格納する。
Finally, the average
Similarly, the average value of the values in the “second principal component” field is calculated and stored in the “second principal component” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “first high frequency” field and stored in the “first high frequency” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “second high frequency” field and stored in the “second high frequency” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “third high frequency” field and stored in the “third high frequency” field of the dictionary table 106.
以上説明したように、辞書作成装置109は、サンプル画像ファイル110から処理対象とする分割ビットマップを得て、これを複数の分解ビットマップに分けて一時テーブル202のレコードに格納した上で、MPウェーブレット変換部203、並べ替え処理部204、主成分分析処理部205、内積演算部206、そして頻度分割処理部207と、順番に処理を施すことで、一時テーブル202の各フィールドに演算結果を格納する。そして最後に平均値演算部208によって、一時テーブル202よりレコード数の少ない辞書テーブル106を作成する。
As described above, the
[辞書作成装置109:フローチャート]
図4は、辞書作成装置109による辞書作成処理のフローチャートである。
処理を開始すると(S401)、分解処理部201はサンプル画像ファイル110を読み込み、km×lnピクセルの分割ビットマップに分割する。更にこの分割ビットマップを、m×nピクセルの分解ビットマップに分解して、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、…「分解ビットマップ−(k×l)」フィールドに格納する(S402)。
次に、MPウェーブレット変換部203は、一時テーブル202の分解ビットマップが格納されているフィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを変換ビットマップを格納するフィールドに格納する。この動作をk×l回繰り返す(S403)。
[Dictionary creation device 109: flowchart]
FIG. 4 is a flowchart of dictionary creation processing by the
When the processing is started (S401), the
Next, the MP
次に、並べ替え処理部204は、一時テーブル202の「変換ビットマップ−1」フィールド、「変換ビットマップ−2」フィールド、…「変換ビットマップ−(k×l)」フィールドのデータを読み込み、並べ替え処理を施して、夫々「インデックス」フィールド、「第一高周波」フィールド、「第二高周波」フィールド…「第(k×l)高周波」フィールドに格納する(S404)。
次に、主成分分析処理部205は、一時テーブル202の全レコードの「インデックス」フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を算出する(S405)。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと第一主成分基底ベクトル107とを内積演算して、得られた第一主成分データを「第一主成分」フィールドに格納し、一時テーブル202の「インデックス」フィールドのデータと第二主成分基底ベクトル108とを内積演算して、得られた第二主成分データを「第二主成分」フィールドに格納する(S406)。
Next, the
Next, the principal component
Next, the inner
次に、頻度分割処理部207は、一時テーブル202の全てのレコードについて「第一主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す(S407)。この番号は、一時テーブル202の「第一主成分グループ番号」フィールドに格納される。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す(S408)。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
Next, the frequency
Further, the frequency
最後に、平均値演算部208は、一時テーブル202の「第一主成分グループ番号」フィールドの値と「第二主成分グループ番号」フィールドの値が等しいレコードについて、「第一主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第一主成分」フィールドに格納する。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第(k×l−1)高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第(k×l−1)高周波」フィールドに格納する(S409)。そして、一連の処理を終了する(S410)。
Finally, the average
Similarly, the average value of the values in the “second principal component” field is calculated and stored in the “second principal component” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “first high frequency” field and stored in the “first high frequency” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “second high frequency” field and stored in the “second high frequency” field of the dictionary table 106.
Similarly, an average value is calculated for each scalar value stored in the “(k × l−1) high frequency” field and stored in the “(k × l−1) high frequency” field of the dictionary table 106. (S409). Then, a series of processing ends (S410).
[辞書作成装置109:データ処理の詳細]
図5(a)、(b)、(c)、(d)及び(e)と、図6(f)及び(g)は、辞書作成装置109が実行する辞書作成処理による、画像データから辞書テーブル106が生成される過程を示す概要図である。なお、図5及び図6では説明を簡単にするため、k、l、m及びnは「2」に設定して説明する。
先ず、分解処理部201は図5(a)に示す、サンプル画像ファイル110から縦4ピクセル×横4ピクセルよりなる、16ピクセルの分割ビットマップ501を抜き出す。これが一時テーブル202の1レコード分に相当する。なお、分解処理部201はサンプル画像ファイル110から1ピクセルずつずらして分割ビットマップ501を抜き出して、一時テーブル202のレコードとして追記する。
次に、分解処理部201は図5(b)に示すように、分割ビットマップ501を縦と横に二等分して、合計4個の分解ビットマップ502a、502b、502c及び502dを作成する。そして、この分解ビットマップ502a、502b、502c及び502dが、分解処理部201によって一時テーブル202のフィールドとして格納される。
「分解ビットマップ−1」フィールドには、分割ビットマップ501の「1、2、5、6」番目のピクセルである分解ビットマップ502aが格納される。
「分解ビットマップ−2」フィールドには、分割ビットマップ501の「3、4、7、8」番目のピクセルである分解ビットマップ502bが格納される。
「分解ビットマップ−3」フィールドには、分割ビットマップ501の「9、10、13、14」番目のピクセルである分解ビットマップ502cが格納される。
「分解ビットマップ−4」フィールドには、分割ビットマップ501の「11、12、15、16」番目のピクセルである分解ビットマップ502dが格納される。
こうして、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、「分解ビットマップ−3」フィールド及び「分解ビットマップ−4」フィールドに、分解処理部201による分解処理されたデータ列が記録される。
[Dictionary creation device 109: details of data processing]
5 (a), (b), (c), (d), and (e), and FIGS. 6 (f) and (g), the dictionary is created from the image data by the dictionary creation process executed by the
First, the
Next, as shown in FIG. 5B, the
In the “decomposition bitmap-1” field, a
In the “decomposition bitmap-2” field, the
In the “decomposition bitmap-3” field, a
In the “decomposition bitmap-4” field, a
In this way, the
次に、MPウェーブレット変換部203は図5(c)に示すように、分解ビットマップ502にMPウェーブレット変換を施す。
今、分解ビットマップ502が「x、y、z、w」というピクセルで構成されている場合、MPウェーブレット変換は、以下の(1)式で変換ビットマップ503に変換する。
Next, the MP
If the
a=min(x,y,z,w)
h=y−x
v=z−x
d=w−x (1)
a = min (x, y, z, w)
h = y−x
v = z-x
d = w−x (1)
したがって、MPウェーブレット変換部203は図5(d)に示すように、分割ビットマップ501の「1、2、5、6」番目のピクセルよりなる「分解ビットマップ−1」フィールドに格納されている分解ビットマップ502aのデータを読み込み、「a1、h1、v1、d1」という「変換ビットマップ−1」データを作成する。
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「3、4、7、8」番目のピクセルよりなる「分解ビットマップ−2」フィールドに格納されている分解ビットマップ502bのデータを読み込み、「a2、h2、v2、d2」という「変換ビットマップ−2」データを作成する。
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「9、10、13、14」番目のピクセルよりなる「分解ビットマップ−3」フィールドに格納されている分解ビットマップ502cのデータを読み込み、「a3、h3、v3、d3」という「変換ビットマップ−3」データを作成する。
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「11、12、15、16」番目のピクセルよりなる「分解ビットマップ−4」フィールドに格納されている分解ビットマップ502dのデータを読み込み、「a4、h4、v4、d4」という「変換ビットマップ−3」データを作成する。
こうして、一時テーブル202の「変換ビットマップ−1」フィールド、「変換ビットマップ−2」フィールド、「変換ビットマップ−3」フィールド及び「変換ビットマップ−4」フィールドに、MPウェーブレット変換部203による演算結果の値であるデータ列が記録される。
Therefore, the MP
Similarly, the MP
Similarly, the MP
Similarly, the MP
In this way, the MP
次に、並べ替え処理部204は図5(e)に示すように、「変換ビットマップ−1」フィールドのデータ、「変換ビットマップ−2」フィールドのデータ、「変換ビットマップ−3」フィールドのデータ及び「変換ビットマップ−4」フィールドのデータから、各々の同じ位置に配置されているスカラ値を集めて並べ替えを行う。
具体的には、「変換ビットマップ−1」フィールドのデータの「a1」と、「変換ビットマップ−2」フィールドのデータの「a2」と、「変換ビットマップ−3」フィールドのデータの「a3」と、「変換ビットマップ−4」フィールドのデータの「a4」とを集めて、「a1、a2、a3、a4」よりなる「インデックス」を作成し、一時テーブル202の「インデックス」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「h1」と、「変換ビットマップ−2」フィールドのデータの「h2」と、「変換ビットマップ−3」フィールドのデータの「h3」と、「変換ビットマップ−4」フィールドのデータの「h4」とを集めて、「h1、h2、h3、h4」よりなる「第一高周波」を作成し、一時テーブル202の「第一高周波」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「v1」と、「変換ビットマップ−2」フィールドのデータの「v2」と、「変換ビットマップ−3」フィールドのデータの「v3」と、「変換ビットマップ−4」フィールドのデータの「v4」とを集めて、「v1、v2、v3、v4」よりなる「第二高周波」を作成し、一時テーブル202の「第二高周波」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「d1」と、「変換ビットマップ−2」フィールドのデータの「d2」と、「変換ビットマップ−3」フィールドのデータの「d3」と、「変換ビットマップ−4」フィールドのデータの「d4」とを集めて、「d1、d2、d3、d4」よりなる「第三高周波」を作成し、一時テーブル202の「第三高周波」フィールドに格納する。
こうして、一時テーブル202の「インデックス」フィールド、「第一高周波」フィールド、「第二高周波」フィールド及び「第三高周波」フィールドに、並べ替え処理部204による並べ替え処理されたデータ列が記録される。
Next, as shown in FIG. 5E, the
Specifically, “a1” of data in the “conversion bitmap-1” field, “a2” of data in the “conversion bitmap-2” field, and “a3” of data in the “conversion bitmap-3” field And “a4” of the data in the “Conversion Bitmap-4” field are collected to create an “index” consisting of “a1, a2, a3, a4” and store it in the “index” field of the temporary table 202 To do.
Similarly, “h1” of data in the “conversion bitmap-1” field, “h2” of data in the “conversion bitmap-2” field, and “h3” of data in the “conversion bitmap-3” field , “H4” of the data in the “
Similarly, “v1” of data in the “conversion bitmap-1” field, “v2” of data in the “conversion bitmap-2” field, and “v3” of data in the “conversion bitmap-3” field , “V4” of the data in the “
Similarly, “d1” of data in the “conversion bitmap-1” field, “d2” of data in the “conversion bitmap-2” field, and “d3” of data in the “conversion bitmap-3” field , “D4” of the data in the “
In this way, the data sequence that has been sorted by the sorting
次に、主成分分析処理部205は、一時テーブル202の全レコードの「インデックス」フィールドを読み込み、主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を算出する。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第一主成分基底ベクトル107とを内積演算し、得られた第一主成分データを「第一主成分」フィールドに格納する。
同様に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第二主成分基底ベクトル108とを内積演算し、得られた第二主成分データを「第二主成分」フィールドに格納する。
こうして、一時テーブル202の「第一主成分」フィールド及び「第二主成分」フィールドに、内積演算部206による演算結果のスカラ値が記録される。
Next, the principal component
Next, the inner
Similarly, the inner
In this way, the scalar value of the calculation result by the inner
次に、頻度分割処理部207は、一時テーブル202の全てのレコードについて、「第一主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第一主成分グループ番号」フィールドに格納される。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
こうして、一時テーブル202の「第一主成分グループ番号」フィールド及び「第二主成分グループ番号」フィールドに、頻度分割処理部207によるグループ番号が記録される。
Next, the frequency
Further, the frequency
Thus, the group numbers by the frequency
最後に、平均値演算部208は、図6(f)に示すように、一時テーブル202の「第一主成分グループ番号」フィールドの値と「第二主成分グループ番号」フィールドの値が等しいレコードについて、「第一主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第一主成分」フィールドに格納する。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される「h1」データの平均値を算出し、「h2」データの平均値を算出し、「h3」データの平均値を算出し、「h4」データの平均値を算出して、これら「h1、h2、h3、h4」の平均値を辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される「v1」データの平均値を算出し、「v2」データの平均値を算出し、「v3」データの平均値を算出し、「v4」データの平均値を算出して、これら「v1、v2、v3、v4」の平均値を辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第三高周波」フィールドに格納される「d1」データの平均値を算出し、「d2」データの平均値を算出し、「d3」データの平均値を算出し、「d4」データの平均値を算出して、これら「d1、d2、d3、d4」の平均値を辞書テーブル106の「第三高周波」フィールドに格納する。
こうして、図6(g)に示すように、平均値である「第一主成分」フィールドと、平均値である「第二主成分」フィールドと、平均値の集合である「第一高周波」フィールドと、平均値の集合である「第二高周波」フィールドと、平均値の集合である「第三高周波」フィールドよりなる、辞書テーブルのレコードが作成される。
Finally, as shown in FIG. 6F, the average
Similarly, the average value of the values in the “second principal component” field is calculated and stored in the “second principal component” field of the dictionary table 106.
Similarly, the average value of “h1” data stored in the “first high frequency” field is calculated, the average value of “h2” data is calculated, the average value of “h3” data is calculated, and “h4” data is calculated. The average value of “h1, h2, h3, h4” is stored in the “first high frequency” field of the dictionary table 106.
Similarly, the average value of the “v1” data stored in the “second high frequency” field is calculated, the average value of the “v2” data is calculated, the average value of the “v3” data is calculated, and the “v4” data is calculated. The average value of “v1, v2, v3, v4” is stored in the “second high frequency” field of the dictionary table 106.
Similarly, the average value of “d1” data stored in the “third high frequency” field is calculated, the average value of “d2” data is calculated, the average value of “d3” data is calculated, and “d4” data is calculated. The average value of “d1, d2, d3, d4” is stored in the “third high frequency” field of the dictionary table 106.
Thus, as shown in FIG. 6G, the “first principal component” field that is the average value, the “second principal component” field that is the average value, and the “first high frequency” field that is a set of the average values. Then, a dictionary table record including a “second high frequency” field that is a set of average values and a “third high frequency” field that is a set of average values is created.
図7(a)、(b)及び(c)と、図8(d)は、分割ビットマップ501と分解ビットマップ502との関係を示す概略図である。図7及び図8では、一例としてk=2、l=4、m=3、n=2として説明する。
図7(a)に示すように、分割ビットマップ501は、縦が2×3=6ピクセル、横が2×4=8ピクセルの、合計48ピクセルで構成される。
分解ビットマップ502は、縦(=m)が3ピクセル、横(=n)が2ピクセルの、合計6ピクセルで構成される。分解ビットマップ502は(x、y、z、w、u、t)というピクセルで構成される。
この分解ビットマップ502は、図7(b)に示すように、MPウェーブレット変換部203によって、縦(=m)が3個、横(=n)が2個の、合計6個の変換ビットマップ503に変換される。変換ビットマップ503の数は分解ビットマップ502の数と等しい。図7(a)の場合、分解ビットマップ502が8個あるので、図7(c)に示すように変換ビットマップ503は8個生成される。
次に、図8(d)に示すように、並べ替え処理部204は、変換ビットマップ503の同じ位置に配置されているデータを集めて、インデックス、第一高周波、第二高周波、第三高周波、第四高周波、及び第五高周波を作成する。これらのデータは、縦2個(=k)、横4個(=l)の要素で構成され、6個(=m×n)形成される。
FIGS. 7A, 7B, and 7C and FIG. 8D are schematic diagrams showing the relationship between the divided bitmap 501 and the decomposed
As shown in FIG. 7A, the divided bitmap 501 is composed of 48 pixels in total of 2 × 3 = 6 pixels in the vertical direction and 2 × 4 = 8 pixels in the horizontal direction.
The
As shown in FIG. 7B, the
Next, as shown in FIG. 8D, the
[辞書作成装置109:辞書テーブル106の構成]
図9は、辞書テーブル106の構成を示す概略図である。
辞書テーブル106のフィールド構成は図6(g)に示したように、平均値である「第一主成分」フィールドと、平均値である「第二主成分」フィールドと、平均値の集合である「第一高周波」フィールドと、平均値の集合である「第二高周波」フィールドと、平均値の集合である「第三高周波」フィールドよりなる。
今、「第一主成分」フィールドの値をf(i)(iは1以上且つ辞書テーブル106の全レコード数までの自然数)とし、「第二主成分」フィールドの値をgi(j)(jは1以上の自然数)とすると、辞書テーブル106には「第一主成分」フィールドの値f(i)が等しい複数のレコードが存在する。そして、それらのレコードは「第二主成分」フィールドの値でユニークである(一意性を有する)。
「第一主成分」フィールドの値と、「第二主成分」フィールドの値は、後述する超解像画像処理装置101がツリー検索を実行するための検索キーである。
[Dictionary Creation Device 109: Configuration of Dictionary Table 106]
FIG. 9 is a schematic diagram showing the configuration of the dictionary table 106.
As shown in FIG. 6G, the field configuration of the dictionary table 106 is a set of “first principal component” field that is an average value, “second principal component” field that is an average value, and an average value. It consists of a “first high frequency” field, a “second high frequency” field that is a set of average values, and a “third high frequency” field that is a set of average values.
Now, let the value of the “first principal component” field be f (i) (i is a natural number up to 1 and the total number of records in the dictionary table 106), and the value of the “second principal component” field be gi (j) ( If j is a natural number of 1 or more), the dictionary table 106 includes a plurality of records having the same value f (i) of the “first principal component” field. These records are unique (having uniqueness) in the value of the “second principal component” field.
The value of the “first principal component” field and the value of the “second principal component” field are search keys for the super-resolution
[超解像画像処理装置101:全体構成]
図10は、超解像画像処理装置101の機能ブロック図である。
デジタルカメラ102や、不揮発性ストレージに格納されている画像ファイル103等から得られる入力画像データ104は、インデックス作成部1001に供給される。インデックス作成部1001は、入力画像データ104から縦mピクセル×横nピクセルのインデックスビットマップを生成する。このインデックスビットマップは、辞書テーブル106の仕様に合わせて作られる。例えば、図5及び図6の例の場合、2×2=4ピクセルのインデックスビットマップをつくることとなる。インデックス作成部1001は、2×2=4ピクセルのインデックスビットマップを、入力画像データ104から横に2ピクセルずつ、縦に2ピクセルずつずらしながら連続的に作成する。
なお、周知のBMP、JPEG、GIF或はPNG等、所定の圧縮処理を含むものもある、複数の異なるフォーマットの画像データを図示しないRAM内にビットマップとして展開する処理は、このインデックス作成部1001に含まれるものとする。
[Super-Resolution Image Processing Device 101: Overall Configuration]
FIG. 10 is a functional block diagram of the super-resolution
The
インデックス作成部1001が作成するインデックスビットマップは、内積演算部206によって、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、夫々に内積演算が行われる。この結果、インデックスビットマップから第一主成分と第二主成分が算出される。
ここで、インデックスビットマップは縦mピクセル×横nピクセル(本例の場合は4ピクセル)の「行列データ」であるのに対し、第一主成分及び第二主成分は夫々「スカラ値」である。この、行列データをスカラ値に変換することが、本実施形態の超解像画像処理装置101における大きな特色の一つであり、高速動作のために必要な技術である。
The index bitmap created by the
Here, the index bitmap is “matrix data” of vertical m pixels × horizontal n pixels (4 pixels in this example), whereas the first principal component and the second principal component are “scalar values”, respectively. is there. This conversion of matrix data into scalar values is one of the major features of the super-resolution
内積演算部206によって算出された第一主成分及び第二主成分は、比較部1002に入力される。比較部1002は、辞書テーブル106の「第一主成分」フィールドと「第二主成分」フィールドを見てツリー検索を行い、内積演算部206によって算出された第一主成分及び第二主成分に最も近いレコードを見つける。そして、見つけたレコードに含まれている「第一高周波」フィールド、「第二高周波」フィールド及び「第三高周波」フィールドのデータを、インデックス作成部1001が作成したインデックスと共にマッピング処理部1003に引き渡す。
マッピング処理部1003は、内積演算部206から引き渡されたインデックス、第一高周波、第二高周波及び第三高周波のデータを並べ替えて、図示しないRAM内に配置する。配置は、図5(d)に示すように、インデックス、第一高周波、第二高周波及び第三高周波の同じ配置のデータを一つの組とする。
図5(d)の場合、インデックスの第一番目のデータ、第一高周波の第一番目のデータ、第二高周波の第一番目のデータ及び第三高周波の第一番目のデータを一つの組にする。
同様に、インデックスの第二番目のデータ、第一高周波の第二番目のデータ、第二高周波の第二番目のデータ及び第三高周波の第二番目のデータを一つの組にする。
同様に、インデックスの第三番目のデータ、第一高周波の第三番目のデータ、第二高周波の第三番目のデータ及び第三高周波の第三番目のデータを一つの組にする。
同様に、インデックスの第四番目のデータ、第一高周波の第四番目のデータ、第二高周波の第四番目のデータ及び第三高周波の第四番目のデータを一つの組にする。
The first principal component and the second principal component calculated by the inner
The
In the case of FIG. 5D, the first data of the index, the first data of the first high frequency, the first data of the second high frequency, and the first data of the third high frequency are combined into one set. To do.
Similarly, the second data of the index, the second data of the first high frequency, the second data of the second high frequency, and the second data of the third high frequency are combined into one set.
Similarly, the third data of the index, the third data of the first high frequency, the third data of the second high frequency, and the third data of the third high frequency are combined into one set.
Similarly, the fourth data of the index, the fourth data of the first high frequency, the fourth data of the second high frequency, and the fourth data of the third high frequency are combined into one set.
こうして組にされたデータは、超解像ビットマップ生成部ともいえるMPウェーブレット逆変換部1004によってMPウェーブレット逆変換演算処理が施され、インデックスビットマップのk×l倍のピクセル数である(本実施形態の場合は4×2×2=16ピクセル)超解像ビットマップが生成される。
今、変換ビットマップ503が「a、h、v、d」というピクセルで構成されている場合、MPウェーブレット逆変換は、以下の(2)式で分解ビットマップ502に逆変換する。
The data thus assembled is subjected to the MP wavelet inverse transform processing by the MP wavelet
If the
x=a+max(−d,−h,−v,0)
y=a+max(h−v,h−d,h,0)
z=a+max(v−h,v−d,v,0)
w=a+max(d−h,d−v,d,0) (2)
x = a + max (−d, −h, −v, 0)
y = a + max (hv, hd, h, 0)
z = a + max (v−h, v−d, v, 0)
w = a + max (d−h, d−v, d, 0) (2)
こうして、インデックス作成部1001が入力画像データ104から生成するインデックスビットマップは、MPウェーブレット逆変換部1004から順次超解像ビットマップに変換され、最終的に入力画像データ104のk×l倍のピクセル数である出力画像データ105である超解像画像ファイル1005が生成される。
In this way, the index bitmap generated by the
[超解像画像処理装置101:フローチャート]
図11は、超解像画像処理装置101による超解像画像処理のフローチャートである。
処理を開始すると(S1101)、インデックス作成部1001は、入力画像データ104を図示しないRAM内にビットマップ展開した後、そのビットマップの最初のアドレスを注目する(S1102)。
[Super-resolution image processing apparatus 101: flowchart]
FIG. 11 is a flowchart of super-resolution image processing by the super-resolution
When the process is started (S1101), the
これ以降はループである。
インデックス作成部1001は、現在注目しているRAM内のアドレスから、インデックスビットマップを作成する(S1103)。
作成したインデックスビットマップは、辞書検索及びMPウェーブレット逆変換処理が施される(S1104)。
そして、現在処理を終えたインデックスビットマップは、入力画像データ104のビットマップの、処理すべき最後のアドレスのものなのか否かを確認する(S1105)。未だ処理対象とすべきインデックスビットマップが存在するのであれば(S1105のNO)、入力画像データ104のビットマップの、次のアドレスに移動して(S1106)、再びステップS1103から処理を繰り返す。
ステップS1105において、処理対象とすべきインデックスビットマップが存在しないのであれば(S1105のYES)、一連の処理を終了する(S1107)。
The rest is a loop.
The
The created index bitmap is subjected to dictionary search and MP wavelet inverse transform processing (S1104).
Then, it is checked whether the index bitmap that has been processed is the last address to be processed of the bitmap of the input image data 104 (S1105). If there is still an index bitmap to be processed (NO in S1105), the process moves to the next address of the bitmap of the input image data 104 (S1106) and repeats the processing from step S1103 again.
If there is no index bitmap to be processed in step S1105 (YES in S1105), the series of processes is terminated (S1107).
図12及び図13は、辞書作成装置109による辞書検索及びMPウェーブレット逆変換処理のフローチャートである。図11のステップS1104の処理の詳細である。
処理を開始すると(S1201)、内積演算部206は、インデックス作成部1001から引き渡されたインデックスビットマップを、第一主成分基底ベクトル107と内積演算を行い、第一主成分を算出する。同様に、インデックスビットマップを、第二主成分基底ベクトル108と内積演算を行い、第二主成分を算出する(S1202)。
12 and 13 are flowcharts of dictionary search and MP wavelet inverse transform processing by the
When the processing is started (S1201), the inner
次に、比較部1002は内積演算部206から引き渡された第一主成分と、辞書テーブル106の第一主成分フィールドの値との比較を行う。
先ず、比較部1002は辞書テーブル106のレコードを第一主成分フィールドでグルーピングして、更にソートした上で、第一主成分フィールドの最小値のグループを注目する(S1203)。
Next, the
First, the
これ以降はループである。
比較部1002は辞書テーブル106の現在注目しているグループにおける第一主成分フィールドの値と、内積演算部206から引き渡された第一主成分との距離(以下「現在距離」)を算出する。
次に、比較部1002は辞書テーブル106の現在注目しているグループの、隣のグループにおける第一主成分フィールドの値と、内積演算部206から引き渡された第一主成分との距離(以下「隣接距離」)を算出する(S1204)。そして、算出した距離同士を比較する(S1205)。
現在距離が隣接距離より大きい値である場合(S1205のNO)は、比較対象とする辞書テーブル106のグループを次のグループに移動して(S1206)、再びステップS1204から繰り返す。
現在距離が隣接距離以下の値になった場合(S1205のYES)は、現在注目している第一主成分のグループを選択する(S1207)。
The rest is a loop.
The
Next, the
If the current distance is larger than the adjacent distance (NO in S1205), the group of the dictionary table 106 to be compared is moved to the next group (S1206), and the process is repeated again from step S1204.
If the current distance is equal to or smaller than the adjacent distance (YES in S1205), the group of the first principal component currently focused on is selected (S1207).
図13を参照して、引き続きフローチャートの説明を続ける。
比較部1002は、ステップS1207で選択した、辞書テーブル106の第一主成分のグループに対し、内積演算部206から引き渡された第二主成分を用いて更に絞り込みを行う。
つまり、内積演算部206から引き渡された第二主成分と、ステップS1207で選択した辞書テーブル106における第一主成分のグループに属するレコードの、第二主成分フィールドの値との比較を行う。
先ず、比較部1002はステップS1207で選択した辞書テーブル106における第一主成分のグループに属する辞書テーブル106のレコードを第二主成分フィールドでソートした上で、第二主成分フィールドの最小値のレコードを注目する(S1308)。
The description of the flowchart will be continued with reference to FIG.
The
That is, the second principal component delivered from the inner
First, the
これ以降はループである。
比較部1002は辞書テーブル106の現在注目しているレコードにおける第二主成分フィールドの値と、内積演算部206から引き渡された第二主成分との距離(以下「現在距離」)を算出する。
次に、比較部1002は辞書テーブル106の現在注目しているレコードの、次のレコードにおける第二主成分フィールドの値と、内積演算部206から引き渡された第二主成分との距離(以下「隣接距離」)を算出する(S1309)。そして、算出した距離同士を比較する(S1310)。
現在距離が隣接距離より大きい値である場合(S1310のNO)は、比較対象とする辞書テーブル106のレコードを次のレコードに移動して(S1311)、再びステップS1309から繰り返す。
現在距離が隣接距離以下の値になった場合(S1310のYES)は、現在注目している第二主成分のレコードに属する、第一高周波フィールド、第二高周波フィールド及び第三高周波フィールドの値を選択する(S1312)。
The rest is a loop.
The
Next, the
If the current distance is larger than the adjacent distance (NO in S1310), the record in the dictionary table 106 to be compared is moved to the next record (S1311), and the process is repeated from step S1309.
When the current distance is equal to or smaller than the adjacent distance (YES in S1310), the values of the first high frequency field, the second high frequency field, and the third high frequency field belonging to the record of the second principal component currently focused on are set. Select (S1312).
比較部1002の絞込み検索によって選択された第一高周波、第二高周波及び第三高周波のデータはマッピング処理部1003に引き渡される。マッピング処理部1003は、インデックスと共に第一高周波、第二高周波及び第三高周波のデータを並べ替える(S1313)。
並べ替えられたデータはMPウェーブレット逆変換処理部に引き渡される。
MPウェーブレット逆変換処理部は並べ替えられたデータにMPウェーブレット逆変換処理を施し、超解像ビットマップを出力して(S1314)、一連の処理を終了する(S1315)。
The data of the first high frequency, the second high frequency, and the third high frequency selected by the narrowing search of the
The rearranged data is delivered to the MP wavelet inverse transform processing unit.
The MP wavelet inverse transform processing unit performs MP wavelet inverse transform processing on the rearranged data, outputs a super-resolution bitmap (S1314), and ends a series of processing (S1315).
[超解像画像処理装置101:辞書テーブル106のツリー検索]
図14(a)、(b)及び(c)は、比較部1002が実行する、辞書テーブル106のツリー検索の仕組みを示す概略図である。
内積演算部206によって算出されたインデックスビットマップの第一主成分と第二主成分が、それぞれ(P,Q)であるとする。
第一主成分Pは、辞書テーブル106の第一主成分フィールドの値f(i)との距離、すなわち|P−f(i)|が算出される。iは1番目から順にインクリメントされ、第一主成分Pとの距離が算出されると共に、直前の距離と比較され、直前の距離が短い場合に、その直前の第一主成分フィールドのグループが採用される。
図14(b)及び(c)は、横軸が第一主成分の数直線である。第一主成分Pがf(i)に最も近く、且つf(i)より大きな値である場合、第一主成分Pがf(i)に最も近く、且つf(i)より小さな値である場合の、いずれの場合であっても、以下の式(2)が成り立つ。
[Super-Resolution Image Processing Device 101: Tree Search of Dictionary Table 106]
FIGS. 14A, 14 </ b> B, and 14 </ b> C are schematic diagrams illustrating a tree search mechanism of the dictionary table 106 executed by the
Assume that the first principal component and the second principal component of the index bitmap calculated by the inner
The distance between the first principal component P and the value f (i) of the first principal component field of the dictionary table 106, that is, | P−f (i) | is calculated. i is incremented in order from the first, and the distance to the first principal component P is calculated and compared with the immediately preceding distance. When the immediately preceding distance is short, the group of the immediately preceding first principal component field is adopted. Is done.
14B and 14C, the horizontal axis is a number line of the first main component. When the first principal component P is closest to f (i) and is larger than f (i), the first principal component P is closest to f (i) and smaller than f (i). In either case, the following equation (2) holds.
|P−f(i−1)|>|P−f(i)|
|P−f(i)|≦|P−f(i+1)| (2)
| Pf (i-1) |> | Pf (i) |
| Pf (i) | ≦ | Pf (i + 1) | (2)
図14(b)の場合、距離D1402を直前の距離D1401と比較すると、D1401>D1402という関係である。次に、距離D1403を直前の距離D1402と比較すると、D1402<D1403という関係であり、現在注目している距離と直前の距離との大小関係が反転する。
図14(c)の場合、距離D1405を直前の距離D1404と比較すると、D1404>D1405という関係である。次に、距離D1406を直前の距離D1405と比較すると、D1405<D1406という関係であり、現在注目している距離と直前の距離との大小関係が反転する。
このように、第一主成分Pに対し、辞書テーブル106の第一主成分フィールドの値f(i)を最小値から上げていく(iを0からインクリメントする)と、第一主成分Pとの大小関係が途中で変わる。この時点の辞書テーブル106の第一主成分フィールドの値f(i)が、第一主成分Pに最も近い距離のグループである。
In the case of FIG. 14B, when the distance D1402 is compared with the immediately preceding distance D1401, the relationship is D1401> D1402. Next, when the distance D1403 is compared with the immediately preceding distance D1402, the relationship is D1402 <D1403, and the magnitude relationship between the currently focused distance and the immediately preceding distance is reversed.
In the case of FIG. 14C, when the distance D1405 is compared with the immediately preceding distance D1404, the relationship is D1404> D1405. Next, when the distance D1406 is compared with the immediately preceding distance D1405, the relationship is D1405 <D1406, and the magnitude relationship between the currently focused distance and the immediately preceding distance is reversed.
As described above, when the value f (i) of the first principal component field of the dictionary table 106 is increased from the minimum value with respect to the first principal component P (i is incremented from 0), The size relationship changes. At this time, the value f (i) of the first principal component field of the dictionary table 106 is a group having a distance closest to the first principal component P.
[辞書作成装置109及び超解像画像処理装置101の仕組み]
画像を微視的に観察すると、画像の種類に応じて、隣接するビットマップにはある種の相関性が見受けられる。そこで、微視的にビットマップを抜き出して、その相関性に基づいてビットマップを補完することで、失われた高周波成分を類推することができる。相関性を有する、ということは、ビットマップの補完に用いるデータを辞書テーブル106にして検索をかけることで実現できることを意味する。更に、相関性を有する、ということは、相関性の類似する同一のカテゴリやグループに属するパターンが多いことを示している。
発明者は、MPウェーブレット逆変換処理に辞書を用いて超解像画像処理を実現することを最初に思いついた。予め、辞書に極小なビットマップのパターンと、これに対応する、補完用ビットマップパターンを組にして保持しておく。そして、入力画像データ104から極小なビットマップを抜き出して辞書検索を行い、検索にヒットした補完用ビットマップパターンを用いて、超解像画像処理を実現する。
[Mechanism of
When an image is observed microscopically, a certain kind of correlation is found in adjacent bitmaps according to the type of image. Therefore, a high-frequency component lost can be inferred by microscopically extracting the bitmap and complementing the bitmap based on the correlation. Having a correlation means that it can be realized by performing a search using the dictionary table 106 with data used for bitmap interpolation. Furthermore, having a correlation indicates that there are many patterns belonging to the same category or group having a similar correlation.
The inventor first came up with the realization of super-resolution image processing using a dictionary for MP wavelet inverse transform processing. In advance, a minimal bitmap pattern and a corresponding complementary bitmap pattern are stored in the dictionary as a set. Then, a minimal bitmap is extracted from the
入力画像データ104から作成される極小なビットマップの数は膨大なものとなり、その数はそのまま辞書に対する検索と超解像画像処理の回数となる。したがって、辞書アクセス及び超解像画像処理に要する時間は極力短いことが望ましい。
発明者は、超解像画像処理に要する時間を短縮するために、MPウェーブレット変換を開発した。
そして発明者は今般、超解像画像処理に用いる辞書アクセスに要する時間を短縮するために、主成分分析を用いた辞書の最適化を開発した。
The number of extremely small bitmaps created from the
The inventor has developed an MP wavelet transform to reduce the time required for super-resolution image processing.
The inventor has recently developed optimization of a dictionary using principal component analysis in order to shorten the time required for accessing a dictionary used for super-resolution image processing.
説明を簡単にするため、図5及び図6を例にして説明する。
辞書のレコード数を低減する最も素朴な方法としては、クラスタリングが挙げられる。インデックス、第一高周波、第二高周波及び第三高周波の数値パターンが類似するレコードを複数集めて、各々の平均値を取る。しかし、この場合、インデックスに含まれるデータは4個の要素を持つ行列である。複数の要素を持ち、それぞれの要素に重み付けがない場合、検索速度の向上は期待できない。また、クラスタリングの場合、インデックスに含まれる要素数が多くなればなるほど、指数関数的に検索速度が遅くなることが容易に想像できる。
In order to simplify the explanation, FIG. 5 and FIG. 6 will be described as an example.
The simplest way to reduce the number of records in the dictionary is clustering. A plurality of records having similar numerical patterns of the index, the first high frequency, the second high frequency, and the third high frequency are collected and each average value is taken. However, in this case, the data included in the index is a matrix having four elements. If there are multiple elements and each element is not weighted, the search speed cannot be improved. In the case of clustering, it can be easily imagined that the search speed decreases exponentially as the number of elements included in the index increases.
前述の検索速度の問題に関し、発明者は、多次元のデータをより少ない次元のデータに置き換える主成分分析が有効であることに気が付いた。主成分分析を用いれば、どれほど要素数の多い行列データの集合であっても、第一主成分及び第二主成分というスカラ値で表現することができる。なお、必要であれば第三主成分以降も設けることができる。 Regarding the search speed problem described above, the inventor has realized that principal component analysis in which multidimensional data is replaced with data with fewer dimensions is effective. If principal component analysis is used, a matrix data set having a large number of elements can be expressed by scalar values of a first principal component and a second principal component. If necessary, the third main component and the subsequent components can be provided.
主成分分析は、多次元の行列データの集合に対して重心を算出した後、その重心を通過して全ての行列データが最も大きく散らばる軸、すなわち分散が最大になる軸を第一主成分軸として算出する。なお、実際に算出するものは第一主成分軸の基底ベクトルである。この第一主成分基底ベクトル107に、目的となる行列とを内積演算すると、第一主成分軸上における重心からの距離を算出できる。
そして更に、重心を通過し、第一主成分軸と直交し、且つ分散が最大になる軸を第二主成分軸として算出する。これも実際に算出するものは第二主成分軸の基底ベクトルである。この第二主成分基底ベクトル108も、目的となる行列とを内積演算すると、第二主成分軸上における重心からの距離を算出できる。
Principal component analysis calculates the center of gravity for a set of multidimensional matrix data, and then passes through the center of gravity and the axis where all the matrix data is scattered the most, that is, the axis with the largest variance is the first principal component axis. Calculate as Note that what is actually calculated is the basis vector of the first principal component axis. By calculating the inner product of the first principal
Further, an axis that passes through the center of gravity, is orthogonal to the first principal component axis, and has the maximum dispersion is calculated as the second principal component axis. What is also actually calculated is the basis vector of the second principal component axis. If the second principal
実際に画像データのビットマップに主成分分析を行うと、第一主成分軸及び第二主成分軸上のそれぞれに、データが密集する箇所が幾つか発生する。これは、画像データの性質に基づく傾向で、類似するビットマップが頻出するところである。このように、ばらつき具合に特徴ある傾向を示すデータ群に対し、主成分軸上で均等な数によるグルーピングを行う。そして、グルーピングを行った結果、同じグループに属するデータ群に対し、平均値を算出して、そのグループの代表値とする。
第一主成分軸と第二主成分軸は直交関係にあるので、最初に第一主成分で検索してレコードの絞り込みを行い、次に同じ第一主成分に属する複数のレコードに対して第二主成分で更に絞り込みを行う。これは周知のツリー検索であり、辞書に対するアクセス回数を効果的に低減する方法である。
When the principal component analysis is actually performed on the bitmap of the image data, there are some places where the data is concentrated on the first principal component axis and the second principal component axis. This is a tendency based on the nature of the image data, where similar bitmaps frequently appear. As described above, a group of data with a uniform number on the principal component axis is performed on a data group that shows a tendency characteristic of variation. Then, as a result of grouping, an average value is calculated for a data group belonging to the same group and used as a representative value of the group.
Since the first principal component axis and the second principal component axis are orthogonal to each other, the search is first performed by the first principal component to narrow down the records, and then the second principal component axis is searched for a plurality of records belonging to the same first principal component. Further refinement is performed with two main components. This is a well-known tree search, and is a method for effectively reducing the number of accesses to the dictionary.
本実施形態は、以下のような応用例が考えられる。
(1)上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置101の入力画像データ104(ソース)は動画像であってもよい。この場合、インデックスビットマップは時間軸を考慮したものとなる。例えば、時間軸上で隣り合う2枚の画像を対象にして、縦2ピクセル×横2ピクセル×2サンプル数=8ピクセルをインデックスとし、第一高周波、第二高周波及び第三高周波を生成する。
In this embodiment, the following application examples can be considered.
(1) In the above-described embodiment, an apparatus for a monochrome still image has been described. However, the input image data 104 (source) of the super-resolution
(2)上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置101の入力画像データ104(ソース)はカラー画像であってもよい。この場合、インデックスビットマップは三原色を考慮したものとなる。つまり、各々のビットマップを構成するピクセルの個数が単純に三倍になる。
勿論、扱う画像はカラーの動画像であってもよい。
(2) In the above-described embodiment, an apparatus for a monochrome still image has been described. However, the input image data 104 (source) of the super-resolution
Of course, the image to be handled may be a color moving image.
(3)例えば、アニメーションやコンピュータグラフィックス等の別の映像に実写の人物を合成する、周知のクロマキー合成によって生成される画像データの場合、一つの画像データ内に複数の全く異なる特徴を備えた部分が混在することとなる。このような画像データの場合は、予め異なる特徴の画像部分とを切り分けて、夫々に適した辞書テーブル等を用いて超解像画像処理を施すことが望ましい。 (3) For example, in the case of image data generated by well-known chroma key composition that synthesizes a live-action person with another video such as animation or computer graphics, one image data has a plurality of completely different features. The parts will be mixed. In the case of such image data, it is desirable that image portions having different characteristics are separated in advance and super-resolution image processing is performed using a dictionary table or the like suitable for each.
(4)周知のように、主成分分析では、主成分分析の対象となる行列の要素数が膨大で、第一主成分軸と第二主成分軸だけでは集合の絞り込みを良好に実施できない場合に、第一主成分軸及び第二主成分軸の双方に直交し、最も分散が大きい第三主成分軸を算出することが行われる。そして、主成分軸は第四、第五…と、その用途に応じて増やすことも可能である。これは本実施形態の超解像画像処理装置101及び辞書作成装置109にも同じことが言える。つまり、辞書テーブル等に含まれる主成分軸の基底ベクトルは、必ずしも第一主成分軸と第二主成分軸だけではなく、必要に応じて第三主成分軸を含めることができる。そして、その際、辞書テーブル106にもこれに応じて「第三主成分」フィールド等が追加されることとなる。
(4) As is well known, in the principal component analysis, the number of elements of the matrix to be subjected to the principal component analysis is enormous, and the set cannot be narrowed down only by the first principal component axis and the second principal component axis. In addition, a third principal component axis that is orthogonal to both the first principal component axis and the second principal component axis and has the largest variance is calculated. The principal component axis can be increased according to the fourth, fifth,... The same applies to the super-resolution
(5)本実施形態の辞書作成装置109では、並べ替え処理部204という処理手順を設けているが、これは説明の便宜上、データの扱いを理解し易くするために明示的に記述した処理内容である。実際の装置では、このような実データのコピーを行わずとも、周知のポインタ操作で同等の処理をより高速に実現できる。
同様のことは、超解像画像処理装置101のマッピング処理部1003にも当てはまる。
(5) In the
The same applies to the
本実施形態においては、超解像画像処理装置101と、これに用いる辞書作成装置109を開示した。
汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置101は、先ず、処理対象とする画像をシーンに分けた。そして、シーンに適合する辞書テーブル106を用いて、失われた高周波成分を辞書に対するツリー検索にて類推した。
そして、辞書テーブル106の検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを施し、その平均値を算出することで、辞書テーブル106の必要レコード数を大幅に低減することに成功した。
これらの技術の採用により、少ない計算量で高速に実行できる、汎用性が高く実用的な超解像画像処理装置101を実現できる。
In the present embodiment, the super-resolution
In order to execute highly versatile super-resolution image processing in a short time, the super-resolution
Then, in order to speed up the search of the dictionary table 106, the principal component analysis is used to convert the index bitmap serving as a search key into the first principal component and the second principal component which are scalar values, and the first principal component And the second principal component are grouped, and the average value thereof is calculated, thereby successfully reducing the number of required records in the dictionary table 106.
By adopting these technologies, it is possible to realize a highly versatile and practical super-resolution
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。 The embodiment of the present invention has been described above. However, the present invention is not limited to the above-described embodiment, and other modifications may be made without departing from the gist of the present invention described in the claims. Includes application examples.
101…超解像画像処理装置、102…デジタルカメラ、103…画像ファイル、104…入力画像データ、105…出力画像データ、106…辞書テーブル、107…第一主成分基底ベクトル、108…第二主成分基底ベクトル、109…辞書作成装置、110…サンプル画像ファイル、201…分解処理部、202…一時テーブル、203…MPウェーブレット変換部、204…処理部、205…主成分分析処理部、206…内積演算部、207…頻度分割処理部、208…平均値演算部、501…分割ビットマップ、502…分解ビットマップ、503…変換ビットマップ、1001…インデックス作成部、1002…比較部、1003…マッピング処理部、1004…MPウェーブレット逆変換部、1005…超解像画像ファイル
DESCRIPTION OF
Claims (3)
前記インデックスビットマップに対して、第一主成分基底ベクトルとの内積を演算して第一主成分を算出し、第二主成分基底ベクトルとの内積を演算して第二主成分を算出する内積演算部と、
前記第一主成分及び前記第二主成分を用いて辞書テーブルを検索し、前記第一主成分及び前記第二主成分に最も近いレコードを得る比較部と、
前記レコードに含まれている高周波成分と前記インデックスビットマップを用いて超解像ビットマップを算出する超解像ビットマップ生成部と
を具備する超解像画像処理装置。 An index creation unit for generating an index bitmap consisting of a predetermined number of pixels from input image data;
Inner product with respect to the index bitmap, by calculating the inner product of the first principal component basis vectors calculates a first principal component, calculates a second principal component by computing the inner product of the second principal component basis vectors An arithmetic unit;
A comparison unit that searches the dictionary table using the first principal component and the second principal component, and obtains a record closest to the first principal component and the second principal component;
A super-resolution image processing apparatus comprising: a super-resolution bitmap generation unit that calculates a super-resolution bitmap using the high-frequency component included in the record and the index bitmap.
請求項1記載の超解像画像処理装置。 The comparison unit narrows down the dictionary table with the first principal component, and then specifies a record with the second principal component.
The super-resolution image processing apparatus according to claim 1.
サンプル画像ファイルから所定のアドレスのピクセルを含む一つの範囲に含まれる複数のピクセルを分割ビットマップとして取り出した後、前記分割ビットマップを四以上の数の領域である分解ビットマップとして等分して、複数の前記分解ビットマップをそれぞれ前記一時テーブルの分解ビットマップ格納フィールド群に格納する分解処理部と、
前記分解ビットマップ格納フィールド群に格納されている複数の前記分解ビットマップに対して所定の代数変換処理を施して、得られた演算結果である変換ビットマップをそれぞれ前記一時テーブルの変換ビットマップ格納フィールド群に格納する代数変換処理部と、
前記変換ビットマップ格納フィールド群に格納されている複数の前記変換ビットマップからインデックスとなるデータ列に対して主成分分析を実行して、超解像画像処理装置に用いる第一主成分基底ベクトルと第二主成分基底ベクトルを算出する主成分分析処理部と、
前記一時テーブルの各レコードの前記インデックスと前記第一主成分基底ベクトルを内積演算して前記インデックスの第一主成分を算出して前記一時テーブルの第一主成分フィールドに格納すると共に、前記インデックスと前記第二主成分基底ベクトルを内積演算して前記インデックスの第二主成分を算出して前記一時テーブルの第二主成分フィールドに格納する内積演算部と、
前記一時テーブルのレコードを前記第一主成分フィールドの値及び前記第二主成分フィールドの値でグルーピングする頻度分割処理部と、
前記頻度分割処理部によってグルーピングされた前記一時テーブルの複数のレコードに含まれる各スカラ値に対して平均値を算出して、前記超解像画像処理装置に用いる辞書テーブルを作成する平均値演算部と
を具備する超解像画像処理用辞書作成装置。 A temporary table,
After extracting a plurality of pixels included in one range including a pixel at a predetermined address from the sample image file as a divided bitmap, the divided bitmap is equally divided into four or more regions as a divided bitmap. A decomposition processing unit that stores a plurality of decomposition bitmaps in a decomposition bitmap storage field group of the temporary table;
A predetermined algebraic conversion process is performed on the plurality of decomposition bitmaps stored in the decomposition bitmap storage field group, and conversion bitmaps that are obtained as the operation results are stored in the conversion bitmaps of the temporary table, respectively. An algebra conversion processing unit for storing in a field group;
A principal component analysis is performed on a data string serving as an index from the plurality of converted bitmaps stored in the converted bitmap storage field group, and a first principal component basis vector used for the super-resolution image processing device A principal component analysis processing unit for calculating a second principal component basis vector;
The index of each record of the temporary table and the first principal component basis vector are subjected to inner product calculation to calculate the first principal component of the index and store it in the first principal component field of the temporary table; Calculating an inner product of the second principal component basis vector to calculate a second principal component of the index and storing it in a second principal component field of the temporary table;
A frequency division processing unit for grouping the records of the temporary table by the value of the first principal component field and the value of the second principal component field;
An average value calculation unit that calculates an average value for each scalar value included in a plurality of records of the temporary table grouped by the frequency division processing unit and creates a dictionary table used in the super-resolution image processing apparatus A dictionary creation device for super-resolution image processing comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156515A JP5769241B2 (en) | 2011-07-15 | 2011-07-15 | Super-resolution image processing device and super-resolution image processing dictionary creation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156515A JP5769241B2 (en) | 2011-07-15 | 2011-07-15 | Super-resolution image processing device and super-resolution image processing dictionary creation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013026659A JP2013026659A (en) | 2013-02-04 |
JP5769241B2 true JP5769241B2 (en) | 2015-08-26 |
Family
ID=47784583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011156515A Expired - Fee Related JP5769241B2 (en) | 2011-07-15 | 2011-07-15 | Super-resolution image processing device and super-resolution image processing dictionary creation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5769241B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103356238B (en) * | 2013-04-11 | 2015-02-11 | 汕头大学 | High resolution ultrasonic imaging method |
CN103279933B (en) * | 2013-06-07 | 2016-10-26 | 重庆大学 | A kind of single image super resolution ratio reconstruction method based on bilayer model |
CN105453132B (en) | 2013-08-15 | 2019-04-05 | 日本电气株式会社 | The information processing equipment and image processing method of real-time image processing |
JP5937661B2 (en) | 2014-11-13 | 2016-06-22 | みずほ情報総研株式会社 | Information prediction system, information prediction method, and information prediction program |
CN104574336B (en) * | 2015-01-19 | 2017-08-01 | 上海交通大学 | Super-resolution image reconstruction system based on adaptive sub- mould dictionary selection |
WO2017070841A1 (en) * | 2015-10-27 | 2017-05-04 | 华为技术有限公司 | Image processing method and apparatus |
KR101882704B1 (en) | 2017-12-18 | 2018-07-27 | 삼성전자주식회사 | Electronic apparatus and control method thereof |
US11074671B2 (en) | 2017-12-18 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
CN109064399B (en) * | 2018-07-20 | 2023-01-24 | 广州视源电子科技股份有限公司 | Image super-resolution reconstruction method and system, computer device and storage medium thereof |
CN109741254B (en) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | Dictionary training and image super-resolution reconstruction method, system, equipment and storage medium |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2639323B2 (en) * | 1993-11-29 | 1997-08-13 | 日本電気株式会社 | Image magnifier |
JPH1169145A (en) * | 1997-08-19 | 1999-03-09 | Canon Inc | Image processor and image processing method |
JP4491701B2 (en) * | 2000-09-01 | 2010-06-30 | ソニー株式会社 | Data processing apparatus, data processing method, and recording medium |
JP2002170112A (en) * | 2000-12-04 | 2002-06-14 | Minolta Co Ltd | Computer readable recording medium recording resolution conversion program, and resolution conversion apparatus and method |
JP2004303187A (en) * | 2003-09-12 | 2004-10-28 | Matsushita Electric Ind Co Ltd | Image processing apparatus, image processing method and image processing system |
JP2006350498A (en) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | Image processor and image processing method and program |
US20070103595A1 (en) * | 2005-10-27 | 2007-05-10 | Yihong Gong | Video super-resolution using personalized dictionary |
WO2009019808A1 (en) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | Image data generating apparatus, method, and program |
JP2009134350A (en) * | 2007-11-28 | 2009-06-18 | Toshiba Corp | Method and apparatus for improving quality of image |
-
2011
- 2011-07-15 JP JP2011156515A patent/JP5769241B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013026659A (en) | 2013-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5769241B2 (en) | Super-resolution image processing device and super-resolution image processing dictionary creation device | |
Huang et al. | Video super-resolution via bidirectional recurrent convolutional networks | |
Zhou et al. | Global and local translation designs of quantum image based on FRQI | |
JPH10198337A (en) | High speed aspect ratio zooming and thumbnail operation using compression and ceiling | |
JP2007280284A (en) | Method and device for enhancing resolution of image | |
KR20210109719A (en) | Method and Apparatus for Video Colorization | |
Liu et al. | Bit-depth enhancement via convolutional neural network | |
Zhang et al. | Seam warping: a new approach for image retargeting for small displays | |
Friedrich et al. | On the potential and challenges of neural style transfer for three-dimensional shape data | |
JP5892592B2 (en) | Super-resolution image processing apparatus and code book creation apparatus for super-resolution image processing | |
Wang et al. | Efficient super-resolution using mobilenetv3 | |
Zou et al. | LMSN: a lightweight multi-scale network for single image super-resolution | |
Hsin | Combination of saliency histogram equalisation and seam carving for image resizing | |
Zhang et al. | Cross-cbam: A lightweight network for scene segmentation | |
Zhang et al. | Multispectral image fusion using super-resolution conditional generative adversarial networks | |
Zhong et al. | Steganography in stylized images | |
Kamble et al. | Color video compression based on fractal coding using quadtree weighted finite automata | |
CN112188199A (en) | Method and device for self-adaptive point cloud attribute coding, electronic equipment and storage medium | |
Li et al. | Lightweight image super-resolution network using 3D convolutional neural networks | |
Yun et al. | Design of reconfigurable array processor for multimedia application | |
Kesana et al. | Compressed domain zoom motion classification using local tetra patterns | |
Pandey et al. | Improved single image super-resolution based on compact dictionary formation and neighbor embedding reconstruction | |
Liu et al. | MFPWTN: a multi-frequency parallel wavelet transform network for remote sensing image super-resolution | |
Hsin | Compressed domain image resizing based on saliency histogram equalisation and seam carving | |
JP6031566B1 (en) | Feature extraction device, image search device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5769241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |