JP5892592B2 - 超解像画像処理装置及び超解像画像処理用コードブック作成装置 - Google Patents

Description

本発明は、超解像画像処理装置及び超解像画像処理用コードブック作成装置に適用して好適な技術に関する。
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置に関する。

超解像技術とは、低解像度の原画像から高解像度の画像を生成することで、違和感の少ない拡大画像を得るための技術である。この超解像技術は、テレビやパソコン等といった画像閲覧装置の高解像度化に伴い、注目され、一部の民生機器等で採用されている。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高解像度化することで、社会基盤の安全性向上に寄与できる可能性もある。

前述のように、超解像技術は違和感のない拡大画像を得るための技術であるが、これは転じて「失われた高周波成分を類推する」技術である。
例えば、ある画像データのピクセルサイズを縦横１／２倍ずつ、１／４倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横２倍ずつ、４倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。

これまで、多くの研究者が超解像画像処理の技術を開発している。発明者が本発明の先行技術文献として参考にした非特許文献を非特許文献１乃至５に挙げる。これらの技術は、予め「高周波成分の辞書ファイル」とも呼べるコードブックを作成しておき、入力画像データから微視的な局所領域を抜き出して、局所領域のデータでコードブックを検索する、という手法において共通する。

W. T. Freeman, E. C. Pasztor, O. T. Carmichael, Learning Low-Level Vision, International Journal of Computer Vision, 40(1), pp. 25-47, 2000.［２０１１年１１月２１日検索］、インターネット＜URL:http://www.stat.ucla.edu/~sczhu/workshops/sctv99/papers/freeman_sctv99.pdf＞ J. Sun, N. N. Zheng, H. Tao, and S. H.-Y. Generic image hallucination with primal sketch prior. CVPR, 2003.［２０１１年１１月２１日検索］、インターネット＜URL:http://research.microsoft.com/en-us/um/people/jiansun/papers/Hallucination_CVPR03.pdf＞ 「自己分解コードブックとマハラノビス距離を用いた画像拡大法」河野 英昭、末竹 規哲、車 炳キ、麻生 隆史、電子情報通信学会論文誌、J91-D,vol. 8, pp. 1983-1985,［２０１１年１２月１６日検索］、インターネット＜URL:http://ci.nii.ac.jp/naid/110007385952/＞ Super-Resolution from a Single Image, D. Glasner, S. Bagon, and M. Irani, ICCV 2009.［２０１１年１１月２１日検索］、インターネット＜URL:http://www.wisdom.weizmann.ac.il/~vision/single_image_SR/files/single_image_SR.pdf＞ J. Sun, J. Sun, Z. B. Xu, and H.-Y. Shum, "Image super-resolution using gradient profile prior," in Proceedings of IEEE Computer Society Conference Computer Vision and Pattern Recogition, 2008.［２０１１年１１月２１日検索］、インターネット＜URL:http://nguyendangbinh.org/Proceedings/CVPR/2008/data/papers/319.pdf＞

非特許文献１乃至５に開示される先行技術には、超解像画像の再現性や、コードブックのデータサイズに難点がある。再現性が低ければ画像の品質が低下する。コードブックのデータサイズが大きいと演算速度の低下や装置の大型化に繋がり、実用性が低下する。

本発明はかかる課題に鑑みてなされたものであり、比較的少ないハードウェアリソースで高い再現性を実現する、実用的な超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置を提供することを目的とする。

上記課題を解決するために、本発明の超解像画像処理装置は、入力画像データを拡大する拡大処理部と、拡大処理部で拡大された入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、入力局所領域低周波成分を入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックとを具備する。更に、入力局所領域正規化低周波成分に基づいてコードブックをツリー検索して所定のレコード群を特定するツリー探索部と、入力局所領域正規化低周波成分と所定のレコード群の正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、ベクトル類似度演算部によって特定されたレコードの正規化高周波成分と、入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、局所領域高周波成分と入力局所領域低周波成分とを加算する加算器と、入力局所領域正規化低周波成分とコードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、入力局所領域正規化低周波成分とコードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器とを具備する。コードブックは、正規化低周波成分フィールドと、正規化高周波成分フィールドと、正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、第一主成分グループ番号が等しいレコードのうち第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有する。ツリー探索部は、第一主成分値と第二主成分値でコードブックをツリー検索して所定のレコード群を特定する。

また、上記課題を解決するために、本発明の超解像画像処理用コードブック作成装置は、サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、正規化した低周波成分が格納される正規化低周波成分フィールドと正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、評価用画像データを所定の矩形範囲で抜き出した局所領域毎に原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して原コードブックのレコードを選定してコードブックを作成するレコード選定処理部とを具備する。主成分分析処理部は、コードブックに、コードブックの正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、第一主成分グループ番号が等しいレコードのうち第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する。

超解像画像処理に用いるコードブックを作成する際、高品位な出力を得られるレコードだけを選定して、検索速度と画像再現性を向上させる。また、主成分分析を用いてコードブックのレコードをグルーピングすることで、ベクトル演算のステップ数をできる限り低減させる。

本発明により、比較的少ないハードウェアリソースで高い再現性を実現する、実用的な超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置を提供できる。

本発明の実施形態の例である、超解像画像処理装置とコードブック作成装置の概略図である。 コードブック作成装置の機能ブロック図である。 コードブック作成装置によるコードブック作成処理のフローチャートである。 コードブックレコード作成部の機能ブロック図である。 コードブックレコード作成部による、コードブックレコード作成処理の流れを示すフローチャートである。 局所領域の取得方法を説明する概念図である。 画像の低周波成分と高周波成分の関係を説明する概略図である。 レコード選定処理部の機能ブロック図である。 レコード選定処理部による、レコード選定処理の流れを示すフローチャートである。 レコード選定処理部による、レコード選定処理の流れを示すフローチャートである。 主成分分析処理部が実施する処理とデータとの関係を示す概略図である。 主成分分析処理部による、主成分分析処理の流れを示すフローチャートである。 主成分分析処理部による主成分分析処理の処理内容を説明する概略図である。 主成分分析処理部による主成分分析処理の処理内容を説明する概略図である。 超解像画像処理装置の機能ブロック図である。 超解像画像処理装置による、超解像画像処理の流れを示すフローチャートである。 超解像画像処理装置による、超解像画像処理の流れを示すフローチャートである。

本実施形態では、超解像画像処理装置とコードブック作成装置を説明する。
超解像画像処理装置は、入力画像データを所定の倍率で拡大する装置である。画像を拡大する際、超解像画像処理装置は入力画像データに存在しない、高周波成分を推定する。この推定は、入力画像データを矩形範囲で細分化した局所領域毎に、コードブックという辞書ファイルを検索することで実現する。
超解像画像処理装置の性能は、超解像画像処理に要する時間と、超解像画像データの再現性で評価される。
本実施形態に係る超解像画像処理装置は、超解像画像処理に要する時間を短縮させるために、インデキシングに主成分分析を用いて、演算ステップ数を低減させている。
また、本実施形態に係る超解像画像処理装置が超解像画像データの再現性を向上させるために、コードブック作成装置はコードブックを作成する過程で、良質のレコードのみ選択する処理を実行している。

［全体構成］
図１は、本発明の実施形態の例である、超解像画像処理装置とコードブック作成装置の概略図である。
超解像画像処理装置１０１は、デジタルカメラ１０２や画像ファイル１０３等から、縦ｍピクセル×横ｎピクセルの入力画像データ１０４を受け取ると、縦ｋ・ｍピクセル×横ｋ・ｎピクセルの出力画像データ１０５を生成する。ここで、ｋは１より大きい整数であり、ｍ及びｎは２以上の自然数である。
超解像画像処理装置１０１が処理する画像は、静止画像であっても動画像であってもよい。本実施形態では説明を簡単にするため、静止画像を中心に説明する。

超解像画像処理装置１０１は、入力画像データ１０４に対して超解像画像処理を施して出力画像データ１０５を生成する際、失われた高周波成分を類推するために、コードブック１０６と、第一主成分基底ベクトル１０７と、第二主成分基底ベクトル１０８と、第三主成分基底ベクトル１０９とを用いる。これらのデータはコードブック作成装置１１０によって生成され、予め超解像画像処理装置１０１に組み込まれる。
コードブック作成装置１１０は、一つ以上のサンプル画像データ１１１と一つ以上の評価用画像データ１１２を受け取ると、後述する所定の演算処理を行うことで、コードブック１０６と、第一主成分基底ベクトル１０７と、第二主成分基底ベクトル１０８と、第三主成分基底ベクトル１０９とを生成する。
ここで、コードブック１０６、第一主成分基底ベクトル１０７、第二主成分基底ベクトル１０８及び第三主成分基底ベクトル１０９は、これら四つで一つの組である。これ以降、コードブック１０６、第一主成分基底ベクトル１０７、第二主成分基底ベクトル１０８及び第三主成分基底ベクトル１０９をまとめて「コードブック１０６等」と呼ぶ。

図１では、超解像画像処理装置１０１の具体的な実装形態について明記していないが、超解像画像処理装置１０１は画像データを処理する演算装置であるので、様々な形態で実装可能である。
例えば、超解像画像処理装置１０１を周知のパソコンにインストールするプログラムとして実現することができる。その際、コードブック１０６等はハードディスク装置等の不揮発性ストレージに格納されるであろう。
また、デジタルカメラ１０２のファームウェアとして、デジタルカメラ１０２に組み込むこともできる。
更には、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（programmable logic device）やＡＳＩＣ（Application Specific Integrated Circuit）等を用いて実現することもできる。

図１では、コードブック作成装置１１０の具体的な実装形態について明記していないが、コードブック作成装置１１０はサンプル画像データ１１１からコードブック１０６等を生成する演算装置であるので、前述の超解像画像処理装置１０１と同様に、様々な形態で実装可能である。コードブック作成装置１１０は、例えばパソコン等にインストールされて実行されるプログラムで実現され、超解像画像処理装置１０１が製造される工場等の生産現場に設けられ、シーンに応じたコードブック１０６等を生成する。
ここでシーンとは、画像の特色をいう。例えば風景の撮影画像であったり、医療用レントゲン画像であったり、或はアニメーション等である。風景の撮影画像の場合、そのピクセルパターンには中間色や中間輝度が多く現れる。一方、アニメーションの画像の場合、輪郭が明確であり、色彩や輝度がある境界で急激に変化する（エッジの効いた）ピクセルパターンが多く見受けられる。このように、画像にはそのシーンに応じた特色がある。
そこで、サンプル画像データ１１１はシーンに応じた画像が集められ、コードブック１０６等の基となる。どのようなシーンに対しても最適な超解像処理ができる万能なコードブック１０６等を作成することは困難であるが、シーンに最適化したコードブック１０６等を作成することで、超解像画像処理装置１０１が適用されるシーンに適したコードブック１０６等を与えることができる。勿論、複数のコードブック１０６等を用意して、超解像画像処理装置１０１がシーンに応じてコードブック１０６等を切り替えることで、シーンに最適な超解像画像処理を実現することができる。また、シーンを細分化すればするほど、そのシーンにより適合したコードブック１０６等を作成することができ、より再現度の高い超解像画像処理を実現することができる。

コードブック１０６、第一主成分基底ベクトル１０７、第二主成分基底ベクトル１０８及び第三主成分基底ベクトル１０９は、その名称から明らかなように、周知の主成分分析を経て形成されている。このため、コードブック１０６と、第一主成分基底ベクトル１０７、第二主成分基底ベクトル１０８及び第三主成分基底ベクトル１０９は密接な関係を有する。この関係の詳細は、コードブック作成装置１１０の説明にて後述する。

なお、説明を容易にするために、これ以降の実施形態の説明では、コードブック作成装置１１０及び超解像画像処理装置１０１が取り扱う画像は白黒の静止画像であり、一つのピクセルは８ビットとする。このため、一つのピクセルは０〜２５５の輝度データである。

［コードブック作成装置１１０：全体構成］
図２は、コードブック作成装置１１０の機能ブロック図である。
コードブックレコード作成部２０１は、一以上のサンプル画像データ１１１を読み込み、原コードブック２０２を作成する。これが、超解像画像処理に用いるコードブック１０６の基となる。
次に、レコード選定処理部２０３は評価用画像データ１１２を読み込み、原コードブック２０２から所定の条件を満たすレコードのみを選定して、コードブック１０６へ複写する。
次に、主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル１０７と、第二主成分基底ベクトル１０８と、第三主成分基底ベクトル１０９とを算出する。
また、主成分分析処理部２０４は、コードブック１０６の各レコードを、第一主成分値、第二主成分値及び第三主成分値でグルーピングする。
この主成分分析処理部２０４によって、コードブック１０６のレコードに、検索処理のための索引情報となるグループ番号が付与される。
なお、コードブック１０６のフィールド構成については図１１にて後述する。

［コードブック作成装置１１０：フローチャート］
図３は、コードブック作成装置１１０によるコードブック作成処理のフローチャートである。
処理を開始すると（Ｓ３０１）、コードブックレコード作成部２０１はサンプル画像データ１１１を読み込み、原コードブック２０２を作成する（Ｓ３０２）。
次に、レコード選定処理部２０３は評価用画像データ１１２を読み込み、原コードブック２０２から所定の条件を満たすレコードのみを選定して、コードブック１０６へ複写する（Ｓ３０３）。
次に、主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル１０７と、第二主成分基底ベクトル１０８と、第三主成分基底ベクトル１０９とを算出した後、コードブック１０６の各レコードを、第一主成分値、第二主成分値及び第三主成分値でグルーピングして（Ｓ３０４）、一連の処理を終了する（Ｓ３０５）。

［コードブックレコード作成部２０１：全体構成及びフローチャート］
図４は、コードブックレコード作成部２０１の機能ブロック図である。
図５は、コードブックレコード作成部２０１による、コードブックレコード作成処理の流れを示すフローチャートである。
以下、図５のフローチャートを説明しつつ、図４のブロック図を説明する。
処理を開始すると（Ｓ５０１）、縮小処理部４０１はサンプル画像データ１１１を読み込み、サンプル画像データ１１１を１／（ｋ×ｋ）倍に縮小して、縮小画像データ４０２を得る（Ｓ５０２）。

次に、Ｂｉｃｕｂｉｃ拡大処理部４０３は縮小画像データ４０２を読み込み、周知のＢｉｃｕｂｉｃアルゴリズムにて拡大処理を行う（Ｓ５０３）。そして、エッジ領域判定部４０４はＢｉｃｕｂｉｃ拡大処理部４０３が生成した拡大画像データから局所領域を抜き出して、局所領域内のピクセルデータに変動成分があるか否かを判定し、変動成分がある局所領域のみ抜き出して、サンプルＢｉｃｕｂｉｃ画像データ４０５を生成する（Ｓ５０４）。
画像を拡大するアルゴリズムはＢｉｃｕｂｉｃ法以外にも種々存在するが、本実施形態では、現在広く普及しているアルゴリズムの中で最もシャープな画像を得られる、という理由でＢｉｃｕｂｉｃ法を採用している。

局所領域とは、本実施形態の超解像画像処理装置１０１及びコードブック作成装置で共通する、画像処理の単位である。膨大なピクセルデータの集合体である画像データを、微小な矩形範囲で区切って、縦ｐピクセル×横ｑピクセルの局所領域を構成する。本実施形態の超解像画像処理装置１０１及びコードブック作成装置１１０は、その矩形範囲に含まれるピクセルデータに対して、種々の演算処理を施す。一例として、本実施形態の場合は、縦５ピクセル、横５ピクセルの、合計２５ピクセルで局所領域を構成する。

図６は、局所領域の取得方法を説明する概念図である。
コードブックレコード作成処理において、コードブックレコード作成部２０１は、局所領域を縦及び横に１ピクセルずつ移動して生成する。

図５に戻って説明を続ける。
次に、ノルムデータ演算部４０６はサンプルＢｉｃｕｂｉｃ画像データ４０５を読み込み、局所領域毎にノルム(norm)を算出する。ノルムは周知の以下の式によって算出する。

つまり、各ピクセルの値（輝度値）を二乗して、それら二乗した値を全て加算した後、その加算値の平方根を求める。このノルムを、サンプルＢｉｃｕｂｉｃ画像データ４０５に存在し得る全ての局所領域に対して演算して、ノルムデータ４０７を得る（Ｓ５０５）。
ノルムでサンプルＢｉｃｕｂｉｃ画像データ４０５の局所領域を割ると、得られる値は０から１の間の値に収められる。つまり、絶対値の変化が相対値の変化に換算される。絶対値の変化を相対値の変化に換算することで、絶対値の異なる輝度の変化も輝度の相対的な変化に変換され、データの汎用性が向上する。これ以降、画像データをノルムで除算して得たデータを正規化画像データと呼ぶ。
除算器４０８はサンプルＢｉｃｕｂｉｃ画像データ４０５とノルムデータ４０７を読み込み、局所領域毎に対応するノルムで除算して、正規化低周波成分４０９を得る（Ｓ５０６）。

本実施形態の超解像画像処理装置１０１は、処理対象となる画像データに対して、失われた高周波成分を推定して、局所領域毎に当てはめる。したがって、その前提としてコードブック１０６に高周波成分が含まれている必要がある。
図７は、画像の低周波成分と高周波成分の関係を説明する概略図である。
画像７０１を縮小すると、画像７０１に含まれている高周波成分が失われる。そして、縮小画像７０２を再び元の大きさに拡大すると、高周波成分が失われているために輪郭がぼやけた画像が生成される。これが、元の画像の低周波成分７０３である。この低周波成分７０３を元の画像７０１から減算すると、元の画像の高周波成分７０４が得られる。

図４及び図５に戻って説明を続ける。
図７で説明したように、加算器４１０によってサンプル画像データ１１１からサンプルＢｉｃｕｂｉｃ画像データ４０５を減算すると、サンプル画像データ１１１の高周波成分４１１が得られる（Ｓ５０７）。なお、この減算処理において、エッジ領域判定部４０４で除外された領域は演算の対象外である。
さて、先にステップＳ５０６において、低周波成分をノルムで正規化した。これと同じ処理を高周波成分にも施す必要がある。そこで、除算器４１２は高周波成分４１１とノルムデータ４０７を読み込み、局所領域毎に対応するノルムで除算して、正規化高周波成分４１３を得る（Ｓ５０８）。
最後に、ラスタスキャン処理部４１４は、ステップＳ５０６で得られた正規化低周波成分４０９と、ステップＳ５０８で得られた正規化高周波成分４１３を、共通する局所領域毎にレコードとして組み合わせることで原コードブック２０２を作成して（Ｓ５０９）、一連の処理を終了する（Ｓ５１０）。

［レコード選定処理部２０３：全体構成及びフローチャート］
コードブックレコード作成部２０１によって作成された原コードブック２０２は膨大なレコード数を有する。しかし、このレコード数のうち、実際に実用的な結果を得るレコードは極めて少数である。発明者が試算したところ、原コードブックで実用に耐えうるレコードはおよそ３％程度であった。そこで、評価用の画像データを用いて、超解像画像処理を試してみて、使えるレコードだけを抽出する処理を行う。これがレコード選定処理部２０３の役割である。
図８は、レコード選定処理部２０３の機能ブロック図である。
図９及び図１０は、レコード選定処理部２０３による、レコード選定処理の流れを示すフローチャートである。
以下、図９及び図１０のフローチャートを説明しつつ、図８のブロック図を説明する。
処理を開始すると（Ｓ９０１）、縮小処理部４０１はサンプル画像データ１１１とは異なる評価用画像データ１１２を読み込み、評価用画像データ１１２を１／（ｋ×ｋ）倍に縮小して、評価用縮小画像データ８０１を得る（Ｓ９０２）。

次に、Ｂｉｃｕｂｉｃ拡大処理部４０３は評価用縮小画像データ８０１を読み込み、周知のＢｉｃｕｂｉｃアルゴリズムにて拡大処理を行う（Ｓ９０３）。そして、エッジ領域判定部４０４はＢｉｃｕｂｉｃ拡大処理部４０３が生成した拡大画像データから局所領域を抜き出して、局所領域内のピクセルデータに変動成分があるか否かを判定し、変動成分がある局所領域のみ抜き出して、評価用Ｂｉｃｕｂｉｃ画像データ８０２を生成する（Ｓ９０４）。ここで、拡大処理に用いるアルゴリズムは、画像の再現性を高めるため、先に説明したコードブックレコード作成部２０１のＢｉｃｕｂｉｃ拡大処理部４０３と同じアルゴリズムを用いる必要がある。

これ以降はループ処理である。
先ず、図示しない制御部は、カウンタ変数ｉを１に設定する（Ｓ９０５）。このカウンタ変数ｉは、評価用Ｂｉｃｕｂｉｃ画像データ８０２が有する局所領域の数を最大数とする。
次に、局所領域抽出部８０３は評価用Ｂｉｃｕｂｉｃ画像データ８０２からｉ番目の局所領域のデータを抜き出して、評価用局所領域低周波成分８０４を得る（Ｓ９０６）。この局所領域は、先にコードブックレコード作成処理にて説明した局所領域と同一の形態（縦ｐピクセル×横ｑピクセル）である。本実施形態の場合は、５×５ピクセルである。

次に、ノルム演算部８０５は評価用局所領域低周波成分８０４を読み込み、評価用局所領域ノルム８０６を算出する（Ｓ９０７）。
次に、除算器８０７は評価用局所領域低周波成分８０４を評価用局所領域ノルム８０６で除算して、評価用局所領域正規化低周波成分８０８を得る（Ｓ９０８）。

ステップＳ９０８にて、除算器８０７によって算出された評価用局所領域正規化低周波成分８０８は、原コードブック２０２に含まれるレコードの正規化低周波成分フィールドの値と対応する。つまり、評価用局所領域正規化低周波成分８０８に対して最も近い値を持つ、正規化低周波成分フィールドの値のレコードの、正規化高周波成分フィールドの値が、超解像画像処理のために求めたい正規化高周波成分となる。そこで、ＳＳＤ探索処理部８０９は評価用局所領域正規化低周波成分８０８を読み込み、評価用局所領域正規化低周波成分８０８と、原コードブック２０２に存在する全てのレコードの正規化低周波成分フィールドの値との距離を算出し、最も近いレコードを特定する（Ｓ９０９）。
ＳＳＤ探索処理部８０９は、周知のＳＳＤ(Sum of Squared Difference)にて、画像の類似度を算出する。具体的には以下の式（２）である。

すなわち、比較対象の局所領域同士の、同じ位置に存在するピクセル同士の輝度を減算して二乗し、その二乗値の合計を算出する。比較する二つの画像データが全く同じ画像であれば、最小値「０」となる。この演算処理を原コードブック２０２に存在する全てのレコードの正規化低周波成分フィールドに対して行い、最も小さい値のレコードを特定する。

図１０にてフローチャートの説明を続ける。
次に、乗算器８１０はステップＳ９０９で特定された原コードブック２０２のレコードにおける正規化高周波成分フィールドの値と、ステップＳ９０７にて算出した評価用局所領域ノルム８０６を乗算して、局所領域高周波成分を得る（Ｓ１０１０）。
次に、加算器８１１はステップＳ１０１０にて乗算器８１０が算出した局所領域高周波成分と、ステップＳ９０６にて得た評価用局所領域低周波成分８０４とを加算して、評価用局所領域超解像データ８１２を得る（Ｓ１０１１）。

ステップＳ１０１１で、原コードブック２０２のレコードを基に、評価用局所領域超解像データ８１２を得た。一方、評価用画像データ１１２が存在するので、この時点で評価用画像データ１１２に含まれる本当の高周波成分と、超解像画像処理にて使用した原コードブック２０２内のレコードにおける正規化高周波成分フィールドの値との類似性を確認することができる。そこで、ＲＭＳＥ演算部８１３は、評価用局所領域超解像データ８１２と、評価用画像データ１１２と、局所領域抽出部８０３からｉ番目の局所領域に対応する評価用画像データ１１２内のアドレスを得て、局所領域同士の類似度を演算する（Ｓ１０１２）。
ＲＭＳＥ演算部８１３は、周知のＲＭＳＥ演算値(Root Mean Square Error)を算出する。ＲＭＳＥとは以下の式（３）に示すように、先に説明したＳＳＤの平方根である。ＲＭＳＥの意味は、統計学の標準偏差と同じ指標であり、原画像とのピクセル単位での誤差を表す。

次に、コンパレータ８１４はＲＭＳＥ演算部８１３が算出したＲＭＳＥ演算値を、ＲＭＳＥ閾値８１５と比較して、論理値の比較結果を出力する（Ｓ１０１４）。本実施形態の場合、ＲＭＳＥ閾値８１５は「５」である。ＲＭＳＥが「５」とは、原画像と超解像画像との誤差が１ピクセルあたり５（画素値）、ずれていることを意味する。
もし、ＲＭＳＥ閾値８１５の比較結果が、ＲＭＳＥ閾値８１５よりＲＭＳＥ演算値が小さいと判定した場合（Ｓ１０１４のＹＥＳ）、レコード複写処理部８１６はＲＭＳＥ閾値８１５の比較結果である論理の「真」を受けて、ステップＳ９０９で特定した原コードブック２０２のレコードを、コードブック１０６へ複写する（Ｓ１０１５）。
逆に、ＲＭＳＥ閾値８１５の比較結果が、ＲＭＳＥ演算値がＲＭＳＥ閾値８１５以上であると判定した場合（Ｓ１０１４のＮＯ）、レコード複写処理部８１６はＲＭＳＥ閾値８１５の比較結果である論理の「偽」を受けて、動作しない。したがって、ステップＳ９０９で特定した原コードブック２０２のレコードは、コードブック１０６へ複写されない。

ステップＳ１０１５の後、或はステップＳ１０１４にてＲＭＳＥ演算値がＲＭＳＥ閾値８１５以上であると判定した場合（Ｓ１０１４のＮＯ）の、何れの場合でも、次に図示しない制御部は、カウンタ変数ｉを１インクリメントする（Ｓ１０１６）。そして、図示しない制御部は、カウンタ変数が最大値、つまり局所領域の最大数を超えたか否か、確認する（Ｓ１０１７）。未だ超えていなければ（Ｓ１０１７のＮＯ）、再び図９のステップＳ９０６から処理を繰り返す。
カウンタ変数が最大値、つまり局所領域の最大数に達していれば（Ｓ１０１７のＹＥＳ）、図示しない制御部は一連の処理を終了する（Ｓ１０１８）。

［主成分分析処理部２０４：フローチャートと処理の概要］
超解像画像処理装置１０１は、入力画像データ１０４から局所領域を抜き出して、コードブック１０６を検索する。検索の際、最終的にはベクトルの類似度を計算して、最も類似するレコードを選択する。本実施形態の場合、５×５＝２５ピクセルであり、変数の数が多い。変数が多い、ということは演算ステップ数が多いことを意味し、検索速度の低下に繋がる。
そこで、変数の数を低減させて、演算ステップ数を削減するために、主成分分析を用いる。主成分分析を用いれば、ベクトルをスカラ値に変換できるので、インデキシングが容易になり、コードブック１０６の検索速度を向上できる。

図１１は、主成分分析処理部２０４が実施する処理とデータとの関係を示す概略図である。
コードブック１０６は、原コードブック２０２から複写した正規化低周波成分フィールドと、正規化高周波成分フィールドの他、第一主成分値フィールドと、第一主成分グループ番号フィールドと、第二主成分値フィールドと、第二主成分グループ番号フィールドと、第三主成分値フィールドと、第三主成分グループ番号フィールドとよりなる。主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分４０９から、図１２に示す演算処理を行って、第一主成分値フィールドと、第一主成分グループ番号フィールドと、第二主成分値フィールドと、第二主成分グループ番号フィールドと、第三主成分値フィールドと、第三主成分グループ番号フィールドに値を記入すると共に、第一主成分基底ベクトル１０７と、第二主成分基底ベクトル１０８と、第三主成分基底ベクトル１０９とを算出する。

図１２は、主成分分析処理部２０４による、主成分分析処理の流れを示すフローチャートである。
処理を開始すると（Ｓ１２０１）、先ず主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドの値に、周知の主成分分析を行い、第一主成分基底ベクトル１０７を算出する（Ｓ１２０２）。周知のように、第一主成分基底ベクトル１０７は第一主成分軸を表し、その起点が主成分分析の対象となるデータの特徴を最も表す基底ベクトルである。

次に主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドの値と、ステップＳ１２０２にて求めた第一主成分基底ベクトル１０７とを内積演算器１１０１にて内積演算して第一主成分値を得て、これをレコード毎に記録する（Ｓ１２０３）。
次に主成分分析処理部２０４は、コードブック１０６の全レコードの第一主成分値について所定のレコード数でグルーピングし、第一主成分グループ番号をレコード毎に記録する（Ｓ１２０４）。

次に主成分分析処理部２０４は、先に実行した主成分分析の結果から、第一主成分軸と直交する第二主成分基底ベクトル１０８を取得する（Ｓ１２０５）。第一主成分基底ベクトル１０７と同様、第二主成分基底ベクトル１０８も第二主成分軸を表し、第一主成分基底ベクトルに直交するベクトルの中で、最もデータの特徴を捉える基底ベクトルである。

次に主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドの値と、ステップＳ１２０５にて求めた第二主成分基底ベクトル１０８とを内積演算器１１０２にて内積演算して第二主成分値を得て、これをレコード毎に記録する（Ｓ１２０６）。
次に主成分分析処理部２０４は、コードブック１０６の第一主成分グループ番号が同じレコードの第二主成分値について所定のレコード数でグルーピングし、第二主成分グループ番号をレコード毎に記録する（Ｓ１２０７）。つまり、第一主成分グループ番号が同じレコードを、第二主成分グループ番号で更に細分化する。

次に主成分分析処理部２０４は、先に実行した主成分分析の結果から、第一主成分軸及び第二主成分軸と直交する第三主成分基底ベクトル１０９を取得する（Ｓ１２０８）。第一主成分基底ベクトル１０７と同様、第三主成分基底ベクトル１０９も第三主成分軸を表し、第一、第二主成分ベクトルに直交するベクトルの中で最もデータの特徴を捉える基底ベクトルである。

次に主成分分析処理部２０４は、コードブック１０６の全レコードの正規化低周波成分フィールドの値と、ステップＳ１２０８にて求めた第三主成分基底ベクトル１０９とを内積演算器１１０３にて内積演算して第三主成分値を得て、これをレコード毎に記録する（Ｓ１２０９）。
次に主成分分析処理部２０４は、コードブック１０６の第一主成分グループ番号及び第二主成分グループ番号が同じレコードの第三主成分値について所定のレコード数でグルーピングし、第三主成分グループ番号をレコード毎に記録する（Ｓ１２１０）。つまり、第一主成分グループ番号及び第二主成分グループ番号が同じレコードを、第三主成分グループ番号で更に細分化する。そして、一連の処理を終了する（Ｓ１２１１）。

図１３（ａ）、（ｂ）、（ｃ）及び（ｄ）、図１４（ｅ）及び（ｆ）は、主成分分析処理部２０４による主成分分析処理の処理内容を説明する概略図である。
図１３（ａ）は主成分分析の対象となる正規化低周波成分４０９の概念図である。本来なら正規化低周波成分４０９は５×５ピクセルの２５個のスカラ値の集合体、つまり２５次元ベクトルであるが、仮に二次元であるものとして図示する。ある座標系内に、正規化低周波成分４０９は各々が任意の位置に存在している。
主成分分析とは、これらのデータに対し、最も分散が大きい軸を見つける。この軸が第一主成分軸である。図１２のステップＳ１２０２の処理に該当する。

図１３（ｂ）は、図１３（ａ）の図を第一主成分軸から見た概念図である。第一主成分軸から各々のデータを見ると、最もデータがばらけて見える。つまり、第一主成分軸は、各データの第一主成分軸上の値（第一主成分値）の最小値から最大値迄の距離が最大である。
第一主成分値は、各々のデータと第一主成分基底ベクトル１０７とを内積演算して得る（図１２のステップＳ１２０３）。そして、第一主成分値の出現頻度を縦軸に取ると、図１３（ｃ）のように出現頻度の偏りが観察できる。そこで、この出現頻度のグラフを図１３（ｄ）のように等面積に分割して、番号を付与する。これが、図１２のステップＳ１２０４の処理である。

図１４にて主成分分析処理の説明を続ける。
図１４（ｅ）は、第一主成分軸、第二主成分軸及び第三主成分軸にて形成される固有空間の概念図である。図１２のステップＳ１２１０迄処理を進めると、データの集合は第一主成分軸、第二主成分軸及び第三主成分軸で区切られ、等しい要素数の集合が形成される。
コードブック１０６のレコードが属するグループは、第一主成分値の範囲と、第二主成分値の範囲と、第三主成分値の範囲とを有する。図１４（ｆ）に示すように、この主成分値の範囲が、ツリー検索にてレコードを絞り込むために用いられる。

［超解像画像処理装置１０１：フローチャートと処理の概要］
図１５は、超解像画像処理装置１０１の機能ブロック図である。
図１６及び図１７は、超解像画像処理装置１０１による、超解像画像処理の流れを示すフローチャートである。
以下、図１６及び図１７のフローチャートを説明しつつ、図１５のブロック図を説明する。
処理を開始すると（Ｓ１６０１）、Ｂｉｃｕｂｉｃ拡大処理部１５０１は入力画像データ１０４を読み込み、周知のＢｉｃｕｂｉｃアルゴリズムにて拡大処理を行い、入力Ｂｉｃｕｂｉｃ画像データ１５０２を生成する（Ｓ１６０２）。

これ以降はループ処理である。
先ず、図示しない制御部は、カウンタ変数ｉを１に設定する（Ｓ１６０３）。このカウンタ変数ｉは、入力Ｂｉｃｕｂｉｃ画像データ１５０２が有する局所領域の数を最大数とする。なお、超解像画像処理装置１０１における局所領域の採り方は、図６で説明した重複を有する方法とは異なり、重複を有さないタイル状の採り方である。重複を排除することで、超解像画像処理装置１０１の処理ステップ数を低減させることができる。

次に、局所領域抽出部１５０３は入力Ｂｉｃｕｂｉｃ画像データ１５０２からｉ番目の局所領域のデータを抜き出して、入力局所領域低周波成分１５０４を得る（Ｓ１６０４）。この局所領域は、先にコードブックレコード作成処理にて説明した局所領域と同一の形態（縦ｐピクセル×横ｑピクセル）である。本実施形態の場合は、５×５ピクセルである。

次に、ノルム演算部１５０５は入力局所領域低周波成分１５０４を読み込み、入力局所領域ノルム１５０６を算出する（Ｓ１６０５）。
次に、除算器１５０７は入力局所領域低周波成分１５０４を入力局所領域ノルム１５０６で除算して、入力局所領域正規化低周波成分１５０８を得る（Ｓ１６０６）。

ステップＳ１６０６にて、除算器１５０７によって算出された入力局所領域正規化低周波成分１５０８は、コードブック１０６に含まれるレコードの正規化低周波成分と対応する。つまり、入力局所領域正規化低周波成分１５０８に対して最も近い値を持つ、正規化低周波成分フィールドの値のレコードの正規化高周波成分が、超解像画像処理のために求めたい正規化高周波成分となる。
先に図１１及び図１２にて説明したように、コードブック１０６には主成分分析を用いたインデキシングが施されている。そこで、入力局所領域正規化低周波成分１５０８から第一主成分値、第二主成分値及び第三主成分値を算出する。
第一内積演算器１５０９は、入力局所領域正規化低周波成分１５０８と第一主成分基底ベクトル１０７と内積演算して、第一主成分値を得る（Ｓ１６０７）。
第二内積演算器１５１０は、入力局所領域正規化低周波成分１５０８と第二主成分基底ベクトル１０８と内積演算して、第二主成分値を得る（Ｓ１６０８）。
第三内積演算器１５１１は、入力局所領域正規化低周波成分１５０８と第三主成分基底ベクトル１０９と内積演算して、第三主成分値を得る（Ｓ１６０９）。

図１７にてフローチャートの説明を続ける。
ツリー探索部１５１２は、第一内積演算器１５０９が算出した第一主成分値と、第二内積演算器１５１０が算出した第二主成分値と、第三内積演算器１５１１が算出した第三主成分値とを用いて、コードブック１０６をツリー検索して、入力局所領域正規化低周波成分１５０８に最も近い値を有するレコードのグループ（レコード群）を特定し、ベクトル類似度演算部１５１３に当該レコード群を指すアドレス情報を引き渡す（Ｓ１７１０）。

ベクトル類似度演算部１５１３は、ツリー探索部１５１２から引き渡されたレコード群のアドレス情報を得て、レコード群に属する全てのレコードの正規化低周波成分フィールドの値と、入力局所領域正規化低周波成分１５０８とのＳＳＤを演算し、最も近いレコードを特定する（Ｓ１７１１）。
ステップＳ１７１１にて、ベクトル類似度演算部１５１３がレコードを特定することで、超解像画像処理に必要な当該レコードの正規化高周波成分１５１４を得ることができる。乗算器１５１５は、ベクトル類似度演算部１５１３が特定したレコードの正規化高周波成分１５１４と、ステップＳ１６０５にてノルム演算部１５０５が算出した入力局所領域ノルム１５０６を乗算して、局所領域高周波成分１５１６を算出する（Ｓ１７１２）。

加算器１５１７は、乗算器１５１５が算出した局所領域高周波成分１５１６と、ステップＳ１６０４にて局所領域抽出部１５０３が出力した入力局所領域低周波成分１５０４を加算して、局所領域超解像画像データ１５１８を作成する（Ｓ１７１３）。そして、結合処理部１５１９は局所領域抽出部１５０３からｉ番目の局所領域に対応するアドレス情報を得て、図示しないＲＡＭ上に局所領域超解像画像データ１５１８を配置する（Ｓ１７１４）。

次に、図示しない制御部は、カウンタ変数ｉを１インクリメントする（Ｓ１７１５）。そして、図示しない制御部は、カウンタ変数ｉが局所領域の最大値を超えたか否か、確認する（Ｓ１７１６）。未だ超えていなければ（Ｓ１７１６のＮＯ）、再び図１６のステップＳ１６０４から処理を繰り返す。
カウンタ変数ｉが局所領域の最大値を超えていれば（Ｓ１７１６のＹＥＳ）、一連の処理を終了する（Ｓ１７１７）。
ステップＳ１７１７の時点で、図示しないＲＡＭ上には超解像画像データである出力画像データ１０５が形成される。

本実施形態は、以下のような応用例が考えられる。
（１）上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置１０１の入力画像データ１０４（ソース）は動画像であってもよい。この場合、評価の対象となる局所領域は時間軸を考慮したものとなる。例えば、時間軸上で隣り合う２枚の画像を対象にして、縦ｐピクセル×横ｑピクセル×ｒサンプル数を局所領域の単位とする。

（２）上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置１０１の入力画像データ１０４（ソース）はカラー画像であってもよい。この場合、局所領域は三原色を考慮したものとなる。つまり、各々のビットマップを構成するピクセルの個数が単純に三倍になる。
勿論、扱う画像はカラーの動画像であってもよい。

（３）例えば、アニメーションやコンピュータグラフィックス等の別の映像に実写の人物を合成する、周知のクロマキー合成によって生成される画像データの場合、一つの画像データ内に複数の全く異なる特徴を備えた部分が混在することとなる。このような画像データの場合は、予め異なる特徴の画像部分とを切り分けて、夫々に適したコードブック１０６等を用いて超解像画像処理を施すことが望ましい。

（４）周知のように、主成分分析では、主成分分析の対象となる行列の要素数が膨大で、第一主成分軸、第二主成分軸及び第三主成分軸だけでは集合の絞り込みを良好に実施できない場合に、第一主成分軸、第二主成分軸及び第三主成分軸の双方に直交し、最も分散が大きい第四主成分軸を算出することが行われる。そして、主成分軸は第五、第六…と、その用途に応じて増やすことも可能である。これは本実施形態の超解像画像処理装置１０１及びコードブック作成装置１１０にも同じことが言える。つまり、コードブック１０６等に含まれる主成分軸の基底ベクトルは、必ずしも第一主成分軸、第二主成分軸及び第三主成分軸だけではなく、必要に応じて第四主成分軸以降を含めることができる。そして、その際、コードブック１０６にもこれに応じて「第四主成分」フィールド等が追加されることとなる。

（５）コードブック１０６の正規化低周波成分フィールドは、図４のＢｉｃｕｂｉｃ拡大処理部４０３によって拡大された局所領域のビットマップデータが基になっている。この、Ｂｉｃｕｂｉｃ拡大処理部４０３によって拡大された局所領域を用いる代わりに、縮小画像データ４０２の、局所領域に相当する箇所のビットマップデータをノルムで正規化して、正規化低周波成分として利用してもよい。前述の通り、画像を縮小処理した時点で高周波成分が失われるので、拡大処理を施す前に、縮小処理した時点の画像データをそのまま原コードブック２０２の正規化低周波成分フィールドの値に利用する。このようにすることで、正規化低周波成分フィールドに格納される要素数が低減されるので、ＳＳＤ探索処理部８０９、ＲＭＳＥ演算部８１３、主成分分析処理部２０４、ベクトル類似度演算部１５１３等の演算ステップ数が低減できる。

（６）本実施形態の超解像画像処理装置１０１は、コードブック１０６を作成する際、ノルムを用いて正規化を施すため、演算処理に浮動小数点演算が含まれる。コードブック１０６に格納される値を所定の値で逓倍することで、浮動小数点演算を回避して、整数演算処理だけで装置を構成することもできる。

本実施形態においては、超解像画像処理装置１０１と、これに用いるコードブック作成装置１１０を開示した。
汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置１０１は、先ず、処理対象とする画像から原コードブック２０２を作成し、原コードブック２０２から超解像処理に適したレコードのみを選定したコードブック１０６を作成した。
また、コードブック１０６に用いるレコード数を効果的に低減させるために、ノルムを用いた。
これらの技術の採用により、比較的少ない計算量で高い高周波成分の再現率を達成する超解像画像処理装置１０１を実現できる。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…超解像画像処理装置、１０２…デジタルカメラ、１０３…画像ファイル、１０４…入力画像データ、１０５…出力画像データ、１０６…コードブック、１０７…第一主成分基底ベクトル、１０８…第二主成分基底ベクトル、１０９…第三主成分基底ベクトル、１１０…コードブック作成装置、１１１…サンプル画像データ、１１２…評価用画像データ、２０１…コードブックレコード作成部、２０２…原コードブック、２０３…レコード選定処理部、２０４…主成分分析処理部、４０１…縮小処理部、４０２…縮小画像データ、４０３…Ｂｉｃｕｂｉｃ拡大処理部、４０４…エッジ領域判定部、４０５…サンプルＢｉｃｕｂｉｃ画像データ、４０６…ノルムデータ演算部、４０７…ノルムデータ、４０８…除算器、４０９…正規化低周波成分、４１０…加算器、４１１…高周波成分、４１２…除算器、４１３…正規化高周波成分、４１４…ラスタスキャン処理部、７０１…画像、７０２…縮小画像、７０３…低周波成分、７０４…高周波成分、８０１…評価用縮小画像データ、８０２…評価用Ｂｉｃｕｂｉｃ画像データ、８０３…局所領域抽出部、８０４…評価用局所領域低周波成分、８０５…ノルム演算部、８０６…評価用局所領域ノルム、８０７…除算器、８０８…評価用局所領域正規化低周波成分、８０９…ＳＳＤ探索処理部、８１０…乗算器、８１１…加算器、８１２…評価用局所領域超解像データ、８１３…ＲＭＳＥ演算部、８１４…コンパレータ、８１５…ＲＭＳＥ閾値、８１６…レコード複写処理部、１１０１…内積演算器、１１０２…内積演算器、１１０３…内積演算器、１５０１…Ｂｉｃｕｂｉｃ拡大処理部、１５０２…入力Ｂｉｃｕｂｉｃ画像データ、１５０３…局所領域抽出部、１５０４…入力局所領域低周波成分、１５０５…ノルム演算部、１５０６…入力局所領域ノルム、１５０７…除算器、１５０８…入力局所領域正規化低周波成分、１５０９…第一内積演算器、１５１０…第二内積演算器、１５１１…第三内積演算器、１５１２…ツリー探索部、１５１３…ベクトル類似度演算部、１５１４…正規化高周波成分、１５１５…乗算器、１５１６…局所領域高周波成分、１５１７…加算器、１５１８…局所領域超解像画像データ、１５１９…結合処理部

Claims (4)

1. 入力画像データを拡大する拡大処理部と、
   前記拡大処理部で拡大された前記入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、
   前記入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、
   前記入力局所領域低周波成分を前記入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、
   画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、前記局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、前記正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックと、
   前記入力局所領域正規化低周波成分に基づいて前記コードブックをツリー検索して所定のレコード群を特定するツリー探索部と、
   前記入力局所領域正規化低周波成分と前記所定のレコード群の前記正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、
   前記ベクトル類似度演算部によって特定された前記レコードの前記正規化高周波成分と、前記入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、
   前記局所領域高周波成分と前記入力局所領域低周波成分とを加算する加算器と、
   前記入力局所領域正規化低周波成分と前記コードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、
   前記入力局所領域正規化低周波成分と前記コードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器と
   を具備し、
   前記コードブックは、前記正規化低周波成分フィールドと、前記正規化高周波成分フィールドと、前記正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有し、
   前記ツリー探索部は、前記第一主成分値と前記第二主成分値で前記コードブックをツリー検索して所定のレコード群を特定する、
   超解像画像処理装置。
2. 前記拡大処理部はＢｉｃｕｂｉｃ拡大処理を実行する、請求項１記載の超解像画像処理装置。
3. サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、前記正規化した低周波成分が格納される正規化低周波成分フィールドと前記正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、
   評価用画像データを所定の矩形範囲で抜き出した局所領域毎に前記原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して前記原コードブックのレコードを選定してコードブックを作成するレコード選定処理部と、
   前記コードブックに、前記コードブックの前記正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する主成分分析処理部と
   を具備する、超解像画像処理用コードブック作成装置。
4. 前記コードブックレコード作成部はＢｉｃｕｂｉｃ拡大処理を実行する、請求項３記載の超解像画像処理用コードブック作成装置。