JP5892592B2 - 超解像画像処理装置及び超解像画像処理用コードブック作成装置 - Google Patents

超解像画像処理装置及び超解像画像処理用コードブック作成装置 Download PDF

Info

Publication number
JP5892592B2
JP5892592B2 JP2011277225A JP2011277225A JP5892592B2 JP 5892592 B2 JP5892592 B2 JP 5892592B2 JP 2011277225 A JP2011277225 A JP 2011277225A JP 2011277225 A JP2011277225 A JP 2011277225A JP 5892592 B2 JP5892592 B2 JP 5892592B2
Authority
JP
Japan
Prior art keywords
principal component
frequency component
local region
normalized
code book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011277225A
Other languages
English (en)
Other versions
JP2013127718A (ja
Inventor
肇 延原
肇 延原
英宜 橋上
英宜 橋上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tsukuba NUC
Original Assignee
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tsukuba NUC filed Critical University of Tsukuba NUC
Priority to JP2011277225A priority Critical patent/JP5892592B2/ja
Publication of JP2013127718A publication Critical patent/JP2013127718A/ja
Application granted granted Critical
Publication of JP5892592B2 publication Critical patent/JP5892592B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Systems (AREA)

Description

本発明は、超解像画像処理装置及び超解像画像処理用コードブック作成装置に適用して好適な技術に関する。
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置に関する。
超解像技術とは、低解像度の原画像から高解像度の画像を生成することで、違和感の少ない拡大画像を得るための技術である。この超解像技術は、テレビやパソコン等といった画像閲覧装置の高解像度化に伴い、注目され、一部の民生機器等で採用されている。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高解像度化することで、社会基盤の安全性向上に寄与できる可能性もある。
前述のように、超解像技術は違和感のない拡大画像を得るための技術であるが、これは転じて「失われた高周波成分を類推する」技術である。
例えば、ある画像データのピクセルサイズを縦横1/2倍ずつ、1/4倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横2倍ずつ、4倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。
これまで、多くの研究者が超解像画像処理の技術を開発している。発明者が本発明の先行技術文献として参考にした非特許文献を非特許文献1乃至5に挙げる。これらの技術は、予め「高周波成分の辞書ファイル」とも呼べるコードブックを作成しておき、入力画像データから微視的な局所領域を抜き出して、局所領域のデータでコードブックを検索する、という手法において共通する。
W. T. Freeman, E. C. Pasztor, O. T. Carmichael, Learning Low-Level Vision, International Journal of Computer Vision, 40(1), pp. 25-47, 2000.[2011年11月21日検索]、インターネット<URL:http://www.stat.ucla.edu/~sczhu/workshops/sctv99/papers/freeman_sctv99.pdf> J. Sun, N. N. Zheng, H. Tao, and S. H.-Y. Generic image hallucination with primal sketch prior. CVPR, 2003.[2011年11月21日検索]、インターネット<URL:http://research.microsoft.com/en-us/um/people/jiansun/papers/Hallucination_CVPR03.pdf> 「自己分解コードブックとマハラノビス距離を用いた画像拡大法」河野 英昭、末竹 規哲、車 炳キ、麻生 隆史、電子情報通信学会論文誌、J91-D,vol. 8, pp. 1983-1985,[2011年12月16日検索]、インターネット<URL:http://ci.nii.ac.jp/naid/110007385952/> Super-Resolution from a Single Image, D. Glasner, S. Bagon, and M. Irani, ICCV 2009.[2011年11月21日検索]、インターネット<URL:http://www.wisdom.weizmann.ac.il/~vision/single_image_SR/files/single_image_SR.pdf> J. Sun, J. Sun, Z. B. Xu, and H.-Y. Shum, "Image super-resolution using gradient profile prior," in Proceedings of IEEE Computer Society Conference Computer Vision and Pattern Recogition, 2008.[2011年11月21日検索]、インターネット<URL:http://nguyendangbinh.org/Proceedings/CVPR/2008/data/papers/319.pdf>
非特許文献1乃至5に開示される先行技術には、超解像画像の再現性や、コードブックのデータサイズに難点がある。再現性が低ければ画像の品質が低下する。コードブックのデータサイズが大きいと演算速度の低下や装置の大型化に繋がり、実用性が低下する。
本発明はかかる課題に鑑みてなされたものであり、比較的少ないハードウェアリソースで高い再現性を実現する、実用的な超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置を提供することを目的とする。
上記課題を解決するために、本発明の超解像画像処理装置は、入力画像データを拡大する拡大処理部と、拡大処理部で拡大された入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、入力局所領域低周波成分を入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックとを具備する。更に、入力局所領域正規化低周波成分に基づいてコードブックをツリー検索して所定のレコード群を特定するツリー探索部と、入力局所領域正規化低周波成分と所定のレコード群の正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、ベクトル類似度演算部によって特定されたレコードの正規化高周波成分と、入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、局所領域高周波成分と入力局所領域低周波成分とを加算する加算器と、入力局所領域正規化低周波成分とコードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、入力局所領域正規化低周波成分とコードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器とを具備する。コードブックは、正規化低周波成分フィールドと、正規化高周波成分フィールドと、正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、第一主成分グループ番号が等しいレコードのうち第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有する。ツリー探索部は、第一主成分値と第二主成分値でコードブックをツリー検索して所定のレコード群を特定する。
また、上記課題を解決するために、本発明の超解像画像処理用コードブック作成装置は、サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、正規化した低周波成分が格納される正規化低周波成分フィールドと正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、評価用画像データを所定の矩形範囲で抜き出した局所領域毎に原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して原コードブックのレコードを選定してコードブックを作成するレコード選定処理部とを具備する。主成分分析処理部は、コードブックに、コードブックの正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、第一主成分グループ番号が等しいレコードのうち第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する。
超解像画像処理に用いるコードブックを作成する際、高品位な出力を得られるレコードだけを選定して、検索速度と画像再現性を向上させる。また、主成分分析を用いてコードブックのレコードをグルーピングすることで、ベクトル演算のステップ数をできる限り低減させる。
本発明により、比較的少ないハードウェアリソースで高い再現性を実現する、実用的な超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置を提供できる。
本発明の実施形態の例である、超解像画像処理装置とコードブック作成装置の概略図である。 コードブック作成装置の機能ブロック図である。 コードブック作成装置によるコードブック作成処理のフローチャートである。 コードブックレコード作成部の機能ブロック図である。 コードブックレコード作成部による、コードブックレコード作成処理の流れを示すフローチャートである。 局所領域の取得方法を説明する概念図である。 画像の低周波成分と高周波成分の関係を説明する概略図である。 レコード選定処理部の機能ブロック図である。 レコード選定処理部による、レコード選定処理の流れを示すフローチャートである。 レコード選定処理部による、レコード選定処理の流れを示すフローチャートである。 主成分分析処理部が実施する処理とデータとの関係を示す概略図である。 主成分分析処理部による、主成分分析処理の流れを示すフローチャートである。 主成分分析処理部による主成分分析処理の処理内容を説明する概略図である。 主成分分析処理部による主成分分析処理の処理内容を説明する概略図である。 超解像画像処理装置の機能ブロック図である。 超解像画像処理装置による、超解像画像処理の流れを示すフローチャートである。 超解像画像処理装置による、超解像画像処理の流れを示すフローチャートである。
本実施形態では、超解像画像処理装置とコードブック作成装置を説明する。
超解像画像処理装置は、入力画像データを所定の倍率で拡大する装置である。画像を拡大する際、超解像画像処理装置は入力画像データに存在しない、高周波成分を推定する。この推定は、入力画像データを矩形範囲で細分化した局所領域毎に、コードブックという辞書ファイルを検索することで実現する。
超解像画像処理装置の性能は、超解像画像処理に要する時間と、超解像画像データの再現性で評価される。
本実施形態に係る超解像画像処理装置は、超解像画像処理に要する時間を短縮させるために、インデキシングに主成分分析を用いて、演算ステップ数を低減させている。
また、本実施形態に係る超解像画像処理装置が超解像画像データの再現性を向上させるために、コードブック作成装置はコードブックを作成する過程で、良質のレコードのみ選択する処理を実行している。
[全体構成]
図1は、本発明の実施形態の例である、超解像画像処理装置とコードブック作成装置の概略図である。
超解像画像処理装置101は、デジタルカメラ102や画像ファイル103等から、縦mピクセル×横nピクセルの入力画像データ104を受け取ると、縦k・mピクセル×横k・nピクセルの出力画像データ105を生成する。ここで、kは1より大きい整数であり、m及びnは2以上の自然数である。
超解像画像処理装置101が処理する画像は、静止画像であっても動画像であってもよい。本実施形態では説明を簡単にするため、静止画像を中心に説明する。
超解像画像処理装置101は、入力画像データ104に対して超解像画像処理を施して出力画像データ105を生成する際、失われた高周波成分を類推するために、コードブック106と、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、第三主成分基底ベクトル109とを用いる。これらのデータはコードブック作成装置110によって生成され、予め超解像画像処理装置101に組み込まれる。
コードブック作成装置110は、一つ以上のサンプル画像データ111と一つ以上の評価用画像データ112を受け取ると、後述する所定の演算処理を行うことで、コードブック106と、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、第三主成分基底ベクトル109とを生成する。
ここで、コードブック106、第一主成分基底ベクトル107、第二主成分基底ベクトル108及び第三主成分基底ベクトル109は、これら四つで一つの組である。これ以降、コードブック106、第一主成分基底ベクトル107、第二主成分基底ベクトル108及び第三主成分基底ベクトル109をまとめて「コードブック106等」と呼ぶ。
図1では、超解像画像処理装置101の具体的な実装形態について明記していないが、超解像画像処理装置101は画像データを処理する演算装置であるので、様々な形態で実装可能である。
例えば、超解像画像処理装置101を周知のパソコンにインストールするプログラムとして実現することができる。その際、コードブック106等はハードディスク装置等の不揮発性ストレージに格納されるであろう。
また、デジタルカメラ102のファームウェアとして、デジタルカメラ102に組み込むこともできる。
更には、FPGA(Field Programmable Gate Array)等のPLD(programmable logic device)やASIC(Application Specific Integrated Circuit)等を用いて実現することもできる。
図1では、コードブック作成装置110の具体的な実装形態について明記していないが、コードブック作成装置110はサンプル画像データ111からコードブック106等を生成する演算装置であるので、前述の超解像画像処理装置101と同様に、様々な形態で実装可能である。コードブック作成装置110は、例えばパソコン等にインストールされて実行されるプログラムで実現され、超解像画像処理装置101が製造される工場等の生産現場に設けられ、シーンに応じたコードブック106等を生成する。
ここでシーンとは、画像の特色をいう。例えば風景の撮影画像であったり、医療用レントゲン画像であったり、或はアニメーション等である。風景の撮影画像の場合、そのピクセルパターンには中間色や中間輝度が多く現れる。一方、アニメーションの画像の場合、輪郭が明確であり、色彩や輝度がある境界で急激に変化する(エッジの効いた)ピクセルパターンが多く見受けられる。このように、画像にはそのシーンに応じた特色がある。
そこで、サンプル画像データ111はシーンに応じた画像が集められ、コードブック106等の基となる。どのようなシーンに対しても最適な超解像処理ができる万能なコードブック106等を作成することは困難であるが、シーンに最適化したコードブック106等を作成することで、超解像画像処理装置101が適用されるシーンに適したコードブック106等を与えることができる。勿論、複数のコードブック106等を用意して、超解像画像処理装置101がシーンに応じてコードブック106等を切り替えることで、シーンに最適な超解像画像処理を実現することができる。また、シーンを細分化すればするほど、そのシーンにより適合したコードブック106等を作成することができ、より再現度の高い超解像画像処理を実現することができる。
コードブック106、第一主成分基底ベクトル107、第二主成分基底ベクトル108及び第三主成分基底ベクトル109は、その名称から明らかなように、周知の主成分分析を経て形成されている。このため、コードブック106と、第一主成分基底ベクトル107、第二主成分基底ベクトル108及び第三主成分基底ベクトル109は密接な関係を有する。この関係の詳細は、コードブック作成装置110の説明にて後述する。
なお、説明を容易にするために、これ以降の実施形態の説明では、コードブック作成装置110及び超解像画像処理装置101が取り扱う画像は白黒の静止画像であり、一つのピクセルは8ビットとする。このため、一つのピクセルは0〜255の輝度データである。
[コードブック作成装置110:全体構成]
図2は、コードブック作成装置110の機能ブロック図である。
コードブックレコード作成部201は、一以上のサンプル画像データ111を読み込み、原コードブック202を作成する。これが、超解像画像処理に用いるコードブック106の基となる。
次に、レコード選定処理部203は評価用画像データ112を読み込み、原コードブック202から所定の条件を満たすレコードのみを選定して、コードブック106へ複写する。
次に、主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、第三主成分基底ベクトル109とを算出する。
また、主成分分析処理部204は、コードブック106の各レコードを、第一主成分値、第二主成分値及び第三主成分値でグルーピングする。
この主成分分析処理部204によって、コードブック106のレコードに、検索処理のための索引情報となるグループ番号が付与される。
なお、コードブック106のフィールド構成については図11にて後述する。
[コードブック作成装置110:フローチャート]
図3は、コードブック作成装置110によるコードブック作成処理のフローチャートである。
処理を開始すると(S301)、コードブックレコード作成部201はサンプル画像データ111を読み込み、原コードブック202を作成する(S302)。
次に、レコード選定処理部203は評価用画像データ112を読み込み、原コードブック202から所定の条件を満たすレコードのみを選定して、コードブック106へ複写する(S303)。
次に、主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、第三主成分基底ベクトル109とを算出した後、コードブック106の各レコードを、第一主成分値、第二主成分値及び第三主成分値でグルーピングして(S304)、一連の処理を終了する(S305)。
[コードブックレコード作成部201:全体構成及びフローチャート]
図4は、コードブックレコード作成部201の機能ブロック図である。
図5は、コードブックレコード作成部201による、コードブックレコード作成処理の流れを示すフローチャートである。
以下、図5のフローチャートを説明しつつ、図4のブロック図を説明する。
処理を開始すると(S501)、縮小処理部401はサンプル画像データ111を読み込み、サンプル画像データ111を1/(k×k)倍に縮小して、縮小画像データ402を得る(S502)。
次に、Bicubic拡大処理部403は縮小画像データ402を読み込み、周知のBicubicアルゴリズムにて拡大処理を行う(S503)。そして、エッジ領域判定部404はBicubic拡大処理部403が生成した拡大画像データから局所領域を抜き出して、局所領域内のピクセルデータに変動成分があるか否かを判定し、変動成分がある局所領域のみ抜き出して、サンプルBicubic画像データ405を生成する(S504)。
画像を拡大するアルゴリズムはBicubic法以外にも種々存在するが、本実施形態では、現在広く普及しているアルゴリズムの中で最もシャープな画像を得られる、という理由でBicubic法を採用している。
局所領域とは、本実施形態の超解像画像処理装置101及びコードブック作成装置で共通する、画像処理の単位である。膨大なピクセルデータの集合体である画像データを、微小な矩形範囲で区切って、縦pピクセル×横qピクセルの局所領域を構成する。本実施形態の超解像画像処理装置101及びコードブック作成装置110は、その矩形範囲に含まれるピクセルデータに対して、種々の演算処理を施す。一例として、本実施形態の場合は、縦5ピクセル、横5ピクセルの、合計25ピクセルで局所領域を構成する。
図6は、局所領域の取得方法を説明する概念図である。
コードブックレコード作成処理において、コードブックレコード作成部201は、局所領域を縦及び横に1ピクセルずつ移動して生成する。
図5に戻って説明を続ける。
次に、ノルムデータ演算部406はサンプルBicubic画像データ405を読み込み、局所領域毎にノルム(norm)を算出する。ノルムは周知の以下の式によって算出する。
つまり、各ピクセルの値(輝度値)を二乗して、それら二乗した値を全て加算した後、その加算値の平方根を求める。このノルムを、サンプルBicubic画像データ405に存在し得る全ての局所領域に対して演算して、ノルムデータ407を得る(S505)。
ノルムでサンプルBicubic画像データ405の局所領域を割ると、得られる値は0から1の間の値に収められる。つまり、絶対値の変化が相対値の変化に換算される。絶対値の変化を相対値の変化に換算することで、絶対値の異なる輝度の変化も輝度の相対的な変化に変換され、データの汎用性が向上する。これ以降、画像データをノルムで除算して得たデータを正規化画像データと呼ぶ。
除算器408はサンプルBicubic画像データ405とノルムデータ407を読み込み、局所領域毎に対応するノルムで除算して、正規化低周波成分409を得る(S506)。
本実施形態の超解像画像処理装置101は、処理対象となる画像データに対して、失われた高周波成分を推定して、局所領域毎に当てはめる。したがって、その前提としてコードブック106に高周波成分が含まれている必要がある。
図7は、画像の低周波成分と高周波成分の関係を説明する概略図である。
画像701を縮小すると、画像701に含まれている高周波成分が失われる。そして、縮小画像702を再び元の大きさに拡大すると、高周波成分が失われているために輪郭がぼやけた画像が生成される。これが、元の画像の低周波成分703である。この低周波成分703を元の画像701から減算すると、元の画像の高周波成分704が得られる。
図4及び図5に戻って説明を続ける。
図7で説明したように、加算器410によってサンプル画像データ111からサンプルBicubic画像データ405を減算すると、サンプル画像データ111の高周波成分411が得られる(S507)。なお、この減算処理において、エッジ領域判定部404で除外された領域は演算の対象外である。
さて、先にステップS506において、低周波成分をノルムで正規化した。これと同じ処理を高周波成分にも施す必要がある。そこで、除算器412は高周波成分411とノルムデータ407を読み込み、局所領域毎に対応するノルムで除算して、正規化高周波成分413を得る(S508)。
最後に、ラスタスキャン処理部414は、ステップS506で得られた正規化低周波成分409と、ステップS508で得られた正規化高周波成分413を、共通する局所領域毎にレコードとして組み合わせることで原コードブック202を作成して(S509)、一連の処理を終了する(S510)。
[レコード選定処理部203:全体構成及びフローチャート]
コードブックレコード作成部201によって作成された原コードブック202は膨大なレコード数を有する。しかし、このレコード数のうち、実際に実用的な結果を得るレコードは極めて少数である。発明者が試算したところ、原コードブックで実用に耐えうるレコードはおよそ3%程度であった。そこで、評価用の画像データを用いて、超解像画像処理を試してみて、使えるレコードだけを抽出する処理を行う。これがレコード選定処理部203の役割である。
図8は、レコード選定処理部203の機能ブロック図である。
図9及び図10は、レコード選定処理部203による、レコード選定処理の流れを示すフローチャートである。
以下、図9及び図10のフローチャートを説明しつつ、図8のブロック図を説明する。
処理を開始すると(S901)、縮小処理部401はサンプル画像データ111とは異なる評価用画像データ112を読み込み、評価用画像データ112を1/(k×k)倍に縮小して、評価用縮小画像データ801を得る(S902)。
次に、Bicubic拡大処理部403は評価用縮小画像データ801を読み込み、周知のBicubicアルゴリズムにて拡大処理を行う(S903)。そして、エッジ領域判定部404はBicubic拡大処理部403が生成した拡大画像データから局所領域を抜き出して、局所領域内のピクセルデータに変動成分があるか否かを判定し、変動成分がある局所領域のみ抜き出して、評価用Bicubic画像データ802を生成する(S904)。ここで、拡大処理に用いるアルゴリズムは、画像の再現性を高めるため、先に説明したコードブックレコード作成部201のBicubic拡大処理部403と同じアルゴリズムを用いる必要がある。
これ以降はループ処理である。
先ず、図示しない制御部は、カウンタ変数iを1に設定する(S905)。このカウンタ変数iは、評価用Bicubic画像データ802が有する局所領域の数を最大数とする。
次に、局所領域抽出部803は評価用Bicubic画像データ802からi番目の局所領域のデータを抜き出して、評価用局所領域低周波成分804を得る(S906)。この局所領域は、先にコードブックレコード作成処理にて説明した局所領域と同一の形態(縦pピクセル×横qピクセル)である。本実施形態の場合は、5×5ピクセルである。
次に、ノルム演算部805は評価用局所領域低周波成分804を読み込み、評価用局所領域ノルム806を算出する(S907)。
次に、除算器807は評価用局所領域低周波成分804を評価用局所領域ノルム806で除算して、評価用局所領域正規化低周波成分808を得る(S908)。
ステップS908にて、除算器807によって算出された評価用局所領域正規化低周波成分808は、原コードブック202に含まれるレコードの正規化低周波成分フィールドの値と対応する。つまり、評価用局所領域正規化低周波成分808に対して最も近い値を持つ、正規化低周波成分フィールドの値のレコードの、正規化高周波成分フィールドの値が、超解像画像処理のために求めたい正規化高周波成分となる。そこで、SSD探索処理部809は評価用局所領域正規化低周波成分808を読み込み、評価用局所領域正規化低周波成分808と、原コードブック202に存在する全てのレコードの正規化低周波成分フィールドの値との距離を算出し、最も近いレコードを特定する(S909)。
SSD探索処理部809は、周知のSSD(Sum of Squared Difference)にて、画像の類似度を算出する。具体的には以下の式(2)である。
すなわち、比較対象の局所領域同士の、同じ位置に存在するピクセル同士の輝度を減算して二乗し、その二乗値の合計を算出する。比較する二つの画像データが全く同じ画像であれば、最小値「0」となる。この演算処理を原コードブック202に存在する全てのレコードの正規化低周波成分フィールドに対して行い、最も小さい値のレコードを特定する。
図10にてフローチャートの説明を続ける。
次に、乗算器810はステップS909で特定された原コードブック202のレコードにおける正規化高周波成分フィールドの値と、ステップS907にて算出した評価用局所領域ノルム806を乗算して、局所領域高周波成分を得る(S1010)。
次に、加算器811はステップS1010にて乗算器810が算出した局所領域高周波成分と、ステップS906にて得た評価用局所領域低周波成分804とを加算して、評価用局所領域超解像データ812を得る(S1011)。
ステップS1011で、原コードブック202のレコードを基に、評価用局所領域超解像データ812を得た。一方、評価用画像データ112が存在するので、この時点で評価用画像データ112に含まれる本当の高周波成分と、超解像画像処理にて使用した原コードブック202内のレコードにおける正規化高周波成分フィールドの値との類似性を確認することができる。そこで、RMSE演算部813は、評価用局所領域超解像データ812と、評価用画像データ112と、局所領域抽出部803からi番目の局所領域に対応する評価用画像データ112内のアドレスを得て、局所領域同士の類似度を演算する(S1012)。
RMSE演算部813は、周知のRMSE演算値(Root Mean Square Error)を算出する。RMSEとは以下の式(3)に示すように、先に説明したSSDの平方根である。RMSEの意味は、統計学の標準偏差と同じ指標であり、原画像とのピクセル単位での誤差を表す。
次に、コンパレータ814はRMSE演算部813が算出したRMSE演算値を、RMSE閾値815と比較して、論理値の比較結果を出力する(S1014)。本実施形態の場合、RMSE閾値815は「5」である。RMSEが「5」とは、原画像と超解像画像との誤差が1ピクセルあたり5(画素値)、ずれていることを意味する。
もし、RMSE閾値815の比較結果が、RMSE閾値815よりRMSE演算値が小さいと判定した場合(S1014のYES)、レコード複写処理部816はRMSE閾値815の比較結果である論理の「真」を受けて、ステップS909で特定した原コードブック202のレコードを、コードブック106へ複写する(S1015)。
逆に、RMSE閾値815の比較結果が、RMSE演算値がRMSE閾値815以上であると判定した場合(S1014のNO)、レコード複写処理部816はRMSE閾値815の比較結果である論理の「偽」を受けて、動作しない。したがって、ステップS909で特定した原コードブック202のレコードは、コードブック106へ複写されない。
ステップS1015の後、或はステップS1014にてRMSE演算値がRMSE閾値815以上であると判定した場合(S1014のNO)の、何れの場合でも、次に図示しない制御部は、カウンタ変数iを1インクリメントする(S1016)。そして、図示しない制御部は、カウンタ変数が最大値、つまり局所領域の最大数を超えたか否か、確認する(S1017)。未だ超えていなければ(S1017のNO)、再び図9のステップS906から処理を繰り返す。
カウンタ変数が最大値、つまり局所領域の最大数に達していれば(S1017のYES)、図示しない制御部は一連の処理を終了する(S1018)。
[主成分分析処理部204:フローチャートと処理の概要]
超解像画像処理装置101は、入力画像データ104から局所領域を抜き出して、コードブック106を検索する。検索の際、最終的にはベクトルの類似度を計算して、最も類似するレコードを選択する。本実施形態の場合、5×5=25ピクセルであり、変数の数が多い。変数が多い、ということは演算ステップ数が多いことを意味し、検索速度の低下に繋がる。
そこで、変数の数を低減させて、演算ステップ数を削減するために、主成分分析を用いる。主成分分析を用いれば、ベクトルをスカラ値に変換できるので、インデキシングが容易になり、コードブック106の検索速度を向上できる。
図11は、主成分分析処理部204が実施する処理とデータとの関係を示す概略図である。
コードブック106は、原コードブック202から複写した正規化低周波成分フィールドと、正規化高周波成分フィールドの他、第一主成分値フィールドと、第一主成分グループ番号フィールドと、第二主成分値フィールドと、第二主成分グループ番号フィールドと、第三主成分値フィールドと、第三主成分グループ番号フィールドとよりなる。主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分409から、図12に示す演算処理を行って、第一主成分値フィールドと、第一主成分グループ番号フィールドと、第二主成分値フィールドと、第二主成分グループ番号フィールドと、第三主成分値フィールドと、第三主成分グループ番号フィールドに値を記入すると共に、第一主成分基底ベクトル107と、第二主成分基底ベクトル108と、第三主成分基底ベクトル109とを算出する。
図12は、主成分分析処理部204による、主成分分析処理の流れを示すフローチャートである。
処理を開始すると(S1201)、先ず主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドの値に、周知の主成分分析を行い、第一主成分基底ベクトル107を算出する(S1202)。周知のように、第一主成分基底ベクトル107は第一主成分軸を表し、その起点が主成分分析の対象となるデータの特徴を最も表す基底ベクトルである。
次に主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドの値と、ステップS1202にて求めた第一主成分基底ベクトル107とを内積演算器1101にて内積演算して第一主成分値を得て、これをレコード毎に記録する(S1203)。
次に主成分分析処理部204は、コードブック106の全レコードの第一主成分値について所定のレコード数でグルーピングし、第一主成分グループ番号をレコード毎に記録する(S1204)。
次に主成分分析処理部204は、先に実行した主成分分析の結果から、第一主成分軸と直交する第二主成分基底ベクトル108を取得する(S1205)。第一主成分基底ベクトル107と同様、第二主成分基底ベクトル108も第二主成分軸を表し、第一主成分基底ベクトルに直交するベクトルの中で、最もデータの特徴を捉える基底ベクトルである。
次に主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドの値と、ステップS1205にて求めた第二主成分基底ベクトル108とを内積演算器1102にて内積演算して第二主成分値を得て、これをレコード毎に記録する(S1206)。
次に主成分分析処理部204は、コードブック106の第一主成分グループ番号が同じレコードの第二主成分値について所定のレコード数でグルーピングし、第二主成分グループ番号をレコード毎に記録する(S1207)。つまり、第一主成分グループ番号が同じレコードを、第二主成分グループ番号で更に細分化する。
次に主成分分析処理部204は、先に実行した主成分分析の結果から、第一主成分軸及び第二主成分軸と直交する第三主成分基底ベクトル109を取得する(S1208)。第一主成分基底ベクトル107と同様、第三主成分基底ベクトル109も第三主成分軸を表し、第一、第二主成分ベクトルに直交するベクトルの中で最もデータの特徴を捉える基底ベクトルである。
次に主成分分析処理部204は、コードブック106の全レコードの正規化低周波成分フィールドの値と、ステップS1208にて求めた第三主成分基底ベクトル109とを内積演算器1103にて内積演算して第三主成分値を得て、これをレコード毎に記録する(S1209)。
次に主成分分析処理部204は、コードブック106の第一主成分グループ番号及び第二主成分グループ番号が同じレコードの第三主成分値について所定のレコード数でグルーピングし、第三主成分グループ番号をレコード毎に記録する(S1210)。つまり、第一主成分グループ番号及び第二主成分グループ番号が同じレコードを、第三主成分グループ番号で更に細分化する。そして、一連の処理を終了する(S1211)。
図13(a)、(b)、(c)及び(d)、図14(e)及び(f)は、主成分分析処理部204による主成分分析処理の処理内容を説明する概略図である。
図13(a)は主成分分析の対象となる正規化低周波成分409の概念図である。本来なら正規化低周波成分409は5×5ピクセルの25個のスカラ値の集合体、つまり25次元ベクトルであるが、仮に二次元であるものとして図示する。ある座標系内に、正規化低周波成分409は各々が任意の位置に存在している。
主成分分析とは、これらのデータに対し、最も分散が大きい軸を見つける。この軸が第一主成分軸である。図12のステップS1202の処理に該当する。
図13(b)は、図13(a)の図を第一主成分軸から見た概念図である。第一主成分軸から各々のデータを見ると、最もデータがばらけて見える。つまり、第一主成分軸は、各データの第一主成分軸上の値(第一主成分値)の最小値から最大値迄の距離が最大である。
第一主成分値は、各々のデータと第一主成分基底ベクトル107とを内積演算して得る(図12のステップS1203)。そして、第一主成分値の出現頻度を縦軸に取ると、図13(c)のように出現頻度の偏りが観察できる。そこで、この出現頻度のグラフを図13(d)のように等面積に分割して、番号を付与する。これが、図12のステップS1204の処理である。
図14にて主成分分析処理の説明を続ける。
図14(e)は、第一主成分軸、第二主成分軸及び第三主成分軸にて形成される固有空間の概念図である。図12のステップS1210迄処理を進めると、データの集合は第一主成分軸、第二主成分軸及び第三主成分軸で区切られ、等しい要素数の集合が形成される。
コードブック106のレコードが属するグループは、第一主成分値の範囲と、第二主成分値の範囲と、第三主成分値の範囲とを有する。図14(f)に示すように、この主成分値の範囲が、ツリー検索にてレコードを絞り込むために用いられる。
[超解像画像処理装置101:フローチャートと処理の概要]
図15は、超解像画像処理装置101の機能ブロック図である。
図16及び図17は、超解像画像処理装置101による、超解像画像処理の流れを示すフローチャートである。
以下、図16及び図17のフローチャートを説明しつつ、図15のブロック図を説明する。
処理を開始すると(S1601)、Bicubic拡大処理部1501は入力画像データ104を読み込み、周知のBicubicアルゴリズムにて拡大処理を行い、入力Bicubic画像データ1502を生成する(S1602)。
これ以降はループ処理である。
先ず、図示しない制御部は、カウンタ変数iを1に設定する(S1603)。このカウンタ変数iは、入力Bicubic画像データ1502が有する局所領域の数を最大数とする。なお、超解像画像処理装置101における局所領域の採り方は、図6で説明した重複を有する方法とは異なり、重複を有さないタイル状の採り方である。重複を排除することで、超解像画像処理装置101の処理ステップ数を低減させることができる。
次に、局所領域抽出部1503は入力Bicubic画像データ1502からi番目の局所領域のデータを抜き出して、入力局所領域低周波成分1504を得る(S1604)。この局所領域は、先にコードブックレコード作成処理にて説明した局所領域と同一の形態(縦pピクセル×横qピクセル)である。本実施形態の場合は、5×5ピクセルである。
次に、ノルム演算部1505は入力局所領域低周波成分1504を読み込み、入力局所領域ノルム1506を算出する(S1605)。
次に、除算器1507は入力局所領域低周波成分1504を入力局所領域ノルム1506で除算して、入力局所領域正規化低周波成分1508を得る(S1606)。
ステップS1606にて、除算器1507によって算出された入力局所領域正規化低周波成分1508は、コードブック106に含まれるレコードの正規化低周波成分と対応する。つまり、入力局所領域正規化低周波成分1508に対して最も近い値を持つ、正規化低周波成分フィールドの値のレコードの正規化高周波成分が、超解像画像処理のために求めたい正規化高周波成分となる。
先に図11及び図12にて説明したように、コードブック106には主成分分析を用いたインデキシングが施されている。そこで、入力局所領域正規化低周波成分1508から第一主成分値、第二主成分値及び第三主成分値を算出する。
第一内積演算器1509は、入力局所領域正規化低周波成分1508と第一主成分基底ベクトル107と内積演算して、第一主成分値を得る(S1607)。
第二内積演算器1510は、入力局所領域正規化低周波成分1508と第二主成分基底ベクトル108と内積演算して、第二主成分値を得る(S1608)。
第三内積演算器1511は、入力局所領域正規化低周波成分1508と第三主成分基底ベクトル109と内積演算して、第三主成分値を得る(S1609)。
図17にてフローチャートの説明を続ける。
ツリー探索部1512は、第一内積演算器1509が算出した第一主成分値と、第二内積演算器1510が算出した第二主成分値と、第三内積演算器1511が算出した第三主成分値とを用いて、コードブック106をツリー検索して、入力局所領域正規化低周波成分1508に最も近い値を有するレコードのグループ(レコード群)を特定し、ベクトル類似度演算部1513に当該レコード群を指すアドレス情報を引き渡す(S1710)。
ベクトル類似度演算部1513は、ツリー探索部1512から引き渡されたレコード群のアドレス情報を得て、レコード群に属する全てのレコードの正規化低周波成分フィールドの値と、入力局所領域正規化低周波成分1508とのSSDを演算し、最も近いレコードを特定する(S1711)。
ステップS1711にて、ベクトル類似度演算部1513がレコードを特定することで、超解像画像処理に必要な当該レコードの正規化高周波成分1514を得ることができる。乗算器1515は、ベクトル類似度演算部1513が特定したレコードの正規化高周波成分1514と、ステップS1605にてノルム演算部1505が算出した入力局所領域ノルム1506を乗算して、局所領域高周波成分1516を算出する(S1712)。
加算器1517は、乗算器1515が算出した局所領域高周波成分1516と、ステップS1604にて局所領域抽出部1503が出力した入力局所領域低周波成分1504を加算して、局所領域超解像画像データ1518を作成する(S1713)。そして、結合処理部1519は局所領域抽出部1503からi番目の局所領域に対応するアドレス情報を得て、図示しないRAM上に局所領域超解像画像データ1518を配置する(S1714)。
次に、図示しない制御部は、カウンタ変数iを1インクリメントする(S1715)。そして、図示しない制御部は、カウンタ変数iが局所領域の最大値を超えたか否か、確認する(S1716)。未だ超えていなければ(S1716のNO)、再び図16のステップS1604から処理を繰り返す。
カウンタ変数iが局所領域の最大値を超えていれば(S1716のYES)、一連の処理を終了する(S1717)。
ステップS1717の時点で、図示しないRAM上には超解像画像データである出力画像データ105が形成される。
本実施形態は、以下のような応用例が考えられる。
(1)上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置101の入力画像データ104(ソース)は動画像であってもよい。この場合、評価の対象となる局所領域は時間軸を考慮したものとなる。例えば、時間軸上で隣り合う2枚の画像を対象にして、縦pピクセル×横qピクセル×rサンプル数を局所領域の単位とする。
(2)上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置101の入力画像データ104(ソース)はカラー画像であってもよい。この場合、局所領域は三原色を考慮したものとなる。つまり、各々のビットマップを構成するピクセルの個数が単純に三倍になる。
勿論、扱う画像はカラーの動画像であってもよい。
(3)例えば、アニメーションやコンピュータグラフィックス等の別の映像に実写の人物を合成する、周知のクロマキー合成によって生成される画像データの場合、一つの画像データ内に複数の全く異なる特徴を備えた部分が混在することとなる。このような画像データの場合は、予め異なる特徴の画像部分とを切り分けて、夫々に適したコードブック106等を用いて超解像画像処理を施すことが望ましい。
(4)周知のように、主成分分析では、主成分分析の対象となる行列の要素数が膨大で、第一主成分軸、第二主成分軸及び第三主成分軸だけでは集合の絞り込みを良好に実施できない場合に、第一主成分軸、第二主成分軸及び第三主成分軸の双方に直交し、最も分散が大きい第四主成分軸を算出することが行われる。そして、主成分軸は第五、第六…と、その用途に応じて増やすことも可能である。これは本実施形態の超解像画像処理装置101及びコードブック作成装置110にも同じことが言える。つまり、コードブック106等に含まれる主成分軸の基底ベクトルは、必ずしも第一主成分軸、第二主成分軸及び第三主成分軸だけではなく、必要に応じて第四主成分軸以降を含めることができる。そして、その際、コードブック106にもこれに応じて「第四主成分」フィールド等が追加されることとなる。
(5)コードブック106の正規化低周波成分フィールドは、図4のBicubic拡大処理部403によって拡大された局所領域のビットマップデータが基になっている。この、Bicubic拡大処理部403によって拡大された局所領域を用いる代わりに、縮小画像データ402の、局所領域に相当する箇所のビットマップデータをノルムで正規化して、正規化低周波成分として利用してもよい。前述の通り、画像を縮小処理した時点で高周波成分が失われるので、拡大処理を施す前に、縮小処理した時点の画像データをそのまま原コードブック202の正規化低周波成分フィールドの値に利用する。このようにすることで、正規化低周波成分フィールドに格納される要素数が低減されるので、SSD探索処理部809、RMSE演算部813、主成分分析処理部204、ベクトル類似度演算部1513等の演算ステップ数が低減できる。
(6)本実施形態の超解像画像処理装置101は、コードブック106を作成する際、ノルムを用いて正規化を施すため、演算処理に浮動小数点演算が含まれる。コードブック106に格納される値を所定の値で逓倍することで、浮動小数点演算を回避して、整数演算処理だけで装置を構成することもできる。
本実施形態においては、超解像画像処理装置101と、これに用いるコードブック作成装置110を開示した。
汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置101は、先ず、処理対象とする画像から原コードブック202を作成し、原コードブック202から超解像処理に適したレコードのみを選定したコードブック106を作成した。
また、コードブック106に用いるレコード数を効果的に低減させるために、ノルムを用いた。
これらの技術の採用により、比較的少ない計算量で高い高周波成分の再現率を達成する超解像画像処理装置101を実現できる。
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
101…超解像画像処理装置、102…デジタルカメラ、103…画像ファイル、104…入力画像データ、105…出力画像データ、106…コードブック、107…第一主成分基底ベクトル、108…第二主成分基底ベクトル、109…第三主成分基底ベクトル、110…コードブック作成装置、111…サンプル画像データ、112…評価用画像データ、201…コードブックレコード作成部、202…原コードブック、203…レコード選定処理部、204…主成分分析処理部、401…縮小処理部、402…縮小画像データ、403…Bicubic拡大処理部、404…エッジ領域判定部、405…サンプルBicubic画像データ、406…ノルムデータ演算部、407…ノルムデータ、408…除算器、409…正規化低周波成分、410…加算器、411…高周波成分、412…除算器、413…正規化高周波成分、414…ラスタスキャン処理部、701…画像、702…縮小画像、703…低周波成分、704…高周波成分、801…評価用縮小画像データ、802…評価用Bicubic画像データ、803…局所領域抽出部、804…評価用局所領域低周波成分、805…ノルム演算部、806…評価用局所領域ノルム、807…除算器、808…評価用局所領域正規化低周波成分、809…SSD探索処理部、810…乗算器、811…加算器、812…評価用局所領域超解像データ、813…RMSE演算部、814…コンパレータ、815…RMSE閾値、816…レコード複写処理部、1101…内積演算器、1102…内積演算器、1103…内積演算器、1501…Bicubic拡大処理部、1502…入力Bicubic画像データ、1503…局所領域抽出部、1504…入力局所領域低周波成分、1505…ノルム演算部、1506…入力局所領域ノルム、1507…除算器、1508…入力局所領域正規化低周波成分、1509…第一内積演算器、1510…第二内積演算器、1511…第三内積演算器、1512…ツリー探索部、1513…ベクトル類似度演算部、1514…正規化高周波成分、1515…乗算器、1516…局所領域高周波成分、1517…加算器、1518…局所領域超解像画像データ、1519…結合処理部

Claims (4)

  1. 入力画像データを拡大する拡大処理部と、
    前記拡大処理部で拡大された前記入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、
    前記入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、
    前記入力局所領域低周波成分を前記入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、
    画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、前記局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、前記正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックと、
    前記入力局所領域正規化低周波成分に基づいて前記コードブックをツリー検索して所定のレコード群を特定するツリー探索部と、
    前記入力局所領域正規化低周波成分と前記所定のレコード群の前記正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、
    前記ベクトル類似度演算部によって特定された前記レコードの前記正規化高周波成分と、前記入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、
    前記局所領域高周波成分と前記入力局所領域低周波成分とを加算する加算器と
    前記入力局所領域正規化低周波成分と前記コードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、
    前記入力局所領域正規化低周波成分と前記コードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器と
    を具備し、
    前記コードブックは、前記正規化低周波成分フィールドと、前記正規化高周波成分フィールドと、前記正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有し、
    前記ツリー探索部は、前記第一主成分値と前記第二主成分値で前記コードブックをツリー検索して所定のレコード群を特定する、
    超解像画像処理装置。
  2. 前記拡大処理部はBicubic拡大処理を実行する、請求項記載の超解像画像処理装置。
  3. サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、前記正規化した低周波成分が格納される正規化低周波成分フィールドと前記正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、
    評価用画像データを所定の矩形範囲で抜き出した局所領域毎に前記原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して前記原コードブックのレコードを選定してコードブックを作成するレコード選定処理部と
    前記コードブックに、前記コードブックの前記正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する主成分分析処理部と
    を具備する超解像画像処理用コードブック作成装置。
  4. 前記コードブックレコード作成部はBicubic拡大処理を実行する、請求項記載の超解像画像処理用コードブック作成装置。
JP2011277225A 2011-12-19 2011-12-19 超解像画像処理装置及び超解像画像処理用コードブック作成装置 Expired - Fee Related JP5892592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011277225A JP5892592B2 (ja) 2011-12-19 2011-12-19 超解像画像処理装置及び超解像画像処理用コードブック作成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277225A JP5892592B2 (ja) 2011-12-19 2011-12-19 超解像画像処理装置及び超解像画像処理用コードブック作成装置

Publications (2)

Publication Number Publication Date
JP2013127718A JP2013127718A (ja) 2013-06-27
JP5892592B2 true JP5892592B2 (ja) 2016-03-23

Family

ID=48778216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011277225A Expired - Fee Related JP5892592B2 (ja) 2011-12-19 2011-12-19 超解像画像処理装置及び超解像画像処理用コードブック作成装置

Country Status (1)

Country Link
JP (1) JP5892592B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002068A1 (ja) 2014-07-04 2016-01-07 三菱電機株式会社 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
CN108416733A (zh) * 2018-02-07 2018-08-17 杭州电子科技大学 一种不降低质量且快速的图像超分辨率方法
US12112451B2 (en) 2020-03-25 2024-10-08 Sony Interactive Entertainment Inc. Image processing apparatus and server
US20230128106A1 (en) * 2020-03-25 2023-04-27 Sony Interactive Entertainment Inc. Image processing apparatus and server
CN116228544B (zh) * 2023-03-15 2024-04-26 阿里巴巴(中国)有限公司 图像处理方法、装置及计算机设备

Also Published As

Publication number Publication date
JP2013127718A (ja) 2013-06-27

Similar Documents

Publication Publication Date Title
Chen et al. Learning spatial attention for face super-resolution
Wu et al. Revisiting light field rendering with deep anti-aliasing neural network
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
Choi et al. Single image super-resolution using global regression based on multiple local linear mappings
JP5769241B2 (ja) 超解像画像処理装置及び超解像画像処理用辞書作成装置
JP5892592B2 (ja) 超解像画像処理装置及び超解像画像処理用コードブック作成装置
Shi et al. (SARN) spatial-wise attention residual network for image super-resolution
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
Lu et al. A lightweight generative adversarial network for single image super-resolution
Wang et al. Learning continuous depth representation via geometric spatial aggregator
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
Ma et al. Single image super resolution via wavelet transform fusion and SRFeat network
Zhang et al. Multispectral image fusion using super-resolution conditional generative adversarial networks
Liu et al. Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
CN108229487B (zh) 一种结合空间域和频率域的显著性检测方法
Kim et al. Rethinking Pixel-Wise Loss for Face Super-Resolution
Pandey et al. Improved single image super-resolution based on compact dictionary formation and neighbor embedding reconstruction
Li et al. Lightweight image super-resolution network using 3D convolutional neural networks
Yuan et al. Learning simultaneous face super-resolution using multiset partial least squares
Tang et al. Lightweight frequency-based attention network for image super-resolution
Gómez-Bautista et al. Enhancing Facial Recognition in Surveillance Systems through Embedded Super-resolution
CN101840567A (zh) 保持图像拓扑结构的图像缩小方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160218

R150 Certificate of patent or registration of utility model

Ref document number: 5892592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees