JP6278042B2 - 情報処理装置、及び、画像処理方法 - Google Patents

情報処理装置、及び、画像処理方法 Download PDF

Info

Publication number
JP6278042B2
JP6278042B2 JP2015509893A JP2015509893A JP6278042B2 JP 6278042 B2 JP6278042 B2 JP 6278042B2 JP 2015509893 A JP2015509893 A JP 2015509893A JP 2015509893 A JP2015509893 A JP 2015509893A JP 6278042 B2 JP6278042 B2 JP 6278042B2
Authority
JP
Japan
Prior art keywords
image
patch
registered
correct
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509893A
Other languages
English (en)
Other versions
JPWO2014162690A1 (ja
Inventor
剛志 柴田
剛志 柴田
彰彦 池谷
彰彦 池谷
仙田　修司
修司 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014162690A1 publication Critical patent/JPWO2014162690A1/ja
Application granted granted Critical
Publication of JP6278042B2 publication Critical patent/JP6278042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Description

本発明は、画像情報の処理技術に関し、特に、劣化した画像の復元処理に関する。
デジタル画像データを処理する画像処理技術が、広く用いられている。その画像技術の１つとして、劣化復元技術が、知られている。この劣化復元技術は、劣化した画像を復元する技術である。
劣化復元技術として、例えば、ノイズ除去技術（デノイズ：denoise）、霧除去技術（デヘイズ：dehaze）及び超解像技術（super-resolution）がある（例えば、非特許文献１を参照）。以下、劣化復元技術の一例として、超解像技術について説明する。
超解像技術は、画像データの解像度を高める画像処理技術である。超解像技術には、例えば、次のような２つの技術がある。
第１の超解像技術は、複数枚超解像技術である。複数枚超解像技術は、動画を構成する又は連写を用いて生成される複数の画像データ（複数フレーム）を用いて、１枚の高解像度画像データを生成する技術である（例えば、特許文献１参照）。このように、複数枚超解像技術は、高解像度を実現するために複数枚の画像データが必要である。そのため、複数枚超解像技術は、１枚の画像データから高解像画像データを生成することはできない。
第２の超解像技術は、学習型超解像技術である。学習型超解像技術は、予め、学習処理に基づいて辞書を作成し、その辞書を用いて１枚の画像データの解像度を高める技術である（例えば、特許文献２及び特許文献３参照）。学習型超解像技術は、辞書を用いるため、参照画像データ数が少ない複数枚超解像技術より高い超解像を実現できる。
学習型超解像技術について、図面を参照して、更に説明する。学習型超解像技術は、一般的に、「学習フェーズ」と「超解像フェーズ」とを含む。「学習フェーズ」とは、超解像処理に用いる辞書を作成するフェーズである。「超解像フェーズ」とは、辞書を用いて、低解像度画像から高解像度画像を生成するフェーズである。
学習型超解像技術において、１つの装置が、両フェーズを実行しても良い。あるいは、複数の装置が、個別に各フェーズを実行しても良い。
以下、説明を明確にするため、各フェーズの装置を用いて説明する。
図１０は、本発明に関連する超解像システム９００の構成の一例を示す図である。
超解像システム９００は、辞書作成装置９１０と、辞書９２０と、超解像画像生成装置９３０とを含む。
辞書作成装置９１０は、学習フェーズを実行する。具体的には、辞書作成装置９１０は、学習画像５１を基に、超解像フェーズで使用するパッチ（パッチペア５３１）を作成し、辞書９２０に保存する。
辞書９２０は、辞書作成装置９１０が作成した超解像画像を作成するためのパッチペア５３１を保存する。
超解像画像生成装置９３０は、超解像フェーズを実行する。具体的には、超解像画像生成装置９３０は、入力画像５４（低解像画像）と、辞書９２０に保存されたパッチペア５３１とを用いて、復元画像５５（高解像画像）を生成する。
各フェーズについて更に説明する。
図１１は、学習フェーズを説明するための図である。図１０と図１１とを併用して、学習フェーズでの処理を説明する。
辞書作成装置９１０は、学習のための高解像画像（学習画像５１）を受け取る。そして、辞書作成装置９１０は、学習画像５１の解像度を落とした低解像画像（劣化画像５２）を生成する。
また、辞書作成装置９１０は、学習画像５１から所定の範囲の画像部分（高解像パッチ５１１）を切り出す。さらに、辞書作成装置９１０は、切り出した高解像パッチ５１１に対応する画像部分（低解像パッチ５２１）を、劣化画像５２から切り出す。
そして、辞書作成装置９１０は、高解像パッチ５１１と低解像パッチ５２１とを組み合わせたパッチペア５３１を生成する。辞書作成装置９１０は、パッチペア５３１を辞書９２０に保存する。
図１２は、超解像フェーズを説明するための図である。
超解像画像生成装置９３０は、入力画像５４を受け取る。
超解像画像生成装置９３０は、入力画像５４を基に、パッチペア５３１の低解像パッチ５２１と比較するためのパッチ（入力パッチ５４１）を生成する。
そして、超解像画像生成装置９３０は、生成した入力パッチ５４１を基に、辞書９２０を参照してパッチペア５３１を選択する。より具体的には、超解像画像生成装置９３０は、例えば、次の様に動作する。
超解像画像生成装置９３０は、入力パッチ５４１とパッチペア５３１の全ての低解像パッチ５２１との類似度を算出する。そして、超解像画像生成装置９３０は、類似度を基に、最も類似する低解像パッチ５２１のパッチペア５３１を選択する。選択されたパッチペア５３１の高解像パッチ５１１は、合成に用いるパッチ（復元パッチ５５１）となる。
超解像画像生成装置９３０は、全ての入力パッチ５４１に対応するパッチペア５３１を選択する。超解像画像生成装置９３０は、選択したパッチペア５３１の高解像パッチ５１１を復元パッチ５５１として用いて、復元画像５５（超解像画像）を生成する。
特開２００９−１８１５０８号公報 特開２０１１−１７０４５６号公報 特開２０１２−０４３４３７号公報
A. Buades, B. Coll, and J.-M. Morel, "A non-local algorithm for image denoising", IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2005 (CVPR2005), Volume: 2, Page(s): 60 - 65, 20-25 June, 2005.
学習画像５１は、多くの種類の画像を含む。従って、学習画像５１は、入力画像５４と同じ種類の画像及び異なる種類の画像を含む。つまり、辞書９２０が保持するパッチペア５３１は、多くの種類の学習画像５１から作成される。
本発明に関連する上記特許文献１乃至特許文献３に記載の超解像技術は、超解像フェーズにおいて、パッチペア５３１を区別せず、入力パッチ５４１とパッチペア５３１との類似度を、全数比較する。そのため、特許文献１乃至特許文献３に記載の超解像技術は、入力画像５４と異なる種類の画像のパッチペア５３１を選択する場合がある。
このように、特許文献１乃至特許文献３に記載の超解像技術は、適切なパッチペア５３１を選択できないという問題点があった。
また、非特許文献１は、辞書を用いないため、上記問題点に対応できない。
本発明の目的は、上記問題点を解決し、劣化した画像を適切に復元する情報処理装置、及び、画像処理方法を提供することにある。
本発明における一形態の情報処理装置は、学習画像を識別するための正解識別子を出力する正解識別子出力手段と、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段とを含む。
また、本発明における一形態の画像処理方法は、学習画像を識別するための正解識別子を出力し、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する。
また、本発明における一形態のプログラムを記録したコンピュータ読み取り可能な記録媒体は、学習画像を識別するための正解識別子を出力する処理と、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理とを含むプログラムをコンピュータ装置に実行させる。
本発明によれば、劣化した画像を適切に復元することができる。
図１は、本発明における第１の実施形態に係る情報処理装置を含む超解像システムの構成の一例を示すブロック図である。 図２は、第１の実施形態の情報処理装置が辞書に登録するデータの一例を示す図である。 図３は、第１の実施形態の分類を説明するための図である。 図４は、第１の実施形態の動作の一例を示すフローチャートである。 図５は、第１の実施形態の情報処理装置の変形例の一例を示すブロック図である。 図６は、第１の実施形態の情報処理装置の変形例の一例を示すブロック図である。 図７は、本発明の第２の実施形態の情報処理装置の構成の一例を示すブロック図である。 図８は、本発明の第３の実施形態の情報処理装置の構成の一例を示すブロック図である。 図９は、本発明の第４の実施形態の情報処理装置の構成の一例を示すブロック図である。 図１０は、本発明に関連する超解像システムの構成の一例を説明するためのブロック図である。 図１１は、本発明に関連する学習フェーズを説明するための図である。 図１２は、本発明に関連する超解像フェーズを説明するための図である。
次に、本発明の実施形態について図面を参照して説明する。
なお、各図面は、本発明の実施形態を説明するためのものである。そのため、本発明は、各図面の記載に限られるわけではない。
また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明は、省略する場合がある。
（第１の実施形態）
まず、本発明における一実施形態である、第１の実施形態の情報処理装置１０について、説明する。
本実施形態の情報処理装置１０は、適応する劣化復元技術に、特に制限はない。そこで、以下の説明は、例示として、超解像技術を用いて説明する。
図１は、本発明における第１の実施形態に係る情報処理装置１０を含む超解像システム４０の構成の一例を示すブロック図である。
超解像システム４０は、情報処理装置１０と、辞書２０と、超解像画像生成装置３０とを含む。
本実施形態の情報処理装置１０は、超解像処理の学習フェーズを実施する。
そのため、情報処理装置１０は、学習用高解像度画像受信部１１０と、劣化画像生成部１２０と、正解ＩＤ（Identifier）出力部１３０と、パッチ生成部１４０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０と、登録部１７０とを含む。
図２は、本実施形態の情報処理装置１０が辞書２０に登録（格納）するデータの一例を示す図である。
以下、図２も参照して説明する。なお、図２において、図１１と同じ構成には同じ番号を付している。なお、以下の説明において、「データを辞書２０に登録（格納）する」ことを、「辞書２０を作成する」と言う。
学習用高解像度画像受信部１１０は、辞書２０を作成するため、学習用の高解像度画像（図２に示す学習画像５１）を受信する。学習画像５１の受信手法は、特に制限はない。例えば、超解像システム４０の操作者が、情報処理装置１０に学習画像５１を入力しても良い。また、情報処理装置１０は、超解像システム４０の図示しない入力機器から、学習画像５１の保存場所を示す情報を受け取り、指定された保存場所から学習画像５１を受信しても良い。
劣化画像生成部１２０は、学習画像５１の解像度を落とした低解像画像（図２に示す劣化画像５２）を生成する。なお、劣化画像生成部１２０は、複数の劣化手法を用いて、複数の劣化画像５２を生成しても良い。
正解ＩＤ出力部１３０は、後ほど説明する情報処理装置１０が辞書２０に登録する登録パッチ２００に割り当てる識別子（以下、「正解識別子」又は「正解ＩＤ（Identifier）」と言う。）を出力する。つまり、正解ＩＤ出力部１３０は、正解識別子出力部である。また、正解ＩＤ出力部１３０は、後ほど説明するとおり、何らかの手法を基に正解ＩＤを取得し、出力しても良い。つまり、正解ＩＤ出力部１３０は、正解識別子取得部でもよい。
以下の説明では、「正解ＩＤ」は、学習画像５１に割り当てられた識別子として説明する。ただし、正解ＩＤは、学習画像５１毎に割り当てられたＩＤである必要はない。正解ＩＤ出力部１３０は、例えば、学習画像５１の所定領域毎に割り当てられたＩＤを、正解ＩＤとして取得して、出力しても良い。あるいは、正解ＩＤ出力部１３０は、登録パッチ２００毎に割り当てられたＩＤを、正解ＩＤとして取得して、出力しても良い。
また、正解ＩＤの値及びデータ形式は、特に制限はない。例えば、人物画像及び顔画像の場合、正解ＩＤは、画像内の人物の識別子（ＩＤ）でも良い。
あるいは、正解ＩＤは、画像の種類に応じて割り当てられても良い。例えば、正解ＩＤは、人物画像の部分の種類（例えば、顔画像又は上半身画像）を分類できる識別子でも良い。また、正解ＩＤは、人物画像の部分の種類毎に、同じ種類内で分類可能な識別子でも良い。
また、画像が所定の数値を含む画像（例えば、ナンバープレート画像）の場合、正解ＩＤは、画像に含まれる番号でも良い。
また、正解ＩＤの取得手法は、特に制限はない。例えば、情報処理装置１０は、学習画像５１に対応する正解ＩＤを、操作者の入力操作を基に取得しても良い。あるいは、正解ＩＤ出力部１３０は、学習画像５１に順番に正解ＩＤを割り当てても良い。
パッチ生成部１４０は、学習画像５１と、劣化画像生成部１２０が生成した劣化画像５２とを基に、辞書２０に登録する登録パッチ２００に含まれるパッチ（例えば、図２の高解像パッチ５１１と低解像パッチ５２１）を生成（抽出）する。
なお、辞書２０は、パッチの保存方法に制限はない。また、後ほど説明するように、情報処理装置１０は、辞書２０に保存する情報として、高解像パッチ５１１及び低解像パッチ５２１に限らず、他の情報を保存する。そのため、以下の説明において、複数のパッチ（例えば、パッチペア）及びパッチ以外の情報を含めて、辞書２０に保存する情報を「登録パッチ２００」と言う。
さらに、パッチ生成部１４０は、作成したパッチを含む登録パッチ２００に、正解ＩＤ出力部１３０から受け取った「正解ＩＤ」を割り当てる。上記の通り、本実施形態の説明に用いる正解ＩＤは、学習画像５１毎に割り当てられた識別子である。つまり、正解ＩＤ出力部１３０は、学習画像５１の「正解ＩＤ」を、登録パッチ２００に割り当てる。
特徴ベクトル算出部１５０は、パッチ生成部１４０から登録パッチ２００に含まれる低解像パッチ５２１を受信する。さらに、特徴ベクトル算出部１５０は、登録パッチ２００に含まれる低解像パッチ５２１の「特徴ベクトル」を算出する。つまり、特徴ベクトル算出部１５０は、登録パッチ２００の少なくとも一部のパッチを用いて特徴ベクトルを算出する。
この特徴ベクトルは、超解像フェーズの探索で用いられるベクトルである。そのため、特徴ベクトル算出部１５０は、超解像フェーズに合わせて特徴ベクトルを算出することが望ましい。
例えば、特徴ベクトル算出部１５０は、特徴ベクトルとして、一般的な超解像フェーズで用いられる「輝度値のベクトル」を用いても良い。あるいは、特徴ベクトル算出部１５０は、バイナリ特徴である「ブリーフ（ＢＲＩＥＦ：Binary Robust Independent Elementary Feature）特徴」を用いても良い。
なお、パッチ生成部１４０の代わりに特徴ベクトル算出部１５０が、正解ＩＤ出力部１３０から正解ＩＤを受信し、登録パッチ２００に正解ＩＤを割り当てても良い。図１に示す破線は、この場合の正解ＩＤ出力部１３０から特徴ベクトル算出部１５０への接続を示す。
探索類似度算出部１６０は、特徴ベクトル算出部１５０が算出した特徴ベクトルを基に、登録パッチ２００に割り当てられた正解ＩＤを分類する「類似度算出法」を算出する。
ここで「類似度算出法」とは、後ほど説明する通り、超解像画像生成装置３０が、入力画像５４のパッチと、登録パッチ２００との類似度を算出するための方法である。そして、「類似度算出法」の算出とは、正解ＩＤを分類するために用いる「類似度算出法」を、正解ＩＤに「類似度算出法」を適用して算出した値に基づいて選択することである。
探索類似度算出部１６０の「類似度算出法」の算出は、例えば、次のような動作である。
まず、探索類似度算出部１６０は、特徴ベクトルの類似度を算出する手法に、特徴ベクトルを適用する。そして、探索類似度算出部１６０は、その結果を基に正解ＩＤを分類する。そして、探索類似度算出部１６０は、正解ＩＤの分類状態を算出する。ここで、分類状態とは、例えば、分類された正解ＩＤの分類後のグループ間の距離やグループ内の正解ＩＤ間の距離の平均値である。そして、探索類似度算出部１６０は、算出した分類状態を基に、正解ＩＤの最も適切に分類する類似度算出法（例えば、分類後のグループ間の距離が大きい手法）を選択する。
そして、「類似度算出法」とは、超解像画像生成装置３０が、入力画像５４のパッチと、登録パッチ２００との類似度を算出するための方法である。例えば、類似度算出法は、類似度の計算に用いる計算式の係数又は係数行列を含んでも良い。あるいは、類似度算出法は、類似度の判定方法、例えば、パッチ間の差分の判断方法、又は、判断に用いる距離の尺度を含んでも良い。
さらに、類似度算出法は、これら（係数、係数行列、判断方法、又は、距離の尺度）を複数含んでも良く、これら以外の類似度の算出に必要な情報を含んでも良い。
また、探索類似度算出部１６０は、複数の類似度算出法を算出しても良い。
図３を参照して、探索類似度算出部１６０の動作をさらに説明する。
図３は、特徴ベクトル空間上における、登録パッチ２００の特徴ベクトルの分布を模式的に示す図である。
図３において、四角は、「正解ＩＤ」に「ＩＤ１」が割り当てられた登録パッチ２００を示す。同様に、三角は、「正解ＩＤ」に「ＩＤ２」が割り当てられた登録パッチ２００を示す。丸は、「正解ＩＤ」に「ＩＤ３」が割り当てられた登録パッチ２００を示す。
探索類似度算出部１６０は、特徴ベクトル空間上において、各正解ＩＤを適切に分類するように、類似度算出法を算出する。
例えば、図３に示す破線は、正解ＩＤの分類の一例を示す。つまり、探索類似度算出部１６０は、正解ＩＤの分類が、図３に示す破線となるような類似度算出法を算出する。
具体的には、例えば、探索類似度算出部１６０は、次に示す手法を用いて、類似度算出法を算出すればよい。
（１）フィッシャー判別（Fisher Discriminant）
（２）サポートベクターマシン（ＳＶＭ：Support Vector Machine）
（３）部分空間法（Subspace Method）
（４）局所フィッシャー判別分析（ＬＦＤＡ：Local Fisher Discriminate Analysis）
また、探索類似度算出部１６０は、上記の処理の前に、次に示す手法を用いて、次元を削減しても良い。
（１）主成分分析（ＰＣＡ：Principal Component Analysis）
（２）カーネル主成分分析（ＫＰＣＡ：Kernel Principal Component Analysis）
（３）局所性保存射影（ＬＰＰ：Locality Preserving Projection）
あるいは、探索類似度算出部１６０は、準（半）教師付き局所フィッシャー判別分析（ＳＥＬＦ：Semi-Supervised LFDA）を用いても良い。
図１及び図２を参照した説明に戻る。
登録部１７０は、次に示すパッチなどを含む登録パッチ２００を、辞書２０に登録する。
（１）パッチ生成部１４０が生成した「パッチ（高解像パッチ５１１と低解像パッチ５２１）」
（２）正解ＩＤ出力部１３０が出力した「正解ＩＤ」
（３）探索類似度算出部１６０が算出した「類似度算出法」
次に、情報処理装置１０の動作について、図面を参照して説明する。
図４は、情報処理装置１０の動作の一例を示すフローチャートである。
情報処理装置１０の学習用高解像度画像受信部１１０は、学習画像５１を受信する（ステップＳ４００）。
次に、劣化画像生成部１２０は、学習画像５１を基に、劣化画像を生成する（ステップＳ４０１）。
正解ＩＤ出力部１３０は、正解ＩＤを出力する（ステップＳ４０２）。
パッチ生成部１４０は、学習画像５１と劣化画像５２とを基に、登録パッチ２００に含まれるパッチ（高解像パッチ５１１と低解像パッチ５２１）を生成する（ステップＳ４０３）。パッチ生成部１４０は、登録パッチ２００に正解ＩＤを設定しても良い。
特徴ベクトル算出部１５０は、登録パッチ２００に含まれる低解像パッチ５２１を基に、特徴ベクトルを算出する（ステップＳ４０４）。
探索類似度算出部１６０は、特徴ベクトルを基に、正解ＩＤを適切に分類する類似度算出法を算出する（ステップＳ４０５）。
登録部１７０は、正解ＩＤ出力部１３０が出力した「正解ＩＤ」と、パッチ生成部１４０が生成した「パッチ」と、探索類似度算出部１６０が算出した「類似度算出法」とを含む登録パッチ２００を、辞書２０に登録する（ステップＳ４０６）。
このように、本実施形態の情報処理装置１０は、正解ＩＤの分類に適した類似度算出法を含む登録パッチ２００を、辞書２０に登録する。
そのため、超解像画像生成装置３０は、本実施形態の情報処理装置１０が登録した辞書２０を用いるとき、類似度算出法を使用できる。
本実施形態の情報処理装置１０の理解を深めるため、本実施形態の情報処理装置１０が登録した辞書２０を用いる超解像画像生成装置３０の一例を説明する。
なお、以下、一例として、超解像画像生成装置３０が、正解ＩＤを用いて登録パッチ２００を選択する場合について説明する。ただし、超解像画像生成装置３０は、登録パッチ２００の選択に、正解ＩＤを用いなくても良い。
超解像画像生成装置３０は、超解像フェーズを実施する。
そのため、超解像画像生成装置３０は、例えば、低解像度画像受信部３１０と、パッチ生成部３２０と、特徴ベクトル算出部３３０と、選択部３４０と、合成部３５０とを含む。
低解像度画像受信部３１０は、入力画像５４を受信する。また、低解像度画像受信部３１０は、入力画像５４の正解ＩＤを取得する。
なお、低解像度画像受信部３１０は、正解ＩＤのどのように取得しても良い。例えば、低解像度画像受信部３１０は、入力画像５４を共に正解ＩＤを受信しても良い。あるいは、低解像度画像受信部３１０は、入力画像５４を基に、所定のデータベースから正解ＩＤを取得しても良い。
パッチ生成部３２０は、入力画像５４を基に、辞書２０の登録パッチ２００と比較するためのパッチ（例えば、図１２に示す入力パッチ５４１）を生成する。
なお、パッチ生成部３２０は、生成したパッチ（入力パッチ５４１）に、低解像度画像受信部３１０が取得した正解ＩＤを設定しても良い。
特徴ベクトル算出部３３０は、パッチ生成部３２０が作成したパッチの特徴ベクトルを算出する。
選択部３４０は、特徴ベクトル算出部３３０が算出した特徴ベクトルと正解ＩＤとを基に、入力画像５４のパッチに対応する辞書２０に含まれる登録パッチ２００を選択する。
例えば、選択部３４０は、まず、低解像度画像受信部３１０が取得した正解ＩＤと同じ正解ＩＤを含む登録パッチ２００を選択する。そして、選択部３４０は、選択した登録パッチ２００の中から、特徴ベクトルを基に、類似する登録パッチ２００を選択する。
なお、既に説明したとおり、選択部３４０は、登録パッチ２００の選択に、正解ＩＤを用いなくても良い。
そして、本実施形態の登録パッチ２００は、情報処理装置１０が算出した類似度算出法を含む。
そのため、選択部３４０は、登録パッチ２００に含まれる類似度算出法を用いて、登録パッチ２００と入力画像５４のパッチとの類似度を算出し、類似度が近い登録パッチ２００を選択する。
具体的な、例を用いて説明する。
例えば、「ｉ」は、登録パッチ２００の番号、「ｊ」は、入力パッチ５４１の番号とする。さらに、「Ａｉ」は、「ｉ番目」の登録パッチ２００に含まれる低解像パッチ５２１の特徴ベクトルとする。また、「Ｄｉ（Ｘ、Ｙ）」は、登録パッチ２００に含まれる類似度算出法とする。ここで、「Ｄｉ（Ｘ、Ｙ）」は、ベクトルＸとＹとの類似度を算出する類似度算出法である。「Ｄｉ（Ｘ、Ｙ）」が算出する値が小さいほど、登録パッチ２００と入力パッチ５４１は、類似とする。また、「Ｂｊ」は、「ｊ番目」の入力パッチ５４１の特徴ベクトルとする。
すると、選択部３４０は、類似度として「Ｄｉ（Ａｉ、Ｂｊ）」を算出する。選択部３４０は、類似度を算出する範囲のすべての登録パッチ２００について、同様に類似度を算出する。そして、選択部３４０は、所定の範囲（例えば、類似度が小さい方から所定の数）の登録パッチ２００を選択する。
なお、選択部３４０は、１つの登録パッチ２００を選択しても良く、１つに限らず複数の登録パッチ２００を選択しても良い。
合成部３５０は、選択部３４０が選択した登録パッチ２００の高解像パッチ５１１を用いて復元画像５５（超解像画像）を合成する。
このように、超解像画像生成装置３０は、正解ＩＤを適切に分類する類似度算出法を用いて、復元画像５５（超過像画像）の合成に用いる登録パッチ２００を選択できる。
つまり、情報処理装置１０は、学習画像５１の正解ＩＤを適切に分類する類似度算出法を辞書２０に登録し、超解像の処理を改善する。
なお、情報処理装置１０は、劣化画像生成部１２０の劣化方法と正解ＩＤとを関連付けても良い。つまり、情報処理装置１０は、劣化画像生成部１２０で実施する複数の劣化方法毎に、正解ＩＤを割り当てても良い。
本実施形態の情報処理装置１０の効果について説明する。
本実施形態の情報処理装置１０は、超解像画像生成装置３０が適切な登録パッチ２００を選択できる辞書２０を生成する効果を得ることができる。
つまり、情報処理装置１０は、超解像画像生成装置３０において、劣化した画像を適切に復元する効果を得ることができる。
その理由は、次のとおりである。
情報処理装置１０の正解ＩＤ出力部１３０は、学習画像５１（学習用高解像度画像）に対応する正解ＩＤを出力する。そして、情報処理装置１０の探索類似度算出部１６０は、学習画像５１に割り当てられた正解ＩＤが適切に分類されるように、登録パッチ２００の類似度算出法を算出する。そして、情報処理装置１０は、類似度算出法を含めて登録パッチ２００を、辞書２０に登録する。
そのため、超解像画像生成装置３０は、本実施形態の情報処理装置１０が登録した辞書２０の登録パッチ２００が含む類似度算出法を用いて、入力画像５４に適した登録パッチ２００を選択し、適切な復元画像５５を合成（復元）できる。
つまり、本実施形態の情報処理装置１０は、超解像画像生成装置３０が劣化した画像から、適切に合成画像を復元できる登録パッチ２００を、辞書２０に登録できる。
＜変形例１＞
情報処理装置１０の構成は、これまでの説明の構成に限られない。
情報処理装置１０は、各構成を複数の構成に分けても良い。
さらに、情報処理装置１０は、１つの装置で構成される必要はない。例えば、情報処理装置１０は、パッチ生成部１４０を含むパッチを生成する装置と、探索類似度算出部１６０を含む類似度算出法を算出する装置とをネットワークを介して接続した情報処理システムとして構成されても良い。
なお、情報処理装置１０は、辞書２０に登録された登録パッチ２００に、正解ＩＤを基に算出した類似度算出法を含めて保存すれば良い。そのため、情報処理装置１０は、辞書２０に登録パッチ２００を保存してから、類似度算出法を算出し、保存されている登録パッチ２００に類似度算出法を追加しても良い。あるいは、情報処理装置１０は、辞書２０に保存されている登録パッチ２００の類似度算出法を作成、又は、更新しても良い。
図５は、情報処理装置１０の変形例の１つである情報処理装置１１の構成の一例を示すブロック図である。図５において、図１と同様の構成には同じ番号を付与し、その詳細な説明を省略する。なお、図５に示す情報処理装置１１は、登録パッチ２００に類似度算出法と正解ＩＤとを登録又は更新するが、登録パッチ２００に含まれる他の情報（例えば、高解像パッチ５１１及び低解像パッチ５２１）を登録しない。そのため、図５において、登録部１７０を省略した。
情報処理装置１１は、正解ＩＤ出力部１３０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０とを含む。
正解ＩＤ出力部１３０は、類似度算出法を算出する登録パッチ２００に割り当てる正解ＩＤを出力する。
特徴ベクトル算出部１５０は、特徴ベクトルを算出する低解像パッチを辞書２０から取り出し、特徴ベクトルを算出する。
探索類似度算出部１６０は、正解ＩＤが適切に分類できるように類似度算出法を算出し、算出した類似度算出法を辞書２０の登録パッチ２００に登録する。また、探索類似度算出部１６０は、正解ＩＤを登録パッチ２００に登録しても良い。
なお、情報処理装置１１は、図示しない装置から登録パッチ２００を受け取っても良い。
例えば、特徴ベクトル算出部１５０が、図示しない装置から登録パッチ２００を受け取り、特徴ベクトルを算出する。正解ＩＤ出力部１３０は、正解ＩＤを出力する。探索類似度算出部１６０は、正解ＩＤと特徴ベクトルとを基に、類似度算出法を算出する。そして、探索類似度算出部１６０が、登録パッチ２００として、特徴ベクトル算出部１５０が受け取ったパッチと、類似度算出法と、正解ＩＤとを、辞書２０に登録しても良い。
このように構成された情報処理装置１１は、情報処理装置１０と同等の効果を得ることができる。
その理由は、次のとおりである。
情報処理装置１１は、情報処理装置１０と同様に、辞書２０の登録パッチ２００の特徴ベクトルを基に、正解ＩＤを適切に分類できるように登録パッチ２００の類似度算出法を算出し、算出した類似度算出法を辞書２０に登録できるためである。
＜変形例２＞
また、情報処理装置１０は、複数の構成を１つの構成としても良い。
例えば、情報処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現しても良い。情報処理装置１０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現しても良い。
図６は、本実施形態の情報処理装置１０の変形例である情報処理装置６０の構成の一例を示すブロック図である。
情報処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０は、これらの構成を制御し、図１に示す各構成の機能を実現する。ここで、各構成は、学習用高解像度画像受信部１１０と、劣化画像生成部１２０と、正解ＩＤ出力部１３０と、パッチ生成部１４０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０と、登録部１７０とである。ＣＰＵ６１０は、各構成の機能を実現する際に、ＲＡＭ６３０をプログラムの一時記憶として使用しても良い。
また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んで、ＲＡＭ６３０に記憶し、記憶したプログラムを実行しても良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取って、ＲＡＭ６３０に記憶し、記憶したプログラムを実行しても良い。
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム又はデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。
内部記憶装置６４０は、情報処理装置６０が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。あるいは、内部記憶装置６４０は、ＣＰＵ６１０が実行するプログラムを保存しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
入力機器６６０は、情報処理装置６０の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
表示機器６７０は、情報処理装置６０の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。
ＮＩＣ６８０は、ネットワークを介した外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。
このように構成された情報処理装置６０は、情報処理装置１０と同様の効果を得ることができる。
その理由は、次のとおりである。
情報処理装置６０のＣＰＵ６１０は、プログラムに基づいて情報処理装置１０と同様の機能を実現できるためである。
（第２の実施形態）
図７は、第２の実施形態に係る情報処理装置１２の構成の一例を示すブロック図である。
図７において、図１と同様の構成には、同じ番号を付す。そのため、第１の実施形態の同様の構成及び動作の説明を省略し、本実施形態に特有の構成について説明する。
なお、情報処理装置１２は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
情報処理装置１２は、図１に示す情報処理装置１０が含む正解ＩＤ出力部１３０に換えて、正解ＩＤ出力部１３２を含む。
正解ＩＤ出力部１３２は、直接的に正解ＩＤの値を取得するのではなく、学習用高解像度画像受信部１１０が受け取った学習画像５１を基に、正解ＩＤを算出し、出力する。そのため、正解ＩＤ出力部１３２は、正解ＩＤ出力部１３０の一形態とも言える。正解ＩＤ出力部１３２は、それ以外の動作において、正解ＩＤ出力部１３０と同様に動作する。
なお、正解ＩＤ出力部１３２は、正解ＩＤを算出する手法として、特に制限はない。
例えば、正解ＩＤ出力部１３２は、学習画像５１をクラスタリングし、各クラスの識別子（ＩＤ）を正解ＩＤとして算出しても良い。
また、文字画像の場合、正解ＩＤ出力部１３２は、学習画像５１の勾配方向ヒストグラムを算出し、ヒストグラムの距離を基に画像をクラスタリングし、画像が属するクラスを基に正解ＩＤを算出しても良い。
あるいは、正解ＩＤ出力部１３２は、勾配ヒストグラムに限らず、他のヒストグラム、例えば、線素ヒストグラムを用いても良い。
また、顔画像の場合、正解ＩＤ出力部１３２は、ヒストグラムの代わりに、ガボール特徴（Gabor feature）を用いても良い。
さらに、正解ＩＤ出力部１３２は、学習画像５１の全体を用いてクラスタリングしても良く、学習画像５１の所定の領域を用いてクラスタリングしても良い。
このように、情報処理装置１２は、学習画像５１を基に正解ＩＤを算出する。そして、情報処理装置１２は、算出した正解ＩＤを基に類似度算出法を算出し、辞書２０の登録パッチ２００に登録する。
なお、情報処理装置１２は、学習画像５１を基に正解ＩＤを算出する。つまり、正解ＩＤは、学習画像５１の分類に相当する。
そのため、情報処理装置１２は、算出した正解ＩＤを基に、劣化画像生成部１２０の劣化方法を選択しても良い。つまり、情報処理装置１２は、正解ＩＤ出力部１３２が算出した学習画像５１の正解ＩＤの分類と、劣化画像生成部１２０で実施する劣化方法とを関連付けても良い。
このように構成された第２の実施形態に係る情報処理装置１２は、第１の実施形態の効果に加え、利用者の操作を削減する効果を得ることができる。
その理由は、次のとおりである。
情報処理装置１２の正解ＩＤ出力部１３２は、学習画像５１を基に正解ＩＤを算出する。そのため、情報処理装置１２の操作者は、正解ＩＤの入力又は正解ＩＤの取得位置を指示する必要がないからである。
（第３の実施形態）
図８は、第３の実施形態に係る情報処理装置１３の構成の一例を示すブロック図である。
図８において、図１と同様の構成には、同じ番号を付し、その詳細な説明を省略する。
なお、情報処理装置１３は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
情報処理装置１３は、探索類似度算出部１６０に替えて、適応的探索類似度算出部１６３を備える点で、第１の実施形態と異なる。そのため、以下、適応的探索類似度算出部１６３について詳細に説明する。
適応的探索類似度算出部１６３は、算出する登録パッチ２００の類似度算出法を、学習画像５１の全体を基に算出するのではなく、所定の局所的な領域において算出する。適応的探索類似度算出部１６３は、それ以外の動作において、探索類似度算出部１６０と同様に動作する。そのため、適応的探索類似度算出部１６３は、探索類似度算出部１６０の一形態である。
ここで、「所定の領域」について説明する。
本実施形態における「所定の領域」とは、学習画像５１に含まれる被写体（対象物）に対応する領域である。
例えば、学習画像５１が、人の顔の画像の場合、適応的探索類似度算出部１６３は、顔の部分（目、鼻、口など）を含む領域を、局所的な領域として扱う。そして、適応的探索類似度算出部１６３は、学習画像５１の所定の領域（例えば、目の領域）のパッチを用いて、正解ＩＤを適切に分類する類似度算出法を算出する。
あるいは、学習画像５１が、数字又は文字を含む画像の場合、適応的探索類似度算出部１６３は、所定の領域に含まれる文字部分又は数字部分を、局所的領域として、扱っても良い。
このように構成された情報処理装置１３は、第１の実施形態に比べ、より高精度な超解像を作成可能な登録パッチ２００を辞書２０に登録できる効果を得ることができる。
つまり、情報処理装置１３は、より高精度の復元を実現できる。
その理由は、次のとおりである。
情報処理装置１３は、学習画像５１における所定の部分（部位）の画像、つまり、学習画像５１に含まれる同様の対象物又は近似する対象物の画像を基に、登録パッチ２００の類似度算出法を算出する。
そのため、情報処理装置１３は、所定の部分を適切に分類できる類似度算出法を用いて、その部位に適した類似度を算出できる。
つまり、超解像画像生成装置３０は、情報処理装置１３が作成した辞書２０の各部分に適した類似度算出法を基に、登録パッチ２００を選択できる。その結果、超解像画像生成装置３０は、より精度の高い超解像画像を合成（復元）できる。
このように、情報処理装置１３は、超解像画像生成装置３０が、劣化した画像を適切に復元できる辞書２０を作成できる。
（第４の実施形態）
超解像画像は、画像認識に用いられる場合がある。
図９は、第４の実施形態に係る情報処理装置１４を含む超解像システム４４の構成の一例を示すブロック図である。なお、図９において、図１と同様の構成には同じ番号を付し、その詳細な説明を省略する。
超解像システム４４は、情報処理装置１４と、辞書２０と、超解像画像生成装置３４とを含む。超解像システム４４は、超解像画像の合成に限らず、画像認識処理にも好適なシステムである。
情報処理装置１４は、第１の実施形態の情報処理装置１０の構成に加え、認識用特徴ベクトル抽出部１８０を含む。また、情報処理装置１４は、認識用特徴ベクトル抽出部１８０に関連し、正解ＩＤ出力部１３０と登録部１７０の代わりに、正解ＩＤ出力部１３４と登録部１７４とを含む点で、情報処理装置１０と異なる。
また、超解像画像生成装置３４は、第１の実施形態の超解像画像生成装置３０に構成に加え、認識用特徴ベクトル復元部３６０を含む。
その他の構成は、第１の実施形態と同様のため、本実施形態に特有の点について説明する。
なお、情報処理装置１４は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
認識用特徴ベクトル抽出部１８０は、学習画像５１を基に、画像認識処理に用いる認識用特徴ベクトルを抽出する。そして、認識用特徴ベクトル抽出部１８０は、抽出した認識用特徴ベクトルを正解ＩＤ出力部１３４と登録部１７４とに送る。
正解ＩＤ出力部１３４は、認識用特徴ベクトルを基に、正解ＩＤを算出する。つまり、情報処理装置１４が算出する正解ＩＤは、画像認識に適した正解ＩＤである。
そして、探索類似度算出部１６０は、画像認識に適した正解ＩＤを基に、類似度算出法を算出する。
つまり、情報処理装置１４は、画像認識に適した類似度算出法を算出できる。
登録部１７４は、類似度算出法を含む登録パッチ２００の登録に加え、認識用特徴ベクトルを辞書２０に登録する。
認識用特徴ベクトル復元部３６０は、選択部３４０が選択した登録パッチ２００に関連する認識用特徴ベクトルを、辞書２０から復元する。そして、認識用特徴ベクトル復元部３６０は、復元した特徴ベクトルを、図示しない画像認識装置に、認識用情報５７として送信する。
なお、図示しない画像認識装置は、超解像画像生成装置３４の超解像画像処理とは異なる画像認識を実施する。ただし、画像認識に用いられる特徴ベクトルは、超解像画像のために選択された登録パッチ２００に関連する特徴ベクトルである。そのため、画像認識装置は、認識用情報５７を基に、超解像画像の画像認識の精度を向上できる。
なお、正解ＩＤ出力部１３４は、第１の実施形態の正解ＩＤ出力部１３０と同様に、正解ＩＤを出力しても良い。
このように第４の実施形態に記載の情報処理装置１４は、第１の実施形態の効果に加え、画像認識を適切に実施できる効果を得ることができる。
その理由は、次のとおりである。
情報処理装置１４は、学習画像５１を基に、画像認識用の特徴ベクトルを抽出し、辞書２０に登録する。また、情報処理装置１４は、画像認識に適した正解ＩＤを基に類似度算出法を算出する。
そして、超解像画像生成装置３４は、超解像の合成に加え、認識用情報５７として、画像認識用の特徴ベクトルを、画像認識装置に送ることができる。
そのため、画像認識装置は、超解像画像の画像認識において、特徴ベクトルを用いて、認識の精度を向上できる。
また、超解像画像生成装置３４の選択部３４０は、画像認識に適した類似度算出法を基に、登録パッチ２００を選択できる。つまり、超解像画像生成装置３４が合成する復元画像５５（超解像画像）は、画像認識に適した画像である。
そのため、画像認識装置は、画像認識に適した超解像画像を基に画像認識できるため、画像認識の精度を向上できる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１３年 ４月 ５日に出願された日本出願特願２０１３−０７９３３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
学習画像を識別するための正解識別子を出力する正解識別子出力手段と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段と
を含む情報処理装置。
（付記２）
前記学習画像を受信する学習用高解像度画像受信手段と、
前記学習画像の劣化画像を生成する劣化画像生成手段と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成するパッチ生成手段と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する登録手段と
をさらに含む付記１に記載の情報処理装置。
（付記３）
前記特徴ベクトル算出手段又は前記パッチ生成手段が、
前記登録パッチに前記正解識別子を付与する
付記２に記載の情報処理装置。
（付記４）
前記正解識別子出力手段が、
前記学習画像を基に前記正解識別子を算出する
付記２又は付記３に記載の情報処理装置。
（付記５）
前記探索類似度算出手段が、
前記学習画像の所定の領域において前記類似度算出法を算出する
付記２乃至付記４のいずれか１つに記載の情報処理装置。
（付記６）
前記劣化画像生成手段が、
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
付記２乃至付記５のいずれか１つに記載の情報処理装置。
（付記７）
学習画像の画像認識用の特徴ベクトルを抽出する認識用特徴ベクトル抽出手段を
含む付記１乃至付記６のいずれか１つに記載の情報処理装置。
（付記８）
学習画像を識別するための正解識別子を出力し、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する
画像処理方法。
（付記９）
前記学習画像を受信し、
前記学習画像の劣化画像を生成し、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成し、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する
付記８に記載の画像処理方法。
（付記１０）
前記登録パッチに前記正解識別子を付与する
付記８又は付記９に記載の画像処理方法。
（付記１１）
前記学習画像を基に前記正解識別子を算出する
付記８乃至付記１０のいずれか１つに記載の画像処理方法。
（付記１２）
前記学習画像の所定の領域において前記類似度算出法を算出する
付記８乃至付記１１のいずれか１つに記載の画像処理方法。
（付記１３）
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
付記８乃至付記１２のいずれか１つに記載の画像処理方法。
（付記１４）
学習画像の画像認識用の特徴ベクトルを抽出する
付記８乃至付記１３のいずれか１つに記載の画像処理方法。
（付記１５）
学習画像を識別するための正解識別子を出力する処理と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理と
をコンピュータ装置に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１６）
前記学習画像を受信する処理と、
前記学習画像の劣化画像を生成する処理と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成する処理と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する処理と
をコンピュータ装置に実行させる付記１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１７）
前記登録パッチに前記正解識別子を付与する処理を
コンピュータ装置に実行させる付記１５又は付記１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１８）
前記学習画像を基に前記正解識別子を算出する処理を
コンピュータ装置に実行させる付記１５乃至付記１７のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１９）
前記学習画像の所定の領域において前記類似度算出法を算出する処理を
コンピュータ装置に実行させる付記１５乃至付記１８のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２０）
前記正解識別子を基に劣化画像を生成する劣化手法を選択する処理を
コンピュータ装置に実行させる付記１５乃至付記１９のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２１）
学習画像の画像認識用の特徴ベクトルを抽出する処理を
コンピュータ装置に実行させる付記１５乃至付記２０のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
１０ 情報処理装置
１１ 情報処理装置
１２ 情報処理装置
１３ 情報処理装置
１４ 情報処理装置
２０ 辞書
３０ 超解像画像生成装置
３４ 超解像画像生成装置
４０ 超解像システム
４４ 超解像システム
５１ 学習画像
５２ 劣化画像
５４ 入力画像
５５ 復元画像
５７ 認識用情報
６０ 情報処理装置
１１０ 学習用高解像度画像受信部
１２０ 劣化画像生成部
１３０ 正解ＩＤ出力部
１３２ 正解ＩＤ出力部
１３４ 正解ＩＤ出力部
１４０ パッチ生成部
１５０ 特徴ベクトル算出部
１６０ 探索類似度算出部
１６３ 適応的探索類似度算出部
１７０ 登録部
１７４ 登録部
１８０ 認識用特徴ベクトル抽出部
２００ 登録パッチ
３１０ 低解像度画像受信部
３２０ パッチ生成部
３３０ 特徴ベクトル算出部
３４０ 選択部
３５０ 合成部
３６０ 認識用特徴ベクトル復元部
５１１ 高解像パッチ
５２１ 低解像パッチ
５３１ パッチペア
５４１ 入力パッチ
５５１ 復元パッチ
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記憶媒体
９００ 超解像システム
９１０ 辞書作成装置
９２０ 辞書
９３０ 超解像画像生成装置

Claims (21)

  1. 学習画像を識別するための正解識別子を出力する正解識別子出力手段と、
    復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、
    前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段と
    を含む情報処理装置。
  2. 前記学習画像を受信する学習用高解像度画像受信手段と、
    前記学習画像の劣化画像を生成する劣化画像生成手段と、
    前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成するパッチ生成手段と、
    前記類似度算出法を含めて前記登録パッチを前記辞書に登録する登録手段と
    をさらに含む請求項１に記載の情報処理装置。
  3. 前記特徴ベクトル算出手段又は前記パッチ生成手段が、
    前記登録パッチに前記正解識別子を付与する
    請求項２に記載の情報処理装置。
  4. 前記正解識別子出力手段が、
    前記学習画像を基に前記正解識別子を算出する
    請求項２又は請求項３に記載の情報処理装置。
  5. 前記探索類似度算出手段が、
    前記学習画像の所定の領域において前記類似度算出法を算出する
    請求項２乃至請求項４のいずれか１項に記載の情報処理装置。
  6. 前記劣化画像生成手段が、
    前記正解識別子を基に劣化画像を生成する劣化手法を選択する
    請求項２乃至請求項５のいずれか１項に記載の情報処理装置。
  7. 学習画像の画像認識用の特徴ベクトルを抽出する認識用特徴ベクトル抽出手段を
    含む請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
  8. 学習画像を識別するための正解識別子を出力し、
    復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、
    前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する
    画像処理方法。
  9. 前記学習画像を受信し、
    前記学習画像の劣化画像を生成し、
    前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成し、
    前記類似度算出法を含めて前記登録パッチを前記辞書に登録する
    請求項８に記載の画像処理方法。
  10. 前記登録パッチに前記正解識別子を付与する
    請求項８又は請求項９に記載の画像処理方法。
  11. 前記学習画像を基に前記正解識別子を算出する
    請求項８乃至請求項１０のいずれか１項に記載の画像処理方法。
  12. 前記学習画像の所定の領域において前記類似度算出法を算出する
    請求項８乃至請求項１１のいずれか１項に記載の画像処理方法。
  13. 前記正解識別子を基に劣化画像を生成する劣化手法を選択する
    請求項８乃至請求項１２のいずれか１項に記載の画像処理方法。
  14. 学習画像の画像認識用の特徴ベクトルを抽出する
    請求項８乃至請求項１３のいずれか１項に記載の画像処理方法。
  15. 学習画像を識別するための正解識別子を出力する処理と、
    復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、
    前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理と
    をコンピュータ装置に実行させるプログラム。
  16. 前記学習画像を受信する処理と、
    前記学習画像の劣化画像を生成する処理と、
    前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成する処理と、
    前記類似度算出法を含めて前記登録パッチを前記辞書に登録する処理と
    をコンピュータ装置に実行させる請求項１５に記載のプログラム。
  17. 前記登録パッチに前記正解識別子を付与する処理を
    コンピュータ装置に実行させる請求項１５又は請求項１６に記載のプログラム。
  18. 前記学習画像を基に前記正解識別子を算出する処理を
    コンピュータ装置に実行させる請求項１５乃至請求項１７のいずれか１項に記載のプログラム。
  19. 前記学習画像の所定の領域において前記類似度算出法を算出する処理を
    コンピュータ装置に実行させる請求項１５乃至請求項１８のいずれか１項に記載のプログラム。
  20. 前記正解識別子を基に劣化画像を生成する劣化手法を選択する処理を
    コンピュータ装置に実行させる請求項１５乃至請求項１９のいずれか１項に記載のプログラム。
  21. 学習画像の画像認識用の特徴ベクトルを抽出する処理を
    コンピュータ装置に実行させる請求項１５乃至請求項２０のいずれか１項に記載のプログラム。
JP2015509893A 2013-04-05 2014-03-25 情報処理装置、及び、画像処理方法 Active JP6278042B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013079338 2013-04-05
JP2013079338 2013-04-05
PCT/JP2014/001704 WO2014162690A1 (ja) 2013-04-05 2014-03-25 情報処理装置、及び、画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2014162690A1 JPWO2014162690A1 (ja) 2017-02-16
JP6278042B2 true JP6278042B2 (ja) 2018-02-14

Family

ID=51658004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509893A Active JP6278042B2 (ja) 2013-04-05 2014-03-25 情報処理装置、及び、画像処理方法

Country Status (3)

Country Link
US (1) US9779488B2 (ja)
JP (1) JP6278042B2 (ja)
WO (1) WO2014162690A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225575B2 (en) * 2014-09-03 2019-03-05 Nec Corporation Image reconstruction in which unknown patch is replaced by selected patch
US20170221235A1 (en) * 2016-02-01 2017-08-03 General Electric Company Negative dictionary learning
JP6772112B2 (ja) * 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
US10803347B2 (en) * 2017-12-01 2020-10-13 The University Of Chicago Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture
KR20210059457A (ko) * 2019-11-15 2021-05-25 엘지전자 주식회사 이동 단말기
US20220067879A1 (en) * 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
WO2023037494A1 (ja) * 2021-09-10 2023-03-16 日本電気株式会社 モデル訓練装置、制御方法、及び非一時的なコンピュータ可読媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2412831A (en) * 2004-03-30 2005-10-05 Univ Newcastle Highlighting important information by blurring less important information
US8176054B2 (en) * 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
JP2008299618A (ja) * 2007-05-31 2008-12-11 Toshiba Corp 画像高品質化装置、方法およびプログラム
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
JP2009181508A (ja) 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5588165B2 (ja) * 2009-12-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8406571B2 (en) * 2010-02-04 2013-03-26 Yahoo! Inc. Automatic super-resolution transformation for images
JP5366855B2 (ja) 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
CN102375990B (zh) 2010-08-17 2015-03-04 富士通株式会社 图像处理方法和设备
US8411980B1 (en) * 2010-11-12 2013-04-02 Adobe Systems Incorporated Removing motion blur from unaligned multiple blurred images
US9152882B2 (en) * 2011-06-17 2015-10-06 Microsoft Technology Licensing, Llc. Location-aided recognition
US9436981B2 (en) * 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel

Also Published As

Publication number Publication date
WO2014162690A1 (ja) 2014-10-09
US9779488B2 (en) 2017-10-03
JPWO2014162690A1 (ja) 2017-02-16
US20160055627A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
JP6278042B2 (ja) 情報処理装置、及び、画像処理方法
JP7044898B2 (ja) ナンバープレート認識方法、および、そのシステム
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
JP2008152530A (ja) 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム
US11657630B2 (en) Methods and apparatus for testing multiple fields for machine vision
US8605118B2 (en) Matrix generation apparatus, method, and program, and information processing apparatus
WO2020233427A1 (zh) 目标的特征的确定方法和装置
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
US20130148849A1 (en) Image processing device and method
JP2011216070A (ja) 隠蔽された文字の復元方法及び画像処理装置
CN108108769B (zh) 一种数据的分类方法、装置及存储介质
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
US10475187B2 (en) Apparatus and method for dividing image into regions
US9171227B2 (en) Apparatus and method extracting feature information of a source image
CN114968612A (zh) 一种数据处理方法、系统及相关设备
RU2672395C1 (ru) Способ обучения классификатора, предназначенного для определения категории документа
US20210327028A1 (en) Information processing apparatus
CN110689063B (zh) 一种基于神经网络的证件识别的训练方法及装置
JP2015041293A (ja) 画像認識装置および画像認識方法
WO2023109086A1 (zh) 文字识别方法、装置、设备及存储介质
JP4869365B2 (ja) 画像処理装置および画像処理方法
CN104657733A (zh) 一种设备管理方法及装置
Hao et al. Modified neighbor embedding-based face hallucination using coupled mappings of partial least squares
JP2017531244A (ja) 画像処理装置、画像処理方法および記憶媒体
Zhou et al. Finding the right exemplars for reconstructing single image super-resolution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180101

R150 Certificate of patent or registration of utility model

Ref document number: 6278042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150