JP6512100B2 - 画像処理を実行する情報処理装置及び画像処理方法 - Google Patents

画像処理を実行する情報処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6512100B2
JP6512100B2 JP2015531723A JP2015531723A JP6512100B2 JP 6512100 B2 JP6512100 B2 JP 6512100B2 JP 2015531723 A JP2015531723 A JP 2015531723A JP 2015531723 A JP2015531723 A JP 2015531723A JP 6512100 B2 JP6512100 B2 JP 6512100B2
Authority
JP
Japan
Prior art keywords
image
feature vector
learning
degraded
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015531723A
Other languages
English (en)
Other versions
JPWO2015022771A1 (ja
Inventor
剛志 柴田
剛志 柴田
彰彦 池谷
彰彦 池谷
仙田　修司
修司 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015022771A1 publication Critical patent/JPWO2015022771A1/ja
Application granted granted Critical
Publication of JP6512100B2 publication Critical patent/JP6512100B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理技術に関し、特に学習型超解像処理に用いる辞書を生成するための技術に関する。
画像処理に関し、様々な関連技術が知られている。
例えば、入力画像（例えば、低解像画像）から復元画像（例えば、高解像画像）を生成する技術の一例として、超解像技術が知られている。超解像技術のうち、辞書を用いて高解像画像を生成する技術は、特に学習型超解像技術と呼ばれる。ここで、その辞書は、学習画像（一般的に高品質な画像）と、その学習画像に対応する劣化画像（例えば、学習画像の解像度を落とした画像）との事例を学習することにより作成された辞書である。尚、その超解像技術により生成される復元画像は、超解像画像とも呼ばれる。
特許文献１は、文字認識装置の一例を開示する。特許文献１に記載の文字認識装置は、カメラにより撮影された対象画像に含まれる、ナンバープレートなどの文字を認識するために超解像処理を実行する。
その文字認識装置は、低解像度辞書画像、その低解像度辞書画像の特徴量及び高解像度辞書画像が関連付けられたデータベース（辞書）を用いて、その超解像処理を実行する。ここで、その低解像度辞書画像は、その対象画像を撮影するカメラを用いて撮影された、文字の画像である。その特徴量は、その低解像度辞書画像のそれぞれに基づいて算出された特徴量である。その高解像度辞書画像は、その対象画像を撮影するそのカメラの解像度よりも高い解像度を持つカメラを用いて撮影された文字の画像である。
特許文献２は、超解像画像処理装置の一例を開示する。特許文献２に記載の超解像画像処理装置は、低解像度の原画像（入力画像データ）から高解像度の画像を出力する。
その超解像画像処理装置は、入力画像データに対して超解像画像処理を施して出力画像データを生成する際、失われた高周波成分を類推するために、辞書作成装置により生成された辞書テーブル等を用いる。ここで、辞書テーブル等は、辞書テーブルと第一主成分基底ベクトルと第二主成分基底ベクトルとである。その辞書作成装置は、以下の手順により、所定のシーンに最適化した、その辞書テーブル等を生成する。
まず、その辞書作成装置は、サンプル画像ファイルから処理対象とする分割ビットマップを取得し、これを複数の分解ビットマップに分けて一時テーブルのレコードに格納する。
次に、その辞書作成装置は、その分解ビットマップに、ＭＰ（Ｍａｘ−Ｐｌｕｓ）ウェーブレット変換処理、並べ替え処理、主成分分析処理、内積演算処理及び頻度分割処理を順番に施し、その一時テーブルの各フィールドに処理結果を格納する。ここで、その辞書作成装置は、主成分分析処理において、その第一主成分基底ベクトルとその第二主成分基底ベクトルとを算出する。
そして最後に、その辞書作成装置は、平均値演算部によって、その一時テーブルよりもレコード数の少ない、その辞書テーブルを作成する。尚、その辞書テーブルは、上述の学習型超解像技術における辞書とは異なる。即ち、その辞書テーブルは、学習画像と劣化画像とが対応付けられた事例を学習することにより作成された辞書ではない。
特許文献３は、画像超解像装置の一例を開示する。特許文献３に記載の画像超解像装置は、符号化及び復号により劣化した入力画像から、予め定められた拡大率で拡大した超解像画像を生成する。ここで、その符号化及びその復号は、予め定められた符号化方式による符号化及び復号である。具体的には、その画像超解像装置は、以下の処理により超解像画像を生成する。
第１に、その画像超解像装置は、入力画像を所定の大きさのブロックに分割し、そのブロックのそれぞれを処理ブロックとして切り出す。次に、その画像超解像装置は、その処理ブロックを所定の拡大率で拡大することにより、拡大処理ブロックを生成する。その所定の拡大率は、その画像超解像装置がその超解像画像を生成する場合に、その画像超解像装置がその入力画像を拡大する際の拡大率である。
第２に、その画像超解像装置は、参照ブロックと劣化参照ブロックとを対応付けてブロック記憶手段に書き込む。ここで、その参照ブロックは、その処理ブロックと同一の大きさの、その入力画像から切り出したブロックである。また、その劣化参照ブロックは、特定の劣化過程により、その参照ブロックが劣化されたブロックである。その特定の劣化過程は、「その入力画像は、その生成しようとしている超解像画像がある劣化過程を経た画像である」と仮定した際の、その劣化過程である。具体的には、その画像超解像装置は、その入力画像が経た符号化方式による劣化モデル（予め定められた直交変換や量子化などを模擬するモデル）でその参照ブロックを劣化させ、その劣化参照ブロックを生成する。
第３に、その画像超解像装置は、その劣化参照ブロックとその処理ブロックとの類似度を算出する。
第４に、その画像超解像装置は、その所定の拡大率でその劣化参照ブロックを拡大して復元参照ブロックを生成する。更に、画像超解像装置は、その復元参照ブロックとその参照ブロックとの差分を損失成分として算出する。
第５に、その画像超解像装置は、その類似度に基づいてその拡大処理ブロックとその損失成分とを合成し、超解像ブロックを生成する。そして、その画像超解像装置は、その超解像ブロックを画像として構成し、その入力画像が拡大されたその超解像画像を生成する。
特開２００５−１４９３９５号公報 特開２０１３−０２６６５９号公報 特開２０１２−１１３５１３号公報
しかしながら、上述した先行技術文献に記載された技術においては、入力画像から所望の復元画像（超解像画像）を生成するために必要な、学習型超解像処理に使用する、辞書を得ることができない場合があるという問題点がある。
その理由は、入力画像における劣化過程の正確な推定が困難かつ煩雑だからである。
具体的には、特許文献１に記載のその文字認識装置は、その対象画像の劣化過程を推定していない。そして、その文字認識装置において、その低解像度辞書画像（その学習型超解像処理に使用する辞書における劣化画像に相当）は、その対象画像を撮影するカメラを用いて撮影された、文字の画像である。即ち、データベース（辞書）に含まれる低解像度辞書画像は、その対象画像の劣化過程を推定して得たものではない。
特許文献２の超解像画像処理装置は、サンプル画像ファイル（その学習型超解像処理に使用する辞書における学習画像に相当）に基づいて、関数等を利用した演算により辞書テーブル等を生成する。そして、その辞書テーブル等は、所定のシーンに最適化したものであって、劣化過程の推定を行って得たものではない。
特許文献３の画像超解像装置は、劣化過程が予め明らかである場合の超解像処理である。従って、その画像超解像装置は、劣化過程が不明な入力画像を処理できない。
更に、ブラインド・デコンボリューションなどの技術により正確な劣化過程を推定することは、困難である。ここで、ブラインド・デコンボリューションとは、自然画像を対象とする、測定信号から原信号を復元するための手法である。また、利用者（操作者）が経験などによって正確な劣化過程を推定することは、困難かつ非常に煩雑である。
本発明の目的は、上述した問題点を解決できる情報処理装置、画像処理方法、及びそのためのプログラム或いはそのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体を提供することにある。
本発明の一様態における情報処理装置は、複数の第１の学習画像と入力画像とを取得する画像取得手段と、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、を含み、前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する。
本発明の一様態における画像処理方法は、コンピュータが、複数の第１の学習画像と入力画像とを取得し、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する。
本発明の一様態におけるプログラムは、複数の第１の学習画像と入力画像とを取得し、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理をコンピュータに実行させる。
本発明は、入力画像の劣化過程を正確に推定し、その入力画像から所望の復元画像を生成するために必要な辞書を得ることが可能になるという効果がある。
図１は、本発明の第１の実施形態に係る劣化過程推定装置の構成を示すブロック図である。 図２は、第１の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。 図３は、第１の実施形態における対応情報の一例を示す図である。 図４は、第１の実施形態における学習画像と劣化画像と入力画像と特徴ベクトルと類似度との関係を示す図である。 図５は、第１の実施形態における推定劣化過程の選択を説明する図である。 図６は、第１の実施形態に係る劣化過程推定装置を実現するコンピュータのハードウェア構成を示すブロック図である。 図７は、第１の実施形態における劣化過程推定装置の動作を示すフローチャートである。 図８は、第１の実施形態に係る劣化過程推定装置の具体的な構成の一例を示すブロック図である。 図９は、第１の実施形態の第１の変形例に係る劣化過程推定装置の具体的な構成の一例を示すブロック図である。 図１０は、第１の実施形態の第２の変形例に係る劣化過程推定装置の具合的な構成の一例を示すブロック図である。 図１１は、第１の実施形態の第２の変形例における劣化情報の一例を示す図である。 図１２は、第１の実施形態の第２の変形例における劣化情報の一例を示す図である。 図１３は、本発明の第２の実施形態に係る劣化過程推定装置の構成を示すブロック図である。 図１４は、第２の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。 図１５は、本発明の第３の実施形態に係る劣化過程推定装置の構成を示すブロック図である。 図１６は、第３の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。 図１７は、第３の実施形態における学習画像と復元画像と類似度との関係を示す図である。 図１８は、第３の実施形態における学習画像選択部の動作を示すフローチャートである。 図１９は、第３の実施形態における学習部の構成を示すブロック図である。 図２０は、第３の実施形態における辞書の生成を説明する図である。 図２１は、第３の実施形態における復元部の構成を示すブロック図である。 図２２は、第３の実施形態における復元画像の生成を説明する図である。 図２３は、第３の実施形態におけるパッチの一例を示す図である。
本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の構成要素には同様の符号を付与し、適宜説明を省略する。
＜＜＜第１の実施形態＞＞＞
図１は、本発明の第１の実施形態に係る劣化過程推定装置（情報処理装置とも呼ばれる）１００の構成を示すブロック図である。
図１に示すように、本実施形態に係る劣化過程推定装置１００は、画像取得部１５０と推定部１６０とを含む。
図２は、本実施形態に係る劣化過程推定装置１００を含む画像処理システム１０１の構成を示すブロック図である。
図２に示すように、本実施形態に係る画像処理システム１０１は、劣化過程推定装置１００と学習部１０２と辞書１０３と復元部１０４とを含む。尚、画像処理システム１０１は、情報処理装置とも呼ばれる。
まず、本実施形態に係る劣化過程推定装置１００を含む、画像処理システム１０１の全体的な動作について説明する。
劣化過程推定装置１００は、例えば外部から入力される、学習画像４１１（第１の学習画像）及び入力画像４３０を取得する。学習画像４１１は、入力画像４３０に対応する可能性のある、予め準備された高解像画像（高品質画像）である。また、入力画像４３０は、復元対象の画像である。一般的に、入力画像４３０は、低解像画像などの低品質画像である。
劣化過程推定装置１００は、学習画像４１１及び入力画像４３０に基づいて、推定劣化過程８６７を学習部１０２に出力する。尚、推定劣化過程８６７は、学習部１０２が、辞書１０３を生成するために使用する、ある画像の劣化の過程情報（ある画像の劣化の内容を示す情報）である。その辞書１０３は、復元部１０４が、入力画像４３０から所望の復元画像４４０を生成するために必要な辞書１０３である。
学習部１０２は、例えば外部から入力される学習画像４１０（第２の学習画像）と、劣化過程推定装置１００から入力される推定劣化過程８６７とを取得する。そして、学習部１０２は、学習画像４１０と推定劣化過程８６７とに基づいて、辞書１０３を生成する。学習画像４１０は、入力画像４３０に対応する可能性のある、予め準備された高解像画像（高品質画像）である。尚、学習画像４１０の集合と学習画像４１１の集合とは、完全に重なり合ってよいし、部分的に重なってもよいし、或いは全く重ならなくてもよい。
具体的には、第１に、学習部１０２は、推定劣化過程８６７に基づいて、学習画像４１０のそれぞれに対応する劣化画像４２０（第２の劣化画像、後述、図２０に図示）を生成する。第２に、学習部１０２は、学習画像４１０のパッチと対応するその劣化画像４２０のパッチとをペアとして含む辞書１０３を生成する。ここで、パッチは、画像（学習画像４１０や劣化画像４２０など）が小領域に分割された、その小領域である。
復元部１０４は、外部から入力される入力画像４３０を取得し、外部へ復元画像４４０を出力する。復元部１０４は、辞書１０３の内容に基づいて、入力画像４３０に対応する復元画像４４０を生成する。
次に、第一の実施形態における劣化過程推定装置１００が備える各構成要素（画像取得部１５０及び推定部１６０）について説明する。尚、図１に示す構成要素は、ハードウェア単位の構成要素でも、コンピュータ装置の機能単位に分割した構成要素でもよい。ここでは、図１に示す構成要素は、コンピュータ装置の機能単位に分割した構成要素として説明する。
＝＝＝対応情報８６０＝＝＝
図３は、劣化過程推定装置１００の図示しない記憶手段に記憶される、対応情報８６０の一例を示す図である。図３に示すように、対応情報８６０の各レコードは、劣化過程８６１と特徴ベクトル８６２（第１の特徴ベクトル、後述、図４）とを含む。図３に示す対応情報８６０は、劣化過程推定装置１００の推定部１６０の、後述する処理において使用される。
尚、図３に示す劣化過程８６１は、画像の劣化の過程（劣化の内容）を識別する情報である。その画像の劣化の過程は、例えば、ボケ強度（ｂｌｕｒ）や、圧縮率（ｃｏｍｐｒｅｓｓｉｏｎ）、明度（ｌｕｍｉｎａｎｃｅ）、インターレースにおけるフィールド（ｆｉｅｌｄ）などの、任意の組み合わせである。例えば、劣化過程８６１は、ボケ強度、圧縮率、明度及びインターレースにおけるフィールドのそれぞれの劣化の過程を、「Ｂ３」、「Ｃ２」、「Ｌ３」及び「Ｆ１」のように示す。このほかにも、姿勢やノイズなどが、劣化過程に加えられても良い。
特徴ベクトル８６２は、例えば、劣化画像４２１（第１の劣化画像、後述、図４）がフーリエ変換された量の絶対値或いはその絶対値の対数値を要素として持ち、それらの要素がラスタスキャン順に並べられたベクトルである。尚、特徴ベクトル８６２は、フーリエ変換に限らず、例えばラプラス変換などの周波数部分に着目した積分変換により、劣化画像４２１が変換された量の絶対値或いはその絶対値の対数値を要素としてもよい。また、特徴ベクトル８６２は、明度で正規化された劣化画像４２１の各画素値を要素として持ち、それらの要素をラスタスキャン順に並べられたベクトルであってもよい。
＝＝＝画像取得部１５０＝＝＝
画像取得部１５０は、複数の学習画像４１１と入力画像４３０とを取得する。
＝＝＝推定部１６０＝＝＝
推定部１６０は、入力画像４３０の任意の領域と、複数の劣化画像４２１のそれぞれとの間の類似度８５１（第１の類似度、後述、図４）に基づいて、推定劣化過程８６７を出力する。ここで、推定劣化過程８６７は、入力画像４３０のその領域に対応する劣化過程８６１に対応する。
ここで、その任意の領域は、画像の任意の局所領域及び画像の全部の領域のいずれかである。即ち、入力画像４３０の任意の領域は、入力画像４３０の任意の一部の画像または入力画像４３０の全部である。本実施形態では、その任意の領域が画像の全部である場合の実施形態である。任意の領域が局所領域である場合については、第２の実施形態において説明する。従って、本実施形態では、「入力画像４３０の任意の領域」は、入力画像４３０の全部、即ち入力画像４３０そのものである為、以後、「入力画像４３０の任意の領域である、入力画像４３０の全部」を、単に「入力画像４３０」と表記する。
劣化画像４２１は、複数の劣化過程８６１のそれぞれに基づいて、学習画像４１１が劣化された場合の、画像である。
類似度８５１は、例えば、劣化画像４２１に対応する特徴ベクトル８６２と、入力画像４３０に対応する特徴ベクトル８６４（第２の特徴ベクトル、後述、図４）との間の関係に対応する。
その関係は、例えば、２つのベクトル（ここでは、特徴ベクトル８６２及び特徴ベクトル８６４）の間の距離に基づいた値である。また、その関係は、ある２つの特徴ベクトルの間の角度に基づいた値でもよい。更に、その関係は、正規化相互相関関数により算出される値でもよく、これらに限定されない。尚、特徴ベクトル８６４は、特徴ベクトル８６２と同一構造のベクトルである。
図４は、上述した、学習画像４１１と劣化画像４２１と入力画像４３０と特徴ベクトル８６２と特徴ベクトル８６４と類似度８５１との関係を示す図である。
推定劣化過程８６７は、例えば、入力画像４３０に対応する劣化過程８６１である。即ち、推定部１６０は、類似度８５１と対応情報８６０とに基づいて、入力画像４３０に対応する劣化過程８６１を、推定劣化過程８６７として出力する。
この場合、対応情報８６０は、その劣化画像４２１の特徴ベクトル８６２それぞれと、学習画像４１１（第１の学習画像）からその劣化画像４２１のそれぞれへの劣化の内容との対応関係を示す。換言すると、対応情報８６０は、劣化画像４２１と劣化過程８６１との関係を示す。
上述したように、劣化過程８６１は、学習画像４１１から劣化画像４２１への劣化の内容を特定する識別情報である。そして、入力画像４３０に対応する劣化過程８６１、即ち推定劣化過程８６７は、入力画像４３０を特定の画像に対して劣化処理が施された画像であると仮定した場合の、その劣化処理における劣化の内容を示す劣化過程８６１である。その特定の画像は、復元部１０４が生成する復元画像（超解像画像とも呼ばれる）４４０である。
換言すると、推定劣化過程８６７は、劣化画像４２１の学習画像４１１に対する劣化の内容を示す。そして同時に、推定劣化過程８６７は、劣化画像４２０の学習画像４１０に対する劣化の内容を示す。なぜならば、学習画像４１０及び学習画像４１１はいずれも、入力画像４３０に対応する可能性のある高解像画像（高品質画像）だからである。
尚、推定劣化過程８６７は、劣化過程推定装置１００と学習部１０２とが相互に同期してその劣化の内容を特定できる情報であればよい。例えば、推定劣化過程８６７は、劣化過程８６１のようにその劣化の内容を具体的に示すものであってよいし、シリアル番号であってもよい。
図２に示すように、推定部１６０は、例えば、対応情報生成部１１０及び劣化過程選択部１２０を含む。
＝＝＝対応情報生成部１１０＝＝＝
対応情報生成部１１０は、対応情報８６０を生成する。
例えば、対応情報生成部１１０は、劣化過程８６１に基づいて、学習画像４１１から劣化画像４２１を生成する。例えば、劣化過程８６１のそれぞれは、学習画像４１０に対応する可能性のあるあらゆる劣化の内容のうち、例えば経験的な知識によって選択された、代表的な劣化の内容を示す。次に、対応情報生成部１１０はその生成した劣化画像４２１の特徴ベクトル８６２を生成する。
学習画像４１１の数及び劣化過程８６１の数は、任意である。劣化画像４２１の数は、学習画像４１１の数に劣化過程８６１の数を乗じた数である。例えば、学習画像４１１が１００００枚であり、その劣化過程８６１の数が１００種類である場合、その劣化画像４２１の数は、１００００００枚である。
この場合、特徴ベクトル８６２の数は、その劣化画像４２１の数と同数の、１００００００である。換言すると、対応情報８６０は、特徴ベクトル８６２と劣化過程８６１とのペアを含むレコードを、１００００００レコード含む。
＝＝＝劣化過程選択部１２０＝＝＝
劣化過程選択部１２０は、入力画像４３０と劣化画像４２１との類似度８５１に基づいて、対応情報８６０から劣化過程８６１を選択し、推定劣化過程８６７として出力する。
具体的には、劣化過程選択部１２０は、入力画像４３０に対応する特徴ベクトル８６４と対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、対応情報８６０から劣化過程８６１を選択する。次に、劣化過程選択部１２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、学習部１０２）へ出力する。
図５は、劣化過程選択部１２０による劣化過程８６１の選択について説明する図である。
ここで、特徴ベクトル（特徴ベクトル８６２及び特徴ベクトル８６４）は、３次元のベクトルであるものとする。図５において、点線のそれぞれは、その特徴ベクトルが存在する、３次元空間の軸のそれぞれを示す。
図５において、四角形、三角形及び円形のそれぞれは、四角形クラス、三角形クラス及び円形クラスのそれぞれに属する特徴ベクトル８６２を示す。ここで、クラスは、劣化過程８６１の種類に対応する。即ち、四角形クラス、三角形クラス及び円形クラスは、３種類の劣化過程８６１のそれぞれに対応する。
図５において、星形は、特徴ベクトル８６４（入力画像４３０に対応する特徴ベクトル）を示す。
劣化過程選択部１２０は、特徴ベクトル８６４（星形）を、四角形クラス、三角形クラス及び円形クラスのいずれかへ分類する。例えば、劣化過程選択部１２０は、各クラスの特徴ベクトル８６２のセントロイドと特徴ベクトル８６４との関係に基づいて、その特徴ベクトル８６４を、いずれかのクラスへ分類する。例えば、劣化過程選択部１２０は、その特徴ベクトル８６４との距離が最も近い特徴ベクトル８６２が属するクラスへ、その特徴ベクトル８６４を分類してもよい。
次に、劣化過程選択部１２０は、特徴ベクトル８６４（星形）を分類したクラスに対応する劣化過程８６１を選択する。続けて、劣化過程選択部１２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、学習部１０２）へ出力する。
上述の説明において、劣化過程選択部１２０は、特徴ベクトル８６４を最近傍のクラスに分類し、その最近傍のクラスに対応する劣化過程８６１を一つだけ選択する。しかし、劣化過程選択部１２０は、特徴ベクトル８６４を複数のクラスに分類してもよい。例えば、劣化過程選択部１２０は、ｋ−近傍（ｋは、１以上の任意の自然数）のクラスに、特徴ベクトル８６４を分類してよい。この場合、劣化過程選択部１２０は、そのｋ個のクラスのそれぞれに対応する劣化過程８６１を推定劣化過程８６７として出力してよい。
以上が、劣化過程推定装置１００の機能単位の各構成要素についての説明である。
次に、劣化過程推定装置１００のハードウェア単位の構成要素について説明する。
図６は、本実施形態における劣化過程推定装置１００を実現するコンピュータ７００のハードウェア構成を示す図である。
図６に示すように、コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１、記憶部７０２、記憶装置７０３、入力部７０４、出力部７０５及び通信部７０６を含む。更に、コンピュータ７００は、外部から供給される記録媒体（または記憶媒体）７０７を含む。記録媒体７０７は、情報を非一時的に記憶する不揮発性記録媒体であってもよい。
ＣＰＵ７０１は、オペレーティングシステム（不図示）を動作させて、コンピュータ７００の、全体の動作を制御する。また、ＣＰＵ７０１は、例えば記憶装置７０３に装着された記録媒体７０７から、プログラムやデータを読み込み、読み込んだプログラムやデータを記憶部７０２に書き込む。ここで、そのプログラムは、例えば、後述の図７に示すフローチャートの動作をコンピュータ７００に実行させるプログラムである。
そして、ＣＰＵ７０１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図１に示す画像取得部１５０及び推定部１６０として各種の処理を実行する。
尚、ＣＰＵ７０１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部７０２にプログラムやデータをダウンロードするようにしてもよい。
記憶部７０２は、プログラムやデータを記憶する。記憶部７０２は、例えば、学習画像４１１、劣化画像４２１、入力画像４３０及び対応情報８６０を記憶する。
記憶装置７０３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、記録媒体７０７を含む。記憶装置７０３（記録媒体７０７）は、プログラムをコンピュータ読み取り可能に記憶する。また、記憶装置７０３は、データを記憶してもよい。記憶装置７０３は、例えば、学習画像４１１、劣化画像４２１、入力画像４３０及び対応情報８６０を記憶する。
入力部７０４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部７０４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネルなどでもよい。
出力部７０５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部７０６は、外部とのインタフェースを実現する。通信部７０６は、画像取得部１５０及び推定部１６０の一部として含まれる。また、劣化過程推定装置１００は、通信部７０６を介して学習部１０２と接続されてもよい。
以上説明したように、図１に示す劣化過程推定装置１００の機能単位のブロックは、図６に示すハードウェア構成のコンピュータ７００によって実現される。但し、コンピュータ７００が備える各部の実現手段は、上記に限定されない。すなわち、コンピュータ７００は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
尚、上述のプログラムのコードを記録した記録媒体７０７が、コンピュータ７００に供給され、ＣＰＵ７０１は、記録媒体７０７に格納されたプログラムのコードを読み出して実行するようにしてもよい。或いは、ＣＰＵ７０１は、記録媒体７０７に格納されたプログラムのコードを、記憶部７０２、記憶装置７０３またはその両方に格納するようにしてもよい。すなわち、本実施形態は、コンピュータ７００（ＣＰＵ７０１）が実行するプログラム（ソフトウェア）を、一時的にまたは非一時的に、記憶する記録媒体７０７の実施形態を含む。尚、情報を非一時的に記憶する記憶媒体は、不揮発性記憶媒体とも呼ばれる。
尚、コンピュータ７００は、図２に示す画像処理システム１０１を実現してもよい。この場合、ＣＰＵ７０１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２に示す劣化過程推定装置１００、学習部１０２及び復元部１０４として各種の処理を実行する。記憶部７０２及び記憶装置７０３は、辞書１０３を含んでよい。また、記憶部７０２及び記憶装置７０３は、更に、学習画像４１０、劣化画像４２０及び復元画像４４０を記憶するようにしてもよい。
以上が、本実施形態における劣化過程推定装置１００を実現するコンピュータ７００の、ハードウェア単位の各構成要素についての説明である。
次に本実施形態の動作について、図１〜図７を参照して詳細に説明する。
図７は、本実施形態の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したＣＰＵ７０１によるプログラム制御に基づいて、実行されても良い。また、処理のステップ名については、Ｓ６０１のように、記号で記載する。
画像取得部１５０は、学習画像４１１を取得する（Ｓ６０１）。例えば、画像取得部１５０は、図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている学習画像４１１を読み出す。また、画像取得部１５０は、図６に示す入力部７０４を介して利用者によって入力された、学習画像４１１を取得するようにしてもよい。また、画像取得部１５０は、図６に示す通信部７０６を介して図示しない機器から、学習画像４１１を受信するようにしてもよい。また、画像取得部１５０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された学習画像４１１を取得するようにしてもよい。
次に、推定部１６０の対応情報生成部１１０は、取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する（Ｓ６０２）。
ここで、推定部１６０は、図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている劣化過程８６１を読み出す。また、推定部１６０は、図６に示す入力部７０４を介して利用者によって入力された、劣化過程８６１を取得するようにしてもよい。また、推定部１６０は、図６に示す通信部７０６を介して図示しない機器から、劣化過程８６１を受信するようにしてもよい。また、推定部１６０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された劣化過程８６１を取得するようにしてもよい。
次に、対応情報生成部１１０は、各劣化画像４２１に対応する特徴ベクトル８６２を算出する（Ｓ６０３）。
次に、対応情報生成部１１０は、劣化過程８６１と特徴ベクトル８６２との組を含む対応情報８６０を生成し、劣化過程選択部１２０に出力する（Ｓ６０４）。
次に、画像取得部１５０は、入力画像４３０を取得する（Ｓ６０５）。例えば、画像取得部１５０は、図６に示す記憶部７０２或いは記憶装置７０３に、予め記憶されている入力画像４３０を取得する。また、画像取得部１５０は、図６に示す入力部７０４を介して利用者が入力した、入力画像４３０を取得するようにしてもよい。また、画像取得部１５０は、図６に示す通信部７０６を介して図示しない機器から、入力画像４３０を受信するようにしてもよい。また、画像取得部１５０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された入力画像４３０を取得するようにしてもよい。
次に、推定部１６０の劣化過程選択部１２０は、入力画像４３０に対応する特徴ベクトル８６４を算出する（Ｓ６０６）。
次に、劣化過程選択部１２０は、特徴ベクトル８６４と対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、対応情報８６０から入力画像４３０に対応する劣化過程８６１を選択する（Ｓ６０７）。
次に、劣化過程選択部１２０は、その選択された劣化過程８６１を推定劣化過程８６７として出力する（Ｓ６０８）。例えば、劣化過程選択部１２０は、図６に示す通信部７０６を介して、学習部１０２に推定劣化過程８６７を送信する。また、劣化過程選択部１２０は、推定劣化過程８６７を図６に示す出力部７０５を介して出力するようにしてもよい。また、劣化過程選択部１２０は、図６に示す記憶装置７０３を介して、記録媒体７０７に推定劣化過程８６７を記録するようにしてもよい。
以上が、本実施形態の動作の説明である。
次に、本実施形態のより具体的な構成を説明する。
図８は、劣化過程推定装置１００の詳細な構成の一例を示す図である。
図８に示すように、画像取得部１５０は、学習画像取得部１５１及び入力画像取得部１５２を含む。推定部１６０は、対応情報生成部１１０、劣化過程選択部１２０及び劣化過程推定用辞書１６５を含む。そして、劣化画像群生成部１６１、特徴ベクトル算出部１６２及び劣化過程推定用辞書作成部１６３は、対応情報生成部１１０を構成する。また、特徴ベクトル算出部１６２及び特徴ベクトル分類部１６４は、劣化過程選択部１２０を構成する。
更に、劣化過程推定用辞書１６５は、対応情報８６０に対応する。劣化過程推定用辞書１６５は、例えば、図６に示す記憶部７０２や記憶装置７０３などに記憶される。
図８に示す構成の劣化過程推定装置１００の動作を、図７に示すフローチャートに沿って説明する。
学習画像取得部１５１は、学習画像４１１を取得する（Ｓ６０１）。
次に、劣化画像群生成部１６１は、学習画像取得部１５１が取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１に基づいて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する（Ｓ６０２）。
次に、特徴ベクトル算出部１６２は、劣化画像群生成部１６１が作成した各劣化画像４２１に対応する特徴ベクトル８６２を算出する（Ｓ６０３）。
次に、劣化過程推定用辞書作成部１６３は、特徴ベクトル８６２と劣化過程８６１との組を含む対応情報８６０を生成し、劣化過程推定用辞書１６５に書き込む（Ｓ６０４）。ここで、特徴ベクトル８６２は、Ｓ６０３において特徴ベクトル算出部１６２が作成した特徴ベクトル８６２である。また、劣化過程８６１は、Ｓ６０３において特徴ベクトル算出部１６２がその特徴ベクトル８６２を作成するために利用した劣化過程８６１である。
次に、入力画像取得部１５２は、入力画像４３０を取得する（Ｓ６０５）。
次に、特徴ベクトル算出部１６２は、特徴ベクトル８６４を算出する（Ｓ６０６）。
次に、特徴ベクトル分類部１６４は、特徴ベクトル算出部１６２が算出した特徴ベクトル８６４を、劣化過程推定用辞書１６５に記憶された対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、前述のクラスのいずれかに分類する。続けて、特徴ベクトル分類部１６４は、その特徴ベクトル８６４が分類されたクラスに対応する劣化過程８６１を選択する（Ｓ６０７）。
次に、特徴ベクトル分類部１６４は、その選択された劣化過程８６１を推定劣化過程８６７として出力する（Ｓ６０８）。
上述した本実施形態における第１の効果は、入力画像４３０の劣化過程を正確に推定し、入力画像４３０から所望の復元画像４４０を復元するために必要な辞書１０３を得ることが可能になることである。
その理由は、以下のような構成を含むからである。即ち、第１に画像取得部１５０が学習画像４１１及び入力画像４３０を取得する。第２に、推定部１６０が、特徴ベクトル８６４と特徴ベクトル８６２との関係に基づいて、選択された劣化過程８６１を推定劣化過程８６７として出力する。
上述した本実施形態における第２の効果は、ボケを含む劣化に対しても、入力画像４３０の劣化過程を正確に推定することが可能になることである。
その理由は、推定部１６０が、元の劣化画像４２１がフーリエ変換された量の絶対値或いはその絶対値の対数値を、ラスタスキャン順に並べた構造の特徴ベクトル８６２及び特徴ベクトル８６４を生成するようにしたからである。或いは、その理由は、推定部１６０が、明度で正規化された劣化画像４２１の各画素値を、ラスタスキャン順に並べた構造の特徴ベクトル８６２及び特徴ベクトル８６４を生成するようにしたからである。
上述した本実施形態における第３の効果は、推定された劣化過程が正確である確率をより大きくすることが可能になることである。
その理由は、劣化過程選択部１２０が、特徴ベクトル８６４を複数のクラスに分類し、その複数のクラスのそれぞれに対応する推定劣化過程８６７を出力するようにしたからである。
＜＜＜第１の実施形態の第１の変形例＞＞＞
図９は、本実施形態の第１の変形例における、劣化過程推定装置１００の詳細な構成の一例を示す図である。
図９に示すように、本変形例の推定部１６０は、劣化過程推定用辞書作成部１６３に替えて劣化画像推定用辞書作成部１６６を含む。そして、本変形例の推定部１６０は、特徴ベクトル分類部１６４に替えて特徴ベクトル分類部１６７を含む。そして、本変形例の推定部１６０は、劣化画像推定用辞書１６５に替えて劣化画像推定用辞書１６８を含む。
本変形例の劣化過程推定装置１００は、劣化過程８６１に替えて選択された劣化画像４２１を、推定劣化過程８６７として出力する。即ち、本変形例の推定部１６０は、その類似度８５１に基づいて、劣化画像４２１のいずれかを選択し、その選択した劣化画像４２１を、その推定劣化過程８６７として出力する。
劣化過程推定用辞書作成部１６６は、特徴ベクトル算出部１６２が作成した特徴ベクトル８６２と、その特徴ベクトル８６２に対応する劣化画像４２１と、の組を含む対応情報を生成し、劣化画像推定用辞書１６８に書き込む。
ここで、劣化画像推定用辞書１６８は、特徴ベクトル８６２と劣化画像４２１との組を含むその対応情報を記憶する。
特徴ベクトル分類部１６７は、例えば、特徴ベクトル８６４の最近傍の特徴ベクトル８６２に対応する劣化画像４２１を出力する。また、特徴ベクトル分類部１６７は、特徴ベクトル８６４のｋ（ｋは、１以上の任意の自然数）−近傍の特徴ベクトル８６２に対応する、ｋ個の劣化画像４２１を出力するようにしてもよい。
具体的には、特徴ベクトル分類部１６７は、特徴ベクトル８６４を、劣化画像推定用辞書１６８に記憶されたその対応情報に含まれる特徴ベクトル８６２との関係に基づいて、前述のクラスのいずれかに分類する。次に、特徴ベクトル分類部１６７は、その特徴ベクトル８６４が分類されたクラスに対応する（例えば、そのクラスのセントロイドの）劣化画像４２１を出力する。或いは、特徴ベクトル分類部１６７は、その特徴ベクトル８６４を、それらの特徴ベクトル８６２との関係に基づいて、ｋ−近傍のクラスに分類してよい。この場合、特徴ベクトル分類部１６７は、そのｋ個のクラスに対応する劣化画像４２１を出力してよい。
例えば、本変形例の劣化過程推定装置１００は、学習画像４１０の集合と学習画像４１１の集合との内、重なり合う学習画像４１１について、劣化画像４２１を出力する。
上述の本変形例は、学習部１０２における劣化画像４２０の生成処理を省略することができるという効果を有する。
＜＜＜第１の実施形態の第２の変形例＞＞＞
図１０は、本実施形態の第２の変形例における、劣化過程推定装置１００の詳細な構成の一例を示す図である。
図１０に示すように、本変形例の劣化過程推定装置１００は、劣化情報入力部１７０を更に含む。
＝＝＝劣化情報入力部１７０＝＝＝
劣化情報入力部１７０は、入力画像４３０の劣化情報を、利用者に入力させる。
図１１及び図１２のそれぞれは、その劣化情報の一例を示す図である。図１１は、その劣化情報であるナンバープレートの４つの頂点を黒丸で示す。また、図１２は、その劣化情報である顔の特徴点を黒丸で示す。その劣化情報は、図１１及び図１２に示すものに限らず、例えば、特定の領域の輪郭を指定する情報であってもよい。
例えば、劣化情報入力部１７０は、以下の手順により入力画像４３０の劣化情報を、利用者に入力させる。第１に、劣化情報入力部１７０は、図６に示す出力部７０５に入力画像４３０を表示する。第２に、利用者が、図６に示す入力部７０４を介して、その表示された入力画像４３０の頂点位置や特徴点などの位置を指定する。第３に、劣化情報入力部１７０は、入力部７０４を介して、その入力された位置を取得する。
なお利用者が入力するその劣化情報は、頂点位置や特徴点に限定されない。例えば、利用者は、点を指定する替わりに、線でその劣化情報を指定してもよいし、面あるいは領域でその劣化情報を指定してもよい。
＝＝＝推定部１６０＝＝＝
本変形例の推定部１６０の劣化画像群生成部１６１は、学習画像取得部１５１が取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１と更に劣化情報とに基づいて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する。
上述の本変形例は、推定部１６０における劣化画像４２１の生成処理の負荷を軽減することができるという効果を有する。
即ち、上述のような姿勢を決定するための点の情報を、利用者に入力させることにより、姿勢の推定や倍率、超解像処理の対象物（例えば、ナンバープレートや顔）の検出などの問題を解く必要が無くなる。
＜＜＜第２の実施形態＞＞＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
本実施形態は、任意の領域が局所領域である場合の実施形態である。以下の説明において、入力画像４３０の任意の領域をその入力画像局所領域と表記する。
本実施形態において、劣化画像４２１は、複数の劣化過程８６１のそれぞれに基づいて、学習画像４１１の局所領域が劣化された場合の、その劣化された局所領域である。ここで、学習画像４１１のその局所領域は、その入力画像局所領域の局所領域に対応する。
また、本実施形態の劣化過程８６１は、学習画像４１１のその局所領域から劣化画像４２１のその局所領域への劣化の過程を特定する劣化過程である。
本実施形態の特徴ベクトル８６２は、その劣化された局所領域である劣化画像４２１の特徴ベクトルである。
本実施形態の特徴ベクトル８６４は、その入力画像局所領域の特徴ベクトルである。
その入力画像局所領域、その劣化された局所領域である劣化画像４２１、後述する学習画像４１０の局所領域及び後述する入力画像４３０の局所領域のそれぞれは、相互に対応する位置及び形状の局所領域である。その局所領域は、例えばパッチ単位で指定された、局所領域である。
図１３は、本発明の第２の実施形態に係る劣化過程推定装置２００の構成を示すブロック図である。
図１３に示すように、本実施形態における劣化過程推定装置２００は、推定部１６０に替えて、推定部２６０を含む。
推定部２６０は、対応情報生成部２１０及び劣化過程選択部２２０を含む。
＝＝＝対応情報生成部２１０＝＝＝
対応情報生成部２１０は、例えば任意の数のパッチ識別子（個々のパッチを特定する識別子）を含む領域指定８７１に基づいて、劣化画像４２１を生成する。次に、対応情報生成部２１０は、劣化画像４２１のそれぞれに対応する特徴ベクトル８６２を算出する。尚、対応情報生成部２１０は、例えば図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている領域指定８７１を取得する。また、対応情報生成部２１０は、図６に示す入力部７０４を介して利用者によって入力された、領域指定８７１を取得するようにしてもよい。また、対応情報生成部２１０は、図６に示す通信部７０６を介して図示しない機器から、領域指定８７１を受信するようにしてもよい。また、対応情報生成部２１０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された領域指定８７１を取得するようにしてもよい。
＝＝＝劣化過程選択部２２０＝＝＝
劣化過程選択部２２０は、対応情報生成部２１０が取得した領域指定８７１に基づいて、その入力画像局所領域を生成する。次に、劣化過程選択部２２０は、その入力画像局所領域に対応する特徴ベクトル８６４を算出する。
劣化過程選択部２２０は、その特徴ベクトル８６４と、対応情報８６０に含まれる特徴ベクトル８６２との類似度８５１に基づいて、対応情報８６０から劣化過程８６１を選択する。
次に、劣化過程選択部２２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、後述の学習部２０２）へ出力する。
換言すると、劣化過程推定装置２００は、その局所領域に対応する推定劣化過程８６７を出力する。
図１４は、本実施形態に係る劣化過程推定装置２００を含む画像処理システム２０１の構成を示すブロック図である。尚、画像処理システム２０１は、情報処理装置とも呼ばれる。
図１４に示すように、本実施形態に係る画像処理システム１０１は、劣化過程推定装置２００と学習部２０２と辞書１０３と復元部１０４とを含む。
学習部２０２は、例えば外部から入力される学習画像４１０と、劣化過程推定装置２００から入力される推定劣化過程８６７と領域指定８７１とを取得する。そして、学習部２０２は、推定劣化過程８６７と領域指定８７１とに基づいて、学習画像４１０から辞書１０３を生成する。具体的には、第１に、学習部２０２は、推定劣化過程８６７と領域指定８７１とに基づいて、学習画像４１０のそれぞれのその局所領域に対応する劣化画像４２０を生成する。第２に、学習部２０２は、学習画像４１０のパッチと対応するその劣化画像４２０のパッチとをペアとして含む辞書１０３を生成する。
上述した本実施形態における第１の効果は、第１の実施形態と同様の効果である。更に、本実施形態における第２の効果は、入力画像４３０の局所領域ごとに異なる内容の劣化が発生している場合にも、正確な劣化過程８６１を推定し、正確な超解像画像（復元画像４４０）を復元するために必要な辞書１０３を得ることが可能になることである。
その第２の効果を有する理由は、劣化過程推定装置２００が更に領域指定８７１に基づいて、入力画像４３０の局所領域であるその入力画像局所領域に対応する推定劣化過程８６７を出力するようにしたからである。
本実施形態は、第１の実施形態と結合してもよい。即ち、その実施形態は、各画像のそれぞれの全体を処理する手段と、各画像の局所領域のそれぞれを処理する手段との両方を含む構成であってもよい。
＜＜＜第３の実施形態＞＞＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第３の実施形態に係る劣化過程推定装置３００の構成を示すブロック図である。
図１５に示すように、本実施形態における劣化過程推定装置３００は、第１の実施形態の劣化過程推定装置１００と比べて、学習画像選択部３４０を更に含む。
図１６は、本実施形態に係る劣化過程推定装置３００を含む画像処理システム３０１の構成を示すブロック図である。尚、画像処理システム３０１は、情報処理装置とも呼ばれる。
図１６に示すように、本実施形態に係る画像処理システム３０１は、劣化過程推定装置３００と学習部１０２と辞書１０３と復元部１０４とを含む。劣化過程推定装置３００は、画像取得部１５０と推定部３６０とを含む。推定部３６０は、第１の実施形態の推定部１６０に比べて、学習画像選択部３４０を更に含む。
＝＝＝学習画像選択部３４０＝＝＝
学習画像選択部３４０は、学習画像４１１のそれぞれと復元画像４４０との類似度（第２の類似度）８５２に基づいて、学習画像４１１を選択し、その選択した学習画像４１１を対応情報生成部１１０に出力する。ここで、復元画像４４０は、復元部１０４により生成された画像である。
ここで、図１７及び図１８を参照して、学習画像選択部３４０の動作を説明する。図１７は、学習画像４１１と復元画像４４０と類似度８５２との関係を示す図である。図１８は、本実施形態の動作を示すフローチャートである。
学習画像選択部３４０は、複数の学習画像４１１を取得する（Ｓ６３０）。
次に、学習画像選択部３４０は、取得した学習画像４１１を対応情報生成部１１０に出力する（Ｓ６３１）。
次に、学習画像選択部３４０は、学習画像選択部３４０が復元画像４４０の出力を検出した回数（以後、検出回数と呼ぶ）が所定の閾値に到達したか否かを判定する（Ｓ６３２）。その検出回数がその所定の閾値に到達した場合（Ｓ６３２でＹＥＳ）、学習画像選択部３４０は、処理を終了する。
その回数がその所定の閾値に到達していない場合（Ｓ６３２でＮＯ）、学習画像選択部３４０は、学習画像４１１のそれぞれに対応する特徴ベクトル８８１を算出する（Ｓ６３３）。
次に、学習画像選択部３４０は、復元部１０４が復元画像４４０を出力するのを待つ（Ｓ６３４）。
復元部１０４が復元画像４４０を出力した場合（Ｓ６３４でＹＥＳ）、学習画像選択部３４０は、その検出回数を更新し、復元画像４４０を取得する（Ｓ６３５）。
次に、学習画像選択部３４０は、復元画像４４０のそれぞれに対応する特徴ベクトル８８４を算出する（Ｓ６３６）。
次に、学習画像選択部３４０は、特徴ベクトル８８１と特徴ベクトル８８４との関係に基づいて、学習画像４１１を選択する（Ｓ６３７）。
例えば、復元画像４４０が１つの場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと特徴ベクトル８８４との距離が近い順に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択する。また、復元画像４４０が１つの場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと特徴ベクトル８８４との距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。
例えば、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと複数の特徴ベクトル８８４のセントロイドに対応するベクトルとの間の距離が近い順番に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択する。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと複数の特徴ベクトル８８４のセントロイドに対応するベクトルとの間の距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８４のそれぞれについて、特徴ベクトル８８１のそれぞれと各特徴ベクトル８８４との距離が近い順に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８４のそれぞれについて、特徴ベクトル８８１のそれぞれと各特徴ベクトル８８４との距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。
次に、学習画像選択部３４０は、選択した学習画像４１１を、対応情報生成部１１０へ出力する（Ｓ６３８）。
次に、学習画像選択部３４０は、その検出回数が所定の閾値に到達したか否かを判定する（Ｓ６３９）。その検出回数がその所定の閾値に到達した場合（Ｓ６３９でＹＥＳ）、学習画像選択部３４０は、処理を終了する。その検出回数がその所定の閾値に到達していない場合（Ｓ６３９でＮＯ）、学習画像選択部３４０は、Ｓ６３４の処理へ戻る。
＝＝＝対応情報生成部１１０＝＝＝
本実施形態の対応情報生成部１１０は、学習画像選択部３４０から取得した学習画像４１１に基づいて、対応情報８６０を生成し、その生成した対応情報８６０を劣化過程選択部１２０に出力する。
＝＝＝学習部１０２＝＝＝
学習部１０２は、劣化画像４２０のパッチである劣化パッチと、学習画像４１０のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書１０３を作成する。ここで、劣化画像４２０のパッチは、劣化過程推定装置３００により出力された推定劣化過程８６７に基づいて学習画像４１０が劣化された、劣化画像４２０のパッチである。
図１９は、学習部１０２の構造を示すブロック図である。図１９に示すように、学習部１０２は、受付部１０２１、劣化画像生成部１０２２、パッチペア生成部１０２３及び登録部１０２４を含む。
図２０は、学習フェーズを説明するための概念図である。図２０に示すように、学習部１０２は、推定劣化過程８６７に基づいて、学習画像４１０に劣化処理を施して劣化画像４２０を生成する。学習部１０２は、学習画像４１０及び劣化画像４２０の対応する位置におけるパッチペア４０３を辞書１０３に登録する。パッチペア４０３は、復元パッチ４０１及び劣化パッチ４０２を含む。
＝＝＝受付部１０２１＝＝＝
受付部１０２１は、学習画像４１０の入力を受け付ける。受付部１０２１は、その受け付けた学習画像４１０を劣化画像生成部１０２２及びパッチペア生成部１０２３に出力する。
＝＝＝劣化画像生成部１０２２＝＝＝
劣化画像生成部１０２２は、受付部１０２１から出力された学習画像４１０に対して、劣化過程推定装置２００から出力された推定劣化過程８６７に基づいて、劣化処理を施して劣化画像４２０を生成する。
複数の推定劣化過程８６７がある場合、劣化画像生成部１０２２は、受付部１０２１から出力された各学習画像４１０に対して、各推定劣化過程８６７に基づいて劣化処理を施し、各学習画像４１０に対応する複数の劣化画像４２０を生成してもよい。
劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０をＮ分の１に縮小することで、劣化画像４２０を生成する。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像４２０を生成してもよい。劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０を傾かせて、姿勢を変動させることで劣化画像４２０を生成してもよい。または、劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０の輝度値を減少させて明度を低くし、劣化画像４２０を生成してもよい。劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、既存の様々な手法によって劣化画像４２０を生成してもよい。
＝＝＝パッチペア生成部１０２３＝＝＝
パッチペア生成部１０２３は、受付部１０２１から学習画像４１０を受け取り、劣化画像生成部１０２２から学習画像４１０の劣化画像４２０を受け取る。パッチペア生成部１０２３は、学習画像４１０と劣化画像４２０との対応する位置におけるパッチペア４０３を複数生成する。パッチペア生成部１０２３は、既存の手法によって復元パッチ４０１と劣化パッチ４０２の複数のペア（パッチペア４０３）を生成すればよい。パッチペア生成部１０２３は、生成した複数のパッチペア４０３を登録部１０２４に出力する。
＝＝＝登録部１０２４＝＝＝
登録部１０２４は、パッチペア生成部１０２３から、複数のパッチペア４０３を受け取る。登録部１０２４は、複数のパッチペア４０３を辞書１０３に登録する。
＝＝＝辞書１０３＝＝＝
辞書１０３は、学習部１０２によって生成された複数のパッチペアを格納する。
＝＝＝復元部１０４＝＝＝
復元部１０４は、辞書１０３を利用して、入力画像４３０から復元画像４４０を生成し、劣化過程推定装置３００及び外部へ出力する。
図２１は、復元部１０４の構成を示すブロック図である。図２１に示すように、復元部１０４は、受付部１０４１、パッチ生成部１０４２及び復元画像生成部１０４３を含む。
＝＝＝受付部１０４１＝＝＝
受付部１０４１は、画像処理の対象となる入力画像４３０（入力画像）を外部から受け付ける。例えば、受付部１０４１は、ネットワークに接続して入力画像４３０を受信してもよいし、入力画像４３０を記憶するメモリから読み出すことで入力画像４３０を受け付けてもよい。即ち、受付部１０４１による入力画像４３０の受け付けの形態は、限定されない。受付部１０４１は、受け付けた入力画像４３０をパッチ生成部１０４２に出力する。
＝＝＝パッチ生成部１０４２＝＝＝
パッチ生成部１０４２は、受付部１０４１から出力された入力画像４３０から複数のパッチ（入力パッチ）を生成し、復元画像生成部１０４３に出力する。
＝＝＝復元画像生成部１０４３＝＝＝
図２２は、復元フェーズを説明するための概念図である。図２２に示すように、復元部１０４は、入力画像４３０の入力パッチ４３１と辞書１０３中の劣化パッチ４０２との類似性に基づいて、復元パッチ４０１を選択する。
復元画像生成部１０４３は、辞書１０３に格納されているパッチペア４０３の中から、入力パッチ４３１と劣化パッチ４０２との類似性を表す値であるパッチ類似度に基づいて、入力パッチ４３１のそれぞれに対応する複数の復元パッチ４０１を選択する。例えば、復元画像生成部１０４３は、入力パッチ４３１に対するパッチ類似度が所定値以上の劣化パッチ４０２に対応する復元パッチ４０１を選択する。また、復元画像生成部１０４３は、入力パッチ４３１に対するパッチ類似度が大きい順に、所定数の劣化パッチ４０２に対応する復元パッチ４０１を選択してもよい。
復元画像生成部１０４３は、複数の復元パッチ４０１を合成して、復元画像４４０を生成する。それらの復元パッチ４０１のそれぞれは、複数の復元パッチ４０１の内の１つである。その複数の復元パッチ４０１は、入力パッチ４３１のそれぞれに対応する。
復元画像生成部１０４３は、生成した復元画像４４０を劣化過程推定装置３００に出力する。また、復元画像生成部１０４３は、その復元画像４４０を外部へ出力する。例えば、復元部１０４は、図６に示す通信部７０６を介して、外部に復元画像４４０を送信する。また、復元部１０４は、復元画像４４０を図６に示す出力部７０５を介して出力するようにしてもよい。また、復元部１０４は、図６に示す記憶装置７０３を介して、記録媒体７０７に復元画像４４０を記録するようにしてもよい。
尚、復元部１０４は、入力パッチ４３１と劣化パッチ４０２との類似性に加えて、復元画像４４０から切り出したパッチと復元パッチ４０１との類似性にも基づいて、復元パッチ４０１を選択するようにしてもよい。
次に、画像間（例えば、入力パッチ４３１と劣化パッチ４０２）の類似度（例えば、パッチ類似度）について説明する。
図２３は、パッチ４５０の一例を示す図である。図２３に示すように、例えばパッチ４５０は、複数の画素４５２の画素値を要素として持つ、多次元ベクトルである画素群４５１を含む。また、パッチ４５０は、パッチ４５０を個別に特定するパッチ識別子４５３を、メタ情報として含む。尚、パッチ４５０は、復元パッチ４０１、劣化パッチ４０２及び入力パッチ４３１を含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間のパッチ類似度を示す値とは、パッチ間の各画素４５２の輝度値の差に基づく値でもよい。例えば、パッチ類似度を示す値は、パッチ間の各画素４５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、パッチ類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。または、パッチ類似度を示す値は、パッチ間の各画素４５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、パッチ類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、パッチ類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。または、パッチ類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、パッチ類似度は、２つのパッチそれぞれの画素群４５１が表す画像間の類似度である。以上の説明は、パッチ類似度に限らず、類似度８５１、類似度８５２についても適用される。
上述した本実施形態における第１の効果は、第１の実施形態の効果と同様である。更に、本実施形態における第２の効果は、入力画像４３０の劣化過程をより正確に推定し、その入力画像４３０に対応する、より高精度な超解像画像（復元画像４４０）を復元するために必要な辞書１０３を得ることが可能になることである。
その第２の効果を有する理由は、以下の工程を繰り返すようにしたからである。第１に、劣化過程推定装置３００が学習画像４１１に基づいて推定劣化過程８６７を出力する。第２に、学習部１０２が推定劣化過程８６７に基づいて辞書１０３を生成する。第３に復元部１０４が、辞書１０３に基づいて復元画像４４０を生成する。第４に、劣化過程推定装置３００の学習画像選択部３４０が、復元画像４４０に基づいて、学習画像４１１を選択する。
本実施形態は、第２の実施形態に適用されてもよい。即ち、各画像の局所領域が処理単位とされてよい。
以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、各構成要素は、複数の構成要素が１個のモジュールとして実現されてよい。また、各構成要素は、１つの構成要素が複数のモジュールで実現されてもよい。また、各構成要素は、ある構成要素が他の構成要素の一部であるような構成であってよい。また、各構成要素は、ある構成要素の一部と他の構成要素の一部とが重複するような構成であってもよい。
以上説明した各実施形態における各構成要素及び各構成要素を実現するモジュールは、必要に応じ、可能であれば、ハードウェア的に実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、コンピュータ及びプログラムで実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、ハードウェア的なモジュールとコンピュータ及びプログラムとの混在により実現されてもよい。
そのプログラムは、例えば、磁気ディスクや半導体メモリなど、不揮発性のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施形態における構成要素として機能させる。
また、以上説明した各実施形態では、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障のない範囲で変更することができる。
更に、以上説明した各実施形態では、複数の動作は個々に相違するタイミングで実行されることに限定されない。例えば、ある動作の実行中に他の動作が発生したり、ある動作と他の動作との実行タイミングが部分的に乃至全部において重複していたりしていてもよい。
更に、以上説明した各実施形態では、ある動作が他の動作の契機になるように記載しているが、その記載はある動作と他の動作との全ての関係を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。また各構成要素の各動作の具体的な記載は、各構成要素の各動作を限定するものではない。このため、各構成要素の具体的な各動作は、各実施形態を実施する上で機能的、性能的、その他の特性に対して支障をきたさない範囲内で変更されて良い。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）複数の第１の学習画像と入力画像とを取得する画像取得手段と、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、を含み、
前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
情報処理装置。
（付記２）前記推定手段は、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１記載の情報処理装置。
（付記３）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１または２記載の情報処理装置。
（付記４）前記推定手段は、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
ことを特徴とする付記３記載の情報処理装置。
（付記５）前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する学習手段と、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力する復元手段と、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択する選択手段と、を更に含み、
前記推定手段は、更に、前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）前記推定手段は、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記５記載の情報処理装置。
（付記７）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記５または６記載の情報処理装置。
（付記８）前記推定手段は、劣化画像生成手段と特徴ベクトル算出手段と劣化過程推定用辞書作成手段と劣化過程推定用辞書手段と特徴ベクトル分類手段を含み、
前記劣化画像生成手段は、前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を前記特徴ベクトル算出手段に出力し、
前記特徴ベクトル算出手段は、前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを前記劣化過程推定用辞書作成手段に出力し、
前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を前記劣化過程推定用辞書手段に出力し、
前記劣化過程推定用辞書手段は、前記対応情報を記憶し、
前記特徴ベクトル算出手段は、前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを前記特徴ベクトル分類手段に出力し、
前記特徴ベクトル分類手段は、前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
ことを特徴とする付記１乃至７のいずれか１つに記載の情報処理装置。
（付記９）前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
ことを特徴とする付記８記載の情報処理装置。
（付記１０）前記推定手段は、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
ことを特徴とする付記１乃至９のいずれか１つに記載の情報処理装置。
（付記１１）前記入力画像の劣化情報を、利用者に入力させるための劣化情報入力手段を更に含み、
前記推定手段は、更に前記劣化情報に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１乃至１０のいずれか１つに記載の情報処理装置。
（付記１２）コンピュータが、
複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する
画像処理方法。
（付記１３）前記コンピュータが、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１２記載の画像処理方法。
（付記１４）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１２または１３記載の画像処理方法。
（付記１５）前記コンピュータが、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
ことを特徴とする付記１４記載の画像処理方法。
（付記１６）前記コンピュータが、更に、前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成し、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力し、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択し、
前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１２乃至１５のいずれか１つに記載の画像処理方法。
（付記１７）前記コンピュータが、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１６記載の画像処理方法。
（付記１８）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１６または１７記載の画像処理方法。
（付記１９）前記コンピュータが、前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を出力し、
前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを出力し、
前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を出力し、
前記対応情報を記憶し、
前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを出力し、
前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
ことを特徴とする付記１２乃至１８のいずれか１つに記載の画像処理方法。
（付記２０）前記コンピュータが、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
ことを特徴とする付記１９記載の画像処理方法。
（付記２１）前記コンピュータが、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
ことを特徴とする付記１２乃至２０のいずれか１つに記載の画像処理方法。
（付記２２）複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理をコンピュータに実行させる
プログラム。
（付記２３）更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２２記載のプログラム。
（付記２４）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記２２または２３記載のプログラム。
（付記２５）前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する処理をコンピュータに実行させる
ことを特徴とする付記２４記載のプログラム。
（付記２６）更に、前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成し、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力し、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択し、
前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至２５のいずれか１つに記載のプログラム。
（付記２７）更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２６記載のプログラム。
（付記２８）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する処理をコンピュータに実行させる
ことを特徴とする付記２６または２７記載のプログラム。
（付記２９）前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を出力し、
前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを出力し、
前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を出力し、
前記対応情報を記憶し、
前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを出力し、
前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至２８のいずれか１つに記載のプログラム。
（付記３０）前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する処理をコンピュータに実行させる
ことを特徴とする付記２９記載のプログラム。
（付記３１）前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至３０のいずれか１つに記載のプログラム。
（付記３２）付記２２乃至付記３１のいずれか一つに記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
（付記３３）プロセッサと、
プロセッサが画像取得手段及び推定手段として動作するための、プロセッサによって実行される命令を保持する記憶部とを含み、
前記画像取得手段は、複数の第１の学習画像と入力画像とを取得し、
前記推定手段は、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力し、
前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
情報処理装置。
以上、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。
この出願は、２０１３年８月１５日に出願された日本出願特願２０１３−１６８７９３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ 劣化過程推定装置
１０１ 画像処理システム
１０２ 学習部
１０３ 辞書
１０４ 復元部
１１０ 対応情報生成部
１２０ 劣化過程選択部
１５０ 画像取得部
１５１ 学習画像取得部
１５２ 入力画像取得部
１６０ 推定部
１６１ 劣化画像群生成部
１６２ 特徴ベクトル算出部
１６３ 劣化過程推定用辞書作成部
１６４ 特徴ベクトル分類部
１６５ 劣化過程推定用辞書
１６６ 劣化過程推定用辞書作成部
１６７ 特徴ベクトル分類部
１６８ 劣化画像推定用辞書
２００ 劣化過程推定装置
２０１ 画像処理システム
２０２ 学習部
２１０ 対応情報生成部
２２０ 劣化過程選択部
２６０ 推定部
３００ 劣化過程推定装置
３０１ 画像処理システム
３４０ 学習画像選択部
３６０ 推定部
４０１ 復元パッチ
４０２ 劣化パッチ
４０３ パッチペア
４１０ 学習画像
４１１ 学習画像
４２０ 劣化画像
４２１ 劣化画像
４３０ 入力画像
４３１ 入力パッチ
４４０ 復元画像
７００ コンピュータ
７０１ ＣＰＵ
７０２ 記憶部
７０３ 記憶装置
７０４ 入力部
７０５ 出力部
７０６ 通信部
７０７ 記録媒体
８５１ 類似度
８５２ 類似度
８６０ 対応情報
８６１ 劣化過程
８６２ 特徴ベクトル
８６４ 特徴ベクトル
８６７ 推定劣化過程
１０２１ 受付部
１０２２ 劣化画像生成部
１０２３ パッチペア生成部
１０２４ 登録部
１０４１ 受付部
１０４２ パッチ生成部
１０４３ 復元画像生成部

Claims (13)

  1. 複数の第１の学習画像と入力画像とを取得する画像取得手段と、
    前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、
    前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する学習手段と、を含み、
    前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
    情報処理装置。
  2. 前記推定手段は、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
    ことを特徴とする請求項１記載の情報処理装置。
  3. 前記辞書を利用して、前記入力画像から復元画像を生成し、出力する復元手段と、
    前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択する選択手段、を更に含み、
    前記推定手段は、更に、前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
    ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 前記推定手段は、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
    ことを特徴とする請求項３記載の情報処理装置。
  5. 前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
    ことを特徴とする請求項３または４記載の情報処理装置。
  6. 前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
    ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 前記推定手段は、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
    ことを特徴とする請求項６記載の情報処理装置。
  8. 前記推定手段は、劣化画像生成手段と特徴ベクトル算出手段と劣化過程推定用辞書作成手段と劣化過程推定用辞書手段と特徴ベクトル分類手段を含み、
    前記劣化画像生成手段は、前記劣化過程に基づいて、前記第１の学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を前記特徴ベクトル算出手段に出力し、
    前記特徴ベクトル算出手段は、前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを前記劣化過程推定用辞書作成手段に出力し、
    前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を前記劣化過程推定用辞書手段に出力し、
    前記劣化過程推定用辞書手段は、前記対応情報を記憶し、
    前記特徴ベクトル算出手段は、前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを前記特徴ベクトル分類手段に出力し、
    前記特徴ベクトル分類手段は、前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
    ことを特徴とする請求項６又は７に記載の情報処理装置。
  9. 前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
    ことを特徴とする請求項８記載の情報処理装置。
  10. 前記推定手段は、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
  11. 前記入力画像の劣化情報を、利用者に入力させるための劣化情報入力手段を更に含み、
    前記推定手段は、更に前記劣化情報に基づいて、前記推定劣化過程を出力する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. コンピュータが、
    複数の第１の学習画像と入力画像とを取得し、
    前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力し、
    前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する
    画像処理方法。
  13. 複数の第１の学習画像と入力画像とを取得し、
    前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理と、
    前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する処理と、をコンピュータに実行させる
    プログラム。
JP2015531723A 2013-08-15 2014-07-18 画像処理を実行する情報処理装置及び画像処理方法 Active JP6512100B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013168793 2013-08-15
JP2013168793 2013-08-15
PCT/JP2014/003824 WO2015022771A1 (ja) 2013-08-15 2014-07-18 画像処理を実行する情報処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2015022771A1 JPWO2015022771A1 (ja) 2017-03-02
JP6512100B2 true JP6512100B2 (ja) 2019-05-15

Family

ID=52468165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015531723A Active JP6512100B2 (ja) 2013-08-15 2014-07-18 画像処理を実行する情報処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US9875532B2 (ja)
JP (1) JP6512100B2 (ja)
CN (1) CN105453132B (ja)
WO (1) WO2015022771A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225575B2 (en) * 2014-09-03 2019-03-05 Nec Corporation Image reconstruction in which unknown patch is replaced by selected patch
JP6341059B2 (ja) * 2014-10-31 2018-06-13 オムロン株式会社 文字認識装置、文字認識方法、およびプログラム
JP2016153933A (ja) * 2015-02-20 2016-08-25 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
KR102271285B1 (ko) * 2016-11-09 2021-07-01 삼성전자주식회사 영상처리장치 및 영상처리방법
JP6769558B2 (ja) * 2017-01-12 2020-10-14 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP6919276B2 (ja) * 2017-03-31 2021-08-18 富士通株式会社 画像表示プログラム、画像表示装置および画像表示方法
EP3637363B1 (en) * 2017-06-05 2023-05-24 Rakuten Group, Inc. Image processing device, image processing method and image processing program
JP6773829B2 (ja) * 2019-02-21 2020-10-21 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
JP7507600B2 (ja) * 2019-05-15 2024-06-28 ベイシス株式会社 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム
JP7383946B2 (ja) * 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
JP7204988B2 (ja) * 2020-03-04 2023-01-16 三菱電機株式会社 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム
US20250054110A1 (en) * 2022-01-04 2025-02-13 Sony Group Corporation Image processing device, image processing method, and recording medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57178578A (en) * 1981-04-27 1982-11-02 Toshiba Corp Pattern recognition system
JP4264332B2 (ja) 2003-11-19 2009-05-13 三菱重工業株式会社 文字認識装置、ナンバープレート認識システム
JP4168938B2 (ja) * 2004-01-21 2008-10-22 セイコーエプソン株式会社 画像処理装置、画像処理プログラム及び画像処理方法
JP2009259190A (ja) * 2008-03-28 2009-11-05 Fujitsu Ltd 文字認識プログラムおよび文字認識装置
JP2010273764A (ja) 2009-05-27 2010-12-09 Konica Minolta Medical & Graphic Inc 画像処理装置及び方法
JP5522736B2 (ja) 2010-11-25 2014-06-18 日本放送協会 画像超解像装置およびそのプログラム
JP2012244395A (ja) 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP5769241B2 (ja) 2011-07-15 2015-08-26 国立大学法人 筑波大学 超解像画像処理装置及び超解像画像処理用辞書作成装置
JP6075295B2 (ja) * 2011-12-12 2017-02-08 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
JP6292911B2 (ja) * 2014-02-07 2018-03-14 キヤノン株式会社 画像処理方法、画像処理プログラムおよび画像処理装置

Also Published As

Publication number Publication date
US20160189357A1 (en) 2016-06-30
US9875532B2 (en) 2018-01-23
CN105453132B (zh) 2019-04-05
WO2015022771A1 (ja) 2015-02-19
CN105453132A (zh) 2016-03-30
HK1220796A1 (zh) 2017-05-12
JPWO2015022771A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
JP6512100B2 (ja) 画像処理を実行する情報処理装置及び画像処理方法
KR102519085B1 (ko) 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치
JP6287855B2 (ja) 画像処理装置及び画像処理方法
CN112348958B (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
KR20230054432A (ko) 인물 이미지 복원 방법, 장치, 전자 기기, 기억 매체 및 프로그램 제품
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
JP4948593B2 (ja) 以前に圧縮された画像における合成の検出
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2015232869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2016212784A (ja) 画像処理装置、画像処理方法
US9767533B2 (en) Image resolution enhancement based on data from related images
JP6075294B2 (ja) 画像処理システム及び画像処理方法
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
JP2016509805A (ja) 画像ストリームの高フレームレート化
US9392146B2 (en) Apparatus and method for extracting object
CN104813362A (zh) 图像处理设备及图像处理方法
JP6443540B2 (ja) 画像処理装置、画像処理方法および記憶媒体
CN119107228A (zh) 图像拼接方法、系统、电子设备及存储介质
Kawulok et al. Towards robust evaluation of super-resolution satellite image reconstruction
JP6056354B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Salvador et al. Fast single-image super-resolution with filter selection
JP6751663B2 (ja) 画像処理装置、画像処理方法
Shibata et al. Single image super resolution reconstruction in perturbed exemplar sub-space
HK1220796B (zh) 实施图像处理的信息处理设备和图像处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6512100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150