JPWO2013089261A1 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2013089261A1 JPWO2013089261A1 JP2013549343A JP2013549343A JPWO2013089261A1 JP WO2013089261 A1 JPWO2013089261 A1 JP WO2013089261A1 JP 2013549343 A JP2013549343 A JP 2013549343A JP 2013549343 A JP2013549343 A JP 2013549343A JP WO2013089261 A1 JPWO2013089261 A1 JP WO2013089261A1
- Authority
- JP
- Japan
- Prior art keywords
- patch
- image
- input
- similarity
- weighted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 60
- 230000006866 deterioration Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 abstract description 49
- 238000010586 diagram Methods 0.000 description 44
- 230000000694 effects Effects 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/97—Matching pursuit coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本発明は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くする画像処理装置を提供する。その画像処理装置は、所定の画像を劣化させた劣化画像の劣化パッチと、その所定の画像のパッチである復元パッチとを対応付けたデータを格納する辞書を利用し、入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度として、それらの劣化パッチ及び入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する類似度算出手段と、その重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、その復元パッチを合成して復元画像を生成する合成手段とを備える。
Description
本発明は、劣化画像から復元画像を生成する画像処理システム、画像処理方法及び画像処理用プログラムに関する。
劣化画像から復元画像を生成する技術の一例に、超解像技術が知られている。超解像技術の中で、低解像度画像と高解像度画像とが対応付けられた事例を学習して作成された辞書を用いる方式は、特に学習型超解像技術と呼ばれる。ここで、その辞書は、低解像度画像と高解像度画像とが対応付けられた事例を学習することによって、作成された辞書である。
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
更に、その超解像プロセスは、入力画像から、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
その超解像プロセスは、その算出した低周波特徴量との距離が近い順に複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
例えば、特許文献１は、超解像処理装置の一例を開示する。
特許文献１の超解像処理装置は、Ｎ倍拡大部と、ハイパスフィルタ部と、パッチ抽出部と、加算部と、学習データベースとを備えている。
Ｎ倍拡大部は、低解像度の入力画像から拡大画像を生成する。
ハイパスフィルタ部は、拡大画像から中周波画像を生成する。
パッチ抽出部は、中周波画像、学習中周波パッチ及び学習高周波パッチから推定パッチを生成する。
加算部は、拡大画像と推定パッチとを加算することにより出力画像を生成する。
学習データベースは、学習中周波パッチ及び学習高周波パッチを出力する。
特許文献１は、上述の超解像処理装置において、処理単位が矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわないことを開示している。
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
更に、その超解像プロセスは、入力画像から、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
その超解像プロセスは、その算出した低周波特徴量との距離が近い順に複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
例えば、特許文献１は、超解像処理装置の一例を開示する。
特許文献１の超解像処理装置は、Ｎ倍拡大部と、ハイパスフィルタ部と、パッチ抽出部と、加算部と、学習データベースとを備えている。
Ｎ倍拡大部は、低解像度の入力画像から拡大画像を生成する。
ハイパスフィルタ部は、拡大画像から中周波画像を生成する。
パッチ抽出部は、中周波画像、学習中周波パッチ及び学習高周波パッチから推定パッチを生成する。
加算部は、拡大画像と推定パッチとを加算することにより出力画像を生成する。
学習データベースは、学習中周波パッチ及び学習高周波パッチを出力する。
特許文献１は、上述の超解像処理装置において、処理単位が矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわないことを開示している。
田口、小野、三田、井田"画像超解像のための閉ループ学習による代表事例の学習方法，"電子情報通信学会論文誌．Ｄ，情報・システム Ｊ９２−Ｄ（６），８３１−８４２，２００９−０６−０１
しかしながら、上述した特許文献及び非特許文献に記載された技術においては、低解像入力画像に対応して得られる復元画像が、本来の画像に十分近いとは限らないという問題点がある。
その理由は、低解像入力画像のパッチに対応する復元画像のパッチを学習データから選択する場合に、離散的な境界で定められているパッチの形状を処理単位の基本としているからである。即ち、非特許文献１の技術は、離散的境界で定められた矩形の低周波パッチを処理単位としている。また、特許文献１においては処理単位を任意の形状としてかまわないことを示唆しつつも、その超解像処理装置は、離散的な境界を有する矩形ブロックの処理単位を処理しているに過ぎない。つまり、その超解像処理装置は、コンピュータが扱いやすい、離散的な境界を有する矩形ブロックを扱う技術のみを開示している。即ち、特許文献１は、コンピュータ或いはハードウェア装置のいずれについても、矩形ブロック以外の形状のパッチを処理する技術を開示していない。
入力された低解像画像、及び学習データにおける高解像画像に対応付けられた低解像画像は、それらの低解像画像に対応する高解像度の画像の情報が、正確に認識することができないように変化し、分散している。従って、最適な処理単位の形状及び大きさを決定するための根拠となる情報を得ることはできない。
このような状況において、処理単位を離散的な境界により定めた場合、その低解像画像の処理単位に含まれる情報は、例えば、以下のようになる可能性がある。第一に、その低解像画像の処理単位の外側に存在し（その処理単位に含まれず）、その低解像画像の処理単位に対応する、高解像度の画像の処理単位に含まれる情報（必要な情報）は、完全に欠落する。第二に、その低解像画像の処理単位の内側に存在し（その処理単位に含まれ）、その低解像画像の処理単位に対応しない、高解像度の画像の処理単位に含まれる情報（不要な情報）は、漏れなく混入する。
本発明の目的は、上述した問題点を解決する画像処理システム、画像処理方法及び画像処理用プログラムを提供することにある。
その理由は、低解像入力画像のパッチに対応する復元画像のパッチを学習データから選択する場合に、離散的な境界で定められているパッチの形状を処理単位の基本としているからである。即ち、非特許文献１の技術は、離散的境界で定められた矩形の低周波パッチを処理単位としている。また、特許文献１においては処理単位を任意の形状としてかまわないことを示唆しつつも、その超解像処理装置は、離散的な境界を有する矩形ブロックの処理単位を処理しているに過ぎない。つまり、その超解像処理装置は、コンピュータが扱いやすい、離散的な境界を有する矩形ブロックを扱う技術のみを開示している。即ち、特許文献１は、コンピュータ或いはハードウェア装置のいずれについても、矩形ブロック以外の形状のパッチを処理する技術を開示していない。
入力された低解像画像、及び学習データにおける高解像画像に対応付けられた低解像画像は、それらの低解像画像に対応する高解像度の画像の情報が、正確に認識することができないように変化し、分散している。従って、最適な処理単位の形状及び大きさを決定するための根拠となる情報を得ることはできない。
このような状況において、処理単位を離散的な境界により定めた場合、その低解像画像の処理単位に含まれる情報は、例えば、以下のようになる可能性がある。第一に、その低解像画像の処理単位の外側に存在し（その処理単位に含まれず）、その低解像画像の処理単位に対応する、高解像度の画像の処理単位に含まれる情報（必要な情報）は、完全に欠落する。第二に、その低解像画像の処理単位の内側に存在し（その処理単位に含まれ）、その低解像画像の処理単位に対応しない、高解像度の画像の処理単位に含まれる情報（不要な情報）は、漏れなく混入する。
本発明の目的は、上述した問題点を解決する画像処理システム、画像処理方法及び画像処理用プログラムを提供することにある。
本発明の画像処理システムは、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する類似度算出手段と、前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、を含む。
本発明の画像処理方法は、コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出し、前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択し、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する。
本発明の画像処理用プログラムは、コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する処理と、前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する処理とし、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する処理とを、実行させる。
本発明の画像処理方法は、コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出し、前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択し、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する。
本発明の画像処理用プログラムは、コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する処理と、前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する処理とし、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する処理とを、実行させる。
本発明は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になるという効果がある。
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。
学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１０１と、辞書２００と、画像処理装置３０１とを含む。学習装置１０１は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３０１は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
（学習フェーズ）
図２〜図５を参照して、第１実施形態における学習フェーズについて説明する。
図２は、学習装置１０１の構成を示すブロック図である。図２に示すように、学習装置１０１は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。
学習装置１０１は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して、複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて、姿勢を変動させることで劣化画像を生成してもよい。又は、劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチの複数のペア（パッチペア）を生成すればよい。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に出力する。
尚、学習装置１０１の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部からを受け付けるようにしてもよい。例えば、学習画像は高解像度画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像である。また、劣化画像は、意図的にピントを狂わせて、或いは露出時間を不正に設定して、撮影した画像であってよい。また、劣化画像は、ブレを発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１０１は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
登録部１４０は、パッチペア生成部１３０から、複数のパッチペアを受け取る。登録部１４０は、複数のパッチペアを辞書２００に登録する。
辞書２００は、学習装置１０１によって生成された複数のパッチペアを格納する。
図３は、学習フェーズを説明するための概念図である。図３に示すように、学習装置１０１は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図４は、辞書２００がパッチペアを格納する様子を説明するための概念図である。図４に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここでｎは整数である。
辞書２００のパッチペアの格納方法は、図４に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に学習画像のどこの領域と対応するかを示すインデックスが付された態様により学習データを格納してもよい。また、辞書２００は、その他の方法で格納してもよい。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であってよい。
次に、図面を参照して、学習装置１０１の動作を説明する。図５は、学習装置１０１の動作を示すフローチャートである。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えばＮ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成し、登録部１４０へ出力する（ステップＡ３）。
次に、登録部１４０は、パッチペア生成部１３０から受け取ったパッチペアを辞書２００へ出力する（ステップＡ４）。
以上が、辞書２００を作成する、学習装置１０１の動作の説明である。
（復元フェーズ）
図６〜図１０を参照して、第１実施形態における復元フェーズについて説明する。
図６は、画像処理装置３０１の構成を示すブロック図である。図６に示すように、画像処理装置３０１は、受付部３１０と、パッチ生成部３３０と、選択部３４０と、合成部３５０と、重み付き類似度算出部５０１とを含む。
画像処理装置３０１は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３０１は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３０１は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度の詳細な説明は、後述する。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。例えば、受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよい。即ち、受付け部１０による入力画像の受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像をパッチ生成部３３０に出力する。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３３０は、生成した複数の入力パッチを重み付き類似度算出部５０１に出力する。
重み付き類似度算出部５０１は、辞書２００を利用し、入力された入力画像を分割して生成した複数の入力パッチと辞書２００に含まれる劣化パッチとの類似度として、重み付き類似度を算出する。ここで、重み付き類似度は、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である。重み付き劣化パッチは、劣化パッチの形状を連続的な重みであるパッチ重みで再設定したものである。重み付き入力パッチは、入力パッチの形状を連続的な重みであるパッチ重みで再設定したものである。パッチ重み及び重み付き類似度の詳細な説明は、後述する。
図６に示すように、重み付き類似度算出部５０１は、例えば、差異算出部５１０及び類似度重み付け部５２０を含む。
差異算出部５１０は、各入力パッチにつき、辞書２００に含まれる全ての劣化パッチに対する差異情報を算出する。差異情報の詳細な説明は、後述する。
類似度重み付け部５２０は、差異算出部５１０が算出した差異情報をパッチ重みで重み付けする。続けて、類似度重み付け部５２０は、重み付けした差異情報に基づいて重み付け類似度を算出する。更に、類似度重み付け部５２０は、算出した重み付き類似度と対応する劣化パッチのパッチ識別子５３との組（以下、重み付き類似度情報と呼ぶ）を出力する。
図７は、重み付き類似度情報の一例を示す図である。図７に示すように重み付き類似度情報６１０は、劣化パッチのパッチ識別子５３及び重み付き類似度６１２を含む。
選択部３４０は、重み付き類似度算出部５０１から重み付き類似度情報６１０を受け取る。選択部３４０は、重み付き類似度情報６１０に基づいて、復元パッチを選択する。
具体的には、選択部３４０は、ある入力パッチに対する重み付き類似度６１２の内、最大値の重み付き類似度６１２を含む重み付き類似度情報６１０に含まれる、パッチ識別子５３を取得する。次に、選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、取得したパッチ識別子５３に対応するパッチペアの復元パッチを選択する。同様に、選択部３４０は、他の入力パッチ毎に復元パッチを選択する。選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から出力された複数の復元パッチを合成して、復元画像を生成する。
尚、重み付き類似度算出部５０１は、重み付き類似度６１２のみを出力するようにしてもよい。この場合、例えば、劣化パッチは、シーケンシャルな識別子に紐付けられている。そして、重み付き類似度算出部５０１は、そのシーケンシャルな識別子が示す順番の情報が判るように、重み付き類似度を選択部３４０に渡す。選択部３４０は、その順番の情報からそのシーケンシャルな識別子を判定し、その劣化パッチに対応する復元パッチを取得する。
図８は、復元フェーズを説明するための概念図である。図８に示すように、画像処理装置３０１は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性（重み付き類似度）に基づいて、復元パッチ２０１を選択する。
次に、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図９は、パッチ５０の一例を示す図である。図９に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個別に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
次に、パッチ重みについて説明する。パッチ重みは、例えば特定の大きさの正方形で生成されたパッチについて、パッチの形状を連続的な重みで再設定し、より適切な形状と大きさでそのパッチを処理するための、パッチの画素それぞれに対応する重みである。
図１０は、パッチ重み６２０の一例を示す図である。図１０に示すように、パッチ重み６２０は、重み値６２１を要素として持つ多次元ベクトルである。重み値６２１は、図９に示すパッチ５０の画素５２に１対１で対応する。
図１１は、パッチ重みの例を画像イメージで示す模式図である。図１１は、パッチ重み６４４、パッチ重み６４５、パッチ重み６４６及びパッチ重み６４７のそれぞれが、線の密度が低いほど（中心部に近いほど）重みの値が大きく、線の密度が高いほど（外側に行くほど）重みの値が小さくなるように、連続的に変化することを示している。図１１に示すパッチ重み６４４、パッチ重み６４５、パッチ重み６４６及びパッチ重み６４７のそれぞれの重み値６２１は、例えば、式１で算出される。
ここで、ｘ及びｙは、パッチの中心を原点とするｘ−ｙ平面上のｘ座標及びｙ座標である。σ２は、分散である。
式１に示す関数で重み値６２１を算出する場合、パッチの実質的な大きさ（値が大きくなる領域）をσの値で調節することが可能である。例えば、σを小さくすることで、中心付近で値が急に大きくなる、急峻なパッチ重み６４７を生成することができる。一方、σを大きくすることで、比較的フラットなパッチ重み６４４を生成することができる。
パッチ重みは、図１２に示すようなパッチ重み６４８であってもよい。図１２は、パッチ重みの他の例を画像イメージで示す模式図である。図１２に示すパッチ重み６４８は、例えば、式２で算出される。
ここで、ｘ及びｙは、パッチの中心を原点とするｘ−ｙ平面上のｘ座標及びｙ座標である。
尚、パッチ重みは、上記に係わらず、人が任意に生成したものであってもよい。
次に、差異情報及び重み付き類似度６１２について説明する。
差異情報は、例えば、パッチ間の各画素５２の輝度値の差を含む情報である。ここで、パッチ間の各画素５２の輝度値の差とは、あるパッチの各画素５２のそれぞれと、その各画素５２のそれぞれに対応する他のパッチの各画素５２のそれぞれとの、輝度値の差である。即ち、差異情報は、それらのパッチと同一数の要素を持つ多次元ベクトルである。
重み付き類似度６１２は、例えば、２つのパッチ間の類似度を示す値がＳＳＤである場合、差異情報に重み値６２１を乗じた値の二乗和を、特定の定数から引いた値である。また、重み付き類似度６１２は、２つのパッチ間の類似度を示す値がＳＡＤである場合、差異情報に重み値６２１を乗じた値の絶対値和を、特定の定数から引いた値である。重み値６２１は、パッチ間の各画素５２の輝度値の差に、１対１に対応する。つまり、これらの例の場合、重み値６２１は、差異情報に１対１に対応する。
図１３は、重み付き類似度算出部５０１が、重み付き差異情報６４９を算出する動作を説明するための図である。図１３に示すように、差異算出部５１０は、劣化パッチ６４１と入力パッチ６４２との各画素５２の輝度値の差である輝度差６４３を算出する。尚、輝度差６４３は、差異情報である。次に、類似度重み付け部５２０は、輝度差６４３にパッチ重み６４４を乗じて重み付き差異情報６４９を算出する。
以上説明したように、重み付き類似度算出部５０１は、パッチの形状を連続的な重みで再設定するパッチ重みを用いて、重み付き類似度６１２を生成する。この重み付き類似度６１２は、必要な情報が完全に欠落すること、及び、全ての不要な情報が混入することを防止することができる。
その理由は、以下の通りである。パッチの形状が連続的な重みで再設定されるため、重みが小さくなると必要な情報の情報量も減少はするが、必要な情報が完全に欠落することはない。同様に、重みが大きくなると不要な情報の情報量は増大するが、不要な情報の少なくとも一部は混入が防止される。
また、各パッチは、例えば固定サイズの正方形として扱うことができるので、処理のしやすさは担保される。
即ち、パッチの形状を連続的な重みで再設定することで、処理のしやすさを担保しつつ、入力パッチに対応する最適な劣化パッチを検出することが可能となる。
次に、画像処理装置３０１の動作について、図面を参照して詳細に説明する。
図１４は、画像処理装置３０１の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３３０は、受付部３１０から出力された入力画像を、ブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としてもよい。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成してもよい。尚、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
差異算出部５１０は、パッチ生成部３３０が生成した入力パッチそれぞれについて、辞書２００に含まれる全ての劣化パッチに対する差異情報を算出する（ステップＢ３）。
類似度重み付け部５２０は、差異算出部５１０が算出した差異情報をパッチ重みで重み付けし、重み付け類似度６１２を算出する（ステップＢ４）。
次に、類似度重み付け部５２０は、算出した重み付き類似度６１２と対応する劣化パッチのパッチ識別子５３との組である、重み付き類似度情報６１０を出力する（ステップＢ５）。
選択部３４０は、ある入力パッチに対する重み付き類似度６１２の内、最大値の重み付き類似度６１２を含む、重み付き類似度情報６１０に含まれる、劣化パッチ識別子５３を取得する（ステップＢ６）。
次に、選択部３４０は、辞書２００に格納されているパッチペアのデータの中から、取得した劣化パッチのパッチ識別子５３に対応するパッチペアの復元パッチを選択し、出力する（ステップＢ６）。
同様に、選択部３４０は、全ての入力パッチそれぞれについてステップＢ６を実行し、復元パッチを選択し、出力する。
尚、ステップＢ６では最大値の重み付き類似度６１２に対応する一つの劣化パッチのパッチ識別子５３を取得することとした。しかし、ステップＢ６の動作はこの動作に限定されない。例えば、ステップＢ６の動作は、以下のようであってもよい。第一に、選択部３４０は、最大値の重み付き類似度６１２から値が大きい順に、複数の劣化パッチのパッチ識別子５３を取得する。第二に、選択部３４０は、取得した複数の劣化パッチのパッチ識別子５３に対応するパッチペアの復元パッチを取得する。第三に、選択部３４０は、選択した複数の復元パッチを合成して、新たに復元パッチを生成する。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ７）。ここで、「合成」とは、上述のように画素値の平均を取る処理でもよい。具体的には、「合成」とは、全復元パッチを対応する位置に置いたときに、重なり領域については重なった全ての復元パッチの画素値の平均を取る処理でもよい。
以上が画像処理装置３０１の動作の説明である。
上述した本実施形態における第１の効果は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点である。
その理由は、重み付き類似度算出部５０１が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで類似度に重みを付加するようにしたからである。
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第２実施形態の構成を示すブロック図である。
図１５を参照すると、本実施形態における学習装置１０２は、第１実施形態の学習装置１０１と比べて、劣化パッチ重み付け部５３０を更に含む。また、本実施形態における画像処理装置３０２は、第１実施形態の画像処理装置３０１と比べて、差異算出部５１０及び類似度重み付け部５２０に替えて入力パッチ重み付け部５４０及び類似度算出部５１２を含む。尚、劣化パッチ重み付け部５３０、入力パッチ重み付け部５４０及び類似度算出部５１２は、合わせて重み付き類似度算出部５０２を構成する。
本実施形態において、パッチペア生成部１３０は、登録部１４０に替えて、劣化パッチ重み付け部５３０にパッチペアを出力する。
劣化パッチ重み付け部５３０は、パッチペア生成部１３０が出力したパッチペアを受け取る。劣化パッチ重み付け部５３０は、受け取ったパッチペアの劣化パッチをパッチ重みで重み付けし、重み付き劣化パッチを生成する。劣化パッチ重み付け部５３０は、劣化パッチを重み付き劣化パッチに置き換えたパッチペアを登録部１４０へ出力する。
本実施形態において、登録部１４０は、パッチペア生成部１３０に替えて劣化パッチ重み付け部５３０から、パッチペアを受け取る。
本実施形態において、パッチ生成部３３０は、重み付き類似度算出部５０１に替えて重み付き類似度算出部５０２の入力パッチ重み付け部５４０へ、入力パッチを出力する。
入力パッチ重み付け部５４０は、受け取った入力パッチをパッチ重みで重み付けし、重み付き入力パッチを生成する。入力パッチ重み付け部５４０は、重み付き入力パッチを類似度算出部５１２へ出力する。
類似度算出部５１２は、各重み付き入力パッチにつき、辞書２００に含まれる全ての重み付き劣化パッチに対する類似度を算出する。ここで得られる、類似度は、第１実施形態の重み付き類似度算出部５０１が算出する重み付き類似度と同じものである。更に、類似度算出部５１２は、算出した類似度（重み付き類似度）と対応する重み付き劣化パッチのパッチ識別子５３との組である、重み付き類似度情報を、選択部３４０へ出力する。
本実施形態において、選択部３４０は、重み付き類似度算出部５０１に替えて、重み付き類似度算出部５０２から重み付き類似度情報を受け取る。
図１６は、本実施形態において、図１３に示す第１実施形態の重み付き差異情報６４９と同一の重み付き差異情報６４９を算出するイメージを示す図である。第一に、劣化パッチ重み付け部５３０が、劣化パッチ６４１にパッチ重み６４４を乗じて重み付き劣化パッチ６５１を算出する。第二に、入力パッチ重み付け部５４０が入力パッチ６４２にパッチ重み６４４を乗じて重み付き入力パッチ６５２を算出する。第三に類似度算出部５１２が重み付き劣化パッチ６５１と重み付き入力パッチ６５２との間の、各画素５２の輝度値の差からなる重み付き差異情報６４９を算出する。
上述した本実施形態における第１の効果は、第１実施形態と同様に、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点である。
その理由は、重み付き類似度算出部５０２が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１実施形態と同様に、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで各パッチに重みを付加し、その重みを付加したパッチ間の差異情報を算出するようにしたからである。
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１７は、本発明の第３実施形態に係る画像処理装置３０３の構成を示すブロック図である。
図１７を参照すると、本実施形態における画像処理装置３０３は、第１実施形態の画像処理装置３０１と比べて、復元パッチ重み付け部５５０を更に含む。
本実施形態の選択部３４０は、合成部３５０に替えて復元パッチ重み付け部５５０へ、復元パッチを出力する。
復元パッチ重み付け部５５０は、復元パッチにパッチ重みで重み付けし、重み付き復元パッチを生成する。復元パッチ重み付け部５５０は、生成した重み付き復元パッチを合成部３５０へ出力する。
本実施形態において、合成部３５０は、選択部３４０から受け取る復元パッチに替えて、復元パッチ重み付け部５５０から受け取った重み付き復元パッチを合成して、復元画像を生成する。
尚、本実施形態は、第２実施形態に適用してもよい。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、重み付き類似度に基づいて選択した復元パッチにおいて、重みの小さい部分が本来の画像と大きく異なる場合であっても、本来の画像に十分近い復元画像を得ることが可能になる点である。
その理由は、復元パッチ重み付け部５５０は、復元パッチをパッチ重みで重み付けするようにしたからである。
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１８は、本発明の第４実施形態に係る学習装置１０４の構成を示すブロック図である。
図１８を参照すると、本実施形態における学習装置１０４は、第１実施形態の学習装置１０１と比べて、パッチ重み決定部（危険度パッチ重み決定手段とも呼ばれる）５６０を更に含む。
パッチ重み決定部５６０は、複数のパッチ重みそれぞれについて、劣化パッチ毎に算出した危険度に基づいて、パッチ重みを決定する。
危険度は、劣化パッチ間の類似度とそれらの劣化パッチに対応する復元パッチ間の類似度との比である。危険度は、劣化パッチ間の類似度の大きさに対して、それらの劣化パッチそれぞれに対応する復元パッチ間の類似度が相対的に小さいほど、値が大きくなる。即ち、危険度は、劣化パッチが類似しているにもかかわらず、それらの劣化パッチそれぞれに対応する復元パッチが似ていない場合に、値が大きくなる。
例えば、パッチ重み決定部５６０は、以下の式３、式４及び式５を用いて、危険度Ｋを算出する。
式３は、選択された劣化パッチと、そのＫ近傍にある劣化パッチとの距離の平均値ＤＬＲを算出する式である。Ｋ近傍にある劣化パッチは、選択された劣化パッチに近い順のＫ（例えば、７）個の劣化パッチ（式３において、集合Ｒとする）である。式３の右辺の分母は、選択された劣化パッチのＫ近傍にある劣化パッチの数（即ち、Ｋ）と劣化パッチの画素数ＳＬとの積である。また、式３の右辺の分子は、選択された劣化パッチとＫ近傍の劣化パッチそれぞれとのＬ２ノルムの２乗の総和である。
式４は、選択された復元パッチと、そのＫ近傍にある劣化パッチとの距離の平均値ＤＨＲを算出する式である。Ｋ近傍にある復元パッチは、選択された復元パッチに近い順のＫ（例えば、７）個の復元パッチ（式４において、集合Ｒとする）である。式４の右辺の分母は、選択された劣化パッチのＫ近傍にある復元パッチの数（即ち、Ｋ）と復元パッチの画素数ＳＨとの積である。また、式４の右辺の分子は、選択された復元パッチとＫ近傍の復元パッチそれぞれとのＬ２ノルムの２乗の総和である。
式５は、危険度Ｋを算出する式である。αは、ＤＬＲが小さい場合に、Ｋの値域を調整するための定数である。
次に、パッチ重み決定部５６０は、劣化パッチ毎に、最も小さい危険度Ｋに対応するパッチ重みを選択する。
次に、パッチ重み決定部５６０は、選択した全てのパッチ重みを平均した平均パッチ重みを算出する。
次に、パッチ重み決定部５６０は、算出した平均パッチ重みを出力する。
本実施形態の画像処理装置３０１の類似度重み付け部５２０は、パッチ重み決定部５６０が算出した平均パッチ重みを用いて、類似度に重み付けを行う。
また、パッチ重み決定部５６０を第２実施形態に適用する場合、例えば、以下のように構成してよい。第一に、受付部１１０、劣化画像生成部１２０及びパッチペア生成部は、仮の辞書（図示しない）を生成する。第二に、パッチ重み決定部５６０は、その仮の辞書を参照して平均パッチ重みを算出する。第三に、劣化パッチ重み付け部５３０は、平均パッチ重みを用いて劣化パッチに重み付けを行う。同様に、入力パッチ重み付け部５４０は、平均パッチ重みを用いて入力パッチに重み付けを行う。
また、パッチ重み決定部５６０を第３実施形態に適用する場合、類似度重み付け部５２０に加えて、復元パッチ重み付け部５５０も、平均パッチ重みを用いて復元パッチに重み付けを行う。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、適切なパッチ重みを自動的に決定することが可能になるという効果がある。
その理由は、パッチ重み決定部５６０が、複数のパッチ重みそれぞれについて、劣化パッチ毎に算出した危険度Ｋに基づいて、平均パッチ重みを算出するようにしたからである。
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１９は、第５実施形態に係る学習装置１０５の構成を示すブロック図である。
図１９を参照すると、本実施形態における学習装置１０５は、第４実施形態の学習装置１０４と比べて、パッチ重み決定部５６０に替えてパッチ重み決定部（学習パッチ重み決定手段とも呼ばれる）５６５を含む。
図２０は、第５実施形態に係る画像処理装置３０５の構成を示すブロック図である。
図２０を参照すると、本実施形態における画像処理装置３０５は、第４実施形態（第１実施形態）の画像処理装置３０１と比べて、重み付き類似度算出部５０１に替えて、重み付き類似度算出部５０５を含む。重み付き類似度算出部５０５は、重み付き類似度算出部５０１に比べて、類似度重み付け部５２０に替えて類似度重み付け部５２５を含む。
図２１は、本実施形態における劣化パッチ７０の一例を示す図である。図２１に示すように、劣化パッチ７０は、図９に示すパッチ５０に比べて、位置情報７５をメタ情報として更に含む。位置情報７５は、例えば、劣化画像２０をｘｙ平面とした場合の、劣化パッチ７０（劣化パッチ２０２）の中心の座標である。図２１に示す位置情報７５のｘｘはｘ軸の座標を、ｙｙはｙ軸の座標を示す。
パッチ重み決定部５６５は、予め定められた劣化画像２０の位置範囲毎にパッチ重みを決定する。位置範囲は、例えば、劣化画像２０を０≦ｘ＜１００、０≦ｙ＜１００のｘｙ平面とした場合、開始ｘｙ座標（例えば（１０、２０））と終了ｘｙ座標（例えば、（２０、５０））とで示される。位置範囲は、複数あってよい。位置範囲は、左記以外の任意の形状及び範囲であってよい。また、明示的に位置範囲として指定されていない部分をまとめて、一つの位置範囲としてよい。パッチ重み決定部５６５は、特定の位置範囲について、位置情報７５がその位置範囲に含まれている劣化パッチ７０を利用して、その位置範囲のパッチ重みを決定する。
パッチ重み決定部５６５は、例えば、特定の位置範囲毎に以下の学習によるパッチ重み決定処理を行い、パッチ重みを決定する。
まず、パッチ重み決定部５６５は、学習画像と異なる高解像画像（真値画像と呼ぶ）から、低解像度の入力画像を生成する。例えば、パッチ重み決定部５６５は、劣化画像生成部１２０が劣化画像を生成する手法と同様の手法で入力画像を生成する。
次に、パッチ重み決定部５６５は、生成した入力画像の特定の位置範囲について、複数のパッチ重みの候補それぞれを用いて、第１実施形態で説明したようにして、複数の復元画像４０を生成する。
次に、パッチ重み決定部５６５は、生成した複数の復元画像４０それぞれと真値画像との差分を算出し、最小の差分を持つ復元画像４０を生成する、重み付き類似度の生成に使用したパッチ重みの候補をパッチ重みとして決定する。
同様にして、パッチ重み決定部５６５は、位置範囲毎に、パッチ重みを決定する。
尚、パッチ重み決定部５６５は、第４実施形態で説明した手法により、位置範囲毎にパッチ重みを決定するようにしてもよい。
本実施形態において、重み付き類似度算出部５０５の差異算出部５１０は、劣化パッチ７０のメタ情報である位置情報７５を、算出した差異情報に付加する。類似度重み付け部５２５は、差異情報に含まれる位置情報７５に基づいてパッチ重みを選択し、差異情報に重み付けを行う。
尚、パッチ重み決定部５６５を第２の実施形態に適用する場合は、パッチ重み決定部５６０を第２実施形態に適用する場合と同様である。更に、劣化パッチ２０２及び入力パッチ３１は位置情報を含む。そして、劣化パッチ重み付け部５３０及び入力パッチ重み付け部５４０は、劣化パッチ及び入力パッチに含まれる位置情報に基づいてパッチ重みを選択し、選択したパッチ重みを用いて劣化パッチ及び入力パッチそれぞれに重み付けを行う。
また、パッチ重み決定部５６５を第３実施形態に適用する場合、類似度重み付け部５２０に加えて、復元パッチ重み付け部５５０も、その復元パッチに対応する劣化パッチの位置情報に基づいて、パッチ重みを選択し、選択したパッチ重みを用いて復元パッチに重み付けを行う。
上述した本実施形態における効果は、第１実施形態の効果に加えて、入力画像上の位置範囲毎に最適な復元画像を得ることが可能になるという効果がある。
その理由は、パッチ重み決定部５６５が、位置範囲毎にパッチ重みを決定し、類似度重み付け部５２５が、位置情報に基づいてパッチ重みを選択し、類似度に重み付けを行うようにしたからである。
＜第６実施形態＞
次に、本発明の第６実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図２２は、本発明の第６実施形態に係る画像処理システム１００６の構成を示すブロック図である。
図２２を参照すると、本実施形態における画像処理システム１００６は、重み付き類似度算出部５０６、選択部３４０及び合成部３５０を含む。
重み付き類似度算出部５０６は、複数のパッチペア２１３を格納する辞書（図示しない）を利用し、入力された入力画像３０を分割して生成した複数の入力パッチ３１と劣化パッチ２０２との類似度として、重み付き類似度を算出する。辞書は、例えば、図１の辞書２００などであってよい。
パッチペア２１３は、所定の画像である学習画像１０を劣化させた劣化画像２０のパッチである劣化パッチ２０２と、学習画像１０のパッチである復元パッチ２０１とを対応付けたものである。
重み付き類似度は、劣化パッチ２０２及び入力パッチ３１それぞれの形状を、連続的な重みであるパッチ重みで再設定した重み付き劣化パッチ及び重み付き入力パッチ間の類似度である。
選択部３４０は、重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する。
合成部３５０は、選択部３４０が選択した入力パッチ毎の復元パッチを合成して復元画像を生成する
次に、画像処理システム１００６のハードウェア単位の構成要素について説明する。
図２３は、本実施形態における画像処理システム１００６を実現するコンピュータ装置のハードウェア構成を示す図である。図２３に示されるように、画像処理システム１００６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、画像処理システム１００６の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図５及び図１４に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２２に示す重み付き類似度算出部５０６、選択部３４０及び合成部３５０として各種の処理を実行する。
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
記憶部５９２は、プログラムやデータを記憶する。
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでもよい。
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部５９６は、ネットワークと画像処理システム１００６とのインタフェースを実現する。画像処理システム１００６は、例えば通信部５９６を介して辞書２００と接続されてもよい。
以上が、画像処理システム１００６のハードウェア単位の各構成要素についての説明である。
以上説明したように、図２２に示す機能単位のブロックは、図２３に示すハードウェア構成によって実現される。但し画像処理システム１００６が備える各部の実現手段は、上記に限定されない。すなわち、画像処理システム１００６は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。
図２４は、プログラムを記録した記録媒体（又は記憶媒体）５９７の例を示すブロック図である。記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が画像処理システム１００６に供給され、画像処理システム１００６は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、画像処理システム１００６が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
上述した本実施形態における第１の効果は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点であるという効果がある。
その理由は、重み付き類似度算出部５０６が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで類似度に重みを付加するようにしたからである。
＜各実施形態のハードウェア構成＞
前述の第１乃至第５実施形態で説明した学習装置１０１、学習装置１０２、学習装置１０４、学習装置１０５、画像処理装置３０１、画像処理装置３０２、画像処理装置３０３及び画像処理装置３０５は、それぞれ図２３に示す画像処理システム１００６と同様、ＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した学習装置１０１、学習装置１０２、学習装置１０４、学習装置１０５、画像処理装置３０１、画像処理装置３０２、画像処理装置３０３及び画像処理装置３０５の各動作を実行させるためのプログラムであればよい。
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。
学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１０１と、辞書２００と、画像処理装置３０１とを含む。学習装置１０１は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３０１は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
（学習フェーズ）
図２〜図５を参照して、第１実施形態における学習フェーズについて説明する。
図２は、学習装置１０１の構成を示すブロック図である。図２に示すように、学習装置１０１は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。
学習装置１０１は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して、複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて、姿勢を変動させることで劣化画像を生成してもよい。又は、劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチの複数のペア（パッチペア）を生成すればよい。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に出力する。
尚、学習装置１０１の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部からを受け付けるようにしてもよい。例えば、学習画像は高解像度画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像である。また、劣化画像は、意図的にピントを狂わせて、或いは露出時間を不正に設定して、撮影した画像であってよい。また、劣化画像は、ブレを発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１０１は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
登録部１４０は、パッチペア生成部１３０から、複数のパッチペアを受け取る。登録部１４０は、複数のパッチペアを辞書２００に登録する。
辞書２００は、学習装置１０１によって生成された複数のパッチペアを格納する。
図３は、学習フェーズを説明するための概念図である。図３に示すように、学習装置１０１は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図４は、辞書２００がパッチペアを格納する様子を説明するための概念図である。図４に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここでｎは整数である。
辞書２００のパッチペアの格納方法は、図４に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に学習画像のどこの領域と対応するかを示すインデックスが付された態様により学習データを格納してもよい。また、辞書２００は、その他の方法で格納してもよい。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であってよい。
次に、図面を参照して、学習装置１０１の動作を説明する。図５は、学習装置１０１の動作を示すフローチャートである。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えばＮ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成し、登録部１４０へ出力する（ステップＡ３）。
次に、登録部１４０は、パッチペア生成部１３０から受け取ったパッチペアを辞書２００へ出力する（ステップＡ４）。
以上が、辞書２００を作成する、学習装置１０１の動作の説明である。
（復元フェーズ）
図６〜図１０を参照して、第１実施形態における復元フェーズについて説明する。
図６は、画像処理装置３０１の構成を示すブロック図である。図６に示すように、画像処理装置３０１は、受付部３１０と、パッチ生成部３３０と、選択部３４０と、合成部３５０と、重み付き類似度算出部５０１とを含む。
画像処理装置３０１は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３０１は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３０１は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度の詳細な説明は、後述する。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。例えば、受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよい。即ち、受付け部１０による入力画像の受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像をパッチ生成部３３０に出力する。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３３０は、生成した複数の入力パッチを重み付き類似度算出部５０１に出力する。
重み付き類似度算出部５０１は、辞書２００を利用し、入力された入力画像を分割して生成した複数の入力パッチと辞書２００に含まれる劣化パッチとの類似度として、重み付き類似度を算出する。ここで、重み付き類似度は、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である。重み付き劣化パッチは、劣化パッチの形状を連続的な重みであるパッチ重みで再設定したものである。重み付き入力パッチは、入力パッチの形状を連続的な重みであるパッチ重みで再設定したものである。パッチ重み及び重み付き類似度の詳細な説明は、後述する。
図６に示すように、重み付き類似度算出部５０１は、例えば、差異算出部５１０及び類似度重み付け部５２０を含む。
差異算出部５１０は、各入力パッチにつき、辞書２００に含まれる全ての劣化パッチに対する差異情報を算出する。差異情報の詳細な説明は、後述する。
類似度重み付け部５２０は、差異算出部５１０が算出した差異情報をパッチ重みで重み付けする。続けて、類似度重み付け部５２０は、重み付けした差異情報に基づいて重み付け類似度を算出する。更に、類似度重み付け部５２０は、算出した重み付き類似度と対応する劣化パッチのパッチ識別子５３との組（以下、重み付き類似度情報と呼ぶ）を出力する。
図７は、重み付き類似度情報の一例を示す図である。図７に示すように重み付き類似度情報６１０は、劣化パッチのパッチ識別子５３及び重み付き類似度６１２を含む。
選択部３４０は、重み付き類似度算出部５０１から重み付き類似度情報６１０を受け取る。選択部３４０は、重み付き類似度情報６１０に基づいて、復元パッチを選択する。
具体的には、選択部３４０は、ある入力パッチに対する重み付き類似度６１２の内、最大値の重み付き類似度６１２を含む重み付き類似度情報６１０に含まれる、パッチ識別子５３を取得する。次に、選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、取得したパッチ識別子５３に対応するパッチペアの復元パッチを選択する。同様に、選択部３４０は、他の入力パッチ毎に復元パッチを選択する。選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から出力された複数の復元パッチを合成して、復元画像を生成する。
尚、重み付き類似度算出部５０１は、重み付き類似度６１２のみを出力するようにしてもよい。この場合、例えば、劣化パッチは、シーケンシャルな識別子に紐付けられている。そして、重み付き類似度算出部５０１は、そのシーケンシャルな識別子が示す順番の情報が判るように、重み付き類似度を選択部３４０に渡す。選択部３４０は、その順番の情報からそのシーケンシャルな識別子を判定し、その劣化パッチに対応する復元パッチを取得する。
図８は、復元フェーズを説明するための概念図である。図８に示すように、画像処理装置３０１は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性（重み付き類似度）に基づいて、復元パッチ２０１を選択する。
次に、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図９は、パッチ５０の一例を示す図である。図９に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個別に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
次に、パッチ重みについて説明する。パッチ重みは、例えば特定の大きさの正方形で生成されたパッチについて、パッチの形状を連続的な重みで再設定し、より適切な形状と大きさでそのパッチを処理するための、パッチの画素それぞれに対応する重みである。
図１０は、パッチ重み６２０の一例を示す図である。図１０に示すように、パッチ重み６２０は、重み値６２１を要素として持つ多次元ベクトルである。重み値６２１は、図９に示すパッチ５０の画素５２に１対１で対応する。
図１１は、パッチ重みの例を画像イメージで示す模式図である。図１１は、パッチ重み６４４、パッチ重み６４５、パッチ重み６４６及びパッチ重み６４７のそれぞれが、線の密度が低いほど（中心部に近いほど）重みの値が大きく、線の密度が高いほど（外側に行くほど）重みの値が小さくなるように、連続的に変化することを示している。図１１に示すパッチ重み６４４、パッチ重み６４５、パッチ重み６４６及びパッチ重み６４７のそれぞれの重み値６２１は、例えば、式１で算出される。
式１に示す関数で重み値６２１を算出する場合、パッチの実質的な大きさ（値が大きくなる領域）をσの値で調節することが可能である。例えば、σを小さくすることで、中心付近で値が急に大きくなる、急峻なパッチ重み６４７を生成することができる。一方、σを大きくすることで、比較的フラットなパッチ重み６４４を生成することができる。
パッチ重みは、図１２に示すようなパッチ重み６４８であってもよい。図１２は、パッチ重みの他の例を画像イメージで示す模式図である。図１２に示すパッチ重み６４８は、例えば、式２で算出される。
尚、パッチ重みは、上記に係わらず、人が任意に生成したものであってもよい。
次に、差異情報及び重み付き類似度６１２について説明する。
差異情報は、例えば、パッチ間の各画素５２の輝度値の差を含む情報である。ここで、パッチ間の各画素５２の輝度値の差とは、あるパッチの各画素５２のそれぞれと、その各画素５２のそれぞれに対応する他のパッチの各画素５２のそれぞれとの、輝度値の差である。即ち、差異情報は、それらのパッチと同一数の要素を持つ多次元ベクトルである。
重み付き類似度６１２は、例えば、２つのパッチ間の類似度を示す値がＳＳＤである場合、差異情報に重み値６２１を乗じた値の二乗和を、特定の定数から引いた値である。また、重み付き類似度６１２は、２つのパッチ間の類似度を示す値がＳＡＤである場合、差異情報に重み値６２１を乗じた値の絶対値和を、特定の定数から引いた値である。重み値６２１は、パッチ間の各画素５２の輝度値の差に、１対１に対応する。つまり、これらの例の場合、重み値６２１は、差異情報に１対１に対応する。
図１３は、重み付き類似度算出部５０１が、重み付き差異情報６４９を算出する動作を説明するための図である。図１３に示すように、差異算出部５１０は、劣化パッチ６４１と入力パッチ６４２との各画素５２の輝度値の差である輝度差６４３を算出する。尚、輝度差６４３は、差異情報である。次に、類似度重み付け部５２０は、輝度差６４３にパッチ重み６４４を乗じて重み付き差異情報６４９を算出する。
以上説明したように、重み付き類似度算出部５０１は、パッチの形状を連続的な重みで再設定するパッチ重みを用いて、重み付き類似度６１２を生成する。この重み付き類似度６１２は、必要な情報が完全に欠落すること、及び、全ての不要な情報が混入することを防止することができる。
その理由は、以下の通りである。パッチの形状が連続的な重みで再設定されるため、重みが小さくなると必要な情報の情報量も減少はするが、必要な情報が完全に欠落することはない。同様に、重みが大きくなると不要な情報の情報量は増大するが、不要な情報の少なくとも一部は混入が防止される。
また、各パッチは、例えば固定サイズの正方形として扱うことができるので、処理のしやすさは担保される。
即ち、パッチの形状を連続的な重みで再設定することで、処理のしやすさを担保しつつ、入力パッチに対応する最適な劣化パッチを検出することが可能となる。
次に、画像処理装置３０１の動作について、図面を参照して詳細に説明する。
図１４は、画像処理装置３０１の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３３０は、受付部３１０から出力された入力画像を、ブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としてもよい。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成してもよい。尚、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
差異算出部５１０は、パッチ生成部３３０が生成した入力パッチそれぞれについて、辞書２００に含まれる全ての劣化パッチに対する差異情報を算出する（ステップＢ３）。
類似度重み付け部５２０は、差異算出部５１０が算出した差異情報をパッチ重みで重み付けし、重み付け類似度６１２を算出する（ステップＢ４）。
次に、類似度重み付け部５２０は、算出した重み付き類似度６１２と対応する劣化パッチのパッチ識別子５３との組である、重み付き類似度情報６１０を出力する（ステップＢ５）。
選択部３４０は、ある入力パッチに対する重み付き類似度６１２の内、最大値の重み付き類似度６１２を含む、重み付き類似度情報６１０に含まれる、劣化パッチ識別子５３を取得する（ステップＢ６）。
次に、選択部３４０は、辞書２００に格納されているパッチペアのデータの中から、取得した劣化パッチのパッチ識別子５３に対応するパッチペアの復元パッチを選択し、出力する（ステップＢ６）。
同様に、選択部３４０は、全ての入力パッチそれぞれについてステップＢ６を実行し、復元パッチを選択し、出力する。
尚、ステップＢ６では最大値の重み付き類似度６１２に対応する一つの劣化パッチのパッチ識別子５３を取得することとした。しかし、ステップＢ６の動作はこの動作に限定されない。例えば、ステップＢ６の動作は、以下のようであってもよい。第一に、選択部３４０は、最大値の重み付き類似度６１２から値が大きい順に、複数の劣化パッチのパッチ識別子５３を取得する。第二に、選択部３４０は、取得した複数の劣化パッチのパッチ識別子５３に対応するパッチペアの復元パッチを取得する。第三に、選択部３４０は、選択した複数の復元パッチを合成して、新たに復元パッチを生成する。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ７）。ここで、「合成」とは、上述のように画素値の平均を取る処理でもよい。具体的には、「合成」とは、全復元パッチを対応する位置に置いたときに、重なり領域については重なった全ての復元パッチの画素値の平均を取る処理でもよい。
以上が画像処理装置３０１の動作の説明である。
上述した本実施形態における第１の効果は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点である。
その理由は、重み付き類似度算出部５０１が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで類似度に重みを付加するようにしたからである。
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第２実施形態の構成を示すブロック図である。
図１５を参照すると、本実施形態における学習装置１０２は、第１実施形態の学習装置１０１と比べて、劣化パッチ重み付け部５３０を更に含む。また、本実施形態における画像処理装置３０２は、第１実施形態の画像処理装置３０１と比べて、差異算出部５１０及び類似度重み付け部５２０に替えて入力パッチ重み付け部５４０及び類似度算出部５１２を含む。尚、劣化パッチ重み付け部５３０、入力パッチ重み付け部５４０及び類似度算出部５１２は、合わせて重み付き類似度算出部５０２を構成する。
本実施形態において、パッチペア生成部１３０は、登録部１４０に替えて、劣化パッチ重み付け部５３０にパッチペアを出力する。
劣化パッチ重み付け部５３０は、パッチペア生成部１３０が出力したパッチペアを受け取る。劣化パッチ重み付け部５３０は、受け取ったパッチペアの劣化パッチをパッチ重みで重み付けし、重み付き劣化パッチを生成する。劣化パッチ重み付け部５３０は、劣化パッチを重み付き劣化パッチに置き換えたパッチペアを登録部１４０へ出力する。
本実施形態において、登録部１４０は、パッチペア生成部１３０に替えて劣化パッチ重み付け部５３０から、パッチペアを受け取る。
本実施形態において、パッチ生成部３３０は、重み付き類似度算出部５０１に替えて重み付き類似度算出部５０２の入力パッチ重み付け部５４０へ、入力パッチを出力する。
入力パッチ重み付け部５４０は、受け取った入力パッチをパッチ重みで重み付けし、重み付き入力パッチを生成する。入力パッチ重み付け部５４０は、重み付き入力パッチを類似度算出部５１２へ出力する。
類似度算出部５１２は、各重み付き入力パッチにつき、辞書２００に含まれる全ての重み付き劣化パッチに対する類似度を算出する。ここで得られる、類似度は、第１実施形態の重み付き類似度算出部５０１が算出する重み付き類似度と同じものである。更に、類似度算出部５１２は、算出した類似度（重み付き類似度）と対応する重み付き劣化パッチのパッチ識別子５３との組である、重み付き類似度情報を、選択部３４０へ出力する。
本実施形態において、選択部３４０は、重み付き類似度算出部５０１に替えて、重み付き類似度算出部５０２から重み付き類似度情報を受け取る。
図１６は、本実施形態において、図１３に示す第１実施形態の重み付き差異情報６４９と同一の重み付き差異情報６４９を算出するイメージを示す図である。第一に、劣化パッチ重み付け部５３０が、劣化パッチ６４１にパッチ重み６４４を乗じて重み付き劣化パッチ６５１を算出する。第二に、入力パッチ重み付け部５４０が入力パッチ６４２にパッチ重み６４４を乗じて重み付き入力パッチ６５２を算出する。第三に類似度算出部５１２が重み付き劣化パッチ６５１と重み付き入力パッチ６５２との間の、各画素５２の輝度値の差からなる重み付き差異情報６４９を算出する。
上述した本実施形態における第１の効果は、第１実施形態と同様に、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点である。
その理由は、重み付き類似度算出部５０２が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１実施形態と同様に、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで各パッチに重みを付加し、その重みを付加したパッチ間の差異情報を算出するようにしたからである。
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１７は、本発明の第３実施形態に係る画像処理装置３０３の構成を示すブロック図である。
図１７を参照すると、本実施形態における画像処理装置３０３は、第１実施形態の画像処理装置３０１と比べて、復元パッチ重み付け部５５０を更に含む。
本実施形態の選択部３４０は、合成部３５０に替えて復元パッチ重み付け部５５０へ、復元パッチを出力する。
復元パッチ重み付け部５５０は、復元パッチにパッチ重みで重み付けし、重み付き復元パッチを生成する。復元パッチ重み付け部５５０は、生成した重み付き復元パッチを合成部３５０へ出力する。
本実施形態において、合成部３５０は、選択部３４０から受け取る復元パッチに替えて、復元パッチ重み付け部５５０から受け取った重み付き復元パッチを合成して、復元画像を生成する。
尚、本実施形態は、第２実施形態に適用してもよい。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、重み付き類似度に基づいて選択した復元パッチにおいて、重みの小さい部分が本来の画像と大きく異なる場合であっても、本来の画像に十分近い復元画像を得ることが可能になる点である。
その理由は、復元パッチ重み付け部５５０は、復元パッチをパッチ重みで重み付けするようにしたからである。
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１８は、本発明の第４実施形態に係る学習装置１０４の構成を示すブロック図である。
図１８を参照すると、本実施形態における学習装置１０４は、第１実施形態の学習装置１０１と比べて、パッチ重み決定部（危険度パッチ重み決定手段とも呼ばれる）５６０を更に含む。
パッチ重み決定部５６０は、複数のパッチ重みそれぞれについて、劣化パッチ毎に算出した危険度に基づいて、パッチ重みを決定する。
危険度は、劣化パッチ間の類似度とそれらの劣化パッチに対応する復元パッチ間の類似度との比である。危険度は、劣化パッチ間の類似度の大きさに対して、それらの劣化パッチそれぞれに対応する復元パッチ間の類似度が相対的に小さいほど、値が大きくなる。即ち、危険度は、劣化パッチが類似しているにもかかわらず、それらの劣化パッチそれぞれに対応する復元パッチが似ていない場合に、値が大きくなる。
例えば、パッチ重み決定部５６０は、以下の式３、式４及び式５を用いて、危険度Ｋを算出する。
式３は、選択された劣化パッチと、そのＫ近傍にある劣化パッチとの距離の平均値ＤＬＲを算出する式である。Ｋ近傍にある劣化パッチは、選択された劣化パッチに近い順のＫ（例えば、７）個の劣化パッチ（式３において、集合Ｒとする）である。式３の右辺の分母は、選択された劣化パッチのＫ近傍にある劣化パッチの数（即ち、Ｋ）と劣化パッチの画素数ＳＬとの積である。また、式３の右辺の分子は、選択された劣化パッチとＫ近傍の劣化パッチそれぞれとのＬ２ノルムの２乗の総和である。
次に、パッチ重み決定部５６０は、選択した全てのパッチ重みを平均した平均パッチ重みを算出する。
次に、パッチ重み決定部５６０は、算出した平均パッチ重みを出力する。
本実施形態の画像処理装置３０１の類似度重み付け部５２０は、パッチ重み決定部５６０が算出した平均パッチ重みを用いて、類似度に重み付けを行う。
また、パッチ重み決定部５６０を第２実施形態に適用する場合、例えば、以下のように構成してよい。第一に、受付部１１０、劣化画像生成部１２０及びパッチペア生成部は、仮の辞書（図示しない）を生成する。第二に、パッチ重み決定部５６０は、その仮の辞書を参照して平均パッチ重みを算出する。第三に、劣化パッチ重み付け部５３０は、平均パッチ重みを用いて劣化パッチに重み付けを行う。同様に、入力パッチ重み付け部５４０は、平均パッチ重みを用いて入力パッチに重み付けを行う。
また、パッチ重み決定部５６０を第３実施形態に適用する場合、類似度重み付け部５２０に加えて、復元パッチ重み付け部５５０も、平均パッチ重みを用いて復元パッチに重み付けを行う。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、適切なパッチ重みを自動的に決定することが可能になるという効果がある。
その理由は、パッチ重み決定部５６０が、複数のパッチ重みそれぞれについて、劣化パッチ毎に算出した危険度Ｋに基づいて、平均パッチ重みを算出するようにしたからである。
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１９は、第５実施形態に係る学習装置１０５の構成を示すブロック図である。
図１９を参照すると、本実施形態における学習装置１０５は、第４実施形態の学習装置１０４と比べて、パッチ重み決定部５６０に替えてパッチ重み決定部（学習パッチ重み決定手段とも呼ばれる）５６５を含む。
図２０は、第５実施形態に係る画像処理装置３０５の構成を示すブロック図である。
図２０を参照すると、本実施形態における画像処理装置３０５は、第４実施形態（第１実施形態）の画像処理装置３０１と比べて、重み付き類似度算出部５０１に替えて、重み付き類似度算出部５０５を含む。重み付き類似度算出部５０５は、重み付き類似度算出部５０１に比べて、類似度重み付け部５２０に替えて類似度重み付け部５２５を含む。
図２１は、本実施形態における劣化パッチ７０の一例を示す図である。図２１に示すように、劣化パッチ７０は、図９に示すパッチ５０に比べて、位置情報７５をメタ情報として更に含む。位置情報７５は、例えば、劣化画像２０をｘｙ平面とした場合の、劣化パッチ７０（劣化パッチ２０２）の中心の座標である。図２１に示す位置情報７５のｘｘはｘ軸の座標を、ｙｙはｙ軸の座標を示す。
パッチ重み決定部５６５は、予め定められた劣化画像２０の位置範囲毎にパッチ重みを決定する。位置範囲は、例えば、劣化画像２０を０≦ｘ＜１００、０≦ｙ＜１００のｘｙ平面とした場合、開始ｘｙ座標（例えば（１０、２０））と終了ｘｙ座標（例えば、（２０、５０））とで示される。位置範囲は、複数あってよい。位置範囲は、左記以外の任意の形状及び範囲であってよい。また、明示的に位置範囲として指定されていない部分をまとめて、一つの位置範囲としてよい。パッチ重み決定部５６５は、特定の位置範囲について、位置情報７５がその位置範囲に含まれている劣化パッチ７０を利用して、その位置範囲のパッチ重みを決定する。
パッチ重み決定部５６５は、例えば、特定の位置範囲毎に以下の学習によるパッチ重み決定処理を行い、パッチ重みを決定する。
まず、パッチ重み決定部５６５は、学習画像と異なる高解像画像（真値画像と呼ぶ）から、低解像度の入力画像を生成する。例えば、パッチ重み決定部５６５は、劣化画像生成部１２０が劣化画像を生成する手法と同様の手法で入力画像を生成する。
次に、パッチ重み決定部５６５は、生成した入力画像の特定の位置範囲について、複数のパッチ重みの候補それぞれを用いて、第１実施形態で説明したようにして、複数の復元画像４０を生成する。
次に、パッチ重み決定部５６５は、生成した複数の復元画像４０それぞれと真値画像との差分を算出し、最小の差分を持つ復元画像４０を生成する、重み付き類似度の生成に使用したパッチ重みの候補をパッチ重みとして決定する。
同様にして、パッチ重み決定部５６５は、位置範囲毎に、パッチ重みを決定する。
尚、パッチ重み決定部５６５は、第４実施形態で説明した手法により、位置範囲毎にパッチ重みを決定するようにしてもよい。
本実施形態において、重み付き類似度算出部５０５の差異算出部５１０は、劣化パッチ７０のメタ情報である位置情報７５を、算出した差異情報に付加する。類似度重み付け部５２５は、差異情報に含まれる位置情報７５に基づいてパッチ重みを選択し、差異情報に重み付けを行う。
尚、パッチ重み決定部５６５を第２の実施形態に適用する場合は、パッチ重み決定部５６０を第２実施形態に適用する場合と同様である。更に、劣化パッチ２０２及び入力パッチ３１は位置情報を含む。そして、劣化パッチ重み付け部５３０及び入力パッチ重み付け部５４０は、劣化パッチ及び入力パッチに含まれる位置情報に基づいてパッチ重みを選択し、選択したパッチ重みを用いて劣化パッチ及び入力パッチそれぞれに重み付けを行う。
また、パッチ重み決定部５６５を第３実施形態に適用する場合、類似度重み付け部５２０に加えて、復元パッチ重み付け部５５０も、その復元パッチに対応する劣化パッチの位置情報に基づいて、パッチ重みを選択し、選択したパッチ重みを用いて復元パッチに重み付けを行う。
上述した本実施形態における効果は、第１実施形態の効果に加えて、入力画像上の位置範囲毎に最適な復元画像を得ることが可能になるという効果がある。
その理由は、パッチ重み決定部５６５が、位置範囲毎にパッチ重みを決定し、類似度重み付け部５２５が、位置情報に基づいてパッチ重みを選択し、類似度に重み付けを行うようにしたからである。
＜第６実施形態＞
次に、本発明の第６実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図２２は、本発明の第６実施形態に係る画像処理システム１００６の構成を示すブロック図である。
図２２を参照すると、本実施形態における画像処理システム１００６は、重み付き類似度算出部５０６、選択部３４０及び合成部３５０を含む。
重み付き類似度算出部５０６は、複数のパッチペア２１３を格納する辞書（図示しない）を利用し、入力された入力画像３０を分割して生成した複数の入力パッチ３１と劣化パッチ２０２との類似度として、重み付き類似度を算出する。辞書は、例えば、図１の辞書２００などであってよい。
パッチペア２１３は、所定の画像である学習画像１０を劣化させた劣化画像２０のパッチである劣化パッチ２０２と、学習画像１０のパッチである復元パッチ２０１とを対応付けたものである。
重み付き類似度は、劣化パッチ２０２及び入力パッチ３１それぞれの形状を、連続的な重みであるパッチ重みで再設定した重み付き劣化パッチ及び重み付き入力パッチ間の類似度である。
選択部３４０は、重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する。
合成部３５０は、選択部３４０が選択した入力パッチ毎の復元パッチを合成して復元画像を生成する
次に、画像処理システム１００６のハードウェア単位の構成要素について説明する。
図２３は、本実施形態における画像処理システム１００６を実現するコンピュータ装置のハードウェア構成を示す図である。図２３に示されるように、画像処理システム１００６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、画像処理システム１００６の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図５及び図１４に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２２に示す重み付き類似度算出部５０６、選択部３４０及び合成部３５０として各種の処理を実行する。
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
記憶部５９２は、プログラムやデータを記憶する。
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでもよい。
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部５９６は、ネットワークと画像処理システム１００６とのインタフェースを実現する。画像処理システム１００６は、例えば通信部５９６を介して辞書２００と接続されてもよい。
以上が、画像処理システム１００６のハードウェア単位の各構成要素についての説明である。
以上説明したように、図２２に示す機能単位のブロックは、図２３に示すハードウェア構成によって実現される。但し画像処理システム１００６が備える各部の実現手段は、上記に限定されない。すなわち、画像処理システム１００６は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。
図２４は、プログラムを記録した記録媒体（又は記憶媒体）５９７の例を示すブロック図である。記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が画像処理システム１００６に供給され、画像処理システム１００６は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、画像処理システム１００６が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
上述した本実施形態における第１の効果は、低解像入力画像に対応して得られる復元画像を、本来の画像に十分近くすることが可能になる点であるという効果がある。
その理由は、重み付き類似度算出部５０６が重み付き類似度を算出し、選択部３４０が重み付き類似度に基づいて復元パッチを選択するようにしたからである。
上述した本実施形態における第２の効果は、第１の効果を得るための処理のしやすさを担保することが可能になる点である。
その理由は、各パッチの形状は処理のしやすい形状とし、その形状と同一形状のパッチ重みで類似度に重みを付加するようにしたからである。
＜各実施形態のハードウェア構成＞
前述の第１乃至第５実施形態で説明した学習装置１０１、学習装置１０２、学習装置１０４、学習装置１０５、画像処理装置３０１、画像処理装置３０２、画像処理装置３０３及び画像処理装置３０５は、それぞれ図２３に示す画像処理システム１００６と同様、ＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した学習装置１０１、学習装置１０２、学習装置１０４、学習装置１０５、画像処理装置３０１、画像処理装置３０２、画像処理装置３０３及び画像処理装置３０５の各動作を実行させるためのプログラムであればよい。
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 学習画像
２０ 劣化画像
３０ 入力画像
３１ 入力パッチ
４０ 復元画像
５０ パッチ
５１ 画素群
５２ 画素
５３ パッチ識別子
７０ 劣化パッチ
７５ 位置情報
１０１ 学習装置
１０２ 学習装置
１０４ 学習装置
１０５ 学習装置
１１０ 受付部
１２０ 劣化画像生成部
１３０ パッチペア生成部
１４０ 登録部
２００ 辞書
２０１ 復元パッチ
２０２ 劣化パッチ
２０３ パッチペア
３０１ 画像処理装置
３０２ 画像処理装置
３０３ 画像処理装置
３０５ 画像処理装置
３１０ 受付部
３３０ パッチ生成部
３４０ 選択部
３５０ 合成部
５０１ 重み付き類似度算出部
５０２ 重み付き類似度算出部
５０５ 重み付き類似度算出部
５０６ 重み付き類似度算出部
５１０ 差異算出部
５１２ 類似度算出部
５２０ 類似度重み付け部
５２５ 類似度重み付け部
５３０ 劣化パッチ重み付け部
５４０ 入力パッチ重み付け部
５５０ 復元パッチ重み付け部
５６０ パッチ重み決定部
５６５ パッチ重み決定部
５９１ ＣＰＵ
５９２ 記憶部
５９３ 記憶装置
５９４ 入力部
５９５ 出力部
５９６ 通信部
５９７ 記録媒体
６１０ 類似度情報
６１２ 類似度
６２０ パッチ重み
６２１ 重み値
６４１ 劣化パッチ
６４２ 入力パッチ
６４３ 輝度差
６４４ パッチ重み
６４５ パッチ重み
６４６ パッチ重み
６４７ パッチ重み
６４８ パッチ重み
６４９ 重み付き差異情報
６５１ 重み付き劣化パッチ
６５２ 重み付き入力パッチ
１０００ 画像処理システム
１００６ 画像処理システム
２０ 劣化画像
３０ 入力画像
３１ 入力パッチ
４０ 復元画像
５０ パッチ
５１ 画素群
５２ 画素
５３ パッチ識別子
７０ 劣化パッチ
７５ 位置情報
１０１ 学習装置
１０２ 学習装置
１０４ 学習装置
１０５ 学習装置
１１０ 受付部
１２０ 劣化画像生成部
１３０ パッチペア生成部
１４０ 登録部
２００ 辞書
２０１ 復元パッチ
２０２ 劣化パッチ
２０３ パッチペア
３０１ 画像処理装置
３０２ 画像処理装置
３０３ 画像処理装置
３０５ 画像処理装置
３１０ 受付部
３３０ パッチ生成部
３４０ 選択部
３５０ 合成部
５０１ 重み付き類似度算出部
５０２ 重み付き類似度算出部
５０５ 重み付き類似度算出部
５０６ 重み付き類似度算出部
５１０ 差異算出部
５１２ 類似度算出部
５２０ 類似度重み付け部
５２５ 類似度重み付け部
５３０ 劣化パッチ重み付け部
５４０ 入力パッチ重み付け部
５５０ 復元パッチ重み付け部
５６０ パッチ重み決定部
５６５ パッチ重み決定部
５９１ ＣＰＵ
５９２ 記憶部
５９３ 記憶装置
５９４ 入力部
５９５ 出力部
５９６ 通信部
５９７ 記録媒体
６１０ 類似度情報
６１２ 類似度
６２０ パッチ重み
６２１ 重み値
６４１ 劣化パッチ
６４２ 入力パッチ
６４３ 輝度差
６４４ パッチ重み
６４５ パッチ重み
６４６ パッチ重み
６４７ パッチ重み
６４８ パッチ重み
６４９ 重み付き差異情報
６５１ 重み付き劣化パッチ
６５２ 重み付き入力パッチ
１０００ 画像処理システム
１００６ 画像処理システム
Claims (8)
- 所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、
入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する類似度算出手段と、
前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、
を含む画像処理装置。 - 複数のパッチ重みそれぞれについて算出した、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、パッチ重みを決定する危険度パッチ重み決定手段
を更に含む、
ことを特徴とする請求項１記載の画像処理装置。 - 前記危険度パッチ重み決定手段は、予め定められた前記所定の画像上の位置範囲毎にパッチ重みを決定する
ことを特徴とする請求項２記載の画像処理装置。 - 前記所定の画像とは異なる、前記所定の画像と同等の高解像度画像である真値画像から低解像度の入力画像を生成し、
前記入力画像から入力パッチを生成し、
前記入力パッチと前記辞書に含まれる劣化パッチとの差異情報に、前記パッチ重みの複数の候補それぞれを使用して複数の重み付き類似度を算出し、
前記複数の重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択し、
前記選択した入力パッチ毎の復元パッチを合成して複数の前記復元画像を生成し、
前記複数の復元画像のそれぞれと前記真値画像との差分を算出し、
最小の前記差分を持つ前記復元画像を生成する、前記重み付き類似度の生成に使用した前記パッチ重みの候補をパッチ重みとして決定する学習パッチ重み決定手段を更に含む、
ことを特徴とする請求項１記載の画像処理装置。 - 前記学習パッチ重み決定手段は、予め定められた前記所定の画像上の位置範囲毎にパッチ重みを決定する
ことを特徴とする請求項４記載の画像処理装置。 - 前記復元パッチに、パッチ重みを付けた重み付き復元パッチを生成する復元パッチ重み付け手段を更に含む
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 - コンピュータが、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、
入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出し、
前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択し、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する、
画像処理方法。 - コンピュータに、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、
入力された入力画像を分割して生成した複数の入力パッチと前記劣化パッチとの類似度として、前記劣化パッチ及び前記入力パッチそれぞれの形状を連続的な重みであるパッチ重みで再設定した、重み付き劣化パッチ及び重み付き入力パッチ間の類似度である重み付き類似度を算出する処理と、
前記重み付き類似度に基づいて、入力パッチ毎に復元パッチを選択する処理とし、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する処理とを、実行させる
画像処理用プログラムを記録した不揮発性記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271529 | 2011-12-12 | ||
| JP2011271529 | 2011-12-12 | ||
| PCT/JP2012/082590 WO2013089261A1 (ja) | 2011-12-12 | 2012-12-10 | 画像処理システム及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013089261A1 true JPWO2013089261A1 (ja) | 2015-04-27 |
| JP6075294B2 JP6075294B2 (ja) | 2017-02-08 |
Family
ID=48612700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013549343A Active JP6075294B2 (ja) | 2011-12-12 | 2012-12-10 | 画像処理システム及び画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9317904B2 (ja) |
| JP (1) | JP6075294B2 (ja) |
| WO (1) | WO2013089261A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6292911B2 (ja) * | 2014-02-07 | 2018-03-14 | キヤノン株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| US10225575B2 (en) | 2014-09-03 | 2019-03-05 | Nec Corporation | Image reconstruction in which unknown patch is replaced by selected patch |
| WO2016147260A1 (ja) * | 2015-03-13 | 2016-09-22 | 株式会社日立製作所 | 画像検索装置、及び画像を検索する方法 |
| CN105205782B (zh) * | 2015-09-06 | 2019-08-16 | 京东方科技集团股份有限公司 | 超解像方法和系统、服务器、用户设备及其方法 |
| US11265446B2 (en) | 2018-10-18 | 2022-03-01 | Sony Corporation | Frame handling for ML-based upscaling |
| KR102595182B1 (ko) * | 2023-04-03 | 2023-10-30 | 주식회사 크로커스 | 이미지 이상 탐지 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003018398A (ja) * | 2001-04-20 | 2003-01-17 | Mitsubishi Electric Research Laboratories Inc | ピクセル画像から超解像度画像を生成する方法 |
| JP2007293912A (ja) * | 2004-06-09 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
| JP2008234479A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | 画像高品質化装置、方法、及びプログラム |
| JP2012043151A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685536B (zh) | 2004-06-09 | 2011-11-30 | 松下电器产业株式会社 | 图象处理方法 |
| JP5706177B2 (ja) | 2010-02-09 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 超解像処理装置及び超解像処理方法 |
-
2012
- 2012-12-10 WO PCT/JP2012/082590 patent/WO2013089261A1/ja active Application Filing
- 2012-12-10 US US14/361,099 patent/US9317904B2/en not_active Expired - Fee Related
- 2012-12-10 JP JP2013549343A patent/JP6075294B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003018398A (ja) * | 2001-04-20 | 2003-01-17 | Mitsubishi Electric Research Laboratories Inc | ピクセル画像から超解像度画像を生成する方法 |
| JP2007293912A (ja) * | 2004-06-09 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
| JP2008234479A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | 画像高品質化装置、方法、及びプログラム |
| JP2012043151A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016032983; 田中 浩康、橋本 周司: '"類似検索エンジンを用いた画像処理"' 第６８回（平成１８年）全国大会講演論文集（２） 人工知能と認知科学 , 20060307, ｐｐ．２９９-３００, 社団法人情報処理学会 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150117762A1 (en) | 2015-04-30 |
| US9317904B2 (en) | 2016-04-19 |
| WO2013089261A1 (ja) | 2013-06-20 |
| JP6075294B2 (ja) | 2017-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6075295B2 (ja) | 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム | |
| JP6287855B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6075294B2 (ja) | 画像処理システム及び画像処理方法 | |
| JP6512100B2 (ja) | 画像処理を実行する情報処理装置及び画像処理方法 | |
| JP6015670B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| US8355592B1 (en) | Generating a modified image with semantic constraint | |
| JP2011176748A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| US9824431B2 (en) | Image synthesis apparatus, image synthesis method, and recording medium | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| CN105409196A (zh) | 用于视频稳定的自适应路径平滑 | |
| WO2013089260A1 (ja) | 画像処理システム及び画像処理方法 | |
| US9767533B2 (en) | Image resolution enhancement based on data from related images | |
| JP5751254B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP6121302B2 (ja) | 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム | |
| US9230309B2 (en) | Image processing apparatus and image processing method with image inpainting | |
| JP2020098575A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JPWO2013011797A1 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| JP6056354B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5636966B2 (ja) | 誤差検出装置及び誤差検出プログラム | |
| JP6751663B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2019128950A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2010055487A (ja) | 画像処理方法、装置、およびプログラム | |
| JP2010182166A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6075294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |