WO2014087652A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014087652A1
WO2014087652A1 PCT/JP2013/007144 JP2013007144W WO2014087652A1 WO 2014087652 A1 WO2014087652 A1 WO 2014087652A1 JP 2013007144 W JP2013007144 W JP 2013007144W WO 2014087652 A1 WO2014087652 A1 WO 2014087652A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
restored
patch
candidates
restored image
Prior art date
Application number
PCT/JP2013/007144
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
彰彦 池谷
仙田　修司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201380070627.8A priority Critical patent/CN104969257B/zh
Priority to US14/648,830 priority patent/US9679370B2/en
Priority to JP2014550930A priority patent/JP6287855B2/ja
Priority to EP13860561.3A priority patent/EP2930684B1/en
Publication of WO2014087652A1 publication Critical patent/WO2014087652A1/ja
Priority to HK15111625.3A priority patent/HK1210859A1/xx

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/164—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

　本発明は、低品質画像である入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させる画像処理装置を提供する。その画像処理装置は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、その所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、その入力画像から生成する画像群生成手段と、生成されたその複数の復元画像候補をクラスタリングし、そのクラスタリングした結果に基づいて、その復元画像候補を選択し、出力する画像選択提示手段と、を含む。

Description

画像処理装置及び画像処理方法
　本発明は、劣化画像から復元画像を生成する画像処理装置、画像処理方法及び画像処理用プログラムに関する。
　劣化画像から復元画像を生成する技術の一例に、超解像技術が知られている。超解像技術の中で、辞書を用いる方式は、特に学習型超解像技術と呼ばれる。その辞書は、低解像度画像と高解像度画像とが対応付けられた事例を学習して作成された辞書である。
　学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
　まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
　次に、その超解像プロセスは、入力画像から、低周波成分を生成する。
　次に、その超解像プロセスは、生成したその低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
　次に、その超解像プロセスは、その算出した低周波特徴量との距離が近い順に、複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
　次に、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
　例えば、特許文献１は、画像処理装置の一例を開示する。
　特許文献１の画像処理装置において、パラメータ選択部は、入力画像から特定された被写体の属性に基づいて、複数の画像処理パラメータの異なる組み合わせを選択する。次に、画像生成部は、選択されたそれらの複数の画像処理パラメータを用いて、その入力画像に含まれる被写体像を高画質化する。続けて、その画像生成部は、その高画質化により得られた複数の画像の中から、その入力画像との比較に基づいて少なくとも１つの画像を選択し、選択したその画像を高画質画像とする。
特開２０１０－２７３３２８号公報
田口、小野、三田、井田　"画像超解像のための閉ループ学習による代表事例の学習方法", 電子情報通信学会論文誌. D, 情報・システム J92-D(6), p831-842, 2009-06-01
　しかしながら、上述した特許文献１及び非特許文献１に記載された技術においては、そのような低品質画像である入力画像に正しく対応する復元画像が出力されない場合があるという問題点がある。その問題点は、具体的には、以下のような問題点である。その入力画像に含まれる内容が、例えば数字の「７」であるときに、復元画像にその本来の内容とは異なる数字の「９」が出力され、その本来の内容である「７」が出力されない場合がある。この問題点は、その入力画像の劣化（画質の低下）が激しいほど、顕著になる。
　その理由は、特許文献１及び非特許文献１に記載された技術のいずれにおいても、「入力画像に対して生成した復元画像が誤っている可能性がある」という想定がなされていないからである。換言すると、特許文献１及び非特許文献１に記載された技術のいずれも、本来の内容を示している可能性のある、複数の復元画像を選択する手段を有していないからである。
　具体的には、非特許文献１に記載された技術においては、ある入力画像に対する超解像画像（復元画像）が、その入力画像との整合性がより高くなるようにだけ考慮されて、選択された高周波成分から作成されるからである。
　また、上述した特許文献１に記載された技術においては、ある入力画像に対する高画質画像（復元画像）は、高画質化された複数の画像の中から、その入力画像との比較に基づいて選択され、出力されるからである。
　本発明の目的は、上述した問題点を解決する画像処理装置、画像処理方法及び画像処理用プログラムを提供することにある。
　本発明の一様態における第１の画像処理装置は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成手段と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示手段と、を含む。
　本発明の一様態における第２の画像処理装置は、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成手段と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む。
　本発明の一様態における第１の画像処理方法は、コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する。
　本発明の一様態における第２の画像処理方法は、コンピュータが、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する。
　本発明の一様態におけるコンピュータ読み取り可能な第１の非一時的記録媒体は、コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理とを、実行させる、画像処理用プログラムを記録する。
　本発明の一様態におけるコンピュータ読み取り可能な第２の非一時的記録媒体は、コンピュータに、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラムを記録する。
　本発明は、低品質画像である入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させることが可能になるという効果がある。
図１は、本発明の第１実施形態に係る画像処理システムの構成を示すブロック図である。 図２は、第１実施形態における学習装置の構成を示すブロック図である。 図３は、第１実施形態における学習フェーズを説明するための概念図である。 図４は、第１実施形態における辞書がパッチペアを格納する様子を説明するための概念図である。 図５は、第１実施形態における学習装置の動作を示すフローチャートである。 図６は、第１実施形態における復元装置の構成を示すブロック図である。 図７は、第１実施形態における画像処理装置の構成を示すブロック図である。 図８は、第１実施形態におけるハイパーパラメータセットの一例を示す図である。 図９は、確率分布関数とその最大値のイメージを模式的に示す図である。 図１０は、第１実施形態における復元フェーズを説明するための概念図である。 図１１は、第１実施形態における復元フェーズを説明するための概念図である。 図１２は、第１実施形態におけるパッチの一例を示す図である。 図１３は、クラスタリングのイメージを模式的に示す図である。 図１４は、本来の画像と入力画像と復元画像群の関係の一例を示す図である。 図１５は、第１実施形態における復元装置の動作を示すフローチャートである。 図１６は、第１実施形態における復元装置の動作を示すフローチャートである。 図１７は、本発明の第２実施形態における画像処理装置の構成を示すブロック図である。 図１８は、確率分布関数とその極大値のイメージを模式的に示す図である。 図１９は、第２実施形態における復元装置の動作を示すフローチャートである。 図２０は、本発明の第３実施形態における画像処理装置の構成を示すブロック図である。 図２１は、第３実施形態における復元装置の動作を示すフローチャートである。 図２２は、本発明の第４実施形態における画像処理装置の構成を示すブロック図である。 図２３は、第４実施形態における復元装置の動作を示すフローチャートである。 図２４は、本発明の第５実施形態に係る画像処理装置の構成を示すブロック図である。 図２５は、本発明の第５実施形態に係る画像処理装置を実現するコンピュータ装置のハードウェア構成を示す図である。
　次に、本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の機能を備える構成要素には同様の符号が与えられている。
　まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。尚、品質の悪い入力画像（低品質画像である入力画像）は、劣化画像とも呼ばれるが、以下の説明においては、後述する高解像画像を劣化させた劣化画像と区別するために、単に入力画像と呼ぶ。
　学習型超解像技術には、学習フェーズと復元フェーズとがある。
　学習フェーズは、複数の事例を学習して、辞書を作成するフェーズである。その辞書は、各事例におけるパッチペアを辞書データとして含む。
　ここで、そのパッチペアは、所定の事例における高解像画像のパッチと劣化画像のパッチとのペアである。その高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。劣化画像は、その高解像画像（学習画像）を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像のパッチを劣化パッチと呼ぶ。また、パッチ（例えば、その復元パッチ、その劣化パッチ及び後述の入力パッチ）は、対象の画像の部分的な小領域画像である。例えば、そのパッチは、その対象の画像をブロックに分割して生成されたものである。
　復元フェーズは、その学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適な復元パッチを探索し、合成処理により超解像画像を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像（低品質画像）である。また、入力画像は、ボケを含んでいたり、姿勢が傾いていたりする、品質の悪い画像（低品質画像）でもある。また、超解像画像は、復元画像とも呼ばれる。
　以上が、本発明の背景の説明である。
　＜第１実施形態＞
　図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
　図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１０１と、辞書２００と、復元装置３０１とを含む。学習装置１０１は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。復元装置３０１は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
　以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
　（学習フェーズ）
　図２～図５を参照して、第１実施形態における学習フェーズについて説明する。
　図２は、学習装置１０１の構成を示すブロック図である。図２に示すように、学習装置１０１は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。
　学習装置１０１は、学習フェーズを実行して、辞書２００を作成する。
　＝＝＝受付部１１０＝＝＝
　受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
　＝＝＝劣化画像生成部１２０＝＝＝
　劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
　劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して、複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
　劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去または姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
　劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
　劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて、姿勢を変動させることで劣化画像を生成してもよい。または、劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
　劣化画像生成部１２０は、生成した劣化画像を、当該劣化画像に関して、画像の劣化状態を示すパラメータ（以下、「劣化パラメータ」という。）と併せてパッチペア生成部１３０に出力する。ここで、劣化パラメータは、画像の領域毎に、画像の倍率、明度、ボケ強度及び姿勢の傾きのうちの少なくとも一つを数値で表したパラメータでもよい。
　＝＝＝パッチペア生成部１３０＝＝＝
　パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像及び劣化画像の劣化パラメータを受け取る。パッチペア生成部１３０は、その学習画像とその劣化画像との対応する位置におけるパッチペアを複数生成する。換言すると、パッチペア生成部１３０は、その学習画像の特定のパッチと、その学習画像上におけるその特定のパッチの位置に対応する、その劣化画像上におけるその位置のその劣化画像のパッチとをパッチペアとする。
　パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチとの複数のペア（パッチペア）を生成すればよい。
　パッチペア生成部１３０は、生成した複数のパッチペアを、対応する劣化パラメータと併せて登録部１４０に出力する。
　尚、学習装置１０１の受付部１１０は、学習画像とその学習画像のペアである劣化画像及び劣化パラメータを、外部からを受け付けるようにしてもよい。例えば、学習画像は高解像画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像（劣化パラメータの画像の倍率を増大した画像）である。また、劣化画像は、意図的にピントを狂わせて（劣化パラメータのボケ強度を増大）、或いは露出時間を不正に設定（劣化パラメータの明度を変更）して、撮影した画像であってよい。また、劣化画像は、ブレ（劣化パラメータの姿勢の傾き）を発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１０１は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
　＝＝＝登録部１４０＝＝＝
　登録部１４０は、パッチペア生成部１３０から、複数のパッチペアを受け取る。登録部１４０は、複数のパッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメータとを対応付けて辞書２００に登録する。
　＝＝＝辞書２００＝＝＝
　辞書２００は、学習装置１０１によって生成された複数のパッチペア及び劣化パラメータを格納する。
　図３は、第１実施形態における学習フェーズを説明するための概念図である。図３に示すように、学習装置１０１は、学習画像１０に１以上の劣化処理を施して劣化画像２０を生成してもよい。図３は、「劣化１」、「劣化２」・・・、というバリエーションの劣化処理を施していることを示す。学習装置１０１は、学習画像１０及び劣化画像２０の対応する位置におけるパッチのペアを、劣化パラメータ２０４と併せて、辞書２００に登録する。図３は、学習装置１０１が、復元パッチ２０１、劣化パッチ２０２及び劣化パラメータ２０４を含むパッチペア２０３を辞書２００に登録することを示す。劣化パラメータ２０４は、ψｋ（ｋは、１からｎまでの整数）で示される。
　図４は、辞書２００がパッチペア２０３及び劣化パラメータを格納する様子を説明するための概念図である。図４に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ－１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ－１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ－１）、２０３（ｎ）を格納する。また、辞書２００は、劣化パラメータ２０４（１）、２０４（２）、２０４（３）、・・・、２０４（ｎ－１）、２０４（ｎ）をパッチペア２０３に対応させて格納する。ここでｎは正の整数である。
　辞書２００の復元パッチ、劣化パッチ及び劣化パラメータの格納方法は、図４に示すように各パッチを対応付けて格納する方法に限定されない。例えば、辞書２００は、学習画像１０をパッチとしてではなく一枚の画像として格納してもよい。この場合、辞書２００は、インデックスが付された態様により学習データを格納してよいし、その他の方法で格納してもよい。そのインデックスは、劣化パッチ毎に復元画像のどこの領域と対応するか、どのような劣化パラメータと対応するか、を示す。この場合、そのパッチ及びその劣化パラメータの構造は、辞書２００学習データの格納方法に適合する構造であってよい。
　次に、図面を参照して、学習装置１０１の動作を説明する。図５は、学習装置１０１の動作を示すフローチャートである。
　受付部１１０は、外部から学習画像１０を受け付ける（ステップＡ１）。
　劣化画像生成部１２０は、受付部１１０から出力された学習画像１０を、例えばＮ分の１に縮小して、劣化画像２０を生成する（ステップＡ２）。
　パッチペア生成部１３０は、学習画像１０と劣化画像２０との対応する位置におけるパッチペア２０３を複数生成し、登録部１４０へ出力する（ステップＡ３）。
　次に、登録部１４０は、パッチペア生成部１３０から受け取ったパッチペア２０３を辞書２００へ登録する（ステップＡ４）。
　以上が、辞書２００を作成する、学習装置１０１の動作の説明である。
　（復元フェーズ）
　図６～図１２を参照して、第１実施形態における復元フェーズについて説明する。
　図６は、復元装置３０１の構成を示すブロック図である。図６に示すように、復元装置３０１は、受付部３１０及び画像処理装置１００１を備える。画像処理装置１００１は、画像群生成部５０１及び画像選択提示部５１１を含む。
　図７は、画像処理装置１００１の構成を示すブロック図である。画像処理装置１００１の画像群生成部５０１は、パッチ生成部５２１と、ハイパーパラメータセット生成部５３１と、復元画像候補生成部５４１とを含む。
　復元装置３０１は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理（以下の第１から第３に示す、復元装置３０１の処理）を実行して復元画像を生成する。
　第１に、復元装置３０１は、辞書２００を利用して、確率分布関数に基づいて、その受け付けた入力画像の１つに対して、複数の復元画像候補を生成する。ここで、復元画像候補は、複数の異なる内容（画像）のいずれかを含む、超解像画像である。それらの異なる内容（画像）のそれぞれは、その入力画像の本来の内容（画像）である可能性を持つ内容である。確率分布関数の詳細は、後述する。
　第２に、復元装置３０１は、それらの複数の復元画像候補をクラスタリングする。続けて、復元装置３０１は、そのクラスタリングした結果に基づいて、それらの複数の復元画像候補の中から、１または複数の復元画像候補を選択する。ここで、復元装置３０１は、予め定められた選択条件に従って復元画像候補を選択するようにしてよい。
　第３に、復元装置３０１は、選択した復元画像候補を復元画像として出力する。
　次に、復元装置３０１、画像処理装置１００１及び画像群生成部５０１の各構成要素について詳細に説明する。
　＝＝＝受付部３１０＝＝＝
　復元装置３０１の受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。例えば、受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよい。即ち、受付部３１０による入力画像の受け付けの形態は、限定されない。受付部３１０は、受け付けた入力画像を画像群生成部５０１に出力する。
　＝＝＝パッチ生成部５２１＝＝＝
　画像群生成部５０１のパッチ生成部５２１は、受付部３１０から出力された入力画像から複数のパッチ（入力パッチ）を生成し、復元画像候補生成部５４１に出力する。
　＝＝＝ハイパーパラメータセット生成部５３１＝＝＝
　画像群生成部５０１のハイパーパラメータセット生成部５３１は、１または複数のハイパーパラメータ（劣化パラメータ）を含む、複数のハイパーパラメータセットを生成する。具体的には、ハイパーパラメータ決定部５３１は、それらのハイパーパラメータの値を変化させた複数のハイパーパラメータセットを生成する。次に、ハイパーパラメータ決定部５３１は、生成した複数のハイパーパラメータセットを復元画像候補生成部５４１に出力する。
　ハイパーパラメータは、統計学の分野における確率分布関数を決定するパラメータであるとも言える。即ち、本実施形態においては、劣化パラメータは、ハイパーパラメータに対応するとも言うことができる。
　図８は、ハイパーパラメータセット６０の一例を示す図である。図８に示すように、ハイパーパラメータセット６０は、例えば、ハイパーパラメータであるパッチサイズ、ボケの大きさ、姿勢及び距離空間などの任意の組み合わせである。そのパッチサイズは、画素数（５画素や３×４画素など）で示される値である。そのボケの大きさは、画素数（１画素や０．５画素など）で示される値である。その姿勢は、例えば、回転軸と角度（ｘ軸で１度や、ｚ軸で－２度）で示される値である。その距離空間は、パッチ探索に用いる距離空間である。その距離空間は、例えば、Ｌ１ノルムやＬ２ノルムとしてあらわされる。
　例えば、ハイパーパラメータセット生成部５３１は、図示しないインタフェースからの指示に基づいて、ハイパーパラメータセット６０を生成する。また、ハイパーパラメータセット生成部５３１は、図示しない手段から入力された操作者の指示に基づいて、ハイパーパラメータセット６０を生成するようにしてもよい。
　＝＝＝復元画像候補生成部５４１＝＝＝
　画像群生成部５０１の復元画像候補生成部５４１は、以下のような第１の方法により、復元画像候補を生成する。
　復元画像候補生成部５４１は、例えば、後述の式１に示すような確率分布関数の最大値を算出する。次に復元画像候補生成部５４１は、その確率分布関数の最大値に対応するように、辞書２００のパッチペア２０３を選択する。次に復元画像候補生成部５４１は、選択したパッチペア２０３の復元パッチ２０１を合成して、復元画像候補を生成する。尚、復元パッチ２０１の合成については、後述の、第２の方法の復元フェーズにおいて詳細に説明する。
　図９は、式１で表される確率分布関数とその最大値のイメージを模式的に示す図である。
　復元画像候補生成部５４１は、例えば、モンテカルロ法を用いて、その確率分布関数の最大値を求める。そのモンテカルロ法は、マルコフチェインモンテカルロ（メトロポリス法、ギブスサンプリング法）、マルチカノニカルモンテカルロ法、交換モンテカルロ法などであってよい。また、復元画像候補生成部５４１は、モンテカルロ法以外（例えば、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム）を用いてもよい。
Figure JPOXMLDOC01-appb-I000001

　式１は、超解像画像（復元画像候補に成り得る画像）の出現確率を示す確率分布関数である。式１に示す確率分布関数は、入力画像及びその入力画像に対応するその超解像画像と辞書２００に格納されているパッチペア２０３との関係、並びにその超解像画像の隣接パッチ間の関係をモデル化した関数である。式１の関数は、劣化画像２０に対応する劣化のパラメータの、任意のものを、ハイパーパラメータとして含む。
　具体的には、式１において、Ｅｄａｔａは、入力パッチと劣化パッチ２０２との類似性（例えば、入力パッチと劣化パッチ２０２とのそれぞれの距離空間の類似性）を示す値である。Ｅｓｍｏｏｔｈは、その超解像画像の隣接パッチ間の類似性を示す値である。尚、Ｅｓｍｏｏｔｈは、その超解像画像から切り出したパッチと復元パッチ２０１との類似性であってもよい。
　また、式１において、αは、Ｅｓｍｏｏｔｈの重みを決定する値であり、ハイパーパラメータの一つである。尚、ハイパーパラメータは、α以外に、ＥｄａｔａやＥｓｍｏｏｔｈの中に、パッチサイズ、ボケの大きさ、姿勢或いはパッチ探索に用いる距離空間として含まれている。
　次に、復元画像候補生成部５４１は、その最大値の出現確率に対応する超解像画像を、復元画像候補として生成する。
　換言すると、式１は、超解像画像が式２に示すエネルギーで与えられた場合の、超解像画像Ｘの確率分布関数である。

Figure JPOXMLDOC01-appb-I000002

　尚、最大値の出現確率に対応する超解像画像は、式２で示すエネルギーが最小値となる超解像画像である。即ち、上述の「復元装置３０１が、確率分布関数に基づいて、その受け付けた入力画像の１つに対して、複数の復元画像候補を生成する」ことは、以下のように換言できる。
　復元画像候補生成部５４１は、式２のような算出式で求められるエネルギーＥの最小値を算出する。次に、復元画像候補生成部５４１は、その最小値のエネルギーＥに対応する超解像画像を、復元画像候補として生成する。こうして、復元画像候補生成部５４１は、図８に示すようなハイパーパラメータセット６０のそれぞれに対応する復元画像候補を生成する。
　また、復元画像候補生成部５４１は、以下のような第２の方法により、複数の復元画像候補を生成してもよい。以下の第２の方法の場合、画像群生成部５０１は、ハイパーパラメータセット生成部５３１を備えなくてもよい。
　復元画像候補生成部５４１は、辞書２００に格納されているパッチペア２０３の中から、類似度に基づいて、入力パッチそれぞれに対応する複数の復元パッチ２０１を選択する。その類似度は、入力パッチと劣化パッチ２０２との類似性を表す値である。例えば、復元画像候補生成部５４１は、その入力パッチに対するその類似度が所定値以上の劣化パッチ２０２に対応する復元パッチ２０１を選択する。また、復元画像候補生成部５４１は、その入力パッチに対するその類似度が大きい順の、所定数の、劣化パッチ２０２に対応する復元パッチ２０１を選択する。
　復元画像候補生成部５４１は、複数の復元パッチ２０１を合成して、復元画像候補を生成する。それらの復元パッチ２０１のそれぞれは、入力パッチのそれぞれに対応する複数の復元パッチ２０１の１つである。
　そして、復元画像候補生成部５４１は、それらの合成される復元パッチ２０１の組み合わせを変えて、複数の復元画像候補を生成する。
　図１０は、第２の方法の復元フェーズを説明するための概念図である。図１０に示すように、復元装置３０１は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性（第１の類似度）に基づいて、復元パッチ２０１を選択する。
　また、復元装置３０１は、図１１に示すように、第１の類似度の他に、更に復元画像４０から切り出したパッチと復元パッチ２０１との類似性（第２の類似度）にも基づいて、復元パッチ２０１を選択するようにしてもよい。
　次に、２つのパッチ（例えば、入力パッチ３１と劣化パッチ２０２）間の類似度について説明する。
　図１２は、パッチ５０の一例を示す図である。図１２に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個別に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ２０１、劣化パッチ２０２及び入力パッチ３１を含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
　この場合、その２つのパッチ間の類似度を示す値とは、それらのパッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、その２つのパッチ間の類似度を示す値は、それらのパッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅ　Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。または、その２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、その類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、その特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
　他に、例えば、その２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。または、その２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
　即ち、その２つのパッチ間の類似度は、その２つのパッチそれぞれの画素群５１が表す画像間の類似度である。
＝＝＝画像選択提示部５１１＝＝＝
　画像処理装置１００１の画像選択提示部５１１は、画像群生成部５０１が生成したそれらの複数の復元画像候補をクラスタリングする。画像選択提示部５１１は、例えばＫ－ｍｅａｎｓ法や、Ｗａｒｄ法を用いてクラスタリングを行う。
　図１３は、そのクラスタリングのイメージを模式的に示す図である。復元画像候補は、それを構成する画素数だけの次数を持つ、多次元のベクトルである。しかし、図１３においては、復元画像候補は、２次元平面上にプロットされている。
　図１３において、黒点及び星印は、復元画像候補である。それらの黒点及び星印を囲む線は、クラスを示す。即ち、クラスの線で囲まれたそれらの黒点及び星印は、クラスタリングされた結果の復元画像候補の部分集合である。また、星印は、そのクラスのセントロイドの復元画像候補である。ここで、セントロイドの復元画像候補は、そのクラスの中心に最も近い復元画像候補である。尚、画像選択提示部５１１は、以下の処理において、セントロイドの復元画像候補に替えて、そのクラスの中心に対応するベクトル（画像）を復元画像候補として利用するようにしてもよい。
　次に、画像選択提示部５１１は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する復元画像候補を選択する。そして、画像選択提示部５１１は、選択した復元画像候補を復元画像として出力する。例えば、その選択条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件は、操作者により図示しない入力手段から与えられてよい。
　例えば、その選択条件は、指定する数量ｎ（ｎは、１以上の自然数）の、各クラスのセントロイドの復元画像候補である。この場合、画像選択提示部５１１は、その復元画像候補をｎだけ、各クラスのセントロイドの復元画像候補から、ランダムに選択する。例えば、ｎが「３」の場合、画像選択提示部５１１は、３つのクラスからセントロイドの復元画像候補を選択し、その選択した３つの復元画像候補を復元画像として出力する。
　図１４は、本来の画像とその本来の画像が劣化した入力画像とその入力画像の復元画像との関係を示す図である。図１４に示す入力画像は、図１４に示す本来の画像が何らかの要素（例えば、ぼけ、低解像度化、ノイズ混入など）により低品質画像となったものであることを、点線で表現し、示している。図１４に示す復元画像群は、例えば、図１３の星印で示したセントロイドの復元画像候補に対応する。
　こうして、画像処理装置１００１は、入力画像に含まれる本来の画像（ここでは、「７」）に対して、間違った復元画像（ここでは、「１」及び「９」）だけでなく、正しく対応する復元画像（ここでは、「７」）も出力する。
　また、その選択条件は、指定する数量ｎ（ｎは、１以上の自然数）の、要素数が多い順の各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、その復元画像候補をｎだけ、要素数が多い順の各クラスのセントロイドの復元画像候補から、選択する。
　また、その選択条件は、要素数が閾値以上の各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、要素数が閾値以上の各クラスの、セントロイドの復元画像候補を選択する。
　また、その選択条件は、全ての各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、全ての各クラスの、セントロイドの復元画像候補を選択する。
　また、画像選択提示部５１１は、それらの復元画像候補のそれぞれの特定の一部分を特定部分復元画像候補として切り出し、その特定部分復元画像候補をクラスタリングしてもよい。この場合、画像選択提示部５１１は、それらの特定部分復元画像候補から、上述した選択条件に適合する特定部分復元画像候補を選択する。そして、画像選択提示部５１１は、選択した特定部分復元画像候補、または選択した特定部分復元画像候補に対応する復元画像候補を、復元画像として出力するようにしてよい。
　以上が、復元装置３０１及び画像処理装置１００１の各構成要素についての説明である。
　次に、復元装置３０１の動作について、図面を参照して詳細に説明する。
　図１５及び図１６は、復元装置３０１の動作を示すフローチャートである。図１５に示す復元装置３０１の動作は、復元画像候補生成部５４１が、第１の方法により復元画像候補を生成する場合の動作である。
　受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１１）。
　次に、パッチ生成部５２１は、受付部３１０から出力された入力画像を、ブロックに分割して複数のパッチ（入力パッチ３１）を生成する（ステップＢ１２）。例えば、パッチ生成部５２１は、縦５個×横５個の計２５個の画素からなる領域を入力パッチ３１のパッチ単位としてもよい。この場合、パッチ生成部５２１は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチ３１を生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部５２１は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチ３１を生成してもよい。尚、入力パッチ３１とそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
　次に、ハイパーパラメータセット生成部５３１は、複数のハイパーパラメータを生成する（ステップＢ１３）。
　次に、復元画像候補生成部５４１は、それらのハイパーパラメータ毎に、式１で求められる確率分布関数が最大値となる超解像画像を、復元画像候補として生成する（ステップＢ１４）。尚、復元画像候補生成部５４１は、それらのハイパーパラメータ毎に、式２で求められるエネルギーＥが最小値となる超解像画像を、復元画像候補として生成するようにしてもよい。
　次に、画像選択提示部５１１は、それらの復元画像候補をクラスタリングする（ステップＢ１５）。
　次に画像選択提示部５１１は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する復元画像候補を選択する（ステップＢ１６）。
　次に、画像選択提示部５１１は、選択した復元画像候補を復元画像として出力する（ステップＢ１７）。
　図１６に示す復元装置３０１の動作は、復元画像候補生成部５４１が、第２の方法により復元画像候補を生成する場合の動作である。図１６に示す復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１３及びステップＢ１４が、以下のステップＢ２１～ステップＢ２３に置き換わった動作である。
　復元画像候補生成部５４１は、パッチ生成部５２１が生成した入力パッチ３１それぞれについて、辞書２００に含まれる全ての劣化パッチ２０２に対する類似度を算出する（ステップＢ２１）。
　次に、復元画像候補生成部５４１は、辞書２００に格納されているパッチペア２０３のデータの中から、算出した類似度に基づいて、複数の劣化パッチ２０２を取得する。続けて、復元画像候補生成部５４１は、そのパッチ識別子５３のそれぞれに対応するパッチペア２０３の復元パッチ２０１を選択し、出力する（ステップＢ２２）。ここで、そのパッチ識別子５３は、取得した劣化パッチ２０２のパッチ識別子５３である。
　同様に、復元画像候補生成部５４１は、全ての入力パッチ３１それぞれについてステップＢ２２を実行し、復元パッチ２０１を選択する。
　次に、復元画像候補生成部５４１は、全ての入力パッチ３１それぞれに対応する復元パッチ２０１を、組み合わせを変えて合成し、複数の復元画像を生成する（ステップＢ２３）。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
　具体的には、「合成」とは、全復元パッチ２０１を対応する位置に置いたときに、重なり領域については重なった全ての復元パッチ２０１の画素値の平均を取る処理でもよい。
　以上が復元装置３０１の動作の説明である。
　上述した本実施形態における第１の効果は、入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させることが可能になる点である。
　その理由は、以下の構成を備えるからである。第１に、復元画像候補生成部５４１が、入力画像の本来の内容である可能性を持つ複数の異なる内容を含む複数の復元画像候補を、その１つの入力画像から生成する。第２に、画像選択提示部５１１が復元画像候補をクラスタリングした結果に基づいて、復元画像を出力する。
　＜第２実施形態＞
　次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
　図１７は、本発明の第２実施形態の画像処理装置１００２の構成を示すブロック図である。図１７に示す画像処理装置１００２は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
　図１７を参照すると、本実施形態における画像処理装置１００２は、画像群生成部５０２と画像選択提示部５１１とを含む。
　画像群生成部５０２は、パッチ生成部５２１、ハイパーパラメータセット生成部５３２及び復元画像候補生成部５４２を含む。
　図６に示す復元装置３０１は、画像処理装置１００１に替えて、画像処理装置１００２を含むようにしてよい。
　＝＝＝ハイパーパラメータセット生成部５３２＝＝＝
　ハイパーパラメータセット生成部５３２は、１つのハイパーパラメータセット６０を生成する。
　例えば、ハイパーパラメータセット生成部５３１は、図示しないインタフェースからの指示に基づいて、ハイパーパラメータセット６０を生成する。また、ハイパーパラメータセット生成部５３１は、図示しない手段から入力された操作者の指示に基づいて、ハイパーパラメータセット６０を生成するようにしてもよい。
　＝＝＝復元画像候補生成部５４２＝＝＝
　復元画像候補生成部５４２は、そのハイパーパラメータセット６０に対応する確率分布関数の、複数の極大値に対応する復元画像候補を生成する。即ち、復元画像候補生成部５４２は、図７に示す復元画像候補生成部５４１と以下の点で異なる。復元画像候補生成部５４１は、その確率分布関数の最大値を求め、その最大値に対応する超解像画像を、復元画像候補として生成した。これに対して、復元画像候補生成部５４２は、その確率分布関数の複数の極大値を求め、それらの極大値に対応する超解像画像を、復元画像候補として生成する。
　図１８は、式１で表される確率分布関数とその極大値のイメージを模式的に示す図である。
　尚、ハイパーパラメータセット生成部５３２は、ハイパーパラメータセット生成部５３１と同様に、複数のハイパーパラメータセット６０を生成するようにしてもよい。
　この場合、復元画像候補生成部５４２は、それらのハイパーパラメータセット６０のそれぞれに対応する確率分布関数のそれぞれについて、複数の極大値に対応する復元画像候補を生成するようにしてよい。
　次に、本実施形態の動作について、図面を参照して詳細に説明する。
　図１９は、本実施形態に係る画像処理装置１００２を含む復元装置３０１の動作を示すフローチャートである。図１９に示す、画像処理装置１００２を復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１３及びステップＢ１４が、以下のステップＢ３１～ステップＢ３２に置き換わった動作である。
　ハイパーパラメータセット生成部５３２は、１つまたは複数のハイパーパラメータセット６０を生成する（ステップＢ３１）。
　復元画像候補生成部５４２は、１つまたは複数のハイパーパラメータセット６０毎に、確率分布関数の複数の極大値に対応する復元画像候補を生成する（ステップＢ３２）。
　上述した本実施形態における第１の効果は、第１実施形態と同様に、低品質な入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を向上させることが可能になる点である。
　その理由は、復元画像候補生成部５４２が確率分布関数の複数の極大値に対応する復元画像候補を生成するようにしたからである。
　上述した本実施形態における第２の効果は、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を更に向上させることが可能になる点である。
　その理由は、復元画像候補生成部５４１が確率分布関数に基づいて、複数のハイパーパラメータセット６０のそれぞれに対応し、更にその確率分布関数の複数の極大値に対応する、復元画像候補を生成するようにしたからである。
　＜第３実施形態＞
　次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
　図２０は、本発明の第３実施形態に係る画像処理装置１００３の構成を示すブロック図である。
　図２０を参照すると、本実施形態における画像処理装置１００３は、画像群生成部５０１及び画像選択提示部５１３を含む。尚、画像処理装置１００３は、画像群生成部５０１に替えて、画像群生成部５０２を含むようにしてもよい。図２０に示す画像処理装置１００３は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
　＝＝＝画像選択提示部５１３＝＝＝
　画像選択提示部５１３は、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補を生成する。次に、画像選択提示部５１３は、特定の領域の分割復元画像候補から成るグループのそれぞれをクラスタリングする。ここで特定の領域の分割復元画像候補は、それらの復元画像候補のそれぞれ毎の同じ位置に対応する、分割復元画像候補である。次に、画像選択提示部５１３は、そのクラスタリングした結果に基づいて、グループ毎の分割復元画像候補を選択する。次に、画像選択提示部５１３は、選択した分割復元画像候補を合成して超解像画像を生成し、復元画像候補として出力する。
　画像選択提示部５１３は、予め定められた選択条件に適合する分割復元画像候補を選択する。そして、画像選択提示部５１３は、選択した復元画像候補を予め定められた合成条件に基づいて合成する。例えば、その選択条件及びその合成条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件及びその合成条件は、操作者により図示しない入力手段から与えられてよい。
　画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、例えば、グループ（即ち、各領域）毎に、指定する数量ｎ（ｎは、１以上の自然数）の各クラスのセントロイドの分割復元画像候補をランダムに選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
　また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、要素数が閾値以上の各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
　また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、指定する数量ｎの、要素数が多い順の各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
　また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、指定する数量ｎの、全ての各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
　次に、画像処理装置１００３を含む復元装置３０１の動作について、図面を参照して詳細に説明する。
　図２１は、画像処理装置１００３を含む復元装置３０１の動作を示すフローチャートである。画像処理装置１００３を含む復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１５及びステップＢ１７が、以下のステップＢ４１～ステップＢ４５に置き換わった動作である。
　画像選択提示部５１３は、それらの復元画像候補を分割して、分割復元画像候補を生成する（ステップＢ４１）。
　次に、画像選択提示部５１３は、それらの分割復元画像候補をグループ毎にクラスタリングする（ステップＢ４２）。
　次に、画像選択提示部５１３は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する分割復元画像候補を選択する（ステップＢ４３）。
　次に、画像選択提示部５１３は、選択した分割復元画像候補を合成して復元画像を生成する（ステップＢ４４）。
　次に、画像選択提示部５１３は、生成した復元画像を出力する（ステップＢ４５）。
　上述した本実施形態における効果は、第１の実施形態の効果に加え、入力画像の劣化が一様でない場合においても、所望の復元画像を出力する確率を向上させることが可能になる点である。その所望の復元画像は、入力画像に含まれる本来の画像に正しく対応する復元画像である。
　その理由は、画像選択提示部５１３が、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補について処理を行うようにしたからである。
　＜第４実施形態＞
　次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
　図２２は、本発明の第４実施形態に係る画像処理装置１００４の構成を示すブロック図である。
　図２２を参照すると、本実施形態における画像処理装置１００４は、画像群生成部５０４及び画像選択提示部５１４を含む。画像処理装置１００４の画像群生成部５０４は、パッチ生成部５２１と、ハイパーパラメータセット生成部５３１と、復元画像候補生成部５４１と、信頼度算出部５５４とを含む。尚、画像群生成部５０４は、ハイパーパラメータセット生成部５３１に替えてハイパーパラメータセット生成部５３２を含むようにしてもよい。また、画像群生成部５０４は、復元画像候補生成部５４１に替えて復元画像候補生成部５４２を含むようにしてもよい。図２２に示す画像処理装置１００４は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
　＝＝＝信頼度算出部５５４＝＝＝
　信頼度算出部５５４は、復元画像候補生成部５４１が生成した復元画像候補のそれぞれの信頼度を算出する。信頼度の算出の詳細は、後述する。
　＝＝＝画像選択提示部５１４＝＝＝
　画像選択提示部５１４は、算出されたそれらの信頼度に基づいて復元画像候補を選択し、選択したその復元画像候補を復元画像として出力する。
　具体的には、画像選択提示部５１４は、画像選択提示部５１１と同様に、そのクラスタリングの結果を利用して、予め定められた選択条件に適合するその復元画像候補を選択する。本実施形態において、その選択条件は、信頼度の条件を含む。例えば、その選択条件は、信頼度が最も高いことや、信頼度が所定の閾値以上であることを条件として含む。
　尚、画像選択提示部５１４は、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補を生成し、信頼度算出部５５４に出力するようにしてもよい。この場合、信頼度算出部５５４は、分割復元画像候補の信頼度を算出するようにしてよい。そして、画像選択提示部５１４は、同じ位置に対応する特定の領域の部分復元画像候補から成るグループのそれぞれをクラスタリングするようにしてよい。そして、画像選択提示部５１４は、そのクラスタリングした結果に基づいて、グループ毎の分割復元画像候補を選択し、選択した分割復元画像候補を合成して出力するようにしてよい。
　次に、画像処理装置１００４を含む復元装置３０１の動作について、図面を参照して詳細に説明する。
　図２３は、画像処理装置１００３を含む復元装置３０１の動作を示すフローチャートである。画像処理装置１００３を含む復元装置３０１の動作は、図１５に示すフローチャートに、以下のステップＢ５１が追加された動作である。
　信頼度算出部５５４は、各復元画像候補の信頼度を算出する（ステップＢ５１）。
　次に、信頼度算出の詳細の例として、第１から第４の信頼度算出手法を説明する。
　第１の信頼度算出手法において、信頼度算出部５５４は、復元画像候補から低品質化画像を生成する。そして、信頼度算出部５５４は、低品質化画像と入力画像との差分に基づいて、信頼度を算出する。
　第２の信頼度算出手法において、信頼度算出部５５４は、復元画像候補を生成した場合の、隣接する復元パッチ２０１間の差分に基づいて、信頼度を算出する。
　第３の信頼度算出手法において、信頼度算出部５５４は、劣化パッチ２０２間の類似度と劣化パッチ２０２に対応する復元パッチ２０１間の類似度との比である危険度に基づいて、信頼度を算出する。
　危険度は、劣化パッチ２０２間の類似度とそれらの劣化パッチ２０２に対応する復元パッチ２０１間の類似度との比である。危険度は、劣化パッチ２０２間の類似度の大きさに対して、それらの劣化パッチ２０２それぞれに対応する復元パッチ２０１間の類似度が相対的に小さいほど、値が大きくなる。即ち、危険度は、劣化パッチ２０２が類似しているにもかかわらず、それらの劣化パッチ２０２それぞれに対応する復元パッチ２０１が似ていない場合に、値が大きくなる。
　例えば、信頼度算出部５５４は、以下の式５、式６及び式７を用いて、危険度Ｋを算出する。
　式５は、選択された劣化パッチ２０２と、そのＫ近傍にある劣化パッチ２０２との距離の平均値ＤＬＲを算出する式である。Ｋ近傍にある劣化パッチ２０２は、選択された劣化パッチ２０２に近い順のＫ（例えば、７）個の劣化パッチ２０２（式５における集合Ｒ）である。式５の右辺の分母は、選択された劣化パッチ２０２のＫ近傍にある劣化パッチ２０２の数（即ち、Ｋ）と劣化パッチ２０２の画素数ＳＬとの積である。また、式５の右辺の分子は、選択された劣化パッチ２０２とＫ近傍の劣化パッチ２０２それぞれとのＬ２ノルムの２乗の総和である。
Figure JPOXMLDOC01-appb-I000003
　式６は、選択された復元パッチ２０１と、そのＫ近傍にある劣化パッチ２０２との距離の平均値ＤＨＲを算出する式である。Ｋ近傍にある復元パッチ２０１は、選択された復元パッチ２０１に近い順のＫ（例えば、７）個の復元パッチ２０１（式６における集合Ｒ）である。式６の右辺の分母は、選択された劣化パッチ２０２のＫ近傍にある復元パッチ２０１の数（即ち、Ｋ）と復元パッチ２０１の画素数ＳＨとの積である。また、式６の右辺の分子は、選択された復元パッチ２０１とＫ近傍の復元パッチ２０１それぞれとのＬ２ノルムの２乗の総和である。
Figure JPOXMLDOC01-appb-I000004
　式７は、危険度Ｋを算出する式である。αは、ＤＬＲが小さい場合に、Ｋの値域を調整するための定数である。
Figure JPOXMLDOC01-appb-I000005
　第４の信頼度算出手法において、信頼度算出部５５４は、複数の復元画像候補の統計的偏りに基づいて、信頼度を算出する。
　信頼度算出部５５４は、復元画像候補の勾配方向ヒストグラムの各値を要素とする特徴ベクトルを生成する。方向ヒストグラムの作成手法は、周知の技術であり、例えば、“D. G. Lowe,　“Object recognition from local scale-invariant features”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.”及び“N. Dalal, B. Triggs,　“Histograms of oriented gradients for human detection”, Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 886-893, 2005.”に記載されている。
　次に、信頼度算出部５５４は、それらの特徴ベクトルを特徴空間にマッピングし、距離空間としてＬ２ノルムを算出する。
　次に、信頼度算出部５５４は、それらの算出したＬ２ノルムをサンプルとして、Ｐａｒｚｅｎ窓によるカーネル密度推定でその特徴ベクトルに対応する密度推定値を算出する。次に、信頼度算出部５５４は、その算出した密度推定値をその特徴ベクトルに対応する復元画像候補の信頼度とする。
　尚、信頼度算出部５５４は、画像選択提示部５１４がクラスタリングした復元画像候補のクラス毎に、統計的偏りに基づいて信頼度を算出するようにしてもよい。この場合、画像選択提示部５１４は、クラス毎に算出された信頼度に基づいて、クラス毎に復元画像候補を選択するようにしてもよい。
　以上が、信頼度算出の詳細の例の説明である。
　上述した本実施形態における効果は、第１の実施形態の効果に加えて、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を、更に向上させることが可能になる点である。
　その理由は、信頼度算出部５５４が復元画像候補の信頼度を算出し、画像選択提示部５１４がその信頼度に基づいて、復元画像を出力するようにしたからである。
　＜第５実施形態＞
　次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
　図２４は、第５実施形態に係る画像処理装置１００５の構成を示すブロック図である。
　図２４を参照すると、本実施形態における画像処理装置１００５は、画像群生成部５０５及び画像選択提示部５１５を含む。
　＝＝＝画像群生成部５０５＝＝＝
　画像群生成部５０５は、例えば、図１に示す辞書２００を利用し、１つの入力画像から、その入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、生成する。ここで、辞書２００は、第１実施形態で説明したように、所定の画像を劣化させた劣化画像のパッチである劣化パッチ２０２と、その所定の画像のパッチである復元パッチ２０１とを対応付けた複数のパッチペア２０３を格納する。ここで、所定の画像は、例えば、図３に示す学習画像１０である。また、劣化画像は、図３に示す劣化画像２０である。
　＝＝＝画像選択提示部５１５＝＝＝
　画像選択提示部５１５は、画像群生成部５０５が生成した複数の復元画像候補をクラスタリングする。次に、画像選択提示部５１５は、そのクラスタリングした結果に基づいて、復元画像候補を選択する。次に、画像選択提示部５１５は、選択した復元画像候補を出力する。
　画像選択提示部５１５は、予め定められた選択条件に適合する復元画像候補を選択するようにしてよい。例えば、その選択条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件は、操作者により図示しない入力手段から与えられてよい。例えば、画像選択提示部５１５は、複数の復元画像候補を選択し、出力する。また、画像選択提示部５１５は、１つの復元画像候補を選択し、出力してもよい。
　上述のようにして、画像処理装置１００５は、一つの入力画像に対応する複数の復元画像を出力する。
　次に、画像処理装置１００５のハードウェア単位の構成要素について説明する。
　図２５は、本実施形態における画像処理装置１００５を実現するコンピュータ装置のハードウェア構成を示す図である。図２５に示されるように、画像処理装置１００５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。画像処理装置１００５は、更に、記録媒体５９７を含む。
　ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、画像処理装置１００５の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体５９７から、プログラムやデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そのプログラムは、例えば、図１５、図１６、図１９、図２１及び図２３に示すフローチャートの動作をコンピュータに実行させるプログラムである。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２４に示す画像群生成部５０５及び、画像選択提示部５１５として各種の処理を実行する。
　尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
　記憶部５９２は、プログラムやデータを記憶する。記憶部５９２は、辞書２００を含んでよい。
　記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。記憶装置５９３は、辞書２００を含んでよい。
　入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、カメラなどでもよい。入力部５９４は、入力画像、選択条件及び合成条件を入力する手段であってよい。
　出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。出力部５９５は、復元画像を出力する手段であってよい。
　通信部５９６は、ネットワークと画像処理装置１００５とのインタフェースを実現する。画像処理装置１００５は、例えば通信部５９６を介して辞書２００と接続されてもよい。通信部５９６は、図示しない外部システムから入力画像、選択条件及び合成条件を受信するようにしてもよい。また、通信部５９６は、図示しない外部システムへ復元画像を送信するようにしてもよい。
　以上が、画像処理装置１００５のハードウェア単位の各構成要素についての説明である。
　以上説明したように、図２４示す機能単位のブロックは、図２５に示すハードウェア構成によって実現される。但し、画像処理装置１００５が備える各部の実現手段は、上記に限定されない。すなわち、画像処理装置１００５は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
　記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が画像処理装置１００５に供給され、画像処理装置１００５は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、画像処理装置１００５が実行するプログラムを、一時的にまたは非一時的に、記憶する記録媒体の実施形態を含む。
　上述した本実施形態における第１の効果は、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を向上させることが可能になる点である。
　その理由は、画像群生成部５０５が１つの入力画像から複数の復元画像候補を生成し、画像選択提示部５１５がそれらの復元画像候補をクラスタリングし、その結果に基づいて復元画像を出力するようにしたからである。
　上述した本実施形態における第２の効果は、画像処理装置１００５を簡便なハードウェア構成で実現することが可能になる点である。
　その理由は、本実施形態の画像処理装置をＣＰＵ５９１上で動作するプログラムで構成するようにしたからである。
　＜各実施形態のハードウェア構成＞
　前述の第１乃至第４実施形態で説明した画像処理装置１００１、画像処理装置１００２、画像処理装置１００３及び画像処理装置１００４は、それぞれ図２５に示す画像処理装置１００５と同様、ＣＰＵとプログラムを記憶した記録媒体５９７を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した画像処理装置１００１、画像処理装置１００２、画像処理装置１００３及び画像処理装置１００４の各動作を実行させるためのプログラムであってよい。
　上述した各実施形態は、任意に組み合わせた実施形態であってよい。その任意に組み合わせた実施形態は、例えば、第１～５実施形態の全ての機能的な構成要素と効果とを含む画像処理装置、画像処理方法及び画像処理用プログラムの実施形態であってもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成部と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示部と、を含む画像処理装置。
　（付記２）前記画像群生成部が生成した復元画像候補のそれぞれの信頼度を算出する信頼度算出部を更に含み、前記画像選択提示部は、前記信頼度に基づいて前記復元画像候補を選択することを特徴とする付記１記載の画像処理装置。
　（付記３）前記信頼度算出部は、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出することを特徴とする付記２記載の画像処理装置。
　（付記４）前記信頼度算出部は、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出することを特徴とする付記２または３記載の画像処理装置。
　（付記５）前記信頼度算出部は、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出することを特徴とする付記２乃至４のいずれか１つに記載の画像処理装置。
　（付記６）前記信頼度算出部は、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出することを特徴とする付記２乃至５のいずれか１つに記載の画像処理装置。
　（付記７）前記信頼度算出部は、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、前記画像選択提示部は、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力することを特徴とする付記２乃至６のいずれか１つに記載の画像処理装置。
　（付記８）前記画像選択提示部は、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力することを特徴とする付記２乃至７のいずれか１つに記載の画像処理装置。
　（付記９）前記信頼度算出部は、前記特定部分復元画像候補の信頼度を算出することを特徴とする付記８記載の画像処理装置。
　（付記１０）前記画像選択提示部は、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力することを特徴とする付記２乃至９のいずれか１つに記載の画像処理装置。
　（付記１１）前記信頼度算出部は、前記分割復元画像候補の信頼度を算出することを特徴とする付記１０記載の画像処理装置。
　（付記１２）前記画像群生成部は、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１１のいずれか１つに記載の画像処理装置。
　（付記１３）前記画像群生成部は、前記入力画像と前記入力画像に対応する復元画像候補と前記パッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１２のいずれか１つに記載の画像処理装置。
　（付記１４）前記画像群生成部は、ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１３のいずれか１つに記載の画像処理装置。
　（付記１５）前記画像群生成部は、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成することを特徴とする付記１乃至１０のいずれか１つに記載の画像処理装置。
　（付記１６）前記複数のパッチペアを格納する辞書部と、前記パッチペアを作成し、前記辞書部に出力する学習部と、を更に含むことを特徴とする付記１乃至１５のいずれか１つに記載の画像処理装置。
　（付記１７）コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像処理方法。
　（付記１８）前記コンピュータが、前記生成した復元画像候補のそれぞれの信頼度を算出し、前記信頼度に基づいて前記復元画像候補を選択することを特徴とする付記１７記載の画像処理方法。
　（付記１９）前記コンピュータが、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出することを特徴とする付記１８記載の画像処理方法。
　（付記２０）前記コンピュータが、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出することを特徴とする付記１８または１９記載の画像処理方法。
　（付記２１）前記コンピュータが、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出することを特徴とする付記１８乃至２０のいずれか１つに記載の画像処理方法。
　（付記２２）前記コンピュータが、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出することを特徴とする付記１８乃至２１のいずれか１つに記載の画像処理方法。
　（付記２３）前記コンピュータが、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力することを特徴とする付記１８乃至２２のいずれか１つに記載の画像処理方法。
　（付記２４）前記コンピュータが、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力することを特徴とする付記１７乃至２３のいずれか１つに記載の画像処理方法。
　（付記２５）前記コンピュータが、前記特定部分復元画像候補の前記信頼度を算出することを特徴とする付記２４記載の画像処理方法。
　（付記２６）前記コンピュータが、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力することを特徴とする付記１７乃至２５のいずれか１つに記載の画像処理方法。
　（付記２７）前記コンピュータが、前記分割復元画像候補の前記信頼度を算出することを特徴とする付記２６記載の画像処理方法。
　（付記２８）前記コンピュータが、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２７のいずれか１つに記載の画像処理方法。
　（付記２９）前記コンピュータが、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２８のいずれか１つに記載の画像処理方法。
　（付記３０）前記コンピュータが、前記ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２９のいずれか１つに記載の画像処理方法。
　（付記３１）前記コンピュータが、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成することを特徴とする付記１７乃至３０のいずれか１つに記載の画像処理方法。
　（付記３２）コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラム。
　（付記３３）前記コンピュータに、前記生成した復元画像候補のそれぞれの信頼度を算出する処理と、前記信頼度に基づいて前記復元画像候補を選択する処理とを、実行させることを特徴とする付記３２記載の画像処理用プログラム。
　（付記３４）前記コンピュータに、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３記載の画像処理用プログラム。
　（付記３５）前記コンピュータに、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３または３４記載の画像処理用プログラム。
　（付記３６）前記コンピュータに、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３乃至３５のいずれか１つに記載の画像処理用プログラム。
　（付記３７）前記コンピュータに、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３乃至３６のいずれか１つに記載の画像処理用プログラム。
　（付記３８）前記コンピュータに、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出する処理と、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力する処理とを、実行させることを特徴とする付記３３乃至３７のいずれか１つに記載の画像処理用プログラム。
　（付記３９）前記コンピュータに、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出す処理と、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力する処理とを、実行させることを特徴とする付記３２乃至３８のいずれか１つに記載の画像処理用プログラム。
　（付記４０）前記コンピュータに、前記特定部分復元画像候補の前記信頼度を算出する処理を、実行させることを特徴とする付記３９記載の画像処理用プログラム。
　（付記４１）前記コンピュータに、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割する処理と、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力する処理とを、実行させることを特徴とする付記３２乃至４０のいずれか１つに記載の画像処理用プログラム。
　（付記４２）前記コンピュータに、前記分割復元画像候補の前記信頼度を算出する処理を、実行させることを特徴とする付記４１記載の画像処理用プログラム。
　（付記４３）前記コンピュータに、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４２のいずれか１つに記載の画像処理用プログラム。
　（付記４４）前記コンピュータに、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４３のいずれか１つに記載の画像処理用プログラム。
　（付記４５）前記コンピュータに、前記ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４４のいずれか１つに記載の画像処理用プログラム。
　（付記４６）前記コンピュータに、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択する処理と、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成する処理とを、実行させることを特徴とする付記３２乃至４５のいずれか１つに記載の画像処理用プログラム。
　（付記４７）付記３２乃至４６のいずれか1つに記載の画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
　（付記４８）入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成部と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む画像処理装置。
　（付記４９）コンピュータが、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像処理方法。
　（付記５０）コンピュータに、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラム。
　以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１２月６日に出願された日本出願特願２０１２－２６７４０２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　学習画像
　２０　　劣化画像
　３０　　入力画像
　３１　　入力パッチ
　４０　　復元画像
　５０　　パッチ
　５１　　画素群
　５２　　画素
　５３　　パッチ識別子
　６０　　ハイパーパラメータセット
　１０１　　学習装置
　１１０　　受付部
　１２０　　劣化画像生成部
　１３０　　パッチペア生成部
　１４０　　登録部
　２００　　辞書
　２０１　　復元パッチ
　２０２　　劣化パッチ
　２０３　　パッチペア
　３０１　　復元装置
　３１０　　受付部
　５０１　　画像群生成部
　５０２　　画像群生成部
　５０４　　画像群生成部
　５０５　　画像群生成部
　５１１　　画像選択提示部
　５１３　　画像選択提示部
　５１４　　画像選択提示部
　５１５　　画像選択提示部
　５２１　　パッチ生成部
　５３１　　ハイパーパラメータセット生成部
　５３２　　ハイパーパラメータセット生成部
　５４１　　復元画像候補生成部
　５４２　　復元画像候補生成部
　５５４　　信頼度算出部
　５９１　　ＣＰＵ
　５９２　　記憶部
　５９３　　記憶装置
　５９４　　入力部
　５９５　　出力部
　５９６　　通信部
　５９７　　記録媒体
　１０００　　画像処理システム
　１００１　　画像処理装置
　１００２　　画像処理装置
　１００３　　画像処理装置
　１００４　　画像処理装置
　１００５　　画像処理装置

Claims (23)

  1. 　所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成手段と、
    　前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示手段と、を含む
    　画像処理装置。
  2. 　前記画像群生成手段が生成した復元画像候補のそれぞれの信頼度を算出する信頼度算出手段を更に含み、
    　前記画像選択提示手段は、前記信頼度に基づいて前記復元画像候補を選択する
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記信頼度算出手段は、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出する
    　ことを特徴とする請求項２記載の画像処理装置。
  4. 　前記信頼度算出手段は、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出する
    　ことを特徴とする請求項２または３記載の画像処理装置。
  5. 　前記信頼度算出手段は、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出する
    　ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記信頼度算出手段は、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出する
    　ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記信頼度算出手段は、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、
    　前記画像選択提示手段は、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力する
    　ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記画像選択提示手段は、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力する
    　ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記信頼度算出手段は、前記特定部分復元画像候補の信頼度を算出することを特徴とする請求項８記載の画像処理装置。
  10. 　前記画像選択提示手段は、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力する
    　ことを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
  11. 　前記信頼度算出手段は、前記分割復元画像候補の信頼度を算出することを特徴とする請求項１０記載の画像処理装置。
  12. 　前記画像群生成手段は、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
    　ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
  13. 　前記画像群生成手段は、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
    　ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
  14. 　前記画像群生成手段は、ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
    　ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
  15. 　前記画像群生成手段は、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成する
    　ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
  16. 　前記複数のパッチペアを格納する辞書手段と、
    　前記パッチペアを作成し、前記辞書手段に出力する学習手段と、を更に含む
    　ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
  17. 　コンピュータが、
    　所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、
    　前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する
    　画像処理方法。
  18. 　前記コンピュータが、
    　前記生成した復元画像候補のそれぞれの信頼度を算出し、
    　前記信頼度に基づいて前記復元画像候補を選択する
    　ことを特徴とする請求項１７記載の画像処理方法。
  19. 　コンピュータに、
    　所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、
    　前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理と、を実行させる
    　画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
  20. 　前記コンピュータに、
    　前記生成した復元画像候補のそれぞれの信頼度を算出する処理と、
    　前記信頼度に基づいて前記復元画像候補を選択する処理と、を実行させる
    　ことを特徴とする請求項１９記載の画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
  21. 　入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成手段と、
    　前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む
    　画像処理装置。
  22. 　コンピュータが、
    　入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、
    　前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する
    　画像処理方法。
  23. 　コンピュータに、
    　入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、
    　前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理と、を実行させる
    　画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
PCT/JP2013/007144 2012-12-06 2013-12-05 画像処理装置及び画像処理方法 WO2014087652A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201380070627.8A CN104969257B (zh) 2012-12-06 2013-12-05 图像处理设备和图像处理方法
US14/648,830 US9679370B2 (en) 2012-12-06 2013-12-05 Image processing device and image processing method
JP2014550930A JP6287855B2 (ja) 2012-12-06 2013-12-05 画像処理装置及び画像処理方法
EP13860561.3A EP2930684B1 (en) 2012-12-06 2013-12-05 Image processing device and image processing method
HK15111625.3A HK1210859A1 (en) 2012-12-06 2015-11-26 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-267402 2012-12-06
JP2012267402 2012-12-06

Publications (1)

Publication Number Publication Date
WO2014087652A1 true WO2014087652A1 (ja) 2014-06-12

Family

ID=50883092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007144 WO2014087652A1 (ja) 2012-12-06 2013-12-05 画像処理装置及び画像処理方法

Country Status (6)

Country Link
US (1) US9679370B2 (ja)
EP (1) EP2930684B1 (ja)
JP (1) JP6287855B2 (ja)
CN (1) CN104969257B (ja)
HK (1) HK1210859A1 (ja)
WO (1) WO2014087652A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205782A (zh) * 2015-09-06 2015-12-30 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
WO2016051640A1 (ja) * 2014-09-30 2016-04-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016127475A (ja) * 2015-01-06 2016-07-11 株式会社リコー 画像処理システム、画像処理方法、及びプログラム
CN107209873A (zh) * 2015-01-29 2017-09-26 高通股份有限公司 用于深度卷积网络的超参数选择
JP2020057373A (ja) * 2018-09-26 2020-04-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法
US11443461B2 (en) 2018-12-27 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus and image processing method for applying random patches to pixel block

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6443540B2 (ja) * 2014-09-03 2018-12-26 日本電気株式会社 画像処理装置、画像処理方法および記憶媒体
CN104199586B (zh) 2014-09-16 2018-04-13 重庆京东方光电科技有限公司 一种阵列基板、内嵌式触摸屏和触控显示装置
EP3156943A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Method and device for clustering patches of a degraded version of an image
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP6554253B2 (ja) * 2017-06-05 2019-07-31 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US11501522B2 (en) * 2017-12-06 2022-11-15 Nec Corporation Image recognition model generating device, image recognition model generating method, and image recognition model generating program storing medium
CN108596863A (zh) * 2018-06-11 2018-09-28 深圳市唯特视科技有限公司 一种基于最佳线性预测的泊松图像去噪方法
JP7291464B2 (ja) * 2018-07-31 2023-06-15 グローリー株式会社 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
US10896483B2 (en) * 2018-12-14 2021-01-19 Adobe Inc. Dynamic content generation system
CN109840890B (zh) * 2019-01-31 2023-06-09 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110569289B (zh) * 2019-09-11 2020-06-02 星环信息科技（上海）有限公司 基于大数据的列数据处理方法、设备及介质
JP2021068062A (ja) * 2019-10-18 2021-04-30 富士ゼロックス株式会社 検索条件特定システム、検索システム及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273328A (ja) 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2011034344A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011197954A (ja) * 2010-03-18 2011-10-06 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4353259B2 (ja) * 2007-02-22 2009-10-28 ソニー株式会社 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
JP2009134350A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 画像の高品質化方法及び装置
WO2009081410A2 (en) * 2007-12-25 2009-07-02 Medic Vision - Brain Technologies Ltd. Noise reduction of images
CN102629373B (zh) * 2012-02-27 2014-05-28 天津大学 基于稀疏表示理论的超分辨率图像获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273328A (ja) 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2011034344A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011197954A (ja) * 2010-03-18 2011-10-06 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. G. LOWE: "Object recognition from local scale-invariant features", PROC. OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV, 1999, pages 1150 - 1157
N. DALAL; B. TRIGGS: "Histograms of oriented gradients for human detection", PROC. OF IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2005, pages 886 - 893, XP010817365, DOI: doi:10.1109/CVPR.2005.177
TAGUCHI; ONO; MITA; IDA: "A Learning Method of Representative Examples for Image Super-Resolution by Closed-Loop Training", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION. D, INFORMATION AND SYSTEMS, vol. J92-D, no. 6, 1 June 2009 (2009-06-01), pages 831 - 842

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016051640A1 (ja) * 2014-09-30 2016-04-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10360515B2 (en) 2014-09-30 2019-07-23 Sony Corporation Information processing apparatus and information processing method to generate image processing algorithm based on achine learning process
US11232353B2 (en) 2014-09-30 2022-01-25 Sony Corporation Information processing apparatus and information processing method to generate image processing algorithm based on machine learning process
JP2016127475A (ja) * 2015-01-06 2016-07-11 株式会社リコー 画像処理システム、画像処理方法、及びプログラム
CN107209873A (zh) * 2015-01-29 2017-09-26 高通股份有限公司 用于深度卷积网络的超参数选择
CN105205782A (zh) * 2015-09-06 2015-12-30 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
JP2020057373A (ja) * 2018-09-26 2020-04-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法
JP7309520B2 (ja) 2018-09-26 2023-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法
US11443461B2 (en) 2018-12-27 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus and image processing method for applying random patches to pixel block
US11954765B2 (en) 2018-12-27 2024-04-09 Samsung Electronics Co., Ltd. Applying random patches to pixel block of an image utilizing different weights

Also Published As

Publication number Publication date
US9679370B2 (en) 2017-06-13
JPWO2014087652A1 (ja) 2017-01-05
EP2930684A1 (en) 2015-10-14
EP2930684A4 (en) 2016-10-19
CN104969257B (zh) 2018-08-28
EP2930684B1 (en) 2021-03-03
HK1210859A1 (en) 2016-05-06
US20150302566A1 (en) 2015-10-22
CN104969257A (zh) 2015-10-07
JP6287855B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
JP6287855B2 (ja) 画像処理装置及び画像処理方法
US8942422B2 (en) Nonlinear self-calibration for structure from motion (SFM) techniques
Dalla Mura et al. Classification of hyperspectral images by using extended morphological attribute profiles and independent component analysis
JP6075295B2 (ja) 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
JP6512100B2 (ja) 画像処理を実行する情報処理装置及び画像処理方法
US20130051685A1 (en) Patch-based synthesis techniques
JP2011176748A (ja) 画像処理装置および方法、並びにプログラム
JP6015670B2 (ja) 画像処理装置及び画像処理方法
Gokhale et al. Attribute-guided adversarial training for robustness to natural perturbations
JP6075294B2 (ja) 画像処理システム及び画像処理方法
WO2013089260A1 (ja) 画像処理システム及び画像処理方法
JP6121302B2 (ja) 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
US10580127B2 (en) Model generation apparatus, evaluation apparatus, model generation method, evaluation method, and storage medium
JP5500404B1 (ja) 画像処理装置及びそのプログラム
CN111861878B (zh) 通过潜在空间正则化对监督式生成对抗网络进行优化
JP2016219879A (ja) 画像処理装置、画像処理方法及びプログラム
JP5337252B2 (ja) 特徴抽出装置
Cosentino et al. Spatial Transformer K-Means
KR101627974B1 (ko) 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치
Zhang et al. Joint nonlocal sparse representation for depth map super-resolution
Shibata et al. Single image super resolution reconstruction in perturbed exemplar sub-space
Yang et al. Abundance estimation for hyperspectral images based on bilinear mixture models
JP6751663B2 (ja) 画像処理装置、画像処理方法
Zimmermann Fast learnable methods for object tracking
JP2013054529A (ja) 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13860561

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014550930

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14648830

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013860561

Country of ref document: EP