JP6443540B2 - 画像処理装置、画像処理方法および記憶媒体 - Google Patents

Description

本発明は、劣化画像を復元する画像処理技術に関する。

超解像は、劣化画像を復元する方法のひとつである。事例ベースの超解像（exemplar based super-resolution）では、訓練セット内の予め特定された高解像度画像および低解像画像のペアを用いて、入力低解像度画像から、より高解像度の画像が再構成される。

事例ベースの超解像方式の例が、特許文献１に開示されている。特許文献１の図１に示されるように、特許文献１に開示の方法は、主に訓練フェーズと推定フェーズとより成る。

特許文献１の図１に説明されるように、訓練フェーズでは、シーン（高解像度；ＨＲ）および画像（低解像度）を合成または測定によって取得する。取得した高解像度および低解像度画像は、その後、特許文献１の図２に示されるように「パッチ」と呼ばれる重複する小片に分割される。各低解像度パッチは、訓練フェーズにおいて、対応する高解像度パッチにペアとして紐付けられる。

推定フェーズでは、未知画像もまたパッチに分割される。未知画像の各パッチに関して、訓練データを探索して、未知パッチを最も良く説明する候補の集合を見つける。パッチの選択は、該候補パッチの集合の中で最高スコア（例えば、最小のＬ２ノルム、すなわち最近傍）を有する訓練パッチを選択することによって決定される。その後、これらの選択された訓練パッチを組み合わせることによって、推定シーンが再構成される。

事例ベースの超解像方式の別の例が、特許文献２に開示されている。特許文献２も、また、訓練フェーズおよび推定フェーズを含む画像処理装置を開示する。訓練フェーズはまた、辞書がデータおよび関連する不鮮明なパッチを記憶することを含む。特許文献２の推定フェーズでは、入力パッチと辞書内の不鮮明なパッチとの間における重み付き類似度が算出される。重みは、辞書内の候補ＨＲパッチに対する選択されたＨＲの類似性に依存する危険度（degree of doubt）（Ｋ）を用いて算出される。最低の危険度（Ｋ）を有するパッチを組み合わせることによって、推定シーンが再構成される。

特許文献３は、データベースからの最類似オブジェクトの選択、スコア算出およびデータベースからの類似オブジェクトのソートの３つのフェーズを主に含むオブジェクト認識方法を開示する。スコア算出には、クエリー特徴ベクトルおよびデータベース特徴ベクトル間の類似性を見積もる類似性スコアが含まれる。各タイプのオブジェクトが１つのＩＤを有するように、データベース内のオブジェクトに対してＩＤ（識別子）番号が割り当てられる。類似スコアは、クエリーおよび同ＩＤのデータベースオブジェクト間のスコアの和によって算出される。

米国特許第６４９６１８４号明細書 国際公開第２０１３／０８９２６１号 国際公開第２０１１／０２１６０５号

再構成画像は、通常鮮明でなく、元の対象の本物の細部を欠くため、特許文献１で開示される方法によって再構成される高解像度画像は、監視カメラでの顔認識には通常適していない。

特許文献１によって開示される方法では、各位置において、１つのパッチ（通常、最近傍パッチ）の情報のみが推定フェーズで用いられる。データベースには、観測されたパッチを良好に説明する１より多くのシーンのパッチが存在し得、通常それらは異なる対象に由来するため、各位置において１つのみのパッチの情報を用いることは、通常、多くの異なる対象から選択されたパッチに帰結する。

選択されたパッチは異なる対象に由来するため、高解像度画像を形成するために選択された重複するパッチを組み合わせる間に、選択されたパッチ上のいくつかの細部が平均化され、鮮明でない高解像度画像が作成される。

さらに、多すぎる異なる対象からパッチを得ることは、また、結果として得られる高解像度画像に、元の対象の本物の細部をなくさせる。

特許文献２による方法では、危険度（Ｋ）で候補パッチを重み付けすることにより、上記した課題を解決しようとしている。しかしながら、危険度（Ｋ）は、同じ位置での候補パッチ間の類似性を測定するのみである。周囲位置にある候補パッチは考慮注目されない。多くの異なる対象よりパッチを選択すること、そしてそのために、重複を通して画像の細部が平均化されるという課題は解決されていない。

特許文献３による方法では、クエリーと辞書内の同じＩＤ（同じタイプ）のオブジェクトとの間のスコアを合計することによって類似スコアを算出する。画像パッチを考慮する代わりに、スコア算出においてクエリー画像の全体が考慮される。特許文献３による方法は、劣化画像を復元する目的で類似パッチを選択することの役に立たない。

特許文献１および特許文献２の方法は、監視カメラでの顔認識に十分に鮮明な画像を生み出さず、特許文献３の方法は、類似スコアの算出においてオブジェクト画像を全体として考慮するが、特許文献３の方法では、劣化画像の再構成のために類似するパッチを選択することができない。

本発明は、鮮明な高解像度画像を再構成することが可能であり、再構成された画像が元の未知入力画像と同様であるように、上述の方法における課題を解決することを目指す。

本発明の一態様に係る画像処理装置は、ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられる、推定手段と、前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段と、を備える。

本発明の一態様に係る画像処理方法は、ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられ、前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出し、前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択する。

本発明の一態様に係るコンピュータ読み取り可能な記憶媒体は、コンピュータを、ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチと関連付けられる、推定手段と、前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段として動作させるプログラムを記憶する。上述のコンピュータ読み取り可能な記憶媒体に格納されているプログラムも、本発明の一態様を実現する。

本発明の一態様によれば、元の未知入力画像と同様である鮮明な高解像度画像を再構成することが可能である。

図１は、異なる対象ＩＤをもつパッチによる再構成画像と、同じ対象ＩＤをもつパッチによる再構成画像との差異を概略的に示す図である。 図２は、本発明の第１の実施形態に係る画像処理装置２００の構成を示すブロック図である。 図３は、画像分割部２０４により分割された重複するパッチの例を示す図である。 図４は、本発明の第１および第２の実施形態による画像処理装置２００の、訓練フェーズにおける動作の例を示すフローチャートである。 図５は、本発明の第１の実施形態に係る、訓練フェーズにおける画像処理装置２００を示すブロック図である。 図６は、本発明の第１の実施形態に係る画像処理装置２００の、再構成フェーズにおける動作を示すフローチャートである。 図７は、本発明の第１の実施形態に係る、再構成フェーズにおける画像処理装置２００を示すブロック図である。 図８は、注目中のパッチの周辺の、周囲領域の例を示す図である。 図９は、本発明の第２および第３の実施形態に係る画像処理装置５００の構成を示すブロック図である。 図１０は、本発明の第２および第３の実施形態に係る、訓練フェーズにおける画像処理装置５００を示すブロック図である。 図１１は、本発明の第２および第３の実施形態に係る、再構成フェーズにおける画像処理装置５００を示すブロック図である。 図１２は、本発明の第２および第３の実施形態に係る画像処理装置５００の、再構成フェーズにおける動作の例を示すフローチャートである。 図１３は、対象ＩＤマップを視覚化した例を示す図である。 図１４は、本発明の第３の実施形態に係る画像処理装置５００の、訓練フェーズにおける動作の例を示すフローチャートである。 図１５は、本発明の第４の実施形態に係る画像処理装置２００Ａの構成の例を示すブロック図である。 図１６は、本発明の実施形態に係る画像処理装置を実現することができるコンピュータ１０００のハードウェア構成の例を示すブロック図である。

＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照しながら詳細に説明する。

図２は、本発明の第１の実施形態による画像処理装置２００の構成を示すブロック図である。

画像処理装置２００は、入力部２０１、画像合成部２０２、画像ＩＤ登録部２０３、画像分割部２０４、画像記憶部２０５、未知画像入力部２０６、推定部２０７、スコア算出部２０８、パッチ置換部２０９および画像再構成部２１０を含む。推定部２０７は、本発明の実施形態の説明において、第１のスコア算出部２０７とも記載される。

入力部２０１は、以下において単に「入力顔画像」または「入力画像」と記述される、高解像度入力顔画像を受信する。高解像度入力顔画像は、例えば、顔データベースまたは顔辞書を作成するために顔を撮影することによって得られる画像であってよい。

画像合成部２０２が、入力部２０１によって受信された顔画像を正規化する。すなわち、画像合成部２０２は、例えば、全ての入力顔画像の、例えば目、鼻および口等の顔パーツ上の、所定の種類の特徴点が、顔画像内で、それぞれ同じまたはほぼ同じ位置であるように、各入力顔画像を変換する。画像合成部２０２が、顔画像から、顔パーツおよび顔パーツ上の所定の特徴点を検出してもよい。画像合成部２０２が顔パーツおよび顔パーツ上の所定の特徴点を検出する方法として、様々な顔認識方法を用いることができる。画像合成部２０２による入力顔画像の変換方法として、様々な顔画像変換方法を用いることができる。画像合成部２０２によって正規化される入力顔画像は、以下において、「正規化顔画像」、「正規化画像」または「正規化入力画像」と記述される。例えば入力画像が既に正規化されている場合は、画像合成部２０２は入力画像を正規化しなくてよい。

画像ＩＤ登録部２０３が、入力顔画像の識別情報（identity）に応じて、入力顔画像に対してそれぞれＩＤを割り当て、以下において「対象ＩＤ」ともそれぞれ表記される、そのＩＤを登録する。入力顔画像の識別情報は、それぞれ、顔画像内で撮像されている顔をもつ人物の識別情報であってもよい。ＩＤの各々は、固有のデータ値であってもよい。

画像分割部２０４が、入力画像から、重複するパッチを生成する。具体的には、画像分割部２０４が、正規化顔画像の各々を、重複するパッチに分割する。重複するパッチは、それぞれ、正規化顔画像のうちのひとつの、一部分の画像である。重複するパッチは、それらの間で重複してよく、すなわち、重複するパッチの２つ以上が、共通の部分を有していてもよい。この重複するパッチは、以下において、単に「パッチ」、「入力パッチ」または「辞書パッチ」と記述される。パッチのサイズは、任意に、または経験によって決められてよく、予め決定されていてもよい。各々のパッチのサイズは、同じであってよい。画像分割部２０４が、各々のパッチについて、パッチに、そのパッチに分割される正規化顔画像へと正規化される入力顔画像のＩＤを関連付ける。画像分割部２０４が、ＩＤとパッチとを、画像記憶部２０５に格納する。

画像記憶部２０５が、入力顔画像のＩＤと、その入力顔画像から分割されたパッチとを記憶する。

未知画像入力部２０６は、その識別情報が画像処理装置２００に与えられない、低解像度未知顔画像を受信する。低解像度未知顔画像の解像度は、入力顔画像の解像度より低くてよい。低解像度未知顔画像は、以下において、「未知顔画像」、「入力クエリー画像」または「未知画像」と記述される。低解像度の未知顔画像は、例えば、防犯システムに含まれるカメラで取得した監視画像から抽出した顔画像であってよい。

画像分割部２０４が、未知顔画像から重複するパッチを生成する。具体的には、入力顔画像を分割するのと同様に、画像分割部２０４は、また、未知顔画像を重複するパッチに分割する。未知顔画像から生成される重複するパッチは、以下において、「低解像度未知顔画像パッチ」、「未知顔画像パッチ」または「未知パッチ」と記述される。未知顔画像パッチの各々は、未知顔画像の一部分の画像である。未知顔画像パッチのサイズは、辞書パッチのサイズと同じであってよい。

推定部２０７が、画像記憶部２０５に格納されているパッチの中から、低解像度未知顔画像パッチの各々を最もよく説明する候補パッチのセットを選択する。推定部２０７は、例えば、２つの画像の間の類似性を推定する様々な方法のうちのひとつによって、未知顔画像パッチの各々と、画像記憶部２０５に格納されているパッチの各々との間の類似度を推定してもよい。推定部２０７は、以下に記載されるＬ２ノルム距離を比較することによって類似性を推定してもよい。推定部２０７が、画像記憶部２０５に格納されているパッチの中から、類似性の推定結果に基づいて、パッチを候補パッチとして選択してもよい。対象の未知顔画像パッチに最も類似するパッチは、対象の未知顔画像パッチの「最近傍パッチ」と記述される。言い換えると、推定部２０７は、対象の未知顔画像パッチのそれぞれに対して最も類似するパッチを最近傍パッチとして決定することによって、最近傍パッチを推定してもよい。推定部２０７は、最近傍パッチを推定し、未知画像顔パッチの各々について、最近傍パッチを選択パッチとして選択してもよい。

スコア算出部２０８が、推定部２０７によって選択された候補パッチのスコアを算出する。

パッチ置換部２０９が、未知顔画像パッチの各々について、スコア算出部２０８により算出された、最も高いスコアをもつパッチを選択する。パッチ置換部２０９は、推定部２０７により推定された最近傍パッチである選択パッチを、スコア算出部２０８により算出された最高スコアをもつパッチで置換してもよい。

画像再構成部２１０は、そのそれぞれが、パッチ置換部２０９によって置換されていない最近傍パッチであるかまたは最も高いスコアをもつ置換されたパッチである、選択パッチを組み合わせて、高解像度画像を再構成する。

図３は、画像分割部２０４により分割された重複するパッチの例を示す図である。図３に示すブロックは、入力画像または未知画像などである分割画像上の１つまたは複数の画素をそれぞれ含む領域である。例えば図３に示すパッチＡ、パッチＢ、パッチＣおよびパッチＤであるパッチは、画像を分割することにより生成される重複するパッチの例である。パッチは、１つまたは複数の他のパッチと重複していてもよい。

次に、画像処理装置２００の動作について、図面を参照しながら詳細に記載する。

図４は、画像処理装置２００の、訓練フェーズにおける動作の例を示すフローチャートである。

図５は、訓練フェーズにおける、画像処理装置２００を示すブロック図である。訓練フェーズにおいて、画像処理装置２００内で動作する部は、例えば、入力部２０１、画像合成部２０２、画像ＩＤ登録部２０３、画像分割部２０４および画像記憶部２０５である。図５では、他の部を破線で描かれている。

図４によれば、入力部２０１が、入力顔画像を受信する（ステップＳ１０１）。入力顔画像は、高解像度顔画像を記憶するサーバ（図示せず）によって入力されてもよい。入力部２０１が、高解像度顔画像を記憶する記憶装置（図示せず）から、入力顔画像を読み出してもよい。入力部２０１はまた、ステップＳ１０１において入力顔画像の識別情報を受信してもよい。

次に、画像合成部２０２が、入力顔画像を正規化する（ステップＳ１０２）。画像ＩＤ登録部２０３が、入力顔画像にＩＤを割り当てる（ステップＳ１０３）。

画像分割部２０４が、画像合成部２０２によって正規化された入力画像である正規化顔画像を、重複するパッチに分割する（ステップＳ１０４）。ステップＳ１０４では、画像分割部２０４が、各パッチとして、正規化された入力画像内の異なる位置において部分的な画像を抽出してもよい。画像分割部２０４は、例えば所定のルールに従って、正規化された入力顔画像がパッチでカバーされるように、正規化された入力顔画像内においてパッチの位置を決定してもよい。重複するパッチは、１つまたは複数の他の重複するパッチに部分的に重複してもよい。

画像分割部２０４は、パッチの各々をＩＤと関連付ける（ステップＳ１０５）。画像分割部２０４は、ＩＤとそのＩＤに関連付けられたパッチとを、画像記憶部２０５に格納する（ステップＳ１０６）。画像処理装置２００の利用者が、画像処理装置２００と通信可能に接続されている端末装置（図示せず）を介して、訓練フェーズを終了するように指示してもよい。画像処理装置２００は、訓練フェーズ終了の条件によって訓練フェーズが終了されるかどうかを決定してもよい。訓練フェーズが終了する場合（ステップＳ１０７においてＹｅｓ）、図４に示す動作は終了する。訓練フェーズが終了しない場合（ステップＳ１０７においてＮｏ）、画像処理装置２００は、ステップＳ１０１からステップＳ１０６の動作をもう一度行う。

図６は、再構成フェーズにおける、画像処理装置２００の動作を示すフローチャートである。

図７は、再構成フェーズにおける、画像処理装置２００を示すブロック図である。再構成フェーズにおいて、画像処理装置２００内で動作する部は、例えば、画像分割部２０４、画像記憶部２０５、未知画像入力部２０６、推定部２０７、スコア算出部２０８、パッチ置換部２０９および画像再構成部２１０である。図７では、他の部は破線で描かれている。

図６によれば、まず、未知画像入力部２０６が、低解像度の未知顔画像を受信する（ステップＳ２０１）。そして、画像分割部２０４が、その未知顔画像を、重複する未知顔画像パッチに分割する（ステップＳ２０２）。上述のように、未知顔画像パッチのサイズは、任意に、または経験によって決定できる。

推定部２０７は、未知顔画像の各位置で候補パッチのセットを選択する。その「位置」は、未知顔画像パッチのうちのひとつを指していてもよい（ステップＳ２０３）。この場合、ステップＳ２０３で、推定部２０７は、画像記憶部２０５に格納されたパッチの中から、未知顔画像パッチの各々を最も良く説明する候補パッチのセットを選択する。推定部２０７は、ＩＤの各々と関連するパッチの中から、候補パッチのひとつとして、未知顔画像パッチの各々に最も類似するパッチを選択してもよい。推定部２０７は、未知顔画像パッチの各々について、ＩＤの各々と関連するパッチの中から多くて１つの候補パッチを選択してもよい。未知顔画像パッチの各々について、推定部２０７は、未知顔画像パッチに対する類似度が閾値を超える入力パッチを、その未知顔画像パッチの候補パッチとして選択してもよい。推定部２０７は、例えば、対象の未知顔画像パッチに対する類似度に基づいて、セット内で一連の候補パッチを決定し、セット内の候補パッチのそれぞれに連続番号を割り当ててもよい。ステップＳ２０３では、推定部２０７が、各未知顔画像パッチについての選択パッチとして、未知顔画像パッチに最も類似するパッチである最近傍パッチを暫定的に選択してもよい。

スコア算出部２０８が、推定部２０７によって未知顔画像パッチについて選択された候補パッチのスコアを算出する（ステップＳ２０４）。数１は、候補パッチのスコアを算出する式の例を示す。候補パッチのそれぞれが、ＩＤのうちのひとつと関連付けられる。従って、各候補パッチについて、候補パッチのスコアは、候補パッチと関連付けられているＩＤのスコアとみなされる。スコアは、ＧＬＶＱ（Ｇｅｎｅｒａｌｉｚｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）の誤分類尺度で算出される。数１に示す式は、候補パッチの各々に関するＩＤの各々のスコアを表す。スコア算出部２０８は、例えば、数１によって表される式に従って、候補パッチの各々のスコアを算出する。以下に記載する数１および数２において、ｒは候補パッチに割り当てられる連続番号であり、ｄ（ｒ）は例えば未知画像パッチおよびｒ番目の候補パッチ間のＬ２ノルム距離である。上記したように、１番目のパッチは最近傍パッチである。

候補パッチのスコアを算出する式の別の例が、単にスコアおよびＬ２ノルム距離間の反比例関係を用いる、数２に示されている。

スコア算出部２０８は、ＩＤの各々について、位置の各々を囲む或る領域内で、同じＩＤと関連付けられた候補パッチのスコアの和を算出する（ステップＳ２０５）。上述のように、その「位置」は、未知顔画像パッチのうちのひとつを指していてもよい。この場合、スコア算出部２０８が、ＩＤの各々について、未知顔画像パッチの各々を囲む或る領域内で同じＩＤと関連付けられた候補パッチのスコアの和を算出する。或る領域とは、例えば、選択された未知顔画像パッチを３×３個の未知顔画像パッチの中心として囲む、３×３個の未知顔画像パッチである。或る領域は、３×３個の未知顔画像パッチ以外であってよい。或る領域内の未知顔画像パッチを、以下において、「局所未知パッチ」とも記述される。

スコア算出部２０８は、選択されていない位置の中からひとつの位置を選択する（ステップＳ２０６）。上記したように、その「位置」とは、未知顔画像パッチのうちのひとつを指してもよい。ステップＳ２０６では、スコア算出部２０８は、選択されていない未知顔画像パッチの中からひとつの未知顔画像パッチを選択してもよい。

図８は、注目中のパッチの周辺の周囲領域のスコアの例を示す図である。四角形のグループ４０１は、入力画像に対する候補パッチに関する、対象ＩＤの１つについてのスコアを表す。四角形４０２の各々は、スコアを表し、そのスコアは以下において「スコア４０２」と記述される。候補パッチの各々のＩＤの各々のスコア４０２は、例えば数１によって算出される。スコア算出部２０８は、注目中のパッチ４０３を囲むハッチングを付した四角形４０４として描かれている、或る領域内の候補パッチの各々のＩＤの各々についてのスコア４０２を合計する。対象ＩＤの各々について、領域４０４におけるスコアの和がある。周囲領域４０４の領域のサイズは、任意に、または経験によって決定される。図８に示す例では、周囲領域は３×３のパッチである。未知顔画像パッチのそれぞれについて、スコア算出部２０８によって算出されたそのスコアの和が最も高いＩＤを、以下において、「最高スコアＩＤ」と記載する。

パッチ置換部２０９が、例えば、ステップＳ２０６、ステップＳ２０７およびステップＳ２０８の動作によって、選択された未知画像パッチの対象ＩＤの中から、スコアが最も高い対象ＩＤと関連付けられている候補パッチを選択する。

最高スコアＩＤが最近傍パッチのＩＤと同じでない場合（ステップＳ２０７でＮＯ）、パッチ置換部２０９が、推定部２０７で推定された最近傍パッチを、スコア算出部２０８で算出された最高スコアをもつ、上記「ＩＤ」とも記述される対象ＩＤから取得されるパッチで置換する（ステップＳ２０８）。ステップＳ２０８では、パッチ置換部２０９が、推定部２０７によって推定された最近傍パッチの代わりに、スコア算出部２０８で算出された最高スコアをもつ対象ＩＤから取得されるパッチを選択する。最高スコアＩＤが、最近傍パッチのＩＤと同じであれば（ステップＳ２０７でＹＥＳ）、パッチの置換なしに最近傍が選択される（ステップＳ２０９）。選択されていない位置があれば（ステップＳ２１０でＮＯ）、画像処理装置２００はステップＳ２０６からの動作を繰り返す。ステップＳ２０５からステップＳ２１０の動作は、画像上の全てのパッチについて繰り返される。

画像上の全てのパッチについてステップＳ２０６からステップＳ２１０の動作を繰り返すと（ステップＳ２１０でＹＥＳ）、画像再構成部２１０は、ステップＳ２０８またはステップＳ２０９で選択される、選択パッチを組み合わせて高解像度画像を再構成する（Ｓ２１１）。画像再構成部２１０は、例えば、選択パッチの重複する領域において平均を取ることによって、または選択パッチの重複する領域の線形結合を取ることによって、選択パッチを組み合わせる。

パッチ置換部２０９が、選択パッチの重複する領域に細部を残しながら、いくつかの最近傍パッチを、少数のみの対象に由来するパッチで置換するので、第１の実施形態係る画像処理装置２００によって、平均顔とはかけ離れた、より鮮明な高解像度画像を構成することが可能である。

スコア算出部２０８が、付加的な、対象ＩＤおよび空間情報を用いて全ての候補パッチに対してスコアを算出し、高いスコアを有するパッチはほんの少数の対象に由来する傾向があるので、少数の対象に由来するパッチのみが、高解像度画像を再構成に用いられる。

鮮明な高解像度画像および元画像と同様の画像を再構成するために、画像処理装置２００は、パッチの対象ＩＤおよび空間情報の付加的な情報を用いる。

画像処理装置２００は、訓練フェーズ中に画像パッチの対象ＩＤを登録する。パッチ置換についての追加のステップがまた、再構成フェーズに追加される。パッチ置換ステップでは、対象ＩＤ情報および空間情報（入力クエリー画像上の各位置での周囲パッチ情報）を用いて、どの候補パッチが未知の観測パッチを最も良く説明するかを判定する。

入力クエリー画像上の各位置で、或る領域内（例えば、周囲の８個のパッチの領域）の周囲の候補パッチ全てに対して対象ＩＤのスコアが算出される。注目中の領域内で最も高いスコアをもつ対象ＩＤに由来するパッチに、他の候補パッチよりもより大きな重みが与えられることとなる。従って、周囲領域内で選択されるパッチをもつ対象ＩＤに由来するパッチが、その位置で選択される可能性が高い。

画像処理装置２００により、再構成画像は、背景技術として上で述べた文書に開示された方法で再構成されるものよりも、より鮮明となる。その理由は、画像処理装置２００が、選択パッチ内の細部を保ちながら、同じ対象ＩＤからより多くのパッチが選ばれるのを保証するからである。図１は、異なる対象ＩＤをもつパッチによる再構成画像と、同じ対象ＩＤをもつパッチによる再構成画像との差異を概略的に示す図である。図１に示すように、例えば、図の左側で、異なる対象ＩＤから選択された他のパッチによって、重複の間に、黒いドット（細部）は平均化される一方、同じ対象ＩＤから選択されたパッチは全て同じ位置にある黒いドット（細部）を有するので、黒いドットが保たれ、そのため細部は平均化されず、より鮮明な画像を生み出す。

画像処理装置２００は、また、未知入力画像のグランドトゥルース（ground truth）に、より近い高解像度画像を生み出す。その理由は、画像処理装置２００が、得られる画像が不鮮明であること（多すぎる対象ＩＤからのパッチの混合からなること）を防ぐからである。同類（mate）画像がデータベース内に含まれれば、画像処理装置２００は、主として同類画像からのパッチを用いてグランドトゥルースに近い高解像度画像を再構成することが可能である。同類画像がデータベース内に含まれていなければ、画像処理装置２００は、やはり、ほんの少数の対象から選択されるパッチで鮮明な画像を再構成する。そのため、再構成に用いられる対象の数が、データベース内に同類のものが登録されているかどうかを判断する助けとなりうる。

＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照しながら詳細に説明することとする。

図９は、本発明の第２の実施形態に係る画像処理装置５００の構成を示すブロック図である。

画像処理装置５００は、第１の実施形態の画像処理装置２００に含まれる構成要素と同じ構成要素を含む。画像処理装置２００に含まれる構成要素の符号と同じ符号が、画像処理装置２００内に含まれる構成要素と同じ構成要素に割り当てられる。それらの構成要素の詳細な説明は省略する。画像処理装置５００は、ＩＤマップ作成部５０９および第２のスコア算出部５１０をさらに含む。

ＩＤマップ作成部５０９が、低解像度未知入力画像のパッチの各々における、最高スコア対象ＩＤを用いて、ＩＤマップを作成する。第２のスコア算出部５１０が、対象ＩＤの各々によって占有される領域を考慮に入れて、推定部２０７によって取得された全ての候補パッチのスコアを算出し直す。

次に、この実施形態による画像処理装置の動作について、図面を参照しながら詳細に説明することとする。

図１０は、訓練フェーズにおける、画像処理装置５００を示すブロック図である。訓練フェーズにおいて、画像処理装置２００のうちで動作する部は、例えば、入力部２０１、画像合成部２０２、画像ＩＤ登録部２０３、画像分割部２０４および画像記憶部２０５の各部である。図１０では、他の部は破線で描かれている。

図４は、訓練フェーズにおける、画像処理装置５００の動作の例を示すフローチャートである。訓練フェーズにおける画像処理装置５００の動作は、訓練フェーズにおける第１の実施形態による画像処理装置２００の動作と同じである。従って、訓練フェーズにおける画像処理装置５００の動作の詳細な説明は省略する。

図１１は、再構成フェーズにおける、画像処理装置５００を示すブロック図である。再構成フェーズにおいて、画像処理装置５００内で動作する部は、例えば画像分割部２０４、画像記憶部２０５、未知画像入力部２０６、推定部２０７、スコア算出部２０８、ＩＤマップ作成部５０９、第２のスコア算出部５１０、パッチ置換部２０９および画像再構成部２１０である。図１１では、他の部は破線で描かれている。

図１２は、再構成フェーズにおける、画像処理装置５００の動作の例を示すフローチャートである。

図１２に示すステップは、ステップＳ３０１、ステップＳ３０２およびステップＳ３０３を除いて、図６に示す第１の実施形態のステップと同じである。図６に示すステップの符号と同じ符号が図６に示すステップと同じステップに割り当てられており、それらのステップの詳細な説明は省略する。

スコア算出部２０８が、推定部２０７によって選択される全ての候補パッチのスコアを算出すると（ステップＳ２０４）、ＩＤマップ作成部５０９が、注目中の未知顔画像パッチの周囲領域内で最高スコアをもつ対象ＩＤで、未知顔画像パッチの各々にラベル付けする（ステップＳ３０１）。未知顔画像内の、位置、すなわち、未知顔画像パッチのそれぞれに関して、ＩＤマップ作成部５０９は、未知顔画像パッチのラベルとして、未知顔画像パッチの周囲領域内で最高スコアをもつ対象ＩＤを選択する。ＩＤマップ作成部５０９は、未知入力画像の全ての未知顔画像パッチにラベル付けした後、ＩＤマップ作成部５０９は、未知入力画像のための対象ＩＤマップを作成、すなわち生成する（ステップＳ３０２）。対象ＩＤマップは、未知顔画像パッチの各々について、未知顔画像パッチを、その未知顔画像パッチについて選択されている対象ＩＤと関連付ける表であってよい。

図１３は、対象ＩＤマップの視覚化した例を示す図であり、同じパターンをもつ領域は、同じ対象ＩＤでラベル付けされた領域を示す。

第２のスコア算出部５１０が、推定部２０７によって得られた候補パッチの各々のスコアを算出する（ステップＳ３０３）。数３は、候補パッチの各々のスコアの例を示す数式であり、各対象ＩＤでラベル付けされた面積（area）に比例する重みと共に、ＧＬＶＱの誤分類尺度で算出される。

ここで、ａｒｅａ（ＩＤ）は、ＩＤマップにおいてＩＤでラベル付けされたパッチの数である。

第２のスコア算出部５１０が、対象ＩＤによりラベル付けされた領域に比例する重みを用いるスコアを算出し直すので、第２の実施形態による画像処理装置５００は、パッチが選択される対象の数をさらに限定する。未知入力画像上で、より大きな面積を占有する対象ＩＤからのパッチは、第２のスコア算出部５１０においてより高いスコアを得る可能性が高いだろう。従って、画像再構成部２１０は、未知顔画像と比較してより鮮明な画像を再構成することができる。入力部２０１が同類画像を受信し、その後画像記憶部２０５が同類画像パッチを記憶する場合、第２の実施形態は、同類画像パッチから選択されるパッチを増やし、元の同類画像に近い画像を再構成する。

＜第３の実施形態＞
次に、本発明の第３の実施形態について、図面を参照しながら詳細に説明することとする。

本発明の実施形態においては、高解像度の細部が、訓練データベースに含まれる同類顔画像を用いて、縮小されぼかされた顔画像から推定される。

図９は、この実施形態による画像処理装置５００の構成の例を示す図である。この実施形態による画像処理装置５００は、第２の実施形態による画像処理装置５００の構成と同じ構成を有する。この実施形態による画像処理装置５００の各構成要素は、以下の違いを除き、第２の実施形態による画像処理装置５００において同じ符号をもつ構成要素と同じである。

画像合成部２０２は、入力画像を正規化することによって、「訓練画像」と記述される正規化入力画像を生成する。画像合成部２０２は、さらに、正規化入力顔画像を劣化させることによって、すなわち、縮小すること及び／又はぼかすことによって、劣化訓練画像を生成する。画像合成部２０２は、劣化訓練画像の劣化レベルが、低解像度未知入力画像（すなわち、低解像度未知顔画像）と同様であるように、正規化入力顔画像を劣化させる（例えば、縮小させ、そして、ぼかす）。低解像度未知入力画像（低解像度未知顔画像）の劣化レベルは、例えば、M. Nishiyama, A. Hadid, H. Takeshima, J. Shotton, T. Kazakaya, O. Yamaguchi, "Facial Deblur Inference using subspace analysis for recognition of blurred faces", IEEE Trans. Pattern Anal. Mach. Intell., Vol. 44, no. 4, pp. 838-845, 2011に記載される部分空間解析によって推定できる。劣化レベルは、画像処理装置５００と通信可能に接続される端末装置（図示せず）を介して、画像処理装置５００の利用者によって手で決定されてもよい。

画像分割部２０４は、訓練画像を重複するパッチに分割する。訓練画像を分割することによって生成される重複するパッチは、以下において、「訓練パッチ」または「高解像度訓練パッチ」と記述される。画像分割部２０４は、さらに、劣化訓練画像を重複するパッチに分割する。劣化訓練パッチを分割することによって生成される重複するパッチは、以下において、「劣化訓練パッチ」と記述される。画像分割部２０４は、各劣化訓練パッチが、訓練パッチのうちのひとつの劣化画像であるように、訓練画像および劣化訓練画像を分割する。各劣化訓練パッチに関して、画像分割部２０４は、劣化訓練パッチと、劣化画像がその劣化訓練パッチである高解像度訓練パッチとのペアを生成する。劣化訓練パッチおよび訓練パッチのペアを、以下において、「パッチペア」と記載する。画像分割部２０４は、さらに、各訓練画像について、訓練画像から生成される各パッチペアを、その訓練画像の対象ＩＤと関連付ける。画像分割部２０４は、対象ＩＤと、それぞれが対象ＩＤのうちのひとつと関連付けられる画像ペアとを、画像記憶部２０５に格納する。それらのパッチペアに含まれる１つのパッチペアと関連付けられる対象ＩＤは、また、そのパッチペア内に含まれる劣化訓練パッチと訓練パッチとに関連付けられる。

画像記憶部２０５は、入力画像の対象ＩＤと、それぞれ対象ＩＤのうちのひとつと関連付けられるパッチペアとを記憶する。

推定部２０７は、入力クエリーパッチの各々について、画像記憶部２０５に格納されるパッチペアに含まれる劣化訓練パッチの中から、候補パッチのセットを選択する。入力クエリーパッチは、低解像度の未知顔画像（すなわち、入力クエリー画像）が、画像分割部２０４によって分割された、重複するパッチである。推定部２０７は、入力クエリーパッチの各々について、各対象ＩＤと関連付けられる劣化訓練パッチの中で、入力クエリーパッチに最も類似する劣化訓練パッチを、その入力クエリーパッチのための候補パッチのひとつとして、選択してもよい。

画像再構成部２１０は、パッチ置換部２０９により置換されていない最近傍パッチおよび最高スコアをもつ置換されたパッチである、選択された劣化訓練パッチを含むパッチペアに含まれる訓練パッチを組み合わせて、高解像度画像を再構成する。

次に、この実施形態による画像処理装置５００の動作について、図面を参照しながら詳細に説明することとする。

図１４は、訓練フェーズにおける、この実施形態による画像処理装置５００の動作の例を示すフローチャートである。図４に示すステップと同じであるステップに、同じ符号が割り当てられるものとし、それらのステップの説明は省略する。

画像合成部２０２は、正規化入力画像（すなわち、正規化された高解像度顔画像）を劣化させることによって訓練画像を生成する（ステップＳ４０１）。訓練画像は、正規化高解像度顔画像から取得される。訓練フェーズでは、画像合成部２０２は、劣化レベルが低解像度未知入力画像と同様であるように、訓練画像を縮小しそしてぼやけさせる。上述のように、低解像度画像の劣化レベルは、例えば、非特許文献２に記載される部分空間解析によって推定可能である。訓練画像は、任意の劣化レベルまで、手で縮小され、ぼかされてもよい。縮小し、ぼかした後、画像分割部２０４が、訓練画像を、重複するパッチすなわち高解像度訓練パッチ（訓練パッチ）に分割する（ステップＳ１０４）。画像分割部２０４は、また、劣化訓練画像を、重複するパッチに、すなわち劣化訓練パッチに分割する（ステップＳ４０２）。画像分割部２０４は、劣化訓練パッチの各々を関連する高解像度訓練パッチと紐付け、紐付けられた劣化訓練パッチと高解像度パッチとを含むパッチペアを作成する。訓練画像の各々の対象ＩＤは、また、訓練パッチペアの各々が対象ＩＤをもつように、訓練フェーズで画像ＩＤ登録部２０３によって登録される。対象ＩＤは、訓練画像内の撮像された顔の識別情報に対応するように割り当てられることが可能である。対象ＩＤは、例えば性別、年齢等の、画像の他の特徴に従って、割り当てられ、分類されてもよい。

図１２は、再構成フェーズにおける、この実施形態による画像処理装置５００の動作の例を示すフローチャートである。以下の説明は、主に、本実施形態に係る画像処理装置５００の動作と第２の実施形態に係る画像処理装置５００の動作との差異を中心に行う。第２の実施形態に係る画像処理装置５００の動作と同じ動作の詳細な説明は省略する。

再構成フェーズにおいて、低解像度のぼかされた未知顔画像がシステムに入力される（ステップＳ２０１）。画像分割部２０４は、未知入力画像を、重複するパッチに、すなわち、入力クエリーパッチに分割する（ステップＳ２０２）。入力クエリーパッチの各々について、推定部２０７は、辞書（すなわち、画像記憶部２０５）内の劣化訓練パッチの中で入力クエリーパッチに最も近い候補パッチのセットを探索し選択する（ステップＳ２０３）。セット内の候補パッチの各々は、対象ＩＤをもつ。入力クエリーパッチの各々について、スコア算出部２０８は、候補パッチのセット内の対象ＩＤの各々のスコアを算出し、それにより、最後に入力クエリーパッチの各々における、対象ＩＤの各々のスコアが得られる（ステップＳ２０４）。

スコア算出部２０８は、入力クエリーパッチの各々を囲む領域において、対象ＩＤの各々のスコアの和を算出する（ステップＳ２０４）。その領域は、人手で、または経験によって決定可能である。例えば、和を算出される上記領域が、各入力クエリーパッチを囲む３×３パッチ内の領域であるように設定されうる。ＩＤマップ作成部５０９は、注目中の領域においてスコアの和が最大である対象ＩＤで、注目中の入力クエリーパッチをラベル付けする（ステップＳ３０１）。すなわち、ＩＤマップ作成部５０９が、入力クエリーパッチの各々を囲む領域においてそのスコアの和が最大である対象ＩＤを選択する。ＩＤマップ作成部５０９が￥は、選択された対象ＩＤおよび入力クエリーパッチの各々の位置に従って、対象ＩＤマップを生成する（ステップＳ３０２）。全ての入力クエリーパッチがラベル付けされると、対象ＩＤマップが得られる。

第２のスコア算出部５１０は、その後、対象ＩＤマップ上の対象ＩＤの面積でスコアを重み付けすることによって、入力クエリーパッチの各々における対象ＩＤの各々の候補パッチのスコアを再計算する（ステップＳ３０３）。選択された入力クエリーパッチに関して、パッチ置換部２０９は、高解像度画像の再構成のために、最高スコアをもつ候補パッチを選択する（ステップＳ２０７）。この処理は、入力クエリー画像上の全ての入力クエリーパッチについて繰り返される（ステップＳ２０９）。画像再構成部２１０は、選択された候補パッチに対して高解像度画像を再構成する（ステップＳ２１１）。具体的には、画像再構成部２１０は、選択された候補パッチのうちのひとつを含むパッチペアにそれぞれ含まれる訓練パッチを組み合わせることによって、高解像度画像を再構成する。

再構成フェーズにおいて、パッチは、周囲の候補パッチおよびそれらの対象ＩＤの情報をもって、より正確に選択される。特に、画像記憶部２０５に記憶されるパッチペアおよび関連する対象ＩＤである、訓練データベース内の同類対象の顔画像によれば、背景技術として上で述べた文献に開示される方法（すなわち、最近傍パッチを用いることのみによる）によって正確に選択されるパッチが一部のみであっても、誤って選択されたパッチは、画像全体の他のパッチの対象ＩＤ情報を用いて、正確なパッチで置換されうる。

＜第３の実施形態の変形例＞
第３の実施形態の変形例に係る画像処理装置２００は、図２に示す第１の実施形態による画像処理装置２００の構成と同じ構成を有してもよい。この場合、
訓練フェーズにおいて、変形例に係る画像処理装置２００の画像合成部２０２、画像分割部２０４、画像記憶部２０５および画像再構成部２１０は、第３の実施形態による画像処理装置５００のそれらと同じである。

訓練フェーズにおいて、本変形例に係る画像処理装置２００は、第３の実施形態に係る画像処理装置５００と同様に動作する。再構成フェーズにおいて、本変形例に係る画像処理装置２００は、図６に示すステップＳ２１１を除き、第１の実施形態に係る画像処理装置２００と同様に動作する。ステップＳ２１１では、変形例に係る画像処理装置２００は、第３の実施形態に係る画像処理装置５００と同様に動作する。

＜第４の実施形態＞
次に、第４の実施形態について、図面を参照しながら詳細に説明する。

図１５は、本実施形態に係る画像処理装置２００Ａの構成の例を示すブロック図である。

図１５を参照すると、本発明の本実施形態に係る画像処理装置２００Ａは、ターゲット未知パッチを含む局所未知パッチの各々について、局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、局所未知パッチは未知画像の一部分から生成される画像であり、上記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、上記複数の入力画像の中で上記対象ＩＤが割り当てられる入力画像から生成される上記入力パッチに関連付けられる、推定部２０７と、それらの複数の局所未知パッチの局所未知パッチに対する、複数の候補パッチの候補パッチの近さを表すスコアを算出するスコア算出部２０８と局所未知パッチの上記候補パッチ内で同じ対象ＩＤと関連付けられている候補パッチのスコアを合計することにより、対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、ターゲット未知パッチについて選択された候補パッチから、スコア合計が最高である対象ＩＤに関連付けられる候補パッチを選択するパッチ置換部２０９と、を備える。

本実施形態は、第１の実施形態と同様の効果を有する。上記効果の理由は、第１の実施形態のものと同様である。

＜他の実施形態＞
画像処理装置２００、画像処理装置２００Ａおよび画像処理装置５００のそれぞれは、コンピュータおよびそのコンピュータを制御するプログラム、専用ハードウェア、または、コンピュータ及びそのコンピュータを制御するプログラムと専用ハードウェアとの組合せを用いて実施可能である。

図１６は、画像処理装置２００、画像処理装置２００Ａおよび画像処理装置５００を実現することができるコンピュータ１０００のハードウェア構成の例を示すブロック図である。図１６を参照すると、コンピュータ１０００は、プロセッサ１００１、メモリ１００２、記憶装置１００３およびＩ／Ｏ（Input／Output）インタフェース１００４を含む。コンピュータ１０００は、記憶媒体１００５にアクセス可能である。メモリ１００２および記憶装置１００３のそれぞれは、例えばＲＡＭ（Random Access Memory）またはハードディスクドライブ等の記憶装置であってもよい。記憶媒体１００５は、ＲＡＭ、例えばハードディスクドライブ等の記憶装置、ＲＯＭ（Read Only Memory）または可搬記憶媒体であってもよい。記憶装置１００３が、記憶媒体１００５として動作してもよい。プロセッサ１００１は、メモリ１００２及び記憶装置１００３からのデータおよびプログラムを読み出すことができ、メモリ１００２および記憶装置１００３にデータおよびプログラムを書き込むことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して端末装置（図示せず）等と通信できる。プロセッサ１００１は、記憶媒体１００５にアクセスできる。記憶媒体１００５は、コンピュータ１０００を画像処理装置２００、画像処理装置２００Ａまたは画像処理装置５００として動作させるプログラムを記憶する。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を画像処理装置２００、画像処理装置２００Ａまたは画像処理装置５００として動作させるプログラムを、メモリ１００２にロードする。コンピュータ１０００は、メモリ１００２にロードされたプログラムを実行することによって、画像処理装置２００、画像処理装置２００Ａまたは画像処理装置５００として動作する。

入力部２０１、画像合成部２０２、画像ＩＤ登録部２０３、画像分割部２０４、未知画像入力部２０６、推定部２０７、スコア算出部２０８、パッチ置換部２０９、画像再構成部２１０、ＩＤマップ算出部５０９および第２のスコア算出部５１０は、記憶媒体１００５からメモリ１００２にロードされた、上述の各部を実現できる専用プログラムと、その専用プログラムを実行するプロセッサ１００１とによって実現できる。画像記憶部２０５は、メモリ１００２、および／または、例えばハードディスク装置等の記憶装置によって実現できる。入力部２０１、画像合成部２０２、画像ＩＤ登録部２０３、画像分割部２０４、画像記憶部２０５、未知画像入力部２０６、推定部２０７、スコア算出部２０８、パッチ置換部２０９、画像再構成部２１０、ＩＤマップ算出部５０９および第２のスコア算出部５１０の一部または全ては、上述の各部の機能を実現する専用回路によって実現できる。

上記した実施形態の一部または全ては、以下の付記に記載されうるが、以下に限定されない。

＜付記１＞
ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられる、推定手段と、
前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、
前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段と、
を備える画像処理装置。

＜付記２＞
前記候補パッチに割り当てられている前記対象ＩＤについて、前記スコアに基づいて前記局所未知パッチのうちのいずれかひとつに最も近い前記候補パッチの数を集計し、前記候補パッチに割り当てられている前記対象ＩＤについて、前記数に基づいて前記候補パッチの前記スコアを再計算する第２のスコア算出手段
をさらに備える付記１記載の画像処理装置。

＜付記３＞
重複を許容して分割することにより、前記入力画像から前記入力パッチを、前記未知画像から前記局所未知パッチを生成する画像分割手段と、
前記入力パッチの対象入力パッチを、前記対象入力パッチが生成された前記入力画像に割り当てられている前記対象ＩＤと関連付ける画像ＩＤ登録手段と、
をさらに備え、付記１または２に記載の画像処理装置。

＜付記４＞
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化する画像合成手段と、
選択された前記パッチを用いて、前記再構成画像を再構成する画像再構成手段と、
をさらに備え、
前記画像分割手段は、正規化された前記入力画像を、重複を許容して前記入力パッチに分割し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像である、
付記３記載の画像処理装置。

＜付記５＞
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化し、正規化された前記入力画像を劣化させる画像合成手段
をさらに備え、
前記画像分割手段は、正規化され劣化されられた前記入力画像を、重複を許容して前記入力パッチに分割し、前記入力パッチのそれぞれと前記正規化された入力画像の一部分である再構成パッチとを含むパッチペアを、前記パッチペアの各々に含まれる前記入力パッチが当該パッチペアに含まれる前記再構成パッチの劣化画像に対応するように生成し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像であり、
前記画像処理装置は、
選択された前記パッチを含む前記パッチペアに含まれる前記再構成パッチを用いて、前記再構成画像を再構成する画像再構成手段
をさらに含む、付記３記載の画像処理装置。

＜付記６＞
前記複数の入力画像を受信する入力手段と、
前記未知画像を受信する未知画像入力手段と、
前記複数の入力パッチを記憶する画像記憶手段と
をさらに含み、
前記画像ＩＤ登録手段が、前記複数の入力画像のそれぞれに対して当該入力画像の識別情報に従って前記対象ＩＤを割り当て、
前記画像分割手段が、前記画像記憶手段に前記複数の入力パッチを格納し、前記複数の入力パッチのそれぞれについて、当該入力パッチが生成された前記入力画像の前記対象ＩＤは、前記入力パッチと関連付けられている、
付記３から５のいずれか一項に記載の画像処理装置。

＜付記７＞
ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられ、
前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出し、
前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択する
画像処理方法。

＜付記８＞
前記候補パッチに割り当てられている前記対象ＩＤについて、前記スコアに基づいて前記局所未知パッチのうちのいずれかひとつに最も近い前記候補パッチの数を集計し、前記候補パッチに割り当てられている前記対象ＩＤについて、前記数に基づいて前記候補パッチの前記スコアを再計算する
付記７記載の画像処理方法。

＜付記９＞
重複を許容して分割することにより、前記入力画像から前記入力パッチを、前記未知画像から前記局所未知パッチを生成し、
前記入力パッチの対象入力パッチを、前記対象入力パッチが生成された前記入力画像に割り当てられている前記対象ＩＤと関連付ける、
付記７または８に記載の画像処理方法。

＜付記１０＞
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化し、
選択された前記パッチを用いて、前記再構成画像を再構成し、
正規化された前記入力画像を、重複を許容して前記入力パッチに分割し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像である、
付記９記載の画像処理方法。

＜付記１１＞
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化し、正規化された前記入力画像を劣化させ、
正規化され劣化されられた前記入力画像を、重複を許容して前記入力パッチに分割し、前記入力パッチのそれぞれと前記正規化された入力画像の一部分である再構成パッチとを含むパッチペアを、前記パッチペアの各々に含まれる前記入力パッチが当該パッチペアに含まれる前記再構成パッチの劣化画像に対応するように生成し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像であり、
選択された前記パッチを含む前記パッチペアに含まれる前記再構成パッチを用いて、前記再構成画像を再構成する
付記９記載の画像処理方法。

＜付記１２＞
前記複数の入力画像を受信し、
前記未知画像を受信し、
前記複数の入力パッチを画像記憶手段に記憶し、
前記複数の入力画像のそれぞれに対して当該入力画像の識別情報に従って前記対象ＩＤを割り当て、
前記画像記憶手段に前記複数の入力パッチを格納し、前記複数の入力パッチのそれぞれについて、当該入力パッチが生成された前記入力画像の前記対象ＩＤは、前記入力パッチと関連付けられている、
付記９から１１のいずれか一項に記載の画像処理方法。

＜付記１３＞
コンピュータを、
ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチと関連付けられる、推定手段と、
前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、
前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段と
して動作させるプログラムを記憶する、コンピュータ読み取り可能な記憶媒体。

＜付記１４＞
コンピュータを、
前記候補パッチに割り当てられている前記対象ＩＤについて、前記スコアに基づいて前記局所未知パッチのうちのいずれかひとつに最も近い前記候補パッチの数を集計し、前記候補パッチに割り当てられている前記対象ＩＤについて前記数に基づいて前記候補パッチの前記スコアを再計算する第２のスコア算出手段と
して動作させるプログラムを記憶する、付記１３記載のコンピュータ読み取り可能な記憶媒体。

＜付記１５＞
コンピュータを、
重複を許容して分割することにより、前記入力画像から前記入力パッチを、前記未知画像から前記局所未知パッチを生成する画像分割手段と、
前記入力パッチの対象入力パッチを、前記対象入力パッチが生成された前記入力画像に割り当てられている前記対象ＩＤと関連付ける画像ＩＤ登録手段と
して動作させるプログラムを記憶する、付記１３または１４に記載のコンピュータ読み取り可能な記憶媒体。

＜付記１６＞
コンピュータを、
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化する画像合成手段と、
選択された前記パッチを用いて、前記再構成画像を再構成する画像再構成手段と、
正規化された前記入力画像を、重複を許容して前記入力パッチに分割し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像である、前記画像分割手段と、
して動作させるプログラムを記憶する、付記１５記載のコンピュータ読み取り可能な記憶媒体。

＜付記１７＞
コンピュータを、
対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化し、正規化された前記入力画像を劣化させる画像合成手段と、
正規化され劣化されられた前記入力画像を、重複を許容して前記入力パッチに分割し、前記入力パッチのそれぞれと前記正規化された入力画像の一部分である再構成パッチとを含むパッチペアを、前記パッチペアの各々に含まれる前記入力パッチが当該パッチペアに含まれる前記再構成パッチの劣化画像に対応するように生成し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像である前記画像分割手段と、
選択された前記パッチを含む前記パッチペアに含まれる前記再構成パッチを用いて、前記再構成画像を再構成する画像再構成手段と、
して動作させるプログラムを記憶する、付記１５記載のコンピュータ読み取り可能な記憶媒体。

＜付記１８＞
コンピュータを、
前記複数の入力画像を受信する入力手段と、
前記未知画像を受信する未知画像入力手段と、
前記複数の入力パッチを記憶する画像記憶手段と
前記複数の入力画像のそれぞれに対して当該入力画像の識別情報に従って前記対象ＩＤを割り当てる前記画像ＩＤ登録手段と、
前記画像記憶手段に前記複数の入力パッチを格納し、前記複数の入力パッチのそれぞれについて、当該入力パッチが生成された前記入力画像の前記対象ＩＤは、前記入力パッチと関連付けられている、前記画像分割手段と、
して動作させるプログラムを記憶する、付記１５から１７のいずれか一項に記載のコンピュータ読み取り可能な記憶媒体。

特にその実施形態を参照しながら本発明を示し記載したが、この発明はこれら実施形態に限定されない。請求項によって既定される、本発明の精神およびスコープから逸脱することなく、形態および詳細に様々な変更がなされうることは当業者によって理解されるであろう。

本発明は、通常低解像度でありぼやけている監視カメラ画像から、高解像度画像を再構成するために利用することが可能である。本発明はまた、対象画像がデータベースに登録されるという条件で、オクルージョンや低解像度等を伴う顔画像での顔認識に利用することが可能である。

２００ 画像処理装置
２００Ａ 画像処理装置
２０１ 入力部
２０２ 画像合成部
２０３ 画像ＩＤ登録部
２０４ 画像分割部
２０５ 画像記憶部
２０６ 未知画像入力部
２０７ 推定部
２０８ スコア算出部
２０９ パッチ置換部
２１０ 画像再構成部
４０１ パッチのスコア
４０２ スコア
４０３ 注目中のパッチ
４０４ 周囲領域
５００ 画像処理装置
５０９ ＩＤマップ作成部
５１０ 第２のスコア算出部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体

Claims (10)

1. ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられる、推定手段と、
   前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、
   前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段と、
   を備える画像処理装置。
2. 前記候補パッチに割り当てられている前記対象ＩＤについて、前記スコアに基づいて前記局所未知パッチのうちのいずれかひとつに最も近い前記候補パッチの数を集計し、前記候補パッチに割り当てられている前記対象ＩＤについて、前記数に基づいて前記候補パッチの前記スコアを再計算する第２のスコア算出手段
   をさらに備える請求項１記載の画像処理装置。
3. 重複を許容して分割することにより、前記入力画像から前記入力パッチを、前記未知画像から前記局所未知パッチを生成する画像分割手段と、
   前記入力パッチの対象入力パッチを、前記対象入力パッチが生成された前記入力画像に割り当てられている前記対象ＩＤと関連付ける画像ＩＤ登録手段と、
   をさらに備え、請求項１または２に記載の画像処理装置。
4. 対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化する画像合成手段と、
   選択された前記候補パッチを用いて、前記再構成画像を再構成する画像再構成手段と、
   をさらに備え、
   前記画像分割手段は、正規化された前記入力画像を、重複を許容して前記入力パッチに分割し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像である、
   請求項３記載の画像処理装置。
5. 対応する特徴点が、前記入力画像間で同じ位置であるように、前記入力画像を正規化し、正規化された前記入力画像を劣化させる画像合成手段
   をさらに備え、
   前記画像分割手段は、正規化され劣化されられた前記入力画像を、重複を許容して前記入力パッチに分割し、前記入力パッチのそれぞれと前記正規化された入力画像の一部分である再構成パッチとを含むパッチペアを、前記パッチペアの各々に含まれる前記入力パッチが当該パッチペアに含まれる前記再構成パッチの劣化画像に対応するように生成し、前記未知画像を、重複を許容して未知パッチに分割し、前記未知パッチは、前記局所未知パッチを含む画像であり、
   前記画像処理装置は、
   選択された前記候補パッチを含む前記パッチペアに含まれる前記再構成パッチを用いて、前記再構成画像を再構成する画像再構成手段
   をさらに含む、請求項３記載の画像処理装置。
6. 前記複数の入力画像を受信する入力手段と、
   前記未知画像を受信する未知画像入力手段と、
   前記複数の入力パッチを記憶する画像記憶手段と
   をさらに含み、
   前記画像ＩＤ登録手段が、前記複数の入力画像のそれぞれに対して当該入力画像の識別情報に従って前記対象ＩＤを割り当て、
   前記画像分割手段が、前記画像記憶手段に前記複数の入力パッチを格納し、前記複数の入力パッチのそれぞれについて、当該入力パッチが生成された前記入力画像の前記対象ＩＤは、前記入力パッチと関連付けられている、
   請求項３から５のいずれか一項に記載の画像処理装置。
7. ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチに関連付けられ、
   前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出し、
   前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択する
   画像処理方法。
8. コンピュータを、
   ターゲット未知パッチを含む複数の局所未知パッチの各々について、前記局所未知パッチに対する類似性に基づいて複数の入力パッチから複数の候補パッチを選択し、前記局所未知パッチは未知画像の一部分から生成される画像であり、前記複数の入力パッチは複数の入力画像から生成される画像であり、対象ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）は、前記複数の入力画像の中で前記対象ＩＤが割り当てられる入力画像から生成される前記入力パッチと関連付けられる、推定手段と、
   前記複数の局所未知パッチの局所未知パッチに対する、前記複数の候補パッチの候補パッチの近さを表すスコアを算出する第１のスコア算出手段と、
   前記局所未知パッチの前記候補パッチ内で同じ対象ＩＤと関連付けられている前記候補パッチのスコアを合計することにより、前記対象ＩＤに関するスコア合計を算出し、再構成画像の再構成に用いられる選択パッチとして、前記ターゲット未知パッチについて選択された前記候補パッチから、前記スコア合計が最高である前記対象ＩＤに関連付けられる候補パッチを選択するパッチ置換手段と
   して動作させるプログラム。
9. コンピュータを、
   前記候補パッチに割り当てられている前記対象ＩＤについて、前記スコアに基づいて前記局所未知パッチのうちのいずれかひとつに最も近い前記候補パッチの数を集計し、前記候補パッチに割り当てられている前記対象ＩＤについて前記数に基づいて前記候補パッチの前記スコアを再計算する第２のスコア算出手段と
   して動作させる請求項８に記載のプログラム。
10. コンピュータを、
    重複を許容して分割することにより、前記入力画像から前記入力パッチを、前記未知画像から前記局所未知パッチを生成する画像分割手段と、
    前記入力パッチの対象入力パッチを、前記対象入力パッチが生成された前記入力画像に割り当てられている前記対象ＩＤと関連付ける画像ＩＤ登録手段と
    して動作させる請求項８または９に記載のプログラム。

Images