JP6497007B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、画像認識に関し、特に、劣化した画像における認識に関する。

デジタル画像の画像認識、例えば、デジタル画像に存在する人物、文字、又は、物体の認識が、広く行われている。テンプレートマッチング技術は、デジタル画像の認識技術の一つである。テンプレートマッチング技術は、画像中の認識対象とテンプレート画像と呼ばれる参照用の画像との類似度を基に、画像に含まれる対象物を識別（認識）する。

しかし、画像中の対象物は、位置及び方向が一定ではない。例えば、情景中の文字を認識する場合、文字の形状は、傾きが変わるなど幾何学的な変形を受ける。そして、テンプレート画像に対して、認識対象の画像に幾何変形が生じている場合、テンプレート画像と認識対象の画像との見え方（アピアランス：appearance）が異なる。そのような場合、テンプレートマッチング技術は、マッチングの精度が著しく悪化するという問題点があった。

そこで、この問題点を解決する方法が、提案されている（例えば、特許文献１を参照）。

特許文献１に記載の類似度算出装置は、変位ベクトル推定部と、幾何変換パラメータ推定部と、変位ベクトル補正部と、投票部と、ピーク検出部と、類似度算出部とを備え、次のように動作する。すなわち、変位ベクトル推定部は、第１の画像内に設定された第１の局所領域と、第２の画像内で第１の局所領域に最も類似する第２の局所領域との間の変位ベクトルを推定する。そして、幾何変換パラメータ推定部は、複数の変位ベクトルに基づいて、第１の画像を第２の画像に幾何変換する幾何変換パラメータを推定する。そして、変位ベクトル補正部は、幾何変換パラメータに基づいて、変位ベクトルから幾何変換に基づく変位を減算し、変位ベクトルを補正する。そして、投票部は、変位ベクトル補正部において補正した変位ベクトルを、各々の変位ベクトルの要素に基づいて規定される２次元空間に投票する。そして、ピーク検出部は、投票された２次元空間上のピークを検出する。そして、類似度算出部は、ピークの大きさに応じて第１の画像と第２の画像との類似度を算出する。特許文献１に記載の類似度算出装置は、算出された類似度を用いて、対象物を識別（認識）する。

国際公開ＷＯ２０１１／０８３６６５

特許文献１に記載の類似度算出装置は、認識対象の画像の画質が十分によいこと、すなわち高品質であることを前提としている。さらに、特許文献１に記載の類似度算出装置は、画像の劣化要因として、テンプレート画像に対する幾何変形を前提としている。

しかし、画像の劣化要因は、幾何変形以外の多くの要因がある。例えば、情景中の文字の認識における劣化要因は、幾何学変形以外に、撮像物体の解像度の低下、ボケの発生、画像の圧縮ノイズ又はセンサノイズがある。

そして、認識対象の画像のクラス（例えば、所定の文字の種別）のテンプレートのパターンのアピアランスが、上記の劣化要因に基づいて、他クラス（例えば、他の文字の種別）のテンプレートのパターンのアピアランスと類似する場合がある。そのような場合、特許文献１に記載の技術は、テンプレート画像の中から、認識対象の画像に対応するテンプレート画像を識別できない。

このように、特許文献１に記載の技術は、幾何変形以外の要因に基づく劣化又は低品質の画像において認識精度が低下するという問題点があった。

本発明の目的は、上記問題点を解決し、幾何変形に限らず、幾何変形以外の要因に基づく劣化又は低品質の画像においても認識精度を向上できる情報処理装置、情報処理方法、及び、プログラムを提供することにある。

本発明の一形態のおける情報処理装置は、比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と参照画像のクラスを表すクラス変数とを対応づける比較画像作成手段と、入力画像から入力画像の局所領域の画像である入力パッチを切り出し、比較画像から比較画像の局所領域の画像である比較パッチを切り出し、記比較画像に対応したクラス変数と比較パッチを対応づけ、入力パッチと比較パッチとの相違度を算出し、入力パッチと比較パッチとの変位ベクトルを推定する変位ベクトル推定手段と、変位ベクトルと相違度とに基づいて信頼度を算出し、変位ベクトルとクラス変数とで規定される投票空間に信頼度を投票する投票手段と、投票空間における信頼度のピークを基にクラス変数の信頼度を算出するピーク検出手段と、クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する識別手段とを含む。

本発明の一形態のおけるデータ処理方法は、比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と参照画像のクラスを表すクラス変数とを対応づけ、入力画像から入力画像の局所領域の画像である入力パッチを切り出し、比較画像から比較画像の局所領域の画像である比較パッチを切り出し、比較画像に対応したクラス変数と比較パッチを対応づけ、入力パッチと比較パッチとの相違度を算出し、入力パッチと比較パッチとの変位ベクトルを推定し、変位ベクトルと相違度とに基づいて信頼度を算出し、変位ベクトルとクラス変数とで規定される投票空間に信頼度を投票し、投票空間における信頼度のピークを基にクラス変数の信頼度を算出し、クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する。

本発明の一形態のおけるプログラムは、比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と参照画像のクラスを表すクラス変数とを対応づける処理と、入力画像から入力画像の局所領域の画像である入力パッチを切り出し、比較画像から比較画像の局所領域の画像である比較パッチを切り出し、比較画像に対応したクラス変数と比較パッチを対応づけ、入力パッチと比較パッチとの相違度を算出し、入力パッチと比較パッチとの変位ベクトルを推定する処理と、変位ベクトルと相違度とに基づいて信頼度を算出し、変位ベクトルとクラス変数とで規定される投票空間に信頼度を投票する処理と、投票空間における信頼度のピークを基にクラス変数の信頼度を算出する処理と、クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する処理とをコンピュータに実行させる。

本発明に基づけば、幾何変形に限らず劣化又は低品質した画像における認識精度を向上させるとの効果を提供できる。

図１は、本発明における第１の実施形態に係る情報処理装置を含む情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る投票空間の一例を示す図である。 図４は、第１の実施形態に係る情報処理装置の動作の一例を示す流れ図である。 図５は、第１の実施形態に係る情報処理装置の変形例の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図７は、第２の実施形態に係る情報処理装置の動作の一例を示す流れ図である。

次に、本発明の実施形態について図面を参照して説明する。

なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。

また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

＜第１の実施形態＞
本発明における第１の実施形態について図面を参照して説明する。

本実施形態の情報処理装置は、入力画像の局所領域の信頼度を算出し、その信頼度を基に、局所領域に対応するクラス変数を識別する。

［構成の説明］
まず、図面を参照して、本発明における第１の実施形態の構成について説明する。

図１は、本発明における第１の実施形態に係る情報処理装置２０を含む情報処理装置１０の構成の一例を示すブロック図である。

情報処理装置１０は、情報処理装置２０と、入力画像取得部１０１と、参照画像取得部１０２と、比較用パラメータ設定部１０３と、クラス変数設定部１０４と、結果出力部１０５と含む。

入力画像取得部１０１は、入力画像を取得する。ここで、入力画像は、後ほど説明する情報処理装置２０の画像処理（画像認識）の対象となる画像である。入力画像の提供元の装置は、特に制限はない。例えば、入力画像取得部１０１は、図示しない撮像装置（例えば、カメラ又はスキャナ）から入力画像を取得してもよい。あるいは、入力画像取得部１０１は、図示しない記憶装置に予め記憶されている入力画像を取得してもよい。入力画像取得部１０１は、取得した入力画像を、情報処理装置２０に出力（送信）する。入力画像取得部１０１は、取得した入力画像を図示しない記憶部（例えば、メモリ）に記憶してもよい。その場合、情報処理装置２０は、その記憶部から入力画像を取り出してもよい。つまり、入力画像取得部１０１は、直接的又は間接的に、入力画像を、情報処理装置２０に出力する。

参照画像取得部１０２は、参照画像を取得する。ここで、参照画像は、後ほど説明する情報処理装置２０が画像認識において参照として用いる画像である。参照画像の提供元の装置は、特に制限はない。例えば、参照画像取得部１０２は、図示しない撮像装置（例えば、カメラ又はスキャナ）から参照画像を取得してもよい。あるいは、参照画像取得部１０２は、図示しない記憶装置に予め記憶されている参照画像を取得してもよい。参照画像取得部１０２は、取得した参照画像を、情報処理装置２０に出力（送信）する。なお、参照画像取得部１０２は、取得した参照画像を図示しない記憶部に記憶してもよい。その場合、情報処理装置２０は、その記憶部から参照画像を取り出してもよい。つまり、参照画像取得部１０２は、直接的又は間接的に、参照画像を、情報処理装置２０に出力する。

比較用パラメータ設定部１０３は、後述する情報処理装置２０の処理にも用いる比較用パラメータを、情報処理装置２０に設定（送信）する。ここで、比較用パラメータとは、後述する情報処理装置２０の処理に用いられるパラメータである。比較用パラメータは、情報処理装置２０の利用者が、予め、比較用パラメータ設定部１０３に設定しておいてもよい。あるいは、比較用パラメータ設定部１０３又は図示しないパラメータ算出部が、入力画像を基に比較用パラメータを推定してもよい。なお、比較用パラメータ設定部１０３は、受信又は算出した比較用パラメータを図示しない記憶部に記憶してもよい。その場合、情報処理装置２０は、その記憶部から比較用パラメータを取り出してもよい。つまり、比較用パラメータ設定部１０３は、直接的又は間接的に、比較用パラメータを、情報処理装置２０に出力する。なお、比較用パラメータについては、後ほど説明する。

クラス変数設定部１０４は、参照画像に紐付いている（対応している）クラス変数を、情報処理装置２０に設定（送信）する。

ここで、「クラス変数」とは、認識対象の画像を区別（分類：classify）するための変数である。例えば、認識対象の画像が文字の画像の場合、クラス変数は、文字を区別するための変数である。より具体的には、例えば、アルファベット（Ａ、Ｂ、Ｃ、…）のクラス変数で、クラス変数の値が１から１ずつ大きくなるとした場合、クラス変数は次のようになる。第１のクラス変数は、文字「Ａ」のクラス変数である。第２のクラス変数は、文字「Ｂ」のクラス変数である。第３のクラス変数は、文字「Ｃ」のクラス変数である。

また、認識対象の画像が、人の顔の画像の場合、クラス変数は、個々の人の顔を区別するための変数である。より具体的には、例えば、認識対象の人物が、Ａｌｉｃｅ、Ｂｏｂ、Ｃａｒｏｌ、Ｄａｖｅの場合、クラス変数は、次のようになる。第１のクラス変数は、「Ａｌｉｃｅ」のクラス変数である。第２のクラス変数は、「Ｂｏｂ」のクラス変数である。第３のクラス変数は、「Ｃａｒｏｌ」のクラス変数である。第４のクラス変数は、「Ｄａｖｅ」のクラス変数である。

後述するように、情報処理装置２０は、対象物の認識（識別）にクラス変数を用いる。

なお、クラス変数設定部１０４は、参照画像が図示しない記憶部に記憶される場合、クラス変数をその記憶部に記憶してもよい。その場合、情報処理装置２０は、その記憶部からクラス変数を取り出してもよい。つまり、クラス変数設定部１０４は、直接的又は間接的に、クラス変数を、情報処理装置２０に出力する。

クラス変数は、情報処理装置２０の利用者又は参照の提供者が、参照画像取得部１０２が参照画像を取得するときに、参照画像に対応するクラス変数をクラス変数設定部１０４に設定しもよい。あるいは、クラス変数設定部１０４又は図示しない画像認識部が、参照画像を用いてクラス変数を推定してもよい。なお、以下の説明において、クラス変数を単に「クラス」とも呼ぶ場合もある。また、クラス変数を「ＩＤ（Identifier）」と呼ぶ場合もある。

なお、参照画像取得部１０２が、クラス変数を含んだ参照画像を受信してもよい。この場合、参照画像取得部１０２が、クラス変数設定部１０４としての機能を実現する。そのため、情報処理装置１０は、クラス変数設定部１０４を含まなくてもよい。

結果出力部１０５は、後述する情報処理装置２０の識別した結果を、図示しない情報処理装置１０の外部の装置（例えば、情報処理装置２０に画像の認識を依頼した装置）に出力する。本実施形態における結果出力部１０５が出力は、特に制限はない。例えば、結果出力部１０５は、後述する情報処理装置２０の識別の結果として得られたクラス変数を出力してもよい。あるいは、結果出力部１０５は、後述する情報処理装置２０が算出したクラス変数のスコアを出力してもよい。なお、情報処理装置２０は、識別結果を図示しない記憶部に記憶してもよい。その場合、結果出力部１０５は、その記憶部から識別結果を取り出してもよい。つまり、結果出力部１０５は、直接的又は間接的に、情報処理装置２０から識別結果を受信する。

情報処理装置２０は、参照画像と、比較用パラメータと、クラス変数とを用いて、入力画像を識別（認識）する。より具体的には、情報処理装置２０は、入力画像の局所領域に関連するクラス変数を識別する。

なお、以下の説明において、入力画像を、参照画像に対して、画像の品質が低い画像として説明する。つまり、以下の説明において、入力画像は、参照画像に対して、画像の品質が低い画像である。反対に、参照画像は、入力画像に対して、画像の品質が高い画像である。そのため、以下、入力画像は、低品質画像とも呼ぶ。また、参照画像は、高品質画像とも呼ぶ。

なお、画像品質の基準は、特に制限はない。例えば、画像の品質の基準は、画像の解像度、明度、彩度、又はボケの程度でもよい。

ただし、これは、本実施形態の情報処理装置２０の処理の対象を、画像に品質に関する処理に限定するものではない。情報処理装置２０が、入力画像の品質以外の項目を処理する場合、入力画像は、参照画像に対して、品質が低い画像でなくてもよい。

次に、情報処理装置２０の構成について図面を参照して説明する。

図２は、本実施形態に係る情報処理装置２０の構成の一例を示すブロック図である。

情報処理装置２０は、比較画像作成部２０１と、変位ベクトル推定部２０２と、投票部２０３と、ピーク検出部２０４と、識別部２０５とを含む。

比較画像作成部２０１は、比較用パラメータを基に、参照画像（高品質画像）から比較用の画像を作成する。ここで、入力画像が、参照画像に対して品質が低い画像の場合、比較画像作成部２０１は、比較画像として、参照画像を劣化させた画像（以下、劣化画像と呼ぶ）を作成する。そのため、比較用パラメータは、「劣化パラメータ」と呼んでもよい。

ここで、比較用パラメータ（劣化パラメータ）は、比較画像（劣化画像）が入力画像（低品質画像）と同程度の画質（例えば、解像度）となるようなパラメータであることが望ましい。

例えば、劣化パラメータは、画像を劣化（変形）させるため値として、撮像対象の姿勢、解像度、ボケの度合い、点拡がり関数（Point Spread Function）、圧縮率、照明条件、反射率、インターレースのフィールド、又は、センサ雑音を表すパラメータである。

比較画像作成部２０１の具体的な動作例について説明する。例えば、劣化パラメータが姿勢の変形を含む場合、比較画像作成部２０１は、参照画像の姿勢を変形させる。また、劣化パラメータがボケの度合いを含む場合、比較画像作成部２０１は、ボケの度合いに応じて参照画像をぼかす。また、同様に、劣化パラメータが解像度の縮小、画像を圧縮、又は、ノイズの重畳を含む場合、比較画像作成部２０１は、劣化パラメータに従って、参照画像の解像度を縮小、参照画像を圧縮、又は、参照画像にノイズを重畳する。

なお、比較画像作成部２０１は、比較用パラメータに含まれる各パラメータに対応する比較画像を作成してもよい。あるいは、比較画像作成部２０１は、比較用パラメータに含まれる複数のパラメータを基に１つ又は複数の比較画像を作成してもよい。このように、比較画像作成部２０１は、参照画像に対して、比較パラメータに含まれる１つ又は複数のパラメータに対応する１つ又は複数の比較画像（劣化画像）を作成する。

さらに、比較画像作成部２０１は、参照画像の基となった参照画像に紐付けられた（対応づけられた）クラス変数を、作成した比較画像（劣化画像）に紐付ける（対応づける）。ここで、比較画像とクラス変数との対応を記憶する手法は、制限はない。例えば、比較画像が、クラス変数を含んでもよい。あるいは、比較画像作成部２０１は、図示しない記憶部に、比較画像とクラス変数との対応関係を保存してよい。

なお、比較画像作成部２０１は、図示しない記憶部に比較画像（劣化画像）を記憶してもよい。その場合、情報処理装置２０の各構成は、その記憶部から比較画像を取り出してもよい。

変位ベクトル推定部２０２は、次に説明する動作を実行する。

（１）入力パッチの切り出し
まず、変位ベクトル推定部２０２は、情報処理装置２０の入力画像（低品質画像）から局所領域の画像（以下、「入力パッチ」と呼ぶ）を切り出す。ここで、変位ベクトル推定部２０２が切り出す入力パッチの形状は、特に制限はない。例えば、変位ベクトル推定部２０２は、入力パッチとして、「５画素×５画素」のように、所定の大きさの正方形の領域を切り出してもよい。あるいは、変位ベクトル推定部２０２は、入力パッチとして、円形の領域を切り出してもよい。また、変位ベクトル推定部２０２は、予め利用者から指示として受け取った形状の入力パッチを切り出してもよい。また、変位ベクトル推定部２０２は、領域の一部が重なるように入力パッチを切り出してもよい。

さらに、変位ベクトル推定部２０２は、入力画像（低品質画像）における入力パッチの位置情報（例えば、座標）を取得する。ここで、本実施形態における位置情報の表現形式は、特に制限はない。ただし、以下の説明では、一例として位置情報にベクトル表現を用いる。

そして、変位ベクトル推定部２０２は、入力パッチと位置情報とを対応づけを保存する。

なお、変位ベクトル推定部２０２は、入力パッチを図示しない記憶部（例えば、メモリ）に記憶してもよい。この場合、変位ベクトル推定部２０２は、入力パッチと合わせて、入力パッチの位置情報を記憶してもよい。

（２）比較パッチ（劣化パッチ）の切り出し
次に、変位ベクトル推定部２０２は、比較画像（劣化画像）から、局所領域の画像（以下、「比較パッチ」と呼ぶ）を切り出す。ここで、比較パッチの形状は、入力パッチの形状と同じである。これは、後ほど説明するように、変位ベクトル推定部２０２が、入力パッチと比較パッチとの相違度を算出するためである。そのため、変位ベクトル推定部２０２が、入力パッチと比較パッチとの相違度を算出できる場合、比較パッチの形状は、入力パッチの形状と異なってもよい。

なお、本実施形態の説明において、比較画像は、参照画像を劣化させた画像のため、比較パッチは、「劣化パッチ」とも呼ぶ。

さらに、変位ベクトル推定部２０２は、比較パッチの比較画像（劣化画像上）における位置情報（例えば、座標）を取得する。上記のとおり、本実施形態の説明では、比較パッチの位置情報は、ベクトル表現とする。そして、変位ベクトル推定部２０２は、比較パッチと位置情報とを対応づけを保存する。

なお、変位ベクトル推定部２０２は、比較パッチを図示しない記憶部（例えば、メモリ）に記憶してもよい。この場合、変位ベクトル推定部２０２は、比較パッチに合わせ、比較パッチの位置情報を記憶してもよい。

さらに、変位ベクトル推定部２０２は、比較画像（劣化画像）に紐付けられている（対応する）クラス変数を比較パッチに紐付ける。

（３）相違度の算出
次に、変位ベクトル推定部２０２は、入力パッチと、比較パッチとの組合せにおける相違度を算出する。そして、変位ベクトル推定部２０２は、相違度が小さいパッチの組を探索する。

ここで、変位ベクトル推定部２０２が用いる相違度の算出手法は、特に制限はない。例えば、変位ベクトル推定部２０２は、入力パッチと比較パッチの画素値の差分二乗和、差分の絶対値の和、又は、画素値の正規化相互相関のいずれか１つ又は組合せを用いて相違度を算出しもよい（第１の相違度の算出手法）。あるいは、変位ベクトル推定部２０２は、ヒストグラム正規化を用いて各パッチの画素値を正規化後、画素値の差分二乗和、絶対値の和、又は、正規化相互相関のいずれか１つ又は組合せを用いて相違度を算出してもよい（第２の相違度の算出手法）。あるいは、変位ベクトル推定部２０２は、第１の相違度の算出手法と、第２の相違度の算出手法との重み付け線形和を用いて、相違度を算出してもよい。あるいは、変位ベクトル推定部２０２は、非線形な入力パッチと比較パッチとの距離の尺度を用いて、相違度を算出してもよい。あるいは、変位ベクトル推定部２０２は、各パッチの勾配ヒストグラムを算出し、算出した勾配ヒストグラムに関する差分二乗和、差分の絶対値の和、又は、正規化相互相関の１つ又は組合せを用いて、相違度を算出してもよい。

なお、変位ベクトル推定部２０２は、各入力パッチに対し、全ての比較パッチとの相違度を計算してもよい。あるいは、変位ベクトル推定部２０２は、入力パッチの位置（座標）の近傍（所定の座標範囲）の比較パッチとの相違度を算出してもよい。例えば、入力パッチがＬ個で、各入力パッチに対する近傍の比較パッチがＭ個の場合、変位ベクトル推定部２０２は、「Ｌ×Ｍ」個の相違度を計算する。

なお、変位ベクトル推定部２０２は、算出した相違度を、図示しない記憶部（例えば、メモリ）に記憶してもよい。

（４）変位ベクトルの推定
次に、変位ベクトル推定部２０２は、入力パッチと比較パッチとの変位ベクトルを推定する。変位ベクトルを推定する手法は、特に制限はない。変位ベクトル推定部２０２は、一般的な手法を用いて、変位ベクトルを推定すればよい。例えば、変位ベクトル推定部２０２は、特許文献１に記載の手法を用いてもよい。

このように、変位ベクトル推定部２０２は、入力パッチと比較パッチを切り出し、相違度を算出し、変位ベクトルを推定する。

投票部２０３は、入力パッチと比較パッチとの相違度、入力パッチと比較パッチとの変位ベクトル、及び、比較パッチのクラス変数を基に、クラス変数と変位ベクトルとで規定された空間（投票空間）上に、クラス変数の信頼度を投票する。

ここで、信頼度は、クラス変数の重みに相当する。そのため、上記の投票部２０３の処理は、クラス変数の重み付け投票である。

また、投票空間は、変位ベクトルとクラス変数とを座標軸として表される２次元空間である。

つまり、投票部２０３は、各入力パッチ、又は、入力画像の各画素に対する投票空間に対して、クラス変数の信頼度を投票する。ここで、入力画像の各画素に対する投票空間を処理する場合、投票部２０３は、その画素が含まれる入力パッチを用いて重み付け投票を実行する。そのため、以下の説明では、入力画像の各画素についての記載を省略し、入力パッチを用いて説明する。

また、投票部２０３は、後ほど説明するように、相違度を、処理対象となる比較パッチを選択に用いる。

図３は、本実施形態に係る投票空間の一例を示す図である。

図３に示すように、投票空間は、入力パッチに対する変位ベクトルとクラス変数とに対応した信頼度を表す空間である。つまり、投票空間は、変位ベクトルとクラス変数とを座標軸とする２次元空間である。そして、投票空間の各点は、信頼度を表す。

なお、本実施形態の画像は、デジタル情報である。そのため、変位ベクトルは、離散値である。また、クラス変数は、離散値である。そのため、図３は、投票空間を、表形式を用いて表している。

図３におけるクラス変数（ｌ）は、既に説明したとおり、画像の区分である。例えば、図３におけるクラス変数（ｌ）は、各文字画像に対応したクラス変数である。より具体的には、例えば、アルファベット（Ａ、Ｂ、Ｃ…）のクラス変数の場合、「クラス変数（ｌ）＝１」の列は、文字「Ａ」に対応した信頼度であり、「クラス変数（ｌ）＝２」の列は、文字「Ｂ」に対応した信頼度である。あるいは、図３におけるクラス変数（ｌ）は、各顔画像に対応したクラス変数である。

そして、投票部２０３は、投票空間に信頼度を投票する。

具体的には、投票部２０３は、次に示す少なくともいずれか１つの性質を満足するクラス変数の信頼度が高くなるように、重み付け投票を実行する。なお、投票部２０３が投票する重みは、予め利用者などが設定した値又は過去のデータを基に算出された値である。

（１）入力パッチに対応する比較パッチに紐付いている（対応する）クラス変数が、一つ又は一部のクラス変数に偏っている。

（２）比較パッチが、参照画像の同じ位置から切り出されている。

（３）入力パッチの画質が、他の入力パッチの画質に比べ、相対的に高い。

（４）入力パッチが、認識対象の中心位置の近傍である。

（５）クラス変数に対応する高画質画像が少ない。

上記を具体的な例を用いてより詳細に説明すると、次のようになる。

（１）投票部２０３は、入力パッチとの相違度が所定の上位の範囲に含まれる比較パッチを選択する。そして、投票部２０３は、選択された比較パッチに対応するクラス変数が、１つに偏っているか否かを判定する。そして、クラス変数が、１つに偏っている場合、投票部２０３は、投票空間における、その比較パッチと入力パッチの変位ベクトルと対応するクラス変数と交点の信頼度が高くなるように、重み付け投票を実行する。あるいは、投票部２０３は、相違度が所定の上位の範囲となっている比較パッチに対応するクラス変数の数が、所定の数より少ない場合、入力パッチと比較パッチとの変位ベクトルとクラス変数との交点の信頼度が高くなるように、重み付け投票を実行する。例えば、相違度が上位の２つの比較パッチと入力パッチとの変位ベクトルが、（ｘ_２，ｙ_２）と（ｘ_５，ｙ_５）であり、そのクラス変数が、どちらも（ｌ＝２）となっていたとする。この場合、投票部２０３は、変位ベクトル（ｘ_２，ｙ_２）及び（ｘ_５，ｙ_５）と、クラス変数（ｌ＝２）とのそれぞれの交点の信頼度を高くする。

（２）投票部２０３は、入力パッチとの相違度が所定の上位の範囲に含まれる比較パッチを選択する。そして、投票部２０３は、選択された比較パッチの位置が、参照画像の所定の範囲に偏っているか否かを判定する。そして、所定の範囲に偏っている場合、投票部２０３は、投票空間における、その比較パッチと入力パッチとの変位ベクトルと、対応するクラス変数との交点の信頼度が高くなるように、重み付け投票を実行する。ここで、所定の範囲は、予め投票部２０３に設定された範囲である。例えば、所定の範囲は、参照画像における所定の広さの範囲である。あるいは、所定の範囲とは、参照画像における所定の位置を含む範囲である。

（３）投票部２０３は、入力パッチの画質を他の入力パッチの画質を比較する。そして、入力パッチの画質が、他の入力パッチの画質より高品質である場合、投票部２０３は、投票空間において、その入力パッチに関連付けられた比較パッチに対応するクラス変数の信頼度が高くなるように、重み付き投票を実行する。ここで高画質とは、例えば、入力パッチの解像度が、入力パッチ全体の解像度の平均値より所定の値だけ高いことである。なお、投票部２０３は、所定の範囲の上位の比較パッチに対応するクラス変数の信頼度を高くしてもよい。

（４）投票部２０３は、入力パッチが、入力画像（低品質画像）の中の認識対象の中心位置の近傍の場合、入力パッチに関連付けられた比較パッチに対応するクラス変数の信頼度が高くなるように、重み付け投票を実行する。

ここで、認識対象の中心位置の近傍とは、例えば、次のような範囲である。投票部２０３は、図示しない画像認識部に基づく一般的な画像認識を用いて、入力画像における認識対象の中心位置を算出する。そして、投票部２０３は、算出した中心位置と入力パッチとの距離が所定の閾値より小さい場合、近傍と判定する。

あるいは、情報処理装置２０は、繰り返し処置が可能である。そこで、投票部２０３は、前回の処理における認識結果を基に、認識対象の中心位置を算出してもよい。

（５）投票部２０３、入力パッチに関連付けられた比較パッチに対応するクラス変数において、そのクラス変数に対応する参照画像の数が少ない場合、そのクラス変数の信頼度が高くなるように、重み付け投票を実行する。

例えば、投票部２０３は、重みを付けて投票する信頼度の値を算出する方法として、次に示す数式１で定義される、変位ベクトル（ｕ）とクラス変数（ｌ）とを引数とする投票重み関数（Ｌ（ｕ，ｌ））を用いてもよい。

［数式１］

数式１に用いられる変数は、次のとおりである。

「Ｎ」は、入力パッチ（又は入力画像）の画素の数である。

「ｉ」は、入力パッチ（又は入力画像）の画素の番号である。

「Ｋ」は、ｉ番目の画素の位置座標に対応する入力パッチに対して選択された上位の比較パッチの数である。

「ｋ」は、上位Ｋ個の比較パッチの個別の番号である。

「ｕ_ｉ ^ｋ」は、ｉ番目の入力画像の画素を含む入力パッチと、その入力パッチに対応するｋ番目の比較パッチの変位ベクトルである。

「ｌ_ｉ ^ｋ」は、ｉ番目の入力画像の画素を含む入力パッチに関連付けられたｋ番目の比較パッチに紐付ついた（対応する）クラス変数である。

関数「ｇ（ｘ，ｙ）」は、２つの引数（ｘ及びｙ）の差分の絶対値（｜ｘ−ｙ｜）が小さいほど、大きな値となる関数である。例えば、関数「ｇ（ｘ，ｙ）」は、２つの引数（ｘ，ｙ）の差分値を引数とするガウス関数である。

関数「δ（ｘ，ｙ）」は、２つの引数（ｘ，ｙ）の値が一致するときに「１」となり、それ以外は「０」となる関数である。

「ｗ_ｋ」は、ｋ番目の比較パッチに対して、上位に選択された比較パッチほど大きな重みを与える係数である。例えば、「ｗ_ｋ」は、次に示す数式２のように定義される。

［数式２］
ｗ_ｋ＝Ｋ−ｋ
「φ_ｉ」は、入力画像のｉ番目の画素の位置座標のベクトル「ｖ_ｉ」が、認識対象の中心ベクトル「ｖ」に近いほど大きな重みを与える係数である。「φ_ｉ」は、例えば、次に示す数式３で定義される。

［数式３］

数式３において、「ν_０」は、距離に対する重みの減衰率を決定するためのパラメータである。「ν_０」は、例えば、情報処理装置２０が、予め保持しておく値である。また、二重の縦線は、ノルム（norm）を示す。二重線の下付の「２」は、２次ノルム（ユークリッド・ノルム）を示す。

「ｑ（ｌ）」は、参照画像全体に紐付されたクラス変数全体に対する、比較パッチに紐付されたクラス変数（ｌ）の確率である。「ｑ（ｌ）」は、参照画像におけるクラス変数に関する隔たりの修正である。

「ψ_ｉ」は、ｉ番目の画素を含む入力パッチの画質を表す重みである。「ψ_ｉ」は、入力パッチの画質が高いほど、大きな値を取る。投票部２０３は、「ψ_ｉ」の値として、例えば、入力パッチ中に存在するセンサノイズの量、圧縮ノイズの量、又は、ボケの強さを推定し、センサノイズ、圧縮ノイズ、又は、ボケの強さが大きいほどが「ψ_ｉ」に小さな値を設定すればよい。

そして、投票部２０３は、重みを付けて投票する信頼度とし、投票空間における変位ベクトル（ｕ）とクラス変数（ｌ）とで表される位置に、上記のように定義した投票重み関数「Ｌ（ｕ，ｌ）」の値を、投票する。

例えば、図３に示す投票空間の「変位ベクトル（ｘ_２、ｙ_２）−クラス変数（２）」に対応する信頼度は、「１．５」である。

なお、投票部２０３は、位置ベクトル「ｕ」及び／又はクラス変数「ｌ」について、投票空間に投票した信頼度（Ｌ（ｕ，ｌ））の値を平滑化してもよい。

ピーク検出部２０４は、投票部２０３が重みを付けて投票した投票空間の信頼度（例えば、関数Ｌ（ｕ，ｌ）の値）の中で、変位ベクトル（ｕ）に対する最大値（ピーク）を検出する。そして、ピーク検出部２０４は、検出した最大値（ピーク）を基にクラス変数（ｌ）の信頼度（確率）の最大値を算出する。ここで、信頼度「Ｐ（ｌ）」は、例えば、次に示す数式４のように定義される。

［数式４］

つまり、ピーク検出部２０４は、各変位ベクトル（ｕ）の最大値（ピーク）を基に、投票空間におけるクラス変数の信頼度を算出する。

例えば、図３に示す投票空間で、変位ベクトル（ｘ_２，ｙ_２）に対する最大値を検出する場合、ピーク検出部２０４は、最大値として、クラス変数（ｌ＝２）の信頼度（１．５）を検出する。あるいは、変位ベクトル（ｘ_３，ｙ_３）に対する最大値を検出する場合、ピーク検出部２０４は、最大値として、クラス変数（ｌ＝３）の信頼度（５．０）を検出する。あるいは、変位ベクトル（ｘ_５，ｙ_５）に対する最大値を検出する場合、ピーク検出部２０４は、最大値として、クラス変数（ｌ＝２）の信頼度（２．０）を検出する。

そして、ピーク検出部２０４は、数式４を用いて、クラス変数の信頼度「Ｐ（ｌ）」を算出する。

例えば、図３の示す投票空間の値を基にクラス変数（２）の信頼度を算出する場合、ピーク検出部２０４は、次に示す数式５のように信頼度を算出する。ただし、数式５において、信頼度が「０」についての記載を省略した。

［数式５］
Ｐ（２）＝２．０／（１．５＋２．０）≒０．６
また、図３の示す投票空間の値を基にクラス変数（３）の信頼度を算出する場合、ピーク検出部２０４は、次に示す数式６のように信頼度を算出する。ただし、数式６において、信頼度が「０」についての記載を省略した。

［数式６］
Ｐ（３）＝５．０／（５．０）＝１．０
なお、信頼度は、クラス変数の信頼性を表す「スコア」である。また、信頼度は、投票部２０３の投票結果のため、投票部２０３の「投票値」でもある。

また、信頼度は、クラス変数に対する値である。そして、クラス変数は、参照画像、比較画像及び比較パッチに対応している。そのため、算出された信頼度は、参照画像、比較画像及び比較パッチの信頼度である。

識別部２０５は、ピーク検出部２０４で算出されたクラス変数の信頼度（確率）「Ｐ（ｌ）」が大きいクラス変数の値を識別する。そして、識別部２０５は、判定したクラス変数の値を識別結果として出力する。

ここで、識別結果であるクラス変数は、入力画像における認識対象のクラス変数となる。このように、情報処理装置２０は、入力画像の認識対象を識別（認識）できる。ここで、入力画像が、劣化又は低品質の画像の場合、情報処理装置２０は、劣化又は低品質の画像の認識対象を認識できる。そして、この劣化又は低品質の画像は、幾何変形に限る必要はない。

このように、本実施形態の情報処理装置２０は、幾何変形に限らず、劣化画像又は低品質画像において画像の認識を実現できる。

なお、識別部２０５が出力するクラス変数の数は、特に制限はない。例えば、識別部２０５は、信頼度（確率）「Ｐ（ｌ）」が最大となるクラス変数の値を出力してもよい。例えば、ピーク検出部２０４が、数式５及び数式６の結果を算出した場合、識別部２０５は、クラス変数の「３」を出力する。ここで、例えば、クラス変数が、既に説明で用いたアルファベット（Ａ、Ｂ、Ｃ…）の場合、識別部２０５は、文字「Ｃ」のクラス変数を出力する。

あるいは、識別部２０５は、信頼度（確率）「Ｐ（ｌ）」の値が大きい所定の範囲のクラス変数の値を出力してもよい。

さらに、識別部２０５は、クラス変数の値に限らず、信頼度（確率）「Ｐ（ｌ）」の値を出力してもよい。この場合、信頼度（確率）「Ｐ（ｌ）」は、識別結果の信頼性を表す「スコア」又は「重み」となる。

［動作の説明］
次に、図面を参照して、本実施形態の情報処理装置２０の動作について詳細に説明する。

図４は、本実施形態の情報処理装置２０の動作の一例を示す流れ図である。

まず、比較画像作成部２０１は、参照画像（高品質画像）と比較用パラメータ（劣化パラメータ）とクラス変数とを受信する（ステップＳ１００）。

そして、比較画像作成部２０１は、参照画像（高品質画像）と比較用パラメータ（劣化パラメータ）とを基に比較画像（劣化画像）を作成する。さらに、比較画像作成部２０１は、比較画像（劣化画像）とクラス変数とを対応づける（ステップＳ１０１）。

次に、変位ベクトル推定部２０２は、入力画像（低品質画像）を受信する（ステップＳ１０２）。

そして、変位ベクトル推定部２０２は、比較画像（劣化画像）と入力画像（低品質画像）とから、局所領域の画像（比較パッチと入力パッチ）を切り出す。そして、変位ベクトル推定部２０２は、入力パッチと比較パッチとの相違度を算出し、入力パッチと比較パッチとの変位ベクトルを推定する（ステップＳ１０３）。

次に、投票部２０３は、変位ベクトルとクラス変数で規定される投票空間に、相違度と変位ベクトルと基づき、クラス変数の信頼度を重み付け投票する（ステップＳ１０４）。

次に、ピーク検出部２０４は、変位ベクトル（ｕ）に対するクラス変数の最大値を基に、クラス変数の信頼度（投票値、又は、スコア）を算出する（ステップＳ１０５）。

そして、識別部２０５は、信頼度（スコア）が大きなクラス変数を識別する（ステップＳ１０６）。

ここで、識別されたクラス変数は、入力画像における識別対象のクラス変数、つまり識認識結果である。

［効果の説明］
次に、本実施形態の効果について説明する。

このように、本実施形態の情報処理装置２０は、変形（例えば、劣化又は低品質）した画像における認識精度を向上するとの効果を提供できる。

その理由は、次のとおりである。

比較画像作成部２０１は、参照画像（高画質画像）から、入力画像（低品質画像）と同等の画質の比較画像（劣化画像）を作成する。そして、変位ベクトル推定部２０２が、入力画像のパッチである入力パッチと比較画像のパッチである比較パッチとの相違度を算出する。このように、情報処理装置２０は、比較画像を用いて相違度を算出するため、入力画像における画質変化に基づいて生じるアピアランスの違いを低減した相違度を算出できるためである。その結果、情報処理装置２０は、アピアランスが変化する変形に対しても、認識精度を向上できる。

さらに、投票部２０３は、相違度を基に、クラス変数と変位ベクトルで規定された投票空間にクラス変数の信頼度を投票する。そして、ピーク検出部２０４は、投票された信頼度のピークを検出する。そして、識別部２０５は、ピークを基にクラス変数を識別する。この投票部２０３から識別部２０５の処理は、幾何変形にも対応した処理である。そのため、情報処理装置２０は、幾何変形に基づく変形に対しても画像を認識できる。つまり、情報処理装置２０は、幾何変形及び幾何学変形ではない変形のどちらにおいても、画像の認識の精度を向上できる。

［変形例］
以上のように説明した情報処理装置２０は、次のように構成される。

例えば、情報処理装置２０の各構成部は、ハードウェア回路で構成されても良い。

また、情報処理装置２０は、情報処理装置２０の各構成部をネットワーク又はバスを介して接続した複数の情報処理装置を用いて構成されても良い。

また、情報処理装置２０は、複数の構成部を１つのハードウェアで構成しても良い。

また、情報処理装置２０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現しても良い。情報処理装置２０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現しても良い。

図５は、本変形例に係る情報処理装置６０の構成の一例を示すブロック図である。

情報処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図２に示す、比較画像作成部２０１と、変位ベクトル推定部２０２と、投票部２０３と、ピーク検出部２０４と、識別部２０５としての各機能を実現する。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用しても良い。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでも良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作しても良い。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programable-ROM）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。

内部記憶装置６４０は、情報処理装置６０が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性の記憶媒体である。一方、ＲＡＭ６３０は、揮発性の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。

入力機器６６０は、情報処理装置６０の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、情報処理装置６０の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。

このように構成された情報処理装置６０は、情報処理装置２０と同様の効果を得ることができる。

その理由は、情報処理装置６０のＣＰＵ６１０が、プログラムに基づいて情報処理装置２０と同様の機能を実現できるためである。

＜第２の実施形態＞
次に、図面を参照して、本発明の第２の実施形態について説明する。

本発明の第２の実施形態は、第１の実施形態が算出した信頼度を基に、入力画像に対応する出力画像を合成する。

［構成の説明］
まず、第２の実施形態に係る情報処理装置２１の構成について、図面を参照して説明する。

図６は、第２の実施形態に係る情報処理装置２１の構成の一例を示すブロック図である。

図６に示すように、本実施形態の情報処理装置２１は、第１の実施形態の情報処理装置２０の構成に加え、合成重み算出部２０７と、画像合成部２０８とを含む。

情報処理装置２１の合成重み算出部２０７及び画像合成部２０８以外の構成は、第１に実施形態度と同様である。そのため、第１の実施形態と同様の構成及び動作の説明を省略し、合成重み算出部２０７及び画像合成部２０８について説明する。

合成重み算出部２０７は、識別部２０５で算出されたクラス変数の信頼度（例えば、第１の実施形態のＰ（ｌ））を用いて、入力パッチに対応する比較パッチに対して「合成重み」を定義する。ここで、合成重み算出部２０７は、「合成重み」として、信頼度が高いクラス変数に属する比較パッチほど、大きな値となる重みを設定する。例えば、合成重み算出部２０７は、比較パッチの合成重みとして、比較パッチの対応するクラス変数の信頼度を用いてもよい。あるいは、合成重み算出部２０７は、予め定義された単調増加関数に、比較パッチに対応するクラス変数の信頼度を代入して、「合成重み」を算出してもよい。

つまり、合成重み算出部２０７は、識別部２０５が算出したクラス変数の信頼度を基に、比較パッチの合成重みを算出する。

画像合成部２０８は、合成重み算出部２０７で算出された比較パッチの合成重みと、比較パッチに対応する参照画像（第１の高品質画像）とを基に、参照画像（第１の高品質画像）と同等の品質の出力画像（第２の高品質画像）を合成する。

ここで、画像合成部２０８が出力画像を合成する手法は、特に制限はない。例えば、画像合成部２０８は、次に示すように、出力画像を合成してもよい。

まず、画像合成部２０８は、比較パッチに対応した参照画像（第１の高品質画像）の局所領域の画像（以下、「参照パッチ」と呼ぶ）を切り出す。次に、画像合成部２０８は、合成重み算出部２０７が定義した比較パッチの合成重みを、比較パッチに対応する参照パッチのα値（合成重み）とする。そして、画像合成部２０８は、比較パッチのα値を用いて、比較パッチをアルファ（α）・ブレンディング（alpha blending）して、出力画像を合成する。

あるいは、画像合成部２０８は、次に示すように、出力画像を合成してもよい。

まず、画像合成部２０８は、マルコフ確率場（マルコフランダムフィールド：Markov random Filed）のエネルギー関数のデータ項（date term）として、比較パッチに定義された合成重みを定義する。また、画像合成部２０８は、入力画像の画素及びその画素に隣接する画素のそれぞれを含む各入力パッチに対応する比較パッチに対応する参照パッチの非連続性を、エネルギー関数の平滑化項と定義する。そして、画像合成部２０８は、このマルコ確率場のエネルギー関数が最小となるように、出力画像を合成する。

参照パッチは、比較画像作成部２０１が受信した参照画像のパッチである。そのため、画像合成部２０８が合成にする出力画像は、比較画像作成部２０１が受信した参照画像（高品質画像）の画質（解像度）と同程度である。

つまり、画像合成部２０８は、合成重み算出部２０７が算出した合成重みを基に、比較画像作成部２０１が受信した参照画像と同程度の画質の出力画像を合成する。

［動作の説明］
次に、図面を参照して本実施形態の情報処理装置２１の動作について説明する。

図７は、本実施形態の情報処理装置２１の動作の一例を示す流れ図である。

図７に示す情報処理装置２１の動作は、図４に示す第１の実施形態の情報処理装置２０の動作に加え、ステップＳ１０８とＳ１０９とを実行する。

そのため、第１の実施形態と同様の動作の説明を省略し、本実施形態の特有の動作を説明する。

ステップＳ１０６の後、合成重み算出部２０７は、識別部２０５が算出したクラス変数の信頼度（重み又はスコア）を基に、参照パッチの合成に用いられる合成重みを算出する（ステップＳ１０８）。

次に、画像合成部２０８は、合成重みと参照パッチとを基に出力画像を合成する（ステップＳ１０９）。なお、画像合成部２０８が合成した出力画像は、入力画像（低品質画像）の復元画像（第２の高品質画像）である。

［効果の説明］
次に、第２の実施形態の効果について説明する。

本実施形態の情報処理装置２１は、第１の実施形態の情報処理装置２０の効果に加え、入力画像に対応した高品質の出力画像を合成ができるとの効果を得ることができる。

その理由は次のとおりである。

合成重み算出部２０７は、識別部２０５が算出した信頼度を用いて、入力パッチに対応する比較パッチの合成重みを算出する。そして、画像合成部２０８は、合成重みと、比較パッチに対応する参照パッチとを基に、出力画像を合成する。ここで、参照パッチは、比較画像作成部２０１が受信した参照画像から切り出したパッチである。そのため、画像合成部２０８は、入力画像（低品質画像）に対して、比較画像作成部２０１が受信した参照画像（第１の高品質画像）と同程度の画質（解像度）の出力画像（第２の高品質画像）を復元することができるためである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０ 情報処理装置
２０ 情報処理装置
２１ 情報処理装置
６０ 情報処理装置
１０１ 入力画像取得部
１０２ 参照画像取得部
１０３ 比較用パラメータ設定部
１０４ クラス変数設定部
１０５ 結果出力部
２０１ 比較画像作成部
２０２ 変位ベクトル推定部
２０３ 投票部
２０４ ピーク検出部
２０５ 識別部
２０７ 合成重み算出部
２０８ 画像合成部
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記憶媒体

Claims (6)

1. 比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と前記参照画像のクラスを表すクラス変数とを対応づける比較画像作成手段と、
   入力画像から入力画像の局所領域の画像である入力パッチを切り出し、前記比較画像から前記比較画像の局所領域の画像である比較パッチを切り出し、前記比較画像に対応した前記クラス変数と前記比較パッチを対応づけ、前記入力パッチと前記比較パッチとの相違度を算出し、前記入力パッチと前記比較パッチとの変位ベクトルを推定する変位ベクトル推定手段と、
   前記変位ベクトルと前記相違度とに基づいて前記クラス変数の信頼度を算出し、前記変位ベクトルと前記クラス変数とで規定される投票空間に前記信頼度を投票する投票手段と、
   前記投票空間における前記信頼度のピークを基に前記クラス変数の信頼度を算出するピーク検出手段と、
   前記クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する識別手段と
   を含む情報処理装置。
2. 前記投票手段が、
   前記比較パッチが一つ又は特定の範囲のクラス変数に偏っている場合、前記比較パッチが参照画像の特定の位置に偏っている場合、入力パッチの画像の品質が他の入力パッチの画質の品質より所定の値大きい場合、入力パッチが認識対象の中心位置から所定範囲内の場合、又は、クラス変数に対応する参照画像の数が所定の数より少ない場合の少なくともいずれか１つが成り立つ場合、その入力パッチに対する比較パッチのクラス変数の信頼度が高くなるように重み付け投票を実行する
   請求項１に記載の情報処理装置。
3. 前記識別手段が算出した信頼度を用いて入力パッチに対応する比較パッチに対する合成重みを算出する合成重み算出手段と、
   前記算出された合成重みと前記参照画像とに基づいて、前記入力画像に対する出力画像を合成する画像合成手段と
   を含む請求項１又は請求項２に記載の情報処理装置。
4. 請求項１ないし３のいずれか１項に記載の情報処理装置と、
   前記参照画像を取得して前記情報処理装置に送信する参照画像取得手段と、
   前記入力画像を取得し前記情報処理装置に送信する入力画像取得手段と、
   前記比較用パラメータを前記情報処理装置に設定する比較用パラメータ設定手段と、
   前記クラス変数を前記情報処理装置に設定するクラス変数設定手段と、
   前記情報処理装置が識別対象として識別したクラス変数を出力する結果出力手段と
   を含む情報処理装置。
5. 比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と前記参照画像のクラスを表すクラス変数とを対応づけ、
   入力画像から入力画像の局所領域の画像である入力パッチを切り出し、前記比較画像から前記比較画像の局所領域の画像である比較パッチを切り出し、前記比較画像に対応した前記クラス変数と前記比較パッチを対応づけ、前記入力パッチと前記比較パッチとの相違度を算出し、前記入力パッチと前記比較パッチとの変位ベクトルを推定し、
   前記変位ベクトルと前記相違度とに基づいて信頼度を算出し、前記変位ベクトルと前記クラス変数とで規定される投票空間に前記信頼度を投票し、
   前記投票空間における前記信頼度のピークを基に前記クラス変数の信頼度を算出し、
   前記クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する
   情報処理方法。
6. 比較用パラメータを基に参照画像から比較画像を作成し、作成した比較画像と前記参照画像のクラスを表すクラス変数とを対応づける処理と、
   入力画像から入力画像の局所領域の画像である入力パッチを切り出し、前記比較画像から前記比較画像の局所領域の画像である比較パッチを切り出し、前記比較画像に対応した前記クラス変数と前記比較パッチを対応づけ、前記入力パッチと前記比較パッチとの相違度を算出し、前記入力パッチと前記比較パッチとの変位ベクトルを推定する処理と、
   前記変位ベクトルと前記相違度とに基づいて信頼度を算出し、前記変位ベクトルと前記クラス変数とで規定される投票空間に前記信頼度を投票する処理と、
   前記投票空間における前記信頼度のピークを基に前記クラス変数の信頼度を算出する処理と、
   前記クラス変数の信頼度の値が所定の閾値より大きなクラス変数を認識対象として識別する処理と
   をコンピュータに実行させるプログラム。

Images