JP6686890B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理に関し、特に、画像の位置合わせを処理する情報処理装置、情報処理方法、及び、プログラムに関する。

画像処理として、画像中の対象を認識する画像認識処理がある。ただし、画像の撮影処理には、撮影時におけるノイズなど劣化過程が含まれる。そのため、画像認識には、画像の復元処理が必要となる場合がある（例えば、特許文献１を参照）。復元処理の一つに、例えば、学習型超解像技術がある。

画像中の対象に対する画像認識又は学習型超解像を行う場合、画像を処理する情報処理装置は、まず、入力画像における対象の姿勢と、参照画像に撮像されている対象の姿勢との幾何学的な変形を算出する。この処理は、一般的に、「画像位置合わせ（以下、単に「位置合わせ」とも呼ぶ）」と呼ばれている。画像位置合わせの方法として、Ｌｕｃａｓ−Ｋａｎａｄｅ法がある（例えば、非特許文献１を参照）。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、入力画像における対象の画素値と、位置合わせ後の参照画像における対応する画素値との差分の二乗和が最小となるように、画像の位置を合わせる方法である。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、勾配法を用いて、最小となる位置を算出する。しかしながら、Ｌｕｃａｓ−Ｋａｎａｄｅ法は、例えば、ビデオ映像における前後フレームのように、入力画像と参照画像とがほぼ同じ画像であることを前提としている。そのため、Ｌｕｃａｓ−Ｋａｎａｄｅ法は、入力画像と参照画像とにおいて、解像度又はパターン（例えば、ナンバープレートにおける番号のバリエーション）が著しく異なる場合には、適用できない。

このように、特許文献１及び非特許文献１に記載の技術は、監視カメラの画像のように、入力画像と参照画像とにおいてパターンのバリエーションが多様である場合には、適用できないという問題点があった。

そこで、画像のパターンにバリエーションが存在する場合でも位置合わせが可能な方法として、ＡＡＭ（Active Appearance model）が、提案されている（例えば、特許文献２及び非特許文献２参照）。ＡＡＭは、主成分分析を用いて、複数の参照画像から、パターンのバリエーションの分布を学習する。そして、ＡＡＭは、バリエーションの分布を、例えば、非等方ガウス分布で近似する。このように、ＡＡＭは、参照画像と入力画像との位置合わせ、及び、パターンの推定を、同時に行う方法である。

特開２００９−１１０３４９号公報 特開２００９−０５３９１６号公報

B. D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision" Proceedings of DARPA Imaging Understanding Workshop, pp. 121-130, April 1981. T. F. Cootes, C. J. Taylor, D.H. Cooper, and J. Graham, "Active Shape Models-Their Training and Application", Computer Vision and Image Understanding, Vol. 61, Issue 1, pp. 38-59, January 1995

しかしながら、特許文献２及び非特許文献２に記載の技術は、例えば、監視カメラの画像のように、低解像画像、圧縮画像、ノイズが多い画像、又は、撮像対象のバリエーションが多様である場合には、高精度な位置合わせを実現できないという問題点があった。

その理由は、ＡＡＭが、次の２つの条件を前提としているためである。
（１）パターンが、非等方ガウス分布で近似可能である。
（２）参照画像のパターン分布と入力画像のパターン分布とが、同一である。

例えば、監視カメラで撮影された低解像画像は、上記の２つの条件を満たさない場合が多い。あるいは、ナンバープレート画像は、顔画像とは異なり、パターンのバリエーションを、非等方ガウス分布で近似できない。また、参照画像は、一般的に、高精細な画像である。そして、参照画像に対し、監視カメラが撮影した入力画像は、ぼけ又は圧縮ノイズなどを含む。そのため、参照画像と入力画像とでは、パターンの分布が、大きく異なる。したがって、特許文献２及び非特許文献２に記載のＡＡＭは、例えば、監視カメラの画像のように、低解像、圧縮、又はノイズが多く、撮影対象のパターンのバリエーションが多様である場合には、高精度な位置合わせを実現できないという問題点があった。

本発明の目的は、上記問題点を解決し、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

本発明の一形態における情報処理装置は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成する特徴点サンプリング手段と、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する画像劣化手段と、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する信頼度算出手段とを含む。

本発明の一形態におけるデータ処理方法は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成し、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成し、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する。

本発明の一形態におけるプログラムは、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成する処理と、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する処理と、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する処理とをコンピュータに実行させる。

本発明に基づけば、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせを実現するという効果を奏することができる。

図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る信頼度算出部の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る情報処理装置の動作の一例を示す流れ図である。 図４は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図５は、第２の実施形態に係る信頼度算出部の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る情報処理装置の動作の一例を示す流れ図である。 図７は、第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図８は、第３の実施形態に係る情報処理装置の動作の一例を示す流れ図である。 図９は、第４の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図１０は、サンプリング点の一例を示す図である。 図１１は、特徴点仮説の一例を示す図である。 図１２は、輪郭信頼度が低い場合の特徴点仮説の一例を示す図である。 図１３は、輪郭信頼度が高い場合の特徴点仮説の一例を示す図である。 図１４は、第５の実施形態に係る情報処理装置の構成の一例を示すブロック図である。

次に、本発明の実施形態について図面を参照して説明する。

なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。

また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

まず、実施形態の説明における用語について整理する。

「対象画像」とは、各実施形態の説明において、処理対象となる画像である。対象画像は、例えば、監視カメラが撮影した低解像画像、圧縮画像、又はノイズが激しい画像である。

「参照画像」とは、各実施形態の処理において、参照として用いられる画像である。以下の説明において、本発明における実施形態は、複数の参照画像を用いる。ただし、これは、本発明における実施形態が、１つの参照画像を用いる場合を排除するものではない。

「劣化画像」とは、参照画像を劣化させた画像である。劣化の詳細については、後ほど説明する。

「特徴点」とは、位置合わせ処理において、対象画像と劣化画像（又は参照画像）とを用いた位置合わせの対象となる候補点のことである。位置合わせは、対象の外形（輪郭）又は対象に含まれる特徴的な形状を用いて実行される。そのため、特徴点は、例えば、多角形の頂点である。そこで、以下の説明では、一例として、各実施形態は、対象物の輪郭形状を多角形と仮定して、多角形の頂点を、特徴点として用いるとする。ただし、本発明における各実施形態は、特徴点として、多角形の頂点に限らず、他の点を用いてもよい。例えば、対象が人の顔又は人物の目の場合、本発明における実施形態は、対象の輪郭形状を円又は楕円を仮定して、特徴点として、円又は楕円の形状を決定する点を用いてもよい。例えば、楕円形状の場合、本発明における実施形態は、特徴点として、長軸と外周との２つの交点と、短軸と外周との２つの交点とを合わせた４点を用いてもよい。あるいは、対象が、回路基板の場合、本発明における実施形態は、特徴点として、対象（基板）に含まれる特徴的な素子の外形（輪郭）を用いてもよい。

「特徴点仮説」とは、仮説となる特徴点の組合せである。対象が、多角形の場合、特徴点の組合せは、多角形における位置合わせの対象となる候補点の組合せ（例えば、頂点の組合せ）となる。ここで、多角形の頂点の組合せは、対象の輪郭を示すものとなる。上記のとおり、本実施形態の説明は、多角形を用いて説明する。そのため、以下の説明において、特徴点仮説は、対象である多角形の輪郭における頂点となる。ただし、本実施形態のおける特徴点仮説は、多角形の輪郭における頂点に限る必要はない。

「クラス」とは、本実施形態の説明では、画像の分類である。つまり、対象画像などは、所定のクラスに分類されている。

「Ｌ_ｐ距離」とは、ルベーグ空間のｐ乗平均ノルムである。例えば、ｎ次元の場合、Ｌ_ｐ距離は、座標を（ｘ_１,ｘ_２，・・・,ｘ_ｎ）とすると、（｜ｘ_１｜^ｐ＋｜ｘ_２｜^ｐ＋…＋｜ｘ_ｎ｜^ｐ）^１／ｐとなる。

＜第１の実施形態＞
次に、本発明における第１の実施形態について図面を参照して説明する。

［構成の説明］
図１は、本発明における第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。

情報処理装置１００は、対象画像受信部１１０と、特徴点サンプリング部１２０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７０と、特徴点推定部１８０とを含む。

なお、情報処理装置１００は、図示しない記憶部を含んでもよい。この場合、情報処理装置１００に含まれる上記の各部は、図示しない記憶部に、以下で説明する情報（画像データ、バラメータなど）を保存し、又は、情報を記憶部から取り出してもよい。なお、以下の説明では、各部における記憶部への動作の説明を省略するが、記憶部への保存動作又は記憶部からの取り出し動作を排除するものではない。

対象画像受信部１１０は、特徴点を推定する動作の対象となる画像（対象画像）を受信する。なお、予め図示しない記憶部に記憶されている対象画像を処理する場合、情報処理装置１００は、対象画像受信部１１０を含まなくてもよい。

特徴点サンプリング部１２０は、対象画像に対応する特徴点（輪郭の頂点）の位置の初期値（以下、単に「初期値」とも呼ぶ）を、予め保持、又は、推定（決定）する。特徴点サンプリング部１２０は、初期値として、例えば、予め情報処理装置１００の利用者が設定した特徴点を保持してもよい。あるいは、特徴点サンプリング部１２０は、暫定的に、対象画像にＡＡＭのような一般的な技術を適用して、特徴点の初期値を推定（決定）してもよい。あるいは、特徴点サンプリング部１２０は、初期値として、予め、輪郭を形成するために必要な数より少ない数の特徴点を保持し、初期値として必要な残りの特徴点を推定してもよい。

以下の本実施形態の説明では、一例として、特徴点サンプリング部１２０は、予め、利用者が設定した特徴点の初期値を保持しているとする。

次に、特徴点サンプリング部１２０は、各頂点の特徴点として、特徴点の初期値を基に、各初期値の周辺の所定の位置及び数の複数の画素を、ピクセル（画素）の精度又はサブピクセルの精度（ピクセルより細かい精度）で、サンプリング（選択）する。以下、サンプリングされた特徴点を、「サンプリング点」と呼ぶ。そして、特徴点サンプリング部１２０は、仮説となる特徴点の組（特徴点仮説）として、所定の形状の輪郭となるように、その形状の頂点の特徴点を組み合わせた特徴点の組（特徴点仮説）を生成する。なお、以下の説明では、添え字「ｌ」を用いて、特徴点仮説を区別する。また、特徴点仮説の生成を、「特徴点仮説のサンプリング」とも呼ぶ。

図１０は、サンプリング点の一例を示す図である。

図１１は、特徴点仮説の一例を示す図である。

参照画像受信部１４０は、特徴点を推定するために使用する複数枚の参照画像を受信する。なお、予め図示しない記憶部に記憶されている参照画像を用いる場合、情報処理装置１００は、参照画像受信部１４０を含まなくてもよい。

劣化パラメータ受信部１５０は、後述する画像劣化部１６０が使用する劣化パラメータを受信する。劣化パラメータ受信部１５０は、受信する劣化パラメータの範囲に制限はない。例えば、画像劣化部１６０が、予め、使用する劣化パラメータの一部を保持する場合、劣化パラメータ受信部１５０は、残りの劣化パラメータを受信してもよい。あるいは、劣化パラメータ受信部１５０は、全ての劣化パラメータを受信し、画像劣化部１６０に送信してよい。なお、画像劣化部１６０が、予め、全ての劣化パラメータを保持する場合、情報処理装置１００は、劣化パラメータ受信部１５０を含まなくてもよい。

また、受信する劣化パラメータの種類は、特に制限はない。例えば、受信する劣化パラメータとしては、画像の解像度、画像の焦点ボケ若しくは動きブレの大きさを表す点拡がり関数、画像の圧縮量、又は画像のノイズ量が想定される。あるいは、劣化パラメータ受信部１５０は、上記の劣化パラメータに加え、インターレース処理などの画像圧縮の方式、又は、白飛び若しくは黒潰れなどの明度変化についての劣化パラメータを受信してもよい。

画像劣化部１６０は、特徴点サンプリング部１２０がサンプリングした特徴点仮説と、参照画像受信部１４０が受信した参照画像と、劣化パラメータ受信部１５０が受信した劣化パラメータとを基に、参照画像を劣化させた画像を生成する。以下、参照画像を劣化させた画像を、単に、「劣化画像」と呼ぶ。画像劣化部１６０は、劣化パラメータの組を用いて劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、各劣化パラメータを個別に用いて、劣化画像を生成してもよい。

また、画像劣化部１６０は、全ての参照画像に対して劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、一部の参照画像の劣化画像を生成しなくてもよい。例えば、対象画像と明らかに異なる参照画像が含まれる場合、画像劣化部１６０は、その参照画像に関する劣化画像を生成しなくてもよい。

また、画像劣化部１６０は、参照画像に対して、全ての劣化パラメータの組を用いた劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、参照画像と、劣化パラメータの組との組合せの一部について、劣化画像を生成しなくてもよい。

また、画像劣化部１６０における劣化パラメータを用いた劣化画像を生成する方法は、特に制限はない。例えば、画像劣化部１６０は、劣化パラメータを基に、圧縮ノイズ、インターレース、及び明度変化を模擬（シミュレート：simulate）できるように、次に数式１で示す劣化過程モデルＹを用いてもよい。

［数式１］

数式１において、ベクトルＸは、参照画像（高解像画像）の画素値（例えば、輝度値）をラスタスキャン順に並べた縦ベクトルである。

行列Ｗ_Ｈ、及び行列Ｂ_σは、姿勢に基づく画像変形を表す行列、及びボケ（ブラー：blur）を表す行列である。例えば、画像劣化部１６０は、ブラーとして、標準偏差σ［単位は画素］の幅を持つガウスフィルタを用いて近似させる行列Ｂ_σを用いてもよい。また、画像劣化部１６０は、画像変形を表す行列Ｗ_Ｈとして、各特徴点を基に算出された姿勢変換を表す射影変形（ホモグラフィ（Ｈ）：homography）を用いてもよい。ベクトルＮは、ノイズを表す縦ベクトルである。

また、関数Ｄ_ｆ（・）、関数Ｃ_ｃｒ（・）、及び関数Ｇ_ｐ（・）は、それぞれ、インターレースを考慮したダウンサンプリング関数、圧縮（ｊｐｅｇ圧縮）を行う関数、及び明度を変化させる関数である。

各関数は、例えば、次のような関数である。

ダウンサンプリング関数Ｄ_ｆ（・）は、劣化パラメータに応じた圧縮方式として、次に示すようなダウンサンプリングを実行する関数である。例えば、対象となる画像が、プログレッシブ映像から切り出された画像の場合、関数Ｄ_ｆ（・）は、一般的なダウンサンプリングと同様の方式を用いてダウンサンプリングを実行する。また、対象となる映像がインターレース映像から切り出された画像の場合、関数Ｄ_ｆ（・）は、次のように動作すれば良い。すなわち、関数Ｄ_ｆ（・）は、奇数フィールドでは、一般的なダウンサンプリングを実行する。一方、関数Ｄ_ｆ（・）は、偶数フィールドでは、奇数フィールド（偶数フィールドの上下の奇数フィールド）の画素を用いた線形補間を実行する。あるいは、反対に、関数Ｄ_ｆ（・）は、偶数フィールドにおいて、一般的なダウンサンプリングを実行する。そして、関数Ｄ_ｆ（・）は、奇数フィールドでは偶数フィールド（奇数フィールドの上下の偶数フィールド）の画素を用いた線形補間を実行してもよい。だたし、画像劣化部１６０における圧縮方法は、これらに限らず、別の方法でもよい。

圧縮関数Ｃ_ｃｒ（・）は、添え字ｃｒの値に応じて、次の数式２に示す規格となる量子化行列Ｑの値を変換した量子化行列Ｑ’を生成し、量子化行列Ｑ及び量子化行列Ｑ’を用いて、画像を圧縮する関数である。なお、ｃｒは、圧縮量を表す値である。ｃｒの範囲は、−１から１（ｃｒ∈［−１，１］）である。

［数式２］

数式２において、ｍａｘ［Ｑ，１］は、行列Ｑの各成分（各要素）について、１よりも小さい要素を、１に置き換える処理である。また、「Ｑ（１−ｃｒ）」は、行列Ｑの各要素に（１−ｃｒ）を掛けることを示す。つまり、ｃｒ＞０の場合、行列Ｑ’の要素は、行列Ｑの要素に（１−ｃｒ）を掛け、掛けた結果が１より小さい要素を１に置き換えた値である。

また、（２５５−Ｑ）は、「２５５」から行列Ｑの各要素を引いた値を示す。つまり、ｃｒ＞０でない場合、行列Ｑ’の要素は、「２５５」から行列Ｑの要素を引いた値に（１＋ｃｒ）を掛け、さらに、「２５５」から掛けた結果の値を引いた値である。

行列Ｑ’を生成後、関数Ｃ_ｃｒ（・）は、引数であるベクトル（画素値のベクトル）に行列Ｑ’の逆行列を掛け合わせ、掛け合わせた結果であるベクトルにおける要素の少数点以下を四捨五入して整数化し、さらに、その結果のベクトルに行列Ｑを掛ける。

明度変化関数Ｇ_ｐ（・）は、添え字ｐの値に応じて、引数のベクトルの成分毎に、γ補正を実行する。ここで、関数Ｇ_ｐ（・）の添え字ｐは、アピアランス相違度を算出する領域を区別するための添え字である。つまり、ｐは、ｐ∈Ｐ（アピアランス相違度を算出する領域全体の集合）となる。例えば、具体的には、ベクトルの要素の値をｘ、添え字をｐ（領域ｐ）とした場合、関数Ｇ_ｐ（・）を用いた変換後のベクトルの要素の値（ｙ）は、次に示す数式３のように算出される。

［数式３］

なお、画像劣化部１６０は、特徴点仮説と参照画像との組合せの数の劣化画像を生成する。例えば、参照画像の枚数がＭ枚、特徴点仮説の数がＬ個の場合、画像劣化部１６０は、Ｍ×Ｌ枚の劣化画像を生成する。さらに、劣化パラメータの複数の組合せが存在する場合、画像劣化部１６０は、上記の組合せに加え、劣化パラメータとの組合せに対応する劣化画像を生成する。例えば、上記に加え、Ｕ組の劣化パラメータの組合せがある場合、画像劣化部１６０は、Ｍ×Ｌ×Ｕ枚の劣化画像を生成する。

ただし、画像劣化部１６０は、上記より少ない数の劣化画像を生成してもよい。

信頼度算出部１７０は、対象画像と劣化画像と特徴点仮説とを基に、特徴点仮説の信頼度（以下、「統合信頼度」と呼ぶ）を算出する。

図２は、信頼度算出部１７０の構成の一例を示すブロック図である。

信頼度算出部１７０は、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３とを含む。ただし、信頼度算出部１７０の構成は、これに限る必要はない。例えば、信頼度算出部１７０は、輪郭信頼度算出部１７１又はアピアランス相違度算出部１７２のいずれか一方を含んでもよい。つまり、信頼度算出部１７０は、以下で説明する輪郭信頼度又はアピアランス相違度を、統合信頼度として出力してもよい。

輪郭信頼度算出部１７１は、対象（オブジェクト）の特徴点仮説を輪郭（枠）とした場合の信頼度（以下、「輪郭信頼度」と呼ぶ）を算出する。ここで輪郭とは、対象画像に含まれる対象の輪郭である。例えば、対象画像に撮像されている対象が顔の場合、頬の輪郭又は目の縁などが、輪郭として定義される。あるいは、撮像されている対象がナンバープレートの場合、ナンバープレートの枠の部分が、輪郭として定義される。

また、輪郭信頼度算出部１７１が信頼度を算出する方法は、特に制限はない。例えば、輪郭信頼度算出部１７１は、次のような方法を用いてもよい。まず、輪郭信頼度算出部１７１は、受信した対象画像と劣化画像とにソーベルフィルタを適用してエッジを検出する。そして、輪郭信頼度算出部１７１は、検出したエッジを基にエッジ強度を算出する。そして、輪郭信頼度算出部１７１は、仮定した直線上でのエッジ強度を、輪郭に沿って積分する。そして、輪郭信頼度算出部１７１は、エッジ強度の積分値を輪郭の信頼度とすればよい。

例えば、撮像されている対象がナンバープレート画像の場合について、図面を参照して説明する。

図１２は、輪郭信頼度が低い場合の特徴点仮説の一例を示す図である。

図１３は、輪郭信頼度が高い場合の特徴点仮説の一例を示す図である。

図１２に示す場合、特徴点仮説、つまり、輪郭（例えば、ナンバープレートの枠）の輝度変化が少ない。つまり、輪郭上でのエッジ強度が、小さい。そのため、図１２に示す場合、エッジ強度の積分値は、小さい。

一方、図１３に示す場合、特徴点仮説、つまり、輪郭の輝度変化が大きい。つまり、輪郭上でのエッジ強度が、大きい。そのため、図１３に示す場合、エッジ強度の積分値は、大きい。

ここで、ｓを線素、対象画像のエッジ強度を表す関数を関数ｆ（ｓ）、輪郭上の微小線素をｄｓとした場合、特徴点仮説ｌに対応する積分値Ｔ_ｌは、次に示す数式４のようになる。

［数式４］

輪郭信頼度算出部１７１は、関数ｆ（ｓ）を積分して、積分値Ｔ_ｌを算出すればよい。

なお、エッジ強度の算出方法として、輪郭信頼度算出部１７１は、ソーベルフィルタ以外の方法を用いてもよい。例えば、輪郭信頼度算出部１７１は、Ｃａｎｎｙの方法を用いてもよい。

そして、輪郭信頼度算出部１７１は、特徴点仮説の積分値Ｔ_ｌを、Ｚ値（正規分布を用いるＺ検定）を用いて正規化した輪郭信頼度Ｓ_ｌを算出する。輪郭信頼度Ｓ_ｌは、次に示す数式５となる。

［数式５］

アピアランス相違度算出部１７２は、劣化画像と対象画像とを基に、劣化画像と対象画像とにおける対象のアピアランスの信頼度を算出する。アピアランス相違度算出部１７２は、対象画像と、全ての劣化画像との組合せについて、アピアランス相違度を計算する。

アピアランス相違度算出部１７２について、さらに説明する。なお、以下の説明においても、対象画像は、ナンバープレートの画像とする。ただし、本実施形態は、これに限定されるわけではない。また、以下の説明において、参照画像を添え字「ｍ」を用いて区別する。

アピアランス相違度算出部１７２は、対象画像の所定の領域について、対象画像と劣化画像とのアピアランス相違度を算出する。アピアランス相違度は、見かけの相違度である。アピアランス相違度算出部１７２は、例えば、アピアランス相違度を、対象画像と劣化画像との所定の各領域から抽出した特徴ベクトルの差のＬ_２距離を用いて、算出してもよい。あるいは、アピアランス相違度算出部１７２は、アピアランス相違度を、対象画像と劣化画像との所定の各領域から抽出した特徴ベクトルの差のＬ_１距離又はＫＬ（カルバック・ライブラー）距離を用いて算出してもよい。

以下の説明では、アピアランス相違度を算出に使用する画像から抽出される特徴ベクトルの一例として、正規化相互相関を用いる。ただし、本実施形態は、これに限定されるわけではない。

また、以下の説明では、特徴ベクトルを算出する領域を区別するための添え字として、Ｒを用いる。また、アピアランス相違度算出部１７２が各領域から抽出した特徴ベクトルをＦ_ｌｍ ^Ｒと表す。この時、アピアランス相違度算出部１７２は、劣化画像における各領域に対して、全ての劣化画像の中から最小となる特徴ベクトルＦ_ｌｍ ^Ｒを選択する。そして、アピアランス相違度算出部１７２は、選択した特徴ベクトルＦ_ｌｍ ^Ｒの和を、各特徴点仮説ｌに対するアピアランス相違度Ｆ_ｌとすれば良い。これは、次に示す数式６となる。

［数式６］

数式６に示されている各Ｄ_ｌ ^Ｒは、以下の数式７となる。

［数式７］

信頼度統合部１７３は、輪郭信頼度算出部１７１が算出した輪郭信頼度Ｓ_ｌと、アピアランス相違度算出部１７２が算出したアピアランス相違度Ｆ_ｌとを線形結合し、特徴点の信頼度である統合信頼度Ｊ_ｌを算出する。統合信頼部Ｊ_ｌは、次の数式８となる。

［数式８］

数式８におけるα及びβは、ナンバープレート内のアピアランスが鮮明であるほどαの値が大きく、輪郭が鮮明であるほどβの値が小さくなるように、予め、信頼度統合部１７３に設定されている定数である。例えば、情報処理装置１００の利用者が、予め、下記に示すαとβを、信頼度算出部１７０に設定しておけばよい。

クラスの相違度は、アピアランスが不鮮明な場合に比べ、アピアランスが鮮明である場合、より分散している。そのため、αは、例えば、数式９に示すように、分散が大きくなるほど、その値が大きくなればよい。

［数式９］

数式９において、Ｄ_０及びＤ_１は、予め、定められた定数である。

一方、積分値Ｔ_ｌの最大値が大きいほど、輪郭が鮮明である。そのため、βは、例えば、数式１０に示すように、Ｔ_ｌの最大値が大きくなるほど、その値が小さくなればよい。

［数式１０］

特徴点推定部１８０は、推定する特徴点（特徴点候補）として、特徴点仮説の中で、統合信頼度Ｊ_ｌが最も大きな１つの特徴点仮説、又は、大きい方から所定の数の特徴点仮説を選択（推定）する。そして、特徴点推定部１８０は、選択された特徴点（特徴点候補）を用いて、劣化画像（又は参照画像）と対象画像との位置合わせを実行する。なお、特徴点推定部１８０における位置合わせの手法は、特に制限はない。例えば、特徴点推定部１８０は、特許文献２に記載の位置合わせの手法を用いてもよい。また、特徴点推定部１８０は、位置合わせの処理において、必要に応じて画像を変形してもよい。

上記のとおり、特徴点推定部１８０は、１つの特徴点の組（特徴点仮説）を選択してもよく、所定の複数の特徴点仮説を選択してもよい。複数の特徴点仮説を選択する場合、特徴点推定部１８０は、特徴点仮説毎に、位置合わせを実行する。

特徴点推定部１８０は、位置合わせの結果を、図示しない表示機器に表示、又は、図示しない装置に送信してもよい。

なお、例えば、情報処理装置１００は、信頼度算出部１７０が算出した統合信頼度を、図示しない対象画像を送信した装置に送信してもよい。この場合、情報処理装置１００は、特徴点推定部１８０を含まなくてもよい。

なお、本実施形態では、画像劣化部１６０は、特徴点サンプリング部１２０が生成した全ての特徴点仮説に対して、劣化画像を生成した。そして、信頼度算出部１７０は、全ての劣化画像に対して、信頼度を算出した。しかし、本実施形態は、これに限定されない。

例えば、信頼度算出部１７０は、特徴点サンプリング部１２０が生成した特徴点仮説の中で、信頼度が明らかに小さいと予測できる特徴点仮説を棄却して、信頼度算出の計算を省略してもよい。さらに、信頼度算出部１７０は、棄却する特徴点仮説を画像劣化部１６０に通知して、画像劣化部１６０における劣化画像の生成を省略してもよい。

例えば、特徴点仮説から算出された姿勢を撮影するために想定されるカメラ位置と、実際に撮影したカメラの位置とが大きく異なる場合、信頼度算出部１７０は、その特徴点仮説を棄却してもよい。より具体的な例として、遠方からナンバープレートなどの長方形の物体を撮像する場合について説明する。遠方から長方形の物体を撮像した場合、この物体は、画像上で平行四辺形に近い形状になる。そのため、特徴点仮説に基づいて得られた形状が、平行四辺形から大きく外れる場合、信頼度算出部１７０は、その特徴点仮説を棄却してもよい。

特徴点仮説を棄却する方法は、上記に限定されない。例えば、信頼度算出部１７０は、輪郭信頼度算出部１７１が算出した輪郭信頼度の値が著しく小さい場合、アピアランス相違度算出部１７２におけるアピアランス相違度を算出する前に、その特徴点仮説を棄却してもよい。

［動作の説明］
次に、図面を参照して、本実施形態の情報処理装置１００の動作について説明する。

図３は、本実施形態に係る情報処理装置１００の動作の一例を示す流れ図である。

まず、対象画像受信部１１０が、対象画像を受信する（ステップＳ３０１）。

次に、特徴点サンプリング部１２０が、特徴点の初期値を受信し、初期値を基に特徴点仮説を生成する（ステップＳ３０２）。

参照画像受信部１４０、及び劣化パラメータ受信部１５０が、それぞれ、参照画像、及び劣化パラメータを受信する（ステップＳ３０３）。

次に、画像劣化部１６０が、特徴点仮説と、参照画像とを基に、劣化画像を生成する（ステップＳ３０４）。

次に、輪郭信頼度算出部１７１が、輪郭信頼度を算出する（ステップＳ３０５）。

アピアランス相違度算出部１７２が、アピアランス相違度を算出する（ステップＳ３０６）。

そして、信頼度統合部１７３が、輪郭信頼度と、アピアランス相違度とを統合し、統合信頼度を算出する（ステップＳ３０７）。

特徴点推定部１８０が、信頼度が高い特徴点仮説（特徴点の組）を選択する（ステップＳ３０８）。なお、この選択は、特徴点の推定に相当する。

［効果の説明］
次に、第１の実施形態の効果について説明する。

本実施形態の情報処理装置１００は、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせを実現するとの効果を奏することができる。つまり、情報処理装置１００は、対象画像及び参照画像のパターンが複雑な場合でも、位置合わせを実現するとの効果を奏することができる。

その理由は、次のとおりである。

特徴点サンプリング部１２０が、特徴点の初期値と対象画像とを基に、特徴点仮説を生成する。画像劣化部１６０が、特徴点仮説と参照画像と劣化パラメータとを基に、参照画像を劣化させた劣化画像を生成する。そして、信頼度算出部１７０が、対象画像と特徴点仮説と劣化画像とを基に、各特徴点仮説の信頼度を算出する。そして、特徴点推定部１８０が、信頼度が高い特徴点仮説、つまり、特徴点候補を選択するためである。

つまり、情報処理装置１００は、対象画像と、参照画像を劣化させた劣化画像とを用いる。そのため、情報処理装置１００は、対象画像と参照画像とのパターンの分布が大きく異なる場合でも、正確な信頼度を算出できるためである。つまり、情報処理装置１００は、パターンのバリエーションが多様な場合でも、高精度な位置合わせが可能である。

また、情報処理装置１００は、必要な範囲の全ての参照画像の劣化画像と、必要な範囲の全ての（姿勢などの）劣化パラメータとの組合せを用いる。そのため、情報処理装置１００は、パターンにバリエーションが多い場合でも、対象画像の姿勢を見つけることができるためである。

その結果、情報処理装置１００は、高精度な画像の位置合わせを実現できる。つまり、情報処理装置１００は、圧縮率が高い又はノイズが多い低解像な画像についても、高精度に位置合わせ可能である。

＜第２の実施形態＞
第２の実施形態に係る情報処理装置１０１は、参照画像を識別する識別子（ＩＤ：Identifier）を用いる。以下、本実施形態について図面を参照して説明する。

［構成の説明］
図４は、第２の実施形態に係る情報処理装置１０１の構成の一例を示すブロック図である。

情報処理装置１０１は、第１の実施形態の情報処理装置１００の信頼度算出部１７０と特徴点推定部１８０に換えて、信頼度算出部１７５とＩＤ識別部１８１とを含み、さらに、ＩＤ受信部１３０を含む。以下の説明では、本構成を用いて説明するが、本実施形態の構成は、上記に限定されない。例えば、情報処理装置１０１は、特徴点推定部１８０を含んでもよい。

以下、第１の実施形態と同様の構成及び動作の説明を適宜省略し、本実施形態に特有の構成及び動作を中心に説明する。

ＩＤ受信部１３０は、参照画像を区別するためのＩＤ（識別子：Identifier）を受信する。本実施形態において、ＩＤは、特に制限はない。例えば、参照画像が人の顔の場合、ＩＤは、個人を識別するためのＩＤ（例えば、社員番号又は会員番号）でもよい。あるいは、参照画像がナンバープレートの場合、ＩＤは、ナンバープレートの数値でもよい。

ＩＤ受信部１３０が受信したＩＤは、参照画像に関連付けられる。例えば、参照画像受信部１４０が、ＩＤを参照画像に関連付けてもよい。あるいは、ＩＤ受信部１３０が、参照画像受信部１４０が受信した参照画像に、ＩＤを関連付けてもよい。なお、参照画像受信部１４０が受信する参照画像が、ＩＤを含んでもよい。この場合、情報処理装置１０１は、ＩＤ受信部１３０を含まなくてもよい。

信頼度算出部１７５は、第１の実施形態の信頼度算出部１７０と同様に、動作する。さらに、信頼度算出部１７５は、下記で説明するように、スコアＫ（ｎ）を算出する。

図５は、第２の実施形態に係る信頼度算出部１７５の構成の一例を示すブロック図である。

信頼度算出部１７５は、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３と、スコア算出部１７６とを含む。ただし、信頼度算出部１７５の構成は、これに限る必要はない。

ここで、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３とは、第１に実施形態と同様に動作する。そのため、スコア算出部１７６について説明する。

まず、スコア算出部１７６は、次の数式１１に示すように、アピアランス相違度をＦ_ｌｍ ^Ｒと輪郭信頼度Ｓ_ｌとを線形結合したスコアＶ_ｌｍ ^Ｒを算出する。

［数式１１］

数式１１のα及びβは、線形結合の定数であり、第１の実施形態の数式８で説明した定数と同様の定数である。なお、数式１１と、数式６ないし８とを比較から明らかなとおり、数式８の統合信頼度Ｊ_ｌと数式１１のスコアＶ_ｌｍ ^Ｒとは、次の点で異なる。統合信頼度Ｊ_ｌは、アピアランス相違度Ｆ_ｌｍ ^Ｒの最小値を用いている。これに対し、スコアＶ_ｌｍ ^Ｒは、Ｆ_ｌｍ ^Ｒを用いている。

次に、スコア算出部１７６は、統合信頼度を線形結合したスコアＶ_ｌｍ ^Ｒの上位ｋ個（統合信頼度において、値の高い方からｋ個）の参照画像に対応するＩＤを用いて、スコアＫ（ｎ）を算出する。ここで、ｋは、予め情報処理装置１０１の利用者が設定しておく値である。また、スコアＫ（ｎ）は、上位に選択された参照画像に関連する（紐付く）ＩＤが偏っているほど（例えば、ある１つのＩＤに偏っているほど）、そのＩＤのスコアが高くなるように算出される値である。例えば、スコア算出部１７６は、次に示す数式１２を用いて、各参照画像のスコアＫ（ｎ）を算出してもよい。数式１２に示すＫ（ｎ）は、上位ｋ個の参照画像に関連するＩＤに対して、重みｗ_ｊで重み付け投票を実行する。

［数式１２］

数式１２において、ｎは、各参照画像のＩＤ（このＩＤは、クラスでもある）である。ｎ_ｊは、ｊ位の参照画像のＩＤである。δ（・，・）は、２つの引数の値が一致するときは「１」を取り、それ以外のときは「０」を取る関数である。また、重み付投票に用いる重みｗ_ｊは、ｊ位に設定された重みを与える係数である。ｗ_ｊは、例えば、次に示す数式１３のように定義される。

［数式１３］

このように、スコア算出部１７６は、統合信頼度が上位の参照画像に対し、偏りが多いほどその値が高くなるように、各参照画像のスコアを算出する。

ＩＤ識別部１８１は、第１の実施形態の特徴点推定部１８０と同様に動作する。つまり、ＩＤ識別部１８１は、特徴点推定部の変形でもある。

さらに、ＩＤ識別部１８１は、信頼度算出部１７５が算出したスコアＫ（ｎ）が最も大きいＩＤの参照画像を選択する。つまり、ＩＤ識別部１８１は、偏りが大きい参照画像を選択する。

そして、ＩＤ識別部１８１は、対象画像と、選択した特徴点仮説と、選択した参照画像（又は、参照画像に対応する劣化画像）とを基に、位置合わせを実行する。

［動作の説明］
次に、図面を参照して、本実施形態に係る情報処理装置１０１の動作について説明する。

図６は、第２の実施形態に係る情報処理装置１０１の動作の一例を示す流れ図である。

なお、適宜、第１の実施形態と同様の動作の詳細な説明を省略する。

ステップＳ３０１からＳ３０２は、第１の実施形態と同様の動作である。

ステップＳ４０３において、ＩＤ受信部１３０が、ＩＤを受信し、さらに、ステップＳ３０３と同様に、参照画像受信部１４０及び劣化パラメータ受信部１５０が、参照画像、及び劣化パラメータを受信する。

ステップＳ３０４からＳ３０６は、第１の実施形態と同様の動作である。

そして、信頼度算出部１７５は、統合信頼度を算出後、スコアＫ（ｎ）を算出する（ステップＳ４０７）。

ＩＤ識別部１８１は、スコアが最も高いＩＤ（参照画像）を選択する（ステップＳ４０８）。

［効果の説明］
次に、本実施形態の効果について説明する。

本実施形態の情報処理装置１０１は、第１の実施形態の効果に加え、参照画像のパターンが複雑な場合でも、参照画像のＩＤを識別できるとの効果を奏することができる。

これは、本実施形態の情報処理装置１０１が、参照画像にＩＤを関連付けるためである。

さらに、情報処理装置１０１は、ＩＤの偏りに基づくスコアＫ（ｎ）を用いるためである。

＜第３の実施形態＞
第３の実施形態に係る情報処理装置１０２は、対象画像に対応する画像（復元画像）を復元する。以下、本実施形態について図面を参照して説明する。

［構成の説明］
図７は、第３の実施形態に係る情報処理装置１０２の構成の一例を示すブロック図である。

情報処理装置１０２は、第１の実施形態の情報処理装置１００の構成に加え、画像復元用辞書作成部２１０と、画像復元部２２０と、画像出力部２３０とを含む。以下に説明では、本実施形態について、この構成を用いて説明する。ただし、本実施形態の構成は、上記に限定されない。例えば、情報処理装置１０２は、ＩＤ識別部１８１を含んでもよい。

以下、第１の実施形態と同様の構成及び動作の説明を適宜省略し、本実施形態に特有の構成及び動作を中心に説明する。

画像復元用辞書作成部２１０は、参照画像及び劣化画像から、対応する位置の小領域（パッチ）を切り出す。なお、小領域（パッチ）の大きさは、予め、画像復元用辞書作成部２１０に設定されている。例えば、情報処理装置１０２の利用者が、予め、小領域（パッチ）の大きさを、設定しておけばよい。なお、小領域は、「局所領域」とも呼ばれる。

そして、画像復元用辞書作成部２１０は、参照画像と劣化画像とにおける各小領域の組（パッチペア）を辞書（図示せず）に登録する。例えば、画像復元用辞書作成部２１０は、辞書に登録する組の情報として、各小領域に対する特徴ベクトルのパッチペアを辞書に登録する。ただし、画像復元用辞書作成部２１０は、特徴点推定部１８０が選択（推定）した特徴点候補の領域内から、小領域を切り出す。つまり、画像復元用辞書作成部２１０は、特徴点候補の領域内の小領域（パッチ）を辞書に登録する。

なお、画像復元用辞書作成部２１０は、参照画像について、大きさ及び明度を正規化してもよい。例えば、画像復元用辞書作成部２１０は、参照画素の縦横の画素数を、所定の値となるように、拡大又は縮小してもよい。あるいは、画像復元用辞書作成部２１０は、明度に関して、背景色の輝度値を基に、コントラストを補正してもよい。

ここで、辞書に登録される特徴ベクトルは、特に制限はない。例えば、辞書に記憶する特徴ベクトルΨは、対応する小領域の輝度値をラスタスキャン順に並べたベクトルｖ＝（ｖ_１，ｖ_２，…，ｖ_ｉ，…，ｖ_ｎ）及び重みベクトルｗ＝（ｗ_１，ｗ_２，…，ｗ_ｉ，…，ｗ_ｎ）を用いて、数式１４のように定義されてもよい。なお、数式１４における「ｎ」は、特徴ベクトルΨの次元である。

［数式１４］

数式１４において、小領域のｉ番目の画素における重みベクトルｗ_ｉは、小領域を選択する際に、小領域の中心の明度が類似している小領域を優先的に選択するための重みである。重みｗ_ｉは、画素ｉと小領域の中心からの距離ｒ_ｉと重みの減衰率を決定するパラメータρを用いて、次に示す数式１５のように定義される。

［数式１５］

画像復元部２２０は、対象画像の画素毎に、小領域に関連する（紐付く）特徴ベクトルの相違度に基づき、作成された辞書から復元に用いる小領域を探索する。そして、画像復元部２２０は、復元画像の各画素について、探索された対応する複数の小領域の重み付き平均を基に、画素値を合成して、対象画像に対応する復元画像を生成する。

画像出力部２３０は、復元された復元画像を、図示しない装置（例えば、表示装置）に出力する。画像出力部２３０が、表示機器を含み、復元画像を表示してよい。

［動作の説明］
次に、図面を参照して本実施形態の動作について説明する。

図８は、第３の実施形態に係る情報処理装置１０２の動作の一例を示す流れ図である。

なお、適宜、第１の実施形態と同様の動作の詳細な説明を省略する。

情報処理装置１０２は、ステップＳ３０１からＳ３０８までの第１の実施形態と同様に動作する。

そして、画像復元用辞書作成部２１０は、画像復元用辞書を作成する（ステップＳ５０９）。すなわち、画像復元用辞書作成部２１０は、前述した各小領域の組（パッチペア）を辞書に登録する。

画像復元部２２０は、画像復元用の辞書を用いて、前述したように対象画像に対応する復元画像を復元する（ステップＳ５１０）。

画像出力部２３０は、復元画像を出力する（ステップＳ５１１）。

［効果の説明］
本実施形態の効果について説明する
本実施形態の情報処理装置１０２は、第１の実施形態の効果に加え、高精度な画像を復元するとの効果を奏することができる。

その理由は、情報処理装置１０２は、第１の実施形態と同様に、高精度な画像の位置合わせが可能である。そして、情報処理装置１０２は、高精度の位置に応じた画像復元用の辞書を用いて画像を復元するからである。そのため、情報処理装置１０２は、高精度に画像を復元することができる。

＜第４の実施形態＞
以上の説明した情報処理装置１００ないし情報処理装置１０２の構成について、第４の実施形態として説明する。情報処理装置１００ないし情報処理装置１０２は、次のように構成される。

例えば、情報処理装置１００ないし情報処理装置１０２の各構成部は、ハードウェア回路で構成されても良い。

また、情報処理装置１００ないし情報処理装置１０２は、各構成部をネットワーク又はバスなど（以下、「ネットワークなど」と呼ぶ）を介して接続した複数の情報処理装置を用いて構成されても良い。

図９は、本実施形態に係る情報処理装置１０３の構成の一例を示すブロック図である。

情報処理装置１０３は、特徴点サンプリング部１２０と、画像劣化部１６０と、信頼度算出部１７０とを含む。

情報処理装置１０３の各構成は、情報処理装置１００の構成と同様に動作する。

特徴点サンプリング部１２０は、特徴点仮説をサンプリングする。

画像劣化部１６０は、特徴点仮説と劣化パラメータと参照画像とを基に、劣化画像を生成する。

信頼度算出部１７０は、対象画像と劣化画像と特徴点仮説とを基に、特徴点仮説の信頼度を算出する。

このように構成された情報処理装置１０３は、情報処理装置１００の効果を奏することができる。

その理由は、上記のとおり、情報処理装置１０３の各構成が、情報処理装置１００の構成と同様に動作し、対象画像と参照画像の劣化画像とを基に、特徴点仮説の信頼度を、適切に算出できるためである。

なお、本実施形態に係る情報処理装置１０３は、本発明の最小構成である。

＜第５の実施形態＞
また、情報処理装置１００ないし情報処理装置１０３（以下、「情報処理装置１００など」と呼ぶ）の別の構成について、第５の実施形態として説明する。情報処理装置１００などは、複数の構成部を１つのハードウェアで構成されても良い。

また、情報処理装置１００などは、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されても良い。情報処理装置１００などは、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されても良い。

図１４は、情報処理装置１００などの変形例である第５の実施形態に係る情報処理装置６００の構成の一例を示すブロック図である。

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。

そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１、図４、図７又は図９に示す各部としての各機能を実現する。図１に示す各部とは、対象画像受信部１１０と、特徴点サンプリング部１２０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７０と、特徴点推定部１８０とである。図４に示す各部とは、対象画像受信部１１０と、特徴点サンプリング部１２０と、ＩＤ受信部１３０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７５と、ＩＤ識別部１８１とである。図７に示す各部とは、図１に示す構成に加え、画像復元用辞書作成部２１０と、画像復元部２２０と、画像出力部２３０とである。図９に示す各部とは、特徴点サンプリング部１２０と、画像劣化部１６０と、信頼度算出部１７０とである。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用しても良い。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでも良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作しても良い。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性の記憶媒体である。一方、ＲＡＭ６３０は、揮発性の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。

このように構成された情報処理装置６００は、情報処理装置１００などと同様の効果を奏することができる。

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて、情報処理装置１００などと同様の機能を実現できるためである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年１０月３日に出願された日本出願特願２０１４−２０５００７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 情報処理装置
１０１ 情報処理装置
１０２ 情報処理装置
１０３ 情報処理装置
１１０ 対象画像受信部
１２０ 特徴点サンプリング部
１３０ ＩＤ受信部
１４０ 参照画像受信部
１５０ 劣化パラメータ受信部
１６０ 画像劣化部
１７０ 信頼度算出部
１７１ 輪郭信頼度算出部
１７２ アピアランス相違度算出部
１７３ 信頼度統合部
１７５ 信頼度算出部
１７６ スコア算出部
１８０ 特徴点推定部
１８１ ＩＤ識別部
２１０ 画像復元用辞書作成部
２２０ 画像復元部
２３０ 画像出力部
６００ 情報処理装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記憶媒体

Claims (10)

1. 処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成する特徴点サンプリング手段と、
   前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する画像劣化手段と、
   前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する信頼度算出手段と
   を含む情報処理装置。
2. 前記信頼度算出手段が、
   前記対象画像において、前記特徴点仮説を対象の輪郭とした場合の輪郭信頼度を算出する輪郭信頼度算出手段と、
   前記対象画像と、前記劣化画像とにおけるアピアランス相違度を算出するアピアランス相違度算出手段と、
   前記特徴点の信頼度として、前記輪郭信頼度と、前記アピアランス相違度とを基に統合信頼度を算出する信頼度統合手段と、
   を含む請求項１に記載の情報処理装置。
3. 前記統合信頼度が最も大きな１つ又は所定の数の特徴点仮説を選択し、前記選択した特徴点仮説を用いて、前記対象画像と、前記参照画像又は前記劣化画像との位置合わせを実行する特徴点推定手段
   をさらに含む請求項２に記載の情報処理装置。
4. 前記信頼度算出手段が、
   前記統合信頼度が所定の上位の範囲に含まれる前記参照画像に対し、偏りの大きさを示すスコアを算出するスコア算出手段、
   を含む請求項２に記載の情報処理装置。
5. 前記スコアが最も大きな前記参照画像を選択し、前記選択した画像を用いて前記画像の位置合わせを実行する特徴点推定手段
   をさらに含む請求項４に記載の情報処理装置。
6. 前記特徴点推定手段が位置合わせした後の前記参照画像及び前記劣化画像から、前記特徴点推定手段が対応する小領域の組を切り出し、画像復元用の処理に前記小領域の組を辞書に登録する画像復元用辞書作成手段と、
   前記辞書と前記対象画像とを基に、前記対象画像に対応する復元画像を生成する画像復元手段と
   をさらに含む請求項３又は５に記載の情報処理装置。
7. 前記対象画像を受信する対象画像受信手段と、
   前記参照画像を受信する参照画像受信手段と、
   前記劣化パラメータの少なくとも一部を受信する劣化パラメータ受信手段と
   をさらに含む請求項１ないし６のいずれか１項に記載の情報処理装置。
8. 前記参照画像を区別するための識別子を受信するＩＤ受信手段をさらに含み、
   前記スコア算出手段が、
   前記識別子を用いて前記スコアを算出する
   請求項５に記載の情報処理装置。
9. 処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成し、
   前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成し、
   前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する
   情報処理方法。
10. 処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成する処理と、
    前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する処理と、
    前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する処理と
    をコンピュータに実行させるプログラム。

Images