JP6222948B2

JP6222948B2 - 特徴点抽出装置

Info

Publication number: JP6222948B2
Application number: JP2013052157A
Authority: JP
Inventors: 友祐佐野
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2013-03-14
Filing date: 2013-03-14
Publication date: 2017-11-01
Anticipated expiration: 2033-03-14
Also published as: JP2014178862A

Description

本発明は、顔や自動車の前面部といった人物や自動車などの物体を識別するために、画像から当該物体の特徴を示す特徴点を抽出する特徴点抽出装置に関する。

従来、新たに入力された入力顔画像と、予め登録している登録顔画像の特徴点を比較して同一人物の顔画像か否かを認証する顔画像認証装置がある。あるいは、顔画像の特徴点の配置関係などから人物の表情を認識する表情認識装置が提案されている。これらの認識装置では、顔画像における特徴点を正確に抽出することが重要になる。

例えば、特許文献１には、顔画像から顔の特徴を示す特徴点を抽出する顔画像特徴点抽出装置が開示されている。この顔画像特徴点抽出装置は、入力顔画像に対して虹彩、鼻、口、眉などの顔部品の候補領域ごとに求めたエッジ画像に二値化処理を行い、二値化処理された各候補領域の画像と、予め記憶された顔部品の形状データとの一致度を算出する。顔画像特徴点抽出装置は、一致度が向上するように形状データを順次変更し、最終的に変更された形状データにしたがって特徴点を抽出する。

特開平５−１９７７９３号公報

特許文献１に開示された顔画像特徴点抽出装置は、エッジ画像を用いて特徴点を抽出することができる。しかしながら、従来の顔画像特徴点抽出装置では、形状データを順次変更するときに、勾配ベクトルの方向に移動させても一致度が向上しなくなると形状データの変更を終了させている。このため、顔画像にノイズが重畳している場合、そのノイズがエッジ画像に作用して必ずしも線形的に一致度が向上しないことが起こり、ノイズが特徴点と判断されるなど特徴点を正しく抽出できなくなるおそれがある。例えばダウンライト等により人物の顔が照らされている場合、顔画像に顔の凹凸による明暗が生じ、その明暗により生じるエッジが抽出され、その抽出されたエッジを誤って特徴点として検出してしまうことがある。

本発明の目的は、入力された画像から対象物体の特徴点を精度良く抽出することができる特徴点抽出装置を提供することにある。

かかる課題を解決するために本発明は、入力画像中の物体が写っている物体領域画像を取得し、当該物体の特徴が現れる特徴点を抽出する特徴点抽出装置を提供する。係る特徴点抽出装置は、物体を構成する部位情報と標準的な特徴点の位置を対応させて記憶している記憶部と、物体領域画像における標準的な特徴点の位置に部位情報を持つ候補特徴点を設定する候補特徴点設定手段と、候補特徴点が対応する部位を構成する可能性を表す部位尤度を算出する部位尤度算出手段と、候補特徴点が当該候補特徴点およびその近傍画素から特徴点らしい可能性を表す局所尤度を算出する局所尤度算出手段と、候補特徴点についての局所尤度を当該候補特徴点の部位尤度が高いほど局所尤度が高くなるように重みをつけた評価値を算出する評価値算出手段と、評価値に基づいて特徴点を抽出する特徴点抽出手段を有する。

また、本発明に係る特徴点抽出装置において、候補特徴点設定手段は、候補特徴点の近傍に位置する複数の派生候補特徴点を更に設定し、部位尤度算出手段は、派生候補特徴点について更に部位尤度を算出し、局所尤度算出手段は、派生候補特徴点について局所尤度を更に算出し、評価値算出手段は、派生候補特徴点について評価値を更に算出し、特徴点抽出手段は、候補特徴点についての評価値に対する派生候補特徴点についての評価値の変化の大きさが判定閾値より小さい場合に候補特徴点を特徴点とし、それ以外の場合は派生候補特徴点の評価値を用いて候補特徴点を再設定し処理を継続することが好ましい。

また、本発明に係る特徴点抽出装置において、部位尤度算出手段は、同一部位に対応する候補特徴点の重心における部位尤度を当該候補特徴点の部位尤度とすることが好ましい。

また、本発明に係る特徴点抽出装置において、標準的な特徴点は、３次元空間において物体の３次元形状を表すモデル上の点であり、候補特徴点設定手段は、モデルにおける標準的な特徴点を物体領域画像に射影して候補特徴点を設定することが好ましい。

本発明に係る特徴点抽出装置は、入力された画像から物体の特徴点を精度良く抽出することができるという効果を奏する。

本発明を適用した出入管理システムの設置例を表す模式図である。本発明を適用した出入管理システムの概略構成図である。３次元形状モデルの例を示す模式図である。派生３次元形状モデルの例を表す模式図である。（ａ）は、顔領域画像内の位置ごとの部位尤度の算出について説明するための模式図であり、（ｂ）は、部位尤度分布の例を表す模式図である。本発明による顔画像認証装置の動作の例を示すフローチャートである。画像処理部により実行される評価値算出処理の動作の例を示すフローチャートである。本発明を適用した道路監視システムの概略構成図である。自動車の３次元形状モデルの例を示す模式図である。

以下、本発明にかかる特徴点抽出装置を顔画像認証装置に適用した第１の実施形態について図を参照しつつ説明する。
本発明を適用した顔画像認証装置は、人物を撮影した入力画像から、目尻、目頭、鼻尖点、口角点等の顔の特徴を表す特徴点を、目、鼻、口等の部位を構成する可能性と、その特徴点自体における特徴点らしい可能性に基づいて抽出する。これにより、顔画像認証装置は、画像から顔の特徴点を精度良く抽出することを図る。

図１は、部屋の入口の出入を管理するための出入管理システム１００を配置した設置例を模式的に示している。出入管理システム１００は、顔画像認証装置１、撮像装置２、および電気錠制御装置３が部屋の出入り口付近に配置されている。図１に示すように、顔画像認証装置１は、電気錠制御装置３を介して電気錠１０４を制御することにより部屋の入口１０１の出入を管理する。撮像装置２は、入口１０１に通じる通路を撮影領域として撮影できるように入口１０１の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより、撮像装置２は、進行方向１０２に沿って入口１０１に向かう人物１１０を撮像することができる。

また入口１０１には、扉１０３が設けられ、扉１０３には電気錠１０４が設けられる。電気錠１０４は、顔画像認証装置１により施錠及び解錠の制御が可能となっている。電気錠１０４は、扉１０３を常時施錠としており、顔画像認証装置１にて通行が許可された人物であると認証できれば一定時間（例えば０．５秒）のみ解錠される。なお、電気錠１０４は、解錠され扉が開けられた後、扉が閉じて一定時間が経過すると、自動的に施錠される。

以下、図２を参照し、顔画像認証装置１について詳細に説明する。図２は、本発明を適用した出入管理システム１００の概略構成を示す図である。出入管理システム１００は、顔画像認証装置１、撮像装置２及び電気錠制御装置３を有する。

撮像装置２は、図１に示したように所定の撮影領域を撮影する監視カメラである。撮像装置２は、顔画像認証装置１と接続され、取得した入力画像を顔画像認証装置１へ出力する。

電気錠制御装置３は、顔画像認証装置１と接続され、顔画像認証装置１からの信号に従って、電気錠１０４を施錠又は解錠する。

顔画像認証装置１は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリなどから構成され、撮像装置２が撮影した人物の顔画像を認証し、入り口１０１の通行を許可された人物であると認証されれば電気錠制御装置３に対して電気錠１０４の制御信号を出力する。特に、人物の顔画像を認証する際に必要となる顔の目尻、目頭、上瞼中心、下瞼中心、鼻尖点、鼻孔中心、口中心、口角点等の特徴点を抽出する機能を少なくとも有している。図２に示すように、顔画像認証装置１は、画像取得部１０、出力部２０、記憶部３０及び画像処理部４０を有する。以下、顔画像認証装置１の各部について詳細に説明する。

画像取得部１０は、撮像装置２と接続され撮像装置２が撮影した画像を取得し、画像処理部４０に出力するインターフェース回路である。なお、本実施形態では、画像取得部１０は、撮像装置２が撮影した入力画像を画像処理部４０へ出力するが、ハードディスク等の媒体から入力画像を取得し、画像処理部４０へ出力してもよい。

出力部２０は、外部の接続機器である電気錠制御装置３と接続するインターフェース及びその制御回路である。出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置３に対して認証成功の旨を示す信号を出力する。本実施の形態では、認証結果を通行の可否に使用するので電気錠制御装置３へ認証結果を出力しているが、一般公衆回線や携帯電話回線などの通信回線を介して、認証結果を監視センタ装置などの外部装置へ出力してもよい。また、外部装置への出力とせずに、認証結果を表示するランプを顔画像認証装置１に設けておき、認証結果を通行者に知らせてもよい。

記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。各種データには、顔の３次元形状モデル３１、入口１０１の通行を許可されている登録者の登録顔画像３２、部位画像情報３３、特徴画像情報３４が含まれる。

図３は、記憶部３０に記憶されている３次元形状モデル３１の例を示す。３次元形状モデル３１は、３次元形状３０１、３Ｄ特徴点３０２、及び射影パラメータ３０３から構成されている。

３次元形状３０１は、標準的な人物顔の３次元形状をワイヤーフレームモデルにて表わしている。ワイヤーフレームモデルに限らず、サーフェイスモデル等、人物顔の３次元構造をモデル化できる方法であれば如何なる方法を用いてもよい。具体的には、３次元形状３０１は、人物顔の３次元構造の重心を原点とし、水平軸であるＸ軸、鉛直軸であるＹ軸、奥行き軸であるＺ軸とした直交座標系を採用して３次元構造を表している。なお、座標系は、直交座標系に限る必要はなく、種々の座標系を採用できる。

３Ｄ特徴点３０２は、人物顔の部位情報である「右目」「左目」「鼻」「口」と、それぞれの部位情報に対応した「目尻」「目頭」「上瞼中心」「下瞼中心」など標準的な人物顔の特徴の３次元形状上の位置である。かかる３Ｄ特徴点３０２は、後述する物体領域画像に射影されて標準特徴点として機能する。例えば、部位として「右目」の特徴たる「目尻」の３次元座標（ｘ１、ｙ１、ｚ１）を「右目」「目尻」と対応付けて３Ｄ特徴点３０２として記憶している。なお、３Ｄ特徴点３０２は、予め手動または自動認識して設定される。３Ｄ特徴点３０２における部位や特徴の種類及び数に制限はなく、一つとしてもよい。本実施形態では、３Ｄ特徴点３０２として、左目及び右目のそれぞれについて目頭、目尻、上瞼中心及び下瞼中心と、鼻について鼻尖点及び左右の鼻孔中心と、口について口中心及び左右の口角点の１４箇所を記憶するものとした。

また、３Ｄ特徴点３０２は、３次元形状３０１であるワイヤーフレームのノードとしての機能を有しており、３Ｄ特徴点３０２の位置を変更すると、３次元形状３０１の形状が変更される。逆にワイヤーフレームの形状を変更すると、３Ｄ特徴点３０２の位置もそれに伴って変更されることになる。

なお、図３では、記憶部３０に記憶される３次元形状モデル３１が一つのみである例を示すが、３次元形状モデル３１は複数存在してもよい。また、３次元形状モデル３１は、例えば、複数の人物の顔形状からそれぞれ作成してもよいし、多数の人物の顔形状を模した顔形状モデルを平均化して作成してもよい。あるいは形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成してもよい。また、本実施の形態では、３次元形状モデルから物体領域画像に射影して標準特徴点を定めているが、２次元の顔画像の位置あわせを行って物体領域画像に射影して標準特徴点を定めても良い。

射影パラメータ３０３は、３次元形状３０１上の３Ｄ特徴点を２次元の顔画像上に射影するためのパラメータであって、３次元形状３０１を表す直交座標系の各軸（Ｘ軸，Ｙ軸，Ｚ軸）に対する回転角の初期値「０°」、拡大率の初期値「１」が記憶されている。

登録顔画像３２は、予め出入を許可された人物の顔画像であり、入力された顔画像との認証に使用する。
部位画像情報３３は、部位尤度の算出に使用される情報であって、顔を構成する部位を識別するために学習させた学習識別器の学習結果である。本実施の形態では、学習識別器の学習結果としたが、テンプレートマッチング方式では各部位のテンプレート画像となる。
特徴画像情報３４は、局所尤度を算出するための情報であって、人物の顔画像の特徴点ごとに、当該特徴の性質の基準となる情報である。具体的には、特徴画像情報３４は、あらかじめ特徴点ごとに学習させたガボールウェーブレット特徴量の特徴ベクトルの平均及び共分散行列である。本実施の形態では、ガボールウェーブレット特徴量を学習して用いたが、テンプレートマッチング方式では、テンプレート画像における各特徴点およびその近傍画素で構成された局所画像となる。

画像処理部４０は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータにより構成され、撮像装置２から取得した入力画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に出力する。画像処理部４０は、顔検出手段４１、派生３次元形状モデル生成手段４２、候補特徴点設定手段４３、部位尤度算出手段４４、局所尤度算出手段４５、評価値算出手段４６、特徴点抽出手段４７、モデル更新手段４８及び顔照合手段４９を有する。画像処理部４０の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。

顔検出手段４１は、画像取得部１０にて取得した入力画像から人物顔を含む顔領域画像を、顔画像を学習したAdaboost識別器にて抽出する。なお、顔領域画像の検出方法は、従来から多数提案されており、例えば入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔の形状である楕円形状部分を顔領域画像とするなど種々存在するので、他の方法を適宜採用してもよい。

派生３次元形状モデル生成手段４２は、取得した顔画像を認証する際の最初のみ記憶部３０に予め記憶されている３次元形状モデル３１を読み出した基準３次元形状モデル、その後は後述するモデル更新手段４８により更新された基準３次元形状モデルを用い、基準３次元形状モデルに対し変形・拡大・縮小を施して、派生３次元形状モデルを生成する。

具体的には、派生３次元形状モデル生成手段４２は、基準３次元形状モデルの各３Ｄ特徴点について、Ｘ，Ｙ，Ｚの各座標（１４×３＝４２個）、及び各射影パラメータについて、Ｘ軸回転角、Ｙ軸回転角、Ｚ軸回転角、拡大率の４個である合計４６個のパラメータを何れか一つのみを所定量だけ変更し、４６個の派生３次元形状モデルを生成する。ここで、所定量とは、画像の分解能、特徴点の大きさ、変形可能な程度、処理スピードなどを考慮した経験的に定められる量である。なお、パラメータの数や種類については特に制限は無く、また生成する派生３次元形状モデルの数に制限はない。また、本実施の形態では、派生３次元形状モデル生成手段４２は、何れかのパラメータを一つのみ変更させたが、二つ以上を同時に変更させた派生３次元形状モデルを生成してもよい。

図４に、派生３次元形状モデルの例を表す模式図を示す。派生３次元形状モデル４０１は、基準３次元形状モデル４００に対して口中心の３Ｄ特徴点４１０のみをＹ軸上方に所定量変更させて３Ｄ特徴点４１１としたモデルである。派生３次元形状モデル４０２は、基準３次元形状モデル４００に対して口中心の３Ｄ特徴点４１０のみをＸ軸左方に所定量変更させて３Ｄ特徴点４１２としたモデルである。派生３次元形状モデル４０３は、基準３次元形状モデル４００に対して口中心の３Ｄ特徴点４１０のみをＺ軸前方に所定量変更させて３Ｄ特徴点４１３としたモデルである。このような処理を４６回繰り返し、４６の派生３次元形状モデルを生成する。

候補特徴点設定手段４３は、基準３次元形状モデルの３Ｄ特徴点および派生３次元形状モデルの３Ｄ特徴点をそれぞれの射影パラメータにしたがって、入力画像から抽出した顔領域画像に射影する手段である。

先ず、候補特徴点設定手段４３は、顔検出手段４１が抽出した顔領域画像を取得し、射影原点と基準３次元形状モデルの間に入る所定のサイズに顔領域画像を縮小または拡大する。そして、候補特徴点設定手段４３は、基準３次元形状モデルの射影パラメータを用いて、基準３次元形状の重心を中心として回転又は拡大／縮小した上で、顔領域画像上に各３Ｄ特徴点を射影し、射影された顔領域画像の点を候補特徴点として設定する。なお、射影に必要な位置合わせ等は、一般的な方法を採用すればよいので、説明は省略する。また、前述したように、最初の基準３次元形状モデルは、射影パラメータは、回転角の初期値は「０°」、拡大率「１」である。

ここで、記憶部３０から取得した基準３次元形状モデル３１は、標準的な人物顔のモデルであり、その３Ｄ特徴点３０２も標準的な人物顔の特徴点であるので、設定された候補特徴点は標準的な人物の顔の特徴点の位置となる。以下では、基準３次元形状モデル４００の各３Ｄ特徴点に対応する候補特徴点の組をまとめて候補特徴点セットと称する。

同様に、候補特徴点設定手段４３は、派生３次元形状モデルの３Ｄ特徴点をそれぞれの射影パラメータにしたがって顔領域画像に射影することにより、候補特徴点の近傍に位置する派生候補特徴点を設定する。以下では、一つの派生３次元形状モデルの各３Ｄ特徴点に対応する複数の派生候補特徴点をまとめて派生候補特徴点セットと称する。各候補特徴点セットについて、派生候補特徴点セットは、派生３次元形状モデルの数と同じ数だけ生成される。

部位尤度算出手段４４は、顔検出手段４１が検出した顔領域画像の各画素に対し、その画素が、顔の目、鼻、口等の各部位を構成する可能性を表す部位尤度を算出する。
具体的には、部位尤度算出手段４４は、部位らしさを表す部位特徴量としてハールライク（Haar-Like）特徴量とＨＯＧ（Histogram of Oriented Gradient）特徴量を用いたGentle AdaBoost識別器にて構成される。なお、ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。ＨＯＧ特徴量は、画像内の各勾配方向の勾配強度の総和を度数としたヒストグラムを正規化して算出される。

Gentle AdaBoost識別器は、部位尤度を算出する算出領域内に定められた領域についてのハールライク特徴量およびＨＯＧ特徴量の入力を受ける。そして、Gentle AdaBoost識別器は、算出領域と部位が写っている画像が類似しているほど高く、類似していないほど低い値、つまり算出領域と部位が写っている画像との類似の程度を出力する。

なお、Gentle AdaBoost識別器は、部位ごとに、予め多数のサンプル画像を用いて学習している。サンプル画像には、部位が写っている正解画像とその部位が写っていない不正解画像とがある。この正解画像と不正解画像を用いて、各部位の部位尤度を算出するように事前学習がなされる。かかる事前学習は、一般的な方法を用いればよいので、詳細な説明を省略する。各弱識別器の出力関数と、各弱識別器に入力する特徴量を算出する領域を表す情報と、特徴量についての情報（ハールライク特徴量であるかＨＯＧ特徴量であるか、ハールライク特徴量である場合はどのハールライク特徴量であるか）は、部位画像情報３３として記憶部３０に記憶される。

部位尤度算出手段４４は、Gentle AdaBoost識別器の出力値が0以上の値を有する場合、その出力値を部位尤度とし、出力値が負の値を有する場合、算出領域と部位が写っている画像は類似していないとみなして部位尤度を0とする。

そして、部位尤度算出手段４４は、顔領域画像４００の画素ごとに算出した部位尤度にて、顔領域画像全体の分布（以下、部位尤度分布と称する）を生成して一時記憶メモリに記憶する。

図５（ａ）は、顔領域画像６００の画素ごとの部位尤度の算出について説明するための模式図である。図５（ａ）に示すように、部位尤度算出手段４４は、顔領域画像６００内で注目する画素６０１を１画素ずつずらしながら、その画素を中心とする所定サイズの領域６０２を算出領域として設定する。所定サイズは、部位の大きさに応じて予め設定される。なお、最もサイズの大きい部位の大きさに応じて設定した所定サイズを、全ての部位で共通に用いてもよい。そして、部位尤度算出手段４４は、設定した各算出領域に、事前学習により決定したGentle AdaBoost識別器を適用させて部位尤度を算出し、算出した部位尤度を注目する画素についての部位尤度とする。

図５（ｂ）は、生成される部位尤度分布の例を表す模式図である。分布６２０は、右目について生成した部位尤度分布を表し、分布６２１は、左目について生成した部位尤度分布を表し、分布６２２は、鼻について生成した部位尤度分布を表し、分布６２３は、口について生成した部位尤度分布を表す。図５（ｂ）に示すように、右目についての部位尤度分布６２０は、顔領域画像６００内の右目６１０に対応する位置で高い値を取り、他の位置では低い値を取る。左目についての部位尤度分布６２１は、顔領域画像６００内の左目６１１に対応する位置で高い値を取り、他の位置では低い値を取る。鼻についての部位尤度分布６２２は、顔領域画像６００内の鼻６１２に対応する位置で高い値を取り、他の位置では低い値を取る。口についての部位尤度分布６２３は、顔領域画像６００内の口６１３に対応する位置で高い値を取り、他の位置では低い値を取る。

なお、部位尤度算出手段４４は、顔領域画像内の全範囲について各部位の部位尤度を算出せずに、顔領域画像内でその部位が存在すると推定される範囲のみについてその部位の部位尤度を算出してもよい。これにより、部位尤度分布の生成処理の処理負荷を低減することができる。

また、部位尤度算出手段４４は、生成した部位尤度分布を用いて、各候補特徴点の位置における部位尤度を特定して、その値をそれぞれの候補特徴点の部位尤度とする。
同様に、部位尤度算出手段４４は、派生候補特徴点についても部位尤度を特定する。

局所尤度算出手段４５は、候補特徴点設定手段４３が設定した各候補特徴点の特徴点らしさを表す局所特徴量を算出する。
局所尤度算出手段４５は、顔領域画像内のその候補特徴点を含む近傍領域に対してガボールフィルタを適用することにより、ガボールウェーブレット特徴量を算出する。この近傍領域のサイズは、局所特徴量を算出する特徴の大きさに応じて予め設定され、少なくとも前述した部位尤度を算出する算出領域より小さいサイズに設定される。局所尤度算出手段４５は、周波数について５種類に異ならせ、輝度変化方向について８種類に異ならせた合計４０種類のガボールフィルタを設定し、各ガボールフィルタにより算出される各ガボールウェーブレット特徴量の絶対値を成分とする４０次元の特徴ベクトルを局所特徴量とする。

そして、局所尤度算出手段４５は、算出した局所特徴量と記憶部３０に記憶している特徴画像情報３４とから、各候補特徴点が特徴点らしい可能性を表す局所尤度を算出する。ここで、特徴画像情報３４の学習について説明する。先ず、各特徴点が正しい位置があらかじめ設定された多数の顔画像をサンプル画像ごとに、そのサンプル画像内の各特徴について局所特徴量である特徴ベクトルを算出する。そして、特徴ごとに、算出した特徴ベクトルの平均及び共分散行列を算出し、特徴ごとに算出した特徴ベクトルの平均及び共分散行列が特徴画像情報３４として記憶部３０に記憶される。

局所尤度算出手段４５は、算出した局所特徴量を次の式に代入することにより算出したLを局所尤度とする。

ここで、vは局所特徴量である特徴ベクトルであり、mは特徴ベクトルの次元数（m=40）であり、uは事前学習により算出された特徴ベクトルの平均であり、Sは共分散行列である。式（１）は、事前学習により算出された特徴ベクトルの平均及び共分散行列から求められる多次元の正規分布を表す。なお、局所尤度算出手段４５は、部分領域と、対応する特徴が写っている画像が類似していないとみなせるほど類似の程度Lが低い値である場合は局所尤度を0にしてもよい。
同様に、局所尤度算出手段４５は、派生候補特徴点についても局所尤度を算出する。

評価値算出手段４６は、候補特徴点の部位尤度を用いて、当該候補特徴点の局所尤度に部位尤度が高くなる（低くなる）ほど局所尤度の値が高くなる（低くなる）ように重みを付けて評価値を算出する。本実施の形態では、局所尤度と部位尤度の積を評価値として算出しているが、部位尤度の影響が大きすぎる場合は部位尤度が小さくなるような係数を掛け合わせて、適切な重みとして評価値を算出するようにしても良い。

同様に、評価値算出手段４６は、各派生候補特徴点の局所尤度とを用いて、当該候補特徴点の局所尤度に部位尤度が高くなる（低くなる）ほど局所尤度の値が高くなる（低くなる）ように重みを付けて評価値を算出する。

特徴点抽出手段４７は、候補特徴点セットについて、当該候補特徴点セットを構成する各候補特徴点の評価値それぞれの積演算した値を候補特徴点セット評価値として算出する。同様に、全ての派生特徴点セットについて、当該派生特徴点セットを構成する各派生特徴点の評価値それぞれの積演算した値を派生特徴点セット評価値として算出する。すなわち、４６個の派生特徴点セット評価値が算出される。
候補特徴点セット評価値と全ての派生候補特徴点セット評価値に基づいて、候補特徴点セットが顔領域画像の各特徴を適切に表しているか判定する。適切に表している場合、その各候補特徴点を顔領域画像の特徴点とする。

以下、特徴点抽出手段４７による、候補特徴点セットが顔領域画像において各特徴を適切に表しているか否かの判定方法について説明する。候補特徴点セット評価値および派生候補特徴点セット評価値は、３次元形状モデルのパラメータの関数として表すことができるので、３次元形状モデルのパラメータを成分に持つパラメータベクトルをθ、候補特徴点セット評価値をE(θ)と表すと、パラメータベクトルθに対する候補特徴点セット評価値の勾配は、次の式のようにベクトル偏微分により表すことができる。以下、式（２）で表される勾配を勾配ベクトルと称する。

ここで、各θ_iは各派生３次元形状モデルを生成させるために変更したパラメータ（各３Ｄ特徴点の各座標及び各射影パラメータ）であり、nは生成された派生３次元形状モデルの数である。

特徴点抽出手段４７は、勾配ベクトルの各成分を、候補特徴点セット評価値と、その成分に対応するパラメータを変更させた派生候補特徴点セット評価値との数値微分により求める。特徴点抽出手段４７は、パラメータθ_iを変更させた派生候補特徴点セット評価値から候補特徴点セット評価値との差を勾配ベクトルのｉ番目の成分とする。
このようにして算出した勾配ベクトルの大きさは、候補特徴点セット評価値に対する派生候補特徴点セット評価値の変化の大きさを表す。勾配ベクトルの大きさが十分に大きい場合は、各候補特徴点を変更することによって、候補特徴点セット評価値がより高くなる可能性が高く、勾配ベクトルの大きさが十分に大きくない場合は、各候補特徴点を変更しても候補特徴点セット評価値がより高くなる可能性は低いと考えられる。そこで、特徴点抽出手段４７は、勾配ベクトルの大きさ（ノルム）が判定閾値より小さい場合、候補特徴点セット評価値はこれ以上高くならず、その特徴らしい値であるとみなす。その場合、特徴点抽出手段４７は、その候補特徴点セットに含まれる各候補特徴点は顔領域画像において各特徴を適切に表していると判定し、その各候補特徴点を顔領域画像における特徴点とする。一方、特徴点抽出手段４７は、勾配ベクトルの大きさ（ノルム）が判定閾値以上である場合、そのときの候補特徴点セットに含まれる各候補特徴点は、顔領域画像における各特徴を適切に表していないと判定する。

モデル更新手段４８は、候補特徴点セット評価値の勾配ベクトルの大きさ（ノルム）が判定閾値以上である場合、基準３次元形状モデルを更新する。

式（２）の勾配ベクトルのｉ番目の成分が正値である場合、パラメータθ_iについて候補特徴点よりも派生候補特徴点側に適切な特徴点が存在する可能性が高く、その成分が負値である場合、派生候補特徴点と反対側に適切な特徴点が存在する可能性が高いと考えられる。

そこで、パラメータθ_iを所定量だけ大きくすることにより派生３次元形状モデルが生成されている場合、モデル更新手段４８は、ｉ番目の成分が正値であるときは、元のパラメータθ_iをその所定量だけ大きくした値を新たな基準３次元形状モデルのパラメータθ_iとする。一方、モデル更新手段４８は、ｉ番目の成分が負値であるときは、元のパラメータθ_iをその所定量だけ小さくした値を新たな基準３次元形状モデルのパラメータθ_iとする。また、モデル更新手段４８は、ｉ番目の成分が０であるときはモデルパラメータθ_iは変更しない。なお、所定量はそのモデルパラメータを変更したときに最適な値を大きく越えないようにしつつ、十分に短い時間で最適な値に到達できるように定められる。また、各モデルパラメータについて、各特徴点が現実的にあり得ない位置に配置されないように変更可能範囲が予め定められる。

なお、モデル更新手段４８が、基準３次元形状モデルの３Ｄ特徴点を変更することにより、基準３次元形状モデルの３次元形状が変更され、射影パラメータを変更することにより、基準３次元形状モデルと顔領域画像との位置関係が変更される。

モデル更新手段４８が基準３次元形状モデルを更新すると、画像処理部４０の各手段は、更新された基準３次元形状モデルを用いて上記した処理を繰り返す。そして、評価値の勾配ベクトルの大きさが判定閾値未満となるまで、各パラメータの更新が繰り返される。

なお、画像処理部４０は、例えば、シミュレーティッドアニーリング又は最急降下法などの最適化法を用いて、評価値が最大となるときの３次元形状モデルの各パラメータを求めることにより、特徴点を抽出してもよい。

顔照合手段４９は、顔検出手段４１が抽出した顔領域画像と記憶部３０に記憶されているすべての登録顔画像３２を照合する。顔照合手段４９は、特徴点抽出手段４７が顔領域画像から抽出した特徴点と、記憶部３０に記憶されているすべての登録顔画像３２についての特徴点について、対応する特徴点同士の位置関係の一致の程度を類似度として算出する。そして、最も値が高い類似度が認証閾値以上である場合に、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定する。なお、画像処理部４０は、顔領域画像から特徴点を抽出するのと同様の方法により、登録顔画像が登録された時に、その登録顔画像についての特徴点を抽出しておく。あるいは、画像処理部４０は、顔領域画像を照合する度に、各登録顔画像についての特徴点を抽出してもよい。顔照合手段４９は、登録者の顔であると判定すると、出力部２０に認証成功を示す信号を出力し、電気錠制御装置３に対して解錠制御を行う信号を出力させる。

以下、図６に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１による認証処理の動作を説明する。なお、以下に説明する動作は、入力画像を一つ取得するごとに実行される。

最初に、顔画像認証装置１の画像取得部１０は、撮像装置２が撮影した入力画像を取得する（ステップＳ１０１）。画像取得部１０が入力画像を取得すると、顔検出手段４１は、入力画像から顔領域画像を抽出する（ステップＳ１０２）。顔検出手段４１は、一つ以上の顔領域画像が抽出されたか否か判定し（ステップＳ１０３）、顔領域画像が全く抽出されなかった場合、ステップＳ１０１へ処理を移行し、顔領域画像が抽出されるまでステップＳ１０１〜Ｓ１０３の処理を繰り返す。一方、一つ以上の顔領域画像が抽出された場合、顔検出手段４１は、ステップＳ１０４へ処理を移行させる。

以下のステップＳ１０４〜Ｓ１１５の処理は、顔検出手段４１が抽出した顔領域画像ごとに行われる。
部位尤度算出手段４４は、顔領域画像内の各部位について、顔領域画像の各画素に対して部位尤度を算出し、部位尤度分布を生成する（ステップＳ１０４）。

また、派生３次元形状モデル生成手段４２は、記憶部３０から３次元形状モデル３１を読み出して基準３次元形状モデルとする（ステップＳ１０５）。次に、派生３次元形状モデル生成手段４２は、基準３次元形状モデルから派生３次元形状モデルを生成する（ステップＳ１０６）。次に、候補特徴点設定手段４３は、基準３次元形状モデル及び派生３次元形状モデルの各３Ｄ特徴点を２次元の顔領域画像に射影して、顔領域画像内に候補特徴点セット及び派生候補特徴点セットを設定する（ステップＳ１０７）。

次に、部位尤度算出手段４４、局所尤度算出手段４５、評価値算出手段４６および特徴点抽出手段４７は、候補特徴点設定手段４３が設定した候補特徴点セット及び派生候補特徴点セットについて評価値を算出する評価値算出処理を実施する（ステップＳ１０８）。評価値算出処理の詳細については後述する。次に、特徴点抽出手段４７は、派生候補特徴点セット評価値と、候補特徴点セット評価値から、候補特徴点セット評価値の勾配ベクトルを算出する（ステップＳ１０９）。次に、特徴点抽出手段４７は、算出した勾配ベクトルの大きさが判定閾値以上であるか否かを判定する（ステップＳ１１０）。

算出した勾配ベクトルの大きさが判定閾値以上である場合、モデル更新手段４８は、各パラメータを変更し、基準３次元形状モデルを更新する（ステップＳ１１１）。そして、画像処理部４０は、更新された基準３次元形状モデルを用いてステップＳ１０６〜Ｓ１１０の処理を繰り返す。

一方、算出した勾配ベクトルの大きさが判定閾値未満である場合、特徴点抽出手段４７は、その候補特徴点セットに含まれる各候補特徴点を各特徴に対応する特徴点として抽出する（ステップＳ１１２）。次に、顔照合手段４９は、抽出された特徴点と、記憶部３０に記憶されているすべての登録顔画像３２についての特徴点について類似度を算出し（ステップＳ１１３）、最も値が高い類似度が認証閾値以上であるか否かを判定する（ステップＳ１１４）。最も値が高い類似度が認証閾値以上である場合、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定し、出力部２０に認証成功を示す信号を出力する（ステップＳ１１５）。認証成功を示す信号が出力部２０に出力された場合、出力部２０から電気錠制御装置３に対して解錠制御を行う信号が出力される。一方、最も値が高い類似度が認証閾値未満である場合、顔照合手段４９は、特に処理を行わない。
全ての顔領域画像についてステップＳ１０４〜Ｓ１１５の処理の処理が終わると、画像処理部４０は、一連のステップを終了する。

図７は、画像処理部４０により実行される評価値算出処理の動作を示すフローチャートである。図７に示す評価値算出処理は、図６のステップＳ１０８において実行される。

ステップＳ２０１〜Ｓ２０４の処理は候補特徴点又は派生候補特徴点ごとに実行される。部位尤度算出手段４４は、候補特徴点または派生候補特徴点ごとに、部位尤度分布においてその位置における部位尤度を特定する（ステップＳ２０１）。
局所尤度算出手段４５は、候補特徴点又は派生候補特徴点ごとに局所特徴量を算出し（ステップＳ２０２）、算出した局所特徴量から局所尤度を算出する（ステップＳ２０３）。

評価値算出手段４６は、候補特徴点又は派生候補特徴点ごとに、算出された局所尤度と部位尤度の積を、候補特徴点又は派生候補特徴点についての評価値として算出する（ステップＳ２０４）。
そして評価値算出手段４６は、候補特徴点セット及び派生候補特徴点セットのそれぞれについて、含まれる候補特徴点又は派生候補特徴点の評価値を積算することで候補特徴点セット評価値及び派生候補特徴点セット評価値を算出する（ステップＳ２０５）。
評価値算出手段４６は、候補特徴点セット評価値及び全ての派生候補特徴点セット評価値を算出すると、図６のステップＳ１０９に処理を移行させる。

以上説明してきたように、本発明を適用した顔画像認証装置は、人物を撮影した入力画像から、目尻、目頭、鼻尖点、口角点等の、顔の特徴を表す特徴点を、その特徴を含む目、鼻、口等の部位についての部位尤度と、その特徴についての局所尤度に基づいて抽出する。これにより、顔画像認証装置は、画像から顔の特徴点を精度良く抽出することができる。

なお、本実施形態では、局所尤度は、人物の顔が写っている正解サンプル画像のみを用いた事前学習の結果から算出している。そのため、特徴点が写っている位置における局所尤度は高くなるが、特徴点が写っていないにも関わらず局所尤度が高くなる位置が発生する可能性がある。一方、部位尤度は、部位が写っている正解サンプル画像と部位が写っていない非正解サンプル画像の両方を用いた事前学習の結果から算出している。そのため、部位が写っていない位置における部位尤度は低くなり、部位内の特徴点が写っていないにも関わらず局所尤度が高くなっている位置がある場合、評価値を低減させることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、部位尤度算出手段は、複数の部位のそれぞれについて、その部位に対応した候補特徴点の重心位置を求め、部位尤度分布においてその重心位置における部位尤度をその部位に対応した候補特徴点に共通した部位尤度として特定してもよい。この場合、右目ならば、部位尤度算出手段は、顔領域画像内の部位の一つである右目の目尻の候補特徴点、目頭の候補特徴点、上瞼中心の候補特徴点及び下瞼中心の候補特徴点の重心位置を求め、部位尤度分布における重心位置に対応する値をそれぞれの候補特徴点の部位尤度として求める。他の部位でも同様に求めることができる。
なお、その部位についての候補特徴点が一つだけである場合、その候補特徴点の位置が重心位置になるので、部位尤度算出手段は、その候補特徴点の位置における部位尤度をその候補特徴点の部位尤度として求める。

部位尤度算出手段は、部位尤度分布を生成せずに、顔領域画像内において評価値を算出するために必要な位置についての部位尤度のみを算出してもよい。その場合、図６のフローチャートのステップＳ１０４の部位尤度分布の生成処理は省略され、図７のフローチャートのステップＳ２０１において、部位尤度算出手段は、候補特徴点の位置における部位尤度を算出し、算出した部位尤度を評価値算出手段に通知する。これにより、画像処理部の処理負荷を低減することができる。
なお、この場合、部位尤度算出手段が部位尤度を算出する算出領域は、候補特徴点の重心位置を中心とする所定サイズの領域に限定されず、例えば候補特徴点の重心位置を任意の位置に含む所定サイズの領域とすることができる。あるいは、算出領域は、各候補特徴点を任意の位置に含む所定サイズの領域としてもよい。

また、部位尤度算出手段は、Gentle AdaBoost識別器の代わりにAdaBoost識別器を用いて部位尤度を算出してもよい。AdaBoost識別器もGentle AdaBoost識別器と同様に、ハールライク特徴量およびＨＯＧ特徴量の入力を受け、部位尤度を算出する算出領域と部位が写っている画像の類似の程度を出力する。AdaBoost識別器は、部位ごとに、部位が写っている正解画像とその部位が写っていない不正解画像を用いて、各部位の部位尤度を算出するように予め事前学習がなされる。部位尤度算出手段は、AdaBoost識別器の出力値が0以上の値を有する場合、その出力値を部位尤度とし、出力値が負の値を有する場合、部位尤度を0とする。

また、部位尤度算出手段は、識別器により部位尤度を算出する代わりに、パターンマッチングにより部位尤度を算出してもよい。その場合、部位が写っている複数の画像に平均化処理等を実施した画像のパターンを予め生成して部位画像情報として記憶部に記憶しておく。部位尤度算出手段は、部位尤度を算出する算出領域と、記憶部に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度を部位尤度とする。類似の程度は、例えば、算出領域と、画像のパターンを算出領域と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。

同様に、局所尤度算出手段は、式（１）により局所尤度を算出する代わりに、パターンマッチングにより局所尤度を算出してもよい。その場合、部位の特徴が写っている複数の画像に平均化処理等を実施した画像のパターンを予め生成して特徴画像情報として記憶部に記憶しておく。局所尤度算出手段は、局所尤度を算出する部分領域と、記憶部に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度を局所尤度とする。類似の程度は、例えば、算出領域と、画像のパターンを算出領域と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。

また、画像処理部は、最適化法以外の方法により特徴点を抽出してもよい。例えば、記憶部は複数の３次元形状モデルを予め記憶しておく。候補特徴点設定手段は、複数の３次元形状モデルのそれぞれから複数の候補特徴点セットを設定する。評価値算出手段は、複数の候補特徴点セットのそれぞれについて候補特徴点セット評価値を算出し、特徴点抽出手段は、候補特徴点セット評価値が最も各特徴らしい値となる候補特徴点セットに含まれる各候補特徴点を顔領域画像における各特徴点とする。

また、画像処理部は、顔領域画像に対して部位尤度分布の生成処理、候補特徴点及び派生候補特徴点の設定処理、及び評価値算出処理を行うのではなく、入力画像上の顔領域に対して各処理を行ってもよい。

また、画像処理部は、射影パラメータとして、回転量と拡大率に加えてＸ軸方向とＹ軸方向の並進量を用いてもよい。その場合、初期値はＸ軸方向とＹ軸方向の両方とも０とし、評価値算出手段は二つの並進量についても勾配ベクトルを算出する。これにより、顔検出手段が抽出する顔領域画像の中心と実際の顔の中心とが一致していない場合でも適切に位置合わせすることができ、精度よく特徴点を抽出することができる。

また、画像処理部は、特徴点抽出手段が、基準３次元形状モデルの更新と候補特徴点の再設定処理を行うか否かの判定をするにあたり、勾配ベクトルの大きさ（ノルム）ではなく、候補特徴点セット評価値の変化を参照するものとしてもよい。
この場合、候補特徴点設定手段が基準３次元形状モデルに対応する候補特徴点を設定して、特徴点抽出手段が設定された候補特徴点について候補特徴点セット評価値を算出すると、その値を記憶部に一時記憶させる。
基準３次元形状モデルが更新されると、更新された基準３次元形状モデルに対応する候補特徴点を候補特徴点設定手段が設定し、特徴点抽出手段が候補特徴点セット評価値を算出して、既に記憶部に記憶されている候補特徴点セット評価値、すなわち更新前の基準３次元形状モデルを用いて算出された候補特徴点セット評価値との比較を行う。
そして、更新された基準３次元形状モデルについての候補特徴点セット評価値と、記憶部に記憶されている候補特徴点セット評価値の差の大きさが所定の判定閾値より小さいと、更新後の基準３次元形状モデルを用いて候補特徴点設定手段が設定した候補特徴点は、顔領域画像において各特徴を適切に表していると判定し、その候補特徴点を顔領域画像における特徴点とする。
一方で、更新された基準３次元形状モデルについての候補特徴点セット評価値と、記憶部に記憶されている候補特徴点セット評価値の差が抽出判定閾値以上となる場合には、更新された基準３次元形状モデルについての候補特徴点セット評価値を記憶部に記憶して、更に基準３次元形状モデルの更新と候補特徴点の設定処理などを繰り返す。
抽出判定閾値は、基準３次元形状モデルの更新を繰り返しても、計算量に見合っただけの候補特徴点セット評価値の改善が見られないと判断される値に設定するものとし、撮影条件などから決められる。更新の繰り返しの回数について上限を決めておいてもよい。

次に、本発明の第２の実施形態による車種判別装置について図を参照しつつ説明する。
本実施形態による車種判別装置は、対象物体を自動車の前面部とし、道路を走行中の自動車を撮影した入力画像から自動車の前面部が写っている車両領域画像を抽出する。車種判別装置は、フロントガラス、ヘッドライト等を自動車の各部位とし、フロントガラスの四隅の点、ヘッドライト近傍に存在するフロントバンパー又はフロントグリルの四隅の点等を各部位における特徴とし、第１の実施形態による顔画像認証装置と同様にして車両領域画像において各特徴に対応する特徴点を抽出する。車種判別装置は、抽出した特徴点に基づいて、その自動車の車種を判別する。これにより、車種判別装置は、第１の実施形態と同様に、自動車の特徴点を精度良く抽出し、自動車の車種を精度良く判別することを図る。

以下、図１０を参照し、車種判別装置について詳細に説明する。図１０は、本発明を適用した道路監視システム２００の概略構成を示す図である。道路監視システム２００は、車種判別装置４、撮像装置５及び表示装置６を有する。

撮像装置５は、第１の実施形態による出入管理システム１００の撮像装置２と同様の構成を有する。撮像装置５は、例えば道路脇に設置された支柱に取り付けられたハウジング内に、撮影方向をやや下方へ向け、走行中の車両の前面部を撮影するように配置される。

表示装置６は、液晶ディスプレイ、タッチパネルディスプレイなどの表示デバイスで構成され、撮像装置５から出力された自動車の車種を示す情報を表示する。

車種判別装置４は、自動車の特徴を表す特徴点を抽出する特徴点抽出装置の例であり、抽出した特徴点に基づいて、その自動車の車種を判別する。図１０に示すように、車種判別装置４は、画像取得部５０、出力部６０、記憶部７０及び画像処理部８０を有する。以下、車種判別装置４の各部について詳細に説明する。

画像取得部５０は、第１の実施形態による顔画像認証装置１の画像取得部１０と同様の構成であるため、説明を省略する。

出力部６０は、表示装置６と接続するインターフェース及びその制御回路である。出力部６０は、画像処理部８０から自動車の車種を示す情報を受け取ると、受け取った情報を表示装置６に出力する。

記憶部７０は、ＲＯＭ、ＲＡＭ等の半導体メモリを有する。記憶部７０は、右折車両検出装置４を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部８０との間でこれらの情報を入出力する。各種データには、少なくとも、自動車の３次元形状モデル７１と、自動車のテンプレート７２と、様々な車種の自動車の前面を撮影した複数の車種画像７３が含まれる。車種画像７３は車種の識別情報と対応付けて記憶される。

３次元形状モデル７１は、自動車の３次元形状を表す標準的なフレームモデルである。図１１は、記憶部７０に記憶されている自動車の３次元形状モデル７１の例を示す。自動車の３次元形状モデル７１は、３次元形状１１０１と３Ｄ特徴点１１０２および射影パラメータ１１０３にて構成されている。

３次元形状１１０１は、標準的な自動車の３次元形状をワイヤーフレームモデルにて表わしている。
３Ｄ特徴点１１０２は、３次元形状１１０１におけるヘッドライト、フロントガラスなどの各部位が持つ特徴を表す各特徴点の３次元座標である。本実施形態では、３Ｄ特徴点１１０２として、左側ヘッドライトについてフロントバンパーの左上角及び左下角並びにフロントグリルの左上角及び左下角と、右側ヘッドライトについてフロントバンパーの右上角及び右下角並びにフロントグリルの右上角及び右下角と、フロントガラスについて左上角、左下角、右上角、右下角の１２箇所を記憶するものとした。

射影パラメータ１１０３は、３次元形状１１０１上の３Ｄ特徴点を２次元の画像上に射影するためのパラメータであって、３次元形状１１０１を表す直交座標系の各軸（Ｘ軸，Ｙ軸，Ｚ軸）に対する回転角の初期値「０°」、拡大率の初期値「１」が記憶されている。

記憶部７０は、さらに、３次元形状モデル７１から生成される基準３次元形状モデルと、基準３次元形状モデルから生成される派生３次元形状モデルを一時的に記憶し、基準３次元形状モデル及び派生３次元形状モデルごとに射影パラメータを対応付けて記憶する。

記憶部７０は、さらに、顔画像認証装置１の記憶部３０と同様に、部位画像情報７４及び特徴画像情報７５を記憶する。

画像処理部８０は、いわゆるコンピュータにより構成され、撮像装置５から取得した入力画像に対し記憶部７０を参照しながら各種処理を実行し、その処理結果を出力部６０に出力する。画像処理部８０は、車両検出手段８１、派生３次元形状モデル生成手段８２、候補特徴点設定手段８３、部位尤度算出手段８４、局所尤度算出手段８５、評価値算出手段８６、特徴点抽出手段８７、モデル更新手段８８及び車種判定手段８９を有する。

車両検出手段８１は、入力画像から、対象物体である自動車の前面部を含む車両領域画像を抽出する。
車両領域画像を抽出するために、車両検出手段８１は、記憶部７０に記憶された自動車のテンプレート７２と、入力画像との相対的な位置関係を変えながらパターンマッチングを行うことにより、テンプレート７２と入力画像との相関値を算出する。そして車両検出手段８１は、テンプレート７２と入力画像との相関値が所定の条件を満たしたとき、入力画像上のそのテンプレート７２に対応する領域を車両領域画像として抽出する。なお、相関値は、例えば、テンプレート７２と入力画像の対応する画素間の正規化相互相関値とし、所定の条件は、正規化相互相関値の取りうる最大値に対して0.9を乗じた値以上であることとすることができる。また、車両検出手段８１は、自動車の形状がそれぞれ異なる複数のテンプレートを用いてもよい。

派生３次元形状モデル生成手段８２は、先ず記憶部７０から３次元形状モデル７１を読み出して基準３次元形状モデルとし、かかる基準３次元形状モデルから派生３次元形状モデルを生成する。

候補特徴点設定手段８３は、基準３次元形状モデルの３Ｄ特徴点および派生３次元形状モデルの３Ｄ特徴点をそれぞれの射影パラメータに従って、車両領域画像に射影して、候補特徴点セット及び派生候補特徴点セットを設定する。

部位尤度算出手段８４は、車両検出手段８１が検出した車両領域画像の各画素に対し、車両のヘッドライト、フロントガラス等の各部位についての部位尤度を算出する。
部位尤度算出手段８４は、部位特徴量としてハールライク特徴量とＨＯＧ特徴量を用いたGentle AdaBoost識別器にて構成される。さらに、部位尤度算出手段８４は、車両領域画像の画素ごとに算出した部位尤度にて部位尤度分布を生成して一時記憶メモリに記憶する。

局所尤度算出手段８５は、候補特徴点及び派生候補特徴点について局所特徴量を算出する。局所尤度算出手段８５は、例えば車両領域画像上の部分領域に対するハールライク特徴量、ＨＯＧ特徴量の各成分、及び各画素のＲ（赤）値、Ｇ（緑）値、Ｂ（青）値についてのヒストグラムの各成分を成分とする特徴ベクトルを局所特徴量とする。局所尤度算出手段８５は、顔画像認証装置１の局所尤度算出手段４５と同様に、局所特徴量の正規分布を生成して局所尤度を算出する。

評価値算出手段８６は、顔画像認証装置１の評価値算出手段４６と同様に、局所尤度算出手段８５が、候補特徴点または派生候補特徴点ごとに特定した局所尤度に、部位尤度算出手段８４が算出した部位尤度にて重みを付けるよう積算にて評価値を算出する。

特徴点抽出手段８７は、顔画像認証装置１の特徴点抽出手段４７と同様に、候補特徴点セットについて算出された候補特徴点セット評価値と、派生候補特徴点セットについて算出された派生候補特徴点セット評価値とに基づいて、車両領域画像から各特徴に対応する特徴点を抽出する。

モデル更新手段８８は、顔画像認証装置１のモデル更新手段４８と同様に、基準３次元形状モデルを更新する。

車種判定手段８９は、特徴点抽出手段８７が車両領域画像から抽出した特徴点と、記憶部７０に記憶されているすべての車種画像７３についての特徴点について、対応する特徴点同士の位置関係の一致の程度を類似度として算出する。そして、最も値が高い類似度が判定閾値以上である場合に、その車両領域画像に写っている自動車の車種がその車種画像７３に対応付けられた識別情報に示される車種であると判定する。なお、画像処理部８０は、車両領域画像から特徴点を抽出するのと同様の方法により、車種画像が登録された時に、その車両画像についての特徴点を抽出しておく。車種判定手段８９は、自動車の車種を判別すると、その車種を示す情報を出力部６０に出力する。

以上説明してきたように、第２の実施形態による車種判別装置は、第１の実施形態による顔画像認証装置と同様に、局所尤度と部位尤度に基づいて、入力画像から自動車の特徴点を抽出する。これにより、特徴点抽出装置は、自動車の特徴点を精度良く抽出することができ、走行中の自動車の車種を精度良く判別することができる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１顔画像認証装置
２、５撮像装置
３電気錠制御装置
４車種判別装置
６表示装置
１０、５０画像取得部
２０、６０出力部
３０、７０記憶部
４０、８０画像処理部
４１顔検出手段
４２、８２派生３次元形状モデル生成手段
４３、８３候補特徴点設定手段
４４、８４部位尤度算出手段
４５、８５局所尤度算出手段
４６、８６評価値算出手段
４７、８７特徴点抽出手段
４８、８８モデル更新手段
４９顔照合手段
８１車両検出手段
８９車種判別手段

Claims

入力画像中の物体が写っている物体領域画像を取得し、当該物体の特徴が現れる特徴点を抽出する特徴点抽出装置であって、
前記物体を構成する部位情報と標準的な特徴点の位置を対応させて記憶している記憶部と、
前記物体領域画像における前記標準的な特徴点の位置に前記部位情報を持つ候補特徴点を設定する候補特徴点設定手段と、
前記候補特徴点が前記対応する部位を構成する可能性を表す部位尤度を、当該部位が写っている画像と当該部位が写っていない画像とを用いて事前学習された結果に基づき算出する部位尤度算出手段と、
前記候補特徴点が当該候補特徴点およびその近傍画素から特徴点らしい可能性を表す局所尤度を、当該特徴点が写っている画像のみを用いて事前学習された結果に基づき算出する局所尤度算出手段と、
前記候補特徴点についての前記局所尤度を当該候補特徴点の部位尤度が高いほど局所尤度が高くなるように重みをつけた評価値を算出する評価値算出手段と、
前記評価値に基づいて特徴点を抽出する特徴点抽出手段と、
を有することを特徴とした特徴点抽出装置。
前記候補特徴点設定手段は、前記候補特徴点の近傍に位置する複数の派生候補特徴点を更に設定し、
前記部位尤度算出手段は、前記派生候補特徴点について更に前記部位尤度を算出し、
前記局所尤度算出手段は、前記派生候補特徴点について前記局所尤度を更に算出し、
前記評価値算出手段は、前記派生候補特徴点について前記評価値を更に算出し、
前記特徴点抽出手段は、前記候補特徴点についての前記評価値に対する前記派生候補特徴点についての前記評価値の変化の大きさが判定閾値より小さい場合に前記候補特徴点を特徴点とし、それ以外の場合は前記派生候補特徴点の評価値を用いて候補特徴点を再設定し処理を継続する請求項１に記載の特徴点抽出装置。
前記部位尤度算出手段は、同一部位に対応する前記候補特徴点の重心における部位尤度を当該候補特徴点の部位尤度とした請求項１または２に記載の特徴点抽出装置。
前記標準的な特徴点は、３次元空間において前記物体の３次元形状を表すモデル上の点であり、
前記候補特徴点設定手段は、前記モデルにおける標準的な特徴点を前記物体領域画像に射影して候補特徴点を設定する、請求項１〜請求項３の何れか一項に記載の特徴点抽出装置。