JP6052751B2

JP6052751B2 - 物体認識装置及び物体認識方法

Info

Publication number: JP6052751B2
Application number: JP2015525049A
Authority: JP
Inventors: 勝司青木; 一田村; 隆行松川; 伸山田; 宏明由雄
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-07-03
Filing date: 2014-06-30
Publication date: 2016-12-27
Anticipated expiration: 2034-06-30
Also published as: US20160148381A1; WO2015001791A1; JPWO2015001791A1

Description

本開示は、監視カメラシステムに用いて好適な物体認識装置及び物体認識方法に関する。

撮影した物体（例えば、顔、人物、車など）の画像（撮影画像と呼ぶ）と、この撮影画像と同じ位置関係（例えば、向き）であって、認識対象物体画像から生成した推定物体画像とを照合する物体認識方法が案出されている。この種の物体認識方法として、例えば特許文献１に記載された顔画像認識方法がある。特許文献１に記載された顔画像認識方法は、任意の観点に従って撮影された観点撮影顔画像を入力し、予め登録された認識対象の人物の正面顔画像にワイヤフレームを割り付け、該任意の観点を含む複数の観点の各々に対応した変形パラメータを、ワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該複数の観点に従って撮影されたと推定される複数の推定顔画像に変えて登録し、前記複数の観点の観点毎の顔画像を観点識別用のデータとして予め登録し、前記観点撮影顔画像と登録された該観点識別用のデータとの照合を行なって観点毎に照合スコアの平均を取り、登録された前記複数の推定顔画像の中から該照合スコアの平均の値の高い観点の推定顔画像を選択し、前記観点撮影顔画像と該選択された推定顔画像とを照合することによって該観点撮影顔画像の人物を識別する。

日本国特開２００３−２６３６３９号公報

しかしながら、上述した特許文献１に記載された顔画像認識方法は、位置関係（例えば、顔向き）別に推定顔画像と撮影画像との照合を行うものの、各位置関係が、単に左方、右方、上方・・・などと、大まかなカテゴリ付けしかしていないため、精度の高い照合ができないという課題がある。なお、本明細書では、撮影画像を、照合顔画像を含む照合物体画像と呼び、推定顔画像を、登録顔画像を含む登録物体画像と呼ぶ。

本開示は、係る事情に鑑みてなされたものであり、照合物体画像と登録物体画像をより正確に照合することができる物体認識装置及び物体認識方法を提供することを目的とする。

本開示の物体認識装置は、物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択部と、前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合部と、を有し、前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められる。

本開示によれば、照合物体画像と登録物体画像をより正確に照合することができる。

本開示の一実施の形態に係る物体認識装置のカテゴリ設計から照合までの処理の流れを示すフロー図図１のカテゴリ設計の詳細な流れを示すフロー図（ａ）〜（ｃ）図２のカテゴリ設計を説明するための図図２のカテゴリ設計における顔特徴的要素（目、口）の２次元平面上の位置を示す図（ａ），（ｂ）図２のカテゴリ設計におけるカテゴリｍの顔向きと顔向きθａの顔特徴的要素（目，口）の誤差算出方法を説明するための図図２のカテゴリ設計で用いられるＡｆｆｉｎｅ変換式を示す図図２のカテゴリ設計における顔特徴的要素の誤差ｄの定義例（２）を説明するための図図２のカテゴリ設計における顔特徴的要素の誤差ｄの定義例（３）を説明するための図（ａ）〜（ｄ）図２のカテゴリ設計におけるカテゴリの顔向きの一例を示す図本実施の形態に係る物体認識装置の照合モデル学習機能を示すブロック図本実施の形態に係る物体認識装置の登録画像作成機能を示すブロック図図１１の登録画像作成機能による操作画面の一例を示す図本実施の形態に係る物体認識装置の照合機能を示すブロック図（ａ），（ｂ）照合時に顔向き推定が必要な理由を説明するための図図１３の照合機能による照合結果の提示画面の一例を示す図３次元位置を２次元平面（画像）上の位置に投影する一般的な式を示す図３次元空間上の目口位置の一例を示す図２次元上の目口位置を算出する式を示す図

以下、本開示を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

図１は、本開示の一実施の形態に係る物体認識装置のカテゴリ設計から照合までの処理の流れを示すフロー図である。同図において、本実施の形態に係る物体認識装置は、カテゴリの設計処理（ステップＳ１）、各カテゴリの照合モデルの学習処理（ステップＳ２）、各カテゴリの登録画像の作成処理（ステップＳ３）、各カテゴリの照合モデル及び登録画像を用いた照合処理（ステップＳ４）の４つの処理からなる。以下、前記各処理を詳細に説明する。

図２は、図１のカテゴリ設計の詳細な流れを示すフロー図である。また、図３（ａ）〜（ｃ）は、図２のカテゴリ設計を説明するための図である。ここで、本実施の形態では、物体画像として、人間の顔画像を扱うものとするが、それはあくまでも一例であり、人間の顔画像以外であっても問題なく扱うことができる。

図２において、まず所定の誤差Ｄを決定する（ステップＳ１０）。即ち、撮影した人物の顔画像（照合物体画像に対応し、“照合顔画像”と称する）と、この照合顔画像と照合するための登録顔画像（“登録物体画像”に対応する）との誤差Ｄを決定する。誤差Ｄの決定の詳細について説明する。図４は、図２のカテゴリ設計における顔特徴的要素（目、口）の２次元平面上の位置を示す図である。同図において、両目と口を三角形５０で示し、その頂点Ｐ１が左目位置、頂点Ｐ２が右目位置、頂点Ｐ３が口位置とする。この場合、左目位置を示す頂点Ｐ１を黒丸で示し、この黒丸を起点に時計回りに左目、右目、口位置を示す頂点Ｐ１，Ｐ２，Ｐ３となる。

顔は３次元物体であるため、その顔特徴的要素（目、口）の位置も３次元位置となるが、同３次元位置を上記頂点Ｐ１，Ｐ２，Ｐ３のような２次元上の位置に変換する方法を以下に説明する。
図１６は、３次元位置を２次元平面(画像)上の位置に投影する一般的な式を示す図である。但し、同式において、
θｙ：yaw角（左右角）
θｐ：pitch角（上下角）
θｒ：Roll角（回転角）
［ｘｙｚ］：３次元上の位置
［ＸＹ］：２次元上の位置
である。

図１７は、３次元空間上の目口位置の一例を示す図である。同図に示す目口位置は以下の通りである。
左目：［ｘｙｚ］＝［−０．５００］
右目：［ｘｙｚ］＝［０．５００］
口：［ｘｙｚ］＝［０ −ｋｙｋｚ］
（ｋｙ，ｋｚは係数）
以上の３次元空間上の目口位置を、図１６に示す３次元位置を２次元平面上の位置に投影する式に代入することにより、各顔向き(θｙ：yaw角、θｐ：pitch角、θｒ：Roll角)における２次元上の目口位置を、図１８に示す式で算出する。
［Ｘ_L Ｙ_L］：左目位置Ｐ１
［Ｘ_R Ｙ_R］：右目位置Ｐ２
［Ｘ_M Ｙ_M］：口位置Ｐ３

図５（ａ），（ｂ）は、図２のカテゴリ設計におけるカテゴリｍの顔向きと顔向きθａの顔特徴的要素（目，口）の誤差算出方法を説明するための図である。同図の（ａ）は、カテゴリｍの顔向きの目口位置を示す三角形５１及び顔向きθａの目口位置を示す三角形５２を示している。また、同図の（ｂ）は、顔向きθａの目口位置を示す三角形５２の両目位置をカテゴリｍの顔向きの両目位置に合わせた状態を示している。顔向きθａは、カテゴリ設計時においては、誤差Ｄ以内にあるかどうかを判定するために用いる顔の顔向きであり、照合時においては、照合顔画像の顔の顔向きである。顔向きθａの左右の目位置をカテゴリｍの顔向きの左右の目位置に合わせるが、この処理にＡｆｆｉｎｅ変換式を用いる。Ａｆｆｉｎｅ変換式を用いることで、図５の（ａ）において矢印１００で示すように、三角形５２に対し、２次元平面上での回転、スケーリング、平行移動が行われる。

図６は、図２のカテゴリ設計で用いられるＡｆｆｉｎｅ変換式を示す図である。但し、同式において、
［Ｘｍ_ｌＹｍ_ｌ］：カテゴリｍの左目位置
［Ｘｍ_ｒＹｍ_ｒ］：カテゴリｍの右目位置
［Ｘａ_ｌＹａ_ｌ］：顔向きθaの左目位置
［Ｘａ_ｒＹａ_ｒ］：顔向きθaの右目位置
［ＸＹ］：Ａｆｆｉｎｅ変換前の位置
［Ｘ’ Ｙ’］：Ａｆｆｉｎｅ変換後の位置
である。

このＡｆｆｉｎｅ変換式を用いて、顔向きθaの３点（左目、右目、口）のＡｆｆｉｎｅ変換後の位置を算出する。Ａｆｆｉｎｅ変換後の顔向きθａの左目位置はカテゴリｍの左目位置に一致し、顔向きθａの右目位置はカテゴリｍの右目位置に一致する。

図５の（ｂ）において、Ａｆｆｉｎｅ変換式を用いて顔向きθａの両目位置をカテゴリｍの顔向きの両目位置に合わせる処理を行って、それぞれの位置が合った状態において、残りの１点である口位置の距離差を顔特徴的要素の誤差とする。即ち、カテゴリｍの顔向きの口位置Ｐ３−１と、顔向きθａの口位置Ｐ３−２との距離ｄｍを顔特徴的要素の誤差とする。

図２に戻り、誤差Ｄを決定した後、カウンタｍの値を「１」に設定し（ステップＳ１１）、第ｍカテゴリの顔向き角度θｍを（Ｐｍ，Ｔｍ）に決定する（ステップＳ１２）。次いで、第ｍカテゴリの顔向きに対し、誤差が所定の誤差Ｄ以内の範囲を算出する（ステップＳ１３）。カテゴリｍにおいて、誤差Ｄ以内の範囲とは、カテゴリｍの顔向きの両目位置と顔向きθａの両目位置を合せた場合に、それぞれの口位置の距離差ｄｍが誤差Ｄ以内である顔向きθａの範囲である。顔特徴的要素の２点である両目位置が同じ位置になるように、Ａｆｆｉｎｅ変換することで残りの１点である口位置の差（即ち、距離ｄｍ）が誤差Ｄ以内となるので、両目位置を合わせ、口位置の差を誤差Ｄ以内とすることで、照合顔画像と登録顔画像との照合において、より正確な照合が可能となる（その理由は、顔特徴的要素の位置関係が同じになるほど、照合性能が良くなるからである）。また、照合顔画像と登録顔画像の照合時には、照合顔画像の顔の目口位置および推定した顔向きから誤差Ｄ以内にあるカテゴリを選択することで、照合性能の向上が図れる。

なお、上記は顔特徴的要素の誤差ｄの定義例（１）であるが、その他の定義例についても説明する。
図７は、図２のカテゴリ設計における顔特徴的要素の誤差ｄの定義例（２）を説明するための図である。同図において、カテゴリｍの顔向きの三角形５１における左目位置と右目位置の中間点Ｐ４−１から口位置Ｐ３−１までの線分Ｌｍをとるとともに、顔向きθａの三角形５２における左目位置と右目位置の中間点Ｐ４−２から口位置Ｐ３−２までの線分Ｌａをとる。そして、カテゴリｍの顔向きにおける線分Ｌｍと顔向きθａにおける線分Ｌａの角度差θｄと、双方の線分Ｌｍ，Ｌａの長さの差｜Ｌｍ−Ｌａ｜の２要素により、顔特徴的要素の誤差ｄを定義する。即ち、顔特徴的要素の誤差ｄを［θｄ｜Ｌｍ−Ｌａ｜］とする。この定義の場合、誤差Ｄ以内の範囲は、角度差θ_Ｄ、かつ、長さの差Ｌ_Ｄ以内とする。

次に、顔特徴的要素の誤差ｄの定義例（３）を説明する。顔特徴的要素の誤差ｄの定義例（３）は、顔特徴的要素を４点（左目、右目、左口端、右口端）とした場合の顔特徴的要素の誤差ｄを定義するものである。図８は、図２のカテゴリ設計における顔特徴的要素の誤差ｄの定義例（３）を説明するための図である。同図において、カテゴリｍの顔向きの目口端位置を示す四角形５５を設定するとともに、カテゴリｍの顔向きの両目位置と顔向きθａの両目位置を合わせた顔向きθａの目口端位置を示す四角形５６を設定する。カテゴリｍの顔向きの左口端位置と顔向きθａの左口端位置の距離ｄＬｍと、カテゴリｍの顔向きの右口端位置と顔向きθａの右口端位置の距離ｄＲｍより、顔特徴的要素の誤差ｄを定義する。即ち、顔特徴的要素の誤差ｄを［ｄＬｍ，ｄＲｍ］とする。この定義の場合、誤差Ｄ以内の範囲は、ｄＬｍ<=Ｄ、かつ、ｄＲｍ<=Ｄ、または、ｄＬｍとｄＲｍの平均値がＤ以内とする。

このように、３点（左目、右目、口）と同様に２点（左目、右目）の位置を合せた状態において、残り２点（左口端、右口端）の双方（カテゴリｍの顔向きおよび顔向きθａ）の距離を顔特徴的要素の誤差ｄとする。なお、誤差ｄは、左口端位置の距離ｄＬｍおよび右口端位置の距離ｄＲｍの２要素としても良く、距離ｄＬｍ＋距離ｄＲｍまたは距離ｄＬｍと距離ｄＲｍのうち、値が大きい方の１要素としても良い。さらに、上述した定義例（２）における図７に示すように、２点それぞれの角度差と線分の長さ差としても良い。

また、顔特徴的要素が３点の定義例（１）、顔特徴的要素が４点の定義例（３）の例を示したが、顔特徴的要素の数がＮ（Ｎは３以上の整数）点であっても同様に、２点を合わせ、残りのＮ−２点の距離差又は角度差及び線分の長さの差で顔特徴的要素の誤差を定義し、同誤差を算出することができる。

図２に戻り、ステップＳ１３で誤差Ｄ以内の範囲を算出した後、誤差Ｄ以内の範囲が目標範囲をカバーしたか（埋めたか）どうかを判定する（ステップＳ１４）。ここで、目標範囲とは、照合時に入力される照合顔画像の向きの想定範囲のことである。この照合顔画像の向きの想定範囲内において照合ができるように（即ち、良好な照合性能が得られるように）、同想定範囲をカテゴリ設計時の目標範囲としている。図３（ａ）〜（ｃ）に長方形の破線で示す範囲が目標範囲６０である。ステップＳ１４の判定において、ステップＳ１３で算出した範囲が、目標範囲をカバーしたと判断した場合（即ち、「Ｙｅｓ」と判断した場合）、本処理を終える。目標範囲をカバーした場合とは、図３の（ｃ）に示すような状態になった場合である。これに対し、目標範囲をカバーしてない場合（即ち、「Ｎｏ」と判断した場合）は、カウンタｍの値を「１」増加させてｍ＝ｍ＋１に設定し（ステップＳ１５）、第ｍカテゴリの顔向き角度θｍを（Ｐｍ，Ｔｍ）に仮決定する（ステップＳ１６）。そして、当該第ｍカテゴリの顔向きに対し、口のずれである誤差が誤差Ｄ以内の範囲を算出する（ステップＳ１７）。

次いで、他のカテゴリと接しているかどうかを判定し（ステップＳ１８）、他のカテゴリと接していない場合（即ち、「Ｎｏ」と判断した場合）はステップＳ１６に戻る。これに対して、他のカテゴリと接している場合（即ち、「Ｙｅｓ」と判断した場合）は第ｍカテゴリの顔向き角度θｍを（Ｐｍ，Ｔｍ）に決定する（ステップＳ１９）。即ち、ステップＳ１６〜ステップＳ１９において、第ｍカテゴリの顔向き角度θｍを仮決めして同角度θｍでの誤差Ｄ以内の範囲を算出し、他のカテゴリの誤差Ｄ以内の範囲（図３の（ｂ）では、カテゴリ「１」）と接する、またはオーバーラップすることを確認しながら、第ｍカテゴリの顔向き角度θｍを決定する。

第ｍカテゴリの顔向き角度θｍを（Ｐｍ，Ｔｍ）に決定した後、目標範囲をカバーしたかどうかを判定し（ステップＳ２０）、目標範囲をカバーした場合（即ち、「Ｙｅｓ」と判断した場合）は本処理を終え、目標範囲をカバーしてない場合（即ち、「Ｎｏ」と判断した場合）はステップＳ１５に戻り、目標範囲をカバーするまでステップＳ１５〜ステップＳ１９の処理を行う。ステップＳ１５〜ステップＳ１９の処理を繰り返すことにより、各カテゴリの誤差Ｄ以内の範囲によって、目標範囲をカバーすれば（隙間無く埋めれば）、カテゴリ設計は終了となる。

図３の（ａ）は、カテゴリ「１」の顔向きθ_１に対して誤差Ｄ以内の範囲４０−１を示しており、図３の（ｂ）は、カテゴリ「２」の顔向きθ_２に対して誤差Ｄ以内の範囲４０−２を示している。カテゴリ「２」の顔向きθ_２に対する誤差Ｄ以内の範囲４０−２は、カテゴリ「１」の顔向きθ_１に対する誤差Ｄ以内の範囲４０−１と一部分で重なっている。図３の（ｃ）は、カテゴリ「１」〜「１２」それぞれの顔向きθ_１〜θ_１２に対し誤差Ｄ以内の範囲４０−１〜４０−１２を示しており、目標範囲６０をカバーしている（隙間無く埋めている）。

図９（ａ）〜（ｄ）は、図２のカテゴリ設計におけるカテゴリの顔向きの一例を示す図である。同図の（ａ）に示すカテゴリ「１」は正面向き、（ｂ）に示すカテゴリ「２」は左向き、（ｃ）に示すカテゴリ「６」は斜め下向き、（ｄ）に示すカテゴリ「１２」は下向きである。

このようにしてカテゴリ設計を行った後、図１のステップＳ２において、各カテゴリの照合モデルの学習を行う。図１０は、本実施の形態に係る物体認識装置１の照合モデル学習機能を示すブロック図である。同図において、顔検出部２は、各学習画像「１」〜「Ｌ」から顔を検出する。向き顔合成部３は、各学習画像「１」〜「Ｌ」の顔画像に対し、各カテゴリ（顔向きθｍ、ｍ＝１〜Ｍ）の合成画像を作成する。モデル学習部４は、カテゴリ「１」〜「Ｍ」のそれぞれに、当該カテゴリの学習画像群を用いて当該照合モデルを学習する。カテゴリ「１」の学習画像群を用いて学習された照合モデルは、カテゴリ「１」データベース５−１に格納される。同様に、カテゴリ「２」〜「Ｍ」それぞれの学習画像群を用いて学習された照合モデルは、カテゴリ「２」データベース５−２、…、カテゴリ「Ｍ」データベース５−Ｍに格納される（“ＤＢ”はデータベースのことである）。

各カテゴリの照合モデルの学習処理を行った後、図１のステップＳ３において、各カテゴリの登録顔画像の作成を行う。図１１は、本実施の形態に係る物体認識装置１の登録画像作成機能を示すブロック図である。同図において、顔検出部２は、入力画像「１」〜「Ｎ」から顔を検出する。向き顔合成部３は、顔検出部２で検出された顔画像即ち登録顔画像「１」〜「Ｎ」に対し、各カテゴリ（顔向きθｍ、ｍ＝１〜Ｍ）の合成画像を作成する。なお、向き顔合成部３の処理として、例えば、「”Real-Time Combined 2D+3D Active Appearance Models”, Jing Xiao, Simon Baker, Iain Matthews and Takeo Kanade, The Robotics Institute, Carnegie Mellon University, Pittsburgh, PA 15213」に記載された処理が好適である。カテゴリ「１」〜「Ｍ」のそれぞれに、当該カテゴリ（顔向きθｍ）の登録顔画像「１」〜「Ｎ」を生成する（即ち、カテゴリ別に登録顔画像を生成する）。表示部６は、顔検出部２で検出された顔画像を視覚表示し、また向き顔合成部３で作成された合成画像を視覚表示する。

図１２は、図１１の登録画像作成機能による操作画面の一例を示す図である。同図に示す操作画面は、登録画像作成時の確認画面として表示される。入力された入力画像７０に対して、各カテゴリ（顔向きθｍ、ｍ＝１〜Ｍ）の合成画像を作成し、作成した合成画像を各カテゴリの登録顔画像（同図では、ＩＤ：１）８０とする。ここで「はい」ボタン９０が押された場合は合成画像を登録し、「いいえ」ボタン９１が押された場合は合成画像の登録は行わない。なお、図１２に示す操作画面には、この画面をクローズさせるためのクローズボタン９２が設定されている。

各カテゴリの登録顔画像の作成処理を行った後、図１のステップＳ４において、各カテゴリの照合モデル及び登録顔画像を用いた照合処理を行う。図１３は、本実施の形態に係る物体認識装置１の照合機能を示すブロック図である。同図において、顔検出部２は、入力された照合顔画像から顔を検出する。目口検出部８は、顔検出部２で検出された顔画像から目と口を検出する。顔向き推定部９は、顔画像から顔向きを推定する。顔向き推定部９の処理として、例えば「”Head Pose Estimation in Computer Vision: A Survey”, Erik Murphy-Chutorian, Student Member, IEEE, and Mohan Manubhai Trivedi, Fellow, IEEE, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.31, NO.4, APRIL 2009」に記載された処理が好適である。カテゴリ選択部（選択部）１０は、顔向き毎にカテゴライズされて登録された複数の登録顔画像における該登録顔画像の顔上の特徴点（目口）の位置と、照合顔画像の顔上の特徴点に対応する特徴点の位置との誤差に基づき、特定の顔向きを選択する。照合部１１は、カテゴリ選択部１０が選択したカテゴリに対応するデータベースの照合モデルを用いて、照合顔画像と各登録顔画像「１」〜「Ｎ」同士の照合を行う。表示部６は、カテゴリ選択部１０で選択されたカテゴリを視覚表示し、また照合部１１の照合結果を視覚表示する。

ここで、照合時に顔向き推定が必要な理由について説明する。図１４（ａ），（ｂ）は、照合時に顔向き推定が必要な理由を説明するための図であり、左右又は上下で目口位置を示す三角形の形状が同じになる顔向きを示している。即ち、同図の（ａ）はカテゴリ「Ｆ」の顔向き（右向きＰ度）の三角形５７を示しており、同図の（ｂ）はカテゴリ「Ｇ」の顔向き（左向きＰ度）の三角形５８を示している。三角形５７，５８は、目口位置を示す形状において略同一である。このように、左右又は上下で目口位置を示す三角形の形状が同じになる顔向きが存在するため、照合顔画像の目口位置情報だけではどのカテゴリを選択すれば良いか判定できない。図１４（ａ），（ｂ）に示す例では、誤差Ｄ以内のカテゴリが複数（カテゴリ「Ｆ」とカテゴリ「Ｇ」）存在し、それらカテゴリの顔向きは同図に示すように異なっている。照合顔画像は左向きＰ度なのに、右向きＰ度のカテゴリ「Ｆ」を選んでしまうと、照合性能が悪くなってしまう。そこで、照合時には、目口検出部８で得られた目口位置情報と、顔向き推定部９で得られた顔向き情報を併用することで、選択するカテゴリを決定する。なお、選択するカテゴリは複数でもあっても良く、複数選択した場合は、照合スコアの良いものを最終的に選択する。

図１５は、図１３の照合機能による照合結果の提示画面の一例を示す図である。同図に示す画面では、入力された照合顔画像７０−１，７０−２ごとに、それぞれに対する照合結果１００−１，１００−２が表示される。この場合、各照合結果１００−１，１００−２において、スコアの高い順に登録顔画像が表示される。スコアが高いほど当人の確率が高いと言える。照合結果１００−１では、ＩＤ：１の登録顔画像のスコアが８３、ＩＤ：３の登録顔画像のスコアが４２、ＩＤ：９の登録顔画像のスコアが３７、…となっている。また、照合結果１００−２では、ＩＤ：１の登録顔画像のスコアが９１、ＩＤ：７の登録顔画像のスコアが４８、ＩＤ：１２の登録顔画像のスコアが４２、…となっている。なお、図１５に示す画面には、この画面をクローズさせるためのクローズボタン９２の他、画面を上下にスクロールさせるスクロールバー９３が設定されている。

このように本実施の形態に係る物体認識装置１によれば、顔向き毎にカテゴライズされて登録された複数の登録顔画像における該登録顔画像の顔上の特徴点（目口）の位置と、照合顔画像の顔上の特徴点に対応する特徴点の位置との誤差に基づき、特定の顔向きを選択するカテゴリ選択部１０と、カテゴリ選択部１０で選択された顔向きに属する登録顔画像と照合顔画像とを照合する照合部１１と、を有し、登録顔画像を各々顔向き範囲によってカテゴライズし、顔向き範囲を特徴点に基づいて定めるので、照合顔画像と登録顔画像をより正確に照合することができる。

なお、本実施の形態に係る物体認識装置１では、顔画像を用いたが、顔画像以外（例えば、人物、車などの画像）でも用いることができることは言うまでもない。

（本開示の一態様の概要）
本開示の物体認識装置は、物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択部と、前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合部と、を有し、前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められる。

上記構成によれば、顔向き等の物体向きの関係即ち位置関係として、照合物体画像との照合に最適なものを選択するので、照合物体画像と登録物体画像をより正確に照合することができる。

上記構成において、前記誤差は、前記物体上に少なくとも３点以上のＮ（Ｎは３以上の整数）点の特徴点位置が物体向き毎に定義され、前記物体向き毎の特徴点の所定の２点と、これら２特徴点に対応する前記照合物体画像の物体上の２特徴点との位置を合わせた場合に、前記Ｎ点の特徴点の内残りＮ−２特徴点と、該Ｎ−２特徴点に対応する前記照合物体画像の物体上の残りＮ−２特徴点との位置の変位によって算出される。

上記構成によれば、照合物体画像の照合に用いる登録物体画像として、照合精度の向上が図れる、より最適なものを得ることができる。

上記構成において、前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である。

上記構成において、前記Ｎ−２特徴点の誤差それぞれの加算値または最大値を最終的な誤差とする。

上記構成によれば、照合精度の向上が図れる。

上記構成において、表示部を有し、前記物体向き範囲を前記表示部に表示する。

上記構成によれば、物体向き範囲を視覚によって確認することができ、照合物体画像の照合に用いる登録物体画像として、より最適なものを選択することができる。

上記構成において、物体向きの異なる複数の前記物体向き範囲を前記表示部に表示し、前記物体向き範囲の重なりを表示する。

上記構成によれば、物体向き範囲の重なり具合を視覚によって確認することができ、照合物体画像の照合に用いる登録物体画像として、照合精度の向上が図れる、より最適なものを選択することができる。

本開示の物体認識方法は、物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択ステップと、前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合ステップと、を有し、前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められる。

上記方法によれば、顔向き等の物体向きの関係即ち位置関係として、照合物体画像との照合に最適なものを選択するので、照合物体画像と登録物体画像をより正確に照合することができる。

上記方法において、前記誤差は、前記物体上に少なくとも３点以上のＮ（Ｎは３以上の整数）点の特徴点位置が物体向き毎に定義され、前記物体向き毎の特徴点の所定の２点と、これら２特徴点に対応する前記照合物体画像の物体上の２特徴点との位置を合わせた場合に、前記Ｎ点の特徴点の内残りＮ−２特徴点と、該Ｎ−２特徴点に対応する前記照合物体画像の物体上の残りＮ−２特徴点との位置の変位によって算出される。

上記方法によれば、照合物体画像の照合に用いる登録物体画像として、照合精度の向上が図れる、より最適なものを得ることができる。

上記方法において、前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である。

上記方法において、前記Ｎ−２特徴点の誤差それぞれの加算値または最大値を最終的な誤差とする。

上記方法によれば、照合精度の向上が図れる。

上記方法において、表示部に対して前記物体向き範囲を前記表示部に表示する表示ステップをさらに含む。

上記方法によれば、物体向き範囲を視覚によって確認することができ、照合物体画像の照合に用いる登録物体画像として、より最適なものを選択することができる。

上記方法において、物体向きの異なる複数の前記物体向き範囲を前記表示部に表示し、前記物体向き範囲の重なりを表示する。

上記方法によれば、物体向き範囲の重なり具合を視覚によって確認することができ、照合物体画像の照合に用いる登録物体画像として、照合精度の向上が図れる、より最適なものを選択することができる。

また、本開示を詳細にまた特定の実施態様を参照して説明したが、本開示の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、２０１３年７月３日出願の日本特許出願（特願２０１３−１３９９４５）に基づくものであり、その内容はここに参照として取り込まれる。

本開示は、照合物体画像と登録物体画像をより正確に照合することができるといった効果を有し、監視カメラシステムへの適用が可能である。

１物体認識装置
２顔検出部
３向き顔合成部
４モデル学習部
５−１，５−２，…５−Ｍカテゴリ「１」〜「Ｍ」データベース
６表示部
８目口検出部
９顔向き推定部
１０カテゴリ選択部
１１照合部

Claims

物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択部と、
前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合部と、を有し、
前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められ、
前記誤差は、前記物体上に少なくとも３点以上のＮ（Ｎは３以上の整数）点の特徴点位置が物体向き毎に定義され、前記物体向き毎の特徴点の所定の２点と、これら２特徴点に対応する前記照合物体画像の物体上の２特徴点との位置を合わせた場合に、前記Ｎ点の特徴点の内残りＮ−２特徴点と、該Ｎ−２特徴点に対応する前記照合物体画像の物体上の残りＮ−２特徴点との位置の変位によって算出される、
物体認識装置。
前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である請求項１に記載の物体認識装置。
物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択部と、
前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合部と、を有し、
前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められ、
前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である物体認識装置。
前記Ｎ−２特徴点の誤差それぞれの加算値または最大値を最終的な誤差とする請求項１または３に記載の物体認識装置。
表示部を有し、
前記物体向き範囲を前記表示部に表示する請求項１ないし４のいずれか一項に記載の物体認識装置。
物体向きの異なる複数の前記物体向き範囲を前記表示部に表示し、
前記物体向き範囲の重なりを表示する請求項５に記載の物体認識装置。
物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択ステップと、
前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合ステップと、を有し、
前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められ、
前記誤差は、前記物体上に少なくとも３点以上のＮ（Ｎは３以上の整数）点の特徴点位置が物体向き毎に定義され、前記物体向き毎の特徴点の所定の２点と、これら２特徴点に対応する前記照合物体画像の物体上の２特徴点との位置を合わせた場合に、前記Ｎ点の特徴点の内残りＮ−２特徴点と、該Ｎ−２特徴点に対応する前記照合物体画像の物体上の残りＮ−２特徴点との位置の変位によって算出される物体認識方法。
前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である請求項７記載の物体認識方法。
物体向き毎にカテゴライズされて登録された複数の登録物体画像における前記登録物体画像の物体上の特徴点の位置と、照合物体画像の物体上の前記特徴点に対応する特徴点の位置との誤差に基づき、特定の物体向きを選択する選択ステップと、
前記選択された物体向きに属する前記登録物体画像と前記照合物体画像とを照合する照合ステップと、を有し、
前記登録物体画像は、各々物体向き範囲によってカテゴライズされ、前記物体向き範囲は前記特徴点に基づいて定められ、
前記誤差は、物体向きの２特徴点位置の中点と残りＮ−２特徴点をそれぞれ結ぶＮ−２本の線分において、照合モデルおよび登録物体画像群の物体向きのＮ−２本の線分と、同対応する参照物体画像の物体向きのＮ−２本の線分それぞれの、角度差および線分長差の組である物体認識方法。
前記Ｎ−２特徴点の誤差それぞれの加算値または最大値を最終的な誤差とする請求項７または９に記載の物体認識方法。
表示部に対して前記物体向き範囲を前記表示部に表示する表示ステップをさらに含む請求項７ないし１０のいずれか一項に記載の物体認識方法。
物体向きの異なる複数の前記物体向き範囲を前記表示部に表示し、
前記物体向き範囲の重なりを表示する請求項１１に記載の物体認識方法。