JP6092012B2

JP6092012B2 - 物体識別システムおよび物体識別方法

Info

Publication number: JP6092012B2
Application number: JP2013127557A
Authority: JP
Inventors: 磯　俊樹; 俊樹磯
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2013-06-18
Filing date: 2013-06-18
Publication date: 2017-03-08
Anticipated expiration: 2033-06-18
Also published as: JP2015001941A

Description

本発明は、物体識別システムおよび物体識別方法に関する。本発明に係る物体識別システムおよび物体識別方法は、複数視点の画像を撮影できるステレオカメラを搭載した携帯電話機を用いて実世界の物体を識別すること、取り込んだ画像の情報を解析することで個人の状況（コンテキスト）を識別すること等に利用されるものであり、コンテキスト通信やコンテキストに基づくサービスナビゲーションなどのコンテキストアウェアサービスの分野に関わっている。

物体識別は、実世界やユーザ状況を理解する上で重要な手掛かりになるので、さまざまなサービス分野でのニーズがある。物体を識別するには、タグを用いることが一般的であるが、タグを識別対象の物体に付けたり、タグの読み取り装置を設置する等の手間が掛っていた。

画像データに基づいて物体識別を行う場合、大別すると、物体に付けたバーコード等のタグに基づいて識別する方法、物体の物理モデルに基づいて識別する方法、画像から抽出した局所特徴量に基づいて識別する方法があった。

H. Bay, A. Ess, T. Tuytelaars, and L. J. V. Gool. Speeded-up robust features (surf). Computer Vision and Image Understanding, 110(3): pages 346_359, 2008 A. Bosch, A. Zisserman, and X. Munoz. Image classification using random forests and ferns. ICCV, pages 1_8, 2007 R. Fergus, P. Perona, and A. Zisserman. Object class recognition by unsupervised scale-invariant learning. CVPR, pages 264_271, 2003

前述したような従来の物体識別方法には、例えば以下のような課題がある。即ち、タグに基づいて識別する方法では、原則、物体に平面タグを装着することが必要となる。また、視点方向が異なる画像で物体を識別するためには、物体の三次元（３Ｄ）モデル化や複数視点からの画像データが必要となる。

特に一般画像認識では、SIFT特徴量をはじめとする局所特徴量から抽出できるBag-of-keypointsを識別特徴量として物体識別する方法が提案されているが（非特許文献１参照）、基本的には局所特徴量の位置関係は利用していないので、必ずしも物体形状を考慮した特徴量にはなっていない。また、視点方向にロバストな点を考慮したアプローチではなく、視点方向の変化に対する評価がほとんどされていない。

局所特徴量の位置関係を考慮したアプローチとしてConstellation Model（局所特徴量および位置の出現確率を用いた方法）があるが（非特許文献３参照）、多様な種類のデータを用意する必要がある。また、Bag-of-keypoint（局所特徴量のヒストグラム）から規定パターンを抽出するとともに言語モデルやコンテキストモデルや関心領域を自動的に抽出し、random pyramid表現を用いてSVM random forestで８０％という高精度で物体を識別する方法もある（非特許文献２参照）。

ところが、上述した従来の方法は、そもそも単一カメラ画像を対象にしたものがほとんどであり、複数視点からのカメラ画像を対象にしたものはほとんどない。

本発明は、上記の課題を解決するために成されたものであり、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつ、カメラの視点方向等に依存しないロバストな物体識別を行うことができる物体識別システムおよび物体識別方法を提供することを目的とする。

本発明に係る物体識別システムは、複数視点から学習用物体を撮影した画像データから、学習用物体の複数の特徴点を抽出する学習用特徴点抽出手段と、抽出された学習用物体の複数の特徴点から、学習用物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択する学習用特徴点選択手段と、選択された学習用物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、学習用物体についての複数の幾何学的不変量を取得する学習用幾何学的不変量算出手段と、取得された学習用物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、学習用物体についての複数の幾何学的不変量特徴ベクトルを取得する学習用幾何学的不変量特徴ベクトル算出手段と、取得された前記学習用物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出する学習用幾何学的不変量ベース特徴点分布ベクトル算出手段と、抽出された学習用物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出する学習用局所特徴量ベース特徴点分布ベクトル算出手段と、学習用物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として学習用物体を機械学習させることで、学習済み識別情報データを取得する識別情報データ取得手段と、複数視点から識別対象物体を撮影した画像データから、識別対象物体の複数の特徴点を抽出する識別用特徴点抽出手段と、抽出された識別対象物体の複数の特徴点から、識別対象物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択する識別用特徴点選択手段と、選択された識別対象物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、識別対象物体についての複数の幾何学的不変量を取得する識別用幾何学的不変量算出手段と、取得された識別対象物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、識別対象物体についての複数の幾何学的不変量特徴ベクトルを取得する識別用幾何学的不変量特徴ベクトル算出手段と、取得された前記識別対象物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出する識別用幾何学的不変量ベース特徴点分布ベクトル算出手段と、抽出された識別対象物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出する識別用局所特徴量ベース特徴点分布ベクトル算出手段と、識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、学習済み識別情報データを用いて識別対象物体を識別する物体識別手段と、を備える。

なお、本件において「識別対象物体」とは、識別対象とされる物体、即ち、識別したい物体を意味し、「学習用物体」とは、識別対象物体の識別にて用いられる学習済み識別情報データを事前に取得するために使用される物体を意味する。

このような物体識別システムでは、複数視点から学習用物体を撮影した画像データから、学習用物体の複数の特徴点が抽出され、抽出された学習用物体の複数の特徴点から、学習用物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群が複数組選択され、学習用物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、学習用物体についての複数の幾何学的不変量が取得され、学習用物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、学習用物体についての複数の幾何学的不変量特徴ベクトルが取得される。そして、学習用物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルが算出されるとともに、学習用物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルが算出される。さらに、学習用物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として学習用物体を機械学習させることで、学習済み識別情報データが取得される。

そして、同様に、複数視点から識別対象物体を撮影した画像データから、識別対象物体の複数の特徴点が抽出され、抽出された識別対象物体の複数の特徴点から、識別対象物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群が複数組選択され、識別対象物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、識別対象物体についての複数の幾何学的不変量が取得され、識別対象物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、識別対象物体についての複数の幾何学的不変量特徴ベクトルが取得される。そして、識別対象物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルが算出されるとともに、識別対象物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルが算出される。さらに、識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、学習済み識別情報データを用いて、識別対象物体が識別される。

上記のように、学習用物体についての局所特徴量ベース特徴点分布ベクトルとともに学習用物体についての複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、学習用物体を機械学習させることで学習済み識別情報データを取得する。さらに、学習済み識別情報データと、識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルとに基づいて、識別対象物体を識別することで、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつ、カメラの視点方向等に依存しないロバストな物体識別を行うことができる。

なお、上記の物体識別システムは、学習用物体および識別対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、物体識別手段による識別結果を出力する出力手段と、をさらに備えてもよい。また、上記の物体識別システムは、学習用物体についての学習済み識別情報データを格納するための識別情報データベースと、識別情報データ取得手段により取得された学習用物体についての学習済み識別情報データを識別情報データベースに格納する格納手段と、をさらに備えてもよい。

上記の物体識別システムに係る発明は、物体識別方法に係る発明として捉えることもでき、以下のように記述することができる。即ち、本発明に係る物体識別方法は、物体識別システムによって実行される物体識別方法であって、複数視点から学習用物体を撮影した画像データから、学習用物体の複数の特徴点を抽出するステップと、抽出された学習用物体の複数の特徴点から、学習用物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択するステップと、選択された学習用物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、学習用物体についての複数の幾何学的不変量を取得するステップと、取得された学習用物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、学習用物体についての複数の幾何学的不変量特徴ベクトルを取得するステップと、取得された学習用物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出するステップと、抽出された学習用物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出するステップと、学習用物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として学習用物体を機械学習させることで、学習済み識別情報データを取得するステップと、複数視点から識別対象物体を撮影した画像データから、識別対象物体の複数の特徴点を抽出するステップと、抽出された識別対象物体の複数の特徴点から、識別対象物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択するステップと、選択された識別対象物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、識別対象物体についての複数の幾何学的不変量を取得するステップと、取得された識別対象物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、識別対象物体についての複数の幾何学的不変量特徴ベクトルを取得するステップと、取得された識別対象物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出するステップと、抽出された識別対象物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出するステップと、識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、学習済み識別情報データを用いて識別対象物体を識別するステップと、を備える。

本発明によれば、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつ、カメラの視点方向等に依存しないロバストな物体識別を行うことができる。

発明の実施形態に係る物体識別システム構成図である。識別情報データベースの作成に係る処理のフロー図である。識別対象物体の物体識別に係る処理のフロー図である。物体識別サーバのハードウェア構成例を示す図である。

以下、図面を用いて発明の実施形態を説明する。以下では、複数視点からのカメラ画像を対象としてカメラの視点方向に依存しない物体識別を行う物体識別システムおよび物体識別方法に関する一実施形態を説明する。なお、以下では、複数視点数が２である場合を例にとって説明するが、複数視点数が３以上の場合も同様に適用できる。

［物体識別システムの構成］
図１には、物体識別システム１の一構成例を示す。図１に示すように、物体識別システム１は、識別対象物体および学習用物体（これらを以下では「物体」と総称する）を複数視点から撮影した画像データを取得するステレオカメラ１０と、画像データからの特徴点位置の抽出、幾何学的不変量の算出、Bag_of_Feature（BoF）ベースの特徴量ベクトルの算出、機械学習、物体識別などを行う物体識別サーバ２０と、学習用物体についての学習済み識別情報データを格納するための識別情報データベース４０と、物体識別の結果を表示するための表示装置５０（出力手段）と、を備えている。

ステレオカメラ１０には、ステレオカメラ間のキャリブレーションを実行する前処理部１１と、物体を複数視点から撮影する撮影部１２と、撮影で得られた複数視点（一例として２つの視点）からの画像（以下「ステレオ画像」という）の画像データを物体識別サーバ２０へ送信する画像データ送信部１３とが搭載されている。

物体識別サーバ２０は、ステレオ画像の画像データをステレオカメラ１０から受信する画像データ受信部２１と、ステレオ画像の画像データから物体の複数の特徴点を抽出する特徴点抽出部２２（学習用特徴点抽出手段、識別用特徴点抽出手段）と、後述の特徴点マッチングを行う特徴点マッチング部２３と、後述のテンプレートマッチングを行うテンプレートマッチング部２４と、幾何学的不変量を算出可能な特徴点候補を抽出する特徴点候補抽出部２５ａ、２５ｂと、後述の特徴点配置チェックを行う特徴点配置チェック部２６ａ、２６ｂと、複数の特徴点候補に基づいて幾何学的不変量を算出する幾何学的不変量算出部２７ａ、２７ｂと、算出された幾何学的不変量の一致性チェックを行う一致性チェック部２８ａ、２８ｂと、幾何学的不変量から物体識別用の幾何学的不変量特徴ベクトルを算出する特徴量ベクトル算出部２９ａ、２９ｂと、幾何学的不変量特徴ベクトルから後述の手順でBoF用特徴点候補を抽出するBoF用特徴点候補抽出部３０ａ、３０ｂと、幾何学的不変量特徴ベクトルに基づく特徴基底ベクトル（Bag_of_VisualWords（BoVW））を抽出する特徴基底ベクトル抽出部３１ａ、３１ｂと、後述の手順で幾何学的不変量特徴ベクトルに基づく特徴基底ベクトル（BoVW）から幾何学的不変量特徴ベクトルに基づくBoFベースの特徴量ベクトルを算出するBoFベース特徴量ベクトル算出部３２ａ、３２ｂと、物体の複数の特徴点の各々に関する局所特徴量（ここでは一例としてSURF特徴量）から後述の手順でBoF用特徴点候補を抽出するBoF用特徴点候補抽出部３０ｃと、局所特徴量に基づく特徴基底ベクトルを抽出する特徴基底ベクトル抽出部３１ｃと、後述の手順で局所特徴量に基づく特徴基底ベクトルから局所特徴量に基づくBoFベースの特徴量ベクトルを算出するBoFベース特徴量ベクトル算出部３２ｃと、学習用物体についての局所特徴量に基づくBoFベースの特徴量ベクトルおよび幾何学的不変量特徴ベクトルに基づく複数のBoFベースの特徴量ベクトルを入力として学習用物体を機械学習（一例としてＳＶＭ（Support Vector Machine）学習）させることで学習済み識別情報データを取得する機械学習部３３（識別情報データ取得手段）と、取得された学習済み識別情報データを識別情報データベース４０に格納する格納部３４（格納手段）と、識別対象物体についての局所特徴量に基づくBoFベースの特徴量ベクトルおよび幾何学的不変量特徴ベクトルに基づく複数のBoFベースの特徴量ベクトルを入力として上記学習済み識別情報データを用いて識別対象物体を識別する物体識別部３５（物体識別手段）と、を備える。

なお、本実施形態では、機械学習の方法として、ＳＶＭに基づく機械学習の例を示すが、これに限定されるものではなく、他の機械学習の方法（例えば、AdaBoost（Adaptive Boosting）に基づく機械学習など）を採用してもよい。

本実施形態では、複数の幾何学的不変量特徴ベクトルとして２つの幾何学的不変量特徴ベクトルを算出する例を示すが、これに限定されるものではない。２つの幾何学的不変量特徴ベクトルとは、後述する７つの特徴点に基づく幾何学的不変量特徴ベクトル、および５つの特徴点に基づく幾何学的不変量特徴ベクトルである。なお、特徴点候補抽出部２５ａ、特徴点配置チェック部２６ａ、幾何学的不変量算出部２７ａ、一致性チェック部２８ａ、特徴量ベクトル算出部２９ａ、BoF用特徴点候補抽出部３０ａ、特徴基底ベクトル抽出部３１ａ、および、BoFベース特徴量ベクトル算出部３２ａは、後述する７つの特徴点に基づく幾何学的不変量特徴ベクトルの算出および当該幾何学的不変量特徴ベクトルに基づくBoFベースの特徴量ベクトルの算出に係る一連のステップＡ６ａ〜Ａ１３ａの処理群を実行するものであり、一方、特徴点候補抽出部２５ｂ、特徴点配置チェック部２６ｂ、幾何学的不変量算出部２７ｂ、一致性チェック部２８ｂ、特徴量ベクトル算出部２９ｂ、BoF用特徴点候補抽出部３０ｂ、特徴基底ベクトル抽出部３１ｂ、および、BoFベース特徴量ベクトル算出部３２ｂは、後述する５つの特徴点に基づく幾何学的不変量特徴ベクトルの算出および当該幾何学的不変量特徴ベクトルに基づくBoFベースの特徴量ベクトルの算出に係る一連のステップＡ６ｂ〜Ａ１３ｂの処理群を実行するものである。

なお、図１に示すように、ステレオカメラ１０および画像データ受信部２１は特許請求の範囲における「画像データ取得手段」に対応し、特徴点マッチング部２３、テンプレートマッチング部２４および特徴点候補抽出部２５ａ、２５ｂは「学習用特徴点選択手段、識別用特徴点選択手段」に対応し、さらに、特徴点配置チェック部２６ａ、２６ｂおよび幾何学的不変量算出部２７ａ、２７ｂは「学習用幾何学的不変量算出手段、識別用幾何学的不変量算出手段」に対応する。また、一致性チェック部２８ａ、２８ｂおよび特徴量ベクトル算出部２９ａ、２９ｂは「学習用幾何学的不変量特徴ベクトル算出手段、識別用幾何学的不変量特徴ベクトル算出手段」に対応し、BoF用特徴点候補抽出部３０ａ、３０ｂ、特徴基底ベクトル抽出部３１ａ、３１ｂ、およびBoFベース特徴量ベクトル算出部３２ａ、３２ｂは「学習用幾何学的不変量ベース特徴点分布ベクトル算出手段、識別用幾何学的不変量ベース特徴点分布ベクトル算出手段」に対応する。さらに、BoF用特徴点候補抽出部３０ｃ、特徴基底ベクトル抽出部３１ｃおよびBoFベース特徴量ベクトル算出部３２ｃは「学習用局所特徴量ベース特徴点分布ベクトル算出手段、識別用局所特徴量ベース特徴点分布ベクトル算出手段」に対応する。また、本実施形態における「幾何学的不変量特徴ベクトルに基づくBoFベースの特徴量ベクトル」が特許請求の範囲に記載の「幾何学的不変量ベース特徴点分布ベクトル」に相当し、本実施形態における「局所特徴量に基づくBoFベースの特徴量ベクトル」が特許請求の範囲に記載の「局所特徴量ベース特徴点分布ベクトル」に相当する。

ところで、図１には、識別情報データベース４０および表示装置５０が物体識別サーバ２０とは別体である構成例を示したが、識別情報データベース４０と表示装置５０のうち一方又は両方は物体識別サーバ２０と一体であってもよい。

また、物体識別サーバ２０は、ハードウェアとしては通常の情報処理装置の基本構成と同様であり、特別なハードウェア構成を必要とするものではない。例えば、図４に示すように、物体識別サーバ２０は、ＣＰＵ２０Ａ、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、キーボードやマウス等の入力装置２０Ｄ、外部との通信を行う通信装置２０Ｅ、ハードディスク等の補助記憶装置２０Ｆ、および、ディスプレイやプリンタ等の出力装置２０Ｇを備える。図１の識別情報データベース４０と表示装置５０を物体識別サーバ２０と一体に構成する場合、補助記憶装置２０Ｆにより識別情報データベース４０を構成し、出力装置２０Ｇにより表示装置５０を構成してもよい。

［物体識別方法に係る処理］
以下、物体識別方法に係る処理として、「識別情報データベースの作成に係る処理（図２）」と、「識別対象物体の物体識別に係る処理（図３）」とを順に説明する。後者の「識別対象物体の物体識別に係る処理」は、前者の「識別情報データベースの作成に係る処理」により識別情報データベース４０が作成された後に実行される。なお、これら処理の開始トリガーは特定のものに限定されず、例えばステレオカメラ１０による物体撮影時の所定のオペレータ操作などを開始トリガーとしてもよい。

[識別情報データベースの作成に係る処理]
（Ａ１）ステレオカメラキャリブレーション
図２に示すように、識別情報データベースの作成に係る処理はステップＡ１〜Ａ１２を備えており、まず、ステップＡ１では、ステレオカメラ１０の前処理部１１が、事前に既知の方法で、カメラキャリブレーションならびに画像データにおけるエピポーララインの位置合わせをする。ここで、得られたステレオ画像をそれぞれＩ_Ｌ（ｘ_Ｌ，ｙ_Ｌ）、Ｉ_Ｒ（ｘ_Ｒ，ｙ_Ｒ）と表現する。

（Ａ２）ステレオ画像取り込み
ステップＡ２では、学習用物体が撮影部１２により任意の複数の（ここでは一例として２つの）視点から撮影され、画像データ送信部１３が、得られたステレオ画像Ｉ_Ｌ（ｘ_Ｌ，ｙ_Ｌ）、Ｉ_Ｒ（ｘ_Ｒ，ｙ_Ｒ）を物体識別サーバ２０へ送信する。

（Ａ３）特徴点抽出
ステップＡ３では、物体識別サーバ２０の画像データ受信部２１が学習用物体のステレオ画像の画像データをステレオカメラ１０から受信し、特徴点抽出部２２が、以下のようにしてステレオ画像の画像データから学習用物体の特徴点情報（例えば後述のSURF特徴量）を抽出する。

特徴点抽出部２２は、ステレオ画像Ｉ_Ｌ（ｘ_Ｌ，ｙ_Ｌ）、Ｉ_Ｒ（ｘ_Ｒ，ｙ_Ｒ）のそれぞれに対してエッジ特徴抽出処理を実施する。エッジ特徴抽出処理の方法は問わないが、ここでは既知の方法であるSURF特徴抽出法を利用する。抽出された128次元ベクトルであるSURF特徴量を、それぞれ、

とおく（ただし、ｉ＝（ｘ_Ｒ，ｙ_Ｒ）、ｊ＝（ｘ_Ｌ，ｙ_Ｌ））。
また、この時のヘッセ行列式Ｄｅｔ_Ｌ（ｊ）、Ｄｅｔ_Ｒ（ｉ）も算出する。
ここで、

である。ここで、Ｄ_ｘｘはｘ方向のラプラシアンガウシアンを、Ｄ_ｙｙはｙ方向のラプラシアンガウシアンを、Ｄ_ｘｙはガウス関数をｘ方向とｙ方向のそれぞれに一次微分したものを、ｋは正の定数を、それぞれ表す。そして、ヘッセ行列式（Ｄｅｔ_Ｌ（ｊ）とＤｅｔ_Ｒ（ｉ））の大きいもの順に、それぞれをソートする。

（Ａ４）特徴点マッチング
ステップＡ４では、特徴点マッチング部２３が、ステレオ画像におけるSURF特徴量が近いものを選択するためにベクトル

との差分ベクトルのユークリッド距離

を算出する。そして、ｄｉｓｔ（ｉ，ｊ）を最小にする

なる組（ｉ_ｍｉｎ，ｊ_ｍｉｎ）を探索する。

（Ａ５）エピポーラ線上のテンプレートマッチング
ステップＡ５では、テンプレートマッチング部２４が、上記で得られた組（ｉ_ｍｉｎ，ｊ_ｍｉｎ）について、SURF特徴量が抽出されたステレオ画像のそれぞれの点の局所領域ＬＡ_Ｒ（ｉ）とＬＡ_Ｌ（ｊ）とのエピポーラ線上のテンプレートマッチングを実施する。テンプレートマッチングにあたっては、下記の類似度

を算出する。ここで、

は、局所領域ｉ∈δ_ｉならびにｊ∈δ_ｊでの画素値の平均を表す。この類似度が最大になるときの

を抽出する。

図２において、ステップＡ６ａ〜Ａ１０ａの処理群、ステップＡ６ｂ〜Ａ１０ｂの処理群、およびステップＡ６ｃ〜Ａ８ｃの処理群は、互いに独立しており、同時並行で実行される。もちろん、これら処理群を順次に実行しても構わない。

（Ａ６ａ）特徴点候補抽出（７点）
ステップＡ６ａでは、特徴点候補抽出部２５ａが、ステップＡ５で求めた（ｉ_ｍｉｎ，ｊ_ｍｉｎ）と（ｉ_ｍａｘ，ｊ_ｍａｘ）とが同一であり、かつ、SURF特徴量の差分ｄｉｓｔ（ｉ_ｍｉｎ，ｊ_ｍｉｎ）およびテンプレートマッチングの類似度Ｃｏｒｒ（ｉ_ｍａｘ，ｊ_ｍａｘ）が閾値Ｔｈ_ｄｉｓｔおよびＴｈ_ｃｏｒｒに対して下記の条件

を満たした７点を、幾何学的不変量算出用の特徴点候補Ｐ_ｋとして抽出する。

また、上記の条件を満たした点が７点に満たない場合は、ヘッセ行列式Ｄｅｔ_Ｌ（ｊ）とＤｅｔ_Ｒ（ｉ）の大きいものから順に選択し、ＬＡ_Ｒ（ｉ）もしくはＬＡ_Ｌ（ｊ）を用いてエピポーラライン上をテンプレートマッチングすることで対応する局所領域の中心点を探索する。その時、算出されたＣｏｒｒ（ｉ，ｊ）は、Ｃｏｒｒ（ｉ，ｊ）＞Ｔｈ_ｃｏｒｒという条件を満たせば、幾何学的不変量算出用の特徴点候補Ｐ_ｋとして抽出される。

（Ａ７ａ）特徴点配置チェック（７点）
ステップＡ７ａでは、特徴点配置チェック部２６ａが、上記で得られた幾何学的不変量算出用特徴点から７点の全ての組み合わせを抽出するために、７組の組み合わせを作成する。はじめに、７点Ｐ_ｋ（ｋ＝１，２，…，７）の重心Ｏを算出する。そして、ベクトル

と画像の水平ベクトル（１，０）とのなす角の大きさ順に点をソートする。次に、重心Ｏに最も距離の近い点をＣとする。そして、残りの点をなす角の小さい順からＡ，Ｂ，Ｄ，Ｅ，Ｆ，Ｋと名付ける。
ここで、各点を頂点とする多角形ＡＢＣＤＥＦＫを考えると、３つの面ＡＢＤＣ、ＤＦＥＣ、ＣＥＫＡが同一平面にある条件、即ち下記の条件、を満たすものを幾何学的不変量が算出可能な７点の組として選択する。

ただし、

は、それぞれ直線ＡＤとＢＣの交点、直線ＤＥとＦＣの交点、直線ＣＫとＥＡの交点を表し、ｔは正の定数を表す。

（Ａ８ａ）７点に基づく幾何学的不変量の算出
ステップＡ８ａでは、幾何学的不変量算出部２７ａが、上記の処理で特徴点候補として残った７点の組み合わせごとに、既知である以下の３つの不変量をステレオ画像ごとに算出する。

また、Ｇは、

であり、Ｈは、

である。
ただし、ｄｅｔＰ_ＡＢＣは、点Ａ、Ｂ、Ｃの画像面内での座標をそれぞれ（ｘ_Ａ，ｙ_Ａ）、（ｘ_Ｂ，ｙ_Ｂ）、（ｘ_Ｃ，ｙ_Ｃ）である時、下記のように計算される。

（Ａ９ａ）ステレオ画像の幾何学的不変量一致性チェック（７点）
この時、７点の組み合わせが左右画像のそれぞれで適切に対応関係がとれていれば、上記３つの幾何学的不変量は一致するはずである。そこで、ステップＡ９ａでは、一致性チェック部２８ａが、下記の条件を満たすか否かをチェックすることで、上記３つの幾何学的不変量の一致性をチェックする。

ここで、Ｔｈ_εは誤差の閾値を表す。
なお、このとき、上記で抽出された３つの幾何学的不変量それぞれについて、以下のように左右画像それぞれの幾何学的不変量の平均が算出され、得られた平均値は、後述の幾何学的不変量特徴量ベクトルを算出するために利用される。

（Ａ１０ａ）特徴量ベクトル算出（７点）
ステップＡ１０ａでは、特徴量ベクトル算出部２９ａが、上記で算出された３つの特徴量ベクトル算出用の平均値を、例えば以下のように規格化することで、幾何学的不変量特徴量ベクトル

を算出する。規格化の方法は、特定の方法に限定されないが、ここでは、それぞれ底が１０の対数をとり事前に作成されたデータベースで用いた閾値を用いて0.1から0.9の間で規格化する例を示す。

（Ａ１１ａ）BoF用特徴点候補抽出（７点に基づく幾何学的不変量）
さらに、以下のステップＡ１１ａ〜Ａ１３ａの処理群によって、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルが算出される。即ち、ステップＡ１１ａでは、BoF用特徴点候補抽出部３０ａが、ステップＡ１０ａの規格化により算出されたBag_of_Feature（７点に基づく幾何学的不変量）用特徴量VCf(k_C)（１≦ｋ_C≦Ｎ_C）をBoF用特徴点候補として抽出する。

（Ａ１２ａ）特徴基底ベクトル抽出（７点に基づく幾何学的不変量）
ステップＡ１２ａでは、特徴基底ベクトル抽出部３１ａが、全ての学習用物体の画像の７点に基づく幾何学的不変量特徴ベクトルに対し、公知のクラスタリング手法であるk-means法を実行し、得られたＭ_C個のクラスターのセントロイドから、７点に基づく幾何学的不変量によるＭ_C個の特徴基底ベクトル

を抽出する。

(Ａ１３ａ)BoFベースの特徴量ベクトル算出(７点に基づく幾何学的不変量)
ステップＡ１３ａでは、BoFベース特徴量ベクトル算出部３２ａが、ステップＡ１２ａで抽出されたＭ_C個の特徴基底ベクトルを用いて、例えば以下のようにして７点に基づく幾何学的不変量による特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトル

を算出する。
すなわち、BoFベース特徴量ベクトル算出部３２ａは、ステレオ画像で得られる７点に基づく幾何学的不変量特徴量ベクトルVCf(k_C)に対して、どの特徴基底ベクトル

に最も近いかにより、

を算出する。
ここで、nearest(BVC(m_ｃ))は、BVC(m_ｃ)の中で最もVCf(k_C) とのユークリッド距離が近いBVC(m_c)を表す。
次に、算出した

についての投票（Voting）によって、当該学習用物体の画像に対する、７点に基づく幾何学的不変量による特徴基底ベクトルのヒストグラムを生成する。その時の各頻度分布の成分をベクトル要素に割り当てることで、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトル

を算出する。
なお、上記処理で用いた特徴基底ベクトル（ステップＡ１２ａで抽出されたＭ_C個の特徴基底ベクトル）は、後述する識別対象物体を対象とする図３のステップＢ１３ａの処理でも用いるため、BoFベース特徴量ベクトル算出部３２ａは、図示しない内蔵メモリ等に特徴基底ベクトルを記憶しておく。また、上記ステップＡ１１ａ〜Ａ１３ａでは、k-means法を用いて特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルを算出する例を示したが、k-means法を用いた手法に限定されるものではなく、混合ガウスモデル（ＧＭＭ：Gaussian Mixture Model）を用いた手法や、フィッシャー情報量ベクトルを用いた手法等を採用してもよい。

（Ａ６ｂ）特徴点候補抽出（５点）
一方、ステップＡ６ｂでは、特徴点候補抽出部２５ｂが、ステップＡ５で求めた（ｉ_ｍｉｎ，ｊ_ｍｉｎ）と（ｉ_ｍａｘ，ｊ_ｍａｘ）とが同一であり、かつ、SURF特徴量の差分ｄｉｓｔ（ｉ_ｍｉｎ，ｊ_ｍｉｎ）およびテンプレートマッチングの類似度Ｃｏｒｒ（ｉ_ｍａｘ，ｊ_ｍａｘ）が閾値Ｔｈ_ｄｉｓｔおよびＴｈ_ｃｏｒｒに対して下記の条件

を満たした５点を、幾何学的不変量算出用の特徴点候補Ｐ_ｋとして抽出する。

また、上記の条件を満たした点が５点に満たない場合は、ヘッセ行列式Ｄｅｔ_Ｌ（ｊ）とＤｅｔ_Ｒ（ｉ）の大きいものから順に選択し、ＬＡ_Ｒ（ｉ）もしくはＬＡ_Ｌ（ｊ）を用いてエピポーラライン上をテンプレートマッチングすることで対応する局所領域の中心点を探索する。その時、算出されたＣｏｒｒ（ｉ，ｊ）は、Ｃｏｒｒ（ｉ，ｊ）＞Ｔｈ_ｃｏｒｒという条件を満たせば、幾何学的不変量算出用の特徴点候補Ｐ_ｋとして抽出される。

（Ａ７ｂ）特徴点配置チェック（５点）
ステップＡ７ｂでは、特徴点配置チェック部２６ｂが、ステップＡ６ｂで得られた幾何学的不変量算出用特徴点から５点の全ての組み合わせを抽出するために、５組の組み合わせを作成する。なお、ステップＡ６ｂで得られた５点を、Ｐ_ｋ（ｋ＝１，２，…，５）とする。次に、特徴点配置チェック部２６ｂは、これら５点の並び順（順列）を全て作成する。例えば、各点の並び順をそれぞれA、B、C、D、Eとすると、以下の５！＝１２０通りの順列が作成できる。

そして、特徴点配置チェック部２６ｂは、A、B、C、D、Eの５点のうち、どの３点も同一直線状になく、また、頂点を座標原点で３点からできる三角形を底にする三角錐の体積が存在するか否かを調べるために、下記の条件を満たす順列を選択する。

ただし、ｄｅｔＰ_ＡＢＣは、点Ａ、Ｂ、Ｃの画像面内での座標をそれぞれ（ｘ_Ａ，ｙ_Ａ）、（ｘ_Ｂ，ｙ_Ｂ）、（ｘ_Ｃ，ｙ_Ｃ）である時、下記のように計算される。

（Ａ８ｂ）５点に基づく幾何学的不変量の算出
ステップＡ８ｂでは、幾何学的不変量算出部２７ｂが、上記の処理で特徴点候補として残った５点の組み合わせごとに、既知である以下の２つの不変量をステレオ画像ごとに算出する。

（Ａ９ｂ）ステレオ画像の幾何学的不変量一致性チェック（５点）
この時、５点の組み合わせが左右画像のそれぞれで適切に対応関係がとれていれば、上記２つの幾何学的不変量は一致するはずである。そこで、ステップＡ９ｂでは、一致性チェック部２８ｂが、下記の条件を満たすか否かをチェックすることで、上記２つの幾何学的不変量の一致性をチェックする。

ここで、Ｔｈ_εは誤差の閾値を表す。
なお、このとき、上記で抽出された２つの幾何学的不変量それぞれについて、以下のように左右画像それぞれの幾何学的不変量の平均が算出され、得られた平均値は、後述の幾何学的不変量特徴量ベクトルを算出するために利用される。

（Ａ１０ｂ）特徴量ベクトル算出（５点）
ステップＡ１０ｂでは、特徴量ベクトル算出部２９ｂが、上記で算出された２つの特徴量ベクトル算出用の平均値を、例えば以下のように規格化することで、幾何学的不変量特徴量ベクトル

（Ａ１１ｂ）BoF用特徴点候補抽出（５点に基づく幾何学的不変量）
さらに、以下のステップＡ１１ｂ〜Ａ１３ｂの処理群によって、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルが算出される。即ち、ステップＡ１１ｂでは、BoF用特徴点候補抽出部３０ｂがステップＡ１０ｂの規格化により算出されたBag_of_Feature（５点に基づく幾何学的不変量）用特徴量VPf(k_P)（１≦ｋ_P≦Ｎ_P）をBoF用特徴点候補として抽出する。

（Ａ１２ｂ）特徴基底ベクトル抽出（５点に基づく幾何学的不変量）
ステップＡ１２ａでは、特徴基底ベクトル抽出部３１ｂが、全ての学習用物体の画像の５点に基づく幾何学的不変量特徴ベクトルに対し、公知のクラスタリング手法であるk-means法を実行し、得られたＭ_P個のクラスターのセントロイドから、５点に基づく幾何学的不変量によるＭ_P個の特徴基底ベクトル

を抽出する。

(Ａ１３ｂ)BoFベースの特徴量ベクトル算出(５点に基づく幾何学的不変量)
ステップＡ１３ｂでは、BoFベース特徴量ベクトル算出部３２ｂが、ステップＡ１２ｂで抽出されたＭ_P個の特徴基底ベクトルを用いて、例えば以下のようにして５点に基づく幾何学的不変量による特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトル

を算出する。
すなわち、BoFベース特徴量ベクトル算出部３２ｂは、ステレオ画像で得られる５点に基づく幾何学的不変量特徴量ベクトルVPf(k_P)に対して、どの特徴基底ベクトル

に最も近いかにより、

を算出する。
ここで、nearest(BVP(m_P))は、BVP(m_P)の中で最もVPf(k_P) とのユークリッド距離が近いBVP(m_P)を表す。
次に、算出した

についての投票（Voting）によって、当該学習用物体の画像に対する、５点に基づく幾何学的不変量による特徴基底ベクトルのヒストグラムを生成する。その時の各頻度分布の成分をベクトル要素に割り当てることで、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトル

を算出する。
なお、上記処理で用いた特徴基底ベクトル（ステップＡ１２ｂで抽出されたＭ_P個の特徴基底ベクトル）は、後述する識別対象物体を対象とする図３のステップＢ１３ｂの処理でも用いるため、BoFベース特徴量ベクトル算出部３２ｂは、図示しない内蔵メモリ等に特徴基底ベクトルを記憶しておく。また、上記ステップＡ１１ｂ〜Ａ１３ｂでは、k-means法を用いて特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルを算出する例を示したが、k-means法を用いた手法に限定されるものではなく、混合ガウスモデル（ＧＭＭ）を用いた手法や、フィッシャー情報量ベクトルを用いた手法等を採用してもよい。

（Ａ１１ｃ）BoF用特徴点候補抽出（SURF特徴量）
さらに、以下のステップＡ６ｃ〜Ａ８ｃの処理群によって、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルが算出される。即ち、ステップＡ６ｃでは、BoF用特徴点候補抽出部３０ｃが、ステップＡ５で求めた（ｉ_ｍｉｎ，ｊ_ｍｉｎ）と（ｉ_ｍａｘ，ｊ_ｍａｘ）とが同一であり、かつ、SURF特徴量の差分ｄｉｓｔ（ｉ_ｍｉｎ，ｊ_ｍｉｎ）およびテンプレートマッチングの類似度Ｃｏｒｒ（ｉ_ｍａｘ，ｊ_ｍａｘ）が閾値Ｔｈ_ｄｉｓｔおよびＴｈ_ｃｏｒｒに対して下記の条件

を満たした点を、Bag_of_Feature（BoF）用特徴点候補Ｐ_ｋ（１≦ｋ≦Ｎ）として抽出する。

（Ａ１２ｃ）特徴基底ベクトル抽出（SURF特徴量）
ステップＡ７ｃでは、特徴基底ベクトル抽出部３１ｃが、全ての学習用物体の画像のBoF用特徴点候補Ｐ_ｋが持つSURF特徴量に対し、公知のクラスタリング手法であるk-means法を実行し、得られたＭ_N個のクラスターのセントロイドから、局所特徴量に基づくＭ_N個の特徴基底ベクトル

を抽出する。

（Ａ１３ｃ）BoFベースの特徴量ベクトル算出（SURF特徴量）
ステップＡ８ｃでは、BoFベース特徴量ベクトル算出部３２ｃが、ステップＡ７ｃで抽出されたＭ_N個の特徴基底ベクトルを用いて、例えば以下のようにして局所特徴量に基づくBoFベースの特徴量ベクトル

を算出する。
すなわち、BoFベース特徴量ベクトル算出部３２ｃは、ステレオ画像ごとに得られるSURF特徴量

それぞれに対して、どの特徴基底ベクトル

に最も近いかにより、

を算出する。
ここで、nearest(BVN(m_N))は、BVN(m_N)の中で、SURF特徴量

とのユークリッド距離が最も近いBVN(m_N)を表す。
次に、算出した

についての投票（Voting）によって、当該学習用物体の画像に対する、特徴基底ベクトルのヒストグラムを生成する。その時の各頻度分布の成分をベクトル要素に割り当てることで、特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトル

を算出する。
なお、上記処理で用いた特徴基底ベクトル（ステップＡ１２ｃで抽出されたＭ_N個の特徴基底ベクトル）は、後述する識別対象物体を対象とする図３のステップＢ１３ｃの処理でも用いるため、BoFベース特徴量ベクトル算出部３２ｃは、図示しない内蔵メモリ等に特徴基底ベクトルを記憶しておく。また、上記ステップＡ１１ｃ〜Ａ１３ｃでは、k-means法を用いて特徴基底ベクトル（BoVW）に基づくBoFベースの特徴量ベクトルを算出する例を示したが、k-means法を用いた手法に限定されるものではなく、混合ガウスモデル（ＧＭＭ）を用いた手法や、フィッシャー情報量ベクトルを用いた手法等を採用してもよい。

（Ａ１４）物体識別のための機械学習
以上説明したステップＡ６ａ〜Ａ１３ａの処理群、ステップＡ６ｂ〜Ａ１３ｂの処理群、およびステップＡ１１ｃ〜Ａ１３ｃの処理群が実行された後、次のステップＡ１４では、機械学習部３３が、ステップＡ１３ａで得られたBoFベースの特徴量ベクトル（７点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）

と、ステップＡ１３ｂで得られたBoFベースの特徴量ベクトル（５点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）

と、ステップＡ１３ｃで得られたBoFベースの特徴量ベクトル（局所特徴量に基づくBoFベースの特徴量ベクトル）

をそれぞれ用いて、機械学習により物体識別器を生成する。

上記の機械学習の方法や構成は特に限定されないが、ここでは、公知の技術であるSVMを用いたマルチカーネル学習を使った例を示す。即ち、機械学習部３３は、上記のBoFベースの特徴量ベクトルXCf、XPfおよびXNfをそれぞれ入力データにしてカーネルSVMを使って、学習用物体がどのカテゴリに識別できるかを学習させる。この学習により得られるカーネルをそれぞれＫ_XCf、Ｋ_XPf、Ｋ_XNfとすると、これらを線形結合して得られる合成カーネルＫ_allは、合成係数α、β、γ（０≦α、０≦β、０≦γ）を用いて、
Ｋ_all＝αＫ_XCf＋βＫ_XPf＋γＫ_XNf （α＋β＋γ＝１）
と表せる。機械学習部３３は、学習用物体がどのカテゴリに識別できるかを、合成カーネルＫ_allを用いたSVMで学習させる。そして、学習して得られる識別機

により、学習用物体がどのカテゴリに識別できるかを学習させる。

（Ａ１５）ＳＶＭ識別情報の格納
そして、ステップＡ１５で格納部３４が、上記学習で得られたＳＶＭ識別情報を識別情報データベース４０へ格納する。以上で、図２に示す識別情報データベースの作成に係る処理を終了する。

[識別対象物体の物体識別に係る処理]
次に、図３に示す識別対象物体の物体識別に係る処理を説明する。図３に示すように、識別対象物体の物体識別に係る処理はステップＢ１〜Ｂ１５を備える。このうちステップＢ１〜Ｂ５、Ｂ６ａ〜Ｂ１０ａ、Ｂ６ｂ〜Ｂ１０ｂでは、処理対象を「識別対象物体」として、前述した図２のステップＡ１〜Ａ５、Ａ６ａ〜Ａ１０ａ、Ａ６ｂ〜Ａ１０ｂと同様の処理を行う。ここでは、重複した説明を省くため、ステップＢ１〜Ｂ５、Ｂ６ａ〜Ｂ１０ａ、Ｂ６ｂ〜Ｂ１０ｂの説明を省略する。

ステップＢ１１ａでは、BoF用特徴点候補抽出部３０ａが、ステップＡ１１ａと同様の手順で、７点に基づく幾何学的不変量特徴ベクトルVCf(k_C)（１≦ｋ_C≦Ｎ_C）を抽出し、その後、ステップＡ１２ａのような特徴基底ベクトルの抽出は実行せずに、ステップＢ１３ａへ進む。ステップＢ１３ａでは、BoFベース特徴量ベクトル算出部３２ａが、ステップＢ１１ａで抽出されたBoF用特徴点候補VCf(k_C)（１≦ｋ_C≦Ｎ_C）およびステップＡ１２ａで既に抽出されたＭ_C個の特徴基底ベクトルを用いて、ステップＡ１３ａと同様の手順で、BoFベースの特徴量ベクトル（７点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）XCf(k_C)を算出する。

同様に、ステップＢ１１ｂでは、BoF用特徴点候補抽出部３０ｂが、ステップＡ１１ｂと同様の手順で、５点に基づく幾何学的不変量特徴ベクトルVPf(k_P)（１≦ｋ_P≦Ｎ_P）を抽出し、その後、ステップＡ１２ｂのような特徴基底ベクトルの抽出は実行せずに、ステップＢ１３ｂへ進む。ステップＢ１３ｂでは、BoFベース特徴量ベクトル算出部３２ｂが、ステップＢ１１ｂで抽出されたBoF用特徴点候補VPf(k_P)（１≦ｋ_P≦Ｎ_P）およびステップＡ１２ｂで既に抽出されたＭ_P個の特徴基底ベクトルを用いて、ステップＡ１３ｂと同様の手順で、BoFベースの特徴量ベクトル（５点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）XPf(k_P)を算出する。

一方、ステップＢ１１ｃでは、BoF用特徴点候補抽出部３０ｃが、ステップＡ１１ｃと同様の手順で、BoF用特徴点候補Ｐ_ｋ（１≦ｋ≦Ｎ）を抽出し、その後、ステップＡ１２ｃのような局所特徴量に基づく特徴基底ベクトルの抽出は実行せずに、ステップＢ１３ｃへ進む。ステップＢ１３ｃでは、BoFベース特徴量ベクトル算出部３２ｃが、ステップＢ１１ｃで抽出されたBoF用特徴点候補Ｐ_ｋ（１≦ｋ≦Ｎ）およびステップＡ１２ｃで既に抽出されたＭ_N個の特徴基底ベクトルを用いて、ステップＡ１３ｃと同様の手順で、局所特徴量に基づくBoFベースの特徴量ベクトルXNf(k_N)を算出する。

そして、ステップＢ６ａ〜Ｂ１３ａの処理群、ステップＢ６ｂ〜Ｂ１３ｂの処理群、およびステップＢ１１ｃ、Ｂ１３ｃの処理群が実行された後、次のステップＢ１４では、物体識別部３５が、ステップＢ１３ａで得られたBoFベースの特徴量ベクトル（７点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）XCf、ステップＢ１３ｂで得られたBoFベースの特徴量ベクトル（５点に基づく幾何学的不変量から得られたBoFベースの特徴量ベクトル）XPf、およびステップＢ１３ｃで得られたBoFベースの特徴量ベクトル（局所特徴量に基づくBoFベースの特徴量ベクトル）XNfを入力として、ステップＡ１５で識別情報データベース４０に格納された学習済のＳＶＭ識別情報を用いて、識別対象物体がどのカテゴリに入るかを判定することで、識別対象物体を識別する。このときの判定では、例えば下記の式のように、最も多くの判定結果を得たカテゴリｎ_ｍａｘを、対象物体が属するカテゴリとして判定する。

そして、ステップＢ１５で物体識別部３５が、ステップＢ１４での識別結果を表示装置５０に送信する。これにより、識別対象物体の識別結果が表示装置５０に表示され、当該識別結果を確認することができる。以上で、図３に示す識別対象物体の物体識別に係る処理を終了する。

以上説明した本実施形態によれば、複数視点からのカメラ画像情報ならびに幾何学的不変量の拘束条件（例えばステップＡ７ａ、Ａ７ｂ、Ｂ７ａ、Ｂ７ｂの特徴点配置チェックにおける条件）を用いることで，物体形状の固有な情報であるエッジ特徴量を精度良く抽出することができる。また、上記で抽出された特徴点の組み合わせの中で、特徴点を頂点とする多面体が構成できるもののみを抽出しているので、BoFベースの特徴量ベクトルXCf、XPfおよびXNfを安定して算出することができる。また、視点方向に不依存な幾何学的不変量を物体識別のための特徴量とすることで、カメラの視点方向等に依存しないロバストな物体識別が可能となる。

１…物体識別システム、１０…ステレオカメラ、１１…前処理部、１２…撮影部、１３…画像データ送信部、２０…物体識別サーバ、２０Ａ…ＣＰＵ、２０Ｂ…ＲＡＭ、２０Ｃ…ＲＯＭ、２０Ｄ…入力装置、２０Ｅ…通信装置、２０Ｆ…補助記憶装置、２０Ｇ…出力装置、２１…画像データ受信部、２２…特徴点抽出部、２３…特徴点マッチング部、２４…テンプレートマッチング部、２５ａ、２５ｂ…特徴点候補抽出部、２６ａ、２６ｂ…特徴点配置チェック部、２７ａ、２７ｂ…幾何学的不変量算出部、２８ａ、２８ｂ…一致性チェック部、２９ａ、２９ｂ…特徴量ベクトル算出部、３０ａ、３０ｂ、３０ｃ…BoF用特徴点候補抽出部、３１ａ、３１ｂ、３１ｃ…特徴基底ベクトル抽出部、３２ａ、３２ｂ、３２ｃ…BoFベース特徴量ベクトル算出部、３３…機械学習部、３４…格納部、３５…物体識別部、４０…識別情報データベース、５０…表示装置。

Claims

複数視点から学習用物体を撮影した画像データから、前記学習用物体の複数の特徴点を抽出する学習用特徴点抽出手段と、
抽出された前記学習用物体の複数の特徴点から、前記学習用物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択する学習用特徴点選択手段と、
選択された前記学習用物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、前記学習用物体についての複数の幾何学的不変量を取得する学習用幾何学的不変量算出手段と、
取得された前記学習用物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、前記学習用物体についての複数の幾何学的不変量特徴ベクトルを取得する学習用幾何学的不変量特徴ベクトル算出手段と、
取得された前記学習用物体についての複数の幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出する学習用幾何学的不変量ベース特徴点分布ベクトル算出手段と、
前記抽出された前記学習用物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出する学習用局所特徴量ベース特徴点分布ベクトル算出手段と、
前記学習用物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として前記学習用物体を機械学習させることで、学習済み識別情報データを取得する識別情報データ取得手段と、
複数視点から識別対象物体を撮影した画像データから、前記識別対象物体の複数の特徴点を抽出する識別用特徴点抽出手段と、
抽出された前記識別対象物体の複数の特徴点から、前記識別対象物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択する識別用特徴点選択手段と、
選択された前記識別対象物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、前記識別対象物体についての複数の幾何学的不変量を取得する識別用幾何学的不変量算出手段と、
取得された前記識別対象物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、前記識別対象物体についての複数の幾何学的不変量特徴ベクトルを取得する識別用幾何学的不変量特徴ベクトル算出手段と、
取得された前記識別対象物体についての複数の幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出する識別用幾何学的不変量ベース特徴点分布ベクトル算出手段と、
前記抽出された前記識別対象物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出する識別用局所特徴量ベース特徴点分布ベクトル算出手段と、
前記識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、前記学習済み識別情報データを用いて前記識別対象物体を識別する物体識別手段と、
を備える物体識別システム。
前記学習用物体および前記識別対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、
前記物体識別手段による識別結果を出力する出力手段と、
をさらに備える請求項１に記載の物体識別システム。
前記学習用物体についての学習済み識別情報データを格納するための識別情報データベースと、
前記識別情報データ取得手段により取得された前記学習用物体についての学習済み識別情報データを前記識別情報データベースに格納する格納手段と、
をさらに備える請求項１又は２に記載の物体識別システム。
物体識別システムによって実行される物体識別方法であって、
複数視点から学習用物体を撮影した画像データから、前記学習用物体の複数の特徴点を抽出するステップと、
抽出された前記学習用物体の複数の特徴点から、前記学習用物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択するステップと、
選択された前記学習用物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、前記学習用物体についての複数の幾何学的不変量を取得するステップと、
取得された前記学習用物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、前記学習用物体についての複数の幾何学的不変量特徴ベクトルを取得するステップと、
取得された前記学習用物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出するステップと、
前記抽出された前記学習用物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出するステップと、
前記学習用物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として前記学習用物体を機械学習させることで、学習済み識別情報データを取得するステップと、
複数視点から識別対象物体を撮影した画像データから、前記識別対象物体の複数の特徴点を抽出するステップと、
抽出された前記識別対象物体の複数の特徴点から、前記識別対象物体についての幾何学的不変量が算出可能な複数の特徴点から成る特徴点群を複数組選択するステップと、
選択された前記識別対象物体についての各組の特徴点群の位置から幾何学的不変量を算出することで、前記識別対象物体についての複数の幾何学的不変量を取得するステップと、
取得された前記識別対象物体についての幾何学的不変量の各々から幾何学的不変量特徴ベクトルを算出することで、前記識別対象物体についての複数の幾何学的不変量特徴ベクトルを取得するステップと、
取得された前記識別対象物体についての幾何学的不変量特徴ベクトルの各々について、当該幾何学的不変量特徴ベクトルの多次元分布から幾何学的不変量ベース特徴点分布ベクトルを算出するステップと、
前記抽出された前記識別対象物体の複数の特徴点の各々に関する局所特徴量に基づく当該複数の特徴点の多次元分布から、局所特徴量ベース特徴点分布ベクトルを算出するステップと、
前記識別対象物体についての局所特徴量ベース特徴点分布ベクトルおよび複数の幾何学的不変量ベース特徴点分布ベクトルを入力として、前記学習済み識別情報データを用いて前記識別対象物体を識別するステップと、
を備える物体識別方法。