JP5723301B2

JP5723301B2 - 被写体認識装置及び被写体認識プログラム

Info

Publication number: JP5723301B2
Application number: JP2012002288A
Authority: JP
Inventors: 浩子藪下; 島村　潤; 潤島村; 森本　正志; 正志森本
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2015-05-27
Anticipated expiration: 2032-01-10
Also published as: JP2013142973A

Description

本発明は、撮像装置で撮影した被写体を認識する被写体認識装置及び被写体認識プログラムに関する。

従来からカメラ等の撮像装置で撮影した画像のみを用いて、対象を特定する画像認識技術がある。例えば、予め被写体を異なる角度から撮影した画像群を学習画像群として記憶しておき、この学習画像群から生成した特徴量データと、利用者が被写体に対して任意の方向から撮影したクエリ画像から得た特徴量とを比較することで、任意の被写体を特定するものがある（例えば、非特許文献１参照）。しかし、被写体が３次元形状の場合、観測方向によって画像上の被写体の構造が変化するため、予め多数の画像群を学習画像群として撮影しておく必要があり、この作業に多大な手間がかかるという問題がある。

このような問題を解決するために、学習画像群の撮影の代わりに、仮想視点を移動させることによって予め入力された被写体の３次元形状とテクスチャから構成されるＣＧ（コンピュータグラフィックス）モデルに対し、コンピュータグラフィックス空間内で被写体を異なる方向から観測した学習画像群を合成し、この合成画像と利用者が被写体に対して任意の方向から撮影したクエリ画像の、両者から得た特徴量の照合によって対象を特定するものがある（例えば、非特許文献２参照）。しかしながら、上述した従来技術は、学習画像群を全方向分生成する必要があり、加えて学習対象が複数ある場合には学習対象の分だけ学習画像群を全方向分生成する必要があり、計算処理量が膨大になるという問題がある。

そこで、これらの事情を鑑みて考案された手法として、被写体の３次元形状とテクスチャを基に被写体を包含する球上に被写体を投影し、投影結果の球面展開によって、各観測方向の仮想視点画像を統合した仮想視点群統合画像を生成し、この仮想視点群統合画像と任意方向からのみ観測された少数の学習画像との照合により被写体を認識するものがある（例えば、非特許文献３参照）。この手法は、入力側で被写体の全周囲情報を持つことにより、学習側で被写体の観測画像を大量に持たなくても対応付けできること、さらに被写体の３次元形状およびテクスチャを２次元画像として展開することで、学習画像との２次元マッチングが可能となり計算コストを下げることができる特徴を有している。この手法によれば、任意方向分の学習画像を生成することなく高速な認識が可能となる。

村瀬洋，Ｓ．Ｎａｙａｒ，"２次元照合による３次元物体認識−パラメトリック固有空間法″，信学論（Ｄ−II），ｖｏｌ．Ｊ７７−Ｄ−II，ｎｏ．１１，ｐｐ．２１７９−２１８７，Ｎｏｖ．１９９４．望戸雄史，渡辺義浩，小室孝，石川正俊，"Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ法を用いた三次元物体姿勢推定法のＧＰＵによる実装"，第１６回画像センシングシンポジウム，２０１０，講演論文集ＩＳ４−１７．薮下浩子，島村潤，森本正志，小池秀樹，"被写体形状の球面展開に基づく３次元物体認識の一検討"，電子情報通信学会総合大会講演論文集２０１１年_情報・システム（２）, １５６．

しかしながら、上述した従来技術は３次元計測時もしくは被写体展開図生成時に生じる画像上の不均一なゆがみにより特徴が変化してしまう。そのため被写体展開画像上において、予め被写体を撮影した観測方向の視点画像情報を含む箇所にゆがみが大きく発生すると認識精度が下がるという問題がある。

本発明は、このような事情に鑑みてなされたもので、被写体を高精度に認識することができる被写体認識装置及び被写体認識プログラムを提供することを目的とする。

本発明は、被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出手段と、前記被写体展開画像の各特徴点について隣接特徴点との空間距離を算出する空間距離算出手段と、前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出手段と、前記空間距離および前記ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合手段とを備えたことを特徴とする。

本発明は、前記照合手段は、設定した注目特徴点の特徴量に加え、前記注目特徴点に隣接する隣接特徴点の特徴量に基づき、前記被写体展開画像の各特徴点の前記スコアを算出することを特徴とする。

本発明は、前記照合手段は、前記被写体展開画像の前記特徴点と前記隣接特徴点との前記空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点に対応する前記検索対象画像内の特徴点との前記特徴ベクトル間距離と、に基づいて前記スコアを算出することを特徴とする。

本発明は、前記照合手段は、前記注目特徴点に対応する特徴点を有する前記検索対象画像に限定して、前記スコアの投票を行うことを特徴とする。

本発明は、コンピュータを前記被写体認識装置として機能させるための被写体認識プログラムである。

本発明によれば、２次元の被写体展開画像を生成した際に生じたテクスチャデータのゆがみにより特徴量が変化し、特徴点間の対応付けが弱まることによる認識精度の劣化という問題を、照合時に隣接特徴点の特徴量も利用してスコアを算出し投票することによって、対応付けを補い影響の緩和を図り、また、２次元の被写体展開画像を生成する際に生じる特徴点間の距離の変化による認識精度の劣化という問題を、特徴点間の本来の距離である３次元空間での距離を用いることで解決するようにしたため、被写体を高精度に認識することが可能になるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。図１に示す特徴表現部１１がユーザによって入力された被写体展開画像および予め記憶部３に保存した検索対象画像群から特徴量を抽出し、この特徴量を記憶部３に記憶する動作を示すフローチャートである。図１に示す空間距離算出部１２が特徴表現部１１で保存した被写体展開画像の特徴量データに基づき、被写体展開画像の特徴点間の空間距離を算出し保存する動作を示すフローチャートである。図１に示す特徴ベクトル間距離算出部１３が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを参照して、被写体展開画像の特徴点と検索対象画像群の各特徴点との特徴ベクトル間距離を算出し保存する動作を示すフローチャートである。図１に示す照合部１４が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを照合して、被写体を特定する動作を示すフローチャートである。注目特徴点の特徴量に加え、隣接特徴点の特徴量を用いて投票を行う際に、注目特徴点が投票した特徴点を有する画像のみを候補画像として絞り込み、候補画像が有する特徴点に対してのみスコア値算出および投票を実施する動作を示すフローチャートである。被写体の３次元の形状データおよびテクスチャデータから２次元の被写体展開画像を生成する過程で、特徴点間の距離が変化している状態を示す説明図である。本来３次元的な空間距離が大きく異なるにも拘わらず、前記交点の空間的な位置関係を考慮せず２つの交点がなす角度にのみ応じて球上投影することにより、投影結果を球面展開した際に同じ画像上距離になってしまう例を示す図である。被写体展開画像内で空間的に近い位置に存在する特徴点が、任意の視点から撮影された検索対象画像群内の被写体を示す認識正解画像中においても一緒に写る可能性が高いことを示す説明図である。

以下、図面を参照して、本発明の一実施形態による被写体認識装置を説明する。図１は同実施形態の構成を示す機能ブロック図である。被写体認識装置は、コンピュータ装置によって構成する。図１において、符号１は、被写体の認識処理を行う被写体認識部である。符号２は、２次元画像データを入力する画像入力部である。符号３は、被写体認識処理に必要なデータを記憶する記憶部である。符号４は、キーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。

符号１１は、画像入力部２を介して、前述した非特許文献３記載の方法により３次元形状データ（形状の３次元座標データ）及びテクスチャデータ（３次元形状表面の模様データ）に基づき生成した被写体展開画像を入力し、また記憶部３から検索対象の２次元画像データを読み出し、それらすべての画像の特徴を抽出して、記憶部３に保存する特徴表現部である。符号１２は、特徴表現部１１で記憶部３に保存した特徴のうち被写体展開画像中の特徴点から、注目特徴点を決定し、注目特徴点から被写体展開画像内の他の特徴点までの空間距離を算出する空間距離算出部である。符号１３は、特徴表現部１１により得た被写体展開画像の特徴と検索対象の２次元画像データの特徴とで特徴ベクトル間距離を算出する特徴ベクトル間距離算出部である。符号１４は、空間距離算出部１２で算出した空間距離および特徴ベクトル間距離算出部１３で算出した特徴ベクトル間距離をもとに、被写体展開画像と検索対象の２次元画像データ間で照合をとり、被写体を特定する照合部である。

次に、図１に示す被写体認識装置の処理動作を説明する。ここでは、クエリとして３次元形状データとテクスチャデータに基づく被写体展開画像を入力し、検索対象として１枚以上の２次元画像のデータ、さらに本実施形態の処理過程で必要のため、非特許文献３記載の方法で被写体展開画像を生成する際に、各仮想視点から画素情報のみではなく各仮想視点から被写体重心に向けた視線と被写体表面の交点までのｄｅｐｔｈ値を取得し、被写体展開後の画素位置と対応付けて保存したものを、予め記憶部３に記憶しておくものとして説明する。

なお、２次元画像群のデータは対象の被写体を任意の角度から撮影したものとし、予め対象の被写体毎に唯一に付与された被写体ＩＤや名前などの各種情報が関連づけられて保存されているものとする。また、被写体展開画像を生成する際に利用する被写体の３次元形状データとテクスチャデータは、例えば携帯電話等に搭載された撮像装置で対象を撮影し、その画像から画像処理によって生成したものでもよいし、レンジファインダ等のセンサーによって計測したものでもよい。また、コンピュータグラフィックス（ＣＧ）技術によって手動で生成したものでもよい。

また、非特許文献３記載の方法で被写体展開画像を生成する際に、各仮想視点から画素情報とともに取得する情報は、各仮想視点と被写体表面までの距離であるｄｅｐｔｈ値ではなく、各仮想視点から被写体重心に向けた視線と被写体表面の交点の３次元座標値でもよい。

次に、図２を参照して、図１に示す特徴表現部１１がユーザによって入力された被写体展開画像および予め記憶部３に保存した検索対象画像群から特徴量を抽出し、この特徴量を記憶部３に記憶する動作を説明する。図２は、図１に示す特徴表現部１１がユーザによって入力された被写体展開画像および予め記憶部３に保存した検索対象画像群から特徴量を抽出し、この特徴量を記憶部３に記憶する動作を示すフローチャートである。

まず、ユーザが入力部４を操作して、２次元画像データの入力を指示すると、特徴表現部１１は、画像入力部２から２次元画像データを入力する（ステップＳ１）。そして、特徴表現部１１は、入力した画像から、特徴量を抽出する（ステップＳ２）。この特徴量抽出処理は、例えば、文献：H.Bay,T.Tuytelaars, and L.V.Gool,"SURF:SpeedUp Robust Features",Proc. of Int. Conf. of ECCV, (2006)に記載の方法や、ヒストグラム等の公知の方法を用いて実行する。この特徴量抽出処理は入力画像の枚数分繰り返し実行する。

次に、特徴表現部１１は、被写体展開画像から得られたｋ次元の特徴量をまとめ特徴点ｉｄを割り当て、また検索対象画像群の対象の被写体ＩＤと各々の画像から得られたｋ次元の特徴量をまとめて特徴点ｉｄを割り当てて（ステップＳ３）、記憶部３に保存し（ステップＳ４）、これを２次元画像特徴量データとする。例えば、特徴量の上記文献の方法を用いて特徴点を抽出した時、特徴点は各々１２８次元の特徴量を持つ。これにより、被写体ＩＤ毎に、かつ特徴点を識別する特徴点番号毎に、ｋ（１２８）次元の特徴量のデータが記憶部３に保存されることになる。

次に、図３を参照して図１に示す空間距離算出部１２が、特徴表現部１１で保存した被写体展開画像の特徴量データに基づき、被写体展開画像の特徴点間の空間距離を算出し保存する方法を説明する。図３は、図１に示す空間距離算出部１２が特徴表現部１１で保存した被写体展開画像の特徴量データに基づき、被写体展開画像の特徴点間の空間距離を算出し保存する動作を示すフローチャートである。

まず、空間距離算出部１２は、特徴表現部１１により記憶部３に保存した特徴量データの中から、被写体展開画像の特徴量データを読み出す（ステップＳ１１）。続いて、空間距離算出部１２は、特徴量データの中から注目する特徴点を決定する。この注目特徴点はエッジの強さを示すＨｅｓｓｉａｎ値に基づき、このＨｅｓｓｉａｎ値が大きいものを優先的に選んでも良い。また被写体展開画像上から座標値に応じて均一に選択してもよい。例えばすべての特徴量データを注目する特徴点として順に処理を行う。このとき処理順序は問わないが、例えば保存された特徴量データの順に注目特徴点とする。

次に、空間距離算出部１２は、注目特徴点と被写体展開画像中の隣接する特徴点間の画像上距離を算出する（ステップＳ１２）。被写体展開画像上の特徴点２点をａ＝（ｘ_１，ｙ_１）、ｂ＝（ｘ_２，ｙ_２）としたとき、この２点の画像上距離の算出には（１）式を用いる。

次に、空間距離算出部１２は、求めた被写体展開画像の特徴点間画像上距離を空間距離に変換する（ステップＳ１３）。これは、図７に示すように、被写体の３次元の形状データおよびテクスチャデータから２次元の被写体展開画像を生成する過程で、特徴点間の距離が変化しているからである。図７は、被写体の３次元の形状データおよびテクスチャデータから２次元の被写体展開画像を生成する過程で、特徴点間の距離にゆがみが生じている状態を示す図である。このゆがみは図７に示すように球状に配置された各視点から被写体の重心に向けた視線と被写体表面の交点のテクスチャデータを球上に投影した際に生じる。本来３次元的な空間距離が大きく異なるのにも拘わらず、交点の空間的な位置関係を考慮せず２つの交点がなす角度にのみ応じて球上投影することにより、この投影結果を球面展開した際に同じ画像上距離になってしまう例を図８に示す。図８は、本来３次元的な空間距離が大きく異なるのにも拘わらず、前記交点の空間的な位置関係を考慮せず２つの交点がなす角度にのみ応じて球上投影することにより、投影結果を球面展開した際に同じ画像上距離になってしまう例を示す図である。

このゆがみによる特徴点間距離の誤算出を防ぐため、被写体展開画像の生成時に視点から被写体表面までの距離（ｄｅｐｔｈ値）を、被写体展開画像上の座標に紐づけて保存したデータを記憶部３に読み込んでおき、このデータを空間距離算出部が記憶部３から読み出し、この距離を基に（２）式を用いて変換する。このとき、図７に示すように２視点間の為す角をθ、各視点から被写体の重心に向けた視線と被写体表面との交点から重心までの距離をｒ１、ｒ２とする。隣接特徴点によっては（２）式において、θ→０近似し、Ｄ＝ｒ２＋ｒ１としもよい。また他の算出式によって空間距離変換を行ってもよい。

なお、被写体展開画像は球面展開によって得られた画像として説明および式を示したが、球以外の形状を用いた投影およびこの投影面の展開によって得られた被写体展開図、もしくは他の手法によって被写体の３次元形状データおよびテクスチャデータを２次元画像に展開した場合においても展開前の空間座標と展開後の被写体展開画像上の座標の変換式を求め、空間距離の算出に用いることで実施することが可能である。

また、前述した説明においては、被写体展開図における特徴点座標間の画像上距離を求め、この画像上距離をもとに空間距離変換を行う方法を説明したが、被写体展開画像の生成時に空間座標を取得し、この空間座標を被写体展開画像上の座標値に紐づけて保存しておき、隣接特徴点の空間距離を求める際に、この空間座標をもとに空間距離を算出しても良い。２点の空間座標をａ＝（ｘ_１，ｙ_１，ｚ_１）、ｂ＝（ｘ_２，ｙ_２，ｚ_２）としたとき、この２点の空間距離Ｄの算出には（３）式を用いる。この場合、球面以外の形状で投影およびこの投影面の展開を行った被写体展開画像においても同様の式で算出が可能である。

なお、前記被写体展開時に用いるデータは被写体の３次元形状データやテクスチャデータに限らない。

次に、空間距離算出部１２は、画像上距離算出および空間距離変換処理を隣接特徴点分繰り返し実施する。このとき、注目特徴点の隣接特徴点とは、被写体展開画像中の注目特徴点以外のすべての特徴点としても良いし、注目特徴点からの画像上距離が、ユーザによって指定された閾値より小さいものを隣接特徴点と設定するなど任意の指標によって選択しても良い。

次に、空間距離算出部１２は、注目特徴点からの空間距離が小さい順に隣接特徴点をソートする（ステップＳ１４）。ソートが完了したら、ソート結果と注目特徴点の特徴点番号と対応づけて記憶部３に保存する（ステップＳ１５）。

そして、空間距離算出部１２は、全隣接特徴点との空間距離算出およびソートを、注目特徴点を変更しながら繰り返し実施する。注目特徴点として処理する特徴点は被写体展開画像上のすべての特徴点をその候補としてもよい（この場合すべての特徴点分処理を繰り返す）し、前記Ｈｅｓｓｉａｎ値等によって注目特徴点として処理する特徴点を、被写体展開画像のすべての特徴点から部分的に選択してもよい。

次に、図４を参照して、図１に示す特徴ベクトル間距離算出部１３が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを参照して、被写体展開画像の特徴点から検索対象画像群の特徴点群までの特徴ベクトル間距離を算出し保存する処理動作を説明する。図４は、図１に示す特徴ベクトル間距離算出部１３が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを参照して、被写体展開画像の特徴点から検索対象画像群の特徴点群までの特徴ベクトル間距離を算出し保存する動作を示すフローチャートである。

まず、特徴ベクトル間距離算出部１３は、記憶部３からクエリとして入力した被写体展開画像の特徴量データと、検索対象画像群の特徴量データを読み出す（ステップＳ２１）。続いて、特徴ベクトル間距離算出部１３は、読み出した被写体展開画像の特徴量データと検索対象画像群の特徴量データとを比較し、各特徴点間の特徴量データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出する（ステップＳ２２）。

次に、特徴ベクトル間距離算出部１３は、算出処理を繰り返し実施したのち、被写体展開画像上の特徴点ごとに、検索対象画像群の特徴点を特徴ベクトル間距離が小さいものから順にソートする（ステップＳ２３）。最後に、特徴ベクトル間距離算出部１３は、被写体展開画像上の特徴点すべてにおいて、検索対象画像上の特徴点のソート結果を保存する（ステップＳ２４）。なお、保存の際は被写体展開画像上の特徴点ｉｄとソート結果を関連付けて保存する。

次に、図５を参照して、図１に示す照合部１４が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを照合して、被写体を特定する方法を説明する。図５は、図１に示す照合部１４が、特徴表現部１１でクエリの被写体展開画像と検索対象画像群から抽出し保存した特徴量データを照合して、被写体を特定する動作を示すフローチャートである。

まず、照合部１４は、被写体展開画像の特徴点間の空間距離の算出結果、および被写体展開画像の特徴点と検索対象画像中の特徴点とのベクトル間距離の算出結果を記憶部３から読み出す（ステップＳ３１）。続いて、照合部１４は、注目特徴点を設定し、注目特徴点から、注目特徴点に対応する検索対象画像中の特徴点とのベクトル間距離の算出結果から（４）式を用いてスコアＳを算出する（ステップＳ３２）。このとき注目特徴点との空間距離をＤとするが、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防止するために、Ｄ＝１とする。これに伴い各隣接特徴点から注目特徴点までの距離はＤ＝Ｄ＋１とする。なお、注目点式中のαおよびβはユーザが事前に設定したスコア算出時の重みづけ係数である。例えばα＝１，β＝１を代入した（５）式を使う。ここで説明した（４）式、（５）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。

なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、被写体展開画像の特徴点と検索対象画像群の特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、図９に示すように、被写体展開画像内で空間的に近い位置に存在する特徴点は、任意の視点から撮影された検索対象画像群内の被写体を示す認識正解画像中においても一緒に写る可能性が高く、さらに撮影（透視投影）のゆがみによって生じる特徴の変化も少ないであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。図９は、被写体展開画像内で空間的に近い位置に存在する特徴点が、任意の視点から撮影された検索対象画像群内の被写体を示す認識正解画像中においても一緒に写る可能性が高いことを示す図である。

次に、照合部１４は、対応特徴点を有する検索対象画像を求めて、この画像ＩＤに対して求めたスコアを投票する（ステップＳ３３）。投票はベクトル間距離の近い順に事前に設定したＮ点分実施しても良いし、ベクトル間距離が事前に設定した閾値以下の特徴点にのみ実施してもよい。例えばＮ＝３として実施する。

次に、照合部１４は、本スコア値算出および投票処理を隣接特徴点においても同様に実施する。ただし、このとき注目特徴点が投票した特徴点を有する画像のみを候補画像として絞り込み、候補画像が有する特徴点に対してのみスコア値算出および投票を実施してもよい。この場合の処理動作は、図６に示すフローチャートになる。図６は、注目特徴点が投票した特徴点を有する画像のみを候補画像として絞り込み、この候補画像が有する特徴点に対してのみスコア値算出および投票を実施する動作を示すフローチャートである。図５に示すフローチャートと、図６に示すフローチャートの異なる点は、候補画像の決定ステップ（ステップＳ３５）が追加されている点である。

次に、照合部１４は、注目特徴点と隣接特徴点のスコア値算出および投票処理を、注目特徴点を変えながらすべての注目特徴点分実施する。そして、照合部１４は、投票された合計スコアを開票し、１位となるものもしくはそのランキングを被写体認識結果として出力する（ステップＳ３４）。

なお、前述した説明においては、特徴点間の比較による投票を実施する例を説明したが、画像内の複数の特徴点をまとめた特徴点群同士の比較による投票を実施するようにしてもよい。また、特徴点単位ではなく、面積や情報量等が均一になるように区切った領域を定義し、この特徴領域間の比較による投票を実施してもよい。

以上説明したように、２次元の被写体展開画像を生成した際に生じたテクスチャデータのゆがみにより特徴量が変化し、特徴点間の対応付けが弱まることによる認識精度の劣化という問題を、照合時に隣接特徴点の特徴量も利用してスコアを算出し投票することによって、対応付けを補い影響の緩和を図り、また、２次元の被写体展開画像を生成する際に生じる特徴点間の距離の変化による認識精度の劣化という問題を、特徴点間の本来の距離たる３次元空間での距離を用いることで解決するようにしたため、これによって被写体展開画像を用いて被写体を認識する手法における認識結果の精度向上を実現することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより被写体認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

撮像装置で撮影した画像を使用して被写体を認識することが不可欠な用途に適用できる。

１・・・被写体認識部、１１・・・特徴表現部、１２・・・空間距離算出部、１３・・・特徴ベクトル間距離算出部、１４・・・照合部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部

Claims

被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出手段と、
前記被写体展開画像の各特徴点について隣接特徴点との空間距離を算出する空間距離算出手段と、
前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出手段と、
前記空間距離および前記特徴ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合手段と
を備えたことを特徴とする被写体認識装置。
前記照合手段は、
設定した注目特徴点の特徴量に加え、前記注目特徴点に隣接する隣接特徴点の特徴量に基づき、前記被写体展開画像の各特徴点の前記スコアを算出することを特徴とする請求項１記載の被写体認識装置。
前記照合手段は、
前記被写体展開画像の前記特徴点と前記隣接特徴点との前記空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点に対応する前記検索対象画像内の特徴点との前記特徴ベクトル間距離と、に基づいて前記スコアを算出することを特徴とする請求項２記載の被写体認識装置。
前記照合手段は、
前記注目特徴点に対応する特徴点を有する前記検索対象画像に限定して、前記スコアの投票を行うことを特徴とする請求項３に記載の被写体認識装置。
コンピュータを請求項１から４のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。