JP5685390B2 - 物体認識装置、物体認識システムおよび物体認識方法 - Google Patents

Description

本発明は、物体を認識する物体認識装置、物体認識システムおよび物体認識方法に関する。

コンピュータビジョンの分野において、カメラ等で取得した画像から複数の特徴点を抽出し、データベースに登録された物体モデルの特徴点と照合することで物体認識を行う技術が知られている。このような物体認識技術で用いられる特徴点抽出のアルゴリズムとしては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）が知られている。ＳＩＦＴについては、例えば、米国特許６７１１２９３（特許文献１）に、その詳細が記載されている。このＳＩＦＴにおいては、データベースに登録した物体モデル数が多いほど認識できる物体の種類は増えることになる。

米国特許６７１１２９３ 特表２００９−５３５６８０

このように物体認識処理を実現するには物体モデルＤＢを予めメモリに格納しておく必要がある。しかしながら、一般的にメモリには記憶容量には限りがあり、また物体認識速度を向上させるため、物体モデルデータベース（ＤＢ）のサイズは極力低減したいという要望がある。

一方、実空間の中に存在している物体は、その場所によって偏りがある。すなわち、例えば文房具店の中であれば文房具の比率が高くなり、郊外の森林公園の中であれば自然物の比率が高くなるように、周囲に存在する物体はその場所の特性に応じて偏っているのである。しかしながら、従来の物体認識では、このような場所の特性による物体の偏りを意識していなかった。

そこで、上述の課題を解決するために、本発明は、物体モデルＤＢのサイズを低減し、かつ、場所の特性に応じた照合処理を行うことが可能な物体認識装置、物体認識システムおよび物体認識方法を提供することを目的とする。

上述の課題を解決するために、本発明の物体認識装置は、それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベース、ならびにゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有するサーバと通信する物体認識装置において、画像データを取得する撮影手段と、当該物体認識装置の位置情報を取得する位置情報取得手段と、前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得手段と、ゾーンに対応付けられた属性情報に基づいて決定された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影手段により撮影された画像データから抽出した特徴点とを照合する特徴点照合手段と、前記特徴点照合手段により特徴点が最も類似していると判断される物体に関する情報を提示する提示手段と、を備え、前記ゾーンは、前記位置情報取得手段により取得された位置情報と、前記方位情報取得手段により取得された方位情報とに基づいて特定され、前記物体モデルデータベースは、前記ゾーンに対応付けられた属性情報に基づいて決定されるよう構成されている。

また、本発明の物体認識方法は、それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベース、ならびにゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有するサーバと通信する物体認識装置の物体認識方法において、画像データを取得する撮影ステップと、前記物体認識装置の位置情報を取得する位置情報取得ステップと、前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得ステップと、ゾーンに対応付けられた属性情報に基づいて決定された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影ステップにより撮影された画像データから抽出した特徴点とを照合する特徴点照合ステップと、前記特徴点照合ステップにより特徴点が最も類似していると判断される物体に関する情報を提示する提示ステップと、を備え、前記ゾーンは、前記位置情報取得ステップにより取得された位置情報と、前記方位情報取得ステップにより取得された方位情報とに基づいて特定され、前記物体モデルデータベースは、前記ゾーンに対応付けられた属性情報に基づいて決定される。

この発明によれば、取得された位置情報と方位情報とに基づいてゾーンが特定され、そのゾーンの属性情報に対応付けられた物体モデルデータベースに記憶されている各物体における特徴点と、撮影された画像データから抽出した特徴点とを照合し、特徴点が最も類似していると判断される物体に関する情報を提示する。これにより、位置および方位に応じたゾーンの属性に応じた適切な物体モデルデータベースを利用することができ、少ない容量の物体モデルデータベースで精度よく物体認識を行うことができる。さらに、少ない容量の物体モデルデータベースを用いることで、比較的短時間で物体認識処理を行うことができる。

また、本発明の物体認識装置は、前記位置情報取得手段により取得された位置情報を、複数の物体モデルデータベースを記憶する前記サーバに送信する送信手段と、前記サーバから位置情報に応じて返信された物体モデルデータベースを受信する受信手段と、をさらに備え、前記特徴点照合手段は、前記受信手段により受信された物体モデルデータベースに基づいて照合処理を行うことが好ましい。

この発明によれば、取得された位置情報を、複数の物体モデルデータベースを記憶するサーバに送信し、サーバから位置情報に応じて返信された物体モデルデータベースを受信し、受信された物体モデルデータベースに基づいて照合処理を行う。これにより、物体認識装置側では、物体モデルデータベースの全てを有する必要が無く、低容量のメモリで精度よく物体認識処理を行うことができる。

また、本発明の物体認識システムは、物体認識装置と、前記物体認識装置と通信するサーバとを備える物体認識システムにおいて、前記サーバは、それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベースと、ゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースと、前記物体認識装置から送信された位置情報と方位情報とを受信する第１の受信手段と、前記第１の受信手段により受信された位置情報と方位情報とに基づいて、前記ゾーン定義データベースに定義されたゾーンを特定するゾーン特定手段と、前記物体モデルデータベースから、前記ゾーン特定手段により特定されたゾーンに基づいて、前記物体認識装置における照合対象となる物体モデルデータベースを決定する決定手段と、前記決定手段により決定された物体モデルデータベースを前記物体認識装置に送信する第１の送信手段と、を備え、前記物体認識装置は、画像データを取得する撮影手段と、当該物体認識装置の位置情報を取得する位置情報取得手段と、前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得手段と、前記位置情報取得手段により取得された位置情報と、前記方位情報取得手段により取得された方位情報とを前記サーバに送信する第２の送信手段と、前記サーバから送信された物体モデルデータベースを受信する第２の受信手段と、前記第２の受信手段により受信された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影手段により撮影された画像データから抽出した特徴点とを照合する特徴点照合手段と、前記特徴点照合手段により特徴点が最も類似していると判断される物体に関する情報を提示する提示手段と、を備えている。

また、本発明の物体認識方法は、物体認識装置と、それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベースおよびゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有し、前記物体認識装置と通信するサーバとを備える物体認識システムにおける物体認識方法において、前記物体認識装置が、画像データを取得する撮影ステップと、前記物体認識装置が、当該装置の位置情報を取得する位置情報取得ステップと、前記物体認識装置が、当該装置の向いている方向を示す方位情報を取得する方位情報取得ステップと、前記物体認識装置が、前記位置情報取得ステップにより取得された位置情報と、前記方位情報取得ステップにより取得された方位情報とを前記サーバに送信する端末側送信ステップと、前記サーバが、前記物体認識装置から送信された位置情報と方位情報とを受信するサーバ側受信ステップと、前記サーバが、前記サーバ側受信ステップにより受信された位置情報と方位情報とに基づいて、前記ゾーン定義データベースに定義されたゾーンを特定するゾーン特定ステップと、前記サーバが、前記物体モデルデータベースから、前記ゾーン特定ステップにより特定されたゾーンに基づいて、前記物体認識装置における照合対象となる物体モデルデータベースを決定する決定ステップと、前記サーバが、前記決定ステップにより決定された物体モデルデータベースを前記物体認識装置に送信するサーバ側送信ステップと、前記物体認識装置が、前記サーバから送信された物体モデルデータベースを受信する端末側受信ステップと、前記物体認識装置が、前記端末側受信ステップにより受信された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影ステップにより撮影された画像データから抽出した特徴点とを照合する特徴点照合ステップと、前記物体認識装置が、前記特徴点照合ステップにより特徴点が最も類似していると判断される物体に関する情報を提示する提示ステップと、を備えている。

この発明によれば、サーバにおいて、取得された位置情報および方位情報に基づいて、ゾーンを特定し、そのゾーンに対応付けられている属性情報に基づいて、物体認識装置における照合対象となる物体モデルデータベースを決定し、決定された物体モデルデータベースを物体認識装置に送信することができる。これにより、物体認識装置が位置および方位に応じて特定されたゾーンに応じて適切に定められた物体モデルを、物体認識装置に送信することができ、物体認識装置では精度よく物体認識処理を行うことができる。

また、本発明の物体認識システムのサーバにおいて、前記決定手段は、複数の物体モデルデータベースから、一の物体モデルデータベースを決定することが好ましい。

この発明によれば、複数の物体モデルデータベースから、一の物体モデルデータベースを決定することで、少ない容量のデータベースを利用して制度よく物体認識処理を行うことができる。

また、本発明の物体認識システムのサーバにおいて、前記決定手段は、複数の物体モデルデータベースのうち、いくつかの物体モデルデータベースを組み合わせることで一の物体モデルデータベースを生成し、照合対象となる一の物体モデルデータベースを決定することが好ましい。

この発明によれば、複数の物体モデルデータベースのうち、いくつかの物体モデルデータベースを組み合わせることで、一の物体モデルデータベースを生成し、照合対象となる一の物体モデルデータベースを決定することができ、適切な物体モデルデータベースを構築することができ、物体認識装置側においては少ないメモリ容量で、精度よく物体認識処理を行うことができる。

また、本発明の物体認識システムのサーバにおいて、前記決定手段は、一の物体モデルデータベース全体から複数の物体モデルを選択して、一の物体モデルデータベースを生成することで、照合対象となる一の物体モデルデータベースを決定することが好ましい。

この発明によれば、一の物体モデルデータベース全体から複数の物体モデルを選択して、一の物体モデルデータベースを生成することで、照合対象となる一の物体モデルデータベースを決定することができ、必要な物体モデルのみからなる一の物体モデルデータベースを構築することができる。よって、物体認識装置側においては、少ないメモリ容量で精度よく物体認識処理を行うことができる。

本発明によれば、位置に応じて適切な物体モデルデータベースを利用することができ、少ない容量の物体モデルデータベースで精度よく物体認識を行うことができる。さらに、少ない容量の物体モデルデータベースを用いることで、比較的短時間で物体認識処理を行うことができる。

本実施形態の物体認識システムの構成を示すシステム構成図である。 携帯端末１００の構成を示すブロック図である。 携帯端末１００のハードウェア構成を示すブロック図である。 物体モデルデータベース（ＤＢ）サーバの構成を示すブロック図である。 ゾーン定義データベース（ＤＢ）のデータ形式の一例を示す説明図である。 物体モデルデータベース（ＤＢ）のデータ形式の一例を示す説明図である。 物体認識システムの物体認識動作のフローチャートである。 変形例における携帯端末１００ａの機能を示すブロック図である。 変形例における携帯端末１００ｂの機能を示すブロック図である。 変形例における物体モデルデータベース（ＤＢ）サーバ２００ｂの機能を示すブロック図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態の物体認識システムのシステム構成図である。図１に示されるように、この物体認識システムは、携帯端末１００および物体モデルＤＢサーバ２００から構成されている。この携帯端末１００は、基地局１２０を介してネットワーク上に配置されている物体モデルＤＢサーバ２００とアクセスすることができる。そして、図１では、携帯端末１００は、対象物１５０を撮影すると、その特徴点を物体モデルＤＢサーバ２００に記憶されている物体モデルＤＢの特徴点と照合して、その対象物１５０に関するメッセージを表示することができる。以下、携帯端末１００および物体モデルＤＢサーバ２００についてさらに詳細に説明する。

図２は、携帯端末１００の機能構成を示すブロック図である。図２に示されるとおり、この携帯端末１００は、位置情報取得部１０１（位置情報取得手段）、方位センサ１０２（方位情報取得手段）、カメラ部１０３（撮影手段）、入力部１０４、表示部１０５（提示手段）、特徴点抽出部１０６（特徴点抽出手段）、特徴点照合部１０７（特徴点照合手段）、通信部１０８および記憶部１０９を含んで構成されている。

図３は、携帯端末１００のハードウェア構成図である。図２に示される携帯端末１００は、物理的には、図３に示すように、ＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、入力デバイスであるキーボード及びマウス等の入力装置１４、ディスプレイ等の出力装置１５、ネットワークカード等のデータ送受信デバイスである通信モジュール１６、ハードディスク等の補助記憶装置１７などを含むコンピュータシステムとして構成されている。図２において説明した各機能は、図３に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、出力装置１５、通信モジュール１６を動作させるとともに、ＲＡＭ１２や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。以下、図２に示す機能ブロックに基づいて、各機能ブロックを説明する。

位置情報取得部１０１は、ＧＰＳ（Global Positioning System）を利用して携帯端末１００の現在位置を示す位置情報を取得する部分である。

方位センサ１０２は、携帯端末１００が向いている方向を検出する部分であり、例えば、地磁気センサを用いて携帯端末１００のカメラ部１０３の撮影方向を検出する。

カメラ部１０３は、実際の空間を撮影する部分であり、撮影により得られた画像データは表示部１０５に表示される。

入力部１０４は、ユーザによる操作を受け付ける部分であり、例えば、テンキーなどのボタンにより構成されている。

表示部１０５は、カメラ部１０３により撮影された画像データおよび特徴点照合部１０７において照合された結果である物体に関する情報（例えば、物体の名称）を重畳して表示する部分である。

特徴点抽出部１０６は、カメラ部１０３により撮影された画像データ全体の特徴点、または当該画像データに含まれているオブジェクトの特徴点を抽出する部分である。例えば、特徴点抽出部１０６は、特徴点抽出のためのアルゴリズムとして、ＳＩＦＴ、またはＳＵＲＦを利用する。ＳＩＦＴを利用した場合、特徴点抽出部１０６は、所定個数（例えば１１４個）のキーポイントを抽出し、それぞれのキーポイントにおける、座標（Ｘ座標、Ｙ座標）、スケール、向き、および特徴を示す１２８次元のベクトルを抽出する。このキーポイントの抽出処理は、ＤｏＧ処理を行うことでスケールスペースにおける極値探索を行い、キーポイントの位置とスケールを決定することができる。そして、そのキーポイントの座標の周辺領域（スケールの範囲内）における１２８個の輝度の勾配情報が求められ、１２８次元ベクトルとして取得される。

なお、ＳＵＲＦにおいても同様に、キーポイントと、そのキーポイントにおける特徴量をベクトルで表したものが取得され、これら情報に基づいた照合処理を行うことを可能にしている。

特徴点照合部１０７は、特徴点抽出部１０６において抽出された特徴点と、記憶部１０９に記憶されている物体モデルＤＢに記述されている特徴点との照合処理を行う部分である。ＳＩＦＴを利用した場合、特徴点照合部１０７は、それぞれの特徴点における１２８次元ベクトルを比較することにより、照合処理を行う。そして、特徴点照合部１０７は、物体モデルＤＢに記述されている複数の物体モデルのうち、最近傍である特徴ベクトルを有する物体モデルに所定点を投票する。例えば、特徴点照合部１０７は、対象画像から例えば抽出された１００個の特徴点の一つ一つについて最近傍となる特徴点を持っている物体モデルに投票を行う。ここで、最近傍というのはユークリッド距離が最も近いことを意味する。最後の特徴点まで投票が終了したところで、最も投票数の多かった、すなわち特徴点が最も類似している物体モデルを、画像データから認識された物体であると判定する。そして、特徴点照合部１０７は、物体モデルＤＢから対応する物体の名称を読み出し、表示部１０５に出力する。

なお、特徴点照合部１０７は、一般物体認識（Classification）および特定物体認識（Identification）に対しても対応可能である。例えば、物体モデルＤＢには、抽象的な物体の総称である「くるま」の特徴点データを記述しており、またさらに具体的な特定の車種の特徴データを記述している場合、特徴点照合部１０７は、照合結果によっては、「自動車」といった一般的な名称を読み出してもよいし、またさらに詳細な車種名まで読み出すようにしてもよい。この場合、「自動車」の方の特徴点データは、特定の車種を特定するための特徴点データと比較して、大まかな特徴点データから構成されている。また、特徴点照合部１０７において、所定数の投票数をそれぞれの物体モデルにおいて得られておらず、一般物体認識のための物体モデルにおいて所定数の得票数が得られている場合には、その一般物体認識のための物体モデルである「自動車」という名称を物体モデルＤＢから読み出すようにしてもよい。

通信部１０８は、ネットワークと接続するための通信処理を行う部分であり、携帯端末１００においては、無線通信による通信処理を実行する部分である。例えば、通信部１０８は、携帯端末１００の位置情報および撮影方向を示す方位情報を物体モデルＤＢサーバ２００に対して送信し、物体モデルＤＢサーバ２００においては、その位置情報および方位情報に応じて定められた物体モデルＤＢを、物体モデルＤＢサーバ２００から受信する。

記憶部１０９は、物体モデルＤＢサーバ２００から、通信部１０８において受信された物体モデルＤＢを記憶する部分である。

このように構成された携帯端末１００は、物体モデルＤＢサーバ２００から、位置情報に応じた物体モデルＤＢを取得し、その物体モデルＤＢを用いた特徴点の照合処理を行うことで、適切な物体認識処理を行うことができる。

つぎに、物体モデルＤＢサーバ２００の構成について説明する。図４は、物体モデルＤＢサーバ２００の機能構成を示すブロック図である。図４に示されるように、物体モデルＤＢサーバ２００は、通信部２０１（送信手段、受信手段）、ゾーン特定部２０２、ゾーン定義ＤＢ２０３、物体モデルＤＢ選択部２０４（決定手段）、および物体モデルＤＢ格納部２０５（物体モデルＤＢ）を含んで構成されている。この物体モデルＤＢサーバ２００も、携帯端末１００と同じくコンピュータシステムから構成されているものであり、プログラムに従った動作を行うことにより、上述の各機能を実行することができる。以下、構成要素について説明する。

通信部２０１は、携帯端末１００と通信処理を実行する部分であり、例えば、携帯端末１００から送信された位置情報および方位情報を受信し、その位置情報および方位情報に応じて決定された物体モデルＤＢを携帯端末１００に送信する部分である。

ゾーン特定部２０２は、ゾーン定義ＤＢ２０３を参照して、携帯端末１００から送信された位置情報に対応するゾーンを特定する部分である。なお、ゾーン特定部２０２は、携帯端末１００の実際の位置に基づいてゾーンを特定する方法のほか、携帯端末１００の実際に位置している範囲および撮影する方向に基づいて、撮影しているゾーンを特定するようにしてもよい。例えば、ゾーン特定部２０２は、携帯端末１００から送信された位置情報および方位情報に基づいて、撮影している範囲は分かるため、それら情報に基づいてゾーンを特定することができる。なお、複数のゾーンが重なっているなど、携帯端末１００の位置に応じたゾーンが複数存在する場合がある。この場合には、複数のゾーンを特定してもよいし、方位情報に基づいていずれのゾーンに向いているものか判断して、一のゾーンを特定するようにしてもよい。

ゾーン定義ＤＢ２０３は、ゾーンを定義した情報を記述する部分であり、例えば中心位置および範囲半径によりゾーンを定義している。なお、円形でゾーンを定義することに限定するものではなく、矩形でゾーンを定義してもよいし、三角形、そのほか多角形によりゾーンを定義してもよい。

図５に、ゾーン定義ＤＢ２０３に記憶されているゾーン定義ＤＢの具体例を示す。図５に示されているように、ゾーン定義ＤＢは、そのゾーンの中心位置を示す中心位置情報、その範囲（半径）、ゾーンを識別するためのゾーンＩＤ、ゾーンの名称を対応付けて記述している。

物体モデルＤＢ選択部２０４は、物体モデルＤＢ格納部２０５に記憶されている複数の物体モデルＤＢから、携帯端末１００から受信した位置情報に基づいて、対応する一のゾーンを選択し、その一のゾーンに応じた物体モデルＤＢを物体モデルＤＢ格納部２０５から抽出し、通信部２０１を介して携帯端末１００に配信する部分である。

なお、物体モデルＤＢ選択部２０４は、一のゾーンに対応する一の物体モデルＤＢを選択する方法のほか、複数の物体モデルＤＢから、投票数の上位いくつかの物体モデルＤＢを選択し、これらを組み合わせて一の物体モデルＤＢとしてもよいし、物体モデルＤＢ全体から一部の物体モデルを抽出して、新たな一の物体モデルＤＢを生成してもよい。

物体モデルＤＢ格納部２０５は、各物体の特徴点を示す物体モデルを記述する物体モデルＤＢを記憶する部分である。この物体モデルＤＢは、例えば、図６に示されるように、物体モデルＩＤ、物体の名称、物体の特徴点からなる物体モデルを記述している。物体の特徴点は、上述のＳＩＦＴにより特徴点が抽出されたものである場合には、キーポイントの座標およびそのキーポイントの１２８次元ベクトルからなるものである。

さらにこの物体モデルＤＢ格納部２０５は、ゾーンごとに物体モデルＤＢを記憶するものであり、ゾーン００１に対応する物体モデルＤＢ２０５ａ、ゾーン００２に対応する物体モデルＤＢ２０５ｂなどのように、ゾーンごとの物体モデルＤＢを記憶している。

なお、図４においては、ゾーンに対応する物体モデルＤＢが予め個別に準備されているが、物体モデルＤＢの一部を構成するためのサブユニットが複数用意されており、物体モデルＤＢ選択部２０４は、ゾーンに応じて、そのサブユニットが適宜組み合わせて一つの物体モデルＤＢを構築するようにしてもよい。

また、物体モデルＤＢ格納部２０５において、全ての物体モデルを登録したマスターＤＢを構築しておき、物体モデルＤＢ選択部２０４は、一のゾーンに対応した物体モデルを抽出することにより、一のゾーンに対応する物体モデルＤＢを動的に生成するようにしてもよい。例えば、物体モデルＤＢには、物体モデルに加えて、物体のカテゴリーなどの属性情報も対応付けて記述されており、一方、ゾーン定義ＤＢ２０３においても、ゾーンごとに属性情報が付加されており、ゾーンの属性情報に基づいて対応する物体モデルを抽出して、物体モデルＤＢを構築するようにしてもよい。例えば、森林にユーザが入った場合には、“昆虫”、“植物”といった属性情報が付加されている物体モデルを抽出することで、森林に存在する物体を認識するための物体モデルＤＢを構築するようにしてもよい。

つぎに、このように構成された携帯端末１００および物体モデルＤＢサーバ２００の処理について説明する。図７は、携帯端末１００および物体モデルＤＢサーバ２００の処理を示すフローチャートである。

まず、物体認識のための処理起動の操作が行われると、位置情報取得部１０１が起動し、位置情報が取得され（Ｓ１０１）、カメラ部１０３が起動して、撮影処理が行われ、ライブビュー表示として、カメラ部１０３により撮影された画像データが表示部１０５に表示される（Ｓ１０２）。物体認識メニューに入ると（Ｓ１０３；ＹＥＳ）、物体モデルＤＢサーバ２００に、位置情報取得部１０１により取得された位置情報が、通信部１０８により送信される（Ｓ１０４）。

物体モデルＤＢサーバ２００においては、通信部２０１により位置情報が受信され（Ｓ２０１）、位置情報から携帯端末１００の位置が所属するゾーンが、ゾーン特定部２０２により特定される（Ｓ２０２）。特定されたゾーンに対応した物体モデルＤＢは、物体モデルＤＢ選択部２０４により選択された物体モデルＤＢは、通信部２０１により携帯端末１００に送信される（Ｓ２０３）。

携帯端末１００において、物体モデルＤＢサーバ２００から送信された物体モデルＤＢは通信部１０８により受信される（Ｓ１０５）。そして、ユーザ操作により、カメラ部１０３において撮影された画像データに対して物体認識処理を行うため、物体認識ボタン（入力部１０４に配置されている）が押下されると（Ｓ１０６：ＹＥＳ）、特徴点抽出部１０６により、画像データに対して特徴点の抽出処理が行われる（Ｓ１０７）。ここで抽出された特徴点は、受信された物体モデルＤＢを参照して、特徴点照合部１０７により、特徴点の照合処理が行われる（Ｓ１０８）。

そして、この特徴点の照合処理の結果、最も近いと思われる特徴点を有する物体モデルが特徴点照合部１０７により特定され、特定された物体モデルの名称が抽出され、表示部１０５により、名称が画像データに重畳表示される（Ｓ１１０）。

このようにして、物体モデルＤＢは、携帯端末１００の位置に応じて決定され、携帯端末１００においては、決定された物体モデルＤＢを利用して、物体認識処理を実行することができる。これにより、その位置に応じた物体モデルＤＢを利用することができ、少ない容量のデータベースを利用して、効率的な物体認識処理を行うことができる。

つぎに、変形例について説明する。図８は、変形例における携帯端末１００ａの機能を示すブロック図である。この変形例における携帯端末１００ａは、物体モデルＤＢサーバ２００を利用することなく、その位置に応じた物体モデルＤＢを切り替えて、効率的な物体認識処理を行うことができる。

この携帯端末１００ａは、位置情報取得部１０１、方位センサ１０２、カメラ部１０３、入力部１０４、表示部１０５、特徴点抽出部１０６、特徴点照合部１０７、通信部１０８、記憶部１０９に加えて、さらに、ゾーン特定部２０２ａ、ゾーン定義ＤＢ２０３ａ、物体モデルＤＢ選択部２０４ａ、および物体モデルＤＢ格納部２０５ｘを備えている。

この変形例における携帯端末１００ａによれば、位置情報取得部１０１において取得された位置情報に基づいて、ゾーン特定部２０２ａがゾーンを特定し、物体モデルＤＢ選択部２０４ａは、ゾーンに応じた一の物体モデルＤＢを決定し、そして、特徴点照合部１０７は、決定された物体モデルＤＢを利用して照合処理を行い、物体認識処理を行うことができる。

各構成要素については、ゾーン特定部２０２ａ、ゾーン定義ＤＢ２０３ａ、物体モデルＤＢ選択部２０４ａ、および物体モデルＤＢ格納部２０５ｘは、それぞれ上述の実施形態におけるゾーン特定部２０２、ゾーン定義ＤＢ２０３、物体モデルＤＢ選択部２０４、および物体モデルＤＢ格納部２０５と同機能を有するものであり、その説明は省略する。

また、更なる変形例として、図９および図１０に示されるような携帯端末１００ｂおよび物体モデルＤＢサーバ２００ｂが考えられる。図９は、変形例における携帯端末１００ｂの機能を示すブロック図であり、図１０は、変形例における物体モデルＤＢサーバ２００ｂの機能を示すブロック図である。

図９に示されるように、この携帯端末１００ｂは、位置情報取得部１０１、方位センサ１０２、カメラ部１０３、入力部１０４、表示部１０５、特徴点抽出部１０６、通信部１０８、記憶部１０９から構成されている。

また、図１０に示されるように、物体モデルＤＢサーバ２００ｂは、通信部２０１、ゾーン特定部２０２、ゾーン定義ＤＢ２０３、物体モデルＤＢ選択部２０４、および物体モデルＤＢ格納部２０５に加えて、特徴点照合部１０７ａを備えている。

そして、この携帯端末１００ｂは、特徴点抽出部１０６において抽出された特徴点データを位置情報とともに物体モデルＤＢサーバ２００ｂに送信する。

物体モデルＤＢサーバ２００ｂにおいては、ゾーン特定部２０２は、位置情報に基づいてゾーンを特定し、そのゾーンに基づいて物体モデルＤＢ選択部２０４は、物体モデルＤＢを決定する。そして、特徴点照合部１０７ａは、ここで決定された物体モデルＤＢを利用して、携帯端末１００ｂから送信された特徴点データの照合処理を行い、物体認識処理を行う。照合の結果得られた、物体に関する情報である、物体の名称は携帯端末１００ｂに送信され、表示部１０５において表示される。このようにして、携帯端末１００の処理負荷を軽減することもできる。

つぎに、本実施形態の携帯端末１００および物体モデルＤＢサーバ２００の作用効果について説明する。

本実施形態の携帯端末１００において、特徴点照合部１０７は、位置情報取得部１０１により取得された位置情報に基づいて決定された物体モデルＤＢに記述されている各物体における特徴点と、特徴点抽出部１０６により抽出された、カメラ部１０３により撮影された画像データから抽出した特徴点とを照合する。なお、物体モデルＤＢは、携帯端末１００における照合対象として物体モデルＤＢサーバ２００において決定されてもよいし、変形例あるように携帯端末１００において決定するようにしてもよい。

そして、特徴点照合部１０７によりその特徴点が最も類似していると判断される物体に関する情報が記憶部１０９（物体モデルＤＢ）から読み出され、例えば物体の名称を表示部１０５は、表示する。これにより、位置に応じて適切な物体モデルＤＢを利用することができ、少ない容量の物体モデルＤＢで精度よく物体認識を行うことができる。さらに、少ない容量の物体モデルＤＢを用いることで、比較的短時間で物体認識処理を行うことができる。

なお、特徴点照合部１０７は、変形例にも記載しているように、物体モデルＤＢ２００ｂに備え、物体モデルＤＢ２００ｂにおいて照合処理を行うようにしてもよい。

また、本実施形態の携帯端末１００は、携帯端末１００の方位を検出するための方位センサ１０２を備え、特徴点照合部１０７は、位置情報に加えて、方位情報に基づいて決定された物体モデルＤＢに記憶されている各物体における特徴点と、画像データから抽出した特徴点とを照合することにより、位置および方位に応じた適切な物体モデルＤＢを利用することができ、少ない容量の物体モデルＤＢで精度よく物体認識を行うことができる。

また、本実施形態の携帯端末１００において、通信部１０８は、位置情報取得部１０１により取得された位置情報を、複数の物体モデルＤＢ２０５ａ〜２０５ｄを備える物体モデルＤＢサーバ２００に送信し、当該物体モデルＤＢサーバ２００から位置情報に応じて定められた物体モデルＤＢを受信し、特徴点照合部１０７は、受信された物体モデルＤＢに基づいて照合処理を行う。これにより、物体認識装置側では、物体モデルＤＢの全てを有する必要が無く、低容量のメモリで精度よく物体認識処理を行うことができる。

また、本実施形態の物体認識システムにおける物体モデルＤＢサーバ２００において、通信部２０１は、携帯端末１００から位置情報を受信し、物体モデルＤＢ選択部２０４は、それぞれの物体の特徴点を示す特徴点データを記述する物体モデルＤＢ格納部２０５を参照して、取得された位置情報に基づいて、物体認識装置における照合対象となる物体モデルＤＢを決定する。そして、物体モデルＤＢ選択部２０４は、通信部２０１を介して、決定された物体モデルＤＢを携帯端末１００に送信することができる。これにより、物体認識装置の位置に応じて適切に定められた物体モデルを、物体認識装置に送信することができ、物体認識装置では精度よく物体認識処理を行うことができる。

なお、本実施形態においては、ゾーン特定部２０２が、携帯端末１００の位置からゾーンを決定し、物体モデルＤＢ選択部２０４は、ゾーン定義ＤＢ２０３を参照して、物体モデルＤＢ格納部２０５に記憶されている物体モデルＤＢ２０５ａ〜２０５ｄからゾーンに対応する一の物体モデルＤＢを選択して、通信部２０１を介して携帯端末１００に送信する。

また、本実施形態の物体認識システムにおいては、位置情報に加えて、携帯端末１００の方位情報を、通信部２０１が受信し、ゾーン特定部２０２および物体モデルＤＢ選択部２０４は、その方位情報をも考慮して一の物体モデルＤＢを決定することで、位置および方位に応じた適切な物体モデルＤＢを利用することができ、物体認識装置側において少ないメモリ容量で精度のよく物体認識処理を行うことができる。

なお、物体モデルＤＢ選択部２０４は、複数の物体モデルＤＢ２０５ａから２０５ｄのうち、いくつかの物体モデルＤＢを組み合わせることで、一の物体モデルＤＢを生成し、照合対象となる一の物体モデルＤＢを決定することができ、適切な物体モデルＤＢを構築することができ、物体認識装置側においては少ないメモリ容量で、精度よく物体認識処理を行うことができる。

また、物体モデルＤＢ選択部２０４は、一の物体モデルＤＢ全体から複数の物体モデルを選択して、一の物体モデルＤＢを生成することで、照合対象となる一の物体モデルＤＢを決定することができ、必要な物体モデルのみからなる一の物体モデルＤＢを構築することができる。よって、物体認識装置側においては、少ないメモリ容量で精度よく物体認識処理を行うことができる。

１００、１００ａ、１００ｂ…携帯端末、１０１…位置情報取得部、１０２…方位センサ、１０３…カメラ部、１０４…入力部、１０５…表示部、１０６…特徴点抽出部、１０７…特徴点照合部、１０７ａ…特徴点照合部、１０８…通信部、１０９…記憶部、１２０…基地局、１５０…オブジェクト、２００、２００ｂ…物体モデルＤＢサーバ、２０１…通信部、２０２、２０２ａ…ゾーン特定部、２０３、２０３ａ…ゾーン定義ＤＢ、２０４、２０４ａ…物体モデルＤＢ選択部、２０５、２０５ｘ…物体モデルＤＢ格納部。

Claims (9)

1. それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベース、ならびにゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有するサーバと通信する物体認識装置において、
   画像データを取得する撮影手段と、
   当該物体認識装置の位置情報を取得する位置情報取得手段と、
   前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得手段と、
   ゾーンに対応付けられた属性情報に基づいて決定された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影手段により撮影された画像データから抽出した特徴点とを照合する特徴点照合手段と、
   前記特徴点照合手段により特徴点が最も類似していると判断される物体に関する情報を提示する提示手段と、
   を備え、
   前記ゾーンは、前記位置情報取得手段により取得された位置情報と、前記方位情報取得手段により取得された方位情報とに基づいて特定され、前記物体モデルデータベースは、前記ゾーンに対応付けられた属性情報に基づいて決定されることを特徴とする物体認識装置。
2. 前記位置情報取得手段により取得された位置情報を、複数の物体モデルデータベースを記憶する前記サーバに送信する送信手段と、
   前記サーバから位置情報に応じて返信された物体モデルデータベースを受信する受信手段と、をさらに備え、
   前記特徴点照合手段は、前記受信手段により受信された物体モデルデータベースに基づいて照合処理を行うことを特徴とする請求項１に記載の物体認識装置。
3. 物体認識装置と、前記物体認識装置と通信するサーバとを備える物体認識システムにおいて、
   前記サーバは、
   それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベースと、
   ゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースと、
   前記物体認識装置から送信された位置情報と方位情報とを受信する第１の受信手段と、
   前記第１の受信手段により受信された位置情報と方位情報とに基づいて、前記ゾーン定義データベースに定義されたゾーンを特定するゾーン特定手段と、
   前記物体モデルデータベースから、前記ゾーン特定手段により特定されたゾーンに基づいて、前記物体認識装置における照合対象となる物体モデルデータベースを決定する決定手段と、
   前記決定手段により決定された物体モデルデータベースを前記物体認識装置に送信する第１の送信手段と、を備え、
   前記物体認識装置は、
   画像データを取得する撮影手段と、
   当該物体認識装置の位置情報を取得する位置情報取得手段と、
   前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得手段と、
   前記位置情報取得手段により取得された位置情報と、前記方位情報取得手段により取得された方位情報とを前記サーバに送信する第２の送信手段と、
   前記サーバから送信された物体モデルデータベースを受信する第２の受信手段と、
   前記第２の受信手段により受信された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影手段により撮影された画像データから抽出した特徴点とを照合する特徴点照合手段と、
   前記特徴点照合手段により特徴点が最も類似していると判断される物体に関する情報を提示する提示手段と、を備える物体認識システム。
4. 前記決定手段は、
   複数の物体モデルデータベースから、一の物体モデルデータベースを決定することを特徴とする請求項３に記載の物体認識システム。
5. 前記決定手段は、
   複数の物体モデルデータベースのうち、いくつかの物体モデルデータベースを組み合わせることで一の物体モデルデータベースを生成し、照合対象となる一の物体モデルデータベースを決定することを特徴とする請求項３に記載の物体認識システム。
6. 前記決定手段は、
   一の物体モデルデータベース全体から複数の物体モデルを選択して、一の物体モデルデータベースを生成することで、照合対象となる一の物体モデルデータベースを決定することを特徴とする請求項３に記載の物体認識システム。
7. それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベース、ならびにゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有するサーバと通信する物体認識装置の物体認識方法において、
   画像データを取得する撮影ステップと、
   前記物体認識装置の位置情報を取得する位置情報取得ステップと、
   前記物体認識装置が向いている方向を示す方位情報を取得する方位情報取得ステップと、
   ゾーンに対応付けられた属性情報に基づいて決定された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影ステップにより撮影された画像データから抽出した特徴点とを照合する特徴点照合ステップと、
   前記特徴点照合ステップにより特徴点が最も類似していると判断される物体に関する情報を提示する提示ステップと、
   を備え、
   前記ゾーンは、前記位置情報取得ステップにより取得された位置情報と、前記方位情報取得ステップにより取得された方位情報とに基づいて特定され、前記物体モデルデータベースは、前記ゾーンに対応付けられた属性情報に基づいて決定されることを特徴とする物体認識方法。
8. 物体認識装置と、それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベースおよびゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースを有し、前記物体認識装置と通信するサーバとを備える物体認識システムにおける物体認識方法において、
   前記物体認識装置が、画像データを取得する撮影ステップと、
   前記物体認識装置が、当該装置の位置情報を取得する位置情報取得ステップと、
   前記物体認識装置が、当該装置の向いている方向を示す方位情報を取得する方位情報取得ステップと、
   前記物体認識装置が、前記位置情報取得ステップにより取得された位置情報と、前記方位情報取得ステップにより取得された方位情報とを前記サーバに送信する端末側送信ステップと、
   前記サーバが、前記物体認識装置から送信された位置情報と方位情報とを受信するサーバ側受信ステップと、
   前記サーバが、前記サーバ側受信ステップにより受信された位置情報と方位情報とに基づいて、前記ゾーン定義データベースに定義されたゾーンを特定するゾーン特定ステップと、
   前記サーバが、前記物体モデルデータベースから、前記ゾーン特定ステップにより特定されたゾーンに基づいて、前記物体認識装置における照合対象となる物体モデルデータベースを決定する決定ステップと、
   前記サーバが、前記決定ステップにより決定された物体モデルデータベースを前記物体認識装置に送信するサーバ側送信ステップと、
   前記物体認識装置が、前記サーバから送信された物体モデルデータベースを受信する端末側受信ステップと、
   前記物体認識装置が、前記端末側受信ステップにより受信された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影ステップにより撮影された画像データから抽出した特徴点とを照合する特徴点照合ステップと、
   前記物体認識装置が、前記特徴点照合ステップにより特徴点が最も類似していると判断される物体に関する情報を提示する提示ステップと、を備える物体認識方法。
9. それぞれの物体の特徴点を示す特徴点データを属性情報と対応付けて記述する物体モデルデータベースと、
   ゾーンを定義した情報を当該ゾーンの属性情報に対応付けて記述するゾーン定義データベースと、
   画像データを取得する撮影手段と、
   自機の位置情報を取得する位置情報取得手段と、
   自機の向いている方向を示す方位情報を取得する方位情報取得手段と、
   前記位置情報取得手段により取得された位置情報と、前記方位情報取得手段により取得された方位情報とに基づいてゾーンを特定するゾーン特定手段と、
   前記ゾーン特定手段により特定されたゾーンに対応付けられた属性情報に基づいて物体モデルデータベースを決定する物体モデル決定手段と、
   前記物体モデル決定手段により決定された物体モデルデータベースに記述されているそれぞれの物体の特徴点と、前記撮影手段により撮影された画像データから抽出した特徴点とを照合する特徴点照合手段と、
   前記特徴点照合手段により特徴点が最も類似していると判断される物体に関する情報を提示する提示手段と、
   を備える物体認識装置。

Images