JP5735071B2 - 情報検索装置、情報検索方法、及び情報検索プログラム - Google Patents

Description

本発明は、撮像画像を利用して情報を検索する情報検索装置、情報検索方法、及び情報検索プログラムに関する。

従来、現在地近辺に存在する店舗に関する情報を提供するシステムとして、ユーザの携帯情報端末等のＧＰＳ機能によって取得されたユーザの現在位置に関する情報を取得し、取得した位置情報に基づいて現在地周辺の店舗情報を検索し、検索して得られた店舗情報をユーザの携帯情報端末に配信するシステムがある（特許文献１参照）。

特開２０１２−３４２８号公報

携帯情報端末のＧＰＳ機能によって得られる現在位置は例えば十数ｍ程度の誤差を含む。そのため、例えば、現在位置にある店舗とは異なる店舗に関する情報がユーザの携帯情報端末に配信される場合がある。また、ＧＰＳ衛星からの電波は微弱である。そのため、屋内ではＧＰＳを利用した現在位置の特定は不可能である。したがって、例えば、デパートやショッピングモール等の店舗の内部に存在する店舗に関しては、当該店舗の位置において、当該店舗に関する情報を配信することは不可能であった。

本発明は、ＧＰＳを利用しなくても、現在位置に関連する種々の情報をユーザに提供可能な情報検索装置、情報検索方法、及び情報検索プログラムを提供することを課題とする。

本発明の第１の態様に係る情報検索装置は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段と、
複数の施設関連所定物に関する画像のそれぞれに対応させて、当該施設関連所定物が設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得手段と、
画像取得手段で取得された撮像画像と画像記憶手段に記憶されている画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断手段と、
判断手段により撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、当該含まれている施設関連所定物が設置された対象施設に関連する情報を対象施設関連情報記憶手段から読み出して、通信回線を介して情報端末に出力する出力手段と、を備える。

本発明の第２の態様に係る情報検索装置は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段と、
各施設関連所定物の設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
画像取得手段で取得された撮像画像と画像記憶手段に記憶されている画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断手段と、
判断手段により撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、当該含まれている施設関連所定物の設置位置または当該施設関連所定物に対応する対象施設の所在位置に関する情報を位置情報記憶手段から読み出して、通信回線を介して情報端末に出力する出力手段と、を備える。

本発明の第３の態様に係る情報検索方法は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索方法であって、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得ステップと、
画像取得ステップで取得された撮像画像と、複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段に記憶されている各画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断ステップと、
判断ステップにより撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、複数の施設関連所定物の画像のそれぞれに対応させて、当該施設関連所定物が設置された対象施設に関連する情報を記憶している対象施設関連情報記憶手段から当該含まれている施設関連所定物が設置された対象施設に関連する情報を読み出して、通信回線を介して情報端末に出力する出力ステップと、を含む。

本発明の第４の態様に係る情報検索方法は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索方法であって、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得ステップと、
画像取得ステップで取得された撮像画像と、複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段に記憶されている各画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断ステップと、
判断ステップにより撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、各施設関連所定物の設置位置または各対象施設の所在位置に関する情報を記憶している位置情報記憶手段から、当該含まれている施設関連所定物の設置位置または当該施設関連所定物に対応する対象施設の所在位置に関する情報を読み出して、通信回線を介して情報端末に出力する出力ステップと、を含む。

本発明の第５の態様に係る情報検索プログラムは、
コンピュータを、本発明の第３の態様または第４の態様の情報検索方法の各ステップを実行する手段として機能させる。

本発明に係る情報検索装置、情報検索方法、及び情報検索プログラムによれば、撮像手段で撮像された画像に複数の施設関連所定物のいずれかが含まれているときは、表示手段に、当該含まれている施設関連所定物が設置された対象施設に関連する情報が表示される。または、当該含まれている施設関連所定物が設置された対象施設の設置位置に関する情報が出力される。したがって、ＧＰＳを利用しなくても、現在位置に関する種々の情報をユーザに提供することができる。

実施形態１の情報検索システムの構成図である。 携帯情報端末の外観図である。 携帯情報端末の構成を示すブロック図である。 携帯情報端末のＲＯＭに記憶された内容を示す図である。 サーバの構成を示すブロック図である。 サーバのＨＤＤに記憶された内容を示す図である。 携帯情報端末の表示部に表示された画像を示す図である。 サーバのＨＤＤに記憶された店舗情報データベースの構成を示す図である。 サーバのＨＤＤに記憶されたマスター画像データベースの構成を示す図である。 サーバのＨＤＤに記憶された変換後画像データベースの構成を示す図である。 マスター画像の撮像方向及び変換後画像の撮像方向を示す図である。 変換後画像の例を示す図である。 マット画像登録処理のフローチャートである。 店舗決定処理のフローチャートである。 店舗絞り込み処理のフローチャートである。 抽出された画像の一覧を示す図である。 抽出された全画像数に占める各店舗の画像数の割合を示す図である。 実施形態２の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。 実施形態３の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。 ２つのマットに基づいてユーザの現在位置を決定することを説明するための図である。 実施形態４の情報検索システムにおいて、変換後画像のそれぞれに対応させて当該画像の撮影角度（水平方向）情報を記憶させていることを説明するための図である。 マットの撮像画像に基づく撮影角度（垂直方向）の推定を説明する図である。 ２つのマットの撮像画像に基づくユーザの属性の推定を説明する図である。 サーバのＨＤＤに記憶された店舗情報データベースの構成を示す図である。

本発明の実施形態に係る情報検索装置、情報検索方法、及び情報検索プログラムについて図面を参照して説明する。

（実施形態１）
１．構成
図１は、実施形態１に係る情報検索システムの構成図である。

本実施形態の情報検索システムは、携帯情報端末１００と、サーバ２００とを含む。携帯情報端末１００とサーバ２００とは、インターネット等の通信回線３００を介して接続される。

１−１．携帯情報端末の構成
図２は、携帯情報端末１００の外観図である。

携帯情報端末１００の外面には、表示部１１、カメラ１２、及び操作部１３が備えられている。表示部１１の表面には、タッチパネル１４が備えられている。本実施形態では、一例として、携帯情報端末１００がスマートフォンである場合を示している。

図３は、携帯情報端末１００の構成を示すブロック図である。

携帯情報端末１００は、上記表示部１１、カメラ１２、操作部１３及びタッチパネル１４以外に、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７、及び通信インタフェース１８（以後、適宜「通信Ｉ／Ｆ１８」という）を備える。

ＣＰＵ１５は、演算処理を行う。

ＲＯＭ１６は、ＣＰＵ１５で演算処理されるプログラムや種々のデータを記憶する。

ＲＡＭ１７は、ＣＰＵ１５がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。

表示部１１は、ＣＰＵ１５から出力される表示用の画像データに基づく画像を表示する。表示部１１は、例えば液晶ディスプレイパネルや有機ＥＬディスプレイパネルである。

操作部１３は、複数のボタンを有する。ボタンは、例えば押しボタン式のスイッチであり、機能選択や機能実行の指示を行うことができる。

タッチパネル１４は、平面状のポインティングデバイスである。タッチパネル１４は、表示部１１の表示面に重ねて設けられ、ユーザによりタッチされた位置に関する信号を出力する。

カメラ１２は、被写体を撮像して画像データを生成する。

通信Ｉ／Ｆ１８は、サーバ２００等の外部機器との間で通信を行うためのインタフェースである。通信Ｉ／Ｆ１８は、Ｗ−ＣＤＭＡ、ＬＴＥ、Ｗｉｍａｘ等の通信規格、無線ＬＡＮ等の通信規格に対応する。

図４は、携帯情報端末１００のＲＯＭ１６に記憶された内容を示す図である。

ＲＯＭ１６には、オペレーティングシステム３１（以後、適宜「ＯＳ３１」という）、アプリケーションプログラム３２、及び種々のデータ３３が記憶されている。

１−２．サーバの構成
図５は、サーバ２００の構成を示すブロック図である。

サーバ２００は、ＣＰＵ２１、ハードディスクドライブ２２（ＨＤＤ２２）、ＲＡＭ２３、及び通信インタフェース２４（以後、適宜「通信Ｉ／Ｆ２４」という）を備える。

ＣＰＵ２１は、演算処理を行う。

ＨＤＤ２２は、ＣＰＵ２１で演算処理されるプログラム及び種々のデータを記憶する。

ＲＡＭ２３は、ＣＰＵ２１がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。

図６は、サーバ２００のＨＤＤ２２に記憶された内容を示す図である。

ＨＤＤ２２には、オペレーティングシステム４１（以下、適宜「ＯＳ４１」という）、アプリケーションプログラム４２、マスター画像データベース４３、変換後画像データベース４４、及び店舗情報データベース４５が記憶されている。

図７は、本実施形態の情報検索システムを構成する携帯情報端末１００の表示部１１に表示された画像を示す図である。

本実施形態の情報検索システムは、図７に示すように、携帯情報端末１００のカメラ１２で撮像された画像Ｇに予め登録された所定のマットＭが含まれるときに、当該マットＭに関連付けられた情報Ｊを、撮像された画像Ｇに重畳して表示させる。なお、本実施形態では、店舗の情報Ｊを枠内に表示させる場合について説明する。マットＭの表面の模様は、店舗毎に異なっている。

図８は、ＨＤＤ２２に記憶された店舗情報データベース４５の構成を示す図である。

店舗情報データベース４５は、店舗毎に、販促情報、位置情報、及び階数情報を記憶している。販促情報は、例えばその店舗におけるバーゲンセール等の情報である。位置情報は、例えばその店舗においてマットＭが設置された位置の緯度、経度等の情報である。階数情報は、当該店舗がデパート、ショッピングモール等の複数階を有する建物内に存在している場合に、当該店舗が存在するフロア（階数）に関する情報である。

図９は、サーバ２００のＨＤＤ２２に記憶されたマスター画像データベース４３の構成を示す図である。

マスター画像データベース４３は、店舗の入口に配置されたマットＭを撮像して得られたマスター画像を記憶している。マスター画像は、店舗の入口に配置されたマットＭを所定の複数の方向から撮影して得られた画像である。

図１０は、サーバ２００のＨＤＤ２２に記憶された変換後画像データベース４４の構成を示す図である。

変換後画像データベース４４は、マスター画像に対して所定の変換処理を施して得られた複数の変換後画像を記憶している。なお、変換後画像データベース４４は、マスター画像と同内容の画像についても記憶している。所定の変換処理は、マスター画像に基づいて、マットＭをマスター画像の撮像方向とは異なる方向から見た画像を生成する処理である。この変換処理は、例えば、フーリエ変換等を利用した公知の画像変換技術を利用して行うことができる。

図１１は、マスター画像の撮像方向及び変換後画像の撮像方向を示す図である。

マスター画像は、矩形のマットＭの所定の３辺に対して直交するＡ０、Ｂ０及びＣ０の３方向から撮像される。

変換後画像は、マスター画像に含まれるマットＭの形状を、方向Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１，Ｃ１から見た形状に変換させた画像である。方向Ａ１、Ａ２は、方向ＡＯと水平方向の角度は同じであるが、垂直方向の仰俯角が異なる。方向Ａ３、Ａ４、Ｂ１，Ｃ１の角度は、方向Ａ０とＢ０の間、及び方向Ａ０とＣ０の間を３等分した角度に設定されている。

図１２は、マスター画像及び変換後画像の一例を示す図である。図１２（ａ）は、Ａ０方向から撮像したマスター画像を示す。図１２（ｂ）は、Ａ０方向から撮像したマスター画像を、方向Ａ１から見た形状に変換した変換後画像を示す。図１２（ｃ）は、Ａ０方向から撮像したマスター画像を、方向Ａ２から見た形状に変換した変換後画像を示す。図１２（ｄ）は、Ａ０方向から撮像したマスター画像を、方向Ａ３から見た形状に変換した変換後画像を示す。図１２（ｅ）は、Ａ０方向から撮像したマスター画像を、Ａ４方向から見た形状に変換した変換後画像を示す。Ｂ１方向から見た形状に変換した変換後画像は、Ｂ０方向から撮像したマスター画像に基づいて生成される。Ｃ１方向から見た形状に変換した変換後画像は、Ｃ０方向から撮像したマスター画像に基づいて生成される。

マットＭを複数の方向から見た変換後画像を登録しておくのは以下の理由による。現地においてマットＭを撮像した場合、撮像画像上におけるマットＭの形状は、見る方向や、見る高さ、マットまでの距離等によって大きく変化する。マットＭを複数の方向から見た変換後画像を登録しておくことにより、後述するようにカメラＭで撮像された画像中に含まれるマットと変換後画像との比較による店舗決定処理を行う際に、マッチングする確率が高くなる。また、多方向から見た多くの画像を撮像する手間を省くことができる。

また、マットＭは、多くの来店客により踏まれるため、毛足が倒れやすい。また、マットＭには、泥が付着している場合がある。データベースに登録された比較用のマットＭの画像が所定の一方向から撮影したもののみの場合、現地で前記所定の一方向からユーザにより撮像された撮像画像中のマットＭに上記のような毛足の倒れが生じていると、マットＭの模様を認識できず、マットＭに基づいて店舗を特定できない可能性がある。しかし、本実施形態では、上述のように、比較用のマットＭの画像として撮影角度の異なる複数の画像を記憶している。そのため、ある方向からではマットＭの模様を認識できなくても、他の方向からマットＭの模様を認識できる確率が高くなる。これにより、マットＭに基づいて店舗を決定できる確率が高くなる。

２．動作
本実施形態における情報検索システムは、店舗の入口の前に配置されたマットＭの画像を取得及び登録する処理（マットＭ画像登録処理）、及び携帯情報端末１００で撮像された画像に基づく店舗決定処理を行う。これらの処理は、携帯情報端末１００に記憶されているアプリケーションプログラム３２がＣＰＵ１５上で実行されることにより、及びサーバ２００に記憶されているアプリケーションプログラム４２がＣＰＵ２１上で実行されることにより、実現される。

まず、マット画像登録処理について説明する。図１３は、マット画像登録処理のフローチャートである。

店舗関連のユーザは、マットＭの導入時、図１１で説明したＡ０、Ｂ０、Ｃ０の３方向からマットＭを撮像する。撮影の際、利用するカメラは、マットＭの識別を実行可能な所定の解像度以上のデジタル画像を生成できるカメラであれば、どのようなカメラでもよい。ユーザは、撮像した３つの画像データをサーバ２００に送信するため、操作部１３または表示部１１に表示された操作ボタンを操作して、撮像した画像データをサーバ２００に送信する。

サーバ２００は、携帯情報端末１００から受信したＡ０、Ｂ０、Ｃ０の３方向から撮像した画像を、マスター画像としてマスター画像データベース４３に登録する（Ｓ１１）。

サーバ２００は、Ａ０、Ｂ０、Ｃ０の３方向から撮像した画像データに対して所定の変換処理を行うことにより、マスター画像に含まれるマットＭの形状を、方向Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１，Ｃ１から見た形状に変換した画像を生成する（Ｓ１２）。形状変換のための所定の変換処理は、公知の種々の方法が利用可能である。

サーバ２００は、生成された、方向Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１、Ｃ１から見た形状に変換された画像を変換後画像データベース４４に登録する（Ｓ１３）。

次に、店舗決定処理について説明する。図１４は、店舗決定処理のフローチャートである。携帯情報端末１００において、当該アプリケーションプログラム３２が起動している状態において、カメラ１２を作動させることにより、以下の動作が行われる。

携帯情報端末１００は、カメラ１２で撮像された画像を、所定周期でサーバ２００に送信する（Ｓ２１）。所定周期は例えば１秒であるが、これより短くても、長くてもよい。短くすれば、店舗決定処理が迅速に進むこととなる。一方、長くすれば、サーバ２００が多くの携帯情報端末１００との間で店舗決定処理を行う際のサーバ２００の負荷を軽減することができる。

サーバ２００は、携帯情報端末１００から受信した撮像画像と、変換後画像データベース４４に記憶されている全ての変換後画像とを比較する処理（画像マッチング処理）を行い、撮像画像に一定程度以上類似する変換後画像を抽出する（Ｓ２２）。なお、サーバ２００は、複数の画像マッチング手法を用いて、マッチング処理を繰り返し実行する。このように異なる画像マッチング手法を用いて繰り返しマッチング処理を行った場合、撮像画像に類似する変換後画像については、同一の変換後画像が複数回抽出される場合がある。撮像画像に変換後画像が一定程度以上類似しているか否かの判断は、撮像画像と変換後画像とのマッチングの結果得られる一致度が、各マッチング処理においてそれぞれ定められた第１一致度以上であるか否かに基づいて行う。

画像マッチングの手法としては、公知の手法が利用可能である。本実施形態では、画像マッチングの手法として公知の特徴ベースマッチング及び４種類の領域ベースマッチングを併用する。４種類の領域ベースマッチングの手法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）に基づく手法、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）に基づく手法、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）に基づく手法、及びＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）に基づく手法を用いる。

サーバ２００は、撮像画像と変換後画像とのマッチングの結果得られる一致度が、各マッチング処理においてそれぞれ定められた第２一致度以上の変換後画像が存在するか否かを判定する（Ｓ２３）。第２一致度は、第１一致度より大きい値であり、変換後画像と撮像画像とが同一対象を撮像したものであるとほぼ断定できる一致度である。

両画像の一致度が第２一致度以上の変換後画像が存在する場合（Ｓ２３でＹＥＳ）、サーバ２００は、最も一致度が高い変換後画像に対応する店舗情報（販促情報等）を店舗情報データベース４５から取得する（Ｓ２４）。

両画像の一致度が第２一致度以上の変換後画像が存在しない場合（Ｓ２３でＮＯ）、サーバ２００は、店舗絞り込み処理を行う（Ｓ２５）。

店舗絞り込み処理が完了すると、サーバ２００は、店舗絞り込み処理により決定された店舗に関する店舗情報を取得する（Ｓ２６）。

サーバ２００は、ステップＳ２４またはＳ２６で取得した店舗情報を、携帯情報端末１００に送信する（Ｓ２７）。

携帯情報端末１００は、上述の図７に示すように、サーバ２００から受信した店舗情報に含まれる販促情報を、カメラ１２で撮像した画像に重畳して表示部１１に表示させる（Ｓ２８）。図７は、例えば、「○△ドーナツ 本日チョコドーナツ５０円引き」という情報Ｊを表示した例を示している。このように重畳表示させる技術としては、公知の拡張現実ＡＲの技術が利用可能である。本実施形態では、携帯情報端末１００は、マットＭをマーカとして、販促情報を表示させることとなる。このとき、携帯情報端末１００は、取得した店舗情報に含まれる位置情報及び階数情報に基づいて、現地付近の地図を表示させるとともに、地図上に当該店舗の位置を表示させてもよい。

次に、ステップＳ２５の店舗絞り込み処理について詳しく説明する。図１５は、店舗絞り込み処理のフローチャートである。図１６は、複数種類のマッチング処理によって抽出された画像の一覧を示す図である。

抽出された画像には、対応する店舗を示す情報が記録されている。これにより、サーバ２００は、対応する店舗を示す情報に基づいて、抽出された画像がどの店舗の画像であるかを把握することができる。

サーバ２００は、図１７に示すように、上記複数の画像マッチング手法を用いて抽出された変換後画像の数を店舗毎に集計し、店舗毎に、抽出された全画像の数に占める当該店舗において抽出された画像の数の割合を求める（Ｓ３１）。

サーバ２００は、求めた割合が所定割合以上の店舗が存在するか判定する（Ｓ３２）。

求めた割合が所定割合以上の店舗が存在する場合（ステップＳ３２でＹＥＳの場合）、サーバ２００は、現在位置に存在する店舗として、求めた割合が所定割合以上の店舗のうち最も割合が高い店舗に決定する（Ｓ３３）。例えば、所定割合が５０％である場合、サーバ２００は、図１７において、店舗Ａに決定する。

求めた割合が所定割合以上の店舗が存在しない場合（ステップＳ３２でＮＯの場合）、サーバ２００は、ステップＳ２１に戻って処理を繰り返す。

なお、本実施形態では、ステップＳ２１〜Ｓ２７の処理をサーバ２００側で行ったが、携帯情報端末１００側で行ってもよい。この場合、マスター画像データベース４３、変換後画像データベース４４、及び店舗情報データベース４５を携帯情報端末１００側に記憶させておくとともに、アプリケーションプログラム４２と同等の機能を有し、携帯情報端末１００上で動作可能なプログラムを携帯情報端末１００側に記憶させる。また、携帯情報端末１００に記憶させるこれらのデータベース及びプログラムのマスターを記憶するサーバを設ける。携帯情報端末１００は、記憶しているデータベース及びプログラムを必要に応じて、サーバに記憶されているデータベース及びプログラムに更新する。更新は、例えば、アプリケーションプログラムの起動時や、予め設定された所定の時間に、携帯情報端末１００からサーバに更新情報を問い合わせることにより、あるいはサーバから携帯情報端末１００に更新情報を送信することにより、行うことができる。

また、ステップＳ２１〜Ｓ２７の処理は、サーバ２００と携帯情報端末１００とで分担して行ってもよい。

３．まとめ
以上のように、本実施形態に係る情報検索システムのサーバ２００は、
画像を撮像するカメラ１２と、画像を表示する表示部１１と、取得した情報の表示部１１への表示を制御するＣＰＵ１５と、を備えた携帯情報端末１００に、通信回線３００を介して情報を提供可能である。
サーバ２００は、
複数の店舗（対象施設）のそれぞれに設置され、店舗毎に異なる特徴を有するマットＭ（施設関連所定物）に関する画像を記憶するＨＤＤ２２（画像記憶手段）と、
複数のマットＭに関する画像のそれぞれに対応させて、当該マットＭが設置された店舗に関連する情報を記憶するＨＤＤ２２（対象施設関連情報記憶手段）と、
カメラ１２で撮像された撮像画像を通信回線３００を介して取得するＣＰＵ２１（画像取得手段）と、
取得した撮像画像とＨＤＤ２２に記憶されている変換後画像とを比較し、撮像画像に複数のマットＭのいずれかが含まれているか否かを判断するＣＰＵ２１（判断手段）と、
撮像画像に複数のマットＭのいずれかが含まれていると判断したときは、当該含まれているマットＭに関連する情報をＨＤＤ２２から読み出して、通信回線３００を介して携帯情報端末１００に出力するＣＰＵ２１（出力手段）と、を備える。

本実施形態に係る情報検索システムのサーバ２００によれば、カメラ１２で撮像された画像に複数のマットＭのいずれかが含まれているときは、当該含まれているマットＭが設置された店舗に関連する情報が表示部１１に表示される。したがって、ＧＰＳを利用しなくても、現在位置に関連する種々の情報をユーザに提供することができる。

例えば、ユーザが本実施形態に係るアプリケーションを起動させた状態で、携帯情報端末で風景を撮影しながら歩いているときに、マットＭが画像中に検出されると、自動的にマットＭが設置された店舗に関連する情報が風景の画像に重畳されて表示されることとなる。したがって、ユーザは現在位置に関連する店舗等の情報を容易に取得することができ、ユーザの利便性が向上することとなる。

本実施形態において、サーバ２００は、
各マットＭの設置位置に関する情報を記憶するＨＤＤ２２（位置情報記憶手段）と、
ＣＰＵ２１により撮像画像に複数のマットＭのいずれかが含まれていると判断されたときは、当該含まれているマットＭの設置位置に関する情報をＨＤＤ２２から読み出して、出力するＣＰＵ２１（第２出力手段）を、さらに備える。

これにより、ユーザの現在位置を地図等に表示させることができる。

本実施形態において、
ＨＤＤ２２は、店舗毎に、マットＭに関する画像として撮影角度の異なる複数の画像を記憶し、
ＣＰＵ２１は、カメラ１２で撮像された撮像画像と、ＨＤＤ２２に記憶されている各マットＭの各画像とを比較し、撮像画像に複数のマットＭのいずれかが含まれているか否かを判断する。

マットＭは、多くの来店客により踏まれるため、毛足が倒れやすい。また、マットＭには、泥が付着している場合がある。データベースに登録された比較用のマットＭの画像が所定の一方向から撮影したもののみの場合、現地でマットＭを前記所定の一方向から撮像した撮像画像に上記のような毛足の倒れが生じていると、マットＭに基づいて店舗を特定できない可能性がある。しかし、本実施形態では、上述のように、比較用のマットＭの画像として撮影角度の異なる複数の画像を記憶している。そのため、ある方向からではマットＭの模様を認識できなくても、他の方向からマットＭの模様を認識できる確率が高くなる。これにより、マットＭに基づいて店舗を決定できる確率が高くなる。

本実施形態に係る情報検索システムのサーバ２００は、
画像を撮像するカメラ１２と、画像を表示する表示部１１と、取得した情報の表示部１１への表示を制御するＣＰＵ１５と、を備えた携帯情報端末１００に、通信回線３００を介して情報を提供可能である。
サーバ２００は、
複数の店舗（対象施設）のそれぞれに設置され、店舗毎に異なる特徴を有するマットＭ（施設関連所定物）に関する画像を記憶するＨＤＤ２２（画像記憶手段）と、
複数のマットＭに関する画像のそれぞれに対応させて、当該マットＭが設置された店舗に関連する情報を記憶するＨＤＤ２２（対象施設関連情報記憶手段）と、
カメラ１２で撮像された撮像画像を通信回線３００を介して取得するＣＰＵ２１（画像取得手段）と、
取得した撮像画像とＨＤＤ２２に記憶されている変換後画像とを比較し、撮像画像に複数のマットＭのいずれかが含まれているか否かを判断するＣＰＵ２１（判断手段）と、
ＣＰＵ２１により撮像画像に複数のマットＭのいずれかが含まれていると判断したときは、当該含まれているマットＭの設置位置に関する情報をＨＤＤ２２から読み出して、通信回線３００を介して携帯情報端末１００に出力するＣＰＵ２１（出力手段）と、を備える。

本実施形態に係る情報検索システムのサーバ２００によれば、カメラ１２で撮像された画像に複数のマットＭのいずれかが含まれているときは、当該含まれているマットＭに基づいて、マットＭの設置位置、つまりユーザの現在位置をほぼ特定することができる。したがって、本実施形態に係る情報検索システムは、マットＭの設置位置の情報に基づいて、ＧＰＳを利用しなくても、現在位置に関連する種々の情報をユーザに提供することができる。

本実施形態において、
施設関連所定物はマットＭである。

これにより、もともと店舗に備えられていることが多いマットＭを利用して、現在位置に関連する種々の情報をユーザに提供することができる。

本実施形態において、
ＣＰＵ２１は、カメラ１２で撮像された撮像画像とＨＤＤ２２に記憶されている変換後画像とを複数の手法を用いて比較し、手法毎に、一定程度類似する画像を抽出し、抽出した画像の数を店舗毎に集計し、前記複数のマットＭのうち最も多く抽出された店舗に関するマットＭが撮像画像に含まれていると判断する。

これにより、複数の手法で比較した結果に基づき、マットＭが含まれていることが判断される。そのため、１つの手法のみで判断した場合よりも、判断精度が向上する。

本実施形態において、
ＣＰＵ２１は、複数の手法により抽出された画像の総数に占める、最も多く抽出された店舗に関する画像の数の割合が所定割合以上のときに、撮像画像に最も多く抽出された店舗に関するマットＭが含まれていると判断する。

これにより、最も多く抽出された店舗に関する画像の数の割合が所定割合未満のときは、他の店舗に関する画像の数の割合との差が少ないことが考えられる。この場合、判断に誤りが生じる可能性がある。そこで、本実施形態では、複数の手法により抽出された画像の総数に占める、最も多く抽出された店舗に関する画像の数の割合が所定割合以上のときに、撮像画像に最も多く抽出された店舗に関するマットＭが含まれていると判断する。これにより、判断の誤りを抑制することができる。

（実施形態２）
実施形態１の情報検索システムでは、施設関連所定物が、店舗の入口の前に配置されたマットである場合について説明した。しかし、施設関連所定物は、マットに限らない。図１８に示すように、施設関連所定物は、例えば、店舗の外壁等に配置された看板Ｋであってもよい。この場合、マスター画像データベース４３及び変換後画像データベース４４に、マットの画像に代えて、看板Ｋに関する画像を記憶させておけばよい。図１８は、実施形態２の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。具体的に、施設関連所定物が看板Ｋの場合にカメラで撮像された画像Ｇに情報Ｊを重畳して表示した例を示す図である。サーバ２００は、看板Ｋに基づいて、実施形態１同様、店舗決定処理を行う。なお、マスター画像データベース４３及び変換後画像データベース４４に登録するための画像は、実施形態１同様に、所定の複数の方向から撮像し、これらの撮像した画像を変換して生成すればよい。

本実施形態において、
施設関連所定物は看板Ｋである。

これにより、もともと店舗に備えられていることが多い看板Ｋを利用して、現在位置に関連する種々の情報Ｊをユーザに提供することができる。

（実施形態３）
実施形態１の情報検索システムでは、施設関連所定物が、店舗の入口の前に配置されたマットである場合について説明し、実施形態２の情報検索システムでは、施設関連所定物が外壁等に配置された看板である場合について説明した。しかし、施設関連所定物は、図１９に示すように、マットＭと看板Ｋの両方であってもよい。図１９は、実施形態３の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。具体的に、施設関連所定物がマット及び看板の場合にカメラで撮像された画像Ｇに情報Ｊを重畳して表示した例を示す図である。この場合、サーバ２００には、マットＭ用のマスター画像データベース４３及び変換後画像データベース４４と、看板用Ｋのマスター画像データベース及び変換後画像データベースを設ければよい。そして、マットＭと看板Ｋのそれぞれに基づいて、店舗決定処理を行い、いずれかに基づいて店舗が決定されたときに、店舗情報を携帯情報端末１００に送信するようにしてもよい。

本実施形態において、
施設関連所定物はマットＭ及び看板Ｋである。

これにより、もともと店舗に備えられていることが多いマットＭ及び看板Ｋを利用して、現在位置に関連する種々の情報をユーザに提供することができる。

（実施形態４）
実施形態１では、店舗の入口の前に配置された１つのマットに基づいて、当該マットが配置された店舗を決定する。本実施形態では、複数の店舗の入口の前にそれぞれ配置された複数のマットに基づいて、店舗決定処理に加え、ユーザ（撮影者）の位置情報及びユーザの属性情報等を求める処理を行う。

図２０、図２１、図２２、図２３を参照して当該処理の一例について説明する。図２０は、２つのマットに基づいてユーザの現在位置を決定することを説明するための図である。図２１は、変換後画像のそれぞれに対応させて当該画像の撮影角度（水平方向）情報を記憶させていることを説明するための図である。図２２は、マットの撮像画像に基づく撮影角度（垂直方向）の推定を説明する図である。図２３は、２つのマットの撮像画像に基づくユーザの属性の推定を説明する図である。

サーバ２００は、カメラ１２で撮像した画像に、図２０に示すように、例えば、２つのマットＭ１、Ｍ２が存在している場合、各マットＭ１、Ｍ２について、各マットＭ１、Ｍ２がどの店舗のマットであるかを決定する。マットＭ１、Ｍ２には、前述のように、マットＭ１、Ｍ２の設置位置の緯度、経度が位置情報として関連付けられている。

（１）撮影者の位置情報
サーバ２００は、図２１に示すように、変換後画像（マスター画像と同じ内容の画像を含む）のそれぞれに対応させて当該画像の撮影角度（水平方向）情報を記憶している。撮影角度は、例えば真北を基準とする絶対角度で登録されている。サーバ２００は、撮像画像と一致した変換後画像の撮影角度を店舗情報データベース４５からそれぞれ読み出す。サーバ２００は、一致した変換後画像の位置情報及び撮影角度情報に基づいて、ユーザの位置情報（緯度、経度）を求める。

そして、例えば、サーバ２００は、求めた位置情報（緯度、経度）を、通信回線３００を介して、携帯情報端末１００に送信する。携帯情報端末１００は、受信した現在位置情報に基づいて、ユーザの現在位置を携帯情報端末１００の地図上に表示させる。

サーバ２００は、求めた位置情報（緯度、経度）に基づいて、例えば、当該位置近辺の店舗情報等を送信してもよい。

（２）ユーザ（撮影者）の属性情報
図２２は、マットの変形度と撮影角度（距離）との関係を説明する図である。撮像画像上におけるマットの変形度（縦横比）は、マットの撮影角度（距離）により変化する。例えば、マットＭ１の撮影角がθ１のときは撮像画像上におけるマットＭ１はＭ１ａのように変形し、マットＭ１の撮影角がθ２のときは撮像画像上におけるマットＭ１はＭ１ｂのように変形する。これを利用して、図２３に示すように、本実施形態のサーバ２００は、撮像された画像に含まれるマットＭ１、Ｍ２の変形度に基づいて、各マットＭ１、Ｍ２の撮影角度（垂直方向）θＡ、θＢを求める。サーバ２００は、（１）で求めた撮影者の位置情報とマットＭ１、Ｍ２の位置情報とに基づいて、撮影者と各マットＭ１、Ｍ２との間の距離Ｄ１、Ｄ２を求める。サーバ２００は、撮影者と各マットＭ１、Ｍ２との間の距離Ｄ１、Ｄ２と、マットの撮影角度（垂直方向）θＡ、θＢとに基づいて、撮影時のカメラ１２の高さＨを求める。サーバ２００は、求めた高さＨに基づいて、ユーザの属性情報を推定する。例えば、サーバ２００は、カメラ１２の高さＨが第１の所定高さ以上であれば、成人男性と推定し、カメラ１２の高さＨが第１の所定高さよりも低く、かつ第１の所定高さよりも低い第２の所定高さ以上であれば、成人女性と推定し、第２の所定高さ以下であれば、子供と推定する。

サーバ２００は、推定したユーザの属性情報に基づいて、ユーザの属性に対応する店舗情報を選択的に取得する。

図２４は、ＨＤＤ２２に記憶された店舗情報データベース４５の構成を示す図である。店舗情報データベース４５は、図８に示す情報に加え、撮影者属性を記憶している。サーバ２００は、決定した店舗名、推定した撮影者属性に基づいて、店舗情報データベース４５から店舗名及び撮影者属性に対応する店舗情報を取得する。例えば、決定した店舗名がＡ店で、推定した撮影者属性が女性である場合、「チョコドーナツ ５０円引き」という販促情報を取得する。サーバ２００は、取得した店舗情報を、当該ユーザの携帯情報端末１００に送信する。携帯情報端末１００は、受信した店舗情報のうち例えば販促情報を、カメラ１２で撮像した画像に重畳して表示させる。

本実施形態に係る、ユーザ（撮影者）の位置情報及びユーザ属性情報等を求める処理は、図１４のフローチャートのステップＳ２６とステップＳ２７との間において、ステップＳ２６Ｂとして実行すればよい。また、ステップＳ２３とステップＳ２４との間において、ステップＳ２３Ｂとして実行すればよい。

（その他の実施形態）
前記各実施形態では、携帯情報端末１００がスマートフォンである場合について説明した。カメラ１２は、スマートフォン等の携帯情報端末に備えられたものであったが、これに限定されない。カメラは、例えば、ネット接続可能な、Ｇｏｏｇｌｅ（登録商標）グラスなどのスカウター型ツール、コンパクトデジタルカメラ、一眼レフカメラ等であってもよい。

また、前記各実施形態では、対象施設が店舗である場合について説明したが、これに限定されない。本発明は、報知してもよい情報を有する種々の施設を対象施設とすることができる。

例えば、対象施設は、都道府県庁、市役所、町村役場、その他の官公庁施設であってもよい。また、対象施設は、小学校、中学校、高校、大学、専門学校、その他の教育施設であってもよい。あるいは、対象施設は、老人ホーム、病院等の施設であってもよい。店舗以外の対象施設の場合、上記各実施形態における店舗情報データベースに代えて、対象施設に関するデータベース（対象施設情報データベース）を設ければよい。対象施設情報データベースには、対象施設に対応させて、少なくとも、対象施設に関して報知させたい所定の情報（対象施設情報）を記憶させておけばよい。また、対象施設情報データベースには、位置情報や対象施設の階数情報を記憶させておいてもよい。なお、上記のような種々のカテゴリの対象施設のうちの複数または全てのカテゴリの対象施設を対象とする場合、対象施設情報データベースは、対象とする全ての対象施設に関する対象施設情報を含むように構成すればよい。

一例として、対象施設が官公庁施設の場合について説明する。この場合、官公庁施設の入口の前にマット等の施設関連所定物を設置するとともに、対象施設情報データベースに対象施設情報として例えばご当地キャラクタ画像や観光案内情報を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、対象施設情報をサーバ２００から出力して、携帯情報端末１００の表示部に、ご当地キャラクタ画像や観光案内情報を表示させるようにしてもよい。

なお、前記実施形態１〜３においては、店舗情報データベース（対象施設情報データベース）に、位置情報として、店舗においてマット（施設関連所定物）が設置された位置の情報を記憶させているが、マット（施設関連所定物）の位置情報に代えて、店舗（対象施設）の位置情報（対象施設が所在する位置の緯度、経度等の情報）を記憶させてもよい。これによっても、ユーザの現在位置とほぼ等しい位置を、ユーザに対して報知することができる。

また、本発明においては、施設関連所定物が設置される対象施設として、建築物だけでなく、建築物内のテナント施設、建築物内の通路、複数の建築物間の通路、テント等の仮設施設等を設定することができる。例えば、対象施設として店舗内の通路を設定してもよく、この場合、店舗内の通路上にマット等の施設関連所定物を設置するとともに、対象施設情報データベースに対象施設情報として例えば当該通路近傍に陳列されている商品に関する情報を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、当該通路近傍に陳列されている商品に関する情報を表示してもよい。また、対象施設として、複数のテナントが入居するショッピングモールやデパート等の大規模商業施設等の通路を設定してもよい。この場合、対象施設情報データベースに対象施設情報としてショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、対象施設情報をサーバ２００から出力して、携帯情報端末１００の表示部に、ショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を表示させるようにしてもよい。

また、対象施設は、建築物等の内外に設置される種々の設備であってもよい。例えば、対象施設としての設備は、店舗内に配置される商品陳列棚であってもよい。この場合、商品陳列棚の前にマットを設置するとともに、対象施設情報データベースに対象施設情報として例えば商品陳列棚に陳列されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、商品陳列棚に陳列されている商品の情報をサーバ２００から出力して、携帯情報端末１００の表示部に表示させるようにしてもよい。

また、対象施設としての設備は、例えば、自動販売機であってもよい。この場合、自動販売機の前にマットを設置するとともに、対象施設情報データベースに対象施設情報として例えば自動販売機で販売されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、自動販売機で販売している商品の情報をサーバ２００から出力して、携帯情報端末１００の表示部に表示させるようにしてもよい。

また、前記各実施形態では、施設関連所定物がマットＭや看板Ｋである場合について説明したが、これに限定されない。

例えば、施設関連所定物は、店舗等の対象施設の入口であってもよい。店舗等の入口は、観音開き式の２枚扉となっている場合が多いが、２枚の扉の間には隙間が存在する。この隙間と２枚扉から画像マッチング対象の店舗の入口であることを認識することができる。また、施設関連所定物は、店舗等の対象施設の外観であってもよい。例えば、店舗は、店舗毎に固有の外観を有していることが多いので、店舗の特定を行いやすい。

また、施設関連所定物は、対象施設に貼り付けるシールであってもよい。シールには、対象施設毎に異なる図柄や文字の少なくとも一方を描いておけばよい。シールは対象施設に貼り付けるだけで、施設関連所定物として利用することができる。施設関連所定物をシールとすることにより、マット等を設置できない場合でも、本発明の情報検索方法を適用することができる。

なお、施設関連所定物がマットＭや看板Ｋ以外のものである場合、マスター画像データベース４３及び変換後画像データベース４４に、マットＭや看板Ｋの画像に代えて、施設関連所定物に関する画像を記憶させておけばよい。なお、マスター画像データベース４３及び変換後画像データベース４４に登録するための画像は、実施形態１同様に、所定の複数の方向から撮像し、これらの撮像した画像を変換して生成すればよい。

また、本実施形態では、撮像された画像Ｇに、情報Ｊ及び枠を重畳して表示する例を説明したが、これに限らない。例えば、情報Ｊに関する文字のみを表示してもよい。また、情報の表示とともに音声により情報を伝達するようにしてもよい。この場合、スマートフォン等の携帯情報端末にほぼ標準的に実装されているスピーカから音声を発生させればよい。さらに、マットＭ上にあたかも店員が存在しているかのように、店員のキャラクタを表示させるとともに、情報Ｊの表示を行ったり、当該キャラクタが喋っているかのように音声を発生させたりしてもよい。店舗においては、通常、マットＭは店舗の入口に配置されるので、上記のように、マットＭ上に店員を表示させることにより、店舗の入口を案内することにもなる。

また、実施形態４では、ユーザ（撮影者）の属性情報をカメラ１２で撮像した画像に基づいて取得するが、携帯情報端末のユーザが当該端末に登録されている個人情報の利用を許可するときは、登録されている個人情報と、上記処理により決定された店舗名とに基づいて、サーバから情報を取得すればよい。その場合、サーバに、利用する個人情報に対応させてセール情報等を保存しておいてもよい。

１１ 表示部
１２ カメラ
１３ 操作部
１４ タッチパネル
１５ ＣＰＵ
１６ ＲＯＭ
１７ ＲＡＭ
１８ 通信インタフェース
２１ ＣＰＵ
２２ ＨＤＤ
２３ ＲＡＭ
２４ 通信インタフェース
１００ 携帯情報端末
２００ サーバ
３００ 通信回線

Claims (9)

1. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
   複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
   前記複数のマットに関する画像のそれぞれに対応させて、当該マットが設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
   前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得手段と、
   前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断手段と、
   前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットが設置された対象施設に関連する情報を前記対象施設関連情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する出力手段と、
   前記画像記憶手段に、マットに関する画像を記憶させる制御手段と、を備え、
   前記制御手段は、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
   情報検索装置。
2. 各マットの設置位置または各対象施設の所在位置に関する情報を記憶する位置情報記憶手段と、
   前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を前記位置情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する第２出力手段とを、さらに備える、
   請求項１記載の情報検索装置。
3. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
   複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
   各マットの設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
   前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得手段と、
   前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断手段と、
   前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を前記位置情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する出力手段と、
   前記画像記憶手段に、マットに関する画像を記憶させる制御手段と、を備え、
   前記制御手段は、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
   情報検索装置。
4. 前記制御手段は、矩形のマットを、その所定の３辺に対してそれぞれ直交する３種類の撮像方向から予め撮像した３個のマスター画像に基づいて、前記３種類の撮像方向のうち互いに直行する２種類の撮像方向の間を３等分した方向から見た形状に変換した変換後画像を生成し、
   互いに直行する２種類の撮像方向の間の方向から見た変換後画像は、前記互いに直行する２種類の撮像方向のうち、生成する変換後画像の方向との為す角度が小さい方の撮像方向のマスター画像に基づいて生成される、
   請求項１から請求項３のいずれか１項に記載の情報検索装置。
5. 前記判断手段は、前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている画像とを複数の手法を用いて比較し、手法毎に、一定程度類似する画像を抽出し、抽出した画像の数を対象施設毎に集計し、前記複数のマットのうち最も多く抽出された対象施設に関するマットが前記撮像画像に含まれていると判断する、
   請求項１から請求項４のいずれか１項に記載の情報検索装置。
6. 前記判断手段は、複数の手法により抽出された画像の総数に占める、最も多く抽出された対象施設に関する画像の数の割合が所定割合以上のときに、前記撮像画像に前記最も多く抽出された対象施設に関するマットが含まれていると判断する、
   請求項５に記載の情報検索装置。
7. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、情報検索装置が通信回線を介して情報を提供する、情報検索方法であって、
   前記情報検索装置は、
   複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
   前記複数のマットに関する画像のそれぞれに対応させて、当該マットが設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
   ＣＰＵとを備えたものであり、
   前記ＣＰＵが、前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得ステップと、
   前記ＣＰＵが、前記画像取得ステップで取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断ステップと、
   前記ＣＰＵが、前記判断ステップにより前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、前記対象施設関連情報記憶手段から当該含まれているマットが設置された対象施設に関連する情報を読み出して、前記通信回線を介して前記情報端末に出力する出力ステップと、
   前記ＣＰＵが、前記画像記憶手段に、マットに関する画像を記憶させる画像記憶ステップと、を含み、
   前記画像記憶ステップにおいて、前記ＣＰＵは、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
   情報検索方法。
8. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、情報検索装置が通信回線を介して情報を提供する、情報検索方法であって、
   前記情報検索装置は、
   複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
   各マットの設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
   ＣＰＵとを備えたものであり、
   前記ＣＰＵが、前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得ステップと、
   前記ＣＰＵが、前記画像取得ステップで取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断ステップと、
   前記ＣＰＵが、前記判断ステップにより前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、前記位置情報記憶手段から、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を読み出して、前記通信回線を介して前記情報端末に出力する出力ステップと、
   前記ＣＰＵが、前記画像記憶手段に、マットに関する画像を記憶させる画像記憶ステップと、を含み、
   前記画像記憶ステップにおいて、前記ＣＰＵは、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
   情報検索方法。
9. コンピュータを、請求項７または請求項８に記載の情報検索方法の各ステップを実行する手段として機能させるプログラム。

Images