JP5735071B2 - 情報検索装置、情報検索方法、及び情報検索プログラム - Google Patents

情報検索装置、情報検索方法、及び情報検索プログラム Download PDF

Info

Publication number
JP5735071B2
JP5735071B2 JP2013201815A JP2013201815A JP5735071B2 JP 5735071 B2 JP5735071 B2 JP 5735071B2 JP 2013201815 A JP2013201815 A JP 2013201815A JP 2013201815 A JP2013201815 A JP 2013201815A JP 5735071 B2 JP5735071 B2 JP 5735071B2
Authority
JP
Japan
Prior art keywords
image
information
mat
target facility
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013201815A
Other languages
English (en)
Other versions
JP2015069319A (ja
Inventor
公哉 松野
公哉 松野
智也 上出
智也 上出
忍 平嶺
忍 平嶺
麻冬 西端
麻冬 西端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duskin Co Ltd
Original Assignee
Duskin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duskin Co Ltd filed Critical Duskin Co Ltd
Priority to JP2013201815A priority Critical patent/JP5735071B2/ja
Publication of JP2015069319A publication Critical patent/JP2015069319A/ja
Application granted granted Critical
Publication of JP5735071B2 publication Critical patent/JP5735071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、撮像画像を利用して情報を検索する情報検索装置、情報検索方法、及び情報検索プログラムに関する。
従来、現在地近辺に存在する店舗に関する情報を提供するシステムとして、ユーザの携帯情報端末等のGPS機能によって取得されたユーザの現在位置に関する情報を取得し、取得した位置情報に基づいて現在地周辺の店舗情報を検索し、検索して得られた店舗情報をユーザの携帯情報端末に配信するシステムがある(特許文献1参照)。
特開2012−3428号公報
携帯情報端末のGPS機能によって得られる現在位置は例えば十数m程度の誤差を含む。そのため、例えば、現在位置にある店舗とは異なる店舗に関する情報がユーザの携帯情報端末に配信される場合がある。また、GPS衛星からの電波は微弱である。そのため、屋内ではGPSを利用した現在位置の特定は不可能である。したがって、例えば、デパートやショッピングモール等の店舗の内部に存在する店舗に関しては、当該店舗の位置において、当該店舗に関する情報を配信することは不可能であった。
本発明は、GPSを利用しなくても、現在位置に関連する種々の情報をユーザに提供可能な情報検索装置、情報検索方法、及び情報検索プログラムを提供することを課題とする。
本発明の第1の態様に係る情報検索装置は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段と、
複数の施設関連所定物に関する画像のそれぞれに対応させて、当該施設関連所定物が設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得手段と、
画像取得手段で取得された撮像画像と画像記憶手段に記憶されている画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断手段と、
判断手段により撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、当該含まれている施設関連所定物が設置された対象施設に関連する情報を対象施設関連情報記憶手段から読み出して、通信回線を介して情報端末に出力する出力手段と、を備える。
本発明の第2の態様に係る情報検索装置は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段と、
各施設関連所定物の設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
画像取得手段で取得された撮像画像と画像記憶手段に記憶されている画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断手段と、
判断手段により撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、当該含まれている施設関連所定物の設置位置または当該施設関連所定物に対応する対象施設の所在位置に関する情報を位置情報記憶手段から読み出して、通信回線を介して情報端末に出力する出力手段と、を備える。
本発明の第3の態様に係る情報検索方法は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索方法であって、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得ステップと、
画像取得ステップで取得された撮像画像と、複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段に記憶されている各画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断ステップと、
判断ステップにより撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、複数の施設関連所定物の画像のそれぞれに対応させて、当該施設関連所定物が設置された対象施設に関連する情報を記憶している対象施設関連情報記憶手段から当該含まれている施設関連所定物が設置された対象施設に関連する情報を読み出して、通信回線を介して情報端末に出力する出力ステップと、を含む。
本発明の第4の態様に係る情報検索方法は、
画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索方法であって、
撮像手段で撮像された撮像画像を通信回線を介して取得する画像取得ステップと、
画像取得ステップで取得された撮像画像と、複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有する施設関連所定物に関する画像を記憶する画像記憶手段に記憶されている各画像とを比較し、撮像画像に複数の施設関連所定物のいずれかが含まれているか否かを判断する判断ステップと、
判断ステップにより撮像画像に複数の施設関連所定物のいずれかが含まれていると判断されたときは、各施設関連所定物の設置位置または各対象施設の所在位置に関する情報を記憶している位置情報記憶手段から、当該含まれている施設関連所定物の設置位置または当該施設関連所定物に対応する対象施設の所在位置に関する情報を読み出して、通信回線を介して情報端末に出力する出力ステップと、を含む。
本発明の第5の態様に係る情報検索プログラムは、
コンピュータを、本発明の第3の態様または第4の態様の情報検索方法の各ステップを実行する手段として機能させる。
本発明に係る情報検索装置、情報検索方法、及び情報検索プログラムによれば、撮像手段で撮像された画像に複数の施設関連所定物のいずれかが含まれているときは、表示手段に、当該含まれている施設関連所定物が設置された対象施設に関連する情報が表示される。または、当該含まれている施設関連所定物が設置された対象施設の設置位置に関する情報が出力される。したがって、GPSを利用しなくても、現在位置に関する種々の情報をユーザに提供することができる。
実施形態1の情報検索システムの構成図である。 携帯情報端末の外観図である。 携帯情報端末の構成を示すブロック図である。 携帯情報端末のROMに記憶された内容を示す図である。 サーバの構成を示すブロック図である。 サーバのHDDに記憶された内容を示す図である。 携帯情報端末の表示部に表示された画像を示す図である。 サーバのHDDに記憶された店舗情報データベースの構成を示す図である。 サーバのHDDに記憶されたマスター画像データベースの構成を示す図である。 サーバのHDDに記憶された変換後画像データベースの構成を示す図である。 マスター画像の撮像方向及び変換後画像の撮像方向を示す図である。 変換後画像の例を示す図である。 マット画像登録処理のフローチャートである。 店舗決定処理のフローチャートである。 店舗絞り込み処理のフローチャートである。 抽出された画像の一覧を示す図である。 抽出された全画像数に占める各店舗の画像数の割合を示す図である。 実施形態2の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。 実施形態3の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。 2つのマットに基づいてユーザの現在位置を決定することを説明するための図である。 実施形態4の情報検索システムにおいて、変換後画像のそれぞれに対応させて当該画像の撮影角度(水平方向)情報を記憶させていることを説明するための図である。 マットの撮像画像に基づく撮影角度(垂直方向)の推定を説明する図である。 2つのマットの撮像画像に基づくユーザの属性の推定を説明する図である。 サーバのHDDに記憶された店舗情報データベースの構成を示す図である。
本発明の実施形態に係る情報検索装置、情報検索方法、及び情報検索プログラムについて図面を参照して説明する。
(実施形態1)
1.構成
図1は、実施形態1に係る情報検索システムの構成図である。
本実施形態の情報検索システムは、携帯情報端末100と、サーバ200とを含む。携帯情報端末100とサーバ200とは、インターネット等の通信回線300を介して接続される。
1−1.携帯情報端末の構成
図2は、携帯情報端末100の外観図である。
携帯情報端末100の外面には、表示部11、カメラ12、及び操作部13が備えられている。表示部11の表面には、タッチパネル14が備えられている。本実施形態では、一例として、携帯情報端末100がスマートフォンである場合を示している。
図3は、携帯情報端末100の構成を示すブロック図である。
携帯情報端末100は、上記表示部11、カメラ12、操作部13及びタッチパネル14以外に、CPU15、ROM16、RAM17、及び通信インタフェース18(以後、適宜「通信I/F18」という)を備える。
CPU15は、演算処理を行う。
ROM16は、CPU15で演算処理されるプログラムや種々のデータを記憶する。
RAM17は、CPU15がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。
表示部11は、CPU15から出力される表示用の画像データに基づく画像を表示する。表示部11は、例えば液晶ディスプレイパネルや有機ELディスプレイパネルである。
操作部13は、複数のボタンを有する。ボタンは、例えば押しボタン式のスイッチであり、機能選択や機能実行の指示を行うことができる。
タッチパネル14は、平面状のポインティングデバイスである。タッチパネル14は、表示部11の表示面に重ねて設けられ、ユーザによりタッチされた位置に関する信号を出力する。
カメラ12は、被写体を撮像して画像データを生成する。
通信I/F18は、サーバ200等の外部機器との間で通信を行うためのインタフェースである。通信I/F18は、W−CDMA、LTE、Wimax等の通信規格、無線LAN等の通信規格に対応する。
図4は、携帯情報端末100のROM16に記憶された内容を示す図である。
ROM16には、オペレーティングシステム31(以後、適宜「OS31」という)、アプリケーションプログラム32、及び種々のデータ33が記憶されている。
1−2.サーバの構成
図5は、サーバ200の構成を示すブロック図である。
サーバ200は、CPU21、ハードディスクドライブ22(HDD22)、RAM23、及び通信インタフェース24(以後、適宜「通信I/F24」という)を備える。
CPU21は、演算処理を行う。
HDD22は、CPU21で演算処理されるプログラム及び種々のデータを記憶する。
RAM23は、CPU21がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。
図6は、サーバ200のHDD22に記憶された内容を示す図である。
HDD22には、オペレーティングシステム41(以下、適宜「OS41」という)、アプリケーションプログラム42、マスター画像データベース43、変換後画像データベース44、及び店舗情報データベース45が記憶されている。
図7は、本実施形態の情報検索システムを構成する携帯情報端末100の表示部11に表示された画像を示す図である。
本実施形態の情報検索システムは、図7に示すように、携帯情報端末100のカメラ12で撮像された画像Gに予め登録された所定のマットMが含まれるときに、当該マットMに関連付けられた情報Jを、撮像された画像Gに重畳して表示させる。なお、本実施形態では、店舗の情報Jを枠内に表示させる場合について説明する。マットMの表面の模様は、店舗毎に異なっている。
図8は、HDD22に記憶された店舗情報データベース45の構成を示す図である。
店舗情報データベース45は、店舗毎に、販促情報、位置情報、及び階数情報を記憶している。販促情報は、例えばその店舗におけるバーゲンセール等の情報である。位置情報は、例えばその店舗においてマットMが設置された位置の緯度、経度等の情報である。階数情報は、当該店舗がデパート、ショッピングモール等の複数階を有する建物内に存在している場合に、当該店舗が存在するフロア(階数)に関する情報である。
図9は、サーバ200のHDD22に記憶されたマスター画像データベース43の構成を示す図である。
マスター画像データベース43は、店舗の入口に配置されたマットMを撮像して得られたマスター画像を記憶している。マスター画像は、店舗の入口に配置されたマットMを所定の複数の方向から撮影して得られた画像である。
図10は、サーバ200のHDD22に記憶された変換後画像データベース44の構成を示す図である。
変換後画像データベース44は、マスター画像に対して所定の変換処理を施して得られた複数の変換後画像を記憶している。なお、変換後画像データベース44は、マスター画像と同内容の画像についても記憶している。所定の変換処理は、マスター画像に基づいて、マットMをマスター画像の撮像方向とは異なる方向から見た画像を生成する処理である。この変換処理は、例えば、フーリエ変換等を利用した公知の画像変換技術を利用して行うことができる。
図11は、マスター画像の撮像方向及び変換後画像の撮像方向を示す図である。
マスター画像は、矩形のマットMの所定の3辺に対して直交するA0、B0及びC0の3方向から撮像される。
変換後画像は、マスター画像に含まれるマットMの形状を、方向A1、A2、A3、A4、B1,C1から見た形状に変換させた画像である。方向A1、A2は、方向AOと水平方向の角度は同じであるが、垂直方向の仰俯角が異なる。方向A3、A4、B1,C1の角度は、方向A0とB0の間、及び方向A0とC0の間を3等分した角度に設定されている。
図12は、マスター画像及び変換後画像の一例を示す図である。図12(a)は、A0方向から撮像したマスター画像を示す。図12(b)は、A0方向から撮像したマスター画像を、方向A1から見た形状に変換した変換後画像を示す。図12(c)は、A0方向から撮像したマスター画像を、方向A2から見た形状に変換した変換後画像を示す。図12(d)は、A0方向から撮像したマスター画像を、方向A3から見た形状に変換した変換後画像を示す。図12(e)は、A0方向から撮像したマスター画像を、A4方向から見た形状に変換した変換後画像を示す。B1方向から見た形状に変換した変換後画像は、B0方向から撮像したマスター画像に基づいて生成される。C1方向から見た形状に変換した変換後画像は、C0方向から撮像したマスター画像に基づいて生成される。
マットMを複数の方向から見た変換後画像を登録しておくのは以下の理由による。現地においてマットMを撮像した場合、撮像画像上におけるマットMの形状は、見る方向や、見る高さ、マットまでの距離等によって大きく変化する。マットMを複数の方向から見た変換後画像を登録しておくことにより、後述するようにカメラMで撮像された画像中に含まれるマットと変換後画像との比較による店舗決定処理を行う際に、マッチングする確率が高くなる。また、多方向から見た多くの画像を撮像する手間を省くことができる。
また、マットMは、多くの来店客により踏まれるため、毛足が倒れやすい。また、マットMには、泥が付着している場合がある。データベースに登録された比較用のマットMの画像が所定の一方向から撮影したもののみの場合、現地で前記所定の一方向からユーザにより撮像された撮像画像中のマットMに上記のような毛足の倒れが生じていると、マットMの模様を認識できず、マットMに基づいて店舗を特定できない可能性がある。しかし、本実施形態では、上述のように、比較用のマットMの画像として撮影角度の異なる複数の画像を記憶している。そのため、ある方向からではマットMの模様を認識できなくても、他の方向からマットMの模様を認識できる確率が高くなる。これにより、マットMに基づいて店舗を決定できる確率が高くなる。
2.動作
本実施形態における情報検索システムは、店舗の入口の前に配置されたマットMの画像を取得及び登録する処理(マットM画像登録処理)、及び携帯情報端末100で撮像された画像に基づく店舗決定処理を行う。これらの処理は、携帯情報端末100に記憶されているアプリケーションプログラム32がCPU15上で実行されることにより、及びサーバ200に記憶されているアプリケーションプログラム42がCPU21上で実行されることにより、実現される。
まず、マット画像登録処理について説明する。図13は、マット画像登録処理のフローチャートである。
店舗関連のユーザは、マットMの導入時、図11で説明したA0、B0、C0の3方向からマットMを撮像する。撮影の際、利用するカメラは、マットMの識別を実行可能な所定の解像度以上のデジタル画像を生成できるカメラであれば、どのようなカメラでもよい。ユーザは、撮像した3つの画像データをサーバ200に送信するため、操作部13または表示部11に表示された操作ボタンを操作して、撮像した画像データをサーバ200に送信する。
サーバ200は、携帯情報端末100から受信したA0、B0、C0の3方向から撮像した画像を、マスター画像としてマスター画像データベース43に登録する(S11)。
サーバ200は、A0、B0、C0の3方向から撮像した画像データに対して所定の変換処理を行うことにより、マスター画像に含まれるマットMの形状を、方向A1、A2、A3、A4、B1,C1から見た形状に変換した画像を生成する(S12)。形状変換のための所定の変換処理は、公知の種々の方法が利用可能である。
サーバ200は、生成された、方向A1、A2、A3、A4、B1、C1から見た形状に変換された画像を変換後画像データベース44に登録する(S13)。
次に、店舗決定処理について説明する。図14は、店舗決定処理のフローチャートである。携帯情報端末100において、当該アプリケーションプログラム32が起動している状態において、カメラ12を作動させることにより、以下の動作が行われる。
携帯情報端末100は、カメラ12で撮像された画像を、所定周期でサーバ200に送信する(S21)。所定周期は例えば1秒であるが、これより短くても、長くてもよい。短くすれば、店舗決定処理が迅速に進むこととなる。一方、長くすれば、サーバ200が多くの携帯情報端末100との間で店舗決定処理を行う際のサーバ200の負荷を軽減することができる。
サーバ200は、携帯情報端末100から受信した撮像画像と、変換後画像データベース44に記憶されている全ての変換後画像とを比較する処理(画像マッチング処理)を行い、撮像画像に一定程度以上類似する変換後画像を抽出する(S22)。なお、サーバ200は、複数の画像マッチング手法を用いて、マッチング処理を繰り返し実行する。このように異なる画像マッチング手法を用いて繰り返しマッチング処理を行った場合、撮像画像に類似する変換後画像については、同一の変換後画像が複数回抽出される場合がある。撮像画像に変換後画像が一定程度以上類似しているか否かの判断は、撮像画像と変換後画像とのマッチングの結果得られる一致度が、各マッチング処理においてそれぞれ定められた第1一致度以上であるか否かに基づいて行う。
画像マッチングの手法としては、公知の手法が利用可能である。本実施形態では、画像マッチングの手法として公知の特徴ベースマッチング及び4種類の領域ベースマッチングを併用する。4種類の領域ベースマッチングの手法としては、SAD(Sum of Absolute Differences)に基づく手法、SSD(Sum of Squared Differences)に基づく手法、NCC(Normalized Cross Correlation)に基づく手法、及びPOC(Phase−Only Correlation)に基づく手法を用いる。
サーバ200は、撮像画像と変換後画像とのマッチングの結果得られる一致度が、各マッチング処理においてそれぞれ定められた第2一致度以上の変換後画像が存在するか否かを判定する(S23)。第2一致度は、第1一致度より大きい値であり、変換後画像と撮像画像とが同一対象を撮像したものであるとほぼ断定できる一致度である。
両画像の一致度が第2一致度以上の変換後画像が存在する場合(S23でYES)、サーバ200は、最も一致度が高い変換後画像に対応する店舗情報(販促情報等)を店舗情報データベース45から取得する(S24)。
両画像の一致度が第2一致度以上の変換後画像が存在しない場合(S23でNO)、サーバ200は、店舗絞り込み処理を行う(S25)。
店舗絞り込み処理が完了すると、サーバ200は、店舗絞り込み処理により決定された店舗に関する店舗情報を取得する(S26)。
サーバ200は、ステップS24またはS26で取得した店舗情報を、携帯情報端末100に送信する(S27)。
携帯情報端末100は、上述の図7に示すように、サーバ200から受信した店舗情報に含まれる販促情報を、カメラ12で撮像した画像に重畳して表示部11に表示させる(S28)。図7は、例えば、「○△ドーナツ 本日チョコドーナツ50円引き」という情報Jを表示した例を示している。このように重畳表示させる技術としては、公知の拡張現実ARの技術が利用可能である。本実施形態では、携帯情報端末100は、マットMをマーカとして、販促情報を表示させることとなる。このとき、携帯情報端末100は、取得した店舗情報に含まれる位置情報及び階数情報に基づいて、現地付近の地図を表示させるとともに、地図上に当該店舗の位置を表示させてもよい。
次に、ステップS25の店舗絞り込み処理について詳しく説明する。図15は、店舗絞り込み処理のフローチャートである。図16は、複数種類のマッチング処理によって抽出された画像の一覧を示す図である。
抽出された画像には、対応する店舗を示す情報が記録されている。これにより、サーバ200は、対応する店舗を示す情報に基づいて、抽出された画像がどの店舗の画像であるかを把握することができる。
サーバ200は、図17に示すように、上記複数の画像マッチング手法を用いて抽出された変換後画像の数を店舗毎に集計し、店舗毎に、抽出された全画像の数に占める当該店舗において抽出された画像の数の割合を求める(S31)。
サーバ200は、求めた割合が所定割合以上の店舗が存在するか判定する(S32)。
求めた割合が所定割合以上の店舗が存在する場合(ステップS32でYESの場合)、サーバ200は、現在位置に存在する店舗として、求めた割合が所定割合以上の店舗のうち最も割合が高い店舗に決定する(S33)。例えば、所定割合が50%である場合、サーバ200は、図17において、店舗Aに決定する。
求めた割合が所定割合以上の店舗が存在しない場合(ステップS32でNOの場合)、サーバ200は、ステップS21に戻って処理を繰り返す。
なお、本実施形態では、ステップS21〜S27の処理をサーバ200側で行ったが、携帯情報端末100側で行ってもよい。この場合、マスター画像データベース43、変換後画像データベース44、及び店舗情報データベース45を携帯情報端末100側に記憶させておくとともに、アプリケーションプログラム42と同等の機能を有し、携帯情報端末100上で動作可能なプログラムを携帯情報端末100側に記憶させる。また、携帯情報端末100に記憶させるこれらのデータベース及びプログラムのマスターを記憶するサーバを設ける。携帯情報端末100は、記憶しているデータベース及びプログラムを必要に応じて、サーバに記憶されているデータベース及びプログラムに更新する。更新は、例えば、アプリケーションプログラムの起動時や、予め設定された所定の時間に、携帯情報端末100からサーバに更新情報を問い合わせることにより、あるいはサーバから携帯情報端末100に更新情報を送信することにより、行うことができる。
また、ステップS21〜S27の処理は、サーバ200と携帯情報端末100とで分担して行ってもよい。
3.まとめ
以上のように、本実施形態に係る情報検索システムのサーバ200は、
画像を撮像するカメラ12と、画像を表示する表示部11と、取得した情報の表示部11への表示を制御するCPU15と、を備えた携帯情報端末100に、通信回線300を介して情報を提供可能である。
サーバ200は、
複数の店舗(対象施設)のそれぞれに設置され、店舗毎に異なる特徴を有するマットM(施設関連所定物)に関する画像を記憶するHDD22(画像記憶手段)と、
複数のマットMに関する画像のそれぞれに対応させて、当該マットMが設置された店舗に関連する情報を記憶するHDD22(対象施設関連情報記憶手段)と、
カメラ12で撮像された撮像画像を通信回線300を介して取得するCPU21(画像取得手段)と、
取得した撮像画像とHDD22に記憶されている変換後画像とを比較し、撮像画像に複数のマットMのいずれかが含まれているか否かを判断するCPU21(判断手段)と、
撮像画像に複数のマットMのいずれかが含まれていると判断したときは、当該含まれているマットMに関連する情報をHDD22から読み出して、通信回線300を介して携帯情報端末100に出力するCPU21(出力手段)と、を備える。
本実施形態に係る情報検索システムのサーバ200によれば、カメラ12で撮像された画像に複数のマットMのいずれかが含まれているときは、当該含まれているマットMが設置された店舗に関連する情報が表示部11に表示される。したがって、GPSを利用しなくても、現在位置に関連する種々の情報をユーザに提供することができる。
例えば、ユーザが本実施形態に係るアプリケーションを起動させた状態で、携帯情報端末で風景を撮影しながら歩いているときに、マットMが画像中に検出されると、自動的にマットMが設置された店舗に関連する情報が風景の画像に重畳されて表示されることとなる。したがって、ユーザは現在位置に関連する店舗等の情報を容易に取得することができ、ユーザの利便性が向上することとなる。
本実施形態において、サーバ200は、
各マットMの設置位置に関する情報を記憶するHDD22(位置情報記憶手段)と、
CPU21により撮像画像に複数のマットMのいずれかが含まれていると判断されたときは、当該含まれているマットMの設置位置に関する情報をHDD22から読み出して、出力するCPU21(第2出力手段)を、さらに備える。
これにより、ユーザの現在位置を地図等に表示させることができる。
本実施形態において、
HDD22は、店舗毎に、マットMに関する画像として撮影角度の異なる複数の画像を記憶し、
CPU21は、カメラ12で撮像された撮像画像と、HDD22に記憶されている各マットMの各画像とを比較し、撮像画像に複数のマットMのいずれかが含まれているか否かを判断する。
マットMは、多くの来店客により踏まれるため、毛足が倒れやすい。また、マットMには、泥が付着している場合がある。データベースに登録された比較用のマットMの画像が所定の一方向から撮影したもののみの場合、現地でマットMを前記所定の一方向から撮像した撮像画像に上記のような毛足の倒れが生じていると、マットMに基づいて店舗を特定できない可能性がある。しかし、本実施形態では、上述のように、比較用のマットMの画像として撮影角度の異なる複数の画像を記憶している。そのため、ある方向からではマットMの模様を認識できなくても、他の方向からマットMの模様を認識できる確率が高くなる。これにより、マットMに基づいて店舗を決定できる確率が高くなる。
本実施形態に係る情報検索システムのサーバ200は、
画像を撮像するカメラ12と、画像を表示する表示部11と、取得した情報の表示部11への表示を制御するCPU15と、を備えた携帯情報端末100に、通信回線300を介して情報を提供可能である。
サーバ200は、
複数の店舗(対象施設)のそれぞれに設置され、店舗毎に異なる特徴を有するマットM(施設関連所定物)に関する画像を記憶するHDD22(画像記憶手段)と、
複数のマットMに関する画像のそれぞれに対応させて、当該マットMが設置された店舗に関連する情報を記憶するHDD22(対象施設関連情報記憶手段)と、
カメラ12で撮像された撮像画像を通信回線300を介して取得するCPU21(画像取得手段)と、
取得した撮像画像とHDD22に記憶されている変換後画像とを比較し、撮像画像に複数のマットMのいずれかが含まれているか否かを判断するCPU21(判断手段)と、
CPU21により撮像画像に複数のマットMのいずれかが含まれていると判断したときは、当該含まれているマットMの設置位置に関する情報をHDD22から読み出して、通信回線300を介して携帯情報端末100に出力するCPU21(出力手段)と、を備える。
本実施形態に係る情報検索システムのサーバ200によれば、カメラ12で撮像された画像に複数のマットMのいずれかが含まれているときは、当該含まれているマットMに基づいて、マットMの設置位置、つまりユーザの現在位置をほぼ特定することができる。したがって、本実施形態に係る情報検索システムは、マットMの設置位置の情報に基づいて、GPSを利用しなくても、現在位置に関連する種々の情報をユーザに提供することができる。
本実施形態において、
施設関連所定物はマットMである。
これにより、もともと店舗に備えられていることが多いマットMを利用して、現在位置に関連する種々の情報をユーザに提供することができる。
本実施形態において、
CPU21は、カメラ12で撮像された撮像画像とHDD22に記憶されている変換後画像とを複数の手法を用いて比較し、手法毎に、一定程度類似する画像を抽出し、抽出した画像の数を店舗毎に集計し、前記複数のマットMのうち最も多く抽出された店舗に関するマットMが撮像画像に含まれていると判断する。
これにより、複数の手法で比較した結果に基づき、マットMが含まれていることが判断される。そのため、1つの手法のみで判断した場合よりも、判断精度が向上する。
本実施形態において、
CPU21は、複数の手法により抽出された画像の総数に占める、最も多く抽出された店舗に関する画像の数の割合が所定割合以上のときに、撮像画像に最も多く抽出された店舗に関するマットMが含まれていると判断する。
これにより、最も多く抽出された店舗に関する画像の数の割合が所定割合未満のときは、他の店舗に関する画像の数の割合との差が少ないことが考えられる。この場合、判断に誤りが生じる可能性がある。そこで、本実施形態では、複数の手法により抽出された画像の総数に占める、最も多く抽出された店舗に関する画像の数の割合が所定割合以上のときに、撮像画像に最も多く抽出された店舗に関するマットMが含まれていると判断する。これにより、判断の誤りを抑制することができる。
(実施形態2)
実施形態1の情報検索システムでは、施設関連所定物が、店舗の入口の前に配置されたマットである場合について説明した。しかし、施設関連所定物は、マットに限らない。図18に示すように、施設関連所定物は、例えば、店舗の外壁等に配置された看板Kであってもよい。この場合、マスター画像データベース43及び変換後画像データベース44に、マットの画像に代えて、看板Kに関する画像を記憶させておけばよい。図18は、実施形態2の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。具体的に、施設関連所定物が看板Kの場合にカメラで撮像された画像Gに情報Jを重畳して表示した例を示す図である。サーバ200は、看板Kに基づいて、実施形態1同様、店舗決定処理を行う。なお、マスター画像データベース43及び変換後画像データベース44に登録するための画像は、実施形態1同様に、所定の複数の方向から撮像し、これらの撮像した画像を変換して生成すればよい。
本実施形態において、
施設関連所定物は看板Kである。
これにより、もともと店舗に備えられていることが多い看板Kを利用して、現在位置に関連する種々の情報Jをユーザに提供することができる。
(実施形態3)
実施形態1の情報検索システムでは、施設関連所定物が、店舗の入口の前に配置されたマットである場合について説明し、実施形態2の情報検索システムでは、施設関連所定物が外壁等に配置された看板である場合について説明した。しかし、施設関連所定物は、図19に示すように、マットMと看板Kの両方であってもよい。図19は、実施形態3の情報検索システムにおいて携帯情報端末の表示部に表示される画像の一例を示す図である。具体的に、施設関連所定物がマット及び看板の場合にカメラで撮像された画像Gに情報Jを重畳して表示した例を示す図である。この場合、サーバ200には、マットM用のマスター画像データベース43及び変換後画像データベース44と、看板用Kのマスター画像データベース及び変換後画像データベースを設ければよい。そして、マットMと看板Kのそれぞれに基づいて、店舗決定処理を行い、いずれかに基づいて店舗が決定されたときに、店舗情報を携帯情報端末100に送信するようにしてもよい。
本実施形態において、
施設関連所定物はマットM及び看板Kである。
これにより、もともと店舗に備えられていることが多いマットM及び看板Kを利用して、現在位置に関連する種々の情報をユーザに提供することができる。
(実施形態4)
実施形態1では、店舗の入口の前に配置された1つのマットに基づいて、当該マットが配置された店舗を決定する。本実施形態では、複数の店舗の入口の前にそれぞれ配置された複数のマットに基づいて、店舗決定処理に加え、ユーザ(撮影者)の位置情報及びユーザの属性情報等を求める処理を行う。
図20、図21、図22、図23を参照して当該処理の一例について説明する。図20は、2つのマットに基づいてユーザの現在位置を決定することを説明するための図である。図21は、変換後画像のそれぞれに対応させて当該画像の撮影角度(水平方向)情報を記憶させていることを説明するための図である。図22は、マットの撮像画像に基づく撮影角度(垂直方向)の推定を説明する図である。図23は、2つのマットの撮像画像に基づくユーザの属性の推定を説明する図である。
サーバ200は、カメラ12で撮像した画像に、図20に示すように、例えば、2つのマットM1、M2が存在している場合、各マットM1、M2について、各マットM1、M2がどの店舗のマットであるかを決定する。マットM1、M2には、前述のように、マットM1、M2の設置位置の緯度、経度が位置情報として関連付けられている。
(1)撮影者の位置情報
サーバ200は、図21に示すように、変換後画像(マスター画像と同じ内容の画像を含む)のそれぞれに対応させて当該画像の撮影角度(水平方向)情報を記憶している。撮影角度は、例えば真北を基準とする絶対角度で登録されている。サーバ200は、撮像画像と一致した変換後画像の撮影角度を店舗情報データベース45からそれぞれ読み出す。サーバ200は、一致した変換後画像の位置情報及び撮影角度情報に基づいて、ユーザの位置情報(緯度、経度)を求める。
そして、例えば、サーバ200は、求めた位置情報(緯度、経度)を、通信回線300を介して、携帯情報端末100に送信する。携帯情報端末100は、受信した現在位置情報に基づいて、ユーザの現在位置を携帯情報端末100の地図上に表示させる。
サーバ200は、求めた位置情報(緯度、経度)に基づいて、例えば、当該位置近辺の店舗情報等を送信してもよい。
(2)ユーザ(撮影者)の属性情報
図22は、マットの変形度と撮影角度(距離)との関係を説明する図である。撮像画像上におけるマットの変形度(縦横比)は、マットの撮影角度(距離)により変化する。例えば、マットM1の撮影角がθ1のときは撮像画像上におけるマットM1はM1aのように変形し、マットM1の撮影角がθ2のときは撮像画像上におけるマットM1はM1bのように変形する。これを利用して、図23に示すように、本実施形態のサーバ200は、撮像された画像に含まれるマットM1、M2の変形度に基づいて、各マットM1、M2の撮影角度(垂直方向)θA、θBを求める。サーバ200は、(1)で求めた撮影者の位置情報とマットM1、M2の位置情報とに基づいて、撮影者と各マットM1、M2との間の距離D1、D2を求める。サーバ200は、撮影者と各マットM1、M2との間の距離D1、D2と、マットの撮影角度(垂直方向)θA、θBとに基づいて、撮影時のカメラ12の高さHを求める。サーバ200は、求めた高さHに基づいて、ユーザの属性情報を推定する。例えば、サーバ200は、カメラ12の高さHが第1の所定高さ以上であれば、成人男性と推定し、カメラ12の高さHが第1の所定高さよりも低く、かつ第1の所定高さよりも低い第2の所定高さ以上であれば、成人女性と推定し、第2の所定高さ以下であれば、子供と推定する。
サーバ200は、推定したユーザの属性情報に基づいて、ユーザの属性に対応する店舗情報を選択的に取得する。
図24は、HDD22に記憶された店舗情報データベース45の構成を示す図である。店舗情報データベース45は、図8に示す情報に加え、撮影者属性を記憶している。サーバ200は、決定した店舗名、推定した撮影者属性に基づいて、店舗情報データベース45から店舗名及び撮影者属性に対応する店舗情報を取得する。例えば、決定した店舗名がA店で、推定した撮影者属性が女性である場合、「チョコドーナツ 50円引き」という販促情報を取得する。サーバ200は、取得した店舗情報を、当該ユーザの携帯情報端末100に送信する。携帯情報端末100は、受信した店舗情報のうち例えば販促情報を、カメラ12で撮像した画像に重畳して表示させる。
本実施形態に係る、ユーザ(撮影者)の位置情報及びユーザ属性情報等を求める処理は、図14のフローチャートのステップS26とステップS27との間において、ステップS26Bとして実行すればよい。また、ステップS23とステップS24との間において、ステップS23Bとして実行すればよい。
(その他の実施形態)
前記各実施形態では、携帯情報端末100がスマートフォンである場合について説明した。カメラ12は、スマートフォン等の携帯情報端末に備えられたものであったが、これに限定されない。カメラは、例えば、ネット接続可能な、Google(登録商標)グラスなどのスカウター型ツール、コンパクトデジタルカメラ、一眼レフカメラ等であってもよい。
また、前記各実施形態では、対象施設が店舗である場合について説明したが、これに限定されない。本発明は、報知してもよい情報を有する種々の施設を対象施設とすることができる。
例えば、対象施設は、都道府県庁、市役所、町村役場、その他の官公庁施設であってもよい。また、対象施設は、小学校、中学校、高校、大学、専門学校、その他の教育施設であってもよい。あるいは、対象施設は、老人ホーム、病院等の施設であってもよい。店舗以外の対象施設の場合、上記各実施形態における店舗情報データベースに代えて、対象施設に関するデータベース(対象施設情報データベース)を設ければよい。対象施設情報データベースには、対象施設に対応させて、少なくとも、対象施設に関して報知させたい所定の情報(対象施設情報)を記憶させておけばよい。また、対象施設情報データベースには、位置情報や対象施設の階数情報を記憶させておいてもよい。なお、上記のような種々のカテゴリの対象施設のうちの複数または全てのカテゴリの対象施設を対象とする場合、対象施設情報データベースは、対象とする全ての対象施設に関する対象施設情報を含むように構成すればよい。
一例として、対象施設が官公庁施設の場合について説明する。この場合、官公庁施設の入口の前にマット等の施設関連所定物を設置するとともに、対象施設情報データベースに対象施設情報として例えばご当地キャラクタ画像や観光案内情報を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、対象施設情報をサーバ200から出力して、携帯情報端末100の表示部に、ご当地キャラクタ画像や観光案内情報を表示させるようにしてもよい。
なお、前記実施形態1〜3においては、店舗情報データベース(対象施設情報データベース)に、位置情報として、店舗においてマット(施設関連所定物)が設置された位置の情報を記憶させているが、マット(施設関連所定物)の位置情報に代えて、店舗(対象施設)の位置情報(対象施設が所在する位置の緯度、経度等の情報)を記憶させてもよい。これによっても、ユーザの現在位置とほぼ等しい位置を、ユーザに対して報知することができる。
また、本発明においては、施設関連所定物が設置される対象施設として、建築物だけでなく、建築物内のテナント施設、建築物内の通路、複数の建築物間の通路、テント等の仮設施設等を設定することができる。例えば、対象施設として店舗内の通路を設定してもよく、この場合、店舗内の通路上にマット等の施設関連所定物を設置するとともに、対象施設情報データベースに対象施設情報として例えば当該通路近傍に陳列されている商品に関する情報を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、当該通路近傍に陳列されている商品に関する情報を表示してもよい。また、対象施設として、複数のテナントが入居するショッピングモールやデパート等の大規模商業施設等の通路を設定してもよい。この場合、対象施設情報データベースに対象施設情報としてショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を記憶させておき、撮像画像中に施設関連所定物が含まれていると判定したときに、対象施設情報をサーバ200から出力して、携帯情報端末100の表示部に、ショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を表示させるようにしてもよい。
また、対象施設は、建築物等の内外に設置される種々の設備であってもよい。例えば、対象施設としての設備は、店舗内に配置される商品陳列棚であってもよい。この場合、商品陳列棚の前にマットを設置するとともに、対象施設情報データベースに対象施設情報として例えば商品陳列棚に陳列されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、商品陳列棚に陳列されている商品の情報をサーバ200から出力して、携帯情報端末100の表示部に表示させるようにしてもよい。
また、対象施設としての設備は、例えば、自動販売機であってもよい。この場合、自動販売機の前にマットを設置するとともに、対象施設情報データベースに対象施設情報として例えば自動販売機で販売されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、自動販売機で販売している商品の情報をサーバ200から出力して、携帯情報端末100の表示部に表示させるようにしてもよい。
また、前記各実施形態では、施設関連所定物がマットMや看板Kである場合について説明したが、これに限定されない。
例えば、施設関連所定物は、店舗等の対象施設の入口であってもよい。店舗等の入口は、観音開き式の2枚扉となっている場合が多いが、2枚の扉の間には隙間が存在する。この隙間と2枚扉から画像マッチング対象の店舗の入口であることを認識することができる。また、施設関連所定物は、店舗等の対象施設の外観であってもよい。例えば、店舗は、店舗毎に固有の外観を有していることが多いので、店舗の特定を行いやすい。
また、施設関連所定物は、対象施設に貼り付けるシールであってもよい。シールには、対象施設毎に異なる図柄や文字の少なくとも一方を描いておけばよい。シールは対象施設に貼り付けるだけで、施設関連所定物として利用することができる。施設関連所定物をシールとすることにより、マット等を設置できない場合でも、本発明の情報検索方法を適用することができる。
なお、施設関連所定物がマットMや看板K以外のものである場合、マスター画像データベース43及び変換後画像データベース44に、マットMや看板Kの画像に代えて、施設関連所定物に関する画像を記憶させておけばよい。なお、マスター画像データベース43及び変換後画像データベース44に登録するための画像は、実施形態1同様に、所定の複数の方向から撮像し、これらの撮像した画像を変換して生成すればよい。
また、本実施形態では、撮像された画像Gに、情報J及び枠を重畳して表示する例を説明したが、これに限らない。例えば、情報Jに関する文字のみを表示してもよい。また、情報の表示とともに音声により情報を伝達するようにしてもよい。この場合、スマートフォン等の携帯情報端末にほぼ標準的に実装されているスピーカから音声を発生させればよい。さらに、マットM上にあたかも店員が存在しているかのように、店員のキャラクタを表示させるとともに、情報Jの表示を行ったり、当該キャラクタが喋っているかのように音声を発生させたりしてもよい。店舗においては、通常、マットMは店舗の入口に配置されるので、上記のように、マットM上に店員を表示させることにより、店舗の入口を案内することにもなる。
また、実施形態4では、ユーザ(撮影者)の属性情報をカメラ12で撮像した画像に基づいて取得するが、携帯情報端末のユーザが当該端末に登録されている個人情報の利用を許可するときは、登録されている個人情報と、上記処理により決定された店舗名とに基づいて、サーバから情報を取得すればよい。その場合、サーバに、利用する個人情報に対応させてセール情報等を保存しておいてもよい。
11 表示部
12 カメラ
13 操作部
14 タッチパネル
15 CPU
16 ROM
17 RAM
18 通信インタフェース
21 CPU
22 HDD
23 RAM
24 通信インタフェース
100 携帯情報端末
200 サーバ
300 通信回線

Claims (9)

  1. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
    複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
    前記複数のマットに関する画像のそれぞれに対応させて、当該マットが設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
    前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得手段と、
    前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断手段と、
    前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットが設置された対象施設に関連する情報を前記対象施設関連情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する出力手段と、
    前記画像記憶手段に、マットに関する画像を記憶させる制御手段と、を備え、
    前記制御手段は、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
    情報検索装置。
  2. 各マットの設置位置または各対象施設の所在位置に関する情報を記憶する位置情報記憶手段と、
    前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を前記位置情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する第2出力手段とを、さらに備える、
    請求項1記載の情報検索装置。
  3. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、通信回線を介して情報を提供する、情報検索装置であって、
    複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
    各マットの設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
    前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得手段と、
    前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断手段と、
    前記判断手段により前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を前記位置情報記憶手段から読み出して、前記通信回線を介して前記情報端末に出力する出力手段と、
    前記画像記憶手段に、マットに関する画像を記憶させる制御手段と、を備え、
    前記制御手段は、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
    情報検索装置。
  4. 前記制御手段は、矩形のマットを、その所定の3辺に対してそれぞれ直交する3種類の撮像方向から予め撮像した3個のマスター画像に基づいて、前記3種類の撮像方向のうち互いに直行する2種類の撮像方向の間を3等分した方向から見た形状に変換した変換後画像を生成し、
    互いに直行する2種類の撮像方向の間の方向から見た変換後画像は、前記互いに直行する2種類の撮像方向のうち、生成する変換後画像の方向との為す角度が小さい方の撮像方向のマスター画像に基づいて生成される、
    請求項1から請求項3のいずれか1項に記載の情報検索装置。
  5. 前記判断手段は、前記画像取得手段で取得された撮像画像と前記画像記憶手段に記憶されている画像とを複数の手法を用いて比較し、手法毎に、一定程度類似する画像を抽出し、抽出した画像の数を対象施設毎に集計し、前記複数のマットのうち最も多く抽出された対象施設に関するマットが前記撮像画像に含まれていると判断する、
    請求項1から請求項4のいずれか1項に記載の情報検索装置。
  6. 前記判断手段は、複数の手法により抽出された画像の総数に占める、最も多く抽出された対象施設に関する画像の数の割合が所定割合以上のときに、前記撮像画像に前記最も多く抽出された対象施設に関するマットが含まれていると判断する、
    請求項5に記載の情報検索装置。
  7. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、情報検索装置が通信回線を介して情報を提供する、情報検索方法であって、
    前記情報検索装置は、
    複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
    前記複数のマットに関する画像のそれぞれに対応させて、当該マットが設置された対象施設に関連する情報を記憶する、対象施設関連情報記憶手段と、
    CPUとを備えたものであり、
    前記CPUが、前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得ステップと、
    前記CPUが、前記画像取得ステップで取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断ステップと、
    前記CPUが、前記判断ステップにより前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、前記対象施設関連情報記憶手段から当該含まれているマットが設置された対象施設に関連する情報を読み出して、前記通信回線を介して前記情報端末に出力する出力ステップと、
    前記CPUが、前記画像記憶手段に、マットに関する画像を記憶させる画像記憶ステップと、を含み、
    前記画像記憶ステップにおいて、前記CPUは、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
    情報検索方法。
  8. 画像を撮像する撮像手段と、画像を表示する表示手段と、取得した情報の前記表示手段への表示を制御する表示制御手段と、を備えた情報端末に、情報検索装置が通信回線を介して情報を提供する、情報検索方法であって、
    前記情報検索装置は、
    複数の対象施設のそれぞれに設置され且つ対象施設毎に異なる特徴を有するマットに関する画像を記憶する画像記憶手段と、
    各マットの設置位置または各対象施設の所在位置に関する情報を記憶する、位置情報記憶手段と、
    CPUとを備えたものであり、
    前記CPUが、前記撮像手段で撮像された撮像画像を前記通信回線を介して取得する画像取得ステップと、
    前記CPUが、前記画像取得ステップで取得された撮像画像と前記画像記憶手段に記憶されている各画像とを比較し、前記撮像画像に前記複数のマットのいずれかが含まれているか否かを判断する判断ステップと、
    前記CPUが、前記判断ステップにより前記撮像画像に前記複数のマットのいずれかが含まれていると判断されたときは、前記位置情報記憶手段から、当該含まれているマットの設置位置または当該マットに対応する対象施設の所在位置に関する情報を読み出して、前記通信回線を介して前記情報端末に出力する出力ステップと、
    前記CPUが、前記画像記憶手段に、マットに関する画像を記憶させる画像記憶ステップと、を含み、
    前記画像記憶ステップにおいて、前記CPUは、異なる複数の撮像方向からマットを予め撮像した複数のマスター画像に基づいて、前記各撮像方向とは異なる複数の方向から見た形状にマットの形状を変換した複数の変換後画像を対象施設毎に生成し、前記画像記憶手段に、前記対象施設毎に、前記マットに関する画像として前記複数のマスター画像と前記複数の変換後画像とを記憶させる、
    情報検索方法。
  9. コンピュータを、請求項7または請求項8に記載の情報検索方法の各ステップを実行する手段として機能させるプログラム。
JP2013201815A 2013-09-27 2013-09-27 情報検索装置、情報検索方法、及び情報検索プログラム Active JP5735071B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013201815A JP5735071B2 (ja) 2013-09-27 2013-09-27 情報検索装置、情報検索方法、及び情報検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013201815A JP5735071B2 (ja) 2013-09-27 2013-09-27 情報検索装置、情報検索方法、及び情報検索プログラム

Publications (2)

Publication Number Publication Date
JP2015069319A JP2015069319A (ja) 2015-04-13
JP5735071B2 true JP5735071B2 (ja) 2015-06-17

Family

ID=52835944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013201815A Active JP5735071B2 (ja) 2013-09-27 2013-09-27 情報検索装置、情報検索方法、及び情報検索プログラム

Country Status (1)

Country Link
JP (1) JP5735071B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7493256B2 (ja) 2022-07-27 2024-05-31 アスエネ株式会社 温室効果ガス排出量管理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663338A (zh) * 2014-08-01 2017-05-10 索尼公司 信息处理装置、信息处理方法和程序
CN106575299A (zh) * 2014-08-01 2017-04-19 索尼公司 信息处理装置、信息处理方法和程序
JP6985132B2 (ja) * 2017-12-20 2021-12-22 株式会社ダスキン 施設特定装置及びそのプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5425045B2 (ja) * 2010-12-07 2014-02-26 日本電信電話株式会社 オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
JP2013109773A (ja) * 2013-01-07 2013-06-06 Olympus Corp 特徴マッチング方法及び商品認識システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7493256B2 (ja) 2022-07-27 2024-05-31 アスエネ株式会社 温室効果ガス排出量管理方法

Also Published As

Publication number Publication date
JP2015069319A (ja) 2015-04-13

Similar Documents

Publication Publication Date Title
US8938257B2 (en) Logo detection for indoor positioning
CN103039095B (zh) 用于定位辅助数据的移动站中心式确定的方法和装置
JP6312715B2 (ja) モバイルデバイスを用いるナビゲーションのための方向性ビュー及びx線ビュー技法
US9874454B2 (en) Community-based data for mapping systems
US9906921B2 (en) Updating points of interest for positioning
US11830249B2 (en) Augmented reality, computer vision, and digital ticketing systems
US11118911B2 (en) Localized map generation
JP5716866B2 (ja) デバイス管理装置及びデバイス検索方法
JP6180647B2 (ja) クラウドポイントを利用した屋内地図構築装置および方法
JP5735071B2 (ja) 情報検索装置、情報検索方法、及び情報検索プログラム
US10222395B2 (en) Server apparatus that determines whether shaking is due to an earthquake
US20130159862A1 (en) Automated network inventory using a user device
JP5720843B1 (ja) 位置変換プログラム及び情報処理装置
JP5681920B2 (ja) 地図情報システム、端末装置、サーバ装置およびプログラム
JP3211823U (ja) 屋内地図構築装置
TWI639133B (zh) 使用點雲的室內地圖構建裝置及方法
JP6133967B1 (ja) 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、携帯端末装置およびその制御プログラム
JP6985132B2 (ja) 施設特定装置及びそのプログラム
JP6695117B2 (ja) 情報提供装置、情報取得装置、情報提供方法、情報取得方法、及びプログラム
JP2020035470A (ja) 情報提供装置、情報取得装置、情報提供方法、情報取得方法、及びプログラム
JP2022127167A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022127168A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150415

R150 Certificate of patent or registration of utility model

Ref document number: 5735071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250