JP6314137B2

JP6314137B2 - 誘導サービス方法及びサーバ装置

Info

Publication number: JP6314137B2
Application number: JP2015521293A
Authority: JP
Inventors: 山口　高弘; 高弘山口
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2013-06-04
Filing date: 2014-05-30
Publication date: 2018-04-18
Anticipated expiration: 2034-05-30
Also published as: US10670409B2; US10054448B2; WO2014196178A1; US20150204677A1; US20200256680A1; JPWO2014196178A1; US20180321044A1; CN104508695B; CN104508695A; US11067397B2

Description

本発明は、関心のある商品の位置まで利用者を誘導する誘導方法及び誘導システムに関するものである。

ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）は、地球上の位置を特定するシステムである。ＧＰＳは、自動車で道路を走行する場合など、屋外の移動体の位置を数メートルのオーダーで特定する場合に有効である。カーナビゲーションシステムは、ＧＰＳを用いて、利用者（自動車）の現在位置を特定し、利用者を目的地へ誘導する。

例えば、特許文献１には、端末位置より一定距離内に存在している店舗であり、かつ、登録されている購入予定商品を販売している店舗を検索し、利用者の近くに購入予定商品を販売している店舗が検索された場合に、その店舗情報を当該利用者所持の移動体端末へ案内通知する買い物案内情報提供装置が開示されている。

しかし、建物の中など屋内環境では、ＧＰＳ信号が屋根又は壁に遮断されて受信できないケースがある。また、建物の影になってＧＰＳ信号を直接受信できず、建物を迂回して到達したＧＰＳ信号を受信して現在位置を特定するケースがある。この場合、建物を迂回して到達したＧＰＳ信号の影響により、現在位置の検出精度が劣化することがある。また、従来のＧＰＳでは、現在位置を１０センチメートルから１メートルのオーダーで特定できない。そのため、店内などの屋内環境で、利用者の現在位置を特定し、所定の商品の位置に、利用者を誘導することが困難であるという課題を有していた。

特開２００２−１７５４６５号公報

本発明は、上記の問題を解決するためになされたもので、建物内の関心のある商品の位置へ利用者を誘導することができる誘導方法及び誘導システムを提供することを目的とするものである。

本発明の一局面に係る誘導方法は、建物内に配置された複数の商品を識別するための複数の商品識別情報と、前記複数の商品の前記建物内における配置位置とを対応付けた商品配置情報を商品配置情報保持部に保持する商品配置情報保持ステップと、前記建物内における利用者の周辺を撮影する撮影ステップと、前記撮影ステップにおいて撮影された撮影画像を分析し、前記撮影画像内に含まれる商品識別情報を特定する特定ステップと、前記特定ステップにおいて特定された前記商品識別情報と、前記商品配置情報保持部に保持されている前記商品配置情報と、利用者によって予め登録された登録商品を識別するための登録商品識別情報とに基づいて、前記登録商品の前記建物内における配置位置を特定し、特定した前記登録商品の配置位置へ前記利用者を誘導するための誘導情報を提示する誘導ステップとを含む。

本発明によれば、撮影画像内に含まれる商品の配置位置と、利用者によって予め登録された登録商品の建物内における配置位置とを用いて、建物内の関心のある商品の位置へ利用者を誘導することができる。

本発明の実施の形態における誘導システムの全体構成を示す図である。本発明の実施の形態における誘導サービス装置、誘導装置及び機器の構成を示す図である。本発明の実施の形態において、機器と誘導サービス装置との動作について説明するためのフローチャートである。本発明の実施の形態において、誘導装置と誘導サービス装置との動作について説明するための第１のフローチャートである。本発明の実施の形態において、誘導装置と誘導サービス装置との動作について説明するための第２のフローチャートである。本発明の実施の形態において、利用者が誘導装置を用いて店舗内を撮影する撮影方向を説明するための図である。商品レイアウトデータベースに保持される店内レイアウト図の一例を示す図である。商品レイアウトデータベースに保持される商品レイアウト情報の一例を示す図である。撮影画像内に関心商品が存在する場合に表示される誘導情報の一例を示す図である。撮影画像内に関心商品が存在する場合に表示される誘導情報の他の例を示す図である。図１０に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。撮影画像内に関心商品が存在しない場合に表示される誘導情報の一例を示す図である。撮影画像内に関心商品が存在しない場合に表示される誘導情報の他の例を示す図である。図１３に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。撮影画像内の見えない位置に関心商品が存在する場合に表示される誘導情報の一例を示す図である。図１５に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。特定された商品が関心商品ではなく、撮影画像内に関心商品が存在する場合に表示される誘導情報の一例を示す図である。図１７に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。２次元的に商品が配置されている撮影画像内に関心商品が存在しない場合に表示される誘導情報の一例を示す図である。図１９に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

本実施の形態における誘導システムは、多数の商品を陳列棚に並べた店舗内で、利用者を、当該利用者の関心のある商品（購入を希望する対象の商品など）の位置へ誘導するシステムである。利用者は、カメラ機能を有した携帯端末（スマートフォン）を保持しており、誘導システムは、利用者がカメラで撮影した画像を用いて、目的の位置へ利用者を誘導する。

本実施の形態では、下記の５つの例について説明する。

（１）店舗内探索１
まず、アプリケーションが、スマートフォンに搭載されたカメラを使って店内を撮影する。次に、アプリケーション又はサーバが、画像認識により利用者が関心のある商品を表す商品リストと、撮影された画像とをマッチングする。次に、アプリケーションが、スマートフォンの画面に利用者が関心のある商品が近辺にあることを提示する。

（２）店舗内探索２
まず、アプリケーションが、スマートフォンに搭載されたカメラを使って店内を撮影する。次に、アプリケーション又はサーバが、画像認識により利用者が関心のある商品を表す商品リストと、撮影された画像とをマッチングする。次に、アプリケーションが、スマートフォンの画面に表示される撮影画像に、関心のある商品の位置を示すマークを重畳して提示する。

（３）店舗内誘導１
まず、アプリケーションが、スマートフォンに搭載されたカメラを使って店内を撮影する。次に、アプリケーション又はサーバが、画像認識により陳列されている商品を特定し、商品と商品が配置されている位置とを対応付けた商品レイアウト情報からスマートフォン（利用者）の位置を推定する。次に、アプリケーションが、推定したスマートフォンの位置と関心のある商品の位置とから、関心のある商品の相対位置をテキストなどでスマートフォンの画面に提示する、又は、音声で通知する。

（４）店舗内誘導２
まず、アプリケーションが、スマートフォンに搭載されたカメラを使って店内を撮影する。次に、アプリケーション又はサーバが、画像認識により陳列されている商品を特定し、商品と商品が配置されている位置とを対応付けた商品レイアウト情報からスマートフォン（利用者）の位置を推定する。次に、アプリケーションが、推定したスマートフォンの位置と関心のある商品の位置とから、関心のある商品への相対方向をスマートフォンの画面に提示する。

（５）店舗内誘導３
まず、アプリケーションが、スマートフォンに搭載されたカメラを使って店内を撮影する。次に、アプリケーション又はサーバが、画像認識により陳列されている商品を特定し、商品と商品が配置されている位置とを対応付けた商品レイアウト情報からスマートフォン（利用者）の位置を推定する。次に、アプリケーションが、スマートフォンの画面に表示される撮影画像に、棚の裏側にある関心のある商品の位置を示すマークを重畳して提示する。

＜全体構成＞
図１は、本発明の実施の形態における誘導システムの全体構成を示す図である。誘導システムは、誘導サービス装置１００、誘導装置２００及び機器３００を備える。

機器３００は、例えば、冷蔵庫、洗濯機又は電子レンジなどの家電機器である。

機器３００は、利用者の関心のある商品を誘導サービス装置１００に登録するときに利用される。例えば、機器３００のユーザインタフェースは、商品リストを表示して、利用者により商品リストから商品の選択を受け付ける。商品が選択されると、機器３００は、誘導サービス装置１００に選択された商品を通知する。

誘導サービス装置１００は、例えばサーバ装置である。誘導サービス装置１００は、通知された商品を利用者の関心のある商品（以下、関心商品と呼ぶ）として関心商品リストに記憶する。関心のある商品は、例えば、利用者が明示的に指定した購入したい商品（買い物メモ）である。また、関心のある商品は、冷蔵庫内にある購入した商品の使用状態又は保存状態を冷蔵庫又は電子レンジなどの宅内の機器が自動で管理及び把握して、近日中に購入が必要な商品として自動で選択した商品である。

誘導装置２００は、例えばアプリケーションを実行するスマートフォンである。また、誘導装置２００は、携帯可能なタブレット型コンピュータ又は携帯電話機であってもよく、カメラ機能を有する端末であってもよい。誘導装置２００は、誘導サービス装置１００から、誘導アプリケーションをダウンロードする。誘導アプリケーションは、誘導サービス装置１００が備えるアプリケーション管理部によって管理されている。アプリケーション管理部は、誘導装置２００からの要求に応じて、誘導アプリケーションを送信する。

なお、誘導装置２００は、誘導サービス装置１００とは異なる、誘導アプリケーションを管理しているサーバ装置から誘導アプリケーションをダウンロードしてもよい。なお、誘導装置２００と機器３００とは、同じ機器であってもよい。

誘導装置２００は、ダウンロードした誘導アプリケーションを実行する。誘導装置２００の上で実行される誘導アプリケーション（プログラム）は、誘導装置２００に設けられたカメラを制御して、利用者の周辺の画像を撮影する。誘導装置２００は、撮影された画像を誘導サービス装置１００に送信する。誘導サービス装置１００は、受信した画像を分析し、撮影されている商品を特定する。また、誘導装置２００は、画像の分析に用いる分析データを予め保持してもよい。この場合、誘導アプリケーションは、撮影した画像を分析し、撮影されている商品を特定する。誘導装置２００が撮影された画像に含まれる商品を特定した場合、誘導装置２００は、特定した商品を、誘導サービス装置１００に通知する。

撮影された画像に含まれる商品を特定する方法としては、例えば、商品のパッケージ写真又は商品のパッケージに記載されているテキストをデータベースに記録及び管理し、画像をマッチングする方法がある。また、撮影した画像から抽出したテキストと、データベースに予め記録されているテキストとをマッチングすることにより、撮影された画像に含まれる商品を特定してもよい。なお、他の方法により、撮影された画像に含まれる商品を特定してもよい。

続いて、誘導サービス装置１００、誘導装置２００及び機器３００のそれぞれの構成について説明する。

図２は、本発明の実施の形態における誘導サービス装置１００、誘導装置２００及び機器３００の構成を示す図である。誘導サービス装置１００と誘導装置２００とは、ネットワークを介して互いに通信可能に接続されている。また、誘導サービス装置１００と機器３００とは、ネットワークを介して互いに通信可能に接続されている。ネットワークは、例えばインターネットである。

機器３００は、関心商品入力受付部３０１、表示部３０２及び通信部３０３を備える。

関心商品入力受付部３０１は、利用者による関心商品の入力を受け付ける。関心商品入力受付部３０１は、例えばタッチパネルの画面上に表示されるキーボードにより、利用者による関心商品の入力を受け付ける。また、関心商品入力受付部３０１は、音声認識により、利用者による関心商品の入力を受け付けてもよい。

表示部３０２は、種々の情報を表示する。表示部３０２は、選択可能な商品を表示する。表示部３０２は、機器３００で使用される商品を表示する。例えば、機器３００が冷蔵庫である場合、表示部３０２は、冷凍食品、野菜及び果物などの食材を表示する。利用者は、表示部３０２に表示される商品リストの中から、所望の関心商品を選択する。

通信部３０３は、種々の情報を誘導サービス装置１００から受信するとともに、種々の情報を誘導サービス装置１００へ送信する。通信部３０３は、誘導サービス装置１００から選択可能な商品リストを受信する。通信部３０３は、関心商品入力受付部３０１によって受け付けた関心商品に関する関心商品情報を誘導サービス装置１００へ送信する。なお、関心商品情報は、利用者を識別するための利用者ＩＤを含む。

誘導装置２００は、撮影部２０１、現在位置取得部２０２、表示部２０３及び通信部２０４を備える。

撮影部２０１は、建物内における利用者の周辺を撮影し、撮影画像を取得する。なお、撮影画像は、静止画であってもよく、動画であってもよい。

現在位置取得部２０２は、例えば、ＧＰＳで構成され、誘導装置２００の現在位置を取得する。

通信部２０４は、種々の情報を誘導サービス装置１００から受信するとともに、種々の情報を誘導サービス装置１００へ送信する。通信部２０４は、撮影部によって撮影された撮影画像を誘導サービス装置１００へ送信する。通信部２０４は、誘導サービス装置１００によって送信された誘導情報を受信する。誘導情報は、利用者を関心商品の位置に誘導するための情報である。

表示部２０３は、種々の情報を表示する。表示部２０３は、通信部２０４によって受信された誘導情報を表示する。

誘導サービス装置１００は、商品レイアウトデータベース１０１、関心商品データベース１０２、商品特定部１０３、誘導情報作成部１０４、更新部１０５及び通信部１０６を備える。

商品レイアウトデータベース１０１は、建物内に配置された複数の商品を識別するための複数の商品識別情報と、複数の商品の建物内における配置位置とを対応付けた商品配置情報を保持する。なお、商品配置情報は、店舗毎に存在する。また、商品識別情報は、例えば、商品名又は商品の画像を含む。

関心商品データベース１０２は、利用者によって予め登録された関心商品を識別するための関心商品識別情報を保持する。関心商品データベース１０２は、利用者毎の関心商品リストを保持しており、例えば、利用者を識別するための利用者ＩＤに対応付けて関心商品リストを保持している。また、関心商品識別情報は、例えば、関心商品の商品名又は関心商品の画像を含む。

商品特定部１０３は、誘導装置２００の撮影部２０１によって撮影された撮影画像を分析し、撮影画像内に含まれる商品識別情報を特定する。

誘導情報作成部１０４は、商品特定部１０３によって特定された商品識別情報と、商品レイアウトデータベース１０１に保持されている商品配置情報と、利用者によって予め登録された関心商品を識別するための関心商品識別情報とに基づいて、関心商品の建物内における配置位置を特定し、特定した関心商品の配置位置へ利用者を誘導するための誘導情報を作成する。誘導情報作成部１０４は、誘導装置２００から受信した現在位置情報に基づいて、利用者が現在いる店舗を特定し、特定した店舗に対応する商品配置情報を商品レイアウトデータベース１０１から読み出す。

誘導情報作成部１０４は、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致する場合、関心商品の撮影画像内における位置を示す画像を誘導情報として作成する。すなわち、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致する場合とは、撮影画像内に関心商品が存在することを意味しており、誘導情報は、撮影画像内のどこに関心商品が存在するかを示す情報である。

また、誘導情報作成部１０４は、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致しない場合、関心商品の位置を示す画像を誘導情報として作成する。すなわち、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致しない場合とは、撮影画像内に関心商品が存在しないことを意味しており、誘導情報は、撮影画像外のどこに関心商品が存在するかを示す情報である。

なお、誘導情報作成部１０４は、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致しない場合、関心商品が存在する方向を示す画像を誘導情報として作成してもよい。

また、誘導情報作成部１０４は、商品特定部１０３によって特定された商品識別情報と、関心商品データベース１０２に保持されている関心商品識別情報とが一致せず、撮影画像内の隠れた位置に関心商品が存在する場合、関心商品の仮想的な位置を示す画像を誘導情報として作成する。例えば、撮影画像に含まれる棚には関心商品が陳列されておらず、撮影画像に含まれる棚の裏側の棚に関心商品が陳列されている場合、誘導情報作成部１０４は、現在の利用者の位置からは見えない関心商品の位置を仮想的に示す誘導情報を作成する。

更新部１０５は、誘導装置２００の撮影部２０１によって撮影された撮影画像に基づいて、商品レイアウトデータベース１０１に保持されている商品配置情報を更新する。更新部１０５は、商品特定部１０３によって特定された商品識別情報の建物内における配置位置を特定し、特定した配置位置が、商品配置情報に含まれる商品識別情報の配置位置と異なる場合、商品配置情報に含まれる商品識別情報の配置位置を、特定した配置位置に変更するように商品配置情報を更新する。

通信部１０６は、種々の情報を機器３００から受信するとともに、種々の情報を機器３００へ送信する。また、通信部１０６は、種々の情報を誘導装置２００から受信するとともに、種々の情報を誘導装置２００へ送信する。通信部１０６は、誘導装置２００によって送信された現在位置情報及び撮影画像情報を受信する。通信部１０６は、機器３００によって送信された関心商品情報を受信する。通信部１０６は、誘導情報作成部１０４によって作成された誘導情報を誘導装置２００へ送信する。

続いて、本発明の実施の形態における誘導システムの動作について説明する。

図３は、本発明の実施の形態において、機器と誘導サービス装置との動作について説明するためのフローチャートである。

まず、ステップＳ１において、機器３００の関心商品入力受付部３０１は、利用者による関心商品情報の入力を受け付ける。利用者は、自身が関心のある商品（関心商品）を入力する。例えば、利用者は、購入する予定の商品を関心商品として入力する。なお、関心商品入力受付部３０１は、表示部３０２に表示される複数の商品の中から、所望の商品の選択を受け付けてもよい。関心商品入力受付部３０１は、関心商品の商品名又は関心商品の品番の入力を受け付けてもよい。さらに、関心商品入力受付部３０１は、商品の種類を関心商品情報として受け付けてもよい。商品の種類とは、具体的な商品名等の商品を一意に識別可能な情報ではなく、例えば、お菓子、冷凍食品、肉、魚又は野菜などの大まかな商品の種類を特定することが可能な情報である。

次に、ステップＳ２において、通信部３０３は、関心商品入力受付部３０１によって受け付けられた関心商品情報を誘導サービス装置１００へ送信する。このとき、通信部３０３は、利用者を識別するための利用者ＩＤを関心商品情報に付加して送信する。利用者ＩＤは、利用者によって入力されてもよいし、予め機器３００に記憶されていてもよい。

次に、ステップＳ３において、誘導サービス装置１００の通信部１０６は、機器３００によって送信された関心商品情報を受信する。

次に、ステップＳ４において、通信部１０６は、受信した関心商品情報を関心商品データベース１０２に記憶する。このとき、通信部１０６は、受信した利用者ＩＤに対応付けて関心商品情報を記憶する。

以上のようにして、誘導サービス装置１００に関心商品が予め登録される。

図４は、本発明の実施の形態において、誘導装置と誘導サービス装置との動作について説明するための第１のフローチャートであり、図５は、本発明の実施の形態において、誘導装置と誘導サービス装置との動作について説明するための第２のフローチャートである。

まず、ステップＳ１１において、誘導装置２００の撮影部２０１は、店舗内における利用者の周辺を撮影する。このとき、撮影部２０１は、店舗内における複数の商品が陳列されている棚を撮影する。

次に、ステップＳ１２において、現在位置取得部２０２は、誘導装置２００の現在位置を示す現在位置情報を取得する。現在位置情報は、例えば、緯度及び経度で表される。

次に、ステップＳ１３において、通信部３０３は、撮影部２０１によって撮影された撮影画像と、現在位置取得部２０２によって取得された現在位置情報とを誘導サービス装置１００へ送信する。このとき、通信部３０３は、利用者を識別するための利用者ＩＤを撮影画像及び現在位置情報に付加して送信する。利用者ＩＤは、利用者によって入力されてもよいし、予め誘導装置２００に記憶されていてもよい。

なお、本実施の形態では、誘導装置２００は、現在位置情報を取得して送信しているが、本発明は特にこれに限定されず、誘導装置２００は、店舗の住所又は店舗名の入力を受け付け、受け付けた店舗の住所又は店舗名を現在位置情報として送信してもよい。

次に、ステップＳ１４において、誘導サービス装置１００の通信部１０６は、誘導装置２００によって送信された撮影画像及び現在位置情報を受信する。

次に、ステップＳ１５において、商品特定部１０３は、通信部１０６によって受信された撮影画像を分析し、撮影画像内に含まれる商品を特定する。

次に、ステップＳ１６において、更新部１０５は、商品特定部１０３によって特定された商品の配置位置を特定する。このとき、更新部１０５は、撮影画像を解析することにより、特定された商品が陳列されている棚を認識するとともに、特定された商品が棚の何段目に配置されているかを認識し、特定された商品が店舗内のどの棚の何段目に配置されているかを特定する。なお、店舗内の商品が陳列されている棚には、例えば、棚名と段数番号とが掲示されており、棚名と段数番号とが、画像解析により識別される。

次に、ステップＳ１７において、更新部１０５は、特定した配置位置と、商品レイアウトデータベース１０１に保持されている商品配置情報から取得した商品特定部１０３によって特定された商品に対応する配置位置とが同じであるか否かを判断する。

ここで、特定した配置位置と、保持されている配置位置とが同じではないと判断された場合（ステップＳ１７でＮＯ）、ステップＳ１８において、更新部１０５は、商品レイアウトデータベース１０１を更新する。すなわち、更新部１０５は、商品レイアウトデータベース１０１に保持されている商品特定部１０３によって特定された商品に対応する配置位置を、特定した配置位置に更新する。

これにより、新たな商品が陳列されたり、商品が別の棚に並べ替えられたりしたとしても、商品レイアウトデータベース１０１の商品配置情報を常に最新の情報に更新することができる。また、管理者等が商品レイアウトデータベース１０１の商品配置情報を更新する必要がなく、自動的に商品レイアウトデータベース１０１の商品配置情報を更新することができる。

一方、特定した配置位置と、保持されている配置位置とが同じであると判断された場合（ステップＳ１７でＹＥＳ）、ステップＳ１９において、誘導情報作成部１０４は、商品特定部１０３によって特定された商品が、関心商品データベース１０２に保持されている関心商品と一致するか否かを判断する。

ここで、特定された商品が関心商品と一致すると判断された場合（ステップＳ１９でＹＥＳ）、ステップＳ２０において、誘導情報作成部１０４は、関心商品の撮影画像内における位置を示す画像を誘導情報として作成する。

一方、特定された商品が関心商品と一致しないと判断された場合（ステップＳ１９でＮＯ）、ステップＳ２１において、誘導情報作成部１０４は、特定された商品に対応する配置位置を商品レイアウトデータベース１０１から取得する。

次に、ステップＳ２２において、誘導情報作成部１０４は、関心商品に対応する配置位置を商品レイアウトデータベース１０１から取得する。

次に、ステップＳ２３において、誘導情報作成部１０４は、関心商品の位置を示す画像を誘導情報として作成する。

次に、ステップＳ２４において、通信部１０６は、誘導情報作成部１０４によって作成された誘導情報を誘導装置２００へ送信する。

次に、ステップＳ２５において、誘導装置２００の通信部２０４は、誘導サービス装置１００によって送信された誘導情報を受信する。

次に、ステップＳ２６において、表示部３０２は、通信部２０４によって受信された誘導情報を表示する。

続いて、誘導情報の具体的な表示例について説明する。図６は、本発明の実施の形態において、利用者が誘導装置を用いて店舗内を撮影する撮影方向を説明するための図である。

図６に示すように、店舗４００には、複数の棚が配置されている。複数の棚のそれぞれには、棚名（Ｈ１〜Ｈ１２）が割り当てられている。利用者は、誘導装置２００により図６の矢印で示す撮影方向４０１に向かって撮影する。また、商品Ａが棚“Ｈ２”に配置されており、商品Ｂ及び商品Ｄが棚“Ｈ３”に配置されており、商品Ｃが棚“Ｈ５”に配置されている。商品Ａ、商品Ｂ、商品Ｃ及び商品Ｄは、それぞれ関心商品である。

図７は、商品レイアウトデータベースに保持される店内レイアウト図の一例を示す図であり、図８は、商品レイアウトデータベースに保持される商品レイアウト情報の一例を示す図である。

図７に示す店内レイアウト図５００は、店内の棚の配置を表す平面図である。なお、店内レイアウト図５００は、２次元で表されるが、３次元で表されてもよい。図８に示す商品レイアウト情報６００は、棚名６１０と段数６２０と商品６３０とを対応付けている。商品レイアウト情報６００により、例えば、商品Ａは、棚名“Ｈ２”の２段目に配置されており、商品Ｂは、棚名“Ｈ３”の１段目に配置されており、商品Ｃは、棚名“Ｈ５”の１段目に配置されており、商品Ｄは、棚名“Ｈ３”の３段目に配置されていることが分かる。

誘導サービス装置１００は、特定された商品が、誘導サービス装置１００が管理及び記憶している関心商品データベース１０２の中の関心商品と一致すると、関心商品が撮影範囲に含まれていることを示す誘導情報を誘導装置２００に通知する。誘導装置２００は、関心商品が撮影範囲に含まれていることを示す誘導情報を出力する。

図９は、撮影画像内に関心商品が存在する場合に表示される誘導情報の一例を示す図である。商品Ａが関心商品であり、図６に示す位置から撮影された場合、撮影画像内に関心商品が存在することになる。この場合、図９に示すように、誘導装置２００の表示部２０３は、目の前に関心商品が存在することを示す誘導情報８００を提示する。誘導情報８００は、テキスト形式で表される。

図１０は、撮影画像内に関心商品が存在する場合に表示される誘導情報の他の例を示す図であり、図１１は、図１０に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８１１を撮影画像に重畳した誘導情報８１０を作成する。なお、ユーザインタフェース部品画像８１１は、誘導サービス装置１００内のメモリに予め記憶されている。

なお、本実施の形態では、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８１１を撮影画像に重畳した誘導情報８１０を作成しているが、本発明は特にこれに限定されず、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８１１のみを誘導情報として作成してもよい。この場合、誘導装置２００は、誘導サービス装置１００から受信した誘導情報（ユーザインタフェース部品画像８１１）を、撮影部２０１がリアルタイムに撮影している画像に重畳させて表示する。誘導情報は、表示部２０３の表示画面上における誘導情報の表示位置を特定する情報とともに送信される。

また、誘導サービス装置１００は、誘導装置２００が撮影した画像から特定された商品の中に関心商品がない場合、商品レイアウトデータベース１０１を用いて、利用者を関心商品に誘導する誘導情報を作成する。

図１２は、撮影画像内に関心商品が存在しない場合に表示される誘導情報の一例を示す図である。

誘導装置２００が撮影した画像から特定した商品の中に関心商品がない場合、誘導サービス装置１００の誘導情報作成部１０４は、商品レイアウトデータベース１０１にアクセスし、撮影した画像から特定した商品の店内の位置を取得する。例えば、商品Ａが特定された商品である場合、誘導情報作成部１０４は、商品レイアウトデータベース１０１を参照することにより、商品Ａが棚Ｈ２の２段目に存在することを特定することができる。

次に、誘導情報作成部１０４は、商品レイアウトデータベース１０１にアクセスし、関心商品の店内の位置を取得する。例えば、商品Ｂが関心商品である場合、誘導情報作成部１０４は、商品レイアウトデータベース１０１を参照することにより、商品Ｂが棚Ｈ３の１段目に存在することを特定することができる。

次に、誘導情報作成部１０４は、取得した撮影した画像から特定した商品の店内の位置から、取得した関心商品の店内の位置へ誘導する誘導情報を作成する。

誘導サービス装置１００は、撮影位置から関心商品の位置へ誘導する誘導情報を誘導装置２００に通知する。誘導装置２００は、撮影位置から関心商品の位置へ誘導する誘導情報を出力する。

なお、誘導サービス装置１００は、関心商品の位置を誘導装置２００に通知してもよく、誘導装置２００は、誘導サービス装置１００によって通知された関心商品の位置に基づいて、撮影位置から関心商品の位置へ誘導する誘導情報を作成して出力してもよい。

関心商品リストに商品Ｂがあり、商品Ａが特定された商品である場合、誘導情報作成部１０４は、商品Ｂが商品Ａの右方向の１個目の棚の１段目に陳列されていることを特定することができる。

この場合、図１２に示すように、誘導装置２００の表示部２０３は、右方向の１個目の棚の最上段に商品Ｂがあることをテキスト形式で示す誘導情報８２０を提示する。

図１３は、撮影画像内に関心商品が存在しない場合に表示される誘導情報の他の例を示す図であり、図１４は、図１３に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８３１を撮影画像に重畳した誘導情報８３０を作成する。誘導情報８３０は、特定された商品の位置から、関心商品が存在する位置に向かう方向を示す。なお、ユーザインタフェース部品画像８３１は、誘導サービス装置１００内のメモリに予め記憶されている。

関心商品リストに商品Ｂがあり、商品Ａが特定された商品である場合、図１３に示すように、誘導装置２００の表示部２０３は、右方向に商品Ｂがあることを示す誘導情報８３０を提示する。

図１３に示すように、誘導装置２００の表示部２０３は、実際に撮影された画像に関心商品Ｂの相対位置を重畳して提示してもよい。なお、ユーザインタフェース部品画像８３１は、実際に撮影された画像に重畳される画像の一例である。

なお、本実施の形態では、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８３１を撮影画像に重畳した誘導情報８３０を作成しているが、本発明は特にこれに限定されず、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８３１のみを誘導情報として作成してもよい。この場合、誘導装置２００は、誘導サービス装置１００から受信した誘導情報（ユーザインタフェース部品画像８３１）を、撮影部２０１がリアルタイムに撮影している画像に重畳させて表示する。誘導情報は、表示部２０３の表示画面上における誘導情報の表示位置を特定する情報とともに送信される。

また、撮影画像内の見えない位置に関心商品が存在する場合、誘導装置２００は、仮想的な関心商品の位置を提示してもよい。

図１５は、撮影画像内の見えない位置に関心商品が存在する場合に表示される誘導情報の一例を示す図であり、図１６は、図１５に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

例えば、関心商品リストに商品Ｃがあり、撮影された画像から特定された商品Ａが配置されている棚の裏側の棚に商品Ｃが配置されており、商品Ｃは、商品Ａが陳列されている棚に遮られて、直接撮影できないが、撮影された画像の視野角内に存在している。

この場合、図１５に示すように、誘導装置２００の表示部２０３は、実際に撮影された画像に関心商品Ｃの３次元空間内における仮想的な位置を重畳して提示してもよい。なお、ユーザインタフェース部品画像８４１は、実際に撮影された画像に重畳される画像の一例である。

誘導情報作成部１０４は、関心商品の３次元空間内における仮想的な位置を示すユーザインタフェース部品画像８４１を撮影画像に重畳した誘導情報８４０を作成する。誘導情報８４０は、３次元空間内において関心商品が存在する仮想的な位置を示す。なお、ユーザインタフェース部品画像８４１は、誘導サービス装置１００内のメモリに予め記憶されている。

関心商品リストに商品Ｃがあり、商品Ａが特定された商品であり、商品Ａが陳列されている棚の裏側の棚に商品Ｃが陳列されている場合、図１５に示すように、誘導装置２００の表示部２０３は、商品Ａが陳列されている棚の裏側の棚に商品Ｃがあることを示す誘導情報８４０を提示する。このとき、撮影画像には、関心商品である商品Ｃの位置とともに、実際には見えない棚画像が重畳される。

なお、本実施の形態では、誘導情報作成部１０４は、関心商品の仮想的な位置を示すユーザインタフェース部品画像８４１を撮影画像に重畳した誘導情報８４０を作成しているが、本発明は特にこれに限定されず、誘導情報作成部１０４は、関心商品の仮想的な位置を示すユーザインタフェース部品画像８４１のみを誘導情報として作成してもよい。この場合、誘導装置２００は、誘導サービス装置１００から受信した誘導情報（ユーザインタフェース部品画像８４１）を、撮影部２０１がリアルタイムに撮影している画像に重畳させて表示する。誘導情報は、表示部２０３の表示画面上における誘導情報の表示位置を特定する情報とともに送信される。

図１７は、特定された商品が関心商品ではなく、撮影画像内に関心商品が存在する場合に表示される誘導情報の一例を示す図であり、図１８は、図１７に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

図１７及び図１８に示す例では、撮影画像の解像度が低く、撮影画像内の関心商品が商品として特定されない場合であっても、誘導装置２００は、撮影画像内の関心商品の位置を提示する。

すなわち、特定された商品が関心商品と一致しないと判断された場合、誘導情報作成部１０４は、特定された商品に対応する配置位置を取得する。次に、誘導情報作成部１０４は、関心商品に対応する配置位置を取得する。次に、誘導情報作成部１０４は、撮影画像内に含まれる棚の位置を特定し、取得した関心商品に対応する配置位置が、撮影画像内に含まれているか否かを判断する。なお、撮影画像内に含まれる棚の位置は、棚に掲示された棚名を画像解析により識別することにより特定することができる。

関心商品に対応する配置位置が、撮影画像内に含まれている場合、誘導情報作成部１０４は、関心商品の撮影画像内における位置を示す画像を誘導情報として作成する。一方、関心商品に対応する配置位置が、撮影画像内に含まれていない場合、誘導情報作成部１０４は、関心商品の位置を示す画像（関心商品が存在する方向を示す画像）を誘導情報として作成する。

関心商品に対応する配置位置が、撮影画像内に含まれている場合、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８５１を撮影画像に重畳した誘導情報８５０を作成する。誘導情報８５０は、関心商品が存在する位置を示す。なお、ユーザインタフェース部品画像８５１は、誘導サービス装置１００内のメモリに予め記憶されている。

関心商品リストに商品Ｂがあり、商品Ａが特定された商品である場合、図１７に示すように、誘導装置２００の表示部２０３は、撮影画像内に関心商品Ｂがあることを示す誘導情報８５０を提示する。

図１７に示すように、誘導装置２００の表示部２０３は、実際に撮影された画像に関心商品Ｂの相対位置を重畳して提示してもよい。なお、ユーザインタフェース部品画像８５１は、実際に撮影された画像に重畳される画像の一例である。

なお、本実施の形態では、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８５１を撮影画像に重畳した誘導情報８５０を作成しているが、本発明は特にこれに限定されず、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８５１のみを誘導情報として作成してもよい。この場合、誘導装置２００は、誘導サービス装置１００から受信した誘導情報（ユーザインタフェース部品画像８５１）を、撮影部２０１がリアルタイムに撮影している画像に重畳させて表示する。誘導情報は、表示部２０３の表示画面上における誘導情報の表示位置を特定する情報とともに送信される。

図１９は、２次元的に商品が配置されている撮影画像内に関心商品が存在しない場合に表示される誘導情報の一例を示す図であり、図２０は、図１９に示す誘導情報を作成する際に使用されるユーザインタフェース部品画像の一例を示す図である。

誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８６１を、２次元的に商品が配置されている撮影画像に重畳した誘導情報８６０を作成する。誘導情報８６０は、特定された商品の位置から、関心商品が存在する位置に向かう方向を示す。なお、ユーザインタフェース部品画像８６１は、誘導サービス装置１００内のメモリに予め記憶されている。

関心商品リストに商品Ｄがあり、商品Ｂが特定された商品である場合、図１９に示すように、誘導装置２００の表示部２０３は、下方向に商品Ｄがあることを示す誘導情報８６０を提示する。

図１９に示すように、誘導装置２００の表示部２０３は、実際に撮影された画像に関心商品Ｄの相対位置を重畳して提示してもよい。なお、ユーザインタフェース部品画像８６１は、実際に撮影された画像に重畳される画像の一例である。

なお、本実施の形態では、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８６１を撮影画像に重畳した誘導情報８６０を作成しているが、本発明は特にこれに限定されず、誘導情報作成部１０４は、関心商品の位置を示すユーザインタフェース部品画像８６１のみを誘導情報として作成してもよい。この場合、誘導装置２００は、誘導サービス装置１００から受信した誘導情報（ユーザインタフェース部品画像８６１）を、撮影部２０１がリアルタイムに撮影している画像に重畳させて表示する。誘導情報は、表示部２０３の表示画面上における誘導情報の表示位置を特定する情報とともに送信される。

なお、本実施の形態において、関心商品データベース１０２に登録されている関心商品は１つとは限らず、複数の関心商品が登録されている場合もある。そのため、誘導情報作成部１０４は、複数の関心商品の配置位置が取得された場合、特定された商品から最も近い位置にある関心商品に利用者を誘導する誘導情報を作成してもよい。また、誘導情報作成部１０４は、複数の関心商品の配置位置が取得された場合、最近登録された関心商品に利用者を誘導する誘導情報を作成してもよい。さらに、誘導情報作成部１０４は、複数の関心商品の配置位置が取得された場合、特定された商品から最も近い位置にある関心商品から順番に利用者を誘導する誘導情報を作成してもよい。さらにまた、誘導情報作成部１０４は、複数の関心商品の配置位置が取得された場合、最近登録された関心商品から順番に利用者を誘導する誘導情報を作成してもよい。

また、本実施の形態では、誘導装置２００が備える表示部２０３によって誘導情報が表示されるが、本発明は特にこれに限定されず、誘導装置２００が備える音声出力部によって誘導情報が音声出力されてもよい。また、誘導装置２００は、誘導装置２００を振動させる振動装置を備えてもよく、振動装置は、誘導情報によって表される関心商品の方向へ利用者が向かうように誘導装置２００を振動させてもよい。

また、本実施の形態において、商品特定部１０３によって撮影画像内の複数の商品識別情報が特定された場合、誘導情報作成部１０４は、特定された複数の商品識別情報のうちの１つの商品識別情報と、商品レイアウトデータベース１０１に保持されている商品配置情報と、利用者によって予め登録された関心商品識別情報とに基づいて、関心商品の建物内における配置位置を特定してもよい。例えば、撮影画像の中心に最も近い商品に対応する商品識別情報が、特定された複数の商品識別情報のうちの１つの商品識別情報として選択される。

なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。

この構成によれば、建物内に配置された複数の商品を識別するための複数の商品識別情報と、複数の商品の建物内における配置位置とを対応付けた商品配置情報とが保持される。撮影画像内に含まれる商品識別情報が特定される。特定された商品識別情報と、商品配置情報と、利用者によって予め登録された登録商品を識別するための登録商品識別情報とに基づいて、登録商品の建物内における配置位置が特定され、特定された登録商品の配置位置へ利用者を誘導するための誘導情報が提示される。

したがって、撮影画像内に含まれる商品の配置位置と、利用者によって予め登録された登録商品の建物内における配置位置とを用いて、建物内の関心のある商品の位置へ利用者を誘導することができる。

また、上記の誘導方法において、前記誘導ステップは、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致する場合、前記登録商品の前記撮影画像内における位置を示す画像を前記誘導情報として提示することが好ましい。

この構成によれば、撮影画像内に含まれる商品識別情報と、登録商品識別情報とが一致する場合、登録商品の撮影画像内における位置を示す画像が誘導情報として提示される。したがって、撮影画像内に登録商品が含まれる場合、登録商品の撮影画像内における位置を利用者に提示することができる。

また、上記の誘導方法において、前記誘導ステップは、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品の位置を示す画像を誘導情報として提示することが好ましい。

この構成によれば、特定された商品識別情報と、登録商品識別情報とが一致しない場合、登録商品の位置を示す画像が誘導情報として提示されるので、撮影画像内に登録商品が含まれない場合であっても、登録商品の位置を利用者に提示することができる。

また、上記の誘導方法において、前記誘導ステップは、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品が存在する方向を示す画像を前記誘導情報として提示することが好ましい。

この構成によれば、特定された商品識別情報と、登録商品識別情報とが一致しない場合、登録商品が存在する方向を示す画像が誘導情報として提示されるので、撮影画像内に登録商品が含まれない場合であっても、登録商品が存在する方向を利用者に提示することができる。

また、上記の誘導方法において、前記誘導ステップは、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致せず、前記撮影画像内の隠れた位置に前記登録商品が存在する場合、前記登録商品の仮想的な位置を示す画像を前記誘導情報として提示することが好ましい。

この構成によれば、特定された商品識別情報と、登録商品識別情報とが一致せず、撮影画像内の隠れた位置に登録商品が存在する場合、登録商品の仮想的な位置を示す画像が誘導情報として提示されるので、撮影画像内の隠れた位置に登録商品が存在する場合であっても、登録商品の仮想的な位置を利用者に提示することができる。

また、上記の誘導方法において、前記特定ステップにおいて特定された前記商品識別情報の前記建物内における配置位置を特定し、特定した配置位置が、前記商品配置情報に含まれる前記商品識別情報の配置位置と異なる場合、前記商品配置情報に含まれる前記商品識別情報の配置位置を前記特定した配置位置に変更するように前記商品配置情報を更新する更新ステップをさらに含むことが好ましい。

この構成によれば、撮影画像に基づいて商品配置情報が更新されるので、撮像画像が取得される毎に、商品配置情報を最新の状態にすることができ、最新の商品配置情報を用いて、登録商品の位置を利用者に提示することができる。

また、上記の誘導方法において、前記登録商品は、複数の登録商品を含み、前記誘導ステップは、前記複数の登録商品のうち、前記特定ステップにおいて特定された前記商品識別情報の配置位置に最も近い登録商品の配置位置へ前記利用者を誘導するための誘導情報を提示することが好ましい。

この構成によれば、複数の登録商品のうち、特定された商品識別情報の配置位置に最も近い登録商品の配置位置へ利用者を誘導するための誘導情報が提示される。したがって、複数の商品が登録されていたとしても、利用者の現在位置から最も近い位置に存在する登録商品へ利用者を誘導することができる。

本発明の他の局面に係る誘導システムは、サーバ装置と、前記サーバ装置と通信可能に接続された誘導装置とを備える誘導システムであって、前記サーバ装置は、建物内に配置された複数の商品を識別するための複数の商品識別情報と、前記複数の商品の前記建物内における配置位置とを対応付けた商品配置情報を保持する商品配置情報保持部と、前記建物内における利用者の周辺を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像取得部によって取得された前記撮影画像を分析し、前記撮影画像内に含まれる商品識別情報を特定する特定部と、前記特定部によって特定された前記商品識別情報と、前記商品配置情報保持部に保持されている前記商品配置情報と、利用者によって予め登録された登録商品を識別するための登録商品識別情報とに基づいて、前記登録商品の前記建物内における配置位置を特定し、特定した前記登録商品の配置位置へ前記利用者を誘導するための誘導情報を作成する誘導情報作成部とを備え、前記誘導装置は、前記建物内における利用者の周辺を撮影する撮影部と、前記誘導情報作成部によって作成された前記誘導情報を提示する誘導情報提示部とを備える。

この構成によれば、サーバ装置において、建物内に配置された複数の商品を識別するための複数の商品識別情報と、複数の商品の建物内における配置位置とを対応付けた商品配置情報が保持される。建物内における利用者の周辺を撮影した撮影画像が取得される。取得された撮影画像が分析され、撮影画像内に含まれる商品識別情報が特定される。特定された商品識別情報と、保持されている商品配置情報と、利用者によって予め登録された登録商品を識別するための登録商品識別情報とに基づいて、登録商品の建物内における配置位置が特定され、特定された登録商品の配置位置へ利用者を誘導するための誘導情報が作成される。誘導装置において、建物内における利用者の周辺が撮影される。作成された誘導情報が提示される。

なお、発明を実施するための形態の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と特許請求事項との範囲内で、種々変更して実施することができるものである。

本発明に係る誘導方法及び誘導システムは、建物内の関心のある商品の位置へ利用者を誘導することができ、関心のある商品の位置まで利用者を誘導する誘導方法及び誘導システムに有用である。

Claims

装置が、建物内における利用者の周辺画像を分析し、前記周辺画像内に含まれる商品識別情報を特定する特定ステップと、
前記装置が、前記特定ステップにおいて特定された前記商品識別情報と、前記建物内に配置された複数の商品を識別するための複数の商品識別情報と、前記複数の商品の前記建物内における配置位置とを対応付けた商品配置情報とに基づいて、前記建物内における前記利用者の位置を推定する推定ステップと、
前記装置が、前記利用者によって予め登録された登録商品を識別するための登録商品識別情報と、前記商品配置情報とに基づいて、前記登録商品の前記建物内における配置位置を特定し、前記推定した前記利用者の位置から特定した前記登録商品の配置位置に前記利用者を誘導するための誘導情報を提示する誘導ステップとを含む誘導サービス方法。
前記誘導ステップにおいて、前記装置が、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致する場合、前記登録商品の前記周辺画像内における位置を示す画像を前記誘導情報として提示する請求項１記載の誘導サービス方法。
前記誘導ステップにおいて、前記装置が、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品の位置を示す画像を誘導情報として提示する請求項１又は２記載の誘導サービス方法。
前記誘導ステップにおいて、前記装置が、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品が存在する方向を示す画像を前記誘導情報として提示する請求項３記載の誘導サービス方法。
前記誘導ステップにおいて、前記装置が、前記特定ステップにおいて特定された前記商品識別情報と、前記登録商品識別情報とが一致せず、前記周辺画像内の隠れた位置に前記登録商品が存在する場合、前記登録商品の仮想的な位置を示す画像を前記誘導情報として提示する請求項１〜４のいずれかに記載の誘導サービス方法。
前記装置が、前記特定ステップにおいて特定された前記商品識別情報の前記建物内における配置位置を特定し、特定した配置位置が、前記商品配置情報に含まれる前記商品識別情報の配置位置と異なる場合、前記商品配置情報に含まれる前記商品識別情報の配置位置を前記特定した配置位置に変更するように前記商品配置情報を更新する更新ステップをさらに含む請求項１〜５のいずれかに記載の誘導サービス方法。
前記登録商品は、複数の登録商品を含み、
前記誘導ステップにおいて、前記装置が、前記複数の登録商品のうち、前記利用者の位置から前記特定ステップにおいて特定された前記商品識別情報の配置位置に最も近い登録商品の配置位置に前記利用者を誘導するための誘導情報を提示する請求項１〜６のいずれかに記載の誘導サービス方法。
建物内に配置された複数の商品を識別するための複数の商品識別情報と、前記複数の商品の前記建物内における配置位置とを対応付けた商品配置情報を保持する商品配置情報保持部と、
前記建物内における利用者の周辺画像を取得する画像取得部と、
前記画像取得部によって取得された前記周辺画像を分析し、前記周辺画像内に含まれる商品識別情報を特定する特定部と、
前記特定部によって特定された前記商品識別情報と、前記商品配置情報保持部に保持されている前記商品配置情報とに基づいて、前記建物内における前記利用者の位置を推定し、前記利用者によって予め登録された登録商品を識別するための登録商品識別情報と、前記商品配置情報とに基づいて、前記登録商品の前記建物内における配置位置を特定し、前記推定した前記利用者の位置から特定した前記登録商品の配置位置に前記利用者を誘導するための誘導情報を作成する誘導情報作成部とを備えるサーバ装置。
前記誘導情報作成部は、前記特定部において特定された前記商品識別情報と、前記登録商品識別情報とが一致する場合、前記登録商品の前記周辺画像内における位置を示す画像を前記誘導情報として生成する請求項８記載のサーバ装置。
前記誘導情報作成部は、前記特定部において特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品の位置を示す画像を誘導情報として生成する請求項８又は９記載のサーバ装置。
前記誘導情報作成部は、前記特定部において特定された前記商品識別情報と、前記登録商品識別情報とが一致しない場合、前記登録商品が存在する方向を示す画像を前記誘導情報として生成する請求項１０記載のサーバ装置。
前記誘導情報作成部は、前記特定部において特定された前記商品識別情報と、前記登録商品識別情報とが一致せず、前記周辺画像内の隠れた位置に前記登録商品が存在する場合、前記登録商品の仮想的な位置を示す画像を前記誘導情報として生成する請求項８〜１１のいずれかに記載のサーバ装置。
前記特定部において特定された前記商品識別情報の前記建物内における配置位置を特定し、特定した配置位置が、前記商品配置情報に含まれる前記商品識別情報の配置位置と異なる場合、前記商品配置情報に含まれる前記商品識別情報の配置位置を前記特定した配置位置に変更するように前記商品配置情報を更新する更新部をさらに備える請求項８〜１２のいずれかに記載のサーバ装置。
前記登録商品は、複数の登録商品を含み、
前記誘導情報作成部は、前記複数の登録商品のうち、前記利用者の位置から前記特定部において特定された前記商品識別情報の配置位置に最も近い登録商品の配置位置に前記利用者を誘導するための誘導情報を生成する請求項８〜１３のいずれかに記載のサーバ装置。
前記利用者が保持する端末が前記誘導情報を表示するために、前記誘導情報を前記端末に送信する送信部をさらに備える請求項８記載のサーバ装置。