WO2011122654A1

WO2011122654A1 - 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム

Info

Publication number: WO2011122654A1
Application number: PCT/JP2011/057972
Authority: WO
Inventors: 昇庵原; 和宏笹尾; 甲横山; 新櫻井; 武蔵リカルド岡本
Original assignee: 新日鉄ソリューションズ株式会社
Priority date: 2010-03-30
Filing date: 2011-03-30
Publication date: 2011-10-06
Also published as: SG10201400952WA; US20150112586A1; US9689688B2; US20140214606A1; US20140210853A1; EP2752362B1; MY156130A; EP2752805A1; US20130010103A1; SG10201400956YA; EP2752362A2; US8896685B2; SG10201400949SA; EP2757517A1; US9395195B2; EP2544138A4; EP2544138A1; EP2752362A3; MY174604A; MY173040A

Abstract

　携帯端末（２００）は、ちらし（３００）に掲載される商品に係る画像データを撮影により取得し、商品に係る画像データを買物管理サーバ（１００）に対して送信する。買物管理サーバ（１００）は、携帯端末（２００）から商品に係る画像データを受信した場合、商品に係る画像データを解析することにより商品を特定し、商品の在庫情報及び販売情報のうちの少なくとも何れか一方を取得し、商品の在庫情報及び販売情報のうちの少なくとも何れか一方を携帯端末（２００）に対して送信する。携帯端末（２００）は、買物管理サーバ（１００）から送信された商品の在庫情報及び販売情報のうちの少なくとも何れか一方を示すコンピュータグラフィック画像データを、現実空間のちらしの映像と合成して提示することによって課題を解決する。

Description

情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム

　本発明は、情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラムに関する。

　目的地までの道案内や作業時における作業手順の提示等、様々な分野でナビゲーション技術が利用されている。ナビゲーション技術とは、ある行為を遂行し易くするよう支援を行う技術であるため、出来るだけ直感的に理解できるような仕組みが以前から求められている。そのような仕組みの一つとして、文字や画像等のコンピュータで管理されているデータを、現実の環境へ重畳表示させ、現実の環境に補足的な情報を与える拡張現実と呼ばれる技術を利用したナビゲーション技術が存在する。

　例えば、買物する際のナビゲーション技術として、テーマパークやショッピングモールにおいて、お目当てのアトラクションへのルートや店側が推す商品の陳列情報を拡張現実（Augmented Reality、以下ＡＲ）を利用して３次元的にナビゲーションする技術が開示されている（例えば、特許文献１参照）。より具体的には、撮影時の携帯情報端末の位置姿勢を演算し、携帯情報端末にて撮影した画像に写っているマーカを用いて、当該マーカに予め関連付けられた所定の情報を撮影した画像上に重畳表示する技術である。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。

　また、買物予定の商品を予め携帯端末のリストに登録しておき、リストに登録された商品の近くを歩くと、当該商品の商品情報が携帯端末に表示される技術が知られている（例えば、特許文献２参照）。

　同様に、駐車場内の空きスペースをナビゲーションする技術も、いくつか開発されている。ショッピングセンターや、遊園地、公共の大型駐車場では、車の運転手は、どこに空きスペースがあるかを把握することは困難であり、案内情報が必要とされる。したがって、例えば駐車場によって各駐車スペースにセンサーを設けて駐車状況を検知している。そして場内を複数のブロックに分割し、ブロック毎に「満車」「空」等を電光板等で表示して運転手に空きスペースを案内している。
　ところが、各ブロックの入り口に「満車」「空」が表示されているとしても、運転手は、そのブロック近辺まで走行してみないと「満車」「空」の状況はつかめない。或いは、場内が一覧された電光板を取り入れている駐車場もあるが、運転手は、運転しながら電光板を眺めてその目的スペースに辿り着くことは困難である。また、駐車場内は一方通行が設定されているところも多く、運転手が「空」を見つけたとしても、空いている駐車スペースまで辿り着きにくいという問題がある。
　このような課題を解決するために、例えば特許文献３では、カーナビゲーションシステムに駐車場の空き状況を反映させる仕組みが開示されている。先行文献１の方法は、駐車スペースから発車しそうな車を感知し、その状況を他の車のカーナビゲーションシステムに送信することで、近くに存在する空きスペースを案内するというものである。

　同様に、船舶の分野においても、様々なナビゲーション技術が開発されてきている。船舶の運航には、古くは海図を使った航行、現在はレーダー装置やＧＰＳ等を利用した航行が行われている。ところで沿岸部を運航する船舶の場合、暗礁への座礁等、海面下の障害物に対するトラブルを避けるために上記機器を駆使することになる。また、沿岸部に限らず、濃霧等により他の船舶との接触を避けるためにも海上では目視だけでなく、機器からの情報を活用している。
　これら機器を活用して座礁や他船との接触を避けることを高めることは可能であるが、より直感的に危険を察知・回避できる仕組みが望まれている。例えば非特許文献１には、船舶自動識別システム（ＡＩＳ）と電子海図とを組み合わせて３次元表示する仕組みが開示されている。しかしながら、結局のところ船員は非特許文献１の図３５のようなグラフ表示を理解して衝突等の判断をすることが求められる。

特開２００４－４８６７４号公報特開平１０－１９８７３１号公報特開２００６－２０９４２９号公報

福戸　淳司、他３名、"フェールセーフとしての衝突座礁回避システムの研究　中間報告"、［ｏｎｌｉｎｅ］、［平成２２年２月１０日検索］、インターネット＜http://www.nmri.go.jp/main/publications/paper/pdf/2A/03/00/PNM2A030043-00.pdf＞

　しかしながら、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。

　本発明はこのような問題点に鑑みなされたもので、常に状況が変化しうるナビゲーション対象の現状を踏まえ、拡張現実技術を活用して任意のタイミングでリアルタイムな情報を重畳表示し、より直感的に理解できるよう強化した知覚を提供することを目的とする。

　例えば特許文献１に開示される技術においては、ナビゲーション情報の中には、店側にとってはお勧めの情報であっても、ユーザにとっては必要のない情報が含まれていることもある。これに対して、特許文献２に開示される技術は、予めリストに登録しておいた買物予定の商品の商品情報を携帯端末に表示させることができるが、リスト登録時にすぐに買物に行くとは限らないので、買物に行く時に買物予定の商品の在庫が切れていたり、買物予定の商品の価格が変動していたりする可能性がある。
　更に、商品の価格や在庫状況のような、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。

　本発明はこのような問題点に鑑みなされたもので、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することを第一の目的とする。

　その他にも、例えば、特許文献３のような構成の場合、カーナビゲーションシステム等が、駐車場の地図情報を記憶しておかなくてはならず、駐車場の改装等の度に、カーナビゲーションシステムの地図情報を更新する必要がある等の問題があった。

　更に、駐車場の空きスペースの状況のような、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。

　本発明はこのような問題点に鑑みなされたもので、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することを第二の目的とする。

　その他にも、例えば、船舶の運航のように、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。

　本発明はこのような問題点に鑑みなされたもので、船舶が航行する際に有益な情報を、船員等が直感的に状況を把握可能に提供することを第三の目的とする。

　そこで、本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、ちらしに掲載される各商品の在庫情報及び販売情報のうちの少なくとも何れか一方を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、前記ちらしに掲載される商品に係る画像データを撮影により取得する撮像手段と、前記撮像手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段とを有し、前記管理装置は、前記拡張現実感提示装置から前記商品に係る画像データを受信した場合、前記商品に係る画像データを解析することにより前記商品を特定し、前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を取得する第１の取得手段と、前記第１の取得手段により取得された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を前記拡張現実感提示装置に対して送信する第２の送信手段とを有し、前記拡張現実感提示装置は、前記管理装置から送信された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を示すコンピュータグラフィック画像データを、現実空間の前記ちらしの映像と合成して提示する提示手段を更に有する。

　そこで、本発明の情報処理装置は、駐車場の空きスペース情報を取得する空きスペース情報取得手段と、駐車場内の車の位置及び向きを取得する車情報取得手段と、前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成手段と、前記画像生成手段で生成された仮想空間画像を前記車に送信する送信手段と、を有する。

　また、本発明の情報処理装置は、駐車場の空きスペース情報を取得する空きスペース情報取得手段と、駐車場内の車の位置及び向きを取得する車情報取得手段と、前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信手段と、を有する。

　そこで、本発明は、船舶の位置情報を取得する位置情報取得装置と、海底形状を含む電子海図と潮位表とを記憶する情報記憶装置と、画像表示装置と、前記画像表示装置に画像を提供する画像提供装置と、を含む画像表示システムであって、前記画像提供装置は、前記位置情報取得装置で取得された前記船舶の位置情報と、前記潮位表と、電子海図の示す水深に関する情報と、に基づいて、前記船舶の位置の海面下の深度を求め、前記位置情報と、前記海面下の深度と、前記電子海図の示す海底地形画像データと、に基づいて、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供し、前記画像表示装置は、前記画像提供装置より提供された海底形状の仮想空間画像を前記画像表示装置からの風景に重畳して表示する。

　本発明によれば、常に状況が変化しうる環境におけるナビゲーション技術において、直感的に理解できるようにするに、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが可能になる。
　例えば、本発明によれば、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することができる。

　その他にも、例えば、本発明によれば、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、容易に、目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することができる。

　その他にも、例えば、本発明によれば、船舶が航行する際に有益な情報を、船員等が直感的に状況を把握可能に提供することができる。

図１は、実施形態１の買物ナビゲーションシステムの構成を概略的に示す図である。図２Ａは、買物管理サーバのハードウェア構成を示す図である。図２Ｂは、携帯端末のハードウェア構成を示す図である。図３Ａは、実施形態１の買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。図３Ｂは、実施形態１の買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。図４は、ユーザがちらしに掲載される購入予定商品を指差し、その状態を携帯端末の撮像部の画角に捉えた状態を示す図である。図５は、商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。図６は、ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。図７は、ちらし情報ＤＢのデータベース構造の例を模式的に示す図である。図８は、ユーザ情報ＤＢのデータベース構造の例を模式的に示す図である。図９は、商品情報ＤＢのデータベース構造の例を模式的に示す図である。図１０は、実施形態２の買物ナビゲーションシステムの構成を概略的に示す図である。図１１Ａは、実施形態２の買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。図１１Ｂは、実施形態２の買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。図１２は、買物リストの例を示す図である。図１３は、空きスペース案内システムのシステム構成の一例を示す図である。図１４は、情報処理装置のハードウェア構成の一例を示す図である。図１５は、車のハードウェア構成の一例を示す図である。図１６は、実施形態３の情報処理装置のソフトウェア構成の一例を示す図である。図１７は、実施形態３の車のソフトウェア構成の一例を示す図である。図１８は、実施形態３の空きスペース案内システムにおける処理の一例を示すシーケンス図である。図１９は、実施形態３のディスプレイにおける重畳表示の一例を示す図である。図２０は、実施形態４の情報処理装置のソフトウェア構成の一例を示す図である。図２１は、実施形態４の空きスペース案内システムにおける処理の一例を示すシーケンス図である。図２２は、実施形態４のディスプレイにおける重畳表示の一例を示す図である。図２３は、実施形態５の情報処理装置のソフトウェア構成の一例を示す図である。図２４は、実施形態５の空きスペース案内システムにおける処理の一例を示すシーケンス図である。図２５は、実施形態５のディスプレイにおける重畳表示の一例を示す図である。図２６は、実施形態６の情報処理装置のソフトウェア構成の一例を示す図である。図２７は、実施形態６の車のソフトウェア構成の一例を示す図である。図２８は、実施形態６の空きスペース案内システムにおける処理の一例を示すシーケンス図である。図２９は、実施形態７の画像表示システムのシステム構成の一例を示す図である。図３０は、画像提供装置のハードウェア構成の一例を示す図である。図３１は、画像表示装置のハードウェア構成の一例を示す図である。図３２は、画像提供装置のソフトウェア構成の一例を示す図である。図３３は、画像表示装置のソフトウェア構成の一例を示す図である。図３４は、海底形状の仮想空間画像を表示装置からの風景の海面下に重畳して表示した一例を示す図である。図３５は、実施形態の画像表示システムのシステム構成の一例を示す図である。図３６は、実施形態９の画像表示システムのシステム構成の一例を示す図である。図３７は、実施形態１０の画像表示システムのシステム構成の一例を示す図である。図３８は、実施形態１１の画像表示システムのシステム構成の一例を示す図である。

　以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
　図１は、実施形態１の買物ナビゲーションシステムの構成を概略的に示す図である。図１に示すように、本実施形態に係る買物ナビゲーションシステムは、買物管理サーバ１００と携帯端末２００とを備え、互いに無線通信回線を介して通信可能に接続されている。

　ユーザは、ちらし３００を閲覧し、ちらし３００に掲載される商品から購入予定商品を選択する。次にユーザは選択した購入予定商品を指差し、その状態を携帯端末２００の撮像部の画角に捉えることで、購入予定商品を指差しした状態の画像データが撮像部によって生成される。携帯端末２００は、撮像部によって生成された画像データから購入予定商品の画像データを検出する。購入予定商品の画像データの検出方法としては、例えば、指差しした状態における指の形状パターンを幾つか用意しておき、画像データ内にそれらの指の形状パターンと一致又は類似する画像データが検出された場合、当該画像データを指と認識し、その指の向きに当該指から一定の距離以内に存在するオブジェクトを購入予定商品として検出する方法等が考えられる。

　携帯端末２００は、購入予定商品の画像データを検出すると、購入予定商品の画像データを買物管理サーバ１００に対して送信する。買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信すると、商品マッチング部１０６において、ちらし情報ＤＢ１０２に格納される、ちらし３００に掲載されている各商品の画像データと、携帯端末２００から受信した購入予定商品の画像データとの一致性を判定し、購入予定商品がちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品である場合、登録／照会部１０５は、購入予定商品とユーザとを対応付けてユーザ情報ＤＢ１０１に登録する。これにより、ユーザの購入予定商品が買物管理サーバ１００において登録される。

　購入予定商品が買物管理サーバ１００において登録された後、ユーザがその購入予定商品の価格情報や在庫情報の推移を知りたい場合には、再度ちらし３００に対して携帯端末２００をかざし、携帯端末２００の撮像部の画角に購入予定商品を捉えるようにする。これにより、携帯端末２００から購入予定商品の画像データが買物管理サーバ１００に対して送信される。買物管理サーバ１００の商品マッチング部１０６は、携帯端末２００から受信される画像データを解析することにより、当該画像データがちらし３００に掲載されている商品の画像データであることを検知する。そして登録／照会部１０５は、その商品がユーザの購入予定商品であると判定する。そして商品情報検索部１０７は、購入予定商品の最新（現在）の販売価格や在庫情報等の商品情報を取得し、携帯端末２００に対して送信する。携帯端末２００は、購入予定商品の最新の商品情報を示すコンピュータグラフィックス画像データを現実空間の映像と合成してディスプレイ上に表示する。このとき、商品情報を示すコンピュータグラフィックス画像データは、商品情報が購入予定商品と関連していることを把握しやすくするために、購入予定商品の近傍に表示されるように現実空間の映像との合成が行われる。

　地図情報検索部１０８は、携帯端末２００の現在地情報を取得すると共に購入予定商品を販売している店舗の住所情報を取得し、現在地情報で示される位置と住所情報で示される位置とを含む地図情報を地図情報ＤＢ１０４から取得する。そして、地図情報検索部１０８は、取得した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００は、案内情報を用いて、現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、携帯端末２００の撮像部の画角に街頭を捉えることにより、ユーザは街頭の現実空間の映像にコンピュータグラフィックス画像データによる経路案内が合成された画像を携帯端末２００のディスプレイ上で確認しながら、店舗まで移動することができる。

　本実施形態においては、携帯端末２００のディスプレイ上において現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を提示している。以下では、このような拡張された現実感を与えるコンピュータグラフィックス画像データの表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、何れかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。

　また、上記の携帯端末２００は、撮像部によって撮影された現実空間の映像をディスプレイに表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示する携帯端末型のＡＲ表示デバイスを想定しているが、本実施形態に適用可能なＡＲ表示デバイスはこれに限定されない。例えば、ユーザの頭部に装着される眼鏡型のＡＲ表示デバイスであって、光学的に透過してレンズ部分に映し出される現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示するＡＲ表示デバイス（ＨＭＤ）であってもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。

　また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、携帯端末２００の位置（緯度、経度）と姿勢（方向、仰角）とに基づいて携帯端末２００を所持するユーザが撮像部越しに現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよいし、現実空間のオブジェクトにマーカを付けておき、そのマーカを撮像部で撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。

　図２Ａは、本実施形態に係る買物管理サーバ１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１００３又はＨＤ（ハードディスク）１００９には、ＣＰＵ１００１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、例えば図３Ａ及び図３Ｂに示す処理のうちの買物管理サーバ１００が実行する処理のプログラム等が記憶されている。

　なお、図２Ａの例では、ＨＤ１００９は買物管理サーバ１００の内部に配置された構成としているが、他の実施形態としてＨＤ１００９に相当する構成が買物管理サーバ１００の外部に配置された構成としてもよい。また、本実施形態に係る例えば図３Ａ及び図３Ｂに示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ－ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。

　ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークエリア等として機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。

　ＨＤ１００９やＦＤ１００８は、外部メモリとして機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。

　ディスクコントローラ１００７は、ＨＤ１００７やＦＤ１００８等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ１００６は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

　ディスプレイコントローラ１０１０は、ディスプレイ１０１１における画像表示を制御する。

　ＫＢコントローラ１００４は、ＫＢ（キーボード）１００５からの操作入力を受け付け、ＣＰＵ１００１に対して送信する。なお、図示していないが、ＫＢ１００５の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る買物管理サーバ１００に適用可能である。

　図１に示す登録／照会部１０５、商品マッチング部１０６、商品情報検索部１０７、地図情報検索部１０８は、例えばＨＤ１００９内に記憶され、必要に応じてＲＡＭ１００２にロードされるプログラム及びそれを実行するＣＰＵ１００１によって実現される構成である。また、ユーザ情報ＤＢ１０１、ちらし情報ＤＢ１０２、商品情報ＤＢ１０３、地図情報ＤＢ１０４は、ＨＤ１００９における一部記憶領域に相当する構成である。

　図２Ｂは、本実施形態に係る携帯端末２００のハードウェア構成を示す図である。ＣＰＵ２００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２００３には、例えば図３Ａ及び図３Ｂに示す処理のうちの携帯端末２００が実行する処理のプログラム等が記憶されている。なお、図３Ａ及び図３Ｂに示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。

　ＲＡＭ２００２は、ＣＰＵ２００１の主メモリ、ワークメモリ等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＡＭ２００２にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ２００５は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

　撮像部２００４は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ２００６は、ディスプレイ２００７における画像表示を制御する。本実施形態においてディスプレイ２００７は液晶ディスプレイを採用しているものとする。

　図３Ａは、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。先ずユーザは、ちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉える。これにより、ステップＳ１０１において、撮像部２００７は画角に捉えた画像データを生成し、携帯端末２００はこの画像データを解析することにより、指差しによって指定された購入予定商品の画像データを検出する。ステップＳ１０２において、携帯端末２００は、ステップＳ１０１にて検出した購入予定商品の画像データを買物管理サーバ１００に対して送信する。

　図４は、ユーザがちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉えた状態を示す図である。ユーザはちらし３００に掲載される商品のうち、リンゴを購入予定商品に選択して指差ししており、図４の例では、携帯端末２００の撮影部はこの状態を画角に収め、ちらし３００上の購入予定商品（リンゴ）をユーザが指差した状態の映像がディスプレイ２００７に表示されている。従って、図４の例では、リンゴの画像データが購入予定商品の画像データとして検出されることになる。なお、上述した方法以外に、例えば、ユーザがちらし上のリンゴの周りを囲むように指を動かし、それを撮像部２００７の画角に捉えることによって購入予定商品を指定してもよい。この場合、携帯端末２００は、ユーザの指の軌道を検知し、その軌道内に収まっている商品を購入予定商品として判定する。以上のような購入予定商品の指定方法を採用することで、簡便に購入予定商品の指定することが可能となる。

　ステップＳ２０１において、買物管理サーバ１００は、購入予定商品の画像データを携帯端末２００から受信する。ステップＳ２０２において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。この一致性の判定は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとのパターンマッチングを行い、双方が一致又は類似していると判定された場合に、購入予定商品はちらし３００に掲載されている商品であると判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２０４に移行する。一方、購入予定商品がちらし３００に掲載されている商品ではないと判定された場合、処理はステップＳ２０１に戻り、新たな購入予定商品の画像データの受信を待つ。

　図７は、ちらし情報ＤＢ１０２のデータベース構造の例を模式的に示す図である。図７において、ちらし情報ＤＢ１０２は、ちらし３００に掲載されている各商品のＩＤ（商品ＩＤ）と画像データとを対応付けて管理している。ステップＳ２０１において、買物管理サーバ１００が例えばリンゴの画像データを携帯端末２００から受信した場合、ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データと、ちらし３００に掲載されている各商品の画像データと、を比較した結果、購入予定商品の画像データは７０１のリンゴの画像データと一致又は類似していると判定し、購入予定商品はリンゴであると判定する。

　ステップＳ２０４において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０１で受信された購入予定商品の画像データのヘッダ情報から送信元のユーザＩＤを取得する。そして、登録／照会部１０５は、ユーザＩＤと購入予定商品の商品ＩＤとを対応付けてユーザ情報ＤＢ１０１に対して登録する。

　図８は、ユーザ情報ＤＢ１０１のデータベース構造の例を模式的に示す図である。図８において、ユーザ情報ＤＢ１０１は、ユーザＩＤ及び購入予定商品ＩＤを対応付けて管理している。例えば、購入予定商品の商品ＩＤが“１０１１”であり、購入予定商品の画像データのヘッダ情報からユーザＩＤ“ａａａ”を取得することができた場合、８０１のレコードに示すように、ユーザＩＤ“ａａａ”及び購入予定商品ＩＤ“１０１１”が対応付けて管理される。

　図３Ｂは、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。例えばユーザが既に買物管理サーバ１００に登録してある購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、再度ちらし３００に掲載される購入予定商品に対して携帯端末２００をかざし、撮像部２００７の画角に購入予定商品を捉える。これにより、ステップＳ１０３において、携帯端末２００の撮像部２００７は購入予定商品の画像データを生成する。ステップＳ１０４において、携帯端末２００は、購入予定商品の画像データを買物管理サーバ１００に対して送信する。

　ステップＳ２０５において、買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信する。ステップＳ２０６において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０７において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２１３に移行する。一方、購入予定商品がちらし３００に掲載されている商品と判定されなかった場合、処理はステップＳ２０５に戻る。

　ステップＳ２１３において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０５にて受信された画像データのヘッダ情報から送信元のユーザＩＤを取得する。ステップＳ２０８において、登録／照会部１０５は、ステップＳ２１３にて取得した商品ＩＤが上記ユーザＩＤと対応付けてユーザ情報ＤＢ１０１で管理されているか否かを判定する。商品ＩＤと上記ユーザＩＤとが対応付けてあった場合、処理はステップＳ２０９に移行する。一方、商品ＩＤと上記ユーザＩＤとが対応付けてない場合、処理はステップＳ２０５に戻る。

　ステップＳ２０９において、商品情報検索部１０７は、ステップＳ２１３で取得された商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。

　図９は、商品情報ＤＢ１０３のデータベース構造の例を模式的に示す図である。図９において、商品情報ＤＢ１０３は、商品ＩＤ、商品名、価格（価格１、価格２、・・・）、店舗、在庫量及び商品属性が対応付けて管理している。商品属性としては、当該商品が食品であれば、生産地、生産日等が管理され、当該商品が衣服であれば、色、サイズ等が管理される。なお、商品情報ＤＢ１０３で管理されるデータは、図１に図示されていないＰＯＳシステム（Point Of Sales system）と連携し、任意のタイミングで更新されていてもよい。例えば、ステップＳ２１３において取得された商品ＩＤが“１０１１”である場合、ステップＳ２０９では、図９に示す商品情報ＤＢ１０３から９０１のレコードが検索され、レコード９０１に登録される商品情報が携帯端末２００に送信される。なお、商品情報に含まれる価格及び在庫量に関しては、最新の情報が携帯端末２００に対して送信される。商品情報ＤＢ１０３において、ちらし３００に掲載された当該商品の価格が始めの価格（価格１）として登録され、価格が更新される度に価格が追加登録されていく（価格２、価格３、・・・）。ステップＳ２０９では、このように登録された価格の履歴から、最後に登録された価格が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新（現在）の価格が表示されることになる。なお、商品情報ＤＢ１０３において、価格の履歴を管理しておき、価格自体は上書きされ、最新の価格のみが管理される方式でもよい。また、商品情報ＤＢ１０３において、在庫量は所定のタイミングで上書きされ、最新の在庫量のみが管理される。従って、ステップＳ２０９においては最新の在庫量が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新の在庫量が表示されることになる。

　ステップＳ１０５において、携帯端末２００は、買物管理サーバ１００から商品情報を受信する。ステップＳ１０６において、携帯端末２００は、受信した商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。図５は、商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。図５の例においては、購入予定商品の近傍に、商品情報５０１を示すコンピュータグラフィックス画像データと経路案内を要求するための操作スイッチであるタグ５０２を示すコンピュータグラフィックス画像データが表示されている。

　ステップＳ１１０において、携帯端末２００は、経路案内（ナビゲーション）の要求があったか否かを判定する。即ち、携帯端末２００はタグ５０２が操作されたか否かを判定する。タグ５０２が操作された場合、処理はステップＳ１０７に移行する。一方、タグ５０２が操作されてない場合、処理は終了する。ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して経路案内の要求を発行する。

　ステップＳ２１０において、買物管理サーバ１００は、携帯端末２００から経路案内の要求を受け付ける。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報を取得すると共に、購入予定商品を販売している店舗情報を商品検索部１０７から取得する。なお、携帯端末２００の現在地はＧＰＳ（Global Positioning System）を使用することにより取得することが可能である。また、図９には図示していないが、商品情報ＤＢ１０３は商品を販売している店舗の住所情報を含み、地図情報検索部１０８は、商品情報検索部１０７を介して商品情報ＤＢ１０３から購入予定商品を販売している店舗の住所情報を取得するものとする。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報により示される位置と購入予定商品を販売している店舗の住所情報により示される位置とを含む地図情報を検索する。ステップＳ２１２において、地図情報検索部１０８は、検索した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。

　ステップＳ１０８において、携帯端末２００は、案内情報を買物管理サーバ１００から受信する。ステップＳ１０９において、携帯端末２００は、受信した案内情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に合成してディスプレイ２００７に表示する。

　上述した実施形態においては、ユーザは登録しておいた買物予定商品の商品情報を知りたくなった場合には、ちらし上の買物予定商品に対して所定の指定動作を行い、これを撮像部２００４の画角に捉えることで、当該買物予定商品の最新の在庫量や価格等の商品情報を容易に得ることができる。また、ユーザ情報ＤＢ８０１に対してユーザＩＤと購入予定商品の商品ＩＤとの対応付けが登録される際に、当該購入予定商品の商品情報を携帯端末２００に通知できるようにするためには、図３ＡのステップＳ２０４の後に図３ＢのステップＳ２０９を実行すればよい。即ち、買物管理サーバ１００は、ステップＳ２０４においてユーザＩＤと購入予定商品の商品ＩＤとの対応付けをユーザ情報ＤＢ８０１に対して登録すると、続くステップＳ２０９において当該商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。このようにすることで、ユーザＩＤと購入予定商品の商品ＩＤとの対応付けの登録時に、当該購入予定商品の商品情報を携帯端末２００に通知することが可能となる。

　なお、上述した実施形態では、ユーザが購入予定商品の商品情報の提示処理において、再度ちらし３００に対して携帯端末２００をかざす必要があったが、これに限らない。再度ちらし３００に対して携帯端末２００をかざす必要がない他の実施形態について、上述した実施形態とは異なる点を中心に説明する。

＜実施形態２＞
　図１０は、実施形態２の買物ナビゲーションシステムの構成を概略的に示す図である。図１０に示されるように、本実施形態のシステムは、上述の実施形態のシステムと比較して、ユーザ情報ＤＢ１０１を買物管理サーバ１００に備えておらず、代わりに、買物リスト２０１を携帯端末２００に備えている。なお、買物リスト２０１とは、購入予定の商品の商品ＩＤを記録したファイルであり、例えば図１２に示すように、商品画像や商品名等と対応付けて管理されている。

　図１１Ａは、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。図３Ａと比較して、ステップＳ１１０１が追加され、ステップＳ２０４が削除された代わりにステップＳ１２０１が追加されている。

　ステップＳ１２０１において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けられた商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。そして、取得した商品ＩＤを携帯端末２００へ送信する。

　ステップＳ１１０１において、携帯端末２００より商品ＩＤを受信する。そして、受信した商品ＩＤをＲＯＭ２００３に記憶する。

　次に、図１１Ｂは、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。図３Ｂと比較して、図３ＢのステップＳ１０３及びステップＳ１０４が削除された代わりにステップＳ１１０２が追加されている。また、図３ＢのステップＳ２０５からステップＳ２０８が削除された代わりにステップＳ１２０２が追加されている。以下、上述した実施形態との相違点を主眼において本実施形態について説明する。

　例えばユーザが既に図１１ＡのステップＳ１１０１にて携帯端末２００に登録した購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、図１１ＢのステップＳ１１０２において、携帯端末２００は、当該商品の商品ＩＤを買物管理サーバ１００へ送信する。当該商品の商品ＩＤの特定方法としては、例えば、買物リストが図１２に示すように携帯端末２００に表示されており、買物リストに表示された商品名をタップすると当該商品名に対応する携帯端末２００に登録されている商品ＩＤが選択され、買物管理サーバ１００へ送信される。

　ステップＳ１２０２において、買物管理サーバ１００は、商品ＩＤを取得する。以降は、図３Ｂと同様のステップＳ２０９の処理へと移行する。本実施形態の構成によれば、ユーザは購入予定商品の在庫情報や価格情報を取得する際に、ちらし３０を必要としないため、より容易に取得することが可能になる。

　なお、上述した実施形態では、ユーザがちらし３００に掲載される商品から購入予定商品を選択すると、その購入予定商品を販売している店舗における当該購入予定商品の商品情報をＡＲ表示するようにしているが、これに限らない。例えば、ユーザの購入予定商品が複数店舗で販売されていることもあり、このような場合、上述のステップＳ２０９において、当該商品を販売している複数店舗における商品情報が検索され、それら商品情報をＡＲ表示することもできる。即ち、ちらし情報ＤＢ１０２において、複数店舗のちらしの商品の画像データと商品ＩＤとの対応付けを管理しておき、購入予定商品の画像データと一致又は類似する商品の画像データが複数存在し、それら全ての画像データに対応付けられている各商品ＩＤのうちの何れか一つと、購入予定商品の画像データのヘッダに記録されるユーザＩＤとの組み合わせがユーザ情報ＤＢ１０１に存在する場合、上記各商品ＩＤに該当する全ての商品情報が商品情報ＤＢ１０３から取得されるようにしてもよい。或いは、ちらし情報ＤＢ１０２より、購入予定商品の画像データと一致又は類似する画像データに対応する商品ＩＤ全てを特定する方式でもよい。或いは、図７には図示していないが、ちらし情報ＤＢ１０２において、商品名を管理する列を追加し、購入予定商品の画像データと一致又は類似する商品の商品名と同一或いは類似の商品名が、列“商品名”にて管理されている商品の商品ＩＤ全てを特定する方式でもよい。或いは、購入予定商品の画像データではなく、携帯端末２００より受信した商品ＩＤに対応付けて管理されている商品名或いは商品の画像データと一致又は類似する商品の商品ＩＤ全てを特定する方式でもよい。そして、取得された全ての商品情報が買物管理サーバ１００から携帯端末２００に対して送信され、携帯端末２００では、購入予定商品に関して、複数の店舗の商品情報をＡＲ表示することができる。

　図６は、ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。図６において、６０１、６０２、６０３は夫々、Ａ店舗、Ｂ店舗、Ｃ店舗のリンゴに関する商品情報であり、各店舗における現在のリンゴの価格や在庫量等を示している。これにより、ユーザはちらしを発行したＡ店舗以外のリンゴの商品情報を参照することができる。例えば、仮にＡ店舗以外の店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗で在庫がなくなっており、他店舗で在庫が残っていた場合、他店舗でリンゴを買うように買物先を変更してもよい。この場合、ステップＳ１１０において、携帯端末２００は、商品情報がＡＲ表示された複数店舗のうち、どの店舗の商品に関するタグ６０４が操作されたか否かを判定し、次に、ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して、当該店舗までの経路案内の要求を発行する。なお、図６には、経路案内を要求するための操作スイッチであるタグ６０４の店舗の選択形態がプルダウンメニューで表示されているが、これ以外も可能である。例えば、複数店舗夫々のタグを設けてもよいし、ユーザが発声した店舗名を認識する音声認識を用いてもよい。

　また、Ａ店舗で当初リンゴを購入する予定だったが、他店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗では在庫がなくなり、他店舗では在庫がある場合において、買物管理サーバ１００が自動的にそれを検知して携帯端末２００に対して当該多店舗へナビゲートするための案内情報を生成し、携帯端末２００に対して送信するようにしてもよい。このとき、買物物理サーバ１００は、ステップＳ２１１及びステップＳ２１２において、上述のステップＳ２０９において検索された複数店舗における商品情報について任意のタイミングで比較し、所定のルールに基づいた案内情報を生成する。当該ルールは、ＲＯＭ１００３又はＨＤ（ハードディスク）１００９に記憶されており、例えば、現在地とステップＳ２０９において検索された複数店舗のうち、距離が最も近い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗のうち最も在庫が多い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗の各ルートにおける人の混雑状況を示す情報を別途取得し、最もスムーズに通りやすいルートを案内する等が考えられる。なお一つのルールを固定的に適用するのではなく、複数のルールを組み合わせて適用させたり、組み合わせを動的に変更して適用させたりしてもよい。例えば、最初は「距離が最も近い店舗へのルートを案内する」というルールを適用することによってＡ店舗への案内情報が生成され、携帯端末２００においてＡＲ表示された情報に基づきユーザがＡ店舗へ向かっている途中で、買物管理サーバ１００が商品情報ＤＢ１０３を参照して商品の在庫が無い事を把握した場合、別のルール「最も在庫が多い店舗へのルートを案内する」に基づいて、買物管理サーバ１００が、新たな案内情報を生成し、携帯端末２００においてＡＲ表示される。また、現在地から店舗までの経路を案内するだけでなく、店舗内において目当ての商品が陳列されている場所までを案内するようにしてもよい。さらに、ユーザが目当ての商品の周辺まで辿り着いているが商品を見つけられない場合は、携帯端末２００の姿勢検知機能によって姿勢を検知し、ユーザが見るべき方向を案内してもよい。

　また、携帯端末２００に対してＡＲ表示される情報の他の例として、現在ユーザが見ているちらしに過去に登録した商品が掲載されているというアラーム、当該商品の値引き価格や値引き期間等がある。即ち、ユーザにとって定期的に必要となる例えば粉ミルクやティッシュ等の消耗品を図３Ａで説明した方法で一度登録しておくと、以降発行されるちらしにユーザが携帯端末２００をかざし、ちらし内に登録した商品が掲載されていると、それを図３Ｂで説明した方法（ステップＳ２０５～Ｓ２０８）で検知し、ステップＳ２０９と同様の処理により、アラームと当該商品の値引き価格や値引き期間等を携帯端末２００に送信すればよい。これにより、ユーザが携帯端末２００越しにちらしを見た状態でアラーム等の情報がＡＲ表示されることになる。

　また、他の実施形態として、買物管理サーバ１００がユーザの嗜好に応じた商品をちらしから自動的に選択し、選択した商品や当該商品を扱っている店舗をユーザに対して案内してもよい。より具体的には、買物管理サーバ１００に対して、ユーザのマスタ情報を登録しておく。マスタ情報として登録される情報として、個人の趣向（品質重視であるか否か、旬の物重視であるか否か、アレルギーがあるか否か、一週間の目標食費、一日の目標カロリー、同じ材料且つ途中まで同じ料理手順で品数を増やしたいか否か、近場で買い物を済ませたいか否か）、家族の趣向（父：油控え目、子供：肉中心、大人：辛口カレー、子供：甘口カレー）、料理の履歴（料理を成功したか失敗したか、食べ残し履歴、家族の反応）が挙げられる。また、買物管理サーバ１００は、各店舗のちらし情報を取得する。ちらし情報の取得方法としては、各店舗のサイトの電子ちらしデータから商品の画像、価格等を取得したり、新聞の折り込みちらしをカメラで撮影し、撮影により得られた画像データから商品の画像、価格等を取得したりする方法が挙げられる。なお、ちらし情報は複数の店舗のちらし情報を取得するようにしてもよい。例えば、スーパーマーケットであるＡ店舗からはカレーの具材に関するちらし情報を取得し、格安酒店である店舗Ｂからは調味料に関するちらし情報を取得すること等が考えられる。一方、ユーザは携帯端末２００上で料理番組、レストラン紹介番組、料理研究家のブログ、お勧め料理のレシピを見て、画面上で例えば「美味しそう」というボタンを操作すると、携帯端末２００は画像認識、音声認識、文字認識等を行い、この解析結果とマスタ情報及びちらし情報とを引き合わせ、食材及び販売店舗を選定する。

　買物管理サーバ１００は、このようにして選定された食材及び販売店舗に基づいて、携帯端末２００の現在地から販売店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００では、案内情報を用いて、現在地から販売店舗まで案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、ユーザの嗜好に合った食材を購入できる店舗までの経路が自動的に案内される。また、販売店舗内にユーザが移動し、携帯端末２００を店舗内でかざすと、食材が置いてある棚が写った現実空間の映像に対し、当該食材の価格、在庫量、生産地等の商品情報を示すコンピュータグラフィックス画像データを合成して表示してもよいし、もし、棚の位置を指し示す矢印表示のコンピュータグラフィックス画像データを現実空間の映像に合成表示してもよい。

　また、ユーザが実際に購入した食材の履歴をマスタ情報に登録し、次回の食材の選択の際に利用してもよい。さらに、購入した食材の履歴を家計簿の一部の情報として出力するようにしてもよい。

　上述した実施形態では、購入予定商品の登録時や購入予定商品の商品情報の取得時において、購入予定商品の画像データを撮像部２００４で撮影し、当該画像データを携帯端末２００から買物管理サーバ１００に対して送信するようにしているが、これに限定されない。即ち、ちらし上に商品に対応するマーカが掲載されている場合、撮像部２００４でマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信してもよい。買物管理サーバ１００は、マーカと商品との対応付けを管理しており、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較し、一致する商品がある場合、当該購入予定商品はちらしに掲載されている商品であると判定し、ユーザ情報ＤＢ１０１にユーザと購入予定商品とを対応付けて管理する。

　また、当該購入予定商品の商品情報を得たい場合には、同じくユーザは撮像部２００４で当該購入予定商品に対応するマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信する。買物管理サーバ１００は、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較する。一致する商品がある場合、買物管理サーバ１００は、当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されているか否かを判定する。当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されている場合、当該購入予定商品は当該ユーザが過去に指定したものであると判定される。従って、買物管理サーバ１００は、当該ユーザの携帯端末２００に対して当該購入予定商品の商品情報を送信する。以上のように、ちらしに掲載されている各商品に対応するマーカを使用することによっても同様に、任意のタイミングで購入予定商品の商品情報を容易に得ることが可能である。

　なお、上述の実施形態において、ちらしを例に説明したが、街中に貼られたポスターやＴＶのＣＭ等あらゆる広告媒体についても、同様に実施可能である。

＜実施形態３＞
　以下、実施形態３を説明する。
　図１３は、空きスペース案内システムのシステム構成の一例を示す図である。図１３に示されるように、空きスペース案内システムは、駐車場内のスペース（カースペース）毎に設置されている複数のセンサー３と、駐車場内に複数設置されている無線通信用のアンテナと、駐車場内に複数、設置されている場内カメラ５と、情報処理装置１と、駐車場内の車２と、がネットワークを介して接続されている。
　情報処理装置１は、複数のセンサー３より駐車場内の各空きスペース情報を無線、又は有線を介して受信する。なお、センサー３は、スペースが空いたときに空いた旨の通知を情報処理装置１に送信してもよいし、予め定められた時間間隔毎にスペースが空いているか否かの情報を情報処理装置１に送信してもよい。
　また、情報処理装置１は、複数の場内カメラ５より随時、場内カメラ５で撮影された画像を無線、又は有線を介して受信する。情報処理装置１は、場内カメラ５から受信した画像に基づき、車２の位置及び向きを取得する。より具体的に説明すると、情報処理装置１は、場内カメラ５と場内カメラ５が設置されている場所情報とを関連付けた情報を有しており、どの場内カメラ５からの画像かによって、その場内カメラ５が設置されている場所情報を特定し、前記画像に写っている車２の場所を特定する。また、情報処理装置１は、前記画像を解析することにより、車２の向きを取得する。なお、本実施形態の空きスペース案内システムでは、駐車場の入り口に、場内カメラ５が設置されており、この場内カメラ５は、駐車場に入場する車２のナンバープレートを撮影するものとする。情報処理装置１は、このナンバープレートに基づき、車２を識別し、複数の場内カメラ５から送られている車２の画像よりナンバープレートを抽出し、車２を追跡することができる。つまり、情報処理装置１は、複数の場内カメラ５から送られてくる画像に基づき、駐車場内の車２の現在の位置及び向きを常時、把握しているものとする。

　情報処理装置１は、複数のセンサー３より受信した空きスペース情報と、駐車場内の車２の位置及び向きと、後述する記憶装置１２等に記憶されている駐車場マップと、に基づいて、車２の進行方向に存在する空きスペースを特定する。なお、駐車場マップとは、駐車場内の各カースペースを識別するスペースＩＤと、当該スペースＩＤに基づいて識別されたスペースの位置情報と、各スペースの広さや高さ等規格に関する情報と、駐車場内の進行方向に関する経路情報を、少なくとも管理している地図データである。また、空きスペース情報とは、空いたカースペースの位置情報を示す情報であり、例えば空いたカースペースのスペースＩＤや、或いは、当該空きスペースに備え付けられたセンサーの位置情報等、駐車場マップと照合して空きスペースの位置を特定できる情報であればよい。そして、情報処理装置１は、特定した空きスペースの場所（又は位置）に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する。情報処理装置１は、生成した仮想空間画像を、駐車場内に複数設置されている無線通信用のアンテナ４を介して、車２に送信する。
　車２は、前記仮想空間画像を受信すると、前記仮想空間画像を車のディスプレイに投影し、前記仮想空間画像が、前記ディスプレイからの駐車場内の風景に重畳して表示するよう制御する。

　図１４は、情報処理装置１のハードウェア構成の一例を示す図である。
　図１４に示されるように、情報処理装置１は、ハードウェア構成として、制御装置１１と、記憶装置１２と、通信装置１３と、がバス１４を介して接続された構成を有する。制御装置１１は、ＣＰＵ等であって、記憶装置１２等に記憶されているプログラムに基づき処理を実行することによって情報処理装置１の機能を実現する。記憶装置１２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、制御装置１１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。通信装置１３は、情報処理装置１と複数のセンサー３との有線又は無線通信の制御及び複数のアンテナ４との無線通信の制御を司る。本実施形態を含む以下の実施形態では、通信装置１３が複数のセンサー３及び複数のアンテナ４との無線通信の制御を司るものとして説明を行う。しかしながら、情報処理装置１は、情報処理装置１と複数のセンサー３との無線通信の制御を司る通信装置と、情報処理装置１と複数のアンテナ４との無線通信の制御を司る通信装置と、の２つの通信装置を有する構成を採用してもよい。

　図１５は、車２のハードウェア構成の一例を示す図である。なお、図１５では、車のハードウェア構成のうち、本実施形態に係わるハードウェア構成について示しており、所謂車のエンジン等のハードウェア構成については省略する。
　図１５に示されるように、車２は、ハードウェア構成として、制御装置２１と、記憶装置２２と、通信装置２３と、プロジェクタ２４と、がバス２５を介して接続された構成を有する。制御装置２１は、ＣＰＵ等であって、記憶装置２２等に記憶されているプログラムに基づき処理を実行することによって車２の本実施形態に係る機能を実現する。記憶装置２２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり制御装置２１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。通信装置２３は、車２と複数のアンテナ４との無線通信の制御を司る。プロジェクタ２４は、情報処理装置１より送信された（又は配信された）仮想空間画像を車２のディスプレイに投影する。このディスプレイは、Ｈｅａｄ－Ｕｐ
Ｄｉｓｐｌａｙ（ＨＵＤ）と呼ばれる仕組みであり、プロジェクタ２４から投射された画像が、車のフロントガラスなどで反射して運転手に見えるようにしたものである。これにより、運転手は運転席からフロントガラス越しに見える通常の風景と、プロジェクタ２４で投影され、反射して見える仮想空間画像とを同時に見ることになり、重畳した画像として捉えることができる。

　図１６は、実施形態３の情報処理装置１のソフトウェア構成の一例を示す図である。図１６に示されるように、情報処理装置１は、ソフトウェア構成（機能構成）として、空きスペース情報取得部３１と、車情報取得部３２と、空きスペース特定部３３と、画像生成部３４と、送信部３５と、を含む。
　空きスペース情報取得部３１は、駐車場の空きスペース情報を取得する。より具体的には、空きスペース情報取得部３１は、複数のセンサー３より駐車場内の各空きスペース情報を無線、又は有線を介して受信する。車情報取得部３２は、駐車場内の車の位置及び向きを取得する。より具体的に説明すると、車情報取得部３２は、場内カメラ５で撮影された車２の画像を受信する。そして、車情報取得部３２は、記憶装置１２等に記憶されている場内カメラ５と場内カメラ５が設置されている場所情報とが関連付けた情報より、どの場内カメラ５からの画像かによって、その場内カメラ５が設置されている場所情報を特定し、前記画像に写っている車２の場所を特定する。また、車情報取得部３２は、前記画像を解析することにより、車２の向きを取得する。
　空きスペース特定部３３は、空きスペース情報取得部３１で取得された空きスペース情報と、車情報取得部３２で取得された車２の位置及び向きと、記憶装置１２等に記憶されている駐車場内の地図情報である駐車場マップと、に基づいて、車２の進行方向に存在する空きスペースを特定する。より具体的には、例えば、空きスペース情報取得部３１より取得した空きスペース情報より得られるスペースＩＤ或いは空きスペースの位置情報と駐車場マップとを照合し、空きスペースの位置情報を特定する。そして、空きスペース特定部３３は、車情報取得部３２で取得された車２の位置及び向きと駐車場マップの経路情報より、前記特定した一以上の空きスペースの位置情報のうち、車２の進行方向に存在する空きスペースを特定する。画像生成部３４は、空きスペース特定部３３で特定された車２の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する。ここで、画像生成部３４は、車情報取得部３２で取得された車２の位置及び向きに基づき、車２からの運転者の視野を特定し、前記視野内における車２の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成するようにしてもよい。
　送信部３５は、画像生成部３４で生成された仮想空間画像を、車２の位置近くのアンテナ４を介して車２に送信する。

　図１７は、実施形態３の車２のソフトウェア構成の一例を示す図である。なお、図１７では、車のソフトウェア構成のうち、本実施形態に係わるソフトウェア構成について示しており、例えば、車のエンジン等の制御に係るソフトウェアの構成については省略する。図１７に示されるように車２は、ソフトウェア構成（機能構成）として、受信部４１と、表示制御部４２と、を含む。
　受信部４１は、アンテナ４を介して情報処理装置より仮想空間画像を受信する。表示制御部４２は、プロジェクタ２４を制御し、受信部４１で受信された仮想空間画像を車のディスプレイに投影させることで、前記仮想空間画像を前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する。

　図１８は、実施形態３の空きスペース案内システムにおける処理の一例を示すシーケンス図である。
　シーケンスＳＱ１において、駐車場内のスペース（カースペース）毎に設置されているセンサー３は、例えば、予め定められた時間間隔毎にスペースが空いているか否かの情報を情報処理装置１に送信する。情報処理装置１は、前記情報を受信し、駐車場内の空きスペース情報を把握、管理する。
　シーケンスＳＱ２において、場内カメラ５は、常時、撮影した画像を無線、又は有線を介して情報処理装置１に送信する。なお、シーケンスＳＱ１と、シーケンスＳＱ２と、の順序は問わない、図１８に示す順序と逆であってもよいし、同時であってもよい。情報処理装置１は、前記画像を受信し、駐車場内の車の位置及び向きを把握、管理する。
　シーケンスＳＱ３において、情報処理装置１は、把握、管理している、空きスペース情報と、車の位置及び向きと、記憶装置１２等に記憶されている駐車場マップと、に基づいて、車２の進行方向に存在する空きスペースを特定する。
　シーケンスＳＱ４において、情報処理装置１は、把握、管理している車の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する。
　シーケンスＳＱ５及びシーケンスＳＱ６において、情報処理装置１は、車の位置に近いアンテナ４を介して前記仮想空間画像を車２に送信する。
　シーケンスＳＱ７において、車２は、情報処理装置１より受信した仮想空間画像を車のディスプレイに投影させることで、前記仮想空間画像を前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する。
　図１８に示される処理は、車が駐車場内に入場し、駐車スペースに駐車されるまで、常時、又は所定の間隔（例えば、０．１秒間隔）毎に実行される。

　図１９は、実施形態３のディスプレイにおける重畳表示の一例を示す図である。図１９に示されるように、ディスプレイには、ディスプレイからの駐車場内の風景に重畳して空きスペースを示す「空」のオブジェクトが含まれる仮想空間画像が表示されている。ここで、情報処理装置１は、車２の進行方向に存在する空きスペースが複数、特定された場合、車２から各空きスペースまでの距離に応じて、形状、又は色が異なる空きスペースオブジェクトを含む前記仮想空間画像を生成する。図１９の例では、情報処理装置１は、前記距離に応じて、空きスペースオブジェクトの大きさを異ならせている。より具体的に説明すると、情報処理装置１は、特定された複数の空きスペースのうち、車２からの距離が近い空きスペース程、空きスペースオブジェクトを大きくした仮想空間画像を生成している。この様にすることにより、車２の運転手は、近くの空きスペースを直感的に認識することができる。
　ここで、空きスペースが多い場合、図１９に示した様な空きスペースを示す「空」のオブジェクトがディスプレイに多数表示されることになり、車２の運転手にとって視界が悪くなるような場合も考えられる。そこで、例えば、情報処理装置１は、空きスペースから車２の距離が所定の距離以上、離れていた場合は、駐車場内を複数のブロック毎に区切ったブロック毎のブロック内のスペースに対する空きスペースの割合を例えば色等で表す空きスペース割合オブジェクトを含み、前記ブロック毎の位置を示す仮想空間画像を生成する。一方、情報処理装置１は、前記所定の距離未満の場合は、車２の進行方向に存在する空きスペースを表す空きスペースオブジェクトを含み、前記空きスペースの位置を示す仮想空間画像を生成するようにしてもよい。このような構成とすることにより、車２が空きスペースから離れた位置にある場合には、ディスプレイには、ブロック毎の空きスペース割合を示す色分けされたオブジェクトが表示される。そして、車２が空きスペースに近づいた場合は、図１９に示すような１台毎の空きスペースを示す空きスペースオブジェクトが展開され、表示されるようになる。

　上述したように、本実施形態によれば、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することができる。

＜実施形態４＞
　以下、実施形態４を説明する。実施形態４では、実施形態３とは異なる点を説明する。
　図２０は、実施形態４の情報処理装置１のソフトウェア構成の一例を示す図である。図２０に示されるように、実施形態４の情報処理装置１のソフトウェア構成は、実施形態３の情報処理装置１のソフトウェア構成に比べて、進路特定部５１が更に含まれている。進路特定部５１は、空きスペース特定部３３で特定された空きスペースと、車情報取得部３２で取得された駐車場内の車の位置及び向きと、記憶装置１２に記憶されている駐車場マップと、に基づいて、前記車から前記空きスペースまでの進路を特定する。本実施形態の画像生成部３４は、空きスペース特定部３３で特定された車２の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示すと共に、進路特定部５１で特定された進路を示す案内オブジェクトを含む前記仮想空間画像を生成する。
　また、例えば、進路特定部５１は、空きスペース特定部３３で車の進行方向に存在する空きスペースが複数、特定された場合、前記車から前記複数の空きスペースのうち、最も前記車に近い前記空きスペースまでの進路を特定する。

　図２１は、実施形態４の空きスペース案内システムにおける処理の一例を示すシーケンス図である。
　図２１に示す実施形態４のシーケンス図は、図１８に示した実施形態３のシーケンス図に比べて、シーケンスＳＱ１１が、新たに追加されている。
　シーケンスＳＱ１１において、情報処理装置１は、把握、管理している、空きスペース情報と、車の位置及び向きと、記憶装置１２等に記憶されている駐車場マップと、に基づいて、車からシーケンスＳＱ３において特定した空きスペースまでの進路を特定する。
　シーケンスＳＱ４において、情報処理装置１は、把握、管理している車の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示すと共に、特定した進路を示す案内オブジェクトを含む前記仮想空間画像を生成する。

　図２２は、実施形態４のディスプレイにおける重畳表示の一例を示す図である。図２２に示す実施形態４の重畳表示では、図１９に示した実施形態３の重畳表示に比べて、車に近い空きスペースまでの進路を示す案内オブジェクトの一例として矢印のオブジェクトが追加されている。
　上述したように、本実施形態によれば、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、より素早く目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することができる。

＜実施形態５＞
　以下、実施形態５を説明する。実施形態５では、上述した実施形態とは異なる点を説明する。
　図２３は、実施形態５の情報処理装置１のソフトウェア構成の一例を示す図である。図２３に示されるように、実施形態５の情報処理装置１のソフトウェア構成は、実施形態４の情報処理装置１のソフトウェア構成に比べて、設備特定部６１が更に含まれている。また、駐車場マップには、上述の情報に加え、駐車場の設備（例えば、店舗の入り口やトイレ、非常出口等）や当該設備の場所に関する位置情報等を管理している。設備特定部６１は、車情報取得部３２で取得された駐車場内の車の位置及び向きと、記憶装置１２に記憶されている駐車場マップと、に基づいて、車の進行方向に存在する駐車場の設備（例えば、店舗の入り口やトイレ、非常出口等）を特定する。本実施形態の画像生成部３４は、空きスペース特定部３３で特定された車２の進行方向に存在する空きスペース及び設備の駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトと、進路特定部５１で特定された進路を示す案内オブジェクトと、設備特定部６１で特定された車２の進行方向に存在する設備を示す設備オブジェクトと、を含み、前記空きスペースの位置及び前記設備の位置を示す仮想空間画像を生成する。

　図２４は、実施形態５の空きスペース案内システムにおける処理の一例を示すシーケンス図である。
　図２４に示す実施形態５のシーケンス図は、図２１に示した実施形態４のシーケンス図に比べて、シーケンスＳＱ２１が、新たに追加されている。
　シーケンスＳＱ２１において、情報処理装置１は、把握、管理している車の位置及び向きと、記憶装置１２等に記憶されている駐車場マップと、に基づいて、車の進行方向に存在する駐車場の設備を特定する。なお、シーケンスＳＱ１１と、シーケンスＳＱ２１と、の順序は問わない、図２４に示す順序と逆であってもよいし、同時であってもよい。
　シーケンスＳＱ４において、情報処理装置１は、把握、管理している車の進行方向に存在する空きスペースの駐車場内及び設備の位置に応じて、空きスペースオブジェクトと、案内オブジェクトと、設備オブジェクトと、を含み、前記空きスペースの位置及び前記設備の位置を示す仮想空間画像を生成する。

　図２５は、実施形態５のディスプレイにおける重畳表示の一例を示す図である。図２５に示す実施形態５の重畳表示では、図２２に示した実施形態４の重畳表示に比べて、設備オブジェクトの一例として、店舗の入り口を示すオブジェクトと、トイレを示すオブジェクトと、が追加されている。
　上述したように、本実施形態によれば、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、より適切に目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することができる。例えば、運転手は、店舗の入り口近くの駐車スペースに駐車することもできる。

＜実施形態６＞
　以下、実施形態６について説明する。実施形態６では、上述した実施形態とは異なる点を説明する。
　図２６は、実施形態６の情報処理装置１のソフトウェア構成の一例を示す図である。また、図２７は、実施形態６の車２のソフトウェア構成の一例を示す図である。実施形態６の情報処理装置１のソフトウェア構成は、実施形態３の情報処理装置１のソフトウェア構成に比べて、画像生成部３４が含まれていない。その代わり、実施形態６の車２のソフトウェア構成は、実施形態３の車２のソフトウェア構成に比べて画像生成部３４が新たに含まれている。本実施形態の構成では、情報処理装置１は、空きスペースオブジェクト等を車２に送信する。車２は、受信した空きスペースオブジェクト等を含む画像を生成し、ディスプレイ等に投影するよう制御する。
　本実施形態の送信部３５は、空きスペース特定部３３で特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を車２に送信する。そして、本実施形態の受信部４１は、情報処理装置１から前記空きスペースオブジェクトと、前記位置情報と、を受信する。そして、本実施形態の画像生成部３４は、受信部４１で受信された前記空きスペースオブジェクトを受信部４１で受信された前記位置情報で示される位置に表示させた前記駐車場内の仮想空間画像を生成する。そして、本実施形態の表示制御部４２は、画像生成部３４で生成された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する。

　図２８は、実施形態６の空きスペース案内システムにおける処理の一例を示すシーケンス図である。
　図２８に示す実施形態６のシーケンスＳＱ１からシーケンスＳＱ３までの処理は、図１８のシーケンスＳＱ１からシーケンスＳＱ３までの処理と同様であるため、説明を省略する。
　シーケンスＳＱ３１及びシーケンスＳＱ３２において、情報処理装置１は、車の位置に近いアンテナ４を介して、把握、管理している車の進行方向に存在する空きスペースの駐車場内の位置に応じて、前記空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置情報と、を車２に送信する。
　シーケンスＳＱ３３において、車２は、情報処理装置１より受信した前記空きスペースオブジェクトを前記位置情報で示される位置に表示させた前記駐車場内の仮想空間画像を生成する。
　シーケンスＳＱ３４において、車２は、生成された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する。

　本実施形態のような構成であっても、各車に搭載されているカーナビゲーションシステムの地図情報を更新することなく、又は、各車にカーナビゲーションシステムが搭載されていなくても、運転手が、目的とする空きスペースを見つけ、辿り着くことが可能な技術を提供することができる。

＜その他の実施形態＞
　以下、その他の実施形態について説明する。
　情報処理装置１は、駐車場内に複数の車が存在する場合、ある車への誘導内容（例えば、空きスペースまでの進路に関する情報等）を基に、所定時間後（例えば、１分後）の駐車状況を予測し、他の車の空きスペースへの誘導先を変更するようにしてもよい。
　また、情報処理装置１は、場内カメラ５からの画像等に基づき、誘導に従わない車両が存在する場合、次善の誘導先に誘導を切り替えるようにしてもよい。なお、このとき、情報処理装置１は、駐車状況の予測も変更するようにしてもよい。
　また、情報処理装置１は、場内カメラ５に死角等が存在する場合、駐車場の入り口情報、出口情報、及び／又は誘導履歴等に基づいて、駐車状況を予測し、死角を補うようにしてもよい。
　また、情報処理装置１は、入り口で撮影された車の画像（例えば、ナンバープレート等）に基づいて、車両のサイズ（高さや、軽自動車、大型自動車）等を判別し、駐車場マップで管理されている空きスペースの規格に関する情報と照合し、車両のサイズに応じた空きスペース情報を特定するようにしてもよい。

　また、上述した実施形態では、情報処理装置１は、場内カメラ５からの画像等に基づき、車の位置及び向きを特定したが、無線アクセスポイントの一例であるアンテナ４と、車２と、の無線通信から車の位置及び動き（向き）を特定するようにしてもよい。また、情報処理装置１は、車２にカメラが付いている場合、車２のカメラで撮影された画像を、無線通信等を介して受信し、前記画像に基づき、車の位置及び向きを特定するようにしてもよい。また、車２が、車の位置情報（経度、緯度）を取得するＧＰＳコンパス（又はＧＰＳレシーバ）や、車の向きを取得するジャイロコンパスを有している場合、情報処理装置１は、無線通信を介して車２より車の位置情報や向きを取得し、これらを特定するようにしてもよい。また、情報処理装置１は、これら複数の方法を組み合わせて、車の位置及び向きを特定するようにしてもよい。

　また、上述した実施形態では、情報処理装置１は、アンテナ４を介して車２と無線通信をするよう説明を行ったが、アンテナ４を介さず、直接、車２と無線通信を行うようにしてもよい。
　また、車２は、自身の速度情報を、情報処理装置１に送信するようにしてもよい。このような構成の場合、情報処理装置１は、車２の速度情報に応じて、車２の進行方向に存在する空きスペースを特定する。なお、情報処理装置１は、場内カメラ５からの車２の画像に基づき、車２の速度情報を求めるようにしてもよい。
　また、車２がカメラ等の撮像装置を有している場合、車２は、撮像装置で撮像した駐車場内の画像と、情報処理装置１より受信した仮想空間画像と、を重畳して、ディスプレイ等に表示するようにしてもよいし、前記画像と、前記仮想空間画像と、をカーナビゲーションシステムの表示装置（つまり、非透過型のディスプレイ等）に表示するようにしてもよい。
　また、例えば、上述した実施形態では、ＨＵＤ方式のプロジェクタ２４を例に説明を行ったが、透過型のディスプレイであってもよい。例えば、Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙのような人体装着型のものであってもよいし、透過型液晶フィルムを貼り付けたフロントガラス等の人体非装着型のものであってもよい。例えば、車２は、仮想空間画像を透過型液晶フィルムに表示させることで、前記仮想空間画像と、車のフロントガラスからの駐車場内の風景と、が重畳した画像として捉えることができる。
　なお、仮想空間画像と、駐車場内の風景と、の位置合わせは、情報処理装置１で行ってもよいし、車２で行ってもよい。

　なお、上述した実施形態を任意に組み合わせて実施してもよい。
　なお、上述した情報処理装置１は、コンピュータの一例である。

＜実施形態７＞
　以下、実施形態７を説明する。
　図２９は、実施形態７の画像表示システムのシステム構成の一例を示す図である。図２９に示されるように、実施形態７の画像表示システムは、船舶の位置情報を取得するＧＰＳコンパス（又はＧＰＳレシーバ）２０００と、海底形状を含む電子海図と潮位表とを記憶する情報記憶装置５０００と、画像表示装置４０００と、画像表示装置４０００に画像を提供する画像提供装置１０００と、船舶の方位を取得するジャイロコンパス７００００００と、船舶の航行を制御する航行制御装置６０００と、がネットワークを介して接続されている。
　位置情報取得装置の一例であるＧＰＳコンパス（又はＧＰＳレシーバ）２０００は、船舶の位置情報（経度、緯度）を取得する。なお、位置情報取得装置の一例としては、ＧＰＳコンパスであってもよいし、ＧＰＳレシーバであってもよいが、以下では説明の簡略化のため、ＧＰＳコンパスを例に説明を行う。
　向き取得装置の一例であるジャイロコンパス７０００は、船舶の向きを取得する。
　画像提供装置１０００は、ＧＰＳコンパス２０００で取得された船舶の位置情報と、情報記憶装置５０００に記憶されている潮位表と電子海図と、に基づいて、前記船舶の位置の海面下の深度を求める。なお、潮位表とは、ある位置情報における時刻と基本水準面等を基準に計測した海面の高低とを対応付けて表したデータであり、海上保安庁等より発行されている。また、電子海図とは、例えば、海上保安庁等より発行されている電子化された海の地図データのことであり、航海用海図や特殊図、海の基本図、沿岸海域地形図、沿岸海域土地条件図、海洋地質図等、目的によって種々に分類されている。電子海図には、例えば、基本水準面等を基準に計測した水深に関する情報や、水路の状況、海流や潮流、標識、海岸の状態等が記載されており、例えば、海の基本図には、海底の地形を等深線で表した海底地形図や前記海底地形の３次元俯瞰地図等が含まれている。画像提供装置１０００は、前記位置情報と、前記潮位表と、電子海図の示す水深に関する情報とに基づいて、前記深度を計算で求めてもよいし、前記位置情報と、前記潮位表と、電子海図の示す水深に関する情報とが管理されているテーブル等より前記深度を求めてもよい。また、画像提供装置１０００は、前記位置情報と、求めた海面下の深度と、情報記憶装置５０００に記憶されている電子海図と、に基づいて、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、画像表示装置４０００に提供する。例えば、情報記憶装置５０００に、海底地形が示された３次元俯瞰地図を記憶しておき、前記位置情報と求めた海面下の深度とに基づいて、該当位置及び深度における海底地形の３次元画像を、３次元俯瞰地図等の海図より抽出したり計算したりして、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成する。なお、画像提供装置１０００は、前記画像を、後述する船舶のフロントガラス等からの視点の画像に座標変換し、画像表示装置４０００に提供する。画像提供装置１０００は、コンピュータの一例でもある。
　画像表示装置４０００は、後述するように、透過型の液晶フィルム等の表示装置が船舶のフロントガラス等に貼り付けられており、画像提供装置１０００から提供された海底形状の仮想空間画像を前記フロントガラス等からの風景の海面下に重畳して表示する。
　なお、情報記憶装置５０００には、上述した情報以外に、上述の先行技術文献等で開示されているように所定の装置等から取得された、又は所定の情報に基づき算出された自船情報が記憶されているものとする。自船情報の一例としては、位置情報や、針路や速力等を含む運動情報、喫水情報、積荷情報、乗客数、時刻情報等が記憶されているものとする。

　図３０は、画像提供装置１０００のハードウェア構成の一例を示す図である。
　図３０に示されるように、画像提供装置１０００は、ハードウェア構成として、制御装置１１００と、記憶装置１２００と、通信装置１３００と、がバス１４００を介して接続された構成を有する。制御装置１１００は、ＣＰＵ等であって、記憶装置１２００等に記憶されているプログラムに基づき処理を実行することによって画像提供装置１０００の機能を実現する。記憶装置１２００は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、制御装置１１００がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。通信装置１３００は、画像提供装置１０００と画像表示システム内の他の装置との通信の制御を司る装置である。

　図３１は、画像表示装置４０００のハードウェア構成の一例を示す図である。
　図３１に示されるように、画像表示装置４０００は、ハードウェア構成として、制御装置２１００と、記憶装置２２００と、通信装置２３００と、表示装置２４００と、がバス２５００００を介して接続された構成を有する。制御装置２１００は、ＣＰＵ等であって、記憶装置２２００等に記憶されているプログラムに基づき処理を実行することによって画像表示装置４０００の機能を実現する。記憶装置２２００は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、制御装置２１００がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。通信装置２３００は、画像表示装置４０００と画像表示システム内の他の装置との通信の制御を司る装置である。表示装置２４００は、船舶のフロントガラス等に貼り付けられた透過型の液晶フィルム等であって、制御装置２１００の制御の基、画像提供装置１０００より提供された画像等を表示する。

　図３２は、画像提供装置１０００のソフトウェア構成の一例を示す図である。
　図３２に示されるように、画像提供装置１０００は、ソフトウェア構成（機能構成）として、画像提供制御部３１００を含む。画像提供制御部３１００は、ＧＰＳコンパス２０００で取得された船舶の位置情報と、情報記憶装置５０００に記憶されている潮位表と、電子海図と、に基づいて、前記船舶の位置の海面下の深度を求める。一般的には、例えば、電子海図にある基本水準面等を基準に計測した水深に関する情報に対して、潮位表で管理された当該時刻及び位置における潮位に関する情報を補正し、前記船舶の位置の海面下の深度を求める。そして、画像提供制御部３１００は、前記位置情報と、求めた海面下の深度と、情報記憶装置５０００に記憶されている電子海図と、に基づいて、前記位置情報及び深度における海底地形画像データを電子海図の海底地形図より抽出することで、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、画像表示装置４０００に提供する。なお、画像提供制御部３１００は、前記画像を、後述する船舶のフロントガラス等からの視点の画像に座標変換し、画像表示装置４０００に提供する。
　画像提供制御部３１００は、ＧＰＳコンパス２０００で取得された船舶の基準点となる位置情報から相対的な位置関係で特定される画像表示装置４０００（より具体的には画像表示装置４０００の表示装置２４００）の位置と、ジャイロコンパス７０００で取得された船舶の向きと、表示装置２４００の大きさ等と、に基づき、表示装置２４００からの視野を特定する。そして、画像提供制御部３１００は、特定した視野と、前記海面下の深度と、前記電子海図と、に基づいて、特定した視野での位置情報及び深度における海底地形画像データを海底地形図が示された３次元俯瞰地図等電子海図より抽出することで、前記視野内の前記深度の海面下の海底形状の仮想空間画像を作成するようにしてもよい。なお、画像提供制御部３１００は、視野内の前記深度の海面下の海底形状の仮想空間画像を作成するようにしてもよいし、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、前記座標変換を行った後に、座標変換を行った画像から前記視野内の画像を抽出するようにしてもよい。
　また、画像提供制御部３１００は、船舶の積荷及び／又は乗客数に応じて前記船舶の喫水を求める。例えば、情報記憶装置５０００に記憶されている喫水情報に積荷の重量等を補正して前記船舶の喫水を求める。そして、画像提供制御部３１００は、前記喫水と、前記位置情報と、前記海面下の深度と、前記電子海図と、に基づいて、前記海面下の深度と前記喫水との差分、即ち船体最下部から前記海底形状までの距離を算出し、前記船舶の位置の前記深度の海面下の海底形状で、かつ、船体最下部から前記海底形状までの距離が所定の距離内の海底形状を強調表示した海底下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供するようにしてもよい。このような構成とすることで、衝突の危険がある海底形状を船員等に分かりやすく知らせることができる。

　図３３は、画像表示装置４０００のソフトウェア構成の一例を示す図である。
　図３３に示されるように、画像表示装置４０００は、ソフトウェア構成（機能構成）として、画像表示制御部４１００を含む。画像表示制御部４１００は、画像提供装置１０００より提供された前記海底形状の仮想空間画像を表示装置２４００からの風景の海面下に重畳して表示する。図３４は、海底形状の仮想空間画像を表示装置２４００からの風景の海面下に重畳して表示した一例を示す図である。例えば、図３４では、海底の岩として５１００と、５２００と、が船首のフロントガラスに前記フロントガラスからの風景に重畳して表示されている。上述したような強調表示を行う構成とした場合、船体最下部から所定距離内に海底の岩５１００が存在した場合、海底の岩５１００は、海底の岩５２００に比べて強調表示される。なお、強調表示の一例としては、岩５２００の近くに「衝突の危険！」等と文字列を表示させてもよいし、岩５２００を赤く縁取る等してもよい。

　以上、本実施形態によれば、船舶が航行する際に有益な情報を、船員等が直感的に状況を把握可能に提供することができる。

＜実施形態８＞
　以下、実施形態８を説明する。実施形態８では、実施形態７とは異なる点を主に説明する。
　図３５は、実施形態８の画像表示システムのシステム構成の一例を示す図である。図３５に示されるように、実施形態８の画像表示システムは、実施形態７の画像表示システムに比べて、レーダー装置の一例であるレーダー８０００が新たに画像表示システムに含まれている。
　実施形態８の画像提供装置１０００は、レーダー８０００のレーダーのエコーに基づく海面下の画像と、前記電子海図と、を比較し、前記電子海図に載っていない障害物を前記海面下に検知した場合、前記障害物を含む前記海底形状の仮想空間画像を作成し、画像表示装置４０００に提供する。
　実施形態８の構成によれば、電子海図に載っていない沈没船やケーソン等の障害物を検知し、前記障害物を表示装置２４００からの風景の海面下に重畳して表示することができる。
　なお、図３５のレーダー８０００は、魚群探知機であってもよい。この様な構成によれば、くじら等、船舶の航行の障害となるような海洋生物を含む海底形状の仮想空間画像を作成し、表示装置２４００からの風景の海面下に重畳して表示することができる。

＜実施形態９＞
　以下、実施形態９を説明する。実施形態９では、上述した実施形態とは異なる点を主に説明する。
　図３６は、実施形態９の画像表示システムのシステム構成の一例を示す図である。図３６に示されるように、実施形態９の画像表示システムは、実施形態７の画像表示システムに比べて、検知装置の一例として船舶の姿勢を検知するジャイロセンサー９０００が新たに画像表示システムに含まれている。
　実施形態９の画像提供装置１０００は、ジャイロセンサー９０００で検知された船舶の姿勢に基づいて、作成した海底形状の仮想空間画像の海面と前記画像表示装置からの風景の海面とが水平になるよう座標変換を行い、画像表示装置４０００に提供する。
　実施形態９の構成によれば、船舶が揺れた状態でも、フロントガラスには実際の海面と前記海底形状の仮想空間画像の海面とが一致して表示される。

＜実施形態１０＞
　以下、実施形態１０を説明する。実施形態１０では、上述した実施形態とは異なる点を主に説明する。
　図３７は、実施形態１０の画像表示システムのシステム構成の一例を示す図である。図３７に示されるように、実施形態１０の画像表示システムは、実施形態７の画像表示システムに比べて、情報を受信する受信装置１００００が新たに画像表示システムに含まれている。
　受信装置１００００は、船舶が存在する海域の他の船舶に関する情報を例えば海上交通センター等から受信する。
　実施形態１０の画像提供装置１０００は、受信装置１００００で受信された前記他の船舶に関する情報を含む仮想空間画像を作成し、画像表示装置４０００に提供する。
　画像表示装置４０００は、画像提供装置１０００より提供された、前記海底形状の仮想空間画像と、前記他の船舶に関する情報を含む仮想空間画像と、を表示装置２４００からの風景に重畳して表示する。
　実施形態１０の構成によれば、船員等は、濃霧時等でも他船の大きさや動き等他の船舶に関する情報を直感的に認識することができる。

＜実施形態１１＞
　以下、実施形態１１を説明する。実施形態１１では、上述した実施形態とは異なる点を主に説明する。
　図３８は、実施形態１１の画像表示システムのシステム構成の一例を示す図である。図３８に示されるように、実施形態１１の画像表示システムは、実施形態７の画像表示システムに比べて、レーダー８０００と、情報を受信する受信装置１００００と、が新たに画像表示システムに含まれている。
　実施形態１１の受信装置１００００は、他の船舶が取得した前記他の船舶のレーダーのエコーと、その船舶がエコーを検知した位置情報とを前記他の船舶より受信する。
　そして、実施形態１１の画像提供装置１０００は、レーダー８０００のエコーに基づく画像と受信装置１００００で受信された前記他の船舶のレーダーのエコーに基づく画像とを比較することで、レーダー８０００のエコーで検知した障害物とレーダー８０００のエコーでは検知できなかった障害物とを含む仮想空間画像を作成し、作成した仮想空間画像を画像表示装置４０００に提供する。この際、他の船舶のレーダーのエコー画像は、当該船舶がエコーを検知した位置に基づいて生成されている為、受信した位置情報を用いて自船のレーダー８０００で検知した画像と位置合わせした上で比較する。
　画像表示装置４０００は、画像提供装置１０００より提供された、前記海底形状の仮想空間画像と、レーダー８０００のエコーで検知した障害物とレーダー８０００のエコーでは検知できなかった障害物とを含む仮想空間画像と、を表示装置２４００からの風景に重畳して表示する。
　実施形態１１の構成によれば、他船で捉えたレーダーのエコーを受信し、自船のレーダーのエコーと、を重ね合わせて差異をとることで、自船で捉えられなかった障害物（船舶、岩礁、鯨等の海洋生物等）を識別して、前記障害物を含む仮想空間画像を作成し、表示させることができる。

　上述した各実施形態によれば、船舶が航行する際に有益な情報を、船員等が直感的に状況を把握可能に提供することができる。

　以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　例えば、上述した実施形態では、透過型液晶フィルムを貼り付けた窓等、所謂、人体非装着の透過型ディスプレイを例に説明を行ったが、Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ等、人体装着の透過型ディスプレイであってもよい。また、画像表示装置４０００は、船員等が保持する携帯型の透過型、又は非透過型のディスプレイであってもよい。なお、非透過型のディスプレイの場合、非透過型のディスプレイは、撮像装置で撮像された画像と、仮想空間画像と、を重畳して表示することになる。
　また、上述した実施形態では、画像表示装置４０００を例に説明を行ったが、例えば、低反射フィルムを貼り付けた窓等へ仮想空間画像を投影するプロジェクタであってもよい。
　なお、上述した実施形態を任意に組み合わせて実施してもよい。

　拡張現実と呼ばれる技術に利用される。

Claims

　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、ちらしに掲載される各商品の在庫情報及び販売情報のうちの少なくとも何れか一方を管理する管理装置とを有する情報処理システムであって、
　前記拡張現実感提示装置は、
　前記ちらしに掲載される商品に係る画像データを撮影により取得する撮像手段と、
　前記撮像手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段と、
を有し、
　前記管理装置は、
　前記拡張現実感提示装置から前記商品に係る画像データを受信した場合、前記商品に係る画像データを解析することにより前記商品を特定し、前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を取得する第１の取得手段と、
　前記第１の取得手段により取得された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を前記拡張現実感提示装置に対して送信する第２の送信手段と、
を有し、
　前記拡張現実感提示装置は、
　前記管理装置から送信された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を示すコンピュータグラフィック画像データを、現実空間の前記ちらしの映像と合成して提示する提示手段を更に有する情報処理装置。
　前記管理装置は、前記第１の取得手段により、最後に登録された在庫情報及び販売情報のうちの少なくとも何れか一方を取得し、前記第２の送信手段により、当該最後に登録された在庫情報及び販売情報のうちの少なくとも何れか一方を前記拡張現実感提示装置に対して送信する請求項１記載の情報処理装置。
　前記拡張現実感提示装置は、前記提示手段により提示されたコンピュータグラフィック画像の示す商品に対するユーザによる案内情報要求を前記管理装置に対して送信し、
　前記管理装置は、取得した案内情報要求に応じて前記商品の販売店舗に関する情報を前記拡張現実感提示装置に対して送信する第３の送信手段を更に有し、前記拡張現実感提示装置の提示手段は、前記管理装置より取得した前記販売店舗に関する情報を示すコンピュータグラフィック画像データを、現実空間の映像と合成して提示する請求項１記載の情報処理装置。
　前記拡張現実感提示装置は、
　ユーザによる前記商品の指定操作に応じて、前記第１の送信手段により前記商品に係る画像データを前記管理装置に対して送信し、
　前記管理装置は、
　前記拡張現実感提示装置から受信した前記商品に係る画像データに基づいて、前記商品を購入予定商品として登録する登録手段を更に有し、
　前記拡張現実感提示装置から後に受信した前記商品に係る画像データを解析した結果、当該画像データに対応する前記商品が前記登録手段において登録されている場合、前記第１の取得手段により、前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を取得する請求項１記載の情報処理装置。
　前記拡張現実感提示装置は、
　撮像装置の画角に捉えられた前記ちらしに対するユーザによる前記商品の指定動作を検知する検知手段と、
　前記検知手段により検知された指定動作の対象となった前記商品に係る画像データを取得する第２の取得手段と、
を更に有し、
　前記第１の操作手段は、前記第２の取得手段により取得された前記商品に係る画像データを前記管理装置に対して送信する請求項４記載の情報処理装置。
　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、ちらしに掲載される各商品の在庫情報及び販売情報のうちの少なくとも何れか一方を管理する管理装置とを有する情報処理システムにおける情報処理方法であって、
　前記拡張現実感提示装置が、前記ちらしに掲載される商品に係る画像データを撮影により取得する撮像ステップと、
　前記拡張現実感提示装置が、前記撮像ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップと、
　前記管理装置が、前記拡張現実感提示装置から前記商品に係る画像データを受信した場合、前記商品に係る画像データを解析することにより前記商品を特定し、前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を取得する取得ステップと、
　前記管理装置が、前記取得ステップにより取得された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を前記拡張現実感提示装置に対して送信する第２の送信ステップと、
　前記拡張現実感提示装置が、前記管理装置から送信された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を示すコンピュータグラフィック画像データを、現実空間の前記ちらしの映像と合成して提示する提示ステップと、
を含む情報処理方法。
　コンピュータに、
　ちらしに掲載される商品に係る画像データを撮影により取得する撮像ステップと、
　前記撮像ステップで取得された前記商品に係る画像データを、ちらしに掲載される各商品の在庫情報及び販売情報のうちの少なくとも何れか一方を管理する管理装置に対して送信する送信ステップと、
　前記管理装置から送信された前記商品の在庫情報及び販売情報のうちの少なくとも何れか一方を示すコンピュータグラフィック画像データを、現実空間の前記ちらしの映像と合成して提示する提示ステップと、
を実行させるためのプログラム。
　駐車場の空きスペース情報を取得する空きスペース情報取得手段と、
　駐車場内の車の位置及び向きを取得する車情報取得手段と、
　前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、
　前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成手段と、
　前記画像生成手段で生成された仮想空間画像を前記車に送信する送信手段と、
を有する情報処理装置。
　前記空きスペース特定手段で特定された空きスペースと、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車から前記空きスペースまでの進路を特定する進路特定手段を更に有し、
　前記画像生成手段は、更に、前記進路特定手段で特定された進路を示す案内オブジェクトを含む前記仮想空間画像を生成する請求項８記載の情報処理装置。
　前記進路特定手段は、前記空きスペース特定手段で車の進行方向に存在する空きスペースが複数、特定された場合、前記車から前記複数の空きスペースのうち、最も前記車に近い前記空きスペースまでの進路を特定する請求項９記載の情報処理装置。
　前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップと、に基づいて、車の進行方向に存在する駐車場の設備を特定する設備特定手段を更に有し、
　前記画像生成手段は、更に、前記設備特定手段で特定された前記車の進行方向に存在する設備を示す設備オブジェクトを含み、前記空きスペースの位置及び前記設備の位置を示す前記仮想空間画像を生成する請求項８記載の情報処理装置。
　前記画像生成手段は、前記空きスペース特定手段で前記車の進行方向に存在する空きスペースが複数、特定された場合、前記車から前記空きスペースまでの距離に応じて、形状、又は色が異なる前記空きスペースオブジェクトを含む前記仮想空間画像を生成する請求項８記載の情報処理装置。
　前記画像生成手段は、前記特定手段で特定された車の進行方向に存在する空きスペースと前記車との距離が所定の距離以上の場合は、前記駐車場内を所定のブロック毎に区切ったブロック毎の空きスペースの割合を表す空きスペース割合オブジェクトを含み、前記ブロック毎の位置を示す仮想空間画像を生成し、前記距離が前記所定の距離未満の場合は、前記特定手段で特定された車の進行方向に存在する空きスペースを表す空きスペースオブジェクトを含み、前記空きスペースの位置を示す仮想空間画像を生成する請求項８記載の情報処理装置。
　駐車場の空きスペース情報を取得する空きスペース情報取得手段と、
　駐車場内の車の位置及び向きを取得する車情報取得手段と、
　前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、
　前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信手段と、
を有する情報処理装置。
　情報処理装置と、車と、を含むシステムであって、
　前記情報処理装置は、
　駐車場の空きスペース情報を取得する空きスペース情報取得手段と、
　駐車場内の車の位置及び向きを取得する車情報取得手段と、
　前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、
　前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成手段と、
　前記画像生成手段で生成された仮想空間画像を前記車に送信する送信手段と、
を有し、
　前記車は、
　前記情報処理装置から仮想空間画像を受信する受信手段と、
　前記受信手段で受信された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する表示制御手段と、
を有するシステム。
　情報処理装置と、車と、を含むシステムであって、
　前記情報処理装置は、
　駐車場の空きスペース情報を取得する空きスペース情報取得手段と、
　駐車場内の車の位置及び向きを取得する車情報取得手段と、
　前記空きスペース情報取得手段で取得された空きスペース情報と、前記車情報取得手段で取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定手段と、
　前記空きスペース特定手段で特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信手段と、
を有し、
　前記車は、
　前記情報処理装置から前記空きスペースオブジェクトと、前記位置情報と、を受信する受信手段と、
　前記受信手段で受信された前記空きスペースオブジェクトを前記受信手段で受信された前記位置情報で示される位置に表示させた前記駐車場内の仮想空間画像を生成する画像生成手段と、
　前記画像生成手段で生成された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する表示制御手段と、
を有するシステム。
　情報処理装置が実行する情報処理方法であって、
　駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成ステップと、
　前記画像生成ステップで生成された仮想空間画像を前記車に送信する送信ステップと、
を有する情報処理方法。
　情報処理装置が実行する情報処理方法であって、
　駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップとの各空きスペースの位置情報に関する情報、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信ステップと、
を有する情報処理方法。
　情報処理装置と、車と、を含むシステムにおける空きスペース案内方法であって、
　前記情報処理装置が、駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　前記情報処理装置が、駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記情報処理装置が、前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記情報処理装置が、前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成ステップと、
　前記情報処理装置が、前記画像生成ステップで生成された仮想空間画像を前記車に送信する送信ステップと、
　前記車が、前記情報処理装置から仮想空間画像を受信する受信ステップと、
　前記車が、前記受信ステップで受信された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する表示制御ステップと、
を有する空きスペース案内方法。
　情報処理装置と、車と、を含むシステムにおける空きスペース案内方法であって、
　前記情報処理装置が、駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　前記情報処理装置が、駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記情報処理装置が、前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記情報処理装置が、前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信ステップと、
　前記車が、前記情報処理装置から前記空きスペースオブジェクトと、前記位置情報と、を受信する受信ステップと、
　前記車が、前記受信ステップで受信された前記空きスペースオブジェクトを前記受信ステップで受信された前記位置情報で示される位置に表示させた前記駐車場内の仮想空間画像を生成する画像生成ステップと、
　前記車が、前記画像生成ステップで生成された仮想空間画像を車のディスプレイに投影させることで、前記ディスプレイからの駐車場内の風景に重畳して表示させるよう制御する表示制御ステップと、
を有する空きスペース案内方法。
　コンピュータに、
　駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトを含み、前記空きスペースの位置を示す前記駐車場内の仮想空間画像を生成する画像生成ステップと、
　前記画像生成ステップで生成された仮想空間画像を前記車に送信する送信ステップと、
を実行させるプログラム。
　コンピュータに、
　駐車場の空きスペース情報を取得する空きスペース情報取得ステップと、
　駐車場内の車の位置及び向きを取得する車情報取得ステップと、
　前記空きスペース情報取得ステップで取得された空きスペース情報と、前記車情報取得ステップで取得された駐車場内の車の位置及び向きと、記憶装置に記憶されている駐車場マップの各空きスペースの位置情報に関する情報と、に基づいて、前記車の進行方向に存在する空きスペースを特定する空きスペース特定ステップと、
　前記空きスペース特定ステップで特定された空きスペースを示す空きスペースオブジェクトと、前記空きスペースの位置を表す位置情報と、を前記車に送信する送信ステップと、
を実行させるプログラム。
　船舶の位置情報を取得する位置情報取得装置と、海底形状を含む電子海図と潮位表とを記憶する情報記憶装置と、画像表示装置と、前記画像表示装置に画像を提供する画像提供装置と、を含む画像表示システムであって、
　前記画像提供装置は、前記位置情報取得装置で取得された前記船舶の位置情報と、前記潮位表と、電子海図の示す水深に関する情報と、に基づいて、前記船舶の位置の海面下の深度を求め、前記位置情報と、前記海面下の深度と、前記電子海図の示す海底地形画像データと、に基づいて、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供し、
　前記画像表示装置は、前記画像提供装置より提供された海底形状の仮想空間画像を前記画像表示装置からの風景に重畳して表示する画像表示システム。
　前記画像提供装置は、前記情報記憶装置に記憶されている前記船舶の積荷及び乗客数に関する情報のうち少なくともどちらかに応じて前記船舶の喫水を求め、前記喫水と、前記位置情報と、前記海面下の深度と、前記電子海図と、に基づいて、前記船舶の位置の前記深度の海面下の海底形状で、かつ、船体最下部から前記海底形状までの距離が所定の距離内の海底形状を強調表示した海底下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供する請求項２３記載の画像表示システム。
　前記船舶の向きを取得する向き取得装置を更に有し、
　前記画像提供装置は、前記位置情報取得装置で取得された前記船舶の位置情報と、前記向き取得装置で取得された向きと、に基づいて、前記画像表示装置からの視野を特定し、特定した視野と、前記海面下の深度と、前記電子海図の示す海底地形画像データと、に基づいて、前記視野内の前記深度の海面下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供する請求項２３記載の画像表示システム。
　レーダー装置を更に有し、
　前記画像提供装置は、前記レーダー装置のエコーに基づく海面下の画像と、前記電子海図の示す海底地形画像データと、を比較し、前記電子海図に載っていない障害物を前記海面下に検知した場合、前記障害物を含む前記海面下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供する請求項２３記載の画像表示システム。
　前記船舶の姿勢を検知する検知装置を更に有し、
　前記画像提供装置は、前記検知装置で検知された前記船舶の姿勢に基づいて、前記作成した海底形状の仮想空間画像の海面を前記画像表示装置からの風景の海面と水平になるよう座標変換を行い、前記画像表示装置に提供する請求項２３記載の画像表示システム。
　情報を受信する受信装置を更に有し、
　前記受信装置は、前記船舶が存在する海域の他の船舶の情報を海上交通センターから受信し、
　前記画像提供装置は、前記受信装置で受信された前記他の船舶の情報を含む仮想空間画像を作成し、前記画像表示装置に提供し、
　前記画像表示装置は、前記画像提供装置より提供された、前記海底形状の仮想空間画像と、前記他の船舶の情報を含む仮想空間画像と、を前記画像表示装置からの風景に重畳して表示する請求項２３記載の画像表示システム。
　レーダー装置と、
　情報を受信する受信装置を更に有し、
　前記受信装置は、他の船舶が取得した前記他の船舶のレーダー装置のエコーを前記他の船舶より受信し、
　前記画像提供装置は、前記レーダー装置のエコーに基づく画像と前記受信装置で受信された前記他の船舶のレーダー装置のエコーに基づく画像とを比較することで、前記レーダー装置のエコーで検知した障害物と前記レーダー装置のエコーでは検知できなかった障害物とを含む仮想空間画像を作成し、作成した仮想空間画像を前記画像表示装置に提供し、
　前記画像表示装置は、前記画像提供装置より提供された、前記海底形状の仮想空間画像と、前記レーダー装置のエコーで検知した障害物と前記レーダー装置のエコーでは検知できなかった障害物とを含む仮想空間画像と、を前記画像表示装置からの風景に重畳して表示する請求項２３記載の画像表示システム。
　船舶の位置情報を取得する位置情報取得装置と、海底形状を含む電子海図と潮位表とを記憶する情報記憶装置と、画像表示装置と、前記画像表示装置に画像を提供する画像提供装置と、を含む画像表示システムにおける画像表示方法であって、
　前記画像提供装置が、前記位置情報取得装置で取得された前記船舶の位置情報と、前記潮位表と、電子海図の示す水深に関する情報と、に基づいて、前記船舶の位置の海面下の深度を求め、前記位置情報と、前記海面下の深度と、前記電子海図の示す海底地形画像データと、に基づいて、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、前記画像表示装置に提供するステップと、
　前記画像表示装置が、前記画像提供装置より提供された海底形状の仮想空間画像を前記画像表示装置からの風景に重畳して表示するステップと、
を含む画像表示方法。
　コンピュータに、
　船舶の位置情報と、潮位表と、電子海図の示す水深に関する情報と、に基づいて、前記船舶の位置の海面下の深度を求める計測ステップと、
　前記位置情報と、前記計測ステップで算出した海面下の深度と、前記電子海図の示す海底地形画像データと、に基づいて、前記船舶の位置の前記深度の海面下の海底形状の仮想空間画像を作成し、画像表示装置に提供するステップと、
を実行させるためのプログラム。