JP7296406B2 - プログラム、情報処理方法、及び情報処理端末 - Google Patents

プログラム、情報処理方法、及び情報処理端末 Download PDF

Info

Publication number
JP7296406B2
JP7296406B2 JP2020569341A JP2020569341A JP7296406B2 JP 7296406 B2 JP7296406 B2 JP 7296406B2 JP 2020569341 A JP2020569341 A JP 2020569341A JP 2020569341 A JP2020569341 A JP 2020569341A JP 7296406 B2 JP7296406 B2 JP 7296406B2
Authority
JP
Japan
Prior art keywords
area
display
information processing
display data
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569341A
Other languages
English (en)
Other versions
JPWO2020157995A1 (ja
Inventor
慧 ▲柳▼澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercari Inc
Original Assignee
Mercari Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercari Inc filed Critical Mercari Inc
Publication of JPWO2020157995A1 publication Critical patent/JPWO2020157995A1/ja
Application granted granted Critical
Publication of JP7296406B2 publication Critical patent/JP7296406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

関連出願の相互参照
本出願は、２０１９年１月２８日に出願された日本出願番号（特願）２０１９－０１２３５８号に基づくもので、ここにその記載内容を援用する。
本発明は、プログラム、情報処理方法、及び情報処理端末に関する。
従来から、インターネット等のネットワークを介して商品を購入するオンラインショッピングが普及している。これにより、遠方にある商品を購入できるようになった反面、商品の良し悪しの判断を商品情報や画像のみでしなければならなくなった。そこで店舗をＶＲ（Virtual Reality）に構築し、３６０度あらゆる角度から商品を確認することができるＶＲショッピングの技術が台頭している。
例えば、特許文献１には、オンラインショッピングサービスにおいて、顧客単位に顧客特性を反映したバーチャルモール／ショップをリアルタイム構築することを可能とした仮想商店街店舗レイアウトシステムが開示されている。このシステムでは、利用者端末のマウスの動きから顧客の足跡データを、顧客に意思表示させることなく自動収集し、興味を示した商品情報を取得している。
特開２００１－３２５５３６号公報
ところで昨今、スマートフォンを使用しながら歩くこと（歩きスマホ）の危険性が取り沙汰されている。上述した従来技術をスマートフォンに適用した場合、事故の危険があるため、徒歩や自転車で移動する際にショッピングをすることが困難である。
そこで、本開示は、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能なプログラム、情報処理方法、及び情報処理端末を提供することを目的とする。
本発明の一態様に係るプログラムは、情報処理端末に、情報処理端末の位置を示す位置情報を取得するステップと、位置情報を情報処理装置に送信するステップと、情報処理装置から、位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、画像に対応する現実の空間又は画像のうち、取得された第１領域に１以上の商品に関する表示データを出力するステップと、を実行させる。
本開示によれば、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能である。
本実施形態に係るシステム概要を説明するための図である。 本実施形態に係る通信システムを示す図である。 本実施形態に係る通信システムのハードウェア構成例を示す図 実施形態に係るウェアラブル端末の外観の一例を示す図である。 本実施形態に係るサーバの機能構成の一例を示す図である。 商品ＤＢの一例を示す図である。 本実施形態に係る情報処理端末の各機能の一例を示す図である。 本実施形態に係る端末の各機能の一例を示す図である。 商品をサーバに登録する際の処理手順の一例を示すシーケンス図である。 ユーザの視界に商品を表示する際の処理手順の一例（その１）を示すシーケンス図である。 商品に関する表示データを表示する際の一例を示す図である。 ユーザの視界に商品を表示する際の処理手順の一例（その２）を示すシーケンス図である。 経路に沿って商品に関する表示データを表示する際の一例を示す図である。 ユーザと販売者との間でコミュニケーションが行われる際の処理手順の一例を示すシーケンス図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。
添付図面を参照して、本開示の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
＜システム概要＞
図１は、本実施形態に係るシステム概要を説明するための図である。本システムは、電子商取引（EC : Electric Commerce）の提供に用いられるシステムであり、ユーザＵが装着又は保持する情報処理端末１３０の一例として撮像部や出力部を有するメガネを用いる。例えば、情報処理端末１３０を装着したユーザＵは、街を散策中にウィンドウショッピングを行うことができる。情報処理端末１３０は、位置情報を、随時サーバに送信する。
次に、サーバは、情報処理端末１３０から送信された位置情報に対応する商品に関する表示データをデータベースから取得し、情報処理端末１３０に送信する。「表示データ」とは、商品に関する情報（商品情報）を情報処理端末１３０に表示させるためのデータである。表示データは、３Ｄモデルデータ、２Ｄ（２次元）の画像データ（動画データを含む）及び、商品の割引情報を示すデータのうち少なくとも１つを含むものであってもよい。また、表示データは、更に、商品の属性を示す属性データを含んでいてもよい。属性データは、限定でなく例として、商品の名称、価格、仕様、品番、商品のカテゴリ名であってもよい。以下の説明では、特に断りが無い限り、サーバ１１０から情報処理端末１３０に送信される商品の表示データは、３Ｄモデルである前提で説明するが、表示データが３Ｄモデルに限定されることを意図しているのではない。
情報処理端末１３０は、撮影したカメラ画像に基づいて、受信した表示データを表示する位置を決定する。情報処理端末１３０は、受信した表示データを、カメラ画像内の領域であって、ユーザＵの安全性（ユーザが通行する際の安全性又は重畳された表示データを視聴する際の安全性）に関する所定条件を満たす領域に表示する。ユーザＵの安全性に関する所定条件を満たす領域とは、限定でなく例として、ユーザＵが安全に立ち入ることが可能な場所として認識される領域、ユーザＵが安全に歩行可能な場所として認識される領域、安全上の理由によりユーザＵが立ち入ることが禁止されている領域以外の領域、及び、ユーザＵに危険が生じる可能性のある領域以外の領域等が挙げられる。
ユーザＵが安全に歩行可能な場所として認識される領域を識別するための“所定条件”とは、限定でなく例として、カメラ画像から特定される領域に歩行者が写っていること、当該領域が縁石と建築物との間に挟まれた領域であること、当該領域が歩道を識別するための模様として予め登録された模様を有する領域であること等が挙げられる。また、安全上の理由によりユーザＵが立ち入ることが禁止されている領域以外の領域又はユーザＵに危険が生じる可能性のある領域以外の領域を識別するための“所定条件”とは、限定でなく例として、カメラ画像から特定される領域に自動車、車道中央線、車線境界線又は横断歩道が写っていないこと、進入禁止を示す標識や人が立ち入ることを禁止する文字列が写っていないこと、踏切、線路、砂利又は電車が写っていないこと、黄色の線状の点字ブロックが写っていないこと等が挙げられる。
ユーザＵの安全性に関する所定条件を満たす領域の具体例としては、歩道、公園、公共エリア、建物の内部、立ち入り可能な敷地、私有地以外、危険な領域以外の領域、階段以外の領域、他人が立っている場所以外の領域、障害物が存在する領域以外の領域、障害物とユーザＵとの間の領域以外の領域、及び／又は、駅のホームの端にある黄色線又は白線の内側等が挙げられる。以下、ユーザＵの安全性に関する所定条件を満たす領域を、便宜上「安全領域」又は「第１領域」と称する。
図１の例では、カメラ画像には車道Ｓ１と歩道Ｓ２とを含んでいる。例えば、情報処理端末１３０は、画像のピクセルを解析するセマンテックセグメンテーションの技術を用いたり、事前に現実の世界をスキャンすることで得られた３Ｄマップとカメラ画像とを照合したりすることで、車道Ｓ１と歩道Ｓ２との境界、車道Ｓ１の領域及び歩道Ｓ２の領域を特定する。そして、情報処理端末１３０は、３ＤモデルＤ１０の表示位置として、例えば車道Ｓ１の領域は不適切であると判定し、歩道Ｓ２の領域を表示位置に決定する。この結果、図１に示すように、例えば３ＤモデルＤ１０を歩道Ｓ２に沿って地面の上に表示することができる。
このように、商品の３ＤモデルＤ１０が歩道上に表示されることで、ユーザＵは徒歩で移動しながらウィンドウショッピングをする感覚で商品を閲覧することができる。さらに、車道Ｓ１には商品の３ＤモデルＤ１０が表示されないよう制御されるため、ユーザＵが商品の閲覧に夢中になった場合でも、ユーザＵが車道に立ち入ってしまうことを防ぐことができる。なお、前述の通り、３ＤモデルＤ１０の表示位置の決定は、車道か歩道かに限定されない。例えば、私有地や危険な場所、屋内であれば階段上には表示されない構成でもよい。また、情報処理端末１３０が、障害物や人を特定して、当該障害物とユーザＵとの間には表示させないように制御してもよい。
ユーザＵは、表示される３ＤモデルＤ１０をお気に入り登録することができる。例えば情報処理端末１３０は、視線追従技術やヘッドトラッキング、ポジショントラッキングを用いてユーザＵの視線上にある３ＤモデルＤ１０を特定するようにしてもよい。また、情報処理端末１３０は、ポジショントラッキングによって取得できた手の位置と、表示された３Ｄモデルとの距離が近づいた場合や、お互いの距離が近い状態でジェスチャをした場合も、ユーザＵが当該３Ｄモデルを選択したと判断する。また、ユーザＵが、スマートリングやジェスチャ、音声認識等を用いて、特定の商品について登録指示を出すと、情報処理端末１３０は、特定した３ＤモデルＤ１０をお気に入り登録するようにしてもよい。
以上、システム概要について説明したが、事前に現実の世界をスキャンすることで得られた３Ｄマップの情報やBluetooth（登録商標）等に基づいて情報処理端末１３０の位置を推定可能な場合には、本実施形態にかかるシステムは、屋内で利用されても良い。
＜システム構成＞
図２は、本実施形態に係る通信システム１を示す図である。通信システム１は、図１を用いて説明した処理を実行するシステムであり、サーバ（情報処理装置）１１０、ウェアラブル端末１３０Ａ及び端末１３０Ｂ、端末１５０を備える。サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、インターネットや無線ＬＡＮ、Bluetooth（登録商標）、有線通信等の通信ネットワークＮを介して互いに通信可能に接続される。なお、通信システム１が備えるサーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ、端末１５０の数は１つに限られず、複数備えていてもよい。また、サーバ１１０は、１つの機器から構成されてもよいし、複数の機器から構成されてもよいし、クラウド上で実現されるサーバであってもよい。
サーバ１１０は、ウェアラブル端末１３０Ａ又は端末１３０Ｂから位置情報を受信し、受信した位置情報に対応する商品に関する表示データを情報処理端末１３０に送信する。
ウェアラブル端末１３０Ａは、例えば、拡張現実（AR : Augmented Reality）技術を利用可能なメガネ型端末（スマートグラス）、コンタクトレンズ型端末（スマートコンタクトレンズ）、ヘッドマウントディスプレイ、又は義眼等であってもよい。なお、ウェアラブル端末はＡＲ技術を用いるものに限定されず、調整現実（Mediated Reality）や、複合現実（Mixed Reality）、人工現実（Virtual Reality）、減損現実（Diminished Reality）等の技術を用いるものでもよい。
端末１３０Ｂは、ユーザＵが利用する電子デバイスである。端末１３０Ｂは、例えば、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、家庭用ゲーム機器等であってもよい。以下、ウェアラブル端末１３０Ａと端末１３０Ｂとを区別しない場合は、まとめて情報処理端末と称する。なお、情報処理端末１３０に端末１３０Ｂは必須の構成ではなく、ウェアラブル端末１３０Ａが端末１３０Ｂの機能を兼ねてもよいし、端末１３０Ｂの機能を有しない構成としてもよい。また、情報処理端末１３０に端末１３０Ａは必須の構成ではなく、ウェアラブル端末１３０Ａを有しない構成としてもよい。
端末１５０は、商品の管理者が利用する情報処理端末である。端末１５０は、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ:Personal Digital Assistant）、家庭用ゲーム機器等であってもよい。なお、商品の管理者は、限定でなく例として、商品の販売者、商品の卸業者、商品の説明者、商品の３Ｄモデルをサーバ１１０に登録する者等である。
＜ハードウェア構成＞
図３は、サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０のハードウェア構成例を示す図である。サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、ＣＰＵ（Central Processing Unit）１１、メモリ、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、入力操作を受け付ける入力デバイス１４、情報の出力を行う出力デバイス１５及びセンサ１６を有する。入力デバイス１４は、例えば、キーボード、タッチパネル、マウス、マイク、ユーザＵの身体に取り付けられた入力デバイス１４（例えば、スマートリングと呼ばれる指輪型のウェアラブル装置など）及び／又は撮像装置（２次元カメラ、深度（Depth）カメラ）等である。出力デバイス１５は、例えば、ディスプレイ（網膜走査型でもよい）及び／又はスピーカ等である。センサ１６は、例えば、ＧＰＳ測位センサ、ジャイロセンサ、地磁気センサ、視線検出センサ等である。
なお、サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、図３に示すハードウェアのうち一部が含まれない構成であってもよい。例えばサーバ１１０、端末１３０Ｂ及び端末１５０にはセンサ１６は含まれていなくてもよい。
＜ウェアラブル端末１３０Ａの外観＞
図４は、実施形態に係るウェアラブル端末１３０Ａの外観の一例を示す図である。ウェアラブル端末１３０Ａは、撮像部１２１０、ディスプレイ１１３６、フレーム１１３７、ヒンジ部１１３８及びテンプル１１３９を備える。
撮像部１２１０は、画像（以下、特に断りのない限り、画像には動画を含む）を撮像するためのデバイスである。撮像部１２１０は、図示しないＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、レンズ等の撮像素子等を含んでいてもよい。撮像部１２１０は、ユーザＵの視線方向が撮像できる位置に設けられるとよい。また、ユーザの目を撮像可能であり、ユーザの視線が検出可能な位置に別の撮像部が設けられてもよい。
ディスプレイ１１３６は、後述する出力部１３７の制御に基づいて、商品情報等の各種情報を表示する出力デバイス１５である。ディスプレイ１１３６は、ウェアラブル端末１３０Ａを装着したユーザＵが実空間の景観を視認可能なように可視光を透過させる部材で形成されていてもよい。例えば、ディスプレイ１１３６は、透明基板を用いた液晶ディスプレイや有機ＥＬディスプレイであってもよい。或いは、ディスプレイ１１３６は、表示する情報を人間の網膜に表示させる、網膜走査型のディスプレイであってもよい。
フレーム１１３７は、ディスプレイ１１３６の外周を囲むように設けられ、ディスプレイ１１３６を衝撃等から保護する。フレーム１１３７は、ディスプレイ１１３６の外周全域にわたって設けられていてもよいし、一部に設けられていてもよい。フレーム１１３７は、例えば、金属や樹脂等で形成されていてもよい。
ヒンジ部１１３８は、テンプル１１３９をフレーム１１３７に対して回動可能に接続する。テンプル１１３９は、フレーム１１３７の両端から延在する蔓であり、例えば、金属や樹脂等で形成されていてもよい。ウェアラブル端末１３０Ａは、フレーム１１３７から離間するように開かれたテンプル１１３９がユーザＵのこめかみ付近に位置するように装着される。
テンプル１１３９は、一部が窪んだ係止部１１３９ａを有している。係止部１１３９ａは、ウェアラブル端末１３０Ａが装着された状態でユーザＵの耳に係るように位置し、ウェアラブル端末１３０ＡがユーザＵの頭部から脱落することを防止する。
＜機能構成＞
（サーバ１１０の機能構成）
図５は、本実施形態に係るサーバ１１０の機能構成の一例を示す図である。図５に示す例では、サーバ１１０は、記憶部１１１、生成部１１２、登録部１１３、受信部１１４、特定部１１５、送信部１１６及び経路取得部１１７を備える。生成部１１２、登録部１１３、受信部１１４、特定部１１５、送信部１１６及び経路取得部１１７は、サーバ１１０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。また、記憶部１１１は、サーバ１１０が備える記憶装置１２を用いて実現することができる。
記憶部１１１は、商品情報と、商品を表示させるべき位置を示す表示位置情報と、商品に関する表示データとを対応づけた商品ＤＢを記憶する。
図６は、商品ＤＢの一例を示す図である。「商品ＩＤ」は、商品ＤＢにおいて商品を一意に識別する識別子である。「表示データ」には、３Ｄモデルデータ、画像データ、商品の割引情報を示すデータ及び／又は商品の属性データが格納される。３Ｄモデルデータには、３Ｄモデルを任意に動作させるデータが含まれていてもよい。例えば、glTF形式等のフォーマットで３Ｄモデルデータを生成することで、３Ｄモデルを動的に動作させることができる。「表示位置情報」には、表示データを表示させるべき位置（又は範囲）を示す情報が格納される。当該情報は、例えば、経度及び緯度で表現される情報であってもよいし、特定の場所を示す情報（例えば住所や公園等を示す情報）であってもよい。また、表示位置情報には、複数の表示位置情報が格納されていてもよい。つまり、表示データと表示位置情報とは１対１に対応づけられていてもよいし、１対Ｎ（複数）で対応づけられていてもよい。「管理者ＩＤ」には、商品の管理者を示す識別子が格納される。管理者ＩＤは、管理者が利用する端末１５０を呼び出すことが可能な情報が含まれていてもよい。当該情報は、例えば電話番号、メールアドレス、管理者が端末１５０上で利用するアプリケーションにより払い出されたＩＤ等であってもよい。
なお、表示データは、商品の属性データに含まれる「商品のカテゴリ」に基づいて表示位置情報と紐付けられてもよい。例えば、スーツについてはオフィス街の表示位置情報を対応づけておき、日用品については住宅街の表示位置情報を対応づけておくことが考えられる。これにより、ユーザＵが住宅街にいる場合は、日用品が情報処理端末１３０に表示され、ユーザＵがオフィス街にいる場合は、スーツが情報処理端末１３０に表示される。図５に戻り説明を続ける。
生成部１１２は、商品を撮影した撮影データから、商品に関する表示データを生成する。例えば、生成部１１２は、商品の周囲を撮影した複数枚の画像データ又は動画データを解析することで、商品に関する表示データを生成する。商品の撮影は、例えば商品に関連する所定のユーザが行い、当該ユーザが利用する端末１５０からサーバ１１０に商品の撮影データが送信されることとしてもよい。
商品に関連する所定のユーザは、限定でなく例として、商品を提供する店舗のユーザ（管理者等）でもよいし、店舗の利用者でもよいし、システム提供者であってもよい。また、表示データは、システム提供者や、システム提供者により依頼されたベンダーなどが生成してもよい。さらに表示データは、リアルタイムに生成されてもよい。
登録部１１３は、商品に関する表示データと表示位置情報とを対応づけて商品ＤＢに格納する。商品と表示位置情報との対応付けは、商品に関連する所定のユーザが行うようにしてもよいしシステム提供者等が行うことしてもよい。商品を登録する所定のユーザに対し、例えば、マップ（２次元でも３次元でもよい）上に商品を配置することで商品と表示位置情報を対応づけることができる機能を提供するようにしてもよい。
受信部１１４は、情報処理端末１３０から、情報処理端末１３０の位置を示す位置情報を受信する。また、受信部１１４は、情報処理端末１３０で撮影された画像データを受信する。
特定部１１５は、記憶部１１１に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、受信部１１４が受信した位置情報により示される位置から所定範囲内に存在する表示位置情報に関連付けられた、１以上の商品に関する表示データを特定する。例えば、特定部１１５は、情報処理端末１３０の位置から所定範囲内に表示位置情報が存在する表示データを商品ＤＢの中から検索することで、表示データを特定してもよい。
送信部１１６は、撮像部により撮影される画像内の領域であって、ユーザＵの安全性に関する所定条件を満たす領域に表示される１以上の商品に関する表示データを情報処理端末１３０に送信する。
経路取得部１１７は、ユーザＵの現在位置から、ユーザＵが希望する目的地までの経路を例えば地図データ等を検索することで取得する。
（情報処理端末１３０の機能構成）
図７は、本実施形態に係る情報処理端末１３０の各機能の一例を示す図である。図７に示す例では、情報処理端末１３０は、位置取得部１３１、送信部１３２、受信部１３３、撮像部１３４、特定部１３５、取得部１３６、出力部１３７及び受付部１３８を備える。位置取得部１３１、送信部１３２、受信部１３３、撮像部１３４、特定部１３５、取得部１３６、出力部１３７及び受付部１３８は、情報処理端末１３０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。このプログラムは、サーバ１１０からダウンロードされて情報処理端末１３０にインストール可能なプログラム（アプリケーション）であってもよい。
位置取得部１３１は、情報処理端末１３０自身の位置を示す位置情報を取得する。位置取得部１３１は、位置情報について、公知のＧＰＳやＢｅａｃｏｎ、ＶＰＳ（Visual Positioning Service）を用いて情報処理端末１３０の位置情報を取得してもよい。
送信部１３２は、位置取得部１３１で取得された位置情報をサーバ１１０に送信する。また、送信部１３２は、後述する受付部１３８が受け付けた商品を識別する情報をサーバ１１０に送信するようにしてもよい。
受信部１３３は、サーバ１１０から、情報処理端末１３０の位置情報に対応づけられる１以上の商品に関する表示データを受信する。また、受信部１３３は、サーバ１１０から、１以上の商品の属性データを受信するようにしてもよい。
また、受信部１３３は、サーバ１１０又は他の情報処理装置（例えば端末１５０）から、安全領域に表示する１以上の商品に含まれる特定の商品（第１商品）についての管理者（販売元のユーザ）を撮影することで得られる、管理者の表示データを受信するようにしてもよい。管理者の表示データは、限定でなく例として、管理者を撮影した動画、又は、管理者の周囲を撮影することで生成された、管理者の３Ｄモデルデータであってもよい。
撮像部１３４は、入力デバイス１４（撮像装置）を用いて、撮像装置が向いている方向の画像を撮影する。
特定部１３５は、撮像部１３４により撮影された画像内の領域から安全領域を特定する。特定部１３５が安全領域を特定する方法については後述する。
取得部１３６は、特定部１３５にて特定された、撮影された画像内の領域のうち安全領域を示す情報を、特定部１３５から取得する。なお、特定部１３５は、情報処理端末１３０ではなく、サーバ１１０側に実装するようにしてもよい。この場合、送信部１３２は、撮像部１３４で撮影された画像をサーバ１１０に送信し、取得部１３６は、サーバ１１０から、撮影された画像内の領域のうち安全領域を示すデータを取得する。
また、取得部１３６は、サーバ１１０又は他の情報処理装置（例えば端末１５０）から、ユーザが移動する経路を示す経路情報を取得するようにしてもよい。ユーザが移動する経路とは、歩行者用ナビゲーションサービス等を用いて生成された、現在位置から、ユーザが指定した目的地までの歩行経路である。
出力部１３７は、撮像部１３４で撮影された画像又は動画に対応する現実の空間又は撮像部１３４で撮影された画像又は動画のうち、取得部１３６が取得した安全領域に１以上の商品に関する表示データを出力する。
情報処理端末１３０がウェアラブル端末１３０Ａである場合、出力部１３７は、表示データを、ユーザが肉眼で視認する安全領域と重なる位置に出力する。例えば、出力デバイス１５が透明基板を用いた液晶ディスプレイや有機ＥＬディスプレイである場合、出力部１３７は、ユーザが透明基盤を介して視認する安全領域と重なる位置に、表示データを表示する。例えば、出力デバイス１５が網膜走査型のディスプレイである場合、出力部１３７は、ユーザの網膜のうち、安全領域が網膜に写る領域と重なる領域に向けて表示データを出力する。また、情報処理端末１３０が端末１３０Ｂである場合、出力部１３７は、表示データを、撮像部１３４で撮影された画像内の領域のうち安全領域と重なる位置に表示する。
なお、出力部１３７は、安全領域の境界に沿って１以上の表示データを配置して出力するようにしてもよい。安全領域の境界とは、例えば、安全領域及び安全領域以外の領域の境目から、所定の距離（例えば、現実世界において１メートルや２メートルなど）、安全領域側に入った位置との間の領域であってもよい。
また、出力部１３７は、受信部１３３で受信した管理者に関する表示データを、安全領域に表示する１以上の商品に含まれる特定の商品（第１商品）の表示データと対応づけて出力ようにしてもよい。例えば、出力部１３７は、当該特定の商品の隣に、管理者に関する表示データを出力するようにしてもよい。これにより、ユーザは、特定の商品について、管理者による説明を受けながら商品の選択を行うことが可能になる。
また、出力部１３７は、安全領域に１以上の商品に関する表示データを出力する際、取得部１３６により取得された、ユーザが移動する経路を示す経路情報により示される経路に沿って、１以上の商品に関する表示データを出力するようにしてもよい。これにより、ユーザの歩行経路上に表示データが表示されることになるため、ユーザは、目的地まで移動する間に、経路を外れることなく、ウィンドウショッピングをする感覚で商品を閲覧することが可能になる。
また、出力部１３７は、１以上の商品に関する表示データに含まれる特定の表示データ（第１表示データ）に近づく方向に情報処理端末１３０が移動すると、当該特定の表示データに対応する商品の属性データを出力するようにしてもよい。出力部１３７は、表示データを最初に出力した位置を記憶しておき、当該位置とユーザＵの現在位置（情報処理端末１３０の現在位置）とを比較することで、表示データに情報処理端末１３０が近づいたのか否かを判定することができる。
例えば、出力部１３７は、ユーザＵが表示データに近づくと商品の名称や価格等を表示データ付近に表示させ、ユーザＵが表示データから離れると商品の名称や価格等を表示しないように切り替えてもよい。これにより、多数の商品に関する表示データが画面内に表示されている場合であっても、商品の名称や価格等の文字が大量に表示されることによる視認性の劣化を防止することが可能になる。
受付部１３８は、出力部１３７より出力された１以上の商品に関する表示データの中から、当該１以上の商品の選択を受け付ける。例えば、受付部１３８は、入力デバイス１４を用いたユーザの指示を検出することで商品の選択を受け付けるようにしてもよい。若しくは、受付部１３８は、撮像部１３４により撮影された画像を解析し、ユーザが特定のジェスチャを行ったことを検出することで、商品の選択を受け付けるようにしてもよい。若しくは、受付部１３８は、センサ１６である視線検出センサを用いて、ユーザの視線が所定の時間向いている商品を検出することで、商品の選択を受け付けるようにしてもよい。
（端末１５０の機能構成）
図８は、本実施形態に係る端末１５０の各機能の一例を示す図である。図８に示す例では、端末１５０は、送信部１５１、受信部１５２、撮像部１５３、位置取得部１５４、表示部１５５及び生成処理部１５６を備える。送信部１５１、受信部１５２、撮像部１５３、位置取得部１５４、表示部１５５及び生成処理部１５６は、端末１５０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。このプログラムは、サーバ１１０からダウンロードされて端末１５０にインストール可能なプログラム（アプリケーション）であってもよい。
送信部１５１は、サーバ１１０又は情報処理端末１３０に対して各種の情報を送信する。受信部１５２は、サーバ１１０又は情報処理端末１３０から各種の情報を受信する。
撮像部１５３は、入力デバイス１４（撮像装置）を用いて、商品又は商品の管理者の画像を撮影する。撮像装置は、端末１５０に内蔵された撮像装置であってもよいし、端末１５０に接続された複数の撮像装置であってもよい。当該複数の撮像装置とは、例えば、商品又は商品の管理者を囲むように配置された複数の撮像装置であってもよい。撮像部１５３は、撮影した画像を、送信部１５１を介してサーバ１１０に送信する。
位置取得部１５４は、端末１５０自身の位置を示す位置情報を取得する。位置取得部１５４は、位置情報について、公知のＧＰＳやＢｅａｃｏｎ、ＶＰＳを用いて情報処理端末１３０の位置情報を取得してもよい。
表示部１５５は、出力デバイス１５であるディスプレイに所定の情報を表示する。例えば、表示部１５５は、受信部１５２が情報処理端末１３０より受信した、情報処理端末１３０を用いてユーザＵが見ている画像と同一の画像をディスプレイに表示するようにしてもよい。このとき、ディスプレイは、端末１５０が備えるディスプレイであってもよいし、端末１５０と通信可能な外部のディスプレイであってもよい。
＜処理手順＞
以下、本実施形態の通信システム１が行う処理手順を説明する。以下の説明では、情報処理端末の一例として、ウェアラブル端末１３０Ａのメガネ型端末（スマートグラス）を用いて説明する。また、商品に関する表示データは商品の３Ｄモデルデータを含むものとして説明する。また、商品の管理者は、商品の販売者であるものとして説明する。
（商品の登録）
図９は、商品をサーバ１１０に登録する際の処理手順の一例を示すシーケンス図である。図９を用いて、商品の販売者が、ユーザＵに向けて販売する商品の出品を行うために、商品をサーバ１１０に登録する際の処理手順を説明する。
ステップＳ１００で、商品の販売者は、端末１５０を操作することで、サーバ１１０に商品を登録するための準備を行う。商品を登録するための準備とは、例えば、商品の登録を行う機能を備えるアプリケーションを起動する等の操作や、カメラを起動する操作等を含む。
ステップＳ１０１で、販売者は、端末１５０が備える撮像装置又は端末１５０に接続された１又は複数の撮像装置を用いて商品の周囲を撮影する。
ステップＳ１０２で、端末１５０の送信部１５１は、撮影された商品の周囲を撮影した動画をサーバ１１０に送信する。
ステップＳ１０３で、サーバ１１０の生成部１１２は、端末１５０から受信した動画を解析することで、商品の３Ｄモデルデータを生成する。生成部１１２は、例えば、動画から３Ｄモデルを生成するＡＰＩ（Application Programming Interface）を提供しており、当該ＡＰＩに動画データを入力することで、商品の３Ｄモデルデータを生成するようにしてもよい。若しくは、当該ＡＰＩはサーバ１１０とは異なる外部の情報処理装置により提供されており、生成部１１２は、当該外部の情報処理装置が提供するＡＰＩを利用して商品の３Ｄモデルデータを生成するようにしてもよい。
ステップＳ１０４で、サーバ１１０の送信部１１６は、生成された３Ｄモデルデータを端末１５０に送信する。
ステップＳ１０５で、端末１５０の位置取得部１５４は、端末１５０自身の現在地を取得する。また、端末１５０の位置取得部１５４は、ユーザにより指定された位置情報を取得してもよい。
ステップＳ１０６で、販売者は、端末１５０を操作することで、商品を表示させる表示位置を指定する。販売者は、ステップＳ１０５で取得した位置情報を表示位置に指定してもよいし、地図画面等にて表示位置を直接指定するようにしてもよい。表示位置を直接指定する際、販売者は、２次元の地図のみならず、３次元の地図で表示位置を指定（例えば、ビルの３階にある所定のフロアを指定する等）してもよいし、現実の場所（例えば、現在位置を指定する等）を指定してもよい。続いて、販売者は、指定した表示位置情報と３Ｄモデルデータとを対応づけてサーバ１１０に登録することを端末１５０に指示する。
ステップＳ１０７で、端末１５０の送信部１５１は、表示位置情報と３Ｄモデルデータとを含む登録データをサーバ１１０に送信する。
ステップＳ１０８で、サーバ１１０の登録部１１３は、受信した表示位置情報と３Ｄモデルデータとを対応づけて商品ＤＢに登録する。
以上説明した処理手順において、ステップＳ１０４の処理手順は省略され、ステップＳ１０６の処理手順において、端末１５０は、位置情報のみを含む登録データをサーバ１１０に送信するようにしてもよい。例えばデータサイズが大きい３Ｄモデルデータを端末１５０に送信せずにサーバ１１０内に一時的に記憶しておくことで、端末１５０及びサーバ１１０間のデータ通信量を削減することができる。
また、ステップＳ１０６の処理手順において、販売者は、商品の属性データ（商品名、価格等）を端末１５０に入力するようにしてもよい。端末１５０の送信部１５１は、ステップＳ１０７にて入力された属性データを、表示位置情報及び表示データと共にサーバ１１０に送信するようにしてもよい。また、サーバ１１０の登録部１１３は、ステップＳ１０８にて、表示位置情報と表示データと属性データとを商品ＤＢに登録するようにしてもよい。
（商品の表示（その１））
図１０は、ユーザの視界に商品を表示する際の処理手順の一例（その１）を示すシーケンス図である。図１０を用いて、サーバ１１０に登録された商品が、ＡＲ技術によりユーザＵの視界に表示される際の処理手順を説明する。
ステップＳ２００で、ユーザＵは、ウェアラブル端末１３０Ａを装着しながら移動する。
ステップＳ２０１で、ウェアラブル端末１３０Ａの位置取得部１３１は、ユーザの移動と共に位置情報を取得する。
ステップＳ２０２で、ウェアラブル端末１３０Ａの送信部１３２は、取得した位置情報をサーバ１１０に送信する。
ステップＳ２０３で、サーバ１１０の特定部１１５は、ウェアラブル端末１３０Ａの位置から所定範囲内（例えば、ウェアラブル端末１３０Ａの位置から半径３０ｍ、５０ｍ、１００ｍなど）に表示位置情報が存在する表示データを商品ＤＢの中から検索することで、１以上の商品に関する表示データを取得する。
ステップＳ２０４で、サーバ１１０の送信部１１６は、取得した１以上の商品に関する表示データをウェアラブル端末１３０Ａに送信する。
ステップＳ２０５で、ウェアラブル端末１３０Ａの位置取得部１３１は、センサ１６である加速度センサ及び磁気センサを使用し、ウェアラブル端末１３０Ａの向きを取得する。ウェアラブル端末１３０Ａの向きは、例えば、特定の方向（例えば北など）を基準とした場合におけるウェアラブル端末１３０Ａの正面方向の角度、地表面を基準とした場合におけるウェアラブル端末１３０Ａの水平面の角度、ウェアラブル端末１３０Ａの回転角の３つで表現され、ユーザの視線方向を示している。
ステップＳ２０６で、ウェアラブル端末１３０Ａの撮像部１３４は、ユーザが向いている方向の現実の世界を撮影する。また、ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像内の領域から特定部１３５により特定された安全領域の範囲を示す情報を取得する。
ここで、ウェアラブル端末１３０Ａの特定部１３５は、例えば、撮影された画像のピクセルをセマンテックセグメンテーション技術やインスタンスセグメンテーション技術等を用いて、各ピクセルを分類分けすることで、画像の中から安全領域を特定するようにしてもよい。例えば、歩道と車道と建造物を分類分けする能力を学習した学習済みモデルを予め用意しておき、撮影された画像を当該学習済みモデルに入力することで、画像内において歩道が写っている領域と、車道が写っている領域と、建造物が写っている領域とを分類分けするようにしてもよい。例えば、安全領域ではない領域が予め設定され、特定部１３５は、学習により分類された領域が、設定された領域でなければ安全領域であると特定してもよい。逆に、安全領域が予め設定され、特定部１３５は、学習により分類された領域が、設定された領域であれば安全領域であると特定してもよい。これにより特定部１３５は、撮影された画像のうち歩道に該当する領域については安全領域であると特定することができる。
また、ウェアラブル端末１３０Ａの特定部１３５は、例えば、撮影された画像のピクセルをセマンテックセグメンテーション技術やインスタンスセグメンテーション技術等を用いて、各ピクセルを分類分けすることで画像を複数の領域に区分けし、各々の領域が、上述したユーザＵの安全性に関する“所定条件”を満たすか否か（つまり各々の領域が安全領域であるか否か）を画像分析により判定するようにしてもよい。
また、特定部１３５は、事前に現実の世界をスキャンすることで得られた、道路、歩道、建物等の３次元形状と各形状のカテゴリ（歩道、車道、建造物など）とが対応づけられた３Ｄマップ情報を用いて、撮像部１３４により撮影された画像内の領域から安全領域を特定するようにしてもよい。３Ｄマップ情報は、情報処理端末１３０が備える記憶装置１２に格納されていてもよい。例えば、特定部１３５は、撮像部１３４により撮影された画像と３Ｄマップ情報とを照合することで、画像内において歩道が写っている領域と、車道が写っている領域と、建造物が写っている領域とを分類分けするようにしてもよい。これにより特定部１３５は、撮影された画像のうち歩道に該当する領域については安全領域であると特定することができる。
また、３Ｄマップ情報には、安全領域の範囲を示すデータが含まれていてもよい。例えば、歩道や公園等には安全領域を示すデータが予め付与されていてもよい。特定部１３５は、撮像部１３４により撮影された画像と３Ｄマップ情報とを照合することで、安全領域を特定することができるため、安全領域を特定する処理を高速化することができる。
また、特定部１３５は、安全領域の特定を、撮像部１３４により撮影された画像内に含まれる複数の情報をかけ合わせて（組み合わせて）行うようにしてもよい。例えば、画像内の領域のうち、白線、自動販売機、及び、駅名が書いている看板等が含まれている領域については、安全領域ではないと判定するようにしてもよい。この場合には、ユーザＵは駅のホームにいる可能性が高く、３Ｄモデルを表示させると転落の危険があると考えられるためである。なお、特定部１３５は、画像内に危険な領域が存在するか否かを判断するようにしてもよい。特定部１３５が危険な領域が存在すると判断した場合、出力部１３７は、ユーザＵへの警告のために３次元又は２次元オブジェクトによるアラートや危険な領域（マンホール等）を避けるためのルートを出力するようにしてもよい。
ステップＳ２０７で、出力部１３７は、ユーザが認識する視野角の範囲の空間のうち安全領域の地表面に、ステップＳ２０４でサーバ１１０から受信した１以上の商品に関する表示データを出力する。もし、安全領域に該当する空間が存在しない場合、出力部１３７は、表示データを出力しない。また、サーバ１１０から複数の表示データを受信した場合、出力部１３７は、複数の表示データを、所定の間隔で並べて出力するようにしてもよい。
例えば、サーバ１１０からウェアラブル端末１３０Ａに通知される商品に関する表示データには表示位置情報を含めておき、出力部１３７は、商品に関する表示データが、表示位置情報で示される位置に表示されるように制御するようにしてもよい。なお、同一の販売者が複数の商品を登録している場合、複数の表示データが同一の表示位置情報を有していることが想定される。この場合、各々の表示データが重ならないようにするため、出力部１３７は、各表示データの表示位置を所定の範囲内で移動させるようにしてもよい。
また、表示位置情報で示される位置が、緯度経度で示される具体的な位置ではなく、公園内といったように大まかな位置である場合、出力部１３７は、出力データを出力する具体的な位置を自ら決定して記憶しておくようにしてもよい。例えば、表示位置情報が公園内である場合、出力部１３７は、公園内のうち任意の場所を、表示データを出力する位置として決定するようにしてもよい。
また、表示位置情報で示される位置が安全領域ではない場合で、かつ、表示位置情報から所定の範囲内に安全領域が存在する場合、出力部１３７は、当該安全領域内に表示位置を移動させるようにしてもよい。表示位置情報が安全領域ではない場所に設定されている場合に、商品に関する表示データが表示されず埋もれてしまうことを抑止することができる。
ステップＳ２０８で、ユーザＵは、視界に表示された商品の３Ｄモデルを視認することで、ウィンドウショッピングを楽しむことができる。
以上説明したステップＳ２０１乃至ステップＳ２０４の処理手順は、ユーザの移動に応じて繰り返し実行される。これにより、ステップＳ２０４の処理手順にてサーバ１１０からウェアラブル端末１３０Ａに送信される表示データは、ユーザの移動に応じて変更（更新）されることになる。例えば、サーバ１１０は、ある商品に関する表示データについて、ウェアラブル端末１３０Ａが当該商品の表示位置情報から所定範囲内に入った場合、当該商品に関する表示データをウェアラブル端末１３０Ａに送信し、ウェアラブル端末１３０Ａが表示位置情報から所定範囲外に出た場合に、表示データの表示を中止すべきことをウェアラブル端末１３０Ａに通知するようにしてもよい。
例えば、商品Ａの表示位置情報は、緯度及び経度で具体的に指定された地点Ａであると仮定する。また、サーバ１１０は、ウェアラブル端末１３０Ａの現在位置から２０ｍ以内に表示位置情報が含まれる表示データをウェアラブル端末１３０Ａに送信するものとする。この場合、ウェアラブル端末１３０Ａを装着したユーザＵが移動し、ユーザＵと地点Ａとの距離が２０ｍ以内になった場合、サーバ１１０は、商品Ａに関する表示データをユーザＵに送信する。この状態では、ユーザＵが商品Ａの表示位置情報が示す地点を向いた場合に、ユーザＵの視界に商品Ａに関する表示データが表示される。続いて、ユーザＵが移動し、ユーザＵと地点Ａとの距離２０ｍ以上になった場合、サーバ１１０は、商品Ａに関する表示データの表示を中止すべきことをウェアラブル端末１３０Ａに通知する。この状態では、ユーザＵが商品Ａの表示位置情報が示す地点を向いても、ユーザＵの視界に商品Ａに関する表示データは表示されない。
図１１は、商品に関する表示データを表示する際の一例を示す図である。図１１のうち領域Ｓ１は車道であり、領域Ｓ２は歩道であり、領域Ｓ３は植え込みであり、領域Ｓ４は建築物である。安全領域は領域Ｓ２であると仮定し、ウェアラブル端末１３０Ａがサーバ１１０から受信した表示データには、Ｄ１０－１～Ｄ１０－４までの４体分の３Ｄモデルデータが含まれているとする。
ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像Ｐ１から、安全領域である領域Ｓ２の範囲を取得する。また、出力部１３７は、取得した領域Ｓ２に、４体の３ＤモデルデータＤ１０－１～Ｄ１０－４を重畳表示する。このとき、出力部１３７は、３ＤモデルデータＤ１０－１～Ｄ１０－４を最初に表示した位置を記憶しておき、ウェアラブル端末１３０Ａの向きや現在位置が変わった場合（つまり顔の向きが変わった場合やユーザＵが移動した場合）でも、３ＤモデルデータＤ１０－１～Ｄ１０－４の表示位置が変化しないように表示位置を制御する。例えば、図１１に示す状態でユーザＵが後ろを向いた場合は３ＤモデルデータＤ１０－１～Ｄ１０－４は視界から消えることになる。また、例えばユーザＵが画像Ｐ１の奥に向かってまっすぐ直進した場合、３ＤモデルデータＤ１０－１、３ＤモデルデータＤ１０－２、３ＤモデルデータＤ１０－３、３ＤモデルデータＤ１０－４の順に３Ｄモデルが視界から消えることになる。
また、ユーザＵが移動することで特定の表示データに近づくと、出力部１３７は、当該表示データの商品に関する属性データを出力する。例えば、ユーザＵが商品Ｄ１０－４に興味を持って近づいた場合、商品Ｄ１０－４の３Ｄモデルの周囲に、商品名や価格等の属性データが表示される。
また、ウェアラブル端末１３０Ａの受付部１３８は、ユーザＵが特定の商品の方を所定の時間向いていることを、視線検出センサを用いて検出することで、ユーザＵがスマートリング等のウェアラブルデバイスを操作して特定の商品を指定したことを検出することで、又は、ユーザが音声にて特定の商品を指定したことを音声認識技術を用いて検出することで、商品の選択を受け付ける。受付部１３８が受け付けた商品を示す情報はサーバ１１０に送信され、ユーザＵのお気に入り商品としてサーバ１１０に登録されるようにしてもよいし、その商品についての購入処理が実行されるようにしてもよい。
図１１の例では、出力部１３７は、複数の商品に関する表示データを、領域Ｓ２の左端に配置しているが、これに限定されない。出力部１３７は、商品に関する表示データを、領域Ｓ２の横方向に所定の間隔で配置するようにしてもよいし、領域Ｓ２の右端に並べて配置するようにしてもよい。
（商品の表示（その２））
商品の表示（その２）では、ユーザＵは、歩行者用ナビゲーションを利用する前提とし、商品に関する表示データを、目的地までのルートに沿って表示する。
図１２は、ユーザの視界に商品を表示する際の処理手順の一例（その２）を示すシーケンス図である。
ステップＳ３００～ステップＳ３０４は、それぞれ図１０のステップＳ２００～ステップＳ２０４の処理手順と同一であるため説明は省略する。
ステップＳ３０５で、ウェアラブル端末１３０Ａの送信部１３２は、ウェアラブル端末１３０Ａの現在位置と、ユーザＵが希望する目的地とをサーバ１１０に送信する。
ステップＳ３０６で、サーバ１１０の経路取得部１１７は、地図データ等を検索することで現在位置から目的地までの経路（ルート）を取得する。また、サーバ１１０の送信部１１６は、取得した経路を示す経路データをウェアラブル端末１３０Ａに送信する。経路データは、緯度及び経度により示される位置（ウェイポイント）を複数並べることで経路を表現するデータであってもよいし、地図上に割り振られたノード（交差点）の識別子と及びリンク（交差点間を結ぶ線）の識別子を組み合わせることで経路を表現するデータであってもよい。後者の場合、情報処理端末１３０にも当該地図データが格納されており、情報処理端末１３０が、ノードの識別子及びリンクの識別子から、経路を示す線分を緯度及び経度を認識できるようにしてもよい。
ステップＳ３０７及びステップＳ３０８は、それぞれ、図１０のステップＳ２０５及びステップＳ２０６の処理手順と同一であるため説明は省略する。
ステップＳ３０９で、出力部１３７は、ステップＳ３０６の処理手順で取得した、ユーザＵが移動する経路を示す経路情報により示される経路に沿って表示データを出力する。出力部１３７は、ステップＳ３０６の処理手順で受信した経路データを用いて、ＡＲ表示すべき経路の画像を作成し、作成したルートを表示データと共に出力するようにしてもよい。例えば、出力部１３７は、ウェアラブル端末１３０Ａの現在位置、向き及び／又はカメラ画像と経路データとを照合することでディスプレイ１１３６上において経路を描画すべき位置を特定し、特定した位置に経路の画像を表示するようにしてもよい。
ステップＳ３１０で、ユーザＵは、経路に沿って表示された商品の３Ｄモデルを視認することで、目的地まで歩行しながらウィンドウショッピングを楽しむことができる。
図１３は、経路に沿って商品に関する表示データを表示する際の一例を示す図である。図１３のうち領域Ｓ１は車道であり、領域Ｓ２－１及び領域Ｓ２－２は歩道であり、領域Ｓ４は建築物である。安全領域は領域Ｓ２－１及び領域Ｓ２－２であるとし、ウェアラブル端末１３０Ａがサーバ１１０から受信した表示データには、Ｄ１１－１～Ｄ１１－７までの７体分の３Ｄモデルデータが含まれているとする。また、経路Ｒは、現在地から目的地までの経路を示す画像である。なお、画像Ｐ２は、説明の便宜上、ユーザＵの視点よりも上から見た視点で図示しているが、ウェアラブル端末１３０Ａを通じてユーザＵが視認する視界は、前述した図１１のように、路面に近い位置になる。経路を示す画像は、線分でもよいし点線でもよいし、ユーザＵの進行方向を示す矢印でもよい。
ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像Ｐ２から、安全領域である領域Ｓ２－１及び領域２－２の範囲を取得し、出力部１３７は、取得した領域Ｓ２－１及び領域Ｓ２－２に、７体の３ＤモデルデータＤ１１－１～Ｄ１１－７を重畳表示する。このとき、出力部１３７は、３ＤモデルデータＤ１１－７～Ｄ１１－７を最初に表示した位置を記憶しておき、ウェアラブル端末１３０Ａの向きや現在位置が変わった場合（つまりユーザＵの顔の向きが変わった場合やユーザＵが移動した場合）でも、３ＤモデルデータＤ１１－１～Ｄ１１－７の表示位置が変化しないように表示位置を制御する。例えば、図１２に示す状態でユーザＵが後ろを向いた場合は３ＤモデルデータＤ１１－１～Ｄ１１－７は視界から消えることになる。また、ユーザＵが経路Ｒに沿って移動すると、３ＤモデルデータＤ１１－１、３ＤモデルデータＤ１１－２、３ＤモデルデータＤ１１－３の順に視界から消えていき、ユーザが交差点を渡って左折するために左を向くと、３ＤモデルデータＤ１１－５～Ｄ１１－７がユーザの視界の正面に表示される。
（ユーザＵと商品の管理者との間のコミュニケーション）
本実施形態では、商品の管理者とユーザＵとが直接コミュニケーションを行うことを可能としてもよい。
図１４は、ユーザと販売者との間でコミュニケーションが行われる際の処理手順の一例を示すシーケンス図である。
ステップＳ４００で、ウェアラブル端末１３０Ａの受付部１３８は、ユーザＵから、特定の商品（以下、商品Ａとする）について管理者とコミュニケーションを取りたいとの指示を受け付ける。受付部１３８は、例えば、ユーザＵが商品Ａの方を向きながら特定のジェスチャを行ったことを検出した場合に、ユーザＵが、商品Ａの管理者とコミュニケーションを取りたいことを指示していると認識するようにしてもよい。
ステップＳ４０１で、送信部１３２は、商品ＤＢのうち商品Ａの管理者ＩＤに含まれる、端末１５０を呼び出すことが可能な情報（電話番号、メールアドレス又は所定のＩＤ等）を取得し、管理者ＩＤに対応する端末１５０を呼び出すメッセージを、サーバ１１０に送信する。
ステップＳ４０２で、サーバ１１０は、端末１５０を呼び出す。
ステップＳ４０３及びステップＳ４０４で、ウェアラブル端末１３０Ａと端末１５０との間で、サーバ１１０を介して通信経路が確立される。この状態で、ウェアラブル端末１３０Ａと端末１５０との間で音声又は動画による会話が可能になる。つまり、ユーザＵがウェアラブル端末１３０Ａを介して見る世界は路店のようになっており、管理者（売り手）は待機中のユーザＵ（買い手）との間で、質問を受けたり商品の詳細を説明したりといった会話をすることが可能になる。
なお、動画で会話を行う場合、端末１５０の撮像部１５３で管理者を撮影した動画が、ウェアラブル端末１３０Ａに出力される商品Ａの表示データの隣に２Ｄ画像として出力されるようにしてもよい。
ステップＳ４０５で、商品の管理者は、端末１５０のディスプレイに表示される、商品Ａの画像の上を操作することで、商品Ａの画像の上に所定の描画を行う。
ステップＳ４０６及びステップＳ４０７で、商品Ａの画像の上に描画された内容を示す操作データがサーバ１１０を介してウェアラブル端末１３０Ａに送信される。
ステップＳ４０８で、ウェアラブル端末１３０Ａの出力部１３７は、商品Ａの表示データの上に、端末１５０のディスプレイ上で商品Ａの画像の上に描画された内容と同一の内容を描画する。
図１５は、ユーザＵと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。図１５のＡは、ユーザＵがウェアラブル端末１３０Ａを介して認識している商品Ａの表示データを示しており、図１５のＢは、商品Ａの管理者が利用する端末１５０の画面の表示例を示している。
例えば、図１５のＢに示すように、管理者が商品Ａのネック部分を円Ｃで囲った場合、図１５のＡに示すように、ユーザＵが見ている商品Ａの３Ｄモデルデータ上にも円Ｃが重畳されて表示される。
これにより、管理者は、ユーザＵに商品Ａを説明する際に、音声等に加えて、線や円などの描画を商品Ａの上に重畳表示させながら、つまり、線や丸などの印を管理者（販売者）とユーザＵ（購入者）との間で共有し合いながら説明をすることが可能になる。
なお、図１６に示すように、操作データに代えて管理者自身の３Ｄモデルデータ（リアルタイム３Ｄキャプチャデータ）Ｓを端末１５０からサーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信することで、管理者の３ＤモデルデータＳを、ユーザＵがウェアラブル端末１３０Ａを介して視認している商品Ａの３Ｄモデルデータの隣に表示させるようにしてもよい。
この場合、図１６のＡに示すように、端末１５０は、端末１５０に接続された複数台の撮像装置（図１６のＡの例では撮像装置ＣＡ１～ＣＡ３）を用いて、管理者自身の３ＤモデルデータＳを生成するようにしてもよい。また、端末１５０の送信部１５１は、生成された管理者の３ＤモデルデータＳを、サーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信するようにしてもよい。これにより、図１６のＡに示すように、ユーザＵが見ている商品Ａの３Ｄモデルデータの隣に、商品Ａの管理者の３ＤモデルデータＳを表示することができる。なお、ユーザＵがウェアラブル端末１３０Ａを介して認識している画像は、端末１５０に送信されるようにしてもよい。管理者は、商品Ａの位置と自身の３ＤモデルデータＳとの位置関係を把握しながら説明をすることができる。
なお、図１６の例では、端末１５０は、撮像装置Ｃ１～Ｃ３により撮像された画像から管理者の身体をリアルタイムにトラッキングし、既存の人体姿勢推定技術を用いて、鼻、目、耳、首、肩、肘、手首、腰、膝、足首など管理者の特徴点を検出するようにしてもよい。なお、撮像装置Ｃ１～Ｃ３に赤外線深度センサがある場合には、赤外線の奥行きを計算することで特徴点を検出してもよい。また、人体姿勢推定で検出した人体の特徴点の記憶方法は、２Ｄでも３Ｄでもよい。端末１５０は、検出した管理者の特徴点に基づいて、商品Ａの管理者の３ＤモデルデータＳを生成し、ウェアラブル端末１３０Ａにリアルタイムに送信する。
これにより、管理者（販売者）は、自身のリアルタイム３Ｄキャプチャ画像をユーザＵの目の前に表示させることができ、音声や文字、リアルタイムで表示された手などを使用したジェスチャなどを駆使して商品の特徴をユーザＵに教えることが可能になる。なお、管理者（販売者）は、自身のリアルタイム３Ｄキャプチャ画像だけでなく、２Ｄや３ＤのアバターをユーザＵの前に表示させて商品の説明等を行ってもよい。この場合、アバターの動きは光学式や機械式、慣性センサ式、磁気式、ビデオ式などのモーションキャプチャによって管理者（販売者）の動きと同期させることができる。
また、図１７に示すように、操作データに代えて、商品Ａの表示データを、端末１５０からサーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信することで、管理者が端末１５０で撮影した商品Ａの３Ｄモデルデータを、ユーザＵがウェアラブル端末１３０Ａを介して視認している商品Ａの３Ｄモデルデータとしてリアルタイムに表示させるようにしてもよい。
この場合、図１７のＢに示すように、管理者がトルソーＭにスカートを履かせると、端末１５０は、端末１５０に接続された複数台の撮像装置（図１７のＢの例では撮像装置ＣＡ１～ＣＡ３）を用いて、スカートを履かせたトルソーＭの３Ｄモデルデータを生成するようにしてもよい。また、端末１５０の送信部１５１は、生成されたトルソーの３Ｄモデルデータを、サーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信するようにしてもよい。これにより、図１７のＡに示すように、スカートを履いたトルソーＭの３Ｄモデルを表示することができる。
これにより、管理者は、ユーザＵに対して、様々なコーディネート提案等をリアルタイムかつ遠隔で行うことが可能になる。
＜変形例＞
情報処理端末１３０及び端末１５０は、３Ｄモデルの表示を抑制する領域の設定をあらかじめユーザＵ又は商品の管理者から受け付けてもよい。この場合には、情報処理端末１３０は、例えば、自身の位置情報と、３Ｄモデルの出力を抑制する場所の設定とに基づいて３Ｄモデルの表示／非表示を切り替えるようにしてもよい。また、情報処理端末１３０は、移動速度（徒歩で移動しているか、乗り物に乗って移動しているか）に応じて３Ｄモデルの表示／非表示を切り替えるようにしてもよい。移動速度は、ＧＰＳやＶＰＳを利用して測定するようにしてもよい。例えば、位置取得部１３１が、情報処理端末１３０の移動速度が一定以上であることを検出した場合、出力部１３７は、ユーザＵは乗り物に乗って移動していると判断し、３Ｄモデルを出力しないようにしてもよい。
情報処理端末１３０は、商品に関する表示データが壁面への表示に適している場合（例えば絵画などの場合）、壁面に商品が表示されるように表示データを出力するようにしてもよい。また、商品に関する表示データが机上への表示に適している場合（例えば花瓶などの場合）、机上に商品が表示されるように表示データを出力するようにしてもよい。各商品に関する表示データの表示に適している場所の属性を示す情報は、商品ＤＢに予め登録されており、サーバ１１０は、表示データを情報処理端末１３０に送信する際に、表示データと一緒に当該属性を示す情報を情報処理端末１３０に送信するようにしてもよい。
本実施形態では、ユーザの動向（行動）によって表示させる情報を変更するようにしてもよい。例えば、情報処理端末１３０は、ユーザの視線を取得することでユーザの視線が集まっている箇所を示すヒートマップを生成してサーバ１１０に通知するようにしてもよい。例えば、サーバ１１０は、複数の商品のうち特定の商品にユーザの視線が集中している場合、ユーザＵは当該特定の商品に興味を示していると推定することができる。また、サーバ１１０は、ユーザＵが興味を示している商品の傾向（ユーザの視線が集中する商品の傾向）やユーザＵが選択した商品（お気に入り登録した商品）の傾向を分析することで、ユーザの趣向を推定するようにしてもよい。
この場合、サーバ１１０の特定部１１５は、推定したユーザの趣向に基づいて、情報処理端末１３０に通知する商品を選択（特定）し、選択した商品に関する表示データを情報処理端末１３０に送信するようにしてもよい。若しくは、特定部１１５は、情報処理端末１３０の位置情報に対応する１以上の商品を商品ＤＢの中から検索し、検索した１以上の商品の中からユーザＵの趣向に合致する商品に関する表示データを更に選択して情報処理端末１３０に送信するようにしてもよい。すなわち、サーバ１１０は、ユーザＵにレコメンドする商品に関する表示データを情報処理端末１３０に送信するようにしてもよい。レコメンドする商品は、日ごとに変化させるようにしてもよいし、新商品でもよいし、人気商品でもよい。仮にユーザＵが毎日同じ場所を通る場合であっても、ユーザの視界に表示される商品が変化するため、ユーザＵを飽きさせないことが可能になる。
また、サーバ１１０は、ユーザＵが興味を示していると推定される商品に関する表示データを、当該商品の表示位置情報に関わらず、所定の頻度で情報処理端末１３０に送信するようにしてもよい。ユーザＵが興味を示している商品については、頻繁にユーザＵの視界に表示させることができる。
情報処理端末１３０は、ユーザＵの触覚、嗅覚、味覚及び／又は聴覚を拡張するデバイスを備えており、ユーザＵが、３Ｄモデルにより商品の形状を認識することに加えて又は代えて、商品に関する触覚、匂い、味及び／又は音を認識できるようにしてもよい。この場合、サーバ１１０は、商品の触覚、匂い、味及び／又は音に関するデータを情報処理端末１３０に送信するようにしてもよい。
情報処理端末１３０は、２Ｄモデル又は３Ｄモデルを出力する際、縮小して出力又は拡大して出力するようにしてもよい。例えば、屋内の狭い廊下などで大きい３Ｄモデルを表示すると、ユーザＵは視界が遮られてしまうことから好ましくない。そこで、このような場合には、通常は２Ｄモデル又は３Ｄモデルを縮小して出力しておき、ユーザＵが接近した場合又はユーザＵの指示を受けた場合に実寸大等に拡大するようにしてもよい。また、商品名や商品の価格等の文字等を表示する場合、通常は文字列の一部を省略するか又は文字の表示自体を省略しておき、ユーザＵが接近した場合又はユーザＵの指示を受けた場合に、文字列を省略せずに出力するようにしてもよい。これにより、ユーザＵの視界を損なうことなく、多くの情報をユーザＵに見せることが可能になる。
＜まとめ＞
以上説明した実施形態によれば、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能になる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
１…通信システム、１１…ＣＰＵ、１２…記憶装置、１３…通信ＩＦ、１４…入力デバイス、１５…出力デバイス、１６…センサ、１１０…サーバ、１１１…記憶部、１１２…生成部、１１３…登録部、１１４…受信部、１１５…特定部、１１６…送信部、１１７…経路取得部、１３０…情報処理端末、１３０Ａ…端末、１３０Ａ…ウェアラブル端末、１３０Ｂ…端末、１３１…位置取得部、１３２…送信部、１３３…受信部、１３４…撮像部、１３５…特定部、１３６…取得部、１３７…出力部、１３８…受付部、１５０…端末、１５１…送信部、１５２…受信部、１５３…撮像部、１５４…位置取得部、１５５…表示部、１５６…生成処理部、１１３６…ディスプレイ、１１３７…フレーム、１１３８…ヒンジ部、１１３９…テンプル、１１３９ａ…係止部、１２１０…撮像部

Claims (12)

  1. 情報処理端末に、
    前記情報処理端末の位置を示す位置情報を取得するステップと、
    前記位置情報を情報処理装置に送信するステップと、
    前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、
    撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、
    前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力するステップと、を実行させ、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記出力するステップは、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、プログラム。
  2. 前記出力するステップは、前記第１領域の境界に、前記１以上の商品に関する表示データを配置して出力する、請求項１に記載のプログラム。
  3. 前記情報処理端末に、
    前記ユーザから、前記１以上の商品の選択を受け付けるステップと、
    受け付けた商品を識別する情報を前記情報処理装置に送信するステップと、をさらに実行させる、請求項１又は２に記載のプログラム。
  4. 前記情報処理端末に、
    前記情報処理装置又は他の情報処理装置から、前記１以上の商品に含まれる第１商品についての管理者のユーザに関する表示データを受信するステップ、をさらに実行させ、
    前記出力するステップは、受信した前記管理者のユーザに関する表示データを、前記第１商品に関する表示データと対応づけて出力する、請求項１～３のいずれか一項に記載のプログラム。
  5. 前記情報処理端末に、
    前記情報処理装置又は他の情報処理装置から、前記ユーザが移動する経路を示す経路情報を取得するステップ、をさらに実行させ、
    前記出力するステップは、前記経路情報により示される前記経路に沿って、前記１以上の商品に関する商品データを出力する、請求項１～４のいずれか一項に記載のプログラム。
  6. 前記受信するステップは、前記情報処理装置から、前記１以上の商品の属性データを更に受信し、
    前記出力するステップは、前記１以上の商品の表示データに含まれる第１表示データに近づく方向に当該情報処理端末が移動すると、該第１表示データに対応する商品の属性データを出力する、請求項１～５のいずれか一項に記載のプログラム。
  7. 前記表示データは、商品の画像データ、商品の３次元モデルデータ、及び商品の割引情報の少なくとも１つを含む、請求項１～６のいずれか一項に記載のプログラム。
  8. 情報処理端末が実行する情報処理方法であって、
    前記情報処理端末の位置を示す位置情報を取得するステップと、
    前記位置情報を情報処理装置に送信するステップと、
    前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、
    撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、
    前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力するステップと、を含み、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記出力するステップは、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、情報処理方法。
  9. 情報処理端末であって、
    前記情報処理端末の位置を示す位置情報を取得する位置取得部と、
    前記位置情報を情報処理装置に送信する送信部と、
    前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信する受信部と、
    撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得する取得部と、
    前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力する出力部と、を有し、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記出力部は、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、情報処理端末。
  10. 情報処理装置が行う情報処理方法であって、
    情報処理端末から、前記情報処理端末の位置を示す位置情報を受信するステップと、
    記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定するステップと、
    撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信するステップと、を含み、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記情報処理端末は、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、情報処理方法。
  11. 情報処理装置に、
    情報処理端末から、前記情報処理端末の位置を示す位置情報を受信するステップと、
    記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定するステップと、
    撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信するステップと、を実行させ、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記情報処理端末は、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、プログラム。
  12. 情報処理装置であって、
    情報処理端末から、前記情報処理端末の位置を示す位置情報を受信する受信部と、
    記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定する特定部と、
    撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信する送信部と、を有し、
    前記表示データは、前記１以上の商品を表示させる位置を示す表示位置情報を含み、
    前記情報処理端末は、前記表示位置情報により示される位置が前記第１領域ではなく、かつ、該位置から所定の範囲内に前記第１領域が存在する場合、該位置を前記第１領域内に移動させることで前記表示データを前記第１領域に出力し、前記表示位置情報により示される位置が前記第１領域であり、前記表示データには複数の商品に対する前記表示位置情報が含まれており、かつ、前記複数の商品に対する前記表示位置情報が同一の位置を示している場合、前記第１領域における所定範囲内で前記複数の商品を重複しないように表示させる、情報処理装置。
JP2020569341A 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末 Active JP7296406B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019012358 2019-01-28
JP2019012358 2019-01-28
PCT/JP2019/005615 WO2020157995A1 (ja) 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末

Publications (2)

Publication Number Publication Date
JPWO2020157995A1 JPWO2020157995A1 (ja) 2021-10-28
JP7296406B2 true JP7296406B2 (ja) 2023-06-22

Family

ID=71841026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569341A Active JP7296406B2 (ja) 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末

Country Status (3)

Country Link
US (1) US11734898B2 (ja)
JP (1) JP7296406B2 (ja)
WO (1) WO2020157995A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7296406B2 (ja) * 2019-01-28 2023-06-22 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN112287928A (zh) * 2020-10-20 2021-01-29 深圳市慧鲤科技有限公司 一种提示方法、装置、电子设备及存储介质
JP7450641B2 (ja) * 2020-11-27 2024-03-15 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム
JP7233454B2 (ja) * 2021-01-22 2023-03-06 株式会社Ｎｔｔコノキュー 処理装置、処理方法及び処理プログラム
WO2023171341A1 (ja) * 2022-03-08 2023-09-14 株式会社Ｎｔｔドコモ 表示制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535112A (ja) 2011-10-27 2014-12-25 イーベイ インク．Ｅｂａｙ Ｉｎｃ． 拡張現実を使用した物品の視覚化
JP2015114757A (ja) 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2015523624A (ja) 2012-05-07 2015-08-13 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
WO2015145544A1 (ja) 2014-03-24 2015-10-01 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP2001325536A (ja) 2000-05-12 2001-11-22 Nec Software Shikoku Ltd 仮想商店街店舗レイアウトシステム
US8924261B2 (en) * 2009-10-30 2014-12-30 Etsy, Inc. Method for performing interactive online shopping
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
JP2015531907A (ja) * 2012-07-19 2015-11-05 ヴァッツ ゴウラヴＶＡＴＳ， Ｇａｕｒａｖ 現実的かつ拡張デジタルオブジェクトの表示と相互作用体験を提供するためのユーザ制御３ｄシミュレーション
US9916010B2 (en) * 2014-05-16 2018-03-13 Visa International Service Association Gesture recognition cloud command platform, system, method, and apparatus
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9928648B2 (en) * 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
US10140464B2 (en) * 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
US11645840B2 (en) * 2017-08-31 2023-05-09 Sony Corporation Information processing apparatus, information processing method, program, and moving body
CN107492022A (zh) * 2017-09-04 2017-12-19 佛山市文飞科技有限公司 一种基于vr虚拟购物系统
US20180345129A1 (en) * 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
JP7296406B2 (ja) * 2019-01-28 2023-06-22 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
US11106915B1 (en) * 2020-03-26 2021-08-31 International Business Machines Corporation Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535112A (ja) 2011-10-27 2014-12-25 イーベイ インク．Ｅｂａｙ Ｉｎｃ． 拡張現実を使用した物品の視覚化
JP2015523624A (ja) 2012-05-07 2015-08-13 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
JP2015114757A (ja) 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2015145544A1 (ja) 2014-03-24 2015-10-01 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JPWO2020157995A1 (ja) 2021-10-28
WO2020157995A1 (ja) 2020-08-06
US20210350628A1 (en) 2021-11-11
US11734898B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
JP7296406B2 (ja) プログラム、情報処理方法、及び情報処理端末
CN105659304B (zh) 车辆、导航系统及生成并递送导航信息的方法
CN102999160B (zh) 混合现实显示器中用户控制的现实对象的消失
JP6720385B1 (ja) プログラム、情報処理方法、及び情報処理端末
CN110487262A (zh) 基于增强现实设备的室内定位方法及系统
US20150379777A1 (en) Augmented reality providing system, recording medium, and augmented reality providing method
WO2015145544A1 (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US11378413B1 (en) Augmented navigational control for autonomous vehicles
WO2019037489A1 (zh) 地图显示方法、装置、存储介质及终端
US20090289955A1 (en) Reality overlay device
CN103493106A (zh) 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
KR20110071210A (ko) 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
WO2021068356A1 (zh) 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统
JP2003132068A (ja) ナビゲーションシステム及びナビゲーション端末
US20170115749A1 (en) Systems And Methods For Presenting Map And Other Information Based On Pointing Direction
US9672588B1 (en) Approaches for customizing map views
US20240037871A1 (en) Image processing apparatus, image processing method, and image processing system
US20230296906A1 (en) Systems and methods for dynamic image processing
CN109887099A (zh) 一种ar与路牌相结合的互动展示方法
KR20140140442A (ko) 모바일 증강현실 기반의 정보 제공 시스템
TW202113391A (zh) 基於光通訊裝置的導航方法、系統、設備及介質
JP2018200699A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
KR101436914B1 (ko) 가상 체험 시스템
JP2017111723A (ja) バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。
CN112055034B (zh) 基于光通信装置的交互方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7296406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150